CN107622524A - 用于移动终端的显示方法和显示装置 - Google Patents
用于移动终端的显示方法和显示装置 Download PDFInfo
- Publication number
- CN107622524A CN107622524A CN201710910104.XA CN201710910104A CN107622524A CN 107622524 A CN107622524 A CN 107622524A CN 201710910104 A CN201710910104 A CN 201710910104A CN 107622524 A CN107622524 A CN 107622524A
- Authority
- CN
- China
- Prior art keywords
- threedimensional model
- scene
- mobile terminal
- dimensional planar
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了用于移动终端的显示方法和显示装置。该方法的一具体实施方式包括:获取图像信息;基于图像信息,创建三维平面场景;基于目标参数,构建三维模型,并对三维模型进行渲染;将渲染后的三维模型在三维平面场景中显示,其中,三维模型在三维平面场景中的状态受物理引擎的约束。该实施方式可以提高虚拟场景的丰富度和真实度,从而提升人机交互的体验效果。
Description
技术领域
本申请涉及计算机技术领域,具体涉及增强现实技术领域,尤其涉及用于移动终端的显示方法和显示装置。
背景技术
增强现实(Augmented Reality,简称AR),是通过计算机系统提供的信息增加用户对现实世界感知的技术,将虚拟的信息应用到真实世界,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的增强。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。AR技术可以将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。因此,AR技术被广泛应用于各种领域。
然而,目前基于AR技术的应用,大多数是通过对实体模型进行图像扫描,再将与实体模型对应的虚拟模型进行简单呈现,人机交互体验的效果欠佳。
发明内容
本申请实施例的目的在于提出一种改进的用于移动终端的显示方法和显示装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请实施例提供了一种用于移动终端的显示方法,该方法包括:获取图像信息;基于图像信息,创建三维平面场景;基于目标参数,构建三维模型,并对三维模型进行渲染;将渲染后的三维模型在三维平面场景中显示,其中,三维模型在三维平面场景中的状态受物理引擎的约束。
在一些实施例中,移动终端安装有摄像装置,以及获取图像信息,包括:接收摄像装置采集的图像信息,其中,图像信息包括平面图像信息。
在一些实施例中,该方法还包括:响应于检测到用户对三维模型的操作信息,调整三维模型在三维平面场景中的显示状态。
在一些实施例中,该方法还包括:响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维平面场景的信息,生成平面场景集合。
在一些实施例中,获取图像信息,包括:从平面场景集合中选取平面场景作为图像信息。
在一些实施例中,该方法还包括:响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维模型的参数信息,生成模型集合。
在一些实施例中,该方法还包括:响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维模型当前在三维平面场景中的状态,生成保存场景集合。
在一些实施例中,该方法还包括:响应于检测到用户对移动终端当前所显示的画面的还原操作,从保存场景集合中选取与该画面对应的保存场景,并显示所选取的保存场景。
第二方面,本申请实施例提供了一种用于移动终端的显示装置,该装置包括:获取单元,配置用于获取图像信息;创建单元,配置用于基于图像信息,创建三维平面场景;渲染单元,配置用于基于目标参数,构建三维模型,并对三维模型进行渲染;显示单元,配置用于将渲染后的三维模型在三维平面场景中显示,其中,三维模型在三维平面场景中的状态受物理引擎的约束。
在一些实施例中,移动终端安装有摄像装置,以及获取单元进一步配置用于:接收摄像装置采集的图像信息,其中,图像信息包括平面图像信息。
在一些实施例中,该装置还包括:调整单元,配置用于响应于检测到用户对三维模型的操作信息,调整三维模型在三维平面场景中的显示状态。
在一些实施例中,该装置还包括:场景存储单元,配置用于响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维平面场景的信息,生成平面场景集合。
在一些实施例中,获取单元进一步配置用于:从平面场景集合中选取平面场景作为图像信息。
在一些实施例中,该装置还包括:模型存储单元,配置用于响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维模型的参数信息,生成模型集合。
在一些实施例中,该装置还包括:状态存储单元,配置用于响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维模型当前在三维平面场景中的状态,生成保存场景集合。
在一些实施例中,该装置还包括:还原单元,配置用于响应于检测到用户对移动终端当前所显示的画面的还原操作,从保存场景集合中选取与该画面对应的保存场景,并显示所选取的保存场景。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;摄像装置,用于采集图像信息;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实施例所描述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序。该计算机程序被处理器执行时实现如第一方面中任一实施例所描述的方法。
本申请实施例提供的用于移动终端的显示方法和显示装置,首先可以基于获取到的图像信息,利用增强现实方法来创建三维平面场景。之后可以根据目标参数,来构建三维模型,并对其进行渲染。这样,用户可以自由设置三维平面场景和三维模型,使虚拟场景更加丰富,减少或避免实体模型的限制。最后可以将渲染后的三维模型在创建的三维平面场景中显示,且三维模型在三维平面场景中的状态受物理引擎的约束。这样,可以使虚拟场景更贴近现实世界,提高三维模型的真实度,从而提升人机交互体验的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的显示方法的一个实施例的流程图;
图3是根据本申请的显示方法的一个应用场景的示意图;
图4是根据本申请的显示装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于移动终端的显示方法或显示装置的示例性系统架构100。
如图1所示,系统架构100可以包括移动终端101、102、103,网络104和服务器105。网络104用以在移动终端101、102、103和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用移动终端101、102、103通过网络104与服务器105进行交互,以接收或发送消息等。移动终端101、102、103上可以安装有各种应用,例如增强现实AR应用、三维渲染引擎、物理引擎、网页浏览器应用、视频播放类应用等。
移动终端101、102、103可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、可穿戴设备、膝上型便携计算机和台式计算机等等。移动终端101、102、103上可以安装有各种装置,例如摄像装置(如各种类型的摄像头)、惯性测量单元(InertialMeasurement Unit,IMU))、麦克风和扬声器等等。
服务器105可以是提供各种服务的服务器,例如对移动终端101、102、103获取的图像信息进行处理的后台服务器。后台服务器可以对移动终端获取的图像信息进行分析等处理,并且可以将处理结果(例如三维平面场景)发送给移动终端101、102、103。
需要说明的是,本申请实施例所提供的显示方法一般由移动终端101、102、103执行,一些步骤也可以由服务器105执行完成。相应地,显示装置一般设置于移动终端101、102、103中,一些单元或模块也可以设置于服务器105中。
需要指出的是,系统架构100中的服务器105是可选地。当移动终端101、102、103具备服务器105的服务功能时,系统架构100可以不设置服务器105。
应该理解,图1中的移动终端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的移动终端、网络和服务器。
继续参考图2,示出了根据本申请的用于移动终端的显示方法的一个实施例的流程200。该显示方法,可以包括以下步骤:
步骤201,获取图像信息。
在本实施例中,用于移动终端的显示方法运行于其上的电子设备(例如图1所示的移动终端101、102、103)可以通过各种方式来获取图像信息。在这里,图像信息可以包括用于创建三维平面图像的相关图像信息。如与三维平面场景相对应的实体图像信息、用于指示三维平面场景的标识图像信息等。
在本实施例的一些可选地实现方式中,移动终端上可以安装有摄像装置。此时,电子设备可以通过有线连接或无线连接的方式接收摄像装置采集的图像信息。摄像装置所采集的图像信息可以是移动终端当前所处环境的图像信息,如办公室、商场、海边等;也可以是实体或虚拟图片中图像的图像信息,如照片、网页图片等。
需要指出的是,为了便于三维平面场景的创建,该图像信息中可以包括平面图像信息。这里的平面主要指相对平坦的表面,如桌面、地面、墙面、沙滩等。进一步地,为了便于平面的识别,这些平面上可以具有纹理、图案或放置有其他物品等。
作为示例,移动终端上可以安装有基于增强现实的各种应用。当用户打开该应用后,摄像装置可以被启用。例如移动终端可以是手机,此时摄像装置可以是摄像头。这样,通过调整摄像头的焦距、位置等,可以采集位于摄像头拍摄范围内的各种图像的图像信息。可选地,移动终端还可以是AR眼镜或头盔等,此时摄像装置可以是单目摄像头或双目摄像头。这样,通过对用户的视觉进行实时定位,可以采集与用户眼睛所摄取的视野一致的图像信息。
步骤202,基于图像信息,创建三维平面场景。
在本实施例中,电子设备可以根据步骤201中获取的图像信息,利用各种图像分析、特征提取等处理方法,结合增强现实技术,来创建三维平面场景。这里的三维平面场景可以是与图像信息完全相同的虚拟平面场景,也可以是与图像信息中的局部信息相对应的虚拟平面场景。此外,创建完成的三维平面场景可以直接在移动终端的显示屏上显示,或者移动终端也可以同时向用户发送提示信息(如文字信息、声音信息等),以提示用户三维平面场景已创建完成。
在本实施例的一些可选地实现方式中,电子设备中可以预先存储有多个三维平面场景以及各三维平面场景与标识的对应关系。若图像信息为标识图像信息,则电子设备可以对图像信息进行图像识别,从而获取其中的标识。在根据对应关系,从多个三维平面场景中,选取与该标识相对应的三维平面场景,从而创建三维平面场景。其中,标识在本申请中并不限制,可以任意设置,如包括文字、字母、数字、字符或图案等。
作为示例,电子设备可以对图像信息中的物体进行识别,从而确定图像信息中的场景。根据确定出的场景,从预先存储的多个三维平面场景中选取与该场景匹配的三维平面场景,以创建三维平面场景。例如,从图像信息中识别出篮球和篮球架,可以确定图像信息中包含篮球场的场景。此时,可以从预先存储的多个三维平面场景中选取篮球场的三维平面场景。当未存储有篮球场的三维平面场景时,也可以选取与篮球场相类似的其他运动场(如足球场、排球或羽毛球等)的三维平面场景。
可选地,电子设备可以利用即时定位与地图构建(SLAM,simultaneouslocalization and mapping)技术,对获取到的图像信息进行处理,从而创建与图像信息相对应的三维平面场景。具体地,电子设备可以提取摄像装置所采集的图像信息的图像特征点。并利用其上安装的惯性测量单位,可以获取摄像装置的姿态信息以及图像信息中的图像特征点在世界坐标系中的位置。同时,根据摄像装置的姿态信息,可以确定图像信息的旋转角度。这样,根据图像信息的旋转角度和图像特征点的位置,可以创建三维平面场景。
其中,惯性测量单元通常是测量物体三轴姿态角(或角速率)以及加速度的装置。该装置可以包括加速度计、磁力计和陀螺仪传感器等。上述姿态信息可以是摄像装置的旋转矩阵。实践中,旋转矩阵的每一列可以表示相机坐标系的三个坐标轴在世界坐标系中的方向向量。需要说明的是,由于摄像装置和惯性测量单位均安装于电子设备中,因此,可以将惯性测量单位采集到的姿态信息作为电子设备和摄像装置的姿态信息。需要说明的是,相机坐标系可以是以摄像装置的光心为原点、以摄像装置的光轴为其中一个坐标轴的直角坐标系。需要说明的是,SLAM技术已被广泛用于创建各种三维平面场景,该技术是可市售的,此处不再赘述。
步骤203,基于目标参数,构建三维模型,并对三维模型进行渲染。
在本实施例中,电子设备可以基于目标参数,利用三维渲染引擎构建三维模型,并对三维模型进行渲染。其中,目标参数可以是预先存储在电子设备中的,也可以是用户通过电子设备输入的。三维模型可以是用于与用户进行交互的虚拟模型,如玩具模型、家具模型、家电等。
在本实施例的一些可选地实现方式中,可以利用参数化建模技术来构建三维模型。参数化建模通常是参数(变量)而不是数字建立和分析的模型,通过简单的改变模型中的参数值就能建立和分析新的模型。参数化建模的参数不仅可以是几何参数,也可以是温度、材料等属性参数。例如构建积木的三维模型时,每个积木可以作为一个基本的图元,其具体尺寸则由关键尺寸参数决定。如长方体积木的关键尺寸可以为长、宽、高。球体积木的关键尺寸可以为半径。此时,电子设备可以接收用户输入的目标参数(即关键尺寸参数),从而构建三维模型。另外,目标参数中还可以包括材质、颜色等参数,从而电子设备可以对三维模型进行渲染,增加三维模型的视觉效果。
可以理解的是,用户输入目标参数的方式在本申请中并不限制。例如通过输入法中的语音输入、文字输入等,再例如从电子设备预先存储的目标参数文件中选取目标参数等。
可选地,电子设备可以对用户上传的图片中的物体进行识别,从而获取物体的属性信息(如尺寸、颜色、形状等),并从属性信息中选取参数信息作为目标参数,从而构建该物体的三维模型。
需要说明的是,对于构建完成的三维模型,用户可以通过直接输入尺寸参数或手势操作(如拉伸)来改变当前三维模型的尺寸。
步骤204,将渲染后的三维模型在三维平面场景中显示。
在本实施例中,电子设备可以将渲染后的三维模型在三维平面场景中显示。此时,三维模型在三维平面场景中的显示位置可以是任意位置,也可以是设置的。如目标参数中可以包含初始位置信息,电子设备可以将渲染后的三维模型在初始位置信息所指示的位置显示。再例如电子设备可以根据用户的手势操作(如点击)将渲染后的三维模型在手势所指示的位置显示。
在本实施例中,为了使提升三维模型的真实度,提高用户体验,三维模型在三维平面场景中的状态受物理引擎的约束,其六个自由度坐标均会被影响。也就是说,该三维模型在三维平面场景中的状态会贴近其在现实世界中的状态,如在重力作用下会跌落,被碰撞时会产生位移等。
可选地,为了进一步提高人机交互的体验效果,用户还可以对三维平面场景中三维模型进行操作。当电子设备响应于检测到用户对三维模型的操作信息时,可以调整三维模型在三维平面场景中的显示状态。这里的操作信息可以是各种用于改变三维模型的位置和/或状态的操作,如可以是移动、旋转或翻转等。
例如,对于积木的三维模型,在人机交互的过程中,物理引擎可以实时计算每一个积木的位置。其过程包括碰撞检测,动力学约束求解,碰撞体位置更新等。计算后,碰撞体的位姿信息与渲染引擎中的位姿信息进行同步。这样,渲染引擎可以进行积木的渲染,使每一个积木看起来像是受到真实世界物理规律约束一样。也就是说,通过SLAM技术、渲染引擎、物理引擎等协同工作,使得虚拟积木在移动终端中看上去和真实世界中的积木一样。
在一些应用场景中,在人机交互的过程中,电子设备还可以进行声音的模拟和播放,如碰撞声、跌落声等。在人机交互的过程中,电子设备还可以播放背景音乐,以增加交互气氛。
本申请实施例提供的用于移动终端的显示方法,首先可以基于获取到的图像信息,利用增强现实方法来创建三维平面场景。之后可以根据目标参数,来构建三维模型,并对其进行渲染。这样,用户可以自由设置三维平面场景和三维模型,使虚拟场景更加丰富,减少或避免实体模型的限制。最后可以将渲染后的三维模型在创建的三维平面场景中显示,且三维模型在三维平面场景中的状态受物理引擎的约束。这样,可以使虚拟场景更贴近现实世界,提高三维模型的真实度,从而提升人机交互体验的效果。
在本实施例的一些可选地实现方式中,电子设备还可以对三维平面场景和/或三维模型进行保存,便于用户后续可以进行场景、模型的复现。
例如,当电子设备响应于检测到用户对移动终端当前所显示的画面的保存操作时,可以存储三维平面场景的信息,生成平面场景集合。其中,三维平面场景的信息可以包括以下至少一项:创建时间、创建者、场景名称等。这里的保存操作可以(但不限于)是用户通过点击或触碰按键而触发的。
可以理解的是,当电子设备中生成有平面场景集合时,电子设备还可以从平面场景集合中选取平面场景作为图像信息,以创建三维平面场景。作为示例,当用户打开应用后,可以对创建三维平面场景的方式进行选择,如通过摄像装置采集或从平面场景集合中选取。当用户从平面场景集合中选取三维平面场景后,电子设备可以获取该三维平面场景的相关信息,从而创建该三维平面场景。
再例如,当电子设备响应于检测到用户对移动终端当前所显示的画面的保存操作时,可以存储三维模型的参数信息,生成模型集合。其中,三维模型的参数信息可以包括以下至少一项:六个自由度坐标、尺寸、颜色、材质等。
进一步地,为了增加人机交互的灵活性,当电子设备响应于检测到用户对移动终端当前所显示的画面的保存操作时,还可以存储三维模型当前在三维平面场景中的状态,生成保存场景集合。这样,若在用户操作过程中,三维模型出现坍塌、损坏等情况,电子设备可以响应于检测到用户对移动终端当前所显示的画面的还原操作,从保存场景集合中选取与该画面对应的保存场景,并显示所选取的保存场景。这里选取的保存场景可以是该画面中的三维模型在三维平面场景中的初始位置的状态,也可以是用户操作过程中,三维模型在三维平面场景中的任意时刻的状态。
此外,当用户想重现已建好的场景时,用户也可以进行还原操作,从而在保存场景集合中选取想要重现的保存场景。这样电子设备可以再现该保存场景,用户可以在该保存场景的基础上进行操作。
在一些应用场景中,电子设备还可以记录用户对三维模型的操作过程,并录制为视频或保存为图片。这样,用户可以对该视频或图片进行分享。
进一步参见图3,图3是根据本实施例的用于移动终端的显示方法的应用场景的一个示意图。在图3的应用场景中,移动终端上安装有基于AR的积木应用。当用户打开该应用后,用户可以利用该移动终端上的摄像装置来获取图片信息。移动终端可以基于图像信息,创建三维平面场景301,并将其显示在屏幕上。接着,用户可以选择积木的形状,并设置尺寸等相关参数。移动终端可以根据将这些相关参数(即目标参数),构建积木的三维模型,并对积木模型进行渲染。最后,移动终端可以将渲染后的积木模型302在三维平面场景301中显示。并且积木模型在三维平面场景中的状态受物理引擎的约束。这样,用户可以对积木模型进行搭建。而且在搭建过程中,积木模型会像实体积木那样由于受力不平衡而出现坍塌、碰撞等情况。从而提升积木模型的真实性,提高人机交互的体验效果。
继续参见图4,作为对上述各图所示方法的实现,本申请提供了一种用于移动终端的显示装置的一个实施例。该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的显示装置400包括:获取单元401,配置用于获取图像信息;创建单元402,配置用于基于图像信息,创建三维平面场景;渲染单元403,配置用于基于目标参数,构建三维模型,并对三维模型进行渲染;显示单元404,配置用于将渲染后的三维模型在三维平面场景中显示,其中,三维模型在三维平面场景中的状态受物理引擎的约束。
在本实施例中,获取单元401、创建单元402、渲染单元403和显示单元404的具体实现方式及产生的有益效果,可以分别参见图2所示实施例中的步骤201、步骤202、步骤203和步骤204的相关描述,此处不再赘述。
在本实施例的一些可选的实现方式中,移动终端可以安装有摄像装置,以及获取单元401可以进一步配置用于:接收摄像装置采集的图像信息,其中,图像信息包括平面图像信息。
可选地,该装置400还可以包括:调整单元(图中未示出),配置用于响应于检测到用户对三维模型的操作信息,调整三维模型在三维平面场景中的显示状态。
进一步地,该装置400还可以包括:场景存储单元(图中未示出),配置用于响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维平面场景的信息,生成平面场景集合。
在一些应用场景中,获取单元401可以进一步配置用于:从平面场景集合中选取平面场景作为图像信息。
在本实施例的一些可选的实现方式中,该装置400还可以包括:模型存储单元(图中未示出),配置用于响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维模型的参数信息,生成模型集合。
作为示例,该装置400还可以包括:状态存储单元(图中未示出),配置用于响应于检测到用户对移动终端当前所显示的画面的保存操作,存储三维模型当前在三维平面场景中的状态,生成保存场景集合。
在本实施例的一些可选的实现方式中,该装置400还可以包括:还原单元(图中未示出),配置用于响应于检测到用户对移动终端当前所显示的画面的还原操作,从保存场景集合中选取与该画面对应的保存场景,并显示所选取的保存场景。
下面参考图5,其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括触摸屏、按键、摄像头等的输入部分506;包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、创建单元、渲染单元和显示单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取图像信息的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取图像信息;基于图像信息,创建三维平面场景;基于目标参数,构建三维模型,并对三维模型进行渲染;将渲染后的三维模型在三维平面场景中显示,其中,三维模型在三维平面场景中的状态受物理引擎的约束。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种用于移动终端的显示方法,其特征在于,所述方法包括:
获取图像信息;
基于所述图像信息,创建三维平面场景;
基于目标参数,构建三维模型,并对所述三维模型进行渲染;
将渲染后的所述三维模型在所述三维平面场景中显示,其中,所述三维模型在所述三维平面场景中的状态受物理引擎的约束。
2.根据权利要求1所述的显示方法,其特征在于,所述移动终端安装有摄像装置,以及
所述获取图像信息,包括:
接收所述摄像装置采集的图像信息,其中,所述图像信息包括平面图像信息。
3.根据权利要求1所述的显示方法,其特征在于,所述方法还包括:
响应于检测到用户对所述三维模型的操作信息,调整所述三维模型在所述三维平面场景中的显示状态。
4.根据权利要求1所述的显示方法,其特征在于,所述方法还包括:
响应于检测到用户对所述移动终端当前所显示的画面的保存操作,存储所述三维平面场景的信息,生成平面场景集合。
5.根据权利要求4所述的显示方法,其特征在于,所述获取图像信息,包括:
从所述平面场景集合中选取平面场景作为图像信息。
6.根据权利要求1所述的显示方法,其特征在于,所述方法还包括:
响应于检测到用户对所述移动终端当前所显示的画面的保存操作,存储所述三维模型的参数信息,生成模型集合。
7.根据权利要求1-6之一所述的显示方法,其特征在于,所述方法还包括:
响应于检测到用户对所述移动终端当前所显示的画面的保存操作,存储所述三维模型当前在所述三维平面场景中的状态,生成保存场景集合。
8.根据权利要求7所述的显示方法,其特征在于,所述方法还包括:
响应于检测到用户对所述移动终端当前所显示的画面的还原操作,从所述保存场景集合中选取与该画面对应的保存场景,并显示所选取的保存场景。
9.一种用于移动终端的显示装置,其特征在于,所述装置包括:
获取单元,配置用于获取图像信息;
创建单元,配置用于基于所述图像信息,创建三维平面场景;
渲染单元,配置用于基于目标参数,构建三维模型,并对所述三维模型进行渲染;
显示单元,配置用于将渲染后的所述三维模型在所述三维平面场景中显示,其中,所述三维模型在所述三维平面场景中的状态受物理引擎的约束。
10.根据权利要求9所述的显示装置,其特征在于,所述装置还包括:
调整单元,配置用于响应于检测到用户对所述三维模型的操作信息,调整所述三维模型在所述三维平面场景中的显示状态。
11.根据权利要求9或10所述的显示装置,其特征在于,所述装置还包括:
状态存储单元,配置用于响应于检测到用户对所述移动终端当前所显示的画面的保存操作,存储所述三维模型当前在所述三维平面场景中的状态,生成保存场景集合。
12.根据权利要求11所述的显示装置,其特征在于,所述装置还包括:
还原单元,配置用于响应于检测到用户对所述移动终端当前所显示的画面的还原操作,从所述保存场景集合中选取与该画面对应的保存场景,并显示所选取的保存场景。
13.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
摄像装置,用于采集图像信息;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710910104.XA CN107622524A (zh) | 2017-09-29 | 2017-09-29 | 用于移动终端的显示方法和显示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710910104.XA CN107622524A (zh) | 2017-09-29 | 2017-09-29 | 用于移动终端的显示方法和显示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107622524A true CN107622524A (zh) | 2018-01-23 |
Family
ID=61091311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710910104.XA Pending CN107622524A (zh) | 2017-09-29 | 2017-09-29 | 用于移动终端的显示方法和显示装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107622524A (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109003328A (zh) * | 2018-08-08 | 2018-12-14 | 深圳市易晨虚拟现实技术有限公司 | 家具摆放效果展示方法及其系统 |
CN109102047A (zh) * | 2018-08-08 | 2018-12-28 | 深圳市易晨虚拟现实技术有限公司 | 基于adt积木的摆放效果展示方法及其系统 |
CN109147054A (zh) * | 2018-08-03 | 2019-01-04 | 五八有限公司 | Ar的3d模型朝向的设置方法、装置、存储介质及终端 |
CN109472873A (zh) * | 2018-11-02 | 2019-03-15 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
CN109523629A (zh) * | 2018-11-27 | 2019-03-26 | 上海交通大学 | 一种基于物理仿真的物体语义和位姿数据集生成方法 |
CN109545003A (zh) * | 2018-12-24 | 2019-03-29 | 北京卡路里信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
CN109559368A (zh) * | 2018-11-21 | 2019-04-02 | 网易(杭州)网络有限公司 | 平面图片的处理方法、装置、介质及电子设备 |
CN109636917A (zh) * | 2018-11-02 | 2019-04-16 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
CN109920065A (zh) * | 2019-03-18 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 资讯的展示方法、装置、设备及存储介质 |
WO2020018214A1 (en) * | 2018-07-16 | 2020-01-23 | Microsoft Technology Licensing, Llc | Modifiable simulation of physical object behavior |
CN110738733A (zh) * | 2019-10-14 | 2020-01-31 | 北京代码乾坤科技有限公司 | 三维地形模型的生成方法、存储介质、处理器及电子装置 |
CN110850977A (zh) * | 2019-11-06 | 2020-02-28 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
CN111145329A (zh) * | 2019-12-25 | 2020-05-12 | 北京像素软件科技股份有限公司 | 模型渲染方法、系统及电子装置 |
CN111179438A (zh) * | 2020-01-02 | 2020-05-19 | 广州虎牙科技有限公司 | Ar模型动态固定方法、装置、电子设备和存储介质 |
CN111240630A (zh) * | 2020-01-21 | 2020-06-05 | 杭州易现先进科技有限公司 | 增强现实的多屏控制方法、装置、计算机设备及存储介质 |
CN111311757A (zh) * | 2020-02-14 | 2020-06-19 | 惠州Tcl移动通信有限公司 | 一种场景合成方法、装置、存储介质及移动终端 |
WO2020132951A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳市优必选科技有限公司 | 积木模型的生成方法、装置、终端和计算机可读存储介质 |
CN111437606A (zh) * | 2020-03-30 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 碰撞检测的方法和装置、存储介质及电子装置 |
CN112041803A (zh) * | 2018-04-30 | 2020-12-04 | 三星电子株式会社 | 电子设备及其操作方法 |
CN112102481A (zh) * | 2020-09-22 | 2020-12-18 | 深圳移动互联研究院有限公司 | 一种交互模拟场景的构建方法、装置、计算机设备及存储介质 |
CN112734923A (zh) * | 2021-01-18 | 2021-04-30 | 国汽智控(北京)科技有限公司 | 自动驾驶三维虚拟场景构建方法、装置、设备及存储介质 |
CN112819559A (zh) * | 2019-11-18 | 2021-05-18 | 北京沃东天骏信息技术有限公司 | 一种物品比对方法和装置 |
CN113793080A (zh) * | 2020-06-18 | 2021-12-14 | 北京京东乾石科技有限公司 | 一种仓库运行状态实时模拟方法和装置 |
CN114529690A (zh) * | 2020-10-30 | 2022-05-24 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
WO2022160406A1 (zh) * | 2021-01-29 | 2022-08-04 | 深圳技术大学 | 基于增强现实技术的物联网实训系统的实现方法及系统 |
CN115002441A (zh) * | 2022-08-02 | 2022-09-02 | 深圳市前海手绘科技文化有限公司 | 三维视频制作方法、装置、电子设备和计算机存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360511A (zh) * | 2011-10-26 | 2012-02-22 | 德讯科技股份有限公司 | 一种物理引擎在3d空间对象展现中的应用方法 |
CN104394400A (zh) * | 2014-12-09 | 2015-03-04 | 山东大学 | 基于立体多画显示的隔网对抗性项目虚拟仿真系统及方法 |
US9007422B1 (en) * | 2014-09-03 | 2015-04-14 | Center Of Human-Centered Interaction For Coexistence | Method and system for mutual interaction using space based augmentation |
CN104820498A (zh) * | 2015-05-14 | 2015-08-05 | 周谆 | 手部虚拟饰品试戴的人机交互方法和系统 |
CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
CN105892650A (zh) * | 2016-03-28 | 2016-08-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
-
2017
- 2017-09-29 CN CN201710910104.XA patent/CN107622524A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360511A (zh) * | 2011-10-26 | 2012-02-22 | 德讯科技股份有限公司 | 一种物理引擎在3d空间对象展现中的应用方法 |
US9007422B1 (en) * | 2014-09-03 | 2015-04-14 | Center Of Human-Centered Interaction For Coexistence | Method and system for mutual interaction using space based augmentation |
CN104394400A (zh) * | 2014-12-09 | 2015-03-04 | 山东大学 | 基于立体多画显示的隔网对抗性项目虚拟仿真系统及方法 |
CN104820498A (zh) * | 2015-05-14 | 2015-08-05 | 周谆 | 手部虚拟饰品试戴的人机交互方法和系统 |
CN105892650A (zh) * | 2016-03-28 | 2016-08-24 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
CN105844714A (zh) * | 2016-04-12 | 2016-08-10 | 广州凡拓数字创意科技股份有限公司 | 基于增强现实的场景显示方法及系统 |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112041803A (zh) * | 2018-04-30 | 2020-12-04 | 三星电子株式会社 | 电子设备及其操作方法 |
WO2020018214A1 (en) * | 2018-07-16 | 2020-01-23 | Microsoft Technology Licensing, Llc | Modifiable simulation of physical object behavior |
US10748343B2 (en) | 2018-07-16 | 2020-08-18 | Microsoft Technology Licensing, Llc | Modifiable simulation of physical object behavior |
CN109147054A (zh) * | 2018-08-03 | 2019-01-04 | 五八有限公司 | Ar的3d模型朝向的设置方法、装置、存储介质及终端 |
CN109147054B (zh) * | 2018-08-03 | 2023-08-18 | 五八有限公司 | Ar的3d模型朝向的设置方法、装置、存储介质及终端 |
CN109102047A (zh) * | 2018-08-08 | 2018-12-28 | 深圳市易晨虚拟现实技术有限公司 | 基于adt积木的摆放效果展示方法及其系统 |
CN109003328A (zh) * | 2018-08-08 | 2018-12-14 | 深圳市易晨虚拟现实技术有限公司 | 家具摆放效果展示方法及其系统 |
CN109102047B (zh) * | 2018-08-08 | 2021-08-06 | 深圳市易晨虚拟现实技术有限公司 | 基于adt积木的摆放效果展示方法及其系统 |
CN109472873B (zh) * | 2018-11-02 | 2023-09-19 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
CN109636917A (zh) * | 2018-11-02 | 2019-04-16 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
CN109636917B (zh) * | 2018-11-02 | 2023-07-18 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
CN109472873A (zh) * | 2018-11-02 | 2019-03-15 | 北京微播视界科技有限公司 | 三维模型的生成方法、装置、硬件装置 |
CN109559368A (zh) * | 2018-11-21 | 2019-04-02 | 网易(杭州)网络有限公司 | 平面图片的处理方法、装置、介质及电子设备 |
CN109559368B (zh) * | 2018-11-21 | 2023-06-09 | 网易(杭州)网络有限公司 | 平面图片的处理方法、装置、介质及电子设备 |
CN109523629B (zh) * | 2018-11-27 | 2023-04-07 | 上海交通大学 | 一种基于物理仿真的物体语义和位姿数据集生成方法 |
CN109523629A (zh) * | 2018-11-27 | 2019-03-26 | 上海交通大学 | 一种基于物理仿真的物体语义和位姿数据集生成方法 |
CN109545003A (zh) * | 2018-12-24 | 2019-03-29 | 北京卡路里信息技术有限公司 | 一种显示方法、装置、终端设备及存储介质 |
WO2020132951A1 (zh) * | 2018-12-26 | 2020-07-02 | 深圳市优必选科技有限公司 | 积木模型的生成方法、装置、终端和计算机可读存储介质 |
CN109920065A (zh) * | 2019-03-18 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 资讯的展示方法、装置、设备及存储介质 |
CN109920065B (zh) * | 2019-03-18 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 资讯的展示方法、装置、设备及存储介质 |
CN110738733B (zh) * | 2019-10-14 | 2023-05-16 | 北京代码乾坤科技有限公司 | 三维地形模型的生成方法、存储介质、处理器及电子装置 |
CN110738733A (zh) * | 2019-10-14 | 2020-01-31 | 北京代码乾坤科技有限公司 | 三维地形模型的生成方法、存储介质、处理器及电子装置 |
CN110850977B (zh) * | 2019-11-06 | 2023-10-31 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
CN110850977A (zh) * | 2019-11-06 | 2020-02-28 | 成都威爱新经济技术研究院有限公司 | 一种基于6dof头戴式显示器的立体图像交互方法 |
CN112819559A (zh) * | 2019-11-18 | 2021-05-18 | 北京沃东天骏信息技术有限公司 | 一种物品比对方法和装置 |
CN111145329B (zh) * | 2019-12-25 | 2024-03-22 | 北京像素软件科技股份有限公司 | 模型渲染方法、系统及电子装置 |
CN111145329A (zh) * | 2019-12-25 | 2020-05-12 | 北京像素软件科技股份有限公司 | 模型渲染方法、系统及电子装置 |
CN111179438A (zh) * | 2020-01-02 | 2020-05-19 | 广州虎牙科技有限公司 | Ar模型动态固定方法、装置、电子设备和存储介质 |
CN111240630A (zh) * | 2020-01-21 | 2020-06-05 | 杭州易现先进科技有限公司 | 增强现实的多屏控制方法、装置、计算机设备及存储介质 |
CN111240630B (zh) * | 2020-01-21 | 2023-09-26 | 杭州易现先进科技有限公司 | 增强现实的多屏控制方法、装置、计算机设备及存储介质 |
CN111311757A (zh) * | 2020-02-14 | 2020-06-19 | 惠州Tcl移动通信有限公司 | 一种场景合成方法、装置、存储介质及移动终端 |
CN111311757B (zh) * | 2020-02-14 | 2023-07-18 | 惠州Tcl移动通信有限公司 | 一种场景合成方法、装置、存储介质及移动终端 |
CN111437606B (zh) * | 2020-03-30 | 2021-08-06 | 腾讯科技(深圳)有限公司 | 碰撞检测的方法和装置、存储介质及电子装置 |
CN111437606A (zh) * | 2020-03-30 | 2020-07-24 | 腾讯科技(深圳)有限公司 | 碰撞检测的方法和装置、存储介质及电子装置 |
CN113793080A (zh) * | 2020-06-18 | 2021-12-14 | 北京京东乾石科技有限公司 | 一种仓库运行状态实时模拟方法和装置 |
CN112102481A (zh) * | 2020-09-22 | 2020-12-18 | 深圳移动互联研究院有限公司 | 一种交互模拟场景的构建方法、装置、计算机设备及存储介质 |
CN114529690A (zh) * | 2020-10-30 | 2022-05-24 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
CN114529690B (zh) * | 2020-10-30 | 2024-02-27 | 北京字跳网络技术有限公司 | 增强现实场景呈现方法、装置、终端设备和存储介质 |
CN112734923A (zh) * | 2021-01-18 | 2021-04-30 | 国汽智控(北京)科技有限公司 | 自动驾驶三维虚拟场景构建方法、装置、设备及存储介质 |
CN112734923B (zh) * | 2021-01-18 | 2024-05-24 | 国汽智控(北京)科技有限公司 | 自动驾驶三维虚拟场景构建方法、装置、设备及存储介质 |
WO2022160406A1 (zh) * | 2021-01-29 | 2022-08-04 | 深圳技术大学 | 基于增强现实技术的物联网实训系统的实现方法及系统 |
CN115002441A (zh) * | 2022-08-02 | 2022-09-02 | 深圳市前海手绘科技文化有限公司 | 三维视频制作方法、装置、电子设备和计算机存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107622524A (zh) | 用于移动终端的显示方法和显示装置 | |
EP3822918B1 (en) | Water wave effect rendering | |
US11043031B2 (en) | Content display property management | |
US11393154B2 (en) | Hair rendering method, device, electronic apparatus, and storage medium | |
CN106355153B (zh) | 一种基于增强现实的虚拟对象显示方法、装置以及系统 | |
CN104781849B (zh) | 单眼视觉同时定位与建图(slam)的快速初始化 | |
CN105981076B (zh) | 合成增强现实环境的构造 | |
JP7008730B2 (ja) | 画像に挿入される画像コンテンツについての影生成 | |
CN104662587B (zh) | 三维用户界面装置以及三维操作方法 | |
US11417052B2 (en) | Generating ground truth datasets for virtual reality experiences | |
CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
US11430192B2 (en) | Placement and manipulation of objects in augmented reality environment | |
TW201835723A (zh) | 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質 | |
CN107066082A (zh) | 显示方法和装置 | |
KR20230075440A (ko) | 확장 현실 시스템을 위한 사용자 인터페이스 레이아웃 및 입력의 동적 구성 | |
CN104508600A (zh) | 三维用户界面装置及三维操作方法 | |
CN110378994A (zh) | 人脸建模方法及相关产品 | |
CN106200960A (zh) | 电子互动产品的内容显示方法及装置 | |
CN108694073A (zh) | 虚拟场景的控制方法、装置、设备及存储介质 | |
CN107084740A (zh) | 一种导航方法和装置 | |
Chen et al. | A case study of security and privacy threats from augmented reality (ar) | |
CN112711335A (zh) | 虚拟环境画面的显示方法、装置、设备及存储介质 | |
WO2023250267A1 (en) | Robotic learning of tasks using augmented reality | |
CN111383313B (zh) | 一种虚拟模型渲染方法、装置、设备及可读存储介质 | |
CN106919260A (zh) | 网页操作方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180123 |
|
RJ01 | Rejection of invention patent application after publication |