CN111833455A - 图像处理方法、装置、显示设备及计算机存储介质 - Google Patents

图像处理方法、装置、显示设备及计算机存储介质 Download PDF

Info

Publication number
CN111833455A
CN111833455A CN202010622504.2A CN202010622504A CN111833455A CN 111833455 A CN111833455 A CN 111833455A CN 202010622504 A CN202010622504 A CN 202010622504A CN 111833455 A CN111833455 A CN 111833455A
Authority
CN
China
Prior art keywords
dimensional virtual
virtual model
augmented reality
image
reality image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010622504.2A
Other languages
English (en)
Other versions
CN111833455B (zh
Inventor
侯欣如
郑少林
王鼎禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010622504.2A priority Critical patent/CN111833455B/zh
Publication of CN111833455A publication Critical patent/CN111833455A/zh
Application granted granted Critical
Publication of CN111833455B publication Critical patent/CN111833455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种图像处理方法、装置、显示设备及计算机存储介质,其中,该方法包括:获取第一现实场景图像;确定与所述第一现实场景图像对应的至少两个三维虚拟模型;在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,所述第一增强现实图像包括免于被遮挡的所述第一三维虚拟模型。

Description

图像处理方法、装置、显示设备及计算机存储介质
技术领域
本申请涉及但不限于计算机视觉技术领域,尤其涉及一种图像处理方法、装置、显示设备及计算机存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界进行融合的技术。增强现实技术将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,实现对真实世界的增强。随着AR技术的不断发展,对AR设备呈现的增强现实场景的效果的优化愈发重要。
发明内容
本申请实施例提供一种图像处理方法、装置、显示设备及计算机存储介质。
第一方面,提供一种图像处理方法,包括:
获取第一现实场景图像;
确定与所述第一现实场景图像对应的至少两个三维虚拟模型;
在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,所述第一增强现实图像包括免于被遮挡的所述第一三维虚拟模型。
本申请实施例中,在第一三维虚拟模型被遮挡的情况下,显示的是第一三维虚拟模型未被遮挡的图像,从而用户能够得到第一三维虚拟模型的完整信息,因此能够使显示设备具有显示免于被遮挡的第一三维虚拟模型的显示方式,提供了增强现实图像的一种新的显示方式,丰富了增强现实图像的显示。
在一些实施例中,所述方法还包括:确定与所述第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围;所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像,包括:在所述第一视角范围与预先设置的渲染角度匹配,且所述至少两个三维虚拟模型中的所述第一三维虚拟模型被遮挡的情况下,显示所述第一增强现实图像;其中,所述第一增强现实图像包括在所述第一视角范围内,免于被遮挡的所述第一三维虚拟模型。
本申请实施例中,通过确定第一视角范围,能够使得第一视角范围在与预设的渲染角度的情况下,才显示免于被遮挡的所述第一三维虚拟模型,否则,显示的是被遮挡的所述第一三维虚拟模型,从而显示设备能够根据视角的不同,确定不同的显示方式,进一步丰富了增强现实图像的显示。
在一些实施例中,所述确定与所述第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围,包括:将所述第一现实场景图像与不同视角范围下的所述至少两个三维虚拟模型进行匹配;在所述第一现实场景图像与特定视角范围下的至少两个三维虚拟模型匹配成功的情况下,确定所述特定视角范围为所述第一视角范围。
本申请实施例中,在第一现实场景图像与特定视角范围下的至少两个三维虚拟模型匹配成功的情况下,确定特定视角范围为第一视角范围,从而给出了一种确定第一视角范围的实现方式,且确定的视角范围准确,且确定方式简单。
在一些实施例中,所述确定与所述第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围,包括:确定拍摄所述第一现实场景图像时的拍摄参数,所述拍摄参数包括拍摄位置、拍摄高度、拍摄方向和拍摄距离中的至少一种参数;基于所述至少一种参数,确定所述第一视角范围。
在本申请实施例中,通过拍摄参数确定第一视角范围,给出了另一种确定第一视角范围的实现方式,且确定的视角范围准确,计算量小,
在一些实施例中,所述确定与所述第一现实场景图像对应的至少两个三维虚拟模型,包括:基于所述第一现实场景图像,实时建立与所述第一现实场景图像匹配的所述至少两个三维虚拟模型。
在本申请实施例中,通过实时建立与第一现实场景图像匹配的至少两个三维虚拟模型,从而能够根据实际场景的变化实时地确定待显示的模型,使得显示的模型与现实场景一致,提高了用户的代入感。
在一些实施例中,所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像,包括:在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,从所述第一现实场景图像中,确定与所述第一三维虚拟模型对应的第一特定对象的位置;将获取的所述第一三维虚拟模型置于所述第一特定对象的位置上,得到并显示所述第一增强现实图像。
在本申请实施例中,通过获取第一增强现实图像中实际存在的被遮挡的第一特定对象,确定被遮挡的第一特定对象对应的第一三维虚拟模型,将第一三维虚拟模型置于第一增强现实图像中第一特定对象的位置上,从而得到并显示第一增强现实图像不仅能够显示真实场景的信息,还能够显示第一三维虚拟模型,从而不仅使用户能够关注到真实场景的细节,还能够获取被遮挡的第一特定对象的详细特征。
在一些实施例中,所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像,包括:在所述至少两个三维虚拟模型中的所述第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第一处理结果;基于所述第一处理结果,显示所述第一增强现实图像。
在本申请实施例中,在至少两个三维虚拟模型中的第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,从而根据处理结果确定显示的第一增强现实图像,从而提供了一种确定第一增强现实图像的方式,且确定第一增强现实图像的方式简单。
在一些实施例中,所述对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第一处理结果,包括以下之一:对所述第二三维虚拟模型进行隐藏处理,得到所述第一处理结果;对所述第二三维虚拟模型进行更改透明度处理,得到所述第一处理结果;将所述第二三维虚拟模型的材质设定为特定材质,得到所述第一处理结果;所述特定材质无法可视化显示;对所述第一三维虚拟模型和/或第二三维虚拟模型进行移动处理,得到所述第一处理结果。
在本申请实施例中,给出了四种得到第一处理结果的实现方式,从而通过第一处理结果,能够在显示屏上显示免于被第二三维虚拟模型遮挡的第一三维虚拟模型,使用户能够通过显示屏看到完整的第二三维虚拟模型,另外,本申请实施例中的得到第一处理结果所采用的方式简单。
在一些实施例中,所述基于所述第一处理结果,显示所述第一增强现实图像,包括:对所述第一处理结果与所述第一现实场景图像进行融合,确定并显示所述第一增强现实图像。
在本申请实施例中,显示屏不仅显示真实场景的特征,还显示虚拟模型的特征,从而通过这种虚实结合的显示方式,使得用户可以不仅看到真实场景的信息,还可以看到虚拟场景的信息,从而丰富了增强现实图像的显示。
在一些实施例中,所述在所述至少两个三维虚拟模型中的所述第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第一处理结果,包括:在所述三维虚拟模型中的所述第一三维虚拟模型被所述第二三维虚拟模型遮挡的情况下,显示第二增强现实图像;其中,所述第二增强现实图像包括被所述第二三维虚拟模型遮挡的所述第一三维虚拟模型;获取针对所述第二三维虚拟模型进行触发的第一触发指令;基于所述第一触发指令,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到所述第一处理结果。
在本申请实施例中,显示屏可以先显示被第二三维虚拟模型遮挡的第二增强现实图像,然后可以基于用户对遮挡的第二三维虚拟模型的操作,显示免于被第二三维虚拟模型遮挡的第一三维虚拟模型,从而使得用户可以根据需求来确定是否显示完整的第一三维虚拟模型,从而不仅丰富了增强现实图像的显示,还使得显示屏的显示能够符合用户的需求。
在一些实施例中,所述基于所述第一处理结果,显示所述第一增强现实图像之后,还包括:获取针对用于标识隐藏的所述第二三维虚拟模型的控件进行触发的第二触发指令;基于所述第二触发指令,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第二处理结果;基于所述第二处理结果,显示所述第二增强现实图像。
在本申请实施例中,通过用户对用于标识隐藏的所述第二三维虚拟模型的控件的触发,可以使得显示屏重新显示被第二三维虚拟模型遮挡的第二增强现实图像。
在一些实施例中,所述第二增强现实图像还包括:与所述第一三维虚拟模型对应的标签和与所述第二三维虚拟模型对应的标签;或者,所述第二增强现实图像还包括:与所述第二三维虚拟模型对应的标签。
在本申请实施例中,第二增强现实图像上还可以显示标签,从而使得用户能够了解三维虚拟模型的相关信息或相关说明。
在一些实施例中,所述第一增强现实图像还包括:与所述第一三维虚拟模型对应的标签;或者,所述第一增强现实图像还包括:与所述第一三维虚拟模型对应的标签和与所述第二三维虚拟模型对应的标签。
在本申请实施例中,第一增强现实图像上还可以显示标签,从而使得用户能够了解虚拟模型的信息。
在一些实施例中,所述获取第一现实场景图像,包括:在显示屏滑动至第一位置的情况下,采用摄像头对当前视角下的场景进行拍摄,得到所述第一现实场景图像;其中,所述显示屏的位置与所述摄像头的位置之间满足设定关系。
在本申请实施例中,限定了显示屏为滑动屏,从而,显示屏可以在滑动的过程中,动态的显示不同的场景下的三维虚拟模型。
在一些实施例中,所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像之后,所述方法还包括:获取针对所述第一增强现实图像进行滑动触发的第三触发指令;基于所述第三触发指令,显示第三增强现实图像;其中,所述第三增强现实图像包括免于被遮挡的所述第一三维虚拟模型,所述第三增强现实图像中所述第一三维虚拟模型的视角,与所述第一增强现实图像中所述第一三维虚拟模型的视角不同。
在本申请实施例中,通过用户在第一增强现实图像进行滑动,从而显示屏可以显示不同视角范围的虚拟模型,从而使得用户可以看到不同视角下的第一三维虚拟模型,全面的了解第一虚拟三维模型的细节。
在一些实施例中,所述基于所述第三触发指令,显示第三增强现实图像之后,所述方法还包括:获取针对用于重置视角范围的控件进行触发的第四触发指令;基于所述第四触发指令,显示所述第一增强现实图像。
在本申请实施例中,通过用户对用于重置视角范围的控件的触发,使得显示屏重置视角,从而重新显示第一增强现实图像,避免了无法准确地回到第一增强现实图像的情况发生。
第二方面,提供一种图像处理装置,包括:
获取单元,用于获取第一现实场景图像;
模型确定单元,用于确定与所述第一现实场景图像对应的至少两个三维虚拟模型;
显示单元,用于在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,所述第一增强现实图像包括免于被遮挡的所述第一三维虚拟模型。
第三方面,提供一种显示设备,包括:存储器和处理器,
所述存储器存储有可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现上述任一方法中的步骤。
第四方面,提供一种计算机存储介质,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任一方法中的步骤。
附图说明
图1为本申请实施例提供的一种应用场景的示意图;
图2为本申请实施例提供的另一种应用场景的示意图;
图3为本申请实施例提供的一种楼宇的标签的显示示意图;
图4为本申请实施例提供的一种图像处理方法的流程示意图;
图5为本申请实施例提供的另一种图像处理方法的流程示意图;
图6为本申请实施例提供的又一种图像处理方法的流程示意图;
图7a为本申请实施例提供的再一种图像处理方法的流程示意图;
图7b为本申请实施例提供的一种第一现实场景图像和第一增强现实图像的示意图;
图8为本申请另一实施例提供的一种图像处理方法的流程示意图;
图9为本申请实施例提供的一种图像处理装置的组成结构示意图;
图10为本申请实施例提供的一种显示设备的硬件实体示意图。
具体实施方式
以下结合附图及实施例,对本公开进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本公开,并不用于限定本公开。另外,以下所提供的实施例是用于实施本公开的部分实施例,而非提供实施本公开的全部实施例,在不冲突的情况下,本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本公开实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其他要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,U和/或W,可以表示:单独存在U,同时存在U和W,单独存在W这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括U、W、V中的至少一种,可以表示包括从U、W和V构成的集合中选择的任意一个或多个元素。
例如,本公开实施例提供的图像处理方法包含了一系列的步骤,但是本公开实施例提供的图像处理方法不限于所记载的步骤,同样地,本公开实施例提供的图像处理方装置包括了一系列模块,但是本公开实施例提供的图像处理装置不限于包括所明确记载的模块,还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
为了方便用户详细地了解展示的产品或事物,可移动显示屏的应用越来越多,可移动显示屏可以是触摸屏或非触摸屏。本申请实施例的一种实施方式下,显示设备可以为可移动显示屏,可移动显示屏为一个可移动的屏幕,屏幕可以沿滑轨,或者进行旋转,或者其它方式进行移动,在屏幕的移动过程中,屏幕可以显示不同的信息以供用户阅览和点击。
图1为本申请实施例提供的一种应用场景的示意图,如图1所示,可移动显示屏101可以设置在楼宇之中,在其它实施例中,可移动显示屏101可以设置在楼宇的边缘或楼宇之外。可移动显示屏101可以用于拍摄楼宇,显示楼宇以及关于楼宇的标签。可移动显示屏101显示的楼宇,可以是拍摄得到的楼宇,或者可以与拍摄的楼宇对应的楼宇的三维虚拟模型,或者可以部分是拍摄得到的楼宇,部分为楼宇的三维虚拟模型,例如,在拍摄楼宇A和楼宇B的情况下,可移动显示屏101可以确定楼宇A的楼宇模型为A’,楼宇B的楼宇模型为B’,可移动显示屏101可以显示的是楼宇A和楼宇模型B’,或者,可以显示楼宇模型A’和楼宇B。楼宇的标签可以是楼宇的楼号信息、楼宇所在的公司信息、层数信息以及负责人信息等中的至少一种。
图2为本申请实施例提供的另一种应用场景的示意图,如图2所示,本申请实施例中的显示设备还可以终端设备201,用户可以手持或佩戴终端设备201进入楼宇之间,并通过拍摄楼宇使在终端设备201上显示楼宇、楼宇模型以及楼宇标签中的至少一种。
终端设备可以是服务器、手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理、便捷式媒体播放器、智能音箱、导航装置、显示设备、智能手环等可穿戴设备、虚拟现实(Virtual Reality,VR)设备、增强现实(Augmented Reality,AR)设备、计步器、数字TV或台式计算机等。其中,AR设备可以是AR头盔、AR眼镜或其它AR设备等。
图3为本申请实施例提供的一种楼宇的标签的显示示意图,标签可作为展示的虚拟对象中的一种,如图3所述,显示屏(包括可移动显示屏的显示屏或者终端设备的显示屏)上可以显示楼宇的图像和与该楼宇对应的标签,该标签可以指向该楼宇,标签中可以显示楼宇的相关信息,例如,在本申请实施例中,楼宇的相关信息可以包括楼宇的公司名称、楼宇的公司介绍,例如,可以显示公司名称为:XXXX集团总部,公司介绍为:注册资本:XXXX、年营业收入超XXX、连续23年被评为XXX。在本申请的其它实施例中,楼宇的相关信息还可以包括楼宇的公司标识、楼宇的楼层信息、楼宇的负责人联系方式等中的至少一种。
通过在显示屏显示楼宇的相关信息,用户可以通过相关信息直接了解楼宇所在的公司信息,使得用户可以轻易的获取的到该楼宇的信息,从而为用户提供了极大的便利。
在一种实施方式中,在至少两个楼宇之间存在关联的情况下,可以显示与该关联的至少两个楼宇对应的一个标签,该一个标签可以指向至少两个楼宇中的每个楼宇,从而用户可以容易的了解到至少两个楼宇之间存在关联,且由于至少两个楼宇对应显示一个标签,从而能够使得显示屏能够简洁的显示,避免了显示屏的显示出现杂乱的现象,也可以使用户通过一个标签就可以了解到至少两个楼宇的信息,便于用户读取至少两个楼宇的相关信息。
在一种实施方式中,还可以对标签的显示风格进行限定,例如,可以使得标签的显示风格与其匹配的楼宇的风格一致,或者,标签的显示风格可以与当前显示屏上显示的所有楼宇的风格一致。显示风格一致可以是显示颜色相同或相近。例如,在标签对应的楼宇颜色或楼宇模型的颜色为深蓝色的情况下,标签的颜色也可以是深蓝色的显示。在另一种实施方式中,可以使标签的显示风格,与其匹配的楼宇或显示屏上显示的所有楼宇的风格不一致,例如,在标签对应的楼宇颜色或楼宇模型的颜色为深蓝色的情况下,标签的颜色也可以是黄色、白色等的显示。
通过对标签的显示风格进行限定,使得显示屏的显示能够一体化显示,提高了用户的视觉舒适度。
图4为本申请实施例提供的一种图像处理方法的流程示意图,如图4所示,该方法可以应用于显示设备,该方法可以包括:
S401、获取第一现实场景图像。
获取图像数据的方式例如为通过显示设备内置摄像头(如前置摄像头或后置摄像头)获取,或者,通过现实场景中部署的独立于显示设备之外的摄像头来获取,或者,还可以通过其它设备传输给显示设备的用户图像数据的方式来获取。在本申请实施例中,可以是通过显示设备的内置的摄像头获取图像数据。
显示设备的摄像头可以实时的获取图像数据。显示设备的摄像头可以通过设定的采样周期采集图像数据,或者,显示设备的摄像头可以通过可变的采用周期采集图像数据,或者,显示设备的摄像头可以在位置固定时,不再持续性的采集图像数据。例如,在显示屏处于第一位置时保持不动的情况下,显示屏可以将刚开始处于第一位置的情况下采集的图像为第一位置对应的图像,在显示屏由第一位置移动至第二位置的过程中,显示屏可以以设定的采样周期采集图像数据,在显示屏到达第二位置的时候,显示屏可以在采集到第二位置的图像后,就不再继续采集图像,直到下次显示屏在移动的情况下,才继续采集图像数据。也就是说,显示设备的摄像头可以根据显示设备的位置变化,进行图像数据的采集,不同的位置采集的图像数据不同。
第一现实场景图像可以是在显示屏处于任一位置的情况下,摄像头拍摄的图像数据。本申请实施例中的第一现实场景图像为针对真实场景进行拍摄所得到的图像。
第一现实场景中包括的内容可以根据实际场景来确定,例如,在实际场景为建筑群时,确定的第一现实场景图像中可以包括楼宇,进一步,第一现实场景图像中还可以包括花园、天空等其它特征。再例如,在实际场景为多种机器的情况下,确定的第一现实场景图像中可以包括机器,进一步,还可以包括工业环境、工业建筑等其它特征。再例如,在实际场景为车展或展厅时,确定的第一现实场景图像中可以包括待展览物体。本申请实施例对实际场景的选取不作限制。
S402、确定与第一现实场景图像对应的至少两个三维虚拟模型。
三维虚拟模型可以为三维渲染模型。三维虚拟模型可以是提前建立好的模型或者实时建立模型,三维虚拟模型并不是实际场景中真实存在的事物。例如,第一现实场景中包括的一个真实楼宇,可以对应一个楼宇模型,楼宇模型能够反映出真实楼宇的高度、位置、形状、颜色等至少一种信息,但是并不是真实拍摄的真实楼宇。
在一种实施方式中,真实楼宇可以是未建造的楼宇或者是未完成建设的楼宇,确定与该真实楼宇对应的三维虚拟模型可以是指一个竣工完成的楼宇模型,楼宇模型可以是一种效果图。从而在该楼宇模型显示在显示屏上的情况下,用户可以看到这个楼宇在竣工完成后呈现出的形式。这样,用户可以能够清晰的了解到一个区域内楼宇最终的呈现效果,而无需通过复杂的阅览设计图的方式来进行想象。
在一种实施方式中,真实楼宇可以是人眼可见的楼宇外观,确定的与该真实楼宇对应的三维虚拟模型可以是指人眼不可见的背面的楼宇或楼宇内部的装修等,或者,确定的与该真实楼宇对应的三维虚拟模型可以是与人眼可见的楼宇外观对应或相应的楼宇模型。
至少两个三维虚拟模型可以是同种类型的虚拟模型,或者,可以是不同类型的虚拟模型。例如,至少两个三维虚拟模型中可以包括第一楼宇虚拟模型和第二楼宇虚拟模型等。再例如,至少两个三维虚拟模型中可以包括第一楼宇虚拟模型和花园模型等
S403、在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,第一增强现实图像包括免于被遮挡的第一三维虚拟模型。
第一三维虚拟模型可以是第一楼宇虚拟模型。第一三维虚拟模型被遮挡,可以是第一三维虚拟模型不能够被可视化。第一增强现实图像包括免于被遮挡的第一三维虚拟模型,可以是第一增强现实图像中的第一三维虚拟模型能够被可视化。本申请实施例中的遮挡可以是部分遮挡,也可以是完全遮挡。
在本申请实施例中,在第一三维虚拟模型被遮挡的情况下,显示的是第一三维虚拟模型未被遮挡的图像,从而用户能够得到第一三维虚拟模型的完整信息,因此能够使显示设备具有显示免于被遮挡的第一三维虚拟模型的显示方式,提供了增强现实图像的一种新的显示方式,丰富了增强现实图像的显示。
图5为本申请实施例提供的另一种图像处理方法的流程示意图,如图5所示,该方法可以应用于显示设备,该方法可以包括以下步骤:
S501、获取第一现实场景图像。
S502、确定与第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围。
不同的视角范围下的至少两个三维虚拟模型中,包括的对象可以不同。例如,在摄像头拍摄建筑群的左侧建筑的情况下,确定的第一视角范围可以是整体三维虚拟模型的左侧视角范围,在摄像头拍摄建筑群中间建筑的情况下,确定的第一视角范围可以是整体三维虚拟模型的中间视角范围;左侧视角范围可以与中间视角范围可以部分重叠或无重叠。整体三维虚拟模型可以包括至少两个三维虚拟模型。
第一视角范围可以理解为从特定的方向观看整体三维虚拟模型时所截取的具有预设大小的内容。这个特定的方向可以与摄像头的拍摄参数相对应,这个预设大小的内容可以与拍摄的第一现实场景图像的尺寸对应,拍摄参数可以根据显示装置的位置而产生变化,预设大小的内容可以是预先设置的。
在一种实施方式中,S502可以通过以下方式实现:通过第一现实场景图像与至少两个三维虚拟模型进行匹配的方式,来确定第一视角范围。例如,将第一现实场景图像与不同视角范围下的至少两个三维虚拟模型进行匹配;在第一现实场景图像与特定视角范围下的至少两个三维虚拟模型匹配成功的情况下,确定特定视角范围为第一视角范围。第一现实场景图像与特定视角范围下的至少两个三维虚拟模型匹配成功,可以包括:第一现实场景图像与特定视角范围下的至少两个三维虚拟模型的相似度超过特定阈值。
在另一种实施方式中,S502可以通过以下方式实现:通过拍摄参数确定第一视角范围。例如,确定拍摄第一现实场景图像时的拍摄参数,拍摄参数包括拍摄位置、拍摄高度、拍摄方向和拍摄距离中的至少一种参数;基于至少一种参数,确定第一视角范围。
在一种实施方式中,可以通过以下方式确定至少两个三维虚拟模型:获取与第一现实场景图像对应的至少两个三维模型;对至少两个三维模型进行渲染,得到至少两个三维虚拟模型。
其中,至少两个三维模型可以是渲染前的模型,至少两个三维虚拟模型可以是渲染后的三维虚拟模型。
至少两个三维模型和至少两个三维虚拟模型均对应拍摄得到的第一现实场景图像,即至少两个三维模型或至少两个三维虚拟模型中包括的对象,可以与拍摄的第一现实场景中的对象一致。对至少两个三维模型进行渲染,得到至少两个三维虚拟模型,可以通过多种方式实现。
例如,在一些实施方式中,可以采用预设的渲染方式对至少两个三维模型进行渲染,这样,可以将楼宇模型渲染成具有玻璃质感的楼宇模型。在另一些实施方式中,可以根据当前场景对至少两个三维模型进行渲染。例如,可以根据天气、光线等条件对至少两个三维模型进行渲染,得到至少两个三维虚拟模型。例如,在天气为雨天或阴天时,可以采用较为阴暗的渲染方式对至少两个三维模型进行渲染,在天气为晴朗时,可以采用较为明亮的渲染方式对至少两个三维模型进行渲染。例如,在傍晚夕阳照射在楼宇上时,还可以模拟夕阳的光线对至少两个三维模型进行渲染。如此,可以使得对至少两个三维模型的渲染方式更符合真实场景,提高了用户的代入感。
在一些实施方式中,上述的至少两个三维模型或者至少两个三维虚拟模型,可以是从本地直接获取的。例如,显示设备的内部的存储器可以保存有至少两个三维模型或者至少两个三维虚拟模型,从而显示设备可以直接调用内部存储的至少两个三维模型或者至少两个三维虚拟模型。
在另一些实施方式中,上述的至少两个三维模型或者至少两个三维虚拟模型,可以是从云端获取的,云端可以是云服务器。例如,显示设备可以将拍摄的第一现实场景图像发送至云端,从而云端可以基于第一现实场景图像确定至少两个三维虚拟模型,或者,云端可以基于第一现实场景图像确定至少两个三维模型,然后,云端可以对至少两个三维模型进行渲染,得到至少两个三维虚拟模型,将至少两个三维虚拟模型发送给显示设备,以使显示设备显示。
S503、在第一视角范围与预先设置的渲染角度匹配,且三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,第一增强现实图像包括在第一视角范围内,免于被遮挡的第一三维虚拟模型。
渲染角度可以与视角角度对应,渲染角度可以是一个角度范围内的任一角度,或者可以是一个预设的角度。与预设的渲染角度对应的视角角度,可以是左侧视角下的至少两个三维虚拟模型至中间视角下的至少两个三维虚拟模型之间的任一视角。
例如,在第一视角范围为左侧的视角范围时,第一视角范围与预先设置的渲染角度匹配,在第一三维虚拟模型被遮挡的情况下,显示免于被遮挡的第一三维虚拟模型。在第一视角范围为右侧的视角范围时,第一视角范围与预先设置的渲染角度不匹配,在第一三维虚拟模型被遮挡的情况下,显示被遮挡的第一三维虚拟模型。
在本申请实施例中,在确定的第一视角范围与预先设置的渲染角度匹配的情况下,才显示免于被遮挡的第一三维虚拟模型,否则,显示的是被遮挡的第一三维虚拟模型。如此,显示设备能够根据拍摄的视角范围确定是否显示第一三维虚拟模型的遮挡物,从而使得显示设备的显示具有多样性。
图6为本申请实施例提供的又一种图像处理方法的流程示意图,如图6所示,该方法可以应用于显示设备,该方法可以包括:
S601、获取第一现实场景图像。
S602、基于第一现实场景图像,实时建立与第一现实场景图像匹配的至少两个三维虚拟模型。
在本申请实施例中,至少两个三维虚拟模型可以是实时建立起来的,这样,无论显示设备获取的第一现实场景图像是什么样的,显示设备都可以建立与第一显示场景图像匹配的至少两个三维虚拟模型。实时建立至少两个三维虚拟模型的一种实施方式,可以是实时渲染至少两个三维模型。
实时渲染可以是通过实时渲染软件进行实时渲染,不同的实时渲染软件对应不同的渲染方式,实时渲染软件可以根据实际情况进行选择。
例如,在摄像头拍摄到的包括至少两个楼宇的情况下,显示设备可以建立这两个楼宇对应的至少两个三维虚拟模型。再例如,在摄像头拍摄到有一只小鸟飞过天空的情况下,显示设备可以实时地建立小鸟飞过天空的模型,这样真实场景中呈现的是小鸟飞过天空,显示屏显示的虚拟场景中,呈现出小鸟模型飞过天空或者在显示屏上飞过。在这种方式下,在拍摄到小鸟之前,显示设备中是可以不存在小鸟的模型的。
S603、在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,第一增强现实图像包括免于被遮挡的第一三维虚拟模型。
在本申请实施例中,由于显示设备可以基于第一现实场景图像,实时建立与第一现实场景图像匹配的至少两个三维虚拟模型,从而显示设备可以确定的至少两个三维虚拟模型能够与实时拍摄的真实场景相对应,从而提升了用户的代入感,从而用户能够清楚地认识到真实场景中的细节。
图7a为本申请实施例提供的再一种图像处理方法的流程示意图,如图7a所示,该方法可以应用于显示设备,该方法可以包括:
S701、获取第一现实场景图像。
S702、确定与第一现实场景图像对应的至少两个三维虚拟模型。
S703、在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,从第一现实场景图像中,确定与第一三维虚拟模型对应的第一特定对象的位置。
第一三维虚拟模型可以与第一特定对象的位置和尺寸相应。
S704、将获取的第一三维虚拟模型置于第一特定对象的位置上,得到并显示第一增强现实图像。
图7b为本申请实施例提供的一种第一现实场景图像和第一增强现实图像的示意图,如图7b所示,第一现实场景图像710中可以包括楼宇A和楼宇B,楼宇B被楼宇A遮挡,显示设备可以获取楼宇B的三维虚拟模型B’,然后将三维虚拟模型B’置于第一现实场景图像710中的楼宇B的位置上,以覆盖楼宇B,从而显示设备上可以显示包括楼宇A和楼宇B的三维虚拟模型B’的第一增强现实图像720。
在一种实施方式中,楼宇A和楼宇B可以设置在第一图层,楼宇B的三维虚拟模型B’可以设置在第二图层,第二图层可以设置在第一图层之上。
在本申请实施例中,显示设备将获取的第一三维虚拟模型置于第一特定对象的位置上,得到并显示第一增强现实图像,从而可以显示虚实结合的图像,从而不仅保留了当前拍摄的图像细节,还能够显示第一三维虚拟模型,使得用户可以了解到完整的第一三维虚拟模型的情况。
图8为本申请另一实施例提供的一种图像处理方法的流程示意图,如图8所示,该方法可以应用于显示设备,该方法可以包括:
S801、获取第一现实场景图像。
S802、确定与第一现实场景图像对应的至少两个三维虚拟模型。
S803、在至少两个三维虚拟模型中的第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果。
在一种实施方式中,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果,可以包括:对第二三维虚拟模型进行隐藏处理,得到第一处理结果。
在另一种实施方式中,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果,可以包括:对第二三维虚拟模型进行更改透明度处理,得到第一处理结果。更改透明度可以包括将低透明度的第二三维虚拟模型修改为高透明度的第二三维虚拟模型。在通过对第二三维虚拟模型进行更改透明度处理,得到的第一处理结果,根据该第一处理结果,显示第一增强现实图像时,第二三维虚拟模型可以显示出来,但是第二三维虚拟模型的透明度较高,用户无法看清第二三维虚拟模型的细节,可以看到第二三维虚拟模型的轮廓大小等,而用户可以通过透明的第二三维虚拟模型,看到完整的第一三维虚拟模型,从而第一三维虚拟模型免于被第二三维虚拟模型遮挡。
在又一种实施方式中,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果,可以包括:将第二三维虚拟模型的材质设定为特定材质,得到第一处理结果;特定材质无法可视化显示。例如,显示设备可以将第二三维虚拟模型的材质设定为玻璃材质或透明材质,特定材质可以是视觉上透明的材质,特定材质可以是无颜色的特定材质或者有颜色的材质,颜色的材质例如是蓝色的玻璃材质等。
在再一种实施方式中,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果,可以包括:对第一三维虚拟模型和/或第二三维虚拟模型进行移动处理,得到第一处理结果。例如,显示设备可以将第一三维虚拟模型向远离第二三维虚拟模型的方向移动,或者,显示设备可以将第二三维虚拟模型向远离第一三维虚拟模型的方式移动,如此,第一三维虚拟模型和第二三维虚拟模型可以互不遮挡。再例如,显示设备可以将第一三维虚拟模型或第二三维虚拟模型沿着视线方向移动,从而使得第一三维虚拟模型遮挡第二三维虚拟模型,如此,能够使得用户可以看清第一三维虚拟模型的细节。
在一种实施方式中,S803可以通过以下方式步骤A至步骤C的方式来实现:
步骤A、在三维虚拟模型中的第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,显示第二增强现实图像;其中,第二增强现实图像包括被第二三维虚拟模型遮挡的第一三维虚拟模型。
步骤B、获取针对第二三维虚拟模型进行触发的第一触发指令。
在显示设备显示第二增强现实图像的情况下,用户可以对第二增强显示中的第二三维虚拟模型进行点击操作后,并点击隐藏信息。
步骤C、基于第一触发指令,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果。
通过这种方式,显示设备在开始显示的时候,显示的是第二三维虚拟模型遮挡的第一三维虚拟模型的第二增强现实图像,然后显示设备可以基于用户对第二三维虚拟模型进行隐藏操作,得到对第二三维虚拟模型进行隐藏的第一处理结果,从而在基于第一处理结果显示时,将不再显示第二三维虚拟模型。
S804、基于第一处理结果,显示第一增强现实图像。
在一种实施方式中,基于第一处理结果,显示第一增强现实图像,可以包括:对第一处理结果与第一现实场景图像进行融合,确定并显示第一增强现实图像。
例如,第一现实场景图像中可以包括天空、第一楼宇以及第二楼宇,显示设备可以确定第一楼宇和第二楼宇分别对应的第一楼宇虚拟模型和第二楼宇虚拟模型,在显示的第一增强现实图像中,可以显示天空、第一楼宇虚拟模型和第二楼宇虚拟模型,从而不仅能够保留真实场景的细节,还可以显示楼宇虚拟模型,从而兼顾了真实感和完整度。
在一种实施方式中,在S804之后,显示设备还可以执行步骤D至步骤F:
步骤D、获取针对用于标识隐藏的第二三维虚拟模型的控件进行触发的第二触发指令。
用于标识隐藏的第二三维虚拟模型的控件可以设置在显示屏的边缘位置,边缘位置可以设置有用于标识隐藏模型的标签,该用于标识隐藏模型的标签下可以放置一个或至少两个隐藏的三维虚拟模型,该一个或至少两个三维虚拟隐藏的模型可以包括隐藏的第二三维虚拟模型。
步骤E、基于第二触发指令,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第二处理结果。
对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第二处理结果,可以是对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果的反向操作,例如,前者是将隐藏的第二三维虚拟模型进行显示,后者是将显示的第二三维虚拟模型进行隐藏,再例如,前者是将透明度高的第二三维虚拟模型,修改为透明度低的第二三维虚拟模型,后者是将透明度低的第二三维虚拟模型,修改为透明度高的第二三维虚拟模型。
步骤F、基于第二处理结果,显示第二增强现实图像。
通过这种方式,显示设备可以根据第二触发指令,恢复遮挡物的显示。
在本申请实施例中,三维虚拟模型的隐藏或显示可能会导致与其对应的标签的隐藏或显示。
在一种实施方式中,第二增强现实图像还包括:与第一三维虚拟模型对应的标签和与第二三维虚拟模型对应的标签。或者,第二增强现实图像还包括:与第二三维虚拟模型对应的标签。
在另一种实施方式中,第一增强现实图像还包括:与第一三维虚拟模型对应的标签。或者,第一增强现实图像还包括:与第一三维虚拟模型对应的标签和与第二三维虚拟模型对应的标签。
在本申请实施例中,显示设备通过对第一三维虚拟模型和/或第二三维虚拟模型进行处理的方式,确定第一增强现实图像,从而提供了一种确定第一增强现实图像的方案。
基于前述的实施例,本申请实施例还可以提供一种图像处理方法,在本申请实施例中,获取第一现实场景图像可以通过以下方式实现:在显示屏滑动至第一位置的情况下,采用摄像头对当前视角下的场景进行拍摄,得到第一现实场景图像;其中,显示屏的位置与摄像头的位置之间满足设定关系。
显示屏的滑动可以是沿水平面的滑动,或者沿垂直面的滑动,或者沿斜面滑动,或者沿曲面滑动等等。
显示屏的位置与摄像头的位置之间满足设定关系,可以包括:显示屏的位置与摄像头的位置之间的相对位置不变。
基于前述的实施例,本申请实施例还可以提供一种图像处理方法,在本申请实施例中,在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像之后,方法还可以包括:获取针对第一增强现实图像进行滑动触发的第三触发指令;基于第三触发指令,显示第三增强现实图像;其中,第三增强现实图像包括免于被遮挡的第一三维虚拟模型,第三增强现实图像中第一三维虚拟模型的视角,与第一增强现实图像中第一三维虚拟模型的视角不同。
在用户用手指在显示屏上滑动的过程中,显示屏可以根据手指在显示屏上的滑动情况显示出不同视角下的增强现实图像。
在一种实施方式中,在用户的手指滑动显示屏并离开显示屏之后,显示屏可以自动地恢复显示第一增强现实图像。
在另一种实施方式中,在用户的手指滑动显示屏并离开显示屏之后,显示屏可以依旧显示与滑动对应的第三增强现实图像,进一步,显示设备可以获取针对用于重置视角范围的控件进行触发的第四触发指令;基于第四触发指令,显示第一增强现实图像。
基于前述的实施例,本申请实施例提供一种图像处理装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过终端设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图9为本申请实施例提供的一种图像处理装置的组成结构示意图,如图9所示,图像处理装置900包括:
获取单元901,用于获取第一现实场景图像;
模型确定单元902,用于确定与第一现实场景图像对应的至少两个三维虚拟模型;
显示单元903,用于在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,第一增强现实图像包括免于被遮挡的第一三维虚拟模型。
在一些实施例中,图像处理装置900还包括:视角确定单元904,用于确定与第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围。
在一些实施例中,显示单元903,还用于在第一视角范围与预先设置的渲染角度匹配,且至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,第一增强现实图像包括在第一视角范围内,免于被遮挡的第一三维虚拟模型。
在一些实施例中,视角确定单元904,还用于将第一现实场景图像与不同视角范围下的至少两个三维虚拟模型进行匹配;在第一现实场景图像与特定视角范围下的至少两个三维虚拟模型匹配成功的情况下,确定特定视角范围为第一视角范围。
在一些实施例中,视角确定单元904,还用于确定拍摄第一现实场景图像时的拍摄参数,拍摄参数包括拍摄位置、拍摄高度、拍摄方向和拍摄距离中的至少一种参数;基于至少一种参数,确定第一视角范围。
在一些实施例中,模型确定单元902,还用于基于第一现实场景图像,实时建立与第一现实场景图像匹配的至少两个三维虚拟模型。
在一些实施例中,显示单元903,还用于在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,从第一现实场景图像中,确定与第一三维虚拟模型对应的第一特定对象的位置;将获取的第一三维虚拟模型置于第一特定对象的位置上,得到并显示第一增强现实图像。
在一些实施例中,显示单元903,还用于在至少两个三维虚拟模型中的第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果;基于第一处理结果,显示第一增强现实图像。
在一些实施例中,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果,包括以下之一:对第二三维虚拟模型进行隐藏处理,得到第一处理结果;对第二三维虚拟模型进行更改透明度处理,得到第一处理结果;将第二三维虚拟模型的材质设定为特定材质,得到第一处理结果;特定材质无法可视化显示;对第一三维虚拟模型和/或第二三维虚拟模型进行移动处理,得到第一处理结果。
在一些实施例中,显示单元903,还用于对第一处理结果与第一现实场景图像进行融合,确定并显示第一增强现实图像。
在一些实施例中,显示单元903,还用于在三维虚拟模型中的第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,显示第二增强现实图像;其中,第二增强现实图像包括被第二三维虚拟模型遮挡的第一三维虚拟模型;获取针对第二三维虚拟模型进行触发的第一触发指令;基于第一触发指令,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第一处理结果。
在一些实施例中,显示单元903,还用于获取针对用于标识隐藏的第二三维虚拟模型的控件进行触发的第二触发指令;基于第二触发指令,对第一三维虚拟模型和/或第二三维虚拟模型进行处理,得到第二处理结果;基于第二处理结果,显示第二增强现实图像。
在一些实施例中,第二增强现实图像还包括:与第一三维虚拟模型对应的标签和与第二三维虚拟模型对应的标签;或者,第二增强现实图像还包括:与第二三维虚拟模型对应的标签。
在一些实施例中,第一增强现实图像还包括:与第一三维虚拟模型对应的标签;或者,第一增强现实图像还包括:与第一三维虚拟模型对应的标签和与第二三维虚拟模型对应的标签。
在一些实施例中,获取单元901,还用于在显示屏滑动至第一位置的情况下,采用摄像头对当前视角下的场景进行拍摄,得到第一现实场景图像;其中,显示屏的位置与摄像头的位置之间满足设定关系。
在一些实施例中,显示单元903,还用于获取针对第一增强现实图像进行滑动触发的第三触发指令;基于第三触发指令,显示第三增强现实图像;其中,第三增强现实图像包括免于被遮挡的第一三维虚拟模型,第三增强现实图像中第一三维虚拟模型的视角,与第一增强现实图像中第一三维虚拟模型的视角不同。
在一些实施例中,显示单元903,还用于获取针对用于重置视角范围的控件进行触发的第四触发指令;基于第四触发指令,显示第一增强现实图像。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的模式控制方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台显示设备执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
需要说明的是,图10为本申请实施例提供的一种显示设备的硬件实体示意图,如图10所示,该显示设备1000的硬件实体包括:处理器1001和存储器1002,其中,存储器1002存储有可在处理器1001上运行的计算机程序,处理器1001执行程序时实现上述任一实施例的方法中的步骤。
存储器1002存储有可在处理器上运行的计算机程序,存储器1002配置为存储由处理器1001可执行的指令和应用,还可以缓存待处理器1001以及显示设备1000中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器1001执行程序时实现上述任一项的模式控制方法的步骤。处理器1001通常控制显示设备1000的总体操作。
本申请实施例还可以提供另一种显示设备的硬件实体示意图,该显示设备的硬件实体可以包括:
摄像头,用于获取第一现实场景图像;
处理器,用于确定与第一现实场景图像对应的至少两个三维虚拟模型;
显示屏,用于在至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,第一增强现实图像包括免于被遮挡的第一三维虚拟模型。
其中,摄像头和显示屏可以均与处理器进行连接,摄像头在拍摄到第一现实场景图像的情况下,可以将该第一现实场景图像发送给处理器,处理器可以根据该第一现实场景图像确定至少两个三维虚拟模型,然后将免于被遮挡的第一三维虚拟模型发送给显示屏,以使显示屏显示免于被遮挡的第一三维虚拟模型。
在其它实施例中,显示屏可以设置有其它器件,摄像头、处理器、显示屏可以显示上述记载的其它步骤,对此不再一一描述。
本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的模式控制方法的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”或“本申请实施例”或“前述实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“本申请实施例”或“前述实施例”或“一些实施例”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在未做特殊说明的情况下,显示设备执行本申请实施例中的步骤时,可以是显示设备的处理器执行该步骤。除非特殊说明,本申请实施例并不限定显示设备执行下述步骤的先后顺序。另外,不同实施例中对数据进行处理所采用的方式可以是相同的方法或不同的方法。还需说明的是,本申请实施例中的任一步骤是显示设备可以独立执行的,即显示设备执行上述实施例中的任一步骤时,可以不依赖于其它步骤的执行。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中,不同实施例中相同步骤和相同内容的说明,可以互相参照。在本申请实施例中,术语“并”不对步骤的先后顺序造成影响,例如,显示设备执行A,并执行B,可以是显示设备先执行A,再执行B,或者是显示设备先执行B,再执行A,或者是显示设备执行A的同时执行B。
值得注意的是,本申请实施例中的附图只是为了说明各个器件在终端设备上的示意位置,并不代表在终端设备中的真实位置,各器件或各个区域的真实位置可根据实际情况(例如,终端设备的结构)作出相应改变或偏移,并且,图中的终端设备中不同部分的比例并不代表真实的比例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种图像处理方法,其特征在于,包括:
获取第一现实场景图像;
确定与所述第一现实场景图像对应的至少两个三维虚拟模型;
在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,所述第一增强现实图像包括免于被遮挡的所述第一三维虚拟模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定与所述第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围;
所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像,包括:
在所述第一视角范围与预先设置的渲染角度匹配,且所述至少两个三维虚拟模型中的所述第一三维虚拟模型被遮挡的情况下,显示所述第一增强现实图像;其中,所述第一增强现实图像包括在所述第一视角范围内,免于被遮挡的所述第一三维虚拟模型。
3.根据权利要求2所述的方法,其特征在于,所述确定与所述第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围,包括:
将所述第一现实场景图像与不同视角范围下的所述至少两个三维虚拟模型进行匹配;
在所述第一现实场景图像与特定视角范围下的至少两个三维虚拟模型匹配成功的情况下,确定所述特定视角范围为所述第一视角范围。
4.根据权利要求2所述的方法,其特征在于,所述确定与所述第一现实场景图像对应的至少两个三维虚拟模型的第一视角范围,包括:
确定拍摄所述第一现实场景图像时的拍摄参数,所述拍摄参数包括拍摄位置、拍摄高度、拍摄方向和拍摄距离中的至少一种参数;
基于所述至少一种参数,确定所述第一视角范围。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述确定与所述第一现实场景图像对应的至少两个三维虚拟模型,包括:
基于所述第一现实场景图像,实时建立与所述第一现实场景图像匹配的所述至少两个三维虚拟模型。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像,包括:
在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,从所述第一现实场景图像中,确定与所述第一三维虚拟模型对应的第一特定对象的位置;
将获取的所述第一三维虚拟模型置于所述第一特定对象的位置上,得到并显示所述第一增强现实图像。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像,包括:
在所述至少两个三维虚拟模型中的所述第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第一处理结果;
基于所述第一处理结果,显示所述第一增强现实图像。
8.根据权利要求7所述的方法,其特征在于,所述对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第一处理结果,包括以下之一:
对所述第二三维虚拟模型进行隐藏处理,得到所述第一处理结果;
对所述第二三维虚拟模型进行更改透明度处理,得到所述第一处理结果;
将所述第二三维虚拟模型的材质设定为特定材质,得到所述第一处理结果;所述特定材质无法可视化显示;
对所述第一三维虚拟模型和/或第二三维虚拟模型进行移动处理,得到所述第一处理结果。
9.根据权利要求7或8所述的方法,其特征在于,所述基于所述第一处理结果,显示所述第一增强现实图像,包括:
对所述第一处理结果与所述第一现实场景图像进行融合,确定并显示所述第一增强现实图像。
10.根据权利要求7至9任一项所述的方法,其特征在于,所述在所述至少两个三维虚拟模型中的所述第一三维虚拟模型被第二三维虚拟模型遮挡的情况下,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第一处理结果,包括:
在所述三维虚拟模型中的所述第一三维虚拟模型被所述第二三维虚拟模型遮挡的情况下,显示第二增强现实图像;其中,所述第二增强现实图像包括被所述第二三维虚拟模型遮挡的所述第一三维虚拟模型;
获取针对所述第二三维虚拟模型进行触发的第一触发指令;
基于所述第一触发指令,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到所述第一处理结果。
11.根据权利要求10所述的方法,其特征在于,所述基于所述第一处理结果,显示所述第一增强现实图像之后,还包括:
获取针对用于标识隐藏的所述第二三维虚拟模型的控件进行触发的第二触发指令;
基于所述第二触发指令,对所述第一三维虚拟模型和/或所述第二三维虚拟模型进行处理,得到第二处理结果;
基于所述第二处理结果,显示所述第二增强现实图像。
12.根据权利要求10或11所述的方法,其特征在于,所述第二增强现实图像还包括:与所述第一三维虚拟模型对应的标签和与所述第二三维虚拟模型对应的标签;
或者,
所述第二增强现实图像还包括:与所述第二三维虚拟模型对应的标签。
13.根据权利要求1至12任一项所述的方法,其特征在于,所述第一增强现实图像还包括:与所述第一三维虚拟模型对应的标签;
或者,
所述第一增强现实图像还包括:与所述第一三维虚拟模型对应的标签和与所述第二三维虚拟模型对应的标签。
14.根据权利要求1至13任一项所述的方法,其特征在于,所述获取第一现实场景图像,包括:
在显示屏滑动至第一位置的情况下,采用摄像头对当前视角下的场景进行拍摄,得到所述第一现实场景图像;其中,所述显示屏的位置与所述摄像头的位置之间满足设定关系。
15.根据权利要求1至14任一项所述的方法,其特征在于,所述在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像之后,所述方法还包括:
获取针对所述第一增强现实图像进行滑动触发的第三触发指令;
基于所述第三触发指令,显示第三增强现实图像;其中,所述第三增强现实图像包括免于被遮挡的所述第一三维虚拟模型,所述第三增强现实图像中所述第一三维虚拟模型的视角,与所述第一增强现实图像中所述第一三维虚拟模型的视角不同。
16.根据权利要求15所述的方法,其特征在于,所述基于所述第三触发指令,显示第三增强现实图像之后,所述方法还包括:
获取针对用于重置视角范围的控件进行触发的第四触发指令;
基于所述第四触发指令,显示所述第一增强现实图像。
17.一种图像处理装置,其特征在于,包括:
获取单元,用于获取第一现实场景图像;
模型确定单元,用于确定与所述第一现实场景图像对应的至少两个三维虚拟模型;
显示单元,用于在所述至少两个三维虚拟模型中的第一三维虚拟模型被遮挡的情况下,显示第一增强现实图像;其中,所述第一增强现实图像包括免于被遮挡的所述第一三维虚拟模型。
18.一种显示设备,其特征在于,包括:存储器和处理器,
所述存储器存储有可在处理器上运行的计算机程序,
所述处理器执行所述程序时实现权利要求1至16任一项所述方法中的步骤。
19.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至16任一项所述方法中的步骤。
CN202010622504.2A 2020-06-30 2020-06-30 图像处理方法、装置、显示设备及计算机存储介质 Active CN111833455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010622504.2A CN111833455B (zh) 2020-06-30 2020-06-30 图像处理方法、装置、显示设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622504.2A CN111833455B (zh) 2020-06-30 2020-06-30 图像处理方法、装置、显示设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111833455A true CN111833455A (zh) 2020-10-27
CN111833455B CN111833455B (zh) 2023-04-07

Family

ID=72901404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622504.2A Active CN111833455B (zh) 2020-06-30 2020-06-30 图像处理方法、装置、显示设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111833455B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419797A (zh) * 2021-05-21 2021-09-21 北京达佳互联信息技术有限公司 一种组件显示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070388A1 (en) * 2013-09-09 2015-03-12 Empire Technology Development, Llc Augmented reality alteration detector
CN105528083A (zh) * 2016-01-12 2016-04-27 广州创幻数码科技有限公司 一种混合现实识别关联方法及装置
CN108830940A (zh) * 2018-06-19 2018-11-16 广东虚拟现实科技有限公司 遮挡关系处理方法、装置、终端设备及存储介质
CN109550247A (zh) * 2019-01-09 2019-04-02 网易(杭州)网络有限公司 游戏中虚拟场景调整方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070388A1 (en) * 2013-09-09 2015-03-12 Empire Technology Development, Llc Augmented reality alteration detector
CN105528083A (zh) * 2016-01-12 2016-04-27 广州创幻数码科技有限公司 一种混合现实识别关联方法及装置
CN108830940A (zh) * 2018-06-19 2018-11-16 广东虚拟现实科技有限公司 遮挡关系处理方法、装置、终端设备及存储介质
CN109550247A (zh) * 2019-01-09 2019-04-02 网易(杭州)网络有限公司 游戏中虚拟场景调整方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113419797A (zh) * 2021-05-21 2021-09-21 北京达佳互联信息技术有限公司 一种组件显示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111833455B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
Collins et al. Visual coherence in mixed reality: A systematic enquiry
CN111833458B (zh) 图像显示方法及装置、设备、计算机可读存储介质
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN111880720B (zh) 虚拟显示方法、装置、设备和计算机可读存储介质
CN102076388A (zh) 便携式游戏装置以及便携式游戏装置的控制方法
CN111638797A (zh) 一种展示控制方法及装置
CN111815786A (zh) 信息显示方法、装置、设备和存储介质
CN111679742A (zh) 基于ar的交互控制方法、装置、电子设备及存储介质
CN112991556B (zh) Ar数据的展示方法、装置、电子设备及存储介质
CN114612643B (zh) 虚拟对象的形象调整方法、装置、电子设备及存储介质
CN114332374A (zh) 一种虚拟显示方法、设备以及存储介质
CN111639613B (zh) 一种增强现实ar特效生成方法、装置及电子设备
CN111860252A (zh) 图像处理方法、设备及存储介质
WO2023116396A1 (zh) 一种渲染显示方法、装置、计算机设备及存储介质
CN107209567A (zh) 带有视觉反馈的注视致动的用户界面
CN111815782A (zh) Ar场景内容的显示方法、装置、设备及计算机存储介质
CN111833455B (zh) 图像处理方法、装置、显示设备及计算机存储介质
US11961190B2 (en) Content distribution system, content distribution method, and content distribution program
CN112333498A (zh) 一种展示控制方法、装置、计算机设备及存储介质
CN111918114A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
TWI669633B (zh) Mixed reality interaction method and system thereof
CN108932750A (zh) 增强现实的展示方法、装置、电子设备及存储介质
CN114625468A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质
CN115049803A (zh) 增强现实画面的展示方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant