CN111052110A - 用于将网页覆盖在3d对象上的方法、装置和计算机程序 - Google Patents

用于将网页覆盖在3d对象上的方法、装置和计算机程序 Download PDF

Info

Publication number
CN111052110A
CN111052110A CN201780094387.3A CN201780094387A CN111052110A CN 111052110 A CN111052110 A CN 111052110A CN 201780094387 A CN201780094387 A CN 201780094387A CN 111052110 A CN111052110 A CN 111052110A
Authority
CN
China
Prior art keywords
web page
content
viewer
content area
overlaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780094387.3A
Other languages
English (en)
Inventor
B·奇里斯肯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wester Electronic Industry And Trade Co Ltd
Original Assignee
Wester Electronic Industry And Trade Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wester Electronic Industry And Trade Co Ltd filed Critical Wester Electronic Industry And Trade Co Ltd
Publication of CN111052110A publication Critical patent/CN111052110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/106Display of layout of documents; Previewing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

网页(10)被覆盖在真实的或虚拟的3D对象(24、26)上以供观看者(22)观看。网页(10)具有多个内容区域(12、14、16)。为了实现所述覆盖,内容区域(12、14、16)被分配给3D对象(24、26)的不同的相应的部分(24A、24B;26)。内容区域(12、14、16)的分配是分层的,以使得网页(10)的具有最高重要性的内容区域被分配给3D对象(24、26)的是以下中的至少一项的部分:(i)在观看者(22)的视场中最靠近观看者(22);以及(ii)在观看者(22)的视场中位于最中心。在必要时调整内容区域(12、14、16)的大小以将内容区域(12、14、16)适配在3D对象(24、26)的被分配给所述内容区域(12、14、16)的部分内。

Description

用于将网页覆盖在3D对象上的方法、装置和计算机程序
技术领域
本公开涉及一种用于将网页覆盖在真实的或虚拟的3D对象上的方法、装置和计算机程序。
背景技术
用于在显示器上呈现网页的许多布置和技术是已知的,网页是适合于万维网和Web浏览器的“文档”。通常,在用户计算设备(诸如个人计算机、平板计算机、智能电话等)上运行的浏览器以所提供的形式显示网页。
所谓的“响应式Web设计”是一种Web设计的方法,这种Web设计调整根据正被用于观看网页的屏幕或Web浏览器的大小和/或纵横比而显示的网页的布局。这使得网页的显示的布局能够根据例如网页是否正在大型监视器或显示屏幕、平板计算机或智能电话上被观看而被调整。
US6898307B1公开了用于增强现实显示的对象识别方法和系统。真实的物品(优选地纸张的页面)被设置作为待显示的电子图像的参考系。所述系统识别页面的朝向。针对捕捉的图像计算对应的真实世界坐标,并且将这些坐标与预定的标准进行比较以验证对象的性质。这使得能够用覆盖在页面的图像上的影像和/或文本的虚拟显示来观看真实世界的物品(诸如页面)并且与该物品进行交互,以在实际上不打印显示的文档的情况下给予拥有电子文档的打印版本的错觉。
发明内容
根据本文中所公开的第一方面,提供了一种用于将网页覆盖在真实的或虚拟的3D对象上以供观看者观看的计算机实现的方法,所述网页具有多个内容区域,所述方法包括:
将网页的内容区域分配给3D对象的不同的相应的部分;
其中,网页的内容区域的分配是分层的,以使得网页的具有最高重要性的内容区域被分配给3D对象的是以下中的至少一项的部分:(i)在观看者的视场中最靠近观看者;以及(ii)在观看者的视场中的最中心;
按照需要调整网页的内容区域中的至少一个内容区域的大小以将内容区域适配(fit)在3D对象的被分配给所述内容区域的部分内;以及
将网页的内容区域覆盖在3D对象的相应的被分配的部分上。
3D对象可以是真实的或虚拟的对象。例如,可以通过例如在真实的3D对象上投影网页的图像来网页覆盖在该真实的3D对象上,这可以被观看者直接观看(不需要头戴式显示器或护目镜等)。作为另一个例子,3D对象可以是正通过观看装置(诸如头戴式显示器或护目镜等)被观看的真实的对象;在这种情况下,网页被覆盖在正通过某个观看装置被观看的、真实的3D对象的图像上。在又一个例子中,3D对象可以是计算机产生的并且正通过观看装置(诸如头戴式显示器或护目镜等)被观看的虚拟对象;在这种情况下,网页被覆盖在正通过某个观看装置被观看的3D对象的由计算机产生的图像上。
在例子中,使用具有多行和多列的网格来执行网页的内容区域中的所述至少一个内容区域的大小调整,其中,在概念上网格被应用于3D对象的被分配给该内容区域的部分,并且按照需要对网格的行和列的间隔进行调整以使得网格适配该内容区域。
这类似于2D响应式Web设计中使用的所谓的流体网格(fluid grid),尽管在细节形式上有所不同。
在例子中,所述方法包括在将内容区域覆盖在3D对象的被分配的部分上之前,按照需要根据3D对象的被分配的部分的三维形状来重塑内容区域。
3D对象的被分配的部分的三维形状可以是平面的,像例如立方体或长方体的侧面等。在这样的情况下,重塑对于导致被分配的部分的三维形状不是必要的。否则,如果3D对象的被分配的部分的三维形状不是平面的,则通常执行某个重塑。
在例子中,所述方法包括在将内容区域覆盖在3D对象的分配的部分上之前,按照需要根据用户观看3D对象的被分配的部分的角度来重塑所述内容区域。
例如,3D对象的被分配的部分可以显现为逐渐缩小到观看者所观看的距离。在这样的情况下,所述内容区域可以被重塑以便跟随或匹配3D对象的被分配的部分的逐渐缩小。
在例子中,3D对象是观看者通过增强现实观看设备观看的真实的3D对象的图像。
在例子中,3D对象是观看者通过虚拟现实观看设备观看的由计算机产生的图像。
在例子中,3D对象是真实的3D对象,并且将网页的内容区域覆盖在3D对象的相应的被分配的部分上包括将网页的内容区域的图像投影在真实的3D对象的相应的被分配的部分上。
根据本文中所公开的第二方面,提供了一种用于将网页覆盖在真实的或虚拟的3D对象上以供观看者观看的装置,所述网页具有多个内容区域,所述装置包括:
至少一个处理器;
以及包括计算机程序指令的至少一个存储器;
所述至少一个存储器和所述计算机程序指令被配置为利用所述至少一个处理器使所述装置:
将网页的内容区域分配给3D对象的不同的相应的部分;
其中,网页的内容区域的分配是分层的,以使得网页的具有最高重要性的内容区域被分配给3D对象的是以下中的至少一项的部分:(i)在观看者的视场中最靠近观看者;以及(ii)在观看者的视场中的最中心;
按照需要调整网页的内容区域中的至少一个内容区域的大小以将所述内容区域适配在3D对象的被分配给所述内容区域的部分内;并且
将网页的内容区域覆盖在3D对象的相应的被分配的部分上。
在例子中,所述装置包括用于观看3D对象的图像的显示器。
所述显示器可以例如是护目镜或其他眼镜等,所述装置在这种情况下是例如头戴式显示器或其他观看设备。
根据本文中所公开的第三方面,提供了一种包括指令的计算机程序,所述指令使得当所述计算机程序在计算设备上被执行时,所述计算装置被布置为通过以下步骤来将网页覆盖在真实的或虚拟的3D对象上以供观看者观看,所述网页具有多个内容区域:
将网页的内容区域分配给3D对象的不同的相应的部分;
其中,网页的内容区域的分配是分层的,以使得网页的具有最高重要性的内容区域被分配给3D对象的是以下中的至少一项的部分:(i)在观看者的视场中最靠近观看者;以及(ii)在观看者的视场中的最中心;
按照需要调整网页的内容区域中的至少一个内容区域的大小以将所述内容区域适配在3D对象的被分配给所述内容区域的部分内;并且
将网页的内容区域覆盖在3D对象的相应的被分配的部分上。
附图说明
为了帮助理解本公开并且展现实施例可以如何付诸实施,以举例的方式参照附图,在附图中:
图1示意性地示出网页的例子;
图2示意性地示出观看者观看覆盖有网页的3D对象;
图3A和3B示出覆盖方法的例子中使用的网格;
图4A和4B示意性地示出3D对象上的网格的覆盖;以及
图5示意性地示出网格的大小调整。
具体实施方式
如所提及的,用于在显示器上呈现网页的许多布置和技术是已知的,网页是适合于万维网和Web浏览器的“文档”。所谓的层叠样式表(CSS)是用于描述用标记语言(诸如HTML(超文本标记语言))编写的文档的呈现的样式表语言的例子。CSS主要被设计为使得能够分离呈现和内容,并且例如使得网页的图形设计能够被容易地调整。
以上提及的US6898307B1公开了将网页覆盖在正通过增强现实(AR)护目镜被观看的纸张的真实的页面的图像上。这用于在不实际打印显示的文档的情况下给予观看者拥有电子文档的打印版本的错觉。尽管对于“三维”对象和坐标有许多引用,但是这仅为了描述纸张的页面存在于真实的三维世界中:纸张本身,因此护目镜中的纸张的图像,是严格地二维的。这因此使得相对简单地将网页覆盖在二维页面的图像上。
相反,在本文中所描述的例子中,网页被覆盖在三维对象上以供观看者观看。这带来让观看者与网页和/或3D对象交互的新的可能性,使得能够实现以其他方式不可能的功能性。然而,如从以下可见,将网页覆盖在3D对象上存在在如现有技术中的将网页覆盖在2D对象或2D对象的图像上的简单情况下不会引起的若干个技术困难。
作为所用术语的背景,在增强现实(“AR”)中,某种形式的物理观看设备(诸如眼镜或护目镜或其他头戴式显示器等)用于在真实世界中观看真实的对象,同时,由计算机产生的图像被叠加到真实世界的用户视图上。在虚拟现实(“VR”)中,通常,用户通过头戴式显示器看见的整个视图是计算机产生的。本文中所描述的例子既适用于增强现实,又适用于虚拟现实。
通过本文中所描述的例子解决的主要问题之一(特别是针对VR或AR系统的用户)是:正在使用物理观看设备(诸如头戴式显示器(HMD))观看网页的用户通常仅“漂浮”或“悬挂”在空气中观看网页。此外,通常,网页是透明的,或者具有透明的部分,所以不是容易可读的。如例如US6898307B1中那样,一种解决方案是将网页覆盖在用户(通常通过HMD)看见的环境中的不透明对象的图像上。然而,这造成了另一个问题:环境中的对象实际上变为新的显示器;目前的网页重新缩放仅针对平面的2D矩形显示器缩放网页,但是环境中的物体不一定是平面的2D矩形形式。本文中所描述的例子可以将网页覆盖在真实的或虚拟的3D对象上,并且不限于是平面的2D矩形显示器的对象或这些对象的图像。因此,本文中所描述的例子具有用于向正在使用VR和/或AR应用中的HMD或者正在以其他方式与真实的3D对象交互的用户显示网页的显著的技术优点。
现在参照图1,示意性地示出了网页10的例子。网页10具有不同的内容区域,其中示出了三个内容区域12、14、16作为例子。第一内容区域12可以是在网页中常被用作用于页面的标题等的横幅。第二内容区域14是图像或者包含图像。第三内容区域16包含文本。将意识到,典型的网页可能仅具有这些类型的内容区域中的一个,或者可能例如具有几个文本区域16而没有图像区域,或者可能具有几个图像区域14而没有文本区域16,或者可能具有几个图片区域14和几个文本区域16。滚动条18也在附图中被示出。
现在参照图2,示出了在该例子中正在佩戴头戴式显示器或观看设备22的用户或观看者20。观看设备22使得观看者20能够在三个维度上观看对象的图像。能够实现这的若干个不同类型的观看设备22是众所周知的。在这些已知的观看设备22中的每个中,以某种方式,不同的图像被提供给观看者20的左眼和右眼以使得3D图像能够被观看者观看或感知。
观看者20可以观看的3D对象的例子在图2的右手侧被示出。一个例子是立方体24,另一个例子是球体26。这两个例子是特别简单的,并且是为了解释和例示说明的目的而给出的。将理解,具有更复杂的形状的3D对象可以被使用。一般来说,3D对象将具有比简单的立方体或球体复杂得多的形状。
就这一点而言,在该例子中可以被观看者20通过观看设备22观看并且其上覆盖有网页的3D对象可以是真实的,或者等同地,可以是3D对象的图像。为了对这进行解释,在虚拟现实系统中,3D对象的图像是计算机产生的,并且被呈现以用于显示在观看设备22的显示屏幕(一个或多个)上。另一方面,在增强显示系统中,对象是真实的,并且通过观看设备22的显示屏幕(一个或多个)被观看。尽管如此,从本文中所使用的意义上来讲,在该例子中,在增强现实系统和虚拟显示系统中,网页分别被覆盖在真实的或虚拟的3D对象的图像上,因为这是观看者20所观看和感知到的东西。
在另一个例子中,网页被覆盖在真实的3D对象上以供观看者20观看。也就是说,在这个进一步的例子中,网页的图像被覆盖在真实的3D对象上,并且可以被观看者20直接观看,而不需要任何观看设备22。在这样的情况下,可以存在将网页的图像投影到真实的3D对象上的投影仪28等。投影仪28可以是单独的装置,或者可以被内置到观看设备22(诸如头戴式显示器22)中。
返回到图2,图1的示例网页10被示为覆盖在立方体24和球体26上。(再次,强调的是,根据例子和特定的应用,网页10被覆盖在其上的立方体24或球体26或其他3D对象可以是3D对象(其可以是真实的或虚拟的3D对象)的图像,或者可以是真实的3D对象。)就这一点而言,网页10可以被认为是“响应式网页”的形式。在响应式网页中,根据正被用于观看网页的屏幕或Web浏览器的大小来调整所显示的网页的布局。这使得能够根据例如网页是否正在大型监视器或显示屏幕、平台计算机或智能电话等上被观看来调整网页的显示的布局。例如,网页10的不同的区域12、14、16可以(单个地)根据它正在其上被观看的显示屏幕的大小和/或纵横比而被调整大小和/或相对于彼此重新定位。然而,目前已知的响应式Web设计技术不能应用于本情况,因为目前已知的响应式Web设计技术仅适合于2D图像和Web图像。例如,在目前已知的响应式Web设计技术中,本质上,整个网页被调整大小和调整以填充装置的整个屏幕、或者至少填充正被用于在设备上显示网页的整个浏览器窗口。这不能应用于将网页覆盖在3D对象上的情况。例如,如果使网页覆盖3D对象的整个表面,则网页并不是整个都是观看者可见的,因为网页的部分将在3D对象的“后面”隐藏不见。而且,为调整2D响应式Web设计中的不同内容区域的大小而应用的缩放不能直接应用于将网页覆盖在3D对象上的情况。
在图2的例子中可以看出,网页10的内容区域12、14、16的相对位置在立方体24和球体26的情况中是不同的,并且对于具有不同的3D形状的不同对象,一般是不同的。而且,内容区域12、14、16中的至少一个的大小在两个例子中是不同的,并且对于具有不同的3D形状的不同对象,一般是不同的。
在这里考虑的不同的内容区域12、14、16的情况中,内容区域12、14、16被分配给3D对象(在这种情况下,立方体24和球体26)的不同的相应的部分。为了确定如何将不同的内容区域12、14、16分配给3D对象24、26的不同部分,内容区域12、14、16被给予分层结构。所述分层结构可以使得特定的内容区域或特定类型的内容区域被认为对于观看者20具有最高的重要性。对于不同类型的网页或者根据网页的大体内容或性质,分层结构和重要性可以是不同的。例如,可能的是,对于特定的网页10,文本区域16对于观看者22最重要,图像区域14对于观看者22可能不太重要。相反,可能存在这样的网页10,对于这些网页10,图像区域14被确定为对于观看者22最重要,文本区域16对于观看者22可能不太重要。
这种分层结构或重要性可以在网站提供商运营的Web服务器等处确定和设置。在这种情况下,关于不同的内容区域12、14、16的分层结构或重要性的数据可以与网页10一起发送给用户的浏览器。可替代地或另外地,分层结构和重要性可以由用户在用户端设置,例如,作为浏览器软件的一部分。这可以例如由用户手动地选择使得例如文本区域16或图像区域14被排名为最重要的选项来实现。
给定网页10的不同的内容区域12、14、16的分层结构或重要性排名,网页10的具有最高重要性的内容区域12、14、16然后被分配给3D对象24、26的是以下中的至少一项的部分:在观看者20的视场中最靠近观看者20;以及在观看者20的视场中的最中心。
所以,参照例如图2中的立方体24,前面24A最靠近观看者20。在该例子中,确定横幅12和文本区域16最重要。因此,横幅12和文本区域16被覆盖在立方体24的前面24A上。图像区域14被排名为具有最低重要性。在该例子中,因此,图像区域14被覆盖在立方体24的相邻面24B上。该相邻面24B在该例子中对于观看者20仍是可见的,尽管立方体24的图像有点“在旁边”。在球体26的情况中,在所示的例子中,图像区域14被排名为具有最高重要性,因此,图像区域14在观看者的视场中的最中心的部分(就球体来说,该部分也是最靠近观看者20的部分)处被覆盖在球体26的表面上。文本区域16邻近图像区域14。另外,在该例子中,横幅12在图像区域14和文本区域16和文本区域16这二者的上方,并横跨这二者。
一旦已经确定不同的内容区域12、14、16应被覆盖在3D对象上的哪里,就有必要将内容区域12、14、16适配到3D对象的不同部分。也就是说,可能需要对内容区域12、14、16中的一个或多个进行某些大小调整。
为了实现这,并且参照图3A和3B,将被覆盖的网页10可以(在概念上)划分为网格30。在图3A中,指示了垂直网格线或列32,在图3B中,指示了水平网格线或行34。图4A和4B分别示出网格30分别在立方体24和球体26上的(概念性的)覆盖。对于每个不同的内容区域12、14、16,可以存在单独的网格30。另外,在具有其上覆盖了不同的内容区域12、14、16的若干个离散表面的3D对象的情况中,可以将不同的网格用于不同表面中的每个表面。例如,在图4A中,立方体24的一个面24A具有第一(概念性)网格30A,立方体24的第二面24B具有第二(概念性)网格30B。
一个网络或多个网格30然后被调整大小以便将网格30适配在3D对象的对应部分。所需的网格的总大小可以取决于例如3D对象的其上将被覆盖对应的内容区域12、14、16的部分的大小。可能的是,例如,内容区域12、14、16意图完全填充3D对象的对应部分。可替代地,内容区域12、14、16可以意图仅填充3D对象的对应部分的某个百分比。
无论如何,简略地参照图5,按照需要通过增大相邻垂直线32之间的间隔dV和相邻水平网格线34之间的间隔dH中的一者或两者来调整网格30的大小。然后,一旦已经实现网格30所需的大小,就可以对应地缩放对应的内容区域12、14、16。
就这一点而言,缩放可以使用类似于(2D)响应于网页设计中使用的所谓的“流体网格”的技术。利用流体网格,首先,网页被缩放到可以使用的最大布局大小。这可以例如对应于在典型的大型显示装置上可以使用的最高的可能的像素计数。这可以对应于例如显示屏幕的垂直方向上的1200的像素计数。然后,如果发现例如网页要被显示在在垂直方向上仅具有比如说300个像素的像素计数的设备上,则网页上的所有内容被缩放到25%。也就是说,总而言之,流体网格使用成比例的宽度和高度,而不是对于网页使用绝对数量的像素。可以将最大可缩放比率设置为使得内容区域12、14、16的大小不被调整到低于某个特定的大小。
应注意到,虽然类似于已知的2D流体网格,但是本文中所使用的流体网格和本文中所使用的技术是不同的。这是因为已知的技术仅创建矩形流体网格,而本文中所描述的例子试图将网页适配在3D对象的上方。这更复杂。例如,就2D流体网格而言,只需要在矩形框架上调整,这比本文中所描述的必须对3D对象进行调整简单得多。
为了能够将网页覆盖在3D对象(不管它是真实的对象,还是计算机产生的对象,并且不管网页是被覆盖在真实的3D对象上还是3D对象的图像上),3D对象的形状需要是已知的。此外,3D对象的部分相对于彼此和相对于观看者22的相对位置需要是已知的,以使得可以确定例如3D对象的在观看者22的视场中最靠近观看者22和/或位于最中心的部分。
在由计算机产生的3D对象的图像的情况中,如在例如虚拟现实系统的情况中那样,产生3D对象的软件已经“知道”所渲染的3D对象的形状。该软件可以是控制观看设备22的操作的软件的一部分,或者可以在控制观看设备22的操作的软件可访问的单独的计算机上运行。不管怎样,在虚拟现实系统的情况中,控制观看设备22的操作的软件可以获知渲染的3D对象的形状。
另一方面,在3D对象是真实的并且正通过观看设备22被观看(如在例如增强现实的情况中那样)或者是真实的并且网页被投影到真实的3D对象上以供观看的情况下,有必要检测3D对象的形状。这可以以许多方式实现。例如,可以使用单个相机,并且采用计算机视觉估计技术,以便估计3D对象的形状。可以使用获得真实的3D对象的立体视图的两个单独的相机来获得3D对象的形状的更准确的确定。作为另一个替代方案,可以使用飞行时间传感器。在这样的情况下,可以在3D对象处发送信号(例如,红外),并且使用将被传感器检测的反射信号的飞行时间来获得关于3D对象的该部分离传感器的距离的信息。对若干个发送的信号重复该步骤以构建3D对象的表面的3D地图。在又一个例子中,可以使用所谓的结构化光。在该例子中,已知的图案(诸如网格)被投影到3D对象上。网格由于对象的3D形状而畸变。该网格然后可以被相机看到,并且被分析以再次获得3D对象的3D表面的绘图。在网页被覆盖在真实的3D对象的图像上(如在例如AR系统中那样)的情况下,这然后可以被控制观看设备22的操作的软件访问或者可供其使用,或者在网页的图像被投影以覆盖在真实的3D对象上的情况下,这可以被控制投影仪28的操作的软件访问或者可供其使用。在这些例子中的任何一个中,用于确定真实的3D对象的形状和相对位置等的一个相机或多个相机或发送器和接收器等可以例如作为单独的装置被提供,和/或可以被合并到HMD设备中。
尽管本文中参照附图描述的实施例的至少一些方面包括在处理系统或处理器中执行的计算机处理,但是本发明还扩展到适于将本发明付诸实施的计算机程序,特别是载体上或中的计算机程序。所述程序可以是非暂时性源代码、对象代码、代码中间源和对象代码(诸如部分编译的形式的对象代码)的形式,或者适合于实现根据本发明的处理的任何其他的非暂时性的形式。所述载体可以是能够承载所述程序的任何实体或装置。例如,所述载体可以包括存储介质,诸如固态驱动器(SSD)或其他基于半导体的RAM;ROM,例如,CD ROM或半导体ROM;磁性记录介质,例如,软盘或硬盘;一般的光学存储器;等等。
本文中所描述的例子应被理解为本发明的实施例的说明性例子。进一步的实施例和例子被设想。与任何一个例子或实施例相关地描述的任何特征可以单独使用,或者与其他特征结合使用。另外,与任何一个例子或实施例相关地描述的任何特征也可以与例子或实施例中的任何其他的例子或实施例的一个或多个特征结合使用,或者与例子或实施例中的任何其他的例子或实施例的任何组合结合使用。此外,本文中没有描述的等同形式或修改形式也可以在权利要求中限定的本发明的范围内被采用。

Claims (15)

1.一种用于将网页覆盖在真实的或虚拟的3D对象上以供观看者观看的计算机实现的方法,所述网页具有多个内容区域,所述方法包括:
将所述网页的内容区域分配给所述3D对象的不同的相应部分;
其中,所述网页的内容区域的分配是分层的,以使得所述网页的具有最高重要性的内容区域被分配给所述3D对象的(i)在观看者的视场中最靠近观看者以及(ii)在观看者的视场中处于最中心当中的至少一项的部分;
按照需要调整所述网页的内容区域中的至少一个内容区域的大小以将所述内容区域适配在所述3D对象的被分配给该内容区域的部分内;以及
将所述网页的内容区域覆盖在所述3D对象的相应的被分配的部分上。
2.根据权利要求1所述的方法,其中,使用具有多行和多列的网格来执行所述网页的内容区域中的所述至少一个内容区域的大小调整,其中,在概念上将网格应用于所述3D对象的被分配给该内容区域的部分,并且按照需要调整所述网格的行和列的间隔以使得所述网格适配所述内容区域。
3.根据权利要求1或权利要求2所述的方法,包括在将内容区域覆盖在所述3D对象的被分配的部分上之前,按照需要根据所述3D对象的被分配的部分的三维形状来重塑所述内容区域。
4.根据权利要求1至3中任一项所述的方法,包括在将内容区域覆盖在所述3D对象的分配的部分上之前,按照需要根据用户观看所述3D对象的被分配的部分的角度来重塑所述内容区域。
5.根据权利要求1至4中任一项所述的方法,其中,所述3D对象是观看者通过增强现实观看设备观看的真实的3D对象的图像。
6.根据权利要求1至4中任一项所述的方法,其中,所述3D对象是观看者通过虚拟现实观看设备观看的由计算机产生的图像。
7.根据权利要求1至4中任一项所述的方法,其中,所述3D对象是真实的3D对象,并且将所述网页的内容区域覆盖在所述3D对象的相应的被分配的部分上包括将所述网页的内容区域的图像投影在所述真实的3D对象的相应的被分配的部分上。
8.一种用于将网页覆盖在真实的或虚拟的3D对象上以供观看者观看的装置,所述网页具有多个内容区域,所述装置包括:
至少一个处理器;
以及包括计算机程序指令的至少一个存储器;
所述至少一个存储器和所述计算机程序指令被配置为利用所述至少一个处理器使所述装置:
将所述网页的内容区域分配给所述3D对象的不同的相应的部分;
其中,所述网页的内容区域的分配是分层的,以使得所述网页的具有最高重要性的内容区域被分配给所述3D对象的(i)在观看者的视场中最靠近观看者以及(ii)在观看者的视场中处于最中心当中的至少一项的部分;
按照需要调整所述网页的内容区域中的至少一个内容区域的大小以将所述内容区域适配在所述3D对象的被分配给该内容区域的部分内;以及
将所述网页的内容区域覆盖在所述3D对象的相应的被分配的部分上。
9.根据权利要求8所述的装置,包括使得通过使用具有多行和多列的网格来执行所述网页的内容区域中的所述至少一个内容区域的大小调整的计算机程序指令,其中,在概念上将网格应用于所述3D对象的被分配给该内容区域的部分,并且按照需要调整所述网格的行和列的间隔以使得所述网格适配所述内容区域。
10.根据权利要求8或权利要求9所述的装置,包括使得在将内容区域覆盖在所述3D对象的分配的部分上之前、按照需要根据所述3D对象的被分配的部分的三维形状来重塑所述内容区域的计算机程序指令。
11.根据权利要求8至10中任一项所述的装置,包括使得在将内容区域覆盖在所述3D对象的分配的部分上之前、按照需要根据用户观看所述3D对象被分配的部分的角度来重塑所述内容区域的计算机程序指令。
12.一种包括指令的计算机程序,所述指令使得当所述计算机程序在计算设备上被执行时所述计算设备被布置为通过以下操作来将网页覆盖在真实的或虚拟的3D对象上以供观看者观看,所述网页具有多个内容区域:
将所述网页的内容区域分配给所述3D对象的不同的相应的部分;
其中,所述网页的内容区域的分配是分层的,以使得所述网页的具有最高重要性的内容区域被分配给所述3D对象的(i)在观看者的视场中最靠近观看者以及(ii)在观看者的视场中处于最中心当中的至少一项的部分;
按照需要调整所述网页的内容区域中的至少一个内容区域的大小以将所述内容区域适配在所述3D对象的被分配给该内容区域的部分内;以及
将所述网页的内容区域覆盖在所述3D对象的相应的被分配的部分上。
13.根据权利要求12所述的计算机程序,包括使得通过使用具有多行和多列的网格来执行所述网页的内容区域中的所述至少一个内容区域的大小调整的指令,其中,在概念上将网格应用于所述3D对象的被分配给所述内容区域的部分,并且按照需要调整所述网格的行和列的间隔以使得所述网格适配所述内容区域。
14.根据权利要求12或权利要求13所述的计算机程序,包括使得在将内容区域覆盖在所述3D对象的分配的部分上之前、按照需要根据所述3D对象的被分配的部分的三维形状来重塑所述内容区域的指令。
15.根据权利要求12至14中任一项所述的计算机程序,包括使得在将内容区域覆盖在所述3D对象的被分配的部分上之前、按照需要根据用户观看所述3D对象的被分配的部分的角度来重塑所述内容区域的指令。
CN201780094387.3A 2017-07-27 2017-12-28 用于将网页覆盖在3d对象上的方法、装置和计算机程序 Pending CN111052110A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17183606.7 2017-07-27
EP17183606.7A EP3435250A1 (en) 2017-07-27 2017-07-27 Method, apparatus and computer program for overlaying a web page on a 3d object
PCT/EP2017/084715 WO2019020207A1 (en) 2017-07-27 2017-12-28 METHOD, APPARATUS AND COMPUTER PROGRAM FOR OVERPACKING A WEB PAGE ON A 3D OBJECT

Publications (1)

Publication Number Publication Date
CN111052110A true CN111052110A (zh) 2020-04-21

Family

ID=59485226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780094387.3A Pending CN111052110A (zh) 2017-07-27 2017-12-28 用于将网页覆盖在3d对象上的方法、装置和计算机程序

Country Status (7)

Country Link
US (1) US20200167520A1 (zh)
EP (1) EP3435250A1 (zh)
JP (1) JP2020528626A (zh)
KR (1) KR20200032197A (zh)
CN (1) CN111052110A (zh)
TR (1) TR201711212A2 (zh)
WO (1) WO2019020207A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124419A1 (ja) * 2020-12-11 2022-06-16 株式会社 情報システムエンジニアリング 情報処理装置、情報処理方法及び情報処理システム
CN117406867B (zh) * 2023-12-15 2024-02-09 小芒电子商务有限责任公司 一种基于网页的增强现实交互方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011112296A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Incorporating media content into a 3d platform
CN102509348A (zh) * 2011-09-26 2012-06-20 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
US20150082181A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
GB2528516A (en) * 2013-12-20 2016-01-27 Projection Artworks Ltd 3D Mapping tool
JP2016509724A (ja) * 2013-01-29 2016-03-31 グーグル インコーポレイテッド インテリジェントなウィンドウのサイズ設定及び制御方法、そのシステム、並びにコンピュータ読み取り可能媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6898307B1 (en) 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
US20050030309A1 (en) * 2003-07-25 2005-02-10 David Gettman Information display
JP2007079784A (ja) * 2005-09-13 2007-03-29 Hiroshima Univ デジタルアーカイブデータの表現変換システム
JP4688739B2 (ja) * 2006-05-02 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 情報表示装置
US8402394B2 (en) * 2007-09-28 2013-03-19 Yahoo! Inc. Three-dimensional website visualization
EP2381423A1 (en) * 2010-03-26 2011-10-26 Alcatel Lucent Method for transforming web from 2d into 3d
CN102591853B (zh) * 2011-12-29 2015-04-01 优视科技有限公司 网页重排方法、网页重排装置以及移动终端
WO2014073346A1 (ja) * 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
EP3623924A1 (en) * 2013-09-17 2020-03-18 Amazon Technologies, Inc. Approaches for three-dimensional object display
US9693049B2 (en) * 2015-08-28 2017-06-27 Christie Digital Systems Usa, Inc. Projection mapping video pipeline

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011112296A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Incorporating media content into a 3d platform
CN102509348A (zh) * 2011-09-26 2012-06-20 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法
JP2016509724A (ja) * 2013-01-29 2016-03-31 グーグル インコーポレイテッド インテリジェントなウィンドウのサイズ設定及び制御方法、そのシステム、並びにコンピュータ読み取り可能媒体
US20150082181A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
GB2528516A (en) * 2013-12-20 2016-01-27 Projection Artworks Ltd 3D Mapping tool

Also Published As

Publication number Publication date
EP3435250A1 (en) 2019-01-30
WO2019020207A1 (en) 2019-01-31
KR20200032197A (ko) 2020-03-25
US20200167520A1 (en) 2020-05-28
JP2020528626A (ja) 2020-09-24
TR201711212A2 (tr) 2019-02-21

Similar Documents

Publication Publication Date Title
JP6186415B2 (ja) 立体画像表示方法及び携帯端末
Baudisch et al. Focusing on the essential: considering attention in display design
US9424767B2 (en) Local rendering of text in image
US9509922B2 (en) Content normalization on digital displays
EP2267661A1 (en) 3D environment labeling
US20150370322A1 (en) Method and apparatus for bezel mitigation with head tracking
US9489757B2 (en) Resizable text backing shapes for digital images
CN109725730B (zh) 头戴显示设备及其驱动方法、显示系统及其驱动方法
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
US20130127838A1 (en) Systems and methods for providing a three-dimensional display of a digital image
US10853651B2 (en) Virtual reality interaction method, apparatus and system
US10593120B1 (en) Augmented reality viewing of printer image processing stages
US11308685B2 (en) Rendering computer-generated reality text
CN102736846B (zh) 检测区域扩大装置、显示装置以及检测区域扩大方法
CN105930464A (zh) Web富媒体跨屏适配方法和装置
EP3236306A1 (en) A method for rendering a 3d virtual reality and a virtual reality equipment for implementing the method
CN111052110A (zh) 用于将网页覆盖在3d对象上的方法、装置和计算机程序
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
TW201935188A (zh) 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體
US20130321470A1 (en) Apparatus and method for viewing an image that is larger than an area of a display device
EP2624117A2 (en) System and method providing a viewable three dimensional display cursor
CN108762855B (zh) 一种画面处理方法及装置
Saveljev et al. Three-dimensional interactive cursor based on voxel patterns for autostereoscopic displays
CN105898277A (zh) 多窗口裸眼3d与2d混合显示方法
US20240121373A1 (en) Image display method and 3d display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination