CN114119843A - 构建增强现实图像 - Google Patents
构建增强现实图像 Download PDFInfo
- Publication number
- CN114119843A CN114119843A CN202110948211.8A CN202110948211A CN114119843A CN 114119843 A CN114119843 A CN 114119843A CN 202110948211 A CN202110948211 A CN 202110948211A CN 114119843 A CN114119843 A CN 114119843A
- Authority
- CN
- China
- Prior art keywords
- user
- image
- map
- mobile device
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及构建增强现实图像。描述了与用于捕获显示增强现实AR的AR图像的计算装置相关的方法、装置和系统。实例方法可包括将结构化的光阵列从移动装置投影到对象上。所述方法还包括用所述投影光测量所述对象的多方向截面。所述方法还包括基于测量的多方向截面重构所述对象的三维3D图。所述方法还包括在所述移动装置的用户界面上显示与所述3D图相关联的增强现实AR图像。
Description
技术领域
本公开大体上涉及计算装置,更明确地,涉及与构建增强现实(AR)图像相关的方法、设备和系统。
背景技术
计算装置可为个人膝上型计算机,台式计算机,移动装置(例如,头戴式耳机、智能电话、平板电脑、腕戴式装置、数码相机等),和/或其冗余组合,以及其它类型的计算装置等。在一些实例中,计算装置可构建AR图像并在用户界面上显示该AR图像和/或执行人工智能(AI)操作。
AR可将虚拟对象覆盖在现实世界(例如,自然)环境上。例如,AR可向现实添加3D全息图。在一些实例中,AR可为现实世界环境的交互式体验,其中,现实世界对象通过计算机生成的感知信息来增强。AR可遮蔽现实世界环境的一部分和/或添加到现实世界环境,使得其被感知为现实世界环境的沉浸方面。因此,AR可改变人对现实世界环境和混合现实的感知。可使用平视显示器、头戴式耳机、智能眼镜、智能触点、光场显示器、激光器和/或若干光源来创建AR。
发明内容
本公开的实施例提供了一种用于构建增强现实图像的方法,包含:将结构化的光阵列从移动装置投影到对象上;用投影光测量对象的多方向截面;基于测量的多方向截面重构对象的三维(3D)图;以及在移动装置的用户界面上显示与3D图相关联的增强现实(AR)图像。
本公开的另一实施例提供了一种用于构建增强现实图像的设备,包含:移动装置的用户界面;移动装置的摄像头;移动装置的存储器;以及处理资源,其被配置成执行存储在存储器中的可执行指令以:将结构化的光阵列从移动装置的摄像头投影到用户上;基于从投影光收集的数据来测量用户的多方向截面;基于测量的多方向截面重构用户的三维(3D)图;以及在移动装置的用户界面上显示与3D图相关联的用户的增强现实(AR)图像。
附图说明
图1示出了根据本公开的多个实施例的用于构建AR图像的计算装置的实例。
图2示出了根据本公开的多个实施例的用于构建AR图像的计算装置的用户界面的实例。
图3示出了根据本公开的多个实施例的用于构建AR图像的计算装置的另一实例。
图4为根据本公开的多个实施例的用于构建AR图像的方法的流程图。
图5为根据本公开的多个实施例的用于构建AR图像的方法的另一流程图。
具体实施方式
本公开包括与构建AR图像并将其显示在用户界面上相关的方法、设备和系统。实例方法可包括将结构化的光阵列从移动装置投影到对象上。该方法还包括用投影光测量对象的多方向截面。该方法还包括基于测量的多方向截面重构对象的三维(3D)图。该方法还包括在移动装置的用户界面上显示与3D图相关联的增强现实(AR)图像。
计算装置可包括微传感器以构建AR图像。微传感器可包括红外(IR)照明器。微传感器可通过点投影器的形式投影到用户上。点投影器可产生作为结构化光阵列的IR照明。在一些实例中,计算装置内的泛光照明器可产生IR照明。IR照明包括IR光,其包括具有比可见光的波长更长的波长的电磁辐射,使得IR照明对于人眼是不可见的。IR照明器可用在微传感器内,以将光照射在对象上。接近传感器和环境光传感器等传感器可用于计算装置以确定需要多少照明来创建3D图。
如本文中所使用,3D图可指具有高度、宽度和深度的对象的图像。3D图可通过开发用于在图像中创建深度幻觉的技术来形成。可使用来自点投影器的图案和从对象反射回IR照明器的热特征来构建3D图。
如本文中所使用,点投影器是具有在点投影器的表面上发射预定光图案的闪光部件的结构化光源。在一些实例中,点投影器产生多于30,000点的不可见IR照明器,用于创建3D图的测量,尽管其它点数量也是可能的。通过将产品投影到3D图上,可从3D图投影AR图像。AR图像也可作为全息图投影到用户上。AR图像可被显示为叠加在用户的现实世界视图上的计算装置生成的图像,并且可被显示在用户界面上。如本文中所使用,AR图像可指将图像等数字信息覆盖到3D图上的图像。例如,可通过将产品覆盖在3D图上投影3D图来创建AR图像。
在多个实施例中,使用计算装置来构建AR图像。计算装置的点投影器可将充当微传感器的IR照明器的小点投影到对象上以收集对象的测量。例如,对象可为人,如计算装置的用户或动物等。IR照明器可用在微传感器内,以将光作为结构化的光阵列照射在对象上。计算装置可被设置在距对象的特定距离处,以使用结构化的光阵列来测量对象。在一些实例中,对象可为用户的身体宽度。也就是说,点投影器可投影IR照明的小点,将结构化光投影到用户的身体宽度上以收集用户的身体测量,其中,结构化光充当用户身体宽度的测量仪器。在此类实例中,计算装置可被设置在距用户特定距离处,以使用结构化光来获得用户的测量。例如,点投影器可投影到用户的脸、肩、臂、腿、脚,或其组合上。
测量可被收集并用于构建对象的3D图。也就是说,可基于由结构化光收集的信息来构建用户的3D图。可基于3D图形成AR图像。AR图像可显示在计算装置的用户界面上。AR图像可被显示为叠加在用户的现实世界视图上的计算装置生成的图像。AR图像也可作为全息图投影到用户上。AR图像投影可为用户要观看的产品的投影。AR图像投影可为佩戴该产品的用户的3D图的投影。AR图像可由计算装置访问。可使用AR耳机来观看全息图。例如,AR图像可保存在计算装置上和/或外部的存储器中。
在本公开的以下详细描述中,参考形成其一部分的附图,并且在附图中通过图示示出了可如何实践本公开的一或多个实例。充分详细地描述这些实例以使得本领域的普通技术人员能够实践本公开的实例,且应了解,可利用其它实例,且可在不脱离本公开的范围的情况下作出过程、电和/或结构改变。如本文中所使用,“多个”某物可指一或多个此类事物。例如,多个计算装置可指一或多个计算装置。“多个”某物意指两个或更多个。
本文的附图遵循编号惯例,其中,前一个数字或多个数字对应于附图编号,而其余数字标识附图中的元件或部件。不同附图之间的类似元件或部件可通过使用类似数字来标识。例如,图1中的附图标记102可表示元件“2”,并且图2中类似的元件可表示为202。如将理解的,可添加、交换和/或消除本文的各个实施例中示出的元件,以便提供本公开的多个附加实施例。此外,附图中提供的元件的比例和相对尺度意在示出本公开的各种实施例,而不以限制意义使用。
图1示出了根据本公开的多个实施例的用于构建AR图像的计算装置101的实例。如本文中所使用,“计算装置”可指使用加载到电子装置上的操作系统运行的任何电子装置。计算装置的实例可包括个人膝上型计算机、台式计算机、移动装置(例如,移动电话、智能电话、平板电脑、腕戴式装置、数码相机等),和/或其冗余组合。计算装置101可包括通信地耦合到存储器(图1中未示出)以执行与构建AR图像相关联的功能的处理资源(图1中未示出)。
在多个实施例中,计算装置101可包括摄像头104。在一些实例中,计算装置101可包括一或多个摄像头。一或多个摄像头中的一个可单独用于构建AR图像。在多个实施例中,一或多个光学传感器可与一或多个摄像头一起使用以构建与AR图像相关联的3D图。摄像头104可将结构化的光阵列105投影到对象上。该对象可为人,如计算装置的用户103。
摄像头104内的点投影器可将具有结构化光阵列105的IR照明的小点投影到用户103上,以收集用户的测量。结构化的光阵列105可用作用户身体103的测量仪器。也就是说,结构化的光阵列105可测量用户103的身体宽度,收集产品在用户103上的正确适配和功能所需的测量。这样,计算装置101可被设置在距用户103特定距离处,以使用结构化的光阵列105来获得用户的测量。例如,点投射器可投射到用户的脸、肩、臂、腿、脚,或其组合上。
可基于从结构化光阵列获得的测量来创建3D图。点投影可获取用户103的高度和重量等的测量。所获取的测量还可包括用户103的衣服测量,例如衣服尺寸和测量(颈部尺寸、袖子长度和宽度,以及腰部宽度等)。测量不限于用户身体103,也可对用户的头部或脚进行测量。在一个实例中,结构化光阵列105可用于测量用户面部的宽度。在另一实例中,结构化的光阵列105可用于测量用户脚的宽度和长度。
在一些实例中,可基于计算装置101可访问的图片来创建3D图。结构化的光阵列105还可用于基于图片的缩放测量来获得用户的测量。也就是说,结构化的光阵列105可用于测量用户103并收集产品在用户103上的正确适配和功能所需的测量。这些测量可由计算装置101访问。例如,测量可存储在计算装置101上和/或外部的存储器中。
可基于使用摄像头104内的结构化的光阵列105捕获的3D图来形成AR图像。AR图像可显示在用户界面102上。在接收到AR图像之后,用户103可选择使用或丢弃接收到的AR图像。例如,用户103可保存优选的AR图像。在另一实例中,用户103可丢弃AR图像并基于用户的3D图选择另一AR图像。计算装置101可提示用户103上载另一3D图或基于所选择的3D图使用不同的AR图像。用户103可基于由用户103上载的先前3D图来选择AR图像。
用户103可设置优选的3D图。优选的3D图可由计算装置101访问。例如,优选的3D图可保存在计算装置101上和/或外部的存储器中。可通过使用口令来访问所保存的3D图。如本文中所使用,术语口令指用于用户认证以获得对系统的访问的安全形式。例如,口令可包括但不限于pin号、口令码、秘钥、眼睛扫描或面部识别等。可在稍后的时间访问所保存的3D图以创建AR图像。用户103在访问时可使用或丢弃所保存的3D图。
用户103还可设置优选的AR图像。优选的AR图像可由计算装置访问。例如,优选的AR图像可保存在计算装置上和/或外部的存储器中。可通过使用口令来访问所保存的AR图像。可在稍后的时间访问优选的AR图像。用户103在访问时可使用或丢弃所保存的AR图像。
AR图像可从用户界面102复制到其它介质上。其它介质的实例可包括但不限于网站、文档或电子邮件。在一个实例中,AR图像可直接上载到产品网站。例如,用户可使用AR图像从产品的网站虚拟地试穿衣服。在另一实例中,用户103可将AR图像从计算装置101的存储器传送到产品网站上。在此类实例中,用户可将AR图像本地存储在计算装置的存储器上,并在需要时访问它(例如,以传送到产品网站)。在一些实例中,AR图像可被复制到网站、不同的移动装置或两者。在其它实例中,计算装置可显示和/或自动化多个图像和/或增强AR图像104以在用户界面102上移动和/或改变。例如,用户103可旋转AR图像并在用户界面102上显示该旋转。
图2示出了根据本公开的多个实施例的用于构建AR图像的计算装置的用户界面202的实例。在多个实施例中,可响应于通过摄像头检测到3D图而激活用户界面202。3D图可显示在用户界面202上(例如,显示的3D图207),并且AR图像可基于显示的3D图207显示在用户界面202上。也就是说,可通过将数字图像投影到所显示的3D图207上来在用户界面202上显示AR图像。在一个实例中,数字图像可为衣服。
计算装置的用户可通过显示器上显示的用户界面202与计算装置交互。用户界面202可由计算装置生成。例如,用户界面202可为能够向用户提供信息和/或从用户接收信息的图形用户界面(GUI)。用户界面202可显示在计算装置的显示器上。在一些实例中,显示器可为触摸屏。
在一些实例中,用户界面202可包括通知。例如,用户界面202可显示通知以通知用户3D图已经被结构化的光阵列(例如,图1中的结构化的光阵列105)捕获。3D图可在用户界面202上显示为所显示的3D图207。AR图像可从3D图导出并显示在用户界面202上,如3D图207所显示的。AR图像将图像等数字信息覆盖到所显示的3D图207上。可通过将产品放置在所显示的3D图207上来产生AR图像。该产品可为衣服。例如,用户可选择一件衣服,并且使用数字笔或手指,用户可将所选择的物品移动到所显示的3D图207上。例如,AR图像可通过将衣服放置在显示的3D图207的头部、躯干、四肢、脚,或其组合上来产生。衣服可为连衣裙,如图2所示,但是本公开的实施例不限于该实例。
在一些实例中,用户界面202可在AR图像上显示多个产品。用户界面202响应于接收到用户界面202上的选择,如用户按压、轻敲和/或点击计算装置的用户界面202。可进行选择以访问所保存的3D图或所保存的AR图像。还可选择要放置在3D图上的产品。在多个实施例中,用户界面202可响应于计算装置接收口令而显示AR图像。
在一些实例中,该产品可在在线市场中找到。产品可按比例缩小以适合3D图和/或所显示的3D图207的比例。零售商可按比例缩小产品,使得产品可适当地适合用户。用户可基于由计算装置的摄像头的结构化光阵列获取的测量结果来选择适当地适合用户的测量的装备。
图3示出了根据本公开的多个实施例的使用来构建AR图像的计算装置301的实例。如图3所示,移动装置等计算装置301可包括处理资源(例如,处理器)322、存储器324、用户界面302和摄像头304。
存储器324可为可由处理资源322访问以执行本公开的各种实例的任何类型的存储介质。例如,根据本公开,存储器324可为具有存储在其中的计算机可读指令(例如,计算机程序指令)的非瞬时性计算机可读介质,这些指令可由处理资源322执行以:在计算装置301处接收输入,通过计算装置301上的摄像头304检测用户,捕捉3D图,并在计算装置301的用户界面302上显示AR图像。
存储器324可为易失性或非易失性存储器。存储器324还可为可移动(例如,便携式)存储器或不可移动(例如,内部)存储器。例如,存储器324可为随机存取存储器(RAM)(例如,动态随机存取存储器(DRAM)和/或相变随机存取存储器(PCRAM))、只读存储器(ROM)(例如,电可擦除可编程只读存储器(EEPROM)和/或光盘只读存储器(CD-ROM))、闪存、激光盘、数字多功能盘(DVD)或其它光学存储,和/或磁介质(如磁带盒/磁带或磁盘),以及其它类型的存储器。
进一步,尽管存储器324被示为位于计算装置301内,但是本公开的实施例不限于此。例如,存储器324可位于外部计算资源上(例如,使计算机可读指令能够通过因特网或其它有线或无线连接下载)。
如图1所示,计算装置301包括用户界面302。计算装置301的用户(例如,操作者)可通过显示器上显示的用户界面302与计算装置301交互。例如,用户界面302可通过显示器向计算装置301的用户提供(例如,显示和/或呈现)信息,和/或接收来自计算装置301的用户的信息(例如,由该计算装置的用户输入/选择)。例如,在一些实施例中,用户界面302可为能够向计算装置301的用户提供信息和/或接收来自该计算装置的用户的信息的GUI。显示用户界面302的显示器可为触摸屏(例如,GUI可包括触摸屏能力)等。
计算装置301可包括一或多个摄像头304。一或多个摄像头304可用于检测对象并投影结构化的光阵列。在一些实例中,一或多个摄像头328中的一个可仅用于检测对象。在多个实施例中,一或多个光学传感器(例如,图1中的传感器105)可与一或多个摄像头一起使用或代替一或多个摄像头来检测用户。
计算装置301还可包括眼睛跟踪传感器、跟踪装置、接近传感器、微机电系统(MEMS)陀螺仪,或其组合。计算装置301内的这些技术的组合可帮助定义用户的产品偏好、未来产品的建议。计算装置301能够基于将哪种技术添加到计算装置301来检测用户的移动、与计算装置301的接近度、位置或旋转速率。
处理资源322还可被配置成执行存储在存储器324中的可执行指令以将AR图像从移动装置的存储器上载到产品网站。AR图像可显示在计算装置的用户界面上、从用户界面复制到其它介质上,或两者。其它介质的实例可包括但不限于网站、文档或电子邮件。
处理资源322还可被配置成执行存储在存储器324中的可执行指令以在用户界面302上显示3D图。计算装置的用户可通过用户界面302与计算装置301交互。用户界面302可由计算装置301生成。在多个实施例中,可响应于通过摄像头328检测到3D图而激活用户界面202。3D图可显示在用户界面302上。
处理资源322还可被配置成执行存储在存储器324中的可执行指令,以使用移动装置的摄像头来捕获用户的图像,并使用所捕获的图像来构建附加的3D图。在已经使用来自摄像头328的结构化光阵列的测量创建了3D图之后,计算装置301可提示用户使用由用户捕获的图像上载附加的3D图。这样,计算装置301可提示用户捕获更多的图像,并且用户可使用所捕获的图像来创建附加的3D图。然后可使用3D图来创建AR图像。用户可选择先前所保存的3D图或选择上载新的3D图。
处理资源322还可被配置成执行存储在存储器324中的可执行指令,以将3D图或AR图像中的至少一个写入存储器或丢弃3D图或AR图像中的至少一个,或其组合。用户可设置优选的3D图。优选的3D图可由计算装置301访问。例如,优选的3D图可保存在计算装置301上和/或外部的存储器中。在另一实例中,用户可丢弃3D图并使用摄像头328的结构化光阵列或保存在存储器324内的图像来选择另一3D图。
可通过使用口令来访问所保存的3D图。处理资源322还可被配置成执行存储在存储器324中的可执行指令,以使用口令存取写入存储器的3D图或AR图像中的至少一个。可在稍后的时间访问所保存的3D图以创建AR图像。用户在访问时可使用或丢弃所保存的3D图。
用户还可设置优选的AR图像。优选的AR图像可由计算装置301访问。例如,优选的AR图像可保存在计算装置301上和/或外部的存储器中。可通过使用口令来访问所保存的AR图像。可在稍后的时间访问优选的AR图像。用户在访问时可使用或丢弃所保存的AR图像。
图4为根据本公开的多个实施例的用于构建AR图像的方法430的流程图。方法430可由移动装置或其它计算装置来执行。例如,可使用处理资源、通信地耦合到该处理资源的存储器,或其组合来执行该方法。
在框432处,方法430可包括将结构化的光阵列从移动装置投影到对象上。在一些实例中,移动装置可包括结构化的光阵列以构建3D图。移动装置内的泛光照明器可产生IR照明,和/或移动装置内的点投影器可将IR照明的小点投影到对象上以收集对象的测量。对象可为人,例如移动装置的用户或动物等。IR照明器可用于在构建3D图期间将光照射在对象上。
在框434处,方法430可包括用投影的结构化光阵列测量对象的多方向截面。计算装置可被设置在距对象的特定距离处,以使用结构化的光阵列来测量对象。也就是说,点投影器可将作为光的结构化阵列的IR照明的小点投影到用户的身体宽度上以收集用户的测量。例如,点投射器可投射到用户的脸、肩、臂、腿、脚,或其组合上。
所获取的测量可包括用户身体宽度的衣服测量,例如衣服尺寸和测量(例如,颈部尺寸、袖子长度和宽度,以及腰部宽度等)。测量不限于用户的身体宽度,也可对用户的头部或脚进行测量。在一个实例中,结构化的光阵列可用于测量用户头部的宽度。在另一实例中,结构化的光阵列可用于测量用户脚的宽度和长度。
在框436处,方法430可包括基于所测量的多方向截面来重构对象的3D图。使用结构化的光阵列接收的测量可用于构建对象的3D图。该对象可为用户。也就是说,可基于由计算装置的摄像头内的结构化光阵列收集的信息来构建用户的3D图。
在一些实例中,可基于计算装置可访问的图片来创建3D图。结构化的光阵列还可用于基于图片的缩放测量来获得用户的测量。也就是说,结构化的光阵列可用于测量用户并收集产品在用户上的正确适配和功能所需的测量。这些测量可由计算装置访问。例如,测量可存储在移动装置上和/或外部的存储器中。
在框438处,方法430可包括在移动装置的用户界面上显示与3D图相关联的AR图像。可从3D图导出AR图像。AR可将虚拟对象覆盖在现实世界环境上以遮蔽现实世界环境的一部分和/或添加到现实世界环境,使得其被感知为现实世界环境的沉浸方面。AR图像可被显示为叠加在用户的现实世界视图上的计算装置生成的图像。可通过将产品的全息图投影到用户上来观看AR图像。还可通过投影佩戴该产品的用户的3D图的全息图来观看AR图像。用户可使用AR耳机来观看全息图。
在一些实例中,计算装置可显示和/或自动化多个图像和/或增强AR图像以在用户界面上移动和/或改变。例如,用户可旋转AR图像并在用户界面上显示该旋转。AR图像可显示在计算装置的用户界面上。AR图像可通过在3D图上投影衣服等产品来产生。AR图像可通过将衣服放置在3D图的头部、躯干、四肢、脚,或其组合上来产生。
在一些实例中,该产品可在在线市场中找到。产品可作为3D模型显示在用户界面上。产品可按比例缩小以适合3D图的比例。零售商可按比例缩小产品,使得产品可适当地适合用户。用户可基于由计算装置的摄像头的结构化光阵列获取的测量结果来选择适当地适合用户的测量的装备。所得到的AR图像可显示在移动装置的用户界面上。AR图像可从用户界面复制到其它介质上,例如网站、文档或电子邮件等。
图5为根据本公开的多个实施例的用于构建AR图像的方法540的流程图。方法540可由移动装置或其它计算装置来执行。例如,可使用处理资源、通信地耦合到该处理资源的存储器,或其组合来执行该方法。
在框542处,方法430可包括使用红外(IR)照明器和可见光将结构化的光阵列从移动装置投影到用户上。计算装置可包括计算装置内的泛光照明器以构建3D图。IR照明器可与可见光结合使用以将结构化的光阵列投影到用户上。计算装置内的点投影器可将IR照明的小点投影到用户上,以收集用户的测量。例如,点投射器可投射到用户的脸、肩、臂、腿、脚,或其组合上。
在框544处,方法540可包括基于从投影光收集的数据来测量用户的多个维度。多方向测量可包括用户的高度和重量等。移动装置可被设置在距用户特定距离处,以测量用户的身体宽度。也就是说,点投影器可将作为结构化光阵列的IR照明的小点投影到用户上以收集用户的测量。
所获取的测量可包括用户身体宽度的衣服测量,例如衣服尺寸和测量(例如,颈部尺寸、袖子长度和宽度,以及腰部宽度等)。测量不限于用户的身体宽度,也可对用户的头部或脚进行测量。在一个实例中,结构化的光阵列可用于测量用户头部的宽度。在另一实例中,结构化的光阵列可用于测量用户脚的宽度和长度。
在框546处,方法540可包括使用所测量的多个维度来重构用户的3D图。使用结构化的光阵列接收的测量可用于构建用户的3D图。也就是说,可基于结构化的光阵列收集的信息来构建用户的3D图。
在框548处,方法540可包括将来自移动装置的与3D图相关联的AR图像作为全息图投影到用户上。可从3D图导出AR图像。AR可将虚拟对象覆盖在现实世界环境上以遮蔽现实世界环境的一部分和/或添加到现实世界环境,使得其被感知为现实世界环境的沉浸方面。
AR图像可投影在计算装置的用户界面上。AR图像可通过在3D图上放置衣服等产品来产生。AR图像可通过将衣服放置在3D图的头部、躯干、四肢或脚上来产生。AR图像可被显示为叠加在用户的现实世界视图上的计算装置生成的图像。可通过将产品的全息图投影到用户上来观看AR图像。还可通过投影佩戴该产品的用户的3D图的全息图来观看AR图像。用户可使用AR耳机来观看全息图。
在接收到AR图像之后,用户可选择使用或丢弃接收到的AR图像。例如,用户可设置优选的AR图像。用户还可保存优选的AR图像。优选的AR图像可由移动装置访问。例如,优选的AR图像可保存在移动装置上和/或外部的存储器中。可通过使用口令来访问所保存的AR图像。可在稍后的时间访问优选的AR图像。
在一些实例中,移动装置可显示和/或自动化多个图像和/或增强AR图像以在用户界面上移动和/或改变。例如,用户可旋转AR图像并在用户界面上显示该旋转。
在本公开的以上详细描述中,参考形成其一部分的附图,并且在附图中通过图示示出了可如何实践本公开的一或多个实例。充分详细地描述这些实例以使得本领域的普通技术人员能够实践本公开的实例,且应了解,可利用其它实例,且可在不脱离本公开的范围的情况下作出过程、电和/或结构改变。
应理解,本文中使用的术语仅用于描述特定实例的目的,而不意在限制。如本文中所使用,单数形式“一”、“一个”和“该”包括单数和复数指示物,除非上下文另外明确指示,如“多个”、“至少一个”和“一或多个”(例如,多个存储器阵列可指一或多个存储器阵列),而“多个”意在指一个以上此类事物。此外,词语“能够”和“可”在本申请全文中以许可的意义(即,具有可能、能够)使用,而不是以强制的意义(即,必须)使用。术语“包括”及其同义词是指“包括但不限于”。术语“耦合(coupled/coupling)”是指物理上直接或间接连接,并且除非另有说明,可包括用于访问和/或移动(传输)指令(例如,控制信号、地址信号等)和数据的无线连接,根据上下文的需要而定。
尽管本文已经示出和描述了特定实施例,但是本领域的普通技术人员将理解,计算来实现相同结果的布置可以代替所示的特定实施例。本公开意在覆盖本公开的一或多个实施例的修改或变化。应理解,以上描述是以说明性的方式进行的,而不是限制性的方式。在阅读以上描述后,以上实施例和本文未具体描述的其它实施例的组合对于本领域技术人员将是显而易见的。本公开的一或多个实施例的范围包括其中使用上述结构和方法的其它应用。因此,本公开的一或多个实施例的范围应参考所附权利要求以及这些权利要求被授权的等同物的全部范围来确定。
在前面的具体实施方式中,出于简化本公开的目的,将一些特征组合在单个实施例中。本公开的方法不应被解释为反映本公开的所公开的实施例必须使用比每个权利要求中明确叙述的特征更多的特征的意图。相反,如以下权利要求所反映的,发明主题在于少于单个公开实施例的所有特征。因此,以下权利要求由此被结合到具体实施方式中,其中每项权利要求独立地作为单独的实施例。
Claims (19)
1.一种用于构建增强现实图像的方法(430),包含:
将结构化的光阵列(105)从移动装置(101,301)投影到对象上(432);
用所述投影光(105)测量所述对象的多方向截面(434);
基于所述测量的多方向截面重构所述对象的三维3D图(207)(436);以及
在所述移动装置(101,301,438)的用户界面(102,202,302)上显示与所述3D图(207)相关联的增强现实AR图像。
2.根据权利要求1所述的方法(430),还包含将所述AR图像复制到网站、不同的移动装置或两者。
3.根据权利要求1所述的方法(430),还包含将产品放置在所述3D图上并在所述移动装置的所述用户界面上显示结果。
4.根据权利要求3所述的方法(430),还包含将所述产品作为AR图像投影在所述3D图上。
5.根据权利要求3所述的方法(430),还包含:
在所述移动装置处接收来自用户(103)的产品的3D模型;以及
将所述产品放置在所述对象的所述3D图上。
6.根据权利要求1至5中任一项所述的方法(430),还包含将所述AR图像显示为叠加在用户(103)的现实世界视图上的计算装置生成的图像。
7.根据权利要求6所述的方法(430),还包含基于所述移动装置可访问的照片来创建所述3D图。
8.根据权利要求1至5中任一项所述的方法(540),其中,测量所述对象的所述多方向截面包含测量用户的高度。
9.根据权利要求1至5中任一项所述的方法(540),其中,测量所述对象的所述多方向截面包含测量用户的衣服尺寸。
10.根据权利要求1至5中任一项所述的方法(540),其中,测量所述对象的所述多方向截面包含测量用户的身体宽度。
11.根据权利要求1至5中任一项所述的方法(540),还包含旋转所述AR图像并通过用户界面在用户上显示所述旋转。
12.根据权利要求1至5中任一项所述的方法(540),还包含将用户的优选AR图像写入所述移动装置的存储器。
13.根据权利要求1至5中任一项所述的方法(540),其中,测量所述对象的所述多方向截面包含测量用户的脚的宽度和长度。
14.一种用于构建增强现实图像的设备(301),包含:
移动装置(101,301)的用户界面(102,202,302);
所述移动装置(101,301)的摄像头(104,304);
所述移动装置(101,301)的存储器(324);以及
处理资源(322),其被配置成执行存储在所述存储器中的可执行指令以:
将结构化的光阵列(105)从所述移动装置(101,301)的摄像头(104,304)投影到用户(103)上;
基于从所述投影光(105)收集的数据来测量所述用户(103)的多方向截面;
基于测量的所述多方向截面重构所述用户(103)的三维3D图(207);以及
在所述移动装置(101,301)的所述用户界面(102,202,302)上显示与所述3D图(207)相关联的所述用户的增强现实AR图像。
15.根据权利要求14所述的设备(301),还包含眼睛跟踪传感器、跟踪装置、接近传感器、MEMS陀螺仪,或其组合。
16.根据权利要求14所述的设备(301),还包含可执行指令以将所述AR图像从所述移动装置(101,301)的所述存储器(324)上载到产品网站。
17.根据权利要求14至16中任一项所述的设备(301),还包含可执行指令以执行以下操作:
使用所述移动装置(101,301)的所述摄像头(104,304)捕获所述用户(103)的图像;
使用捕获的图像构建附加3D图;以及
选择3D图作为所述AR图像来显示。
18.根据权利要求14至16中任一项所述的设备(301),还包含可执行指令以将所述3D图或所述AR图像中的至少一个写入所述存储器、丢弃所述3D图或所述AR图像中的至少一个,或其组合。
19.根据权利要求18所述的设备(301),还包含可执行指令以使用口令访问写入所述存储器的所述3D图或所述AR图像中的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/005,166 US11494992B2 (en) | 2020-08-27 | 2020-08-27 | Constructing an augmented reality image |
US17/005,166 | 2020-08-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114119843A true CN114119843A (zh) | 2022-03-01 |
Family
ID=80221660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110948211.8A Pending CN114119843A (zh) | 2020-08-27 | 2021-08-18 | 构建增强现实图像 |
Country Status (3)
Country | Link |
---|---|
US (3) | US11494992B2 (zh) |
CN (1) | CN114119843A (zh) |
DE (1) | DE102021119778A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11494992B2 (en) * | 2020-08-27 | 2022-11-08 | Micron Technology, Inc. | Constructing an augmented reality image |
WO2023232417A1 (en) * | 2022-06-03 | 2023-12-07 | Ams-Osram Ag | 3d reconstruction method and picture recording arrangement |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8982109B2 (en) * | 2005-03-01 | 2015-03-17 | Eyesmatch Ltd | Devices, systems and methods of capturing and displaying appearances |
US9497501B2 (en) | 2011-12-06 | 2016-11-15 | Microsoft Technology Licensing, Llc | Augmented reality virtual monitor |
JP2016054450A (ja) * | 2014-09-04 | 2016-04-14 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
KR101671649B1 (ko) * | 2014-12-22 | 2016-11-01 | 장석준 | 신체 데이터와 의류 데이터를 조합한 3d 합성 이미지 생성 방법 및 시스템 |
US9824499B2 (en) | 2015-06-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Mixed-reality image capture |
US10127725B2 (en) | 2015-09-02 | 2018-11-13 | Microsoft Technology Licensing, Llc | Augmented-reality imaging |
US11024085B2 (en) | 2016-07-09 | 2021-06-01 | Doubleme, Inc. | Electronic system and method for three-dimensional mixed-reality space and experience construction and sharing |
US11461630B1 (en) * | 2017-03-06 | 2022-10-04 | Max-Planck-Gesellschaft zur Förderung der Wisenschaften e.V. | Machine learning systems and methods for extracting user body shape from behavioral data |
US10664903B1 (en) * | 2017-04-27 | 2020-05-26 | Amazon Technologies, Inc. | Assessing clothing style and fit using 3D models of customers |
US20200349758A1 (en) * | 2017-05-31 | 2020-11-05 | Ethan Bryce Paulson | Method and System for the 3D Design and Calibration of 2D Substrates |
US10339597B1 (en) * | 2018-04-09 | 2019-07-02 | Eric Blossey | Systems and methods for virtual body measurements and modeling apparel |
WO2020203656A1 (ja) * | 2019-04-05 | 2020-10-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20200371472A1 (en) * | 2019-05-21 | 2020-11-26 | Light Field Lab, Inc. | Light Field Display System Based Commercial System |
US20210073886A1 (en) * | 2019-08-29 | 2021-03-11 | Levi Strauss & Co. | Digital Showroom with Virtual Previews of Garments and Finishes |
US11222434B2 (en) * | 2019-11-21 | 2022-01-11 | Shopify Inc. | Systems and methods for measuring body size |
US20210286424A1 (en) * | 2020-03-12 | 2021-09-16 | Alexandra Ivanovitch | Youth simulator methods and system |
US11494992B2 (en) * | 2020-08-27 | 2022-11-08 | Micron Technology, Inc. | Constructing an augmented reality image |
-
2020
- 2020-08-27 US US17/005,166 patent/US11494992B2/en active Active
-
2021
- 2021-07-29 DE DE102021119778.3A patent/DE102021119778A1/de active Pending
- 2021-08-18 CN CN202110948211.8A patent/CN114119843A/zh active Pending
-
2022
- 2022-10-03 US US17/959,020 patent/US11908091B2/en active Active
-
2024
- 2024-02-14 US US18/441,292 patent/US20240185540A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230024566A1 (en) | 2023-01-26 |
US20220068027A1 (en) | 2022-03-03 |
US20240185540A1 (en) | 2024-06-06 |
US11908091B2 (en) | 2024-02-20 |
US11494992B2 (en) | 2022-11-08 |
DE102021119778A1 (de) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733801B2 (en) | Markerless image analysis for augmented reality | |
US11810226B2 (en) | Systems and methods for utilizing a living entity as a marker for augmented reality content | |
EP3466070B1 (en) | Method and device for obtaining image, and recording medium thereof | |
JP6730642B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
US11908091B2 (en) | Constructing an augmented reality image | |
US9123272B1 (en) | Realistic image lighting and shading | |
US9740282B1 (en) | Gaze direction tracking | |
US20180053352A1 (en) | Occluding augmented reality content or thermal imagery for simultaneous display | |
US20140253589A1 (en) | Inconspicuous tag for generating augmented reality experiences | |
US20120095589A1 (en) | System and method for 3d shape measurements and for virtual fitting room internet service | |
US20180053055A1 (en) | Integrating augmented reality content and thermal imagery | |
US11557080B2 (en) | Dynamically modeling an object in an environment from different perspectives | |
CN110494864B (zh) | 3d模型的集成 | |
CN111679742A (zh) | 基于ar的交互控制方法、装置、电子设备及存储介质 | |
JP6495538B2 (ja) | イメージコンテンツ検索 | |
US20220319231A1 (en) | Facial synthesis for head turns in augmented reality content | |
JP2018524684A (ja) | 媒介現実 | |
CN113168735A (zh) | 用于在混合现实环境中针对视觉数字创作处理和划分真实世界的部分的方法和系统 | |
CN111625100A (zh) | 图画内容的呈现方法、装置、计算机设备及存储介质 | |
US9449427B1 (en) | Intensity modeling for rendering realistic images | |
Wang et al. | Accuracy of monocular gaze tracking on 3d geometry | |
CN114153548A (zh) | 一种展示方法、装置、计算机设备及存储介质 | |
CN109710054B (zh) | 用于头戴式显示设备的虚拟物体呈现方法和装置 | |
US9911237B1 (en) | Image processing techniques for self-captured images | |
BARON et al. | APPLICATION OF AUGMENTED REALITY TOOLS TO THE DESIGN PREPARATION OF PRODUCTION. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |