CN108140256B - 基于显示器的取向信息显示对象的3d表示的方法、设备和程序 - Google Patents

基于显示器的取向信息显示对象的3d表示的方法、设备和程序 Download PDF

Info

Publication number
CN108140256B
CN108140256B CN201680057214.XA CN201680057214A CN108140256B CN 108140256 B CN108140256 B CN 108140256B CN 201680057214 A CN201680057214 A CN 201680057214A CN 108140256 B CN108140256 B CN 108140256B
Authority
CN
China
Prior art keywords
image
electronic device
orientation information
orientation
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680057214.XA
Other languages
English (en)
Other versions
CN108140256A (zh
Inventor
R·莫塔
L·R·杨格斯
M·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202110822562.4A priority Critical patent/CN113516752A/zh
Publication of CN108140256A publication Critical patent/CN108140256A/zh
Application granted granted Critical
Publication of CN108140256B publication Critical patent/CN108140256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

公开了以模拟三维(3D)可见性(包括视差和阴影)的方式显示图形元素的技术。更具体地说，可使用多个图像以构建目标对象的光照模型，每个被捕获的图像与目标3D对象具有已知空间关系。例如，在一个实施方案中，可使用利用球谐函数或半球谐函数的多项式纹理映射(PTM)实现此操作。使用PTM技术可识别相对较少的基础图像。当要显示目标对象时，可使用取向信息生成基础图像的组合以便模拟目标对象的3D表示。

Description

基于显示器的取向信息显示对象的3D表示的方法、设备和 程序
背景技术
三维(3D)对象在二维(2D)表面上的实际显示一直是图像处理领域的长期目标。模拟3D对象的一种方法是拍摄各自从不同位置照亮的大量图像。然后，可基于所检测到的光源位置(例如，通过环境或彩色光传感器)选择并显示特定图像。另一种方法是在相对于固定光源的不同位置拍摄各自具有3D对象的大量图像。再次，可基于所确定的3D对象的取向选择并显示特定图像(例如，通过使用加速度计)。另一种方法结合上述两种方法，使得可考虑到光照位置和对象取向两者。应该相对容易掌握的是，前两种方法中的任何一种方法所需的图像数量可能会变得非常大–这使得很难在低内存设备中实现。
发明内容
在一个实施方案中，本发明公开的概念提供了基于取向信息显示对象的三维(3D)表示的方法。该方法包括在电子设备的显示单元上显示对象的第一图像，其中第一图像指示对象的第一3D表示；确定(基于来自与电子设备成一整体的一个或多个传感器的输出)电子设备的取向信息；基于对象的光模型和取向信息来确定要显示的第二图像；基于取向信息将合成阴影添加到第二图像以生成第三图像；以及在显示单元上显示对象的第三图像，其中第三图像指示对象的第二3D表示–该第二3D表示不同于第一3D表示。
在一个实施方案中，可使用例如加速度计或陀螺仪相对于重力场确定取向信息。在另一个实施方案中，取向信息可基于光的方向。在另一个实施方案中，可在与第一图像的显示时间重合时捕捉图像(在从显示单元发射的光的方向上)。然后，可对图像进行分析以识别某些类型的对象，并且依此可确定电子设备的取向。以举例的方式，如果所捕捉的图像包括脸部，则所捕捉的框架内的脸部角度可提供一些取向信息。可使用各种类型的光模型。在一个实施方案中，光模型可为多项式纹理映射(PTM)模型。通常，模型可基于取向信息编码或预测光的角度，并且因此编码或预测对象的表示。除合成阴影以外，可将视差信息结合到模型或像合成阴影一样添加。用于实现所公开的方法的计算机可执行程序可存储在计算机系统可读和可执行的任何介质中。
附图说明
图1示出了根据一个实施方案的两阶段操作。
图2A和2B示出了根据一个实施方案的两个基线图像捕获操作。
图3示出了根据一个实施方案的光模型系统。
图4示出了根据另一个实施方案的光模型系统。
图5示出了根据另一个实施方案的系统。
图6示出了根据一个实施方案的计算机系统。
具体实施方式
本公开涉及用于显示表现出三维(3D)行为的图形元素的系统、方法和计算机可读介质。通常，公开了以模拟完整3D可见性(包括视差和阴影)的方式显示图形元素的技术。更具体地，可使用各自与目标3D对象具有已知空间关系的被捕获的多个图像来构建目标对象的光照模型。例如，在一个实施方案中，可使用利用球谐函数或半球谐函数的多项式纹理映射(PTM)实现此操作。使用PTM技术可识别相对较少的基础图像。当要显示目标对象时，可使用取向信息生成基础图像的组合以便模拟目标对象的3D表示–在一些实施方案中，使用阴影和视差失真。取向信息可从例如加速度计或光传感器获得。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为该描述的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以避免模糊所公开构思的新颖方面。为了清晰起见，未对实际的具体实施的所有特征进行描述。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中提到“一个实施方案”或“实施方案”意指结合该实施方案所述的特定特征、结构或特性被包括在所公开主题的至少一个实施方案中，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部涉及相同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何软件和/或硬件开发项目中那样)，必须要作出许多决策以实现开发者的特定目标(例如，符合与系统和商务相关的约束条件)，并且这些目标在不同具体实施之间可能是不同的。还应当理解，此类开发工作可能是复杂并且耗时的，但尽管如此，对于在受益于本公开而设计和实施图形处理系统的具体实施的那些普通技术人员而言，这仍然是他们的日常工作。
参见图1，根据本公开的技术可被认为是由模型开发阶段100和模型部署阶段105构成。模型开发阶段100可包括基线图像的捕获(框110)和这些图像的模型的开发(框115)。在一个实施方案中，模型120可包括在不同观察位置和/或光照角度捕获的目标对象的多个图像。在另一个实施方案中，模型120可包括基于所捕获的基线图像的PTM模型的开发。在另一个实施方案中，模型120可包括所捕获的图像和一个或多个PTM模型的组合。一旦生成，就可将模型120部署到电子设备125。如图所示，电子设备125根据一个实施方案可包括通信接口130、一个或多个处理器135、图形硬件140、显示元件或单元145、设备传感器150、存储器155、图像捕获系统160，和可经由系统总线耦接的所有音频系统165或包含一个或多个连续(如图所示)或不连续通信链路的底板170。
通信接口130可用于将电子设备125连接到一个或多个网络。例示性网络包括但不限于本地网络诸如USB或蓝牙网络、蜂窝网络、组织的局域网，以及广域网诸如互联网。通信接口130可使用任何合适的技术(例如，有线或无线技术)和协议(例如，传输控制协议(TCP)、互联网协议(IP)，用户数据报协议(UDP)、互联网控制消息协议(ICMP)、超文本传输协议(HTTP)、邮局协议(POP)、文件传输协议(FTP)和互联网消息访问协议(IMAP))。一个或多个处理器135可为片上系统诸如存在于移动设备中的那些片上系统，并且包括一个或多个专用图形处理单元(GPU)。处理器135可以是基于精简指令集计算机(RISC)架构或复杂指令集计算机(CISC)架构或任何其他合适的架构的，并且每个处理器可包括一个或多个处理内核。图形硬件140可为用于处理图形和/或辅助一个或多个处理器135执行计算任务的专用计算硬件。在一个实施方案中，图形硬件140可包括一个或多个可编程GPU，并且每个此类单元可包括一个或多个处理内核。例如，显示器145可使用任何类型的显示技术，诸如发光二极管(LED)技术。显示器145可提供适合设备125的输入和输出装置。以举例的方式，设备传感器150可包括3D深度传感器、接近传感器、环境光线传感器、加速度计和/或陀螺仪。存储器155表示易失性和非易失性存储器两者。易失性存储器可包括一个或多个处理器135和图形硬件140使用的一种或多种不同类型的介质(通常为固态)。例如，存储器155可包括存储器高速缓存、只读存储器(ROM)和/或随机存取存储器(RAM)。存储器155还可包括一个或多个非暂态存储介质，包括例如磁盘(固定盘、软盘和可移除盘)和磁带、光学介质诸如CD-ROM和数字视频光盘(DVD)、以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。存储器155可用于保留媒体(例如，音频、图像和视频文件)、偏好信息、设备配置文件信息、被组织成一个或多个模块并且以任何期望的计算机编程语言编写的计算机程序指令、以及任何其他合适的数据。当由一个或多个处理器135和/或图形硬件140执行时，此类计算机程序代码可实施本文所述技术或特征中的一者或多者。图像捕获系统160可捕获静态和视频图像并且包括一个或多个图像传感器和一个或多个透镜组件。通过以下设备至少部分地可处理来自图像捕获系统160的输出：一个或多个视频编解码器和/或一个或多个处理器135和/或图形硬件140、和/或结合在图像捕获系统160内的专用图像处理单元。因此，捕获的图像可存储在存储器155中。例如，电子设备125可具有两个主表面。第一表面或前表面可与显示单元145重合。第二表面或后表面可为相对的表面。在一些实施方案中，图像捕获系统160可包括从第一表面向外定向的一个或多个相机以及从第二表面向外定向的一个或多个相机。电子设备125可为例如移动电话、个人媒体设备、便携式相机、或平板电脑、笔记本电脑或台式计算机系统。
根据框110的基线图像捕获可包括一个或两个阶段。参考图2A，阶段-1 200可包括从光源210照亮的3D目标对象205。随着相机215沿路径225从位置220A移动到位置220B到位置220C，可获得相对较多的图像以产生阶段-1图像语料库230。例如，在从位置220A移动到位置220C时，可捕获总共180个图像(例如，每运动1°一个图像)。在另一个实施方案中，相机215可完全围绕目标对象205移动。在该实施方案中，可捕获总共360个图像(例如，每次运动1°图像)。参考图2B，可选阶段-2 235包括可沿路径245从位置240A移动到位置240B到位置240C的光源210照亮的3D目标对象205，而相机215保持在单个位置以拍摄相对较多的图像(例如，150)以产生阶段-2图像语料库250。生成图像语料库230和图像语料库250所需的精确图像数可取决于所得模型的期望保真度–模型越精确，通常将需要越多的图像。在一些实施方案中，捕获的图像230和250捕获阴影、高光和视差信息。
参考图3，在一个实施方案中，可组织图像语料库230使得每个(或至少一些)图像与其相应的观察角度相关联，如表300所示。根据该类型的实施方案，观察(捕获)角度和目标对象205之间的映射可被认为是模型(例如，模型120)。在运行期间(例如，使用电子设备125)，可使用传感器设备150确定观察角度。一旦确定，可从存储器155检索相应的图像并且使用显示元件145显示。在一个实施方案中，如果根据传感器输出确定的观察角度介于根据图2A捕获的观察角度之间，则传感器提供的观察角度的任何“一侧”中的两个图像可组合例如加权和。(此处所用的词组“任何一侧”是指与传感器指示的观察角度最接近相同的更低观察角度相关联的捕获的图像以及与传感器指示的观察角度最接近相同的更高观察角度相关联的捕获的图像)。本领域的普通技术人员将认识到图像语料库230可保留在与单个表不同的结构中，如图3所示。例如，多个表诸如在关系数据库或B树或其他数据结构中可用于数据比较和检索操作。
参考图4，根据框115生成的模型可将PTM操作400独立应用到图像语料库250中的每个图像以产生PTM模型405。在运行期间(例如，使用电子设备125)，设备传感器150可用于确定相对于目标对象205(例如，电子设备125)的光照角度。一旦确定，可将相应的位置输入到PTM模型405(例如，用x-位置415和y-位置420以及可选的z-位置表示，未示出)，并且用于生成输出图像410。在另一个实施方案中，例如，光角度可在其他坐标系诸如偏航角-俯仰角-翻滚角中表示。在一个实施方案中，PTM操作400可采用球谐函数(SH)。在另一个实施方案中，PTM操作400可采用半球谐函数(HSH)。在其他实施方案中，例如，可使用不同的基函数诸如Zernike多项式、球面小波函数和Makhotkin半球谐函数。选择的精确函数关系或多项式可能是实现的运算环境、得到的光模型的期望保真度以及模型所需的存储器数量的函数。
PTM操作400的一个特征在于其产生的模型405可使用比图像语料库250中明显更少的图像。图像语料库250可包括数量较多的高分辨率彩色图像(例如，每个语料库可包括50-400个图像)。相比之下，PTM模型405可能只需要少量可生成该模型范围内的所有图像的“图像”。例如，在一个实施方案中，PTM模型405可采用球谐函数并得到以下形式的多项式。
pi＝a0x2+a1y2+a2xy+a3x+a4y+a5，等式1
其中“pi”表示给定照明位置(x,y)的像素“i”的模型输出，并且a0至a5为模型系数，其值由PTM操作400返回或找到。通常，模型系数a0至a5对于由x输入415和y输入420表示的图像410的每个像素可能是不同的。
在实施过程中，由等式1定义的pi仅表示输出图像410中第i个像素的强度或亮度。为了引用颜色，可引用颜色矩阵[C]，使得：
[P]＝[C][P]，等式2
其中[C]表示与输出图像[P](例如，输出图像410)中的每个像素相关联的色值。在一个实施方案中，[C]中的每个像素值可以是图像语料库250中所有对应像素的平均色值。在另一个实施方案中，[C]中的每个像素值可以是图像语料库250中所有对应像素的中值。在另一个实施方案中，色度图像[C]中的每个像素值可以是图像语料库250中所有对应色值的加权平均值。在另一个实施方案中，可将来自图像语料库250的色度值以任何认为可用于特定实施方案(例如，非线性)的方式组合。
根据图1的模型部署阶段105可在将至少一个生成的模型(例如，模型300和/或模型405)传输到电子设备125的存储器155后被调用。一旦安装到设备125上，目标对象205可在显示单元145上显示。参考图5，根据另一个实施方案的系统500可采用设备传感器150以向模型300和405供应输入(例如，415和420)。在一个实施方案中，设备传感器150可包括环境和/或颜色传感器以识别光源的位置和温度。在另一个实施方案中，设备传感器150包括陀螺仪和/或加速度计使得可确定设备125的方向。如果同时使用模型300和405，则可将其各自的输出图像进行组合505以生成输出图像510。在一个实施方案中，组合操作505可以是简单的合并操作。在另一个实施方案中，组合操作505可表示每个模型的输出的加权组合。在另一个实施方案中，组合操作505实际上可基于传感器输入和/或用户输入选择一个模型输出。
以另一个示例考虑，第一种情况是其中模型405是可操作的，并且设备传感器150指示设备125在观察者以约45°角俯视目标对象205的方向表示上是倾斜的。如果一个人手中拿着一个对象，向正下方看该对象的顶部，他们会期望看到对象的顶表面。当他们将头部移动至45°角时，他们会期望看到的对象的顶表面越少则看到的一个或多个侧表面就越多。在实施过程中，可将45°角(以x和y坐标表示，参见图5)的传感器输入指示输入到PTM模型405，并且输出图像510将是经修改以提供颜色的PTM系数图像的组合。
根据本公开的图像输出可包括阴影、高光和视差以延伸在生成的图像语料库中捕获的此信息。在另一个实施方案中，如果在用于生成模型的图像数据中不包括阴影信息，则可使用倾斜的和/或所识别的光源的方向(相对于设备125)生成合成阴影(例如，基于图像处理)。采用该技术的实施方案可使用传感器输入以生成来自相关光模型(例如，输出图像410或510)的第一输出图像。接着，可使用该图像生成合成阴影。然后，可将合成阴影应用到第一输出图像以生成可例如在显示单元145上显示的最终输出图像。在另一个实施方案中，电子设备125可包括从显示器145面向外部的相机单元。然后，相机可捕获和分析图像(与设备传感器150分开或组合)以确定设备方向和/或模型300和405的输入。得到的输出图像(例如，图像510)可包括在模型生成期间捕获或通过图像分析合成的阴影。在一个实施方案中，所捕获的图像可包括脸部使得所检测到的脸部的各个方面(例如，眼睛和/或口部和/或鼻部的位置)可用于确定300和/或405的输入。
参考图6，除了部署在电子设备125上以外，可在代表性计算机系统600(例如，通用计算机系统诸如台式计算机、膝上型电脑、笔记本电脑或平板电脑系统)上开发和部署公开的技术。计算机系统600可包括一个或多个处理器605、存储器610(610A和610B)、一个或多个存储设备615、图形硬件620、设备传感器625(例如，3D深度传感器、接近传感器、环境光传感器、彩色光传感器、加速度计和/或陀螺仪)、通信接口630、用户接口适配器635和显示器适配器640–所有都可经由系统总线或背板645进行耦接。处理器605存储器610(包括存储设备615)、图形硬件620、设备传感器625、通信接口630和系统总线或背板645提供与图1中类似识别的元件相同或类似的功能，因此不会进一步描述。用户接口适配器635可用于连接键盘650、麦克风655、指针设备660、扬声器665和其他用户接口设备诸如触摸板和/或触摸屏(未示出)。显示器适配器640可用于连接可提供触摸输入能力的一个或多个显示单元670(功能类似于显示单元145)。系统600可用于符合本公开的开发模型(例如，模型120、300和405)。此后，可将开发的模型部署到计算机系统600或电子设备125。(在另一个实施方案中，电子设备125可提供足够的计算能力便以实现模型开发，从而使得不需要使用通用计算机系统600。)
应当理解，以上描述旨在是示例性的而非限制性的。已呈现材料以使得本领域的任何技术人员能够作出并使用受权利要求保护的公开事项，并在特定实施方案的上下文中提供该材料，其变化对于本领域的技术人员而言将是显而易见的(例如，可彼此结合使用所公开的实施方案中的一些实施方案)。例如，可单独或一起开发模型120、300和405的部署。在另一个实施方案中，可将图像语料库230和250组合并用于生成单个光模型。在一个或多个实施方案中，可省略、重复和/或以不同本发明所述顺序执行公开的一个或多个步骤。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。在所附权利要求中，术语“包括(including)”和“其中(in which)”被用作相应术语“包括(comprising)”和“其中(wherein)”的通俗英语等同形式。

Claims (20)

1.一种电子设备，包括：
存储器；
显示单元，所述显示单元耦接至所述存储器；
一个或多个传感器元件；
一个或多个处理器，所述一个或多个处理器耦接至所述存储器、所述显示单元和所述一个或多个传感器元件，所述一个或多个处理器被配置为执行存储在所述存储器中的程序指令以使所述电子设备：
在所述显示单元上显示对象的第一图像，所述第一图像指示所述对象在第一取向的第一三维表示，
基于来自所述一个或多个传感器的输出来确定所述电子设备的对应于第二取向的取向信息，
基于所述对象的光模型和所述取向信息来确定所述对象的第二图像，其中所述对象的所述光模型包括所述对象在不同观察角度的多个图像，
基于所述取向信息将合成阴影添加到所述对象的所述第二图像以生成所述对象的第三图像，以及
在所述显示单元上显示所述对象的所述第三图像，其中所述第三图像指示所述对象的第二三维表示。
2.根据权利要求1所述的电子设备，其中所述取向信息包括所述电子设备相对于重力场的取向。
3.根据权利要求1所述的电子设备，其中所述取向信息包括所述电子设备相对于光源的取向。
4.根据权利要求1所述的电子设备，还包括图像捕获单元，所述图像捕获单元被配置为从与由所述显示单元发射的光相同的方向捕获场景。
5.根据权利要求4所述的电子设备，还包括程序指令，所述程序指令存储在所述存储器中以使所述电子设备：
与所述对象的所述第一图像的显示在时间上一致地利用所述图像捕获单元捕获图像；以及
基于对所捕获的图像的分析来确定所述电子设备的所述取向信息。
6.根据权利要求5所述的电子设备，其中对所捕获的图像的分析包括脸部检测。
7.根据权利要求1所述的电子设备，其中所述对象的所述光模型包括多项式纹理映射模型。
8.根据权利要求1所述的电子设备，其中所述对象的所述光模型包括视差信息。
9.一种计算机可读存储介质，所述计算机可读存储介质具有存储在其上的指令，所述指令在被执行时使一个或多个处理器：
从存储器获取对象的第一图像；
在显示单元上显示所述对象的所述第一图像，所述第一图像指示所述对象在第一取向的第一三维表示；
基于来自一个或多个传感器的输出来确定电子设备的对应于第二取向的取向信息，其中所述电子设备包括所述存储器和所述显示单元；
基于所述对象的光模型和所述取向信息来确定所述对象的第二图像，其中所述对象的所述光模型包括所述对象在不同观察角度的多个图像；
基于所述取向信息将合成阴影添加到所述对象的所述第二图像以生成所述对象的第三图像；以及
在所述显示单元上显示所述对象的所述第三图像，其中所述第三图像指示所述对象的第二三维表示。
10.根据权利要求9所述的计算机可读存储介质，其中使所述一个或多个处理器确定取向信息的所述指令还包括使所述一个或多个处理器基于重力场来确定所述取向信息的指令。
11.根据权利要求9所述的计算机可读存储介质，其中使所述一个或多个处理器确定取向信息的所述指令还包括使所述一个或多个处理器基于对光源的检测来确定所述取向信息的指令。
12.根据权利要求9所述的计算机可读存储介质，还包括存储在其上的指令，所述指令当被执行时使所述一个或多个处理器：
利用图像捕获单元从与由所述显示单元发射的光相同的方向捕获场景，其中所述捕获在与所述第一图像的显示一致的时间发生；以及
基于对所捕获的图像的分析来确定所述取向信息。
13.根据权利要求12所述的计算机可读存储介质，其中使所述一个或多个处理器基于对所捕获的图像的分析来确定所述取向信息的所述指令还包括使所述一个或多个处理器检测所捕获的图像中的脸部的指令。
14.根据权利要求12所述的计算机可读存储介质，其中所述对象的所述光模型包括多项式纹理映射模型。
15.根据权利要求9所述的计算机可读存储介质，其中所述对象的所述光模型包括视差信息。
16.一种显示对象的三维表示的方法，包括：
在电子设备的显示单元上显示对象的第一图像，所述第一图像指示所述对象在第一取向的的第一三维表示；
基于来自所述电子设备的一个或多个传感器的输出来确定所述电子设备的对应于第二取向的取向信息；
基于所述对象的光模型和所述取向信息来确定所述对象的第二图像，其中所述对象的所述光模型包括所述对象在不同观察角度的多个图像；
基于所述取向信息将合成阴影添加到所述对象的所述第二图像以生成所述对象的第三图像；以及
在所述显示单元上显示所述对象的所述第三图像，其中所述第三图像指示所述对象的第二三维表示。
17.根据权利要求16所述的方法，其中所述取向信息包括所述电子设备相对于重力场的取向或者所述电子设备相对于光源的取向。
18.根据权利要求16所述的方法，其中所述对象的所述光模型包括多项式纹理映射模型或视差信息。
19.根据权利要求16所述的方法，还包括：
与显示所述第一图像在时间上一致地利用所述电子设备的图像捕获单元捕获图像，其中所述图像捕获单元被配置为在从所述显示单元向外的方向上捕获图像；以及
基于对所捕获的图像的分析来确定所述取向信息。
20.根据权利要求19所述的方法，其中对所捕获的图像的分析包括检测所捕获的图像中的脸部。
CN201680057214.XA 2015-09-30 2016-09-23 基于显示器的取向信息显示对象的3d表示的方法、设备和程序 Active CN108140256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110822562.4A CN113516752A (zh) 2015-09-30 2016-09-23 基于显示器的取向信息显示对象的3d表示的方法、设备和程序

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562235570P 2015-09-30 2015-09-30
US62/235,570 2015-09-30
PCT/US2016/053461 WO2017058662A1 (en) 2015-09-30 2016-09-23 Method, device and program to display 3d representations of an object based on orientation information of the display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110822562.4A Division CN113516752A (zh) 2015-09-30 2016-09-23 基于显示器的取向信息显示对象的3d表示的方法、设备和程序

Publications (2)

Publication Number Publication Date
CN108140256A CN108140256A (zh) 2018-06-08
CN108140256B true CN108140256B (zh) 2021-08-10

Family

ID=57218978

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110822562.4A Pending CN113516752A (zh) 2015-09-30 2016-09-23 基于显示器的取向信息显示对象的3d表示的方法、设备和程序
CN201680057214.XA Active CN108140256B (zh) 2015-09-30 2016-09-23 基于显示器的取向信息显示对象的3d表示的方法、设备和程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110822562.4A Pending CN113516752A (zh) 2015-09-30 2016-09-23 基于显示器的取向信息显示对象的3d表示的方法、设备和程序

Country Status (3)

Country Link
US (2) US10262452B2 (zh)
CN (2) CN113516752A (zh)
WO (1) WO2017058662A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021021585A1 (en) * 2019-07-29 2021-02-04 Ocelot Laboratories Llc Object scanning for subsequent object detection
CN111696189A (zh) * 2020-06-17 2020-09-22 北京中科深智科技有限公司 一种毛发自阴影实时绘制方法及绘制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1408101A (zh) * 1999-12-06 2003-04-02 桑德特契有限公司 输入数据
CN102460297A (zh) * 2009-06-22 2012-05-16 英派尔科技开发有限公司 摄影机闪光缓解
CN103239255A (zh) * 2013-05-20 2013-08-14 西安电子科技大学 一种锥束x射线发光断层成像方法
CN103797443A (zh) * 2011-07-12 2014-05-14 亚马逊技术公司 模拟三维特征
CN104167011A (zh) * 2014-07-30 2014-11-26 北京航空航天大学 一种基于方向光辐射度的微结构表面全局光照绘制方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2579903C (en) 2004-09-17 2012-03-13 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US8866809B2 (en) 2008-09-30 2014-10-21 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
US20100103172A1 (en) * 2008-10-28 2010-04-29 Apple Inc. System and method for rendering ambient light affected appearing imagery based on sensed ambient lighting
US20100156907A1 (en) * 2008-12-23 2010-06-24 Microsoft Corporation Display surface tracking
CN101872491B (zh) * 2010-05-21 2011-12-28 清华大学 基于光度立体的自由视角重光照方法和系统
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
US9330500B2 (en) * 2011-12-08 2016-05-03 The Board Of Trustees Of The University Of Illinois Inserting objects into content
US10109063B2 (en) 2012-07-04 2018-10-23 Apple Inc. Image processing in a multi-channel camera
US8416236B1 (en) 2012-07-19 2013-04-09 Google Inc. Calibration of devices used to generate images of a three-dimensional object data model
US9083887B2 (en) * 2013-04-08 2015-07-14 Samsung Electronics Co., Ltd. Image capture devices configured to generate compensation gains based on an optimum light model and electronic apparatus having the same
US9348411B2 (en) * 2013-05-24 2016-05-24 Microsoft Technology Licensing, Llc Object display with visual verisimilitude

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1408101A (zh) * 1999-12-06 2003-04-02 桑德特契有限公司 输入数据
CN102460297A (zh) * 2009-06-22 2012-05-16 英派尔科技开发有限公司 摄影机闪光缓解
CN103797443A (zh) * 2011-07-12 2014-05-14 亚马逊技术公司 模拟三维特征
CN103239255A (zh) * 2013-05-20 2013-08-14 西安电子科技大学 一种锥束x射线发光断层成像方法
CN104167011A (zh) * 2014-07-30 2014-11-26 北京航空航天大学 一种基于方向光辐射度的微结构表面全局光照绘制方法

Also Published As

Publication number Publication date
WO2017058662A1 (en) 2017-04-06
US20170091988A1 (en) 2017-03-30
US10748331B2 (en) 2020-08-18
CN108140256A (zh) 2018-06-08
US20190206120A1 (en) 2019-07-04
CN113516752A (zh) 2021-10-19
US10262452B2 (en) 2019-04-16

Similar Documents

Publication Publication Date Title
CN106355153B (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US11494915B2 (en) Image processing system, image processing method, and program
KR101930657B1 (ko) 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법
US9740282B1 (en) Gaze direction tracking
TW201947451A (zh) 車輛定損的交互處理方法、裝置、處理設備及客戶端
CN107004279A (zh) 自然用户界面相机校准
JP2016038889A (ja) モーション感知を伴う拡張現実
JP2018507476A (ja) コンピュータビジョンに関する遮蔽処理
JP2016502712A (ja) 単眼視覚ｓｌａｍのための高速初期化
CN105917292A (zh) 利用多个光源和传感器的眼睛注视检测
US20170213396A1 (en) Virtual changes to a real object
JP2013235373A5 (zh)
JP2020537201A (ja) 挿入される画像コンテンツについての影生成
KR20230028532A (ko) 가상 현실 경험들을 위한 지상 실측값 데이터세트들의 생성
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
KR20160047488A (ko) 디스플레이 상의 오브젝트들을 추적하는 시스템들, 디바이스들 및 방법들
US10916031B2 (en) Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
JP7043601B2 (ja) 環境モデルを生成するための方法および装置ならびに記憶媒体
JP2019527355A (ja) デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
US10748331B2 (en) 3D lighting
JP5506371B2 (ja) 画像処理装置、画像処理方法およびプログラム
TWI608446B (zh) 提供虛擬彩妝的方法、虛擬彩妝電子系統以及具備虛擬彩妝電子系統之電子裝置
JP7000935B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
Liu et al. Human performance capture using multiple handheld kinects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant