CN104395902A - 根据存储的图像确定3d模型信息 - Google Patents

根据存储的图像确定3d模型信息 Download PDF

Info

Publication number
CN104395902A
CN104395902A CN201380018797.1A CN201380018797A CN104395902A CN 104395902 A CN104395902 A CN 104395902A CN 201380018797 A CN201380018797 A CN 201380018797A CN 104395902 A CN104395902 A CN 104395902A
Authority
CN
China
Prior art keywords
applicable
light field
viewing angle
model
described object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380018797.1A
Other languages
English (en)
Other versions
CN104395902B (zh
Inventor
小詹姆斯.J.库弗纳
J.R.布鲁斯
A.波尔索希
R.希克曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104395902A publication Critical patent/CN104395902A/zh
Application granted granted Critical
Publication of CN104395902B publication Critical patent/CN104395902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了方法和系统，以用于响应于搜索查询，确定和发送可适用的照明信息、可适用观看角度和对象的3D模型。示例方法包括在服务器处接收关于对象的搜索查询，确定对象的3D模型。3D模型包括关于对象的三维形状信息。方法还包括基于对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度。从服务器发送搜索查询结果。搜索查询结果可以包括3D模型、(多个)可适用光场和(多个)可适用观看角度。还公开了可以执行类似方法的服务器和非暂态计算机可读介质。

Description

根据存储的图像确定3D模型信息
相关申请的交叉引用
本申请要求于2012年4月2日提交的第61/619,224号美国临时专利申请的优先权，其内容通过引用并入本文。
背景技术
在计算机图形学中，三维(3D)建模涉及生成对象的3D表面的表示。该表示可以被称为3D对象数据模型，或简称为3D模型，并可以经由3D渲染(render)而被渲染为或显示为二维图像，或者可以被显示为三维图像。3D对象数据模型可以利用通过诸如三角形、线和曲面等的各种几何实体连接的、在3D空间中点的集合来表示3D对象。存在利用点云和几何形状来生成3D对象数据模型的各种技术。
发明内容
在第一方面中，提供了一种方法。该方法包括在服务器处接收搜索查询。搜索查询包括对关于对象的信息的请求。方法还包括确定对象的3D模型。3D模型包括关于对象的三维形状信息。方法附加地包括基于对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度。在对象的每个已存储的图像中，对象被至少一个各自的光场照明而且被从各自的观看角度成像。方法还包括从服务器发送搜索查询结果。搜索查询结果包括3D模型、至少一个可适用光场和所述至少一个可适用观看角度。
在第二方面中，提供了一种计算机。该计算机包括处理器、非易失性计算机可读介质、和存储在非易失性计算机可读介质中的指令。该指令可由处理器执行以使得计算机执行功能。所述功能包括接收搜索查询。搜索查询包括对关于对象的信息的请求。功能还包括确定对象的3D模型。3D模型包括关于对象的三维形状信息。功能附加地包括基于对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度。在对象的每个已存储的图像中，对象被至少一个各自的光场照明而且被从各自的观看角度成像。功能还包括发送搜索查询结果。搜索查询结果包括3D模型、至少一个可适用光场和至少一个可适用观看角度。
在第三方面中，提供了一种非暂态计算机可读介质。该非暂态计算机可读介质包括指令，所述指令可由计算设备执行以使得计算设备执行功能，所述功能包括接收搜索查询。搜索查询包括对关于对象的信息的请求。功能还包括确定对象的3D模型。3D模型包括关于对象的三维形状信息。功能附加地包括基于对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度。在对象的每个已存储的图像中，对象被至少一个各自的光场照明而且被从各自的观看角度成像。功能还包括发送搜索查询结果。搜索查询结果包括3D模型、至少一个可适用光场和至少一个可适用观看角度。
附图说明
图1A是根据示例实施例的用于对象数据建模的系统的功能框图。
图1B是根据示例实施例的分布式计算架构的功能框图。
图1C是根据示例实施例的计算设备的功能框图。
图1D是根据示例实施例的基于云的服务器系统的功能框图。
图2是根据示例实施例的方法的流程图。
图3是根据示例实施例的用于确定至少一个可适用光场的方法的流程图。
图4是根据示例实施例的用于确定至少一个可适用观看角度的方法的流程图。
图5是根据示例实施例的用于评估至少一个可适用光场和至少一个可适用观看角度的方法的流程图。
图6是根据示例实施例的用于对着色器排序的方法的流程图。
图7是根据示例实施例的用于着色器选择的方法的流程图。
图8是根据示例实施例的计算机程序产品的示意图。
具体实施方式
在以下详细描述中，参考了构成其一部分的附图。在图中，类似的符号通常标识类似的组件，除非上下文另有指示。在详细描述和图中描述的说明性实施例不是意图进行限制。在不脱离这里提出的主题的精神或范围的情况下，可以利用其它实施例，也可以做出其它改变。将很容易理解，本公开的方面，如这里一般描述的和在图中图示出的，可以以很多种不同的配置来安排、替代、组合或分离，所有这些都在这里都被设想到。
这里公开的示例实施例涉及响应于关于对象的搜索查询，确定对象的3D模型，并且还基于对象的多个已存储的图像确定可适用光场和可适用观看角度。所确定的信息可以以搜索查询结果的形式从服务器发送。
这里公开的一些方法可以通过服务器系统部分地或全部地执行。在示例实施例中，服务器可以接收搜索查询，所述搜索查询可以包括对关于对象的信息的请求。在这样的示例中，对象的3D模型可以至少部分地基于搜索查询中的信息来确定。3D模型可以包括例如，关于对象的三维形状信息。附加地，基于对象的多个已存储的图像，可以确定至少一个可适用光场和至少一个可适用观看角度。在对象的每个已存储的图像中，对象被至少一个各自的光场照明并且被从各自的观看角度成像。所确定的信息然后可以以搜索查询结果从服务器发送到输出目标，诸如搜索查询的源。
在示例实施例中，服务器包括处理器、非暂态计算机可读介质、以及存储在非暂态计算机可读介质中的指令。指令可以是处理器可执行的，以使得服务器执行与在前述方法中描述的那些功能类似的功能。
这里还公开了具有存储的指令的非暂态计算机可读介质。指令可以是计算设备可执行的，以使得计算设备执行与在前述方法中描述的那些功能类似的功能。
本领域技术人员将会理解，有很多不同的特定的方法和系统，所述的方法和系统可以被用来：当接收到关于对象的搜索查询之时，确定对象的3D模型，并基于对象的多个已存储的图像确定可适用光场和可适用观看角度，然后从服务器发送包括所确定的信息的搜索查询结果。这些特定的方法和系统中的每一个在这里都被预期到，且下面描述若干个示例实施例。
图1A图示了用于对象数据建模的示例系统100。系统100包括耦合到服务器104和数据库106的输入源102。服务器104也被示为耦合到数据库106和输出目标108。系统100可以包括更多的或更少的组件，并且输入源102、服务器104、数据库106和输出目标108中的每一个也可以包括多个元件，或者输入源102、服务器104、数据库106和输出目标108中的每一个也可以相互连接。因此，所描述的系统100的功能中的一个或多个可以被划分到附加的功能或物理组件中，或被组合到更少的功能或对象组件中。在某些其它的示例中，附加的功能和/或物理组件可以被添加到图1A所图示的示例。
系统100的组件可以耦合到网络(未示出)，或者被配置为能够经由网络(未示出)通信，所述的网络诸如例如局域网(LAN)、广域网(WAN)、无线网络或者因特网。另外，系统100的任意组件可以利用有线或无线通信相互耦合。例如，输入源102和服务器104之间的通信链路可以包括诸如串行总线或并行总线之类的有线连接，或无线连接，诸如蓝牙、IEEE 802.11(IEEE802.11可以指的是IEEE 802.11-2007、IEEE 802.11n-2009或任何其它的IEEE802.11修订版)、或其它基于无线的通信链路。
输入源102可以是任何源，从所述源可以接收搜索查询和/或3D模型，或对象数据模型。搜索查询可以源自任何数量的设备，包括移动设备(例如，智能电话、平板计算机、可穿戴计算机等等)，或者源自其它计算系统。搜索查询包括对关于对象的信息的请求。对信息的请求可以是总体请求。在这样的总体情况下，搜索查询上下文可以是“给我看椅子”。对信息的请求可以可替换地是更具体的请求内容，诸如，“给我看由公司Y制造的型号X的高背转椅”。在某些实施例中，请求指定响应于请求而提供3D模型。
当接收到搜索查询之时，系统100可以被配置为执行各种确定。例如，可以确定对象的3D模型。确定可以包括查找数据存储装置和/或数据库，这可以返回对象的3D模型。确定3D模型的其它手段是可能的。
系统100还可以被配置为基于对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度。多个已存储的图像可以包括对象在各种照明环境中、在不同的位置中等等的静止图像。下面进一步描述可适用光场和可适用观看角度。
系统100还可以被配置为发送搜索查询结果，所述搜索查询结果包括3D模型、至少一个可适用光场和至少一种可适用观看角度。
在一些示例中，可以从对象的3D扫描来确定3D模型(形状和/或外观)。例如，结构光扫描仪可以捕捉对象的图像且可以利用单色立体相机和图案投影仪来恢复对象的形状。从这样的捕捉的图像恢复三维形状和颜色信息的各种方法是本领域已知的。例如，运动恢复结构(Structure From Motion，SFM)、立体视法(stereoscopy)、多视角法(multiscopy)、用结构光照明、以及计算机视觉和3D成像领域中已知的其它技术可以被单独使用或以各种组合使用来形成3D模型。在可替换的示例中，3D模型可以已经被服务器104知道和/或被存储在数据存储装置或数据库106中。
服务器104包括模型构造器110、对象数据模型处理器112、语义学和搜索索引114以及图形库116。服务器104的任意组件可以彼此耦合。另外，可替换地，服务器104的任意组件可以是耦合到服务器104的分离的组件。服务器104还可以包括例如处理器和存储器，所述存储器包括可被处理器执行以执行服务器104的组件的功能的指令。
模型构造器110从输入源102接收每个对象的网格数据集，该网络数据集可以包括定义稠密表面网格几何(dense surface mesh geometry)的数据集，且可以生成3D的对象的动画模型。例如，模型构造器110可以执行从网格表面的一致性纹理拆解(coherent texture unwrapping)，并确定根据几何学仿真的表面的纹理。
对象数据模型处理器112还可以从输入源102接收每个对象的网格数据集并生成显示网格。例如，扫描的网格图像可以利用纹理保存简化(decimation)进行简化(例如，从5百万到120,000个表面)。纹理映射的生成也可以被执行以确定用于映射渲染的颜色纹理。为生成整个纹理映射，每个图像像素可以与一纹理像素相关联。
语义学和搜索索引114可以接收捕捉的图像或已被简化和压缩的处理过的图像，并可以执行纹理重采样以及基于形状的索引。例如，对于每个对象，语义学和搜索索引114可以将图像的组分(例如，每个像素)索引为或标注为具有特定的纹理、颜色、形状、几何图形、属性等。
图形库116可以例如使用WebGL或OpenGL网格压缩来减少网格文件大小。图形库116可以例如以用于在浏览器上显示的形式提供3D对象数据模型(或3D模型)。在一些示例中，3D对象数据模型查看器可以被用于显示3D对象数据模型的图像。3D对象数据模型查看器可以例如利用在网络浏览器内的WebGL或OpenGL实现。
数据库106可以包括对象的多个已存储的图像。已存储的图像可以包括视频帧和/或静止图像。图像的数量可能很大，诸如成千上万的图片甚至更多。数据库106中可以包括一个特定对象的图像。在不同的实施例中，数据库106可以包括许多不同的对象的图像。图像可以包括对象从不同的观看角度、在不同照明条件下、和在不同的情境环境中的各种照片和/或视频帧。例如，数据库106可以包括订书机的多个图像。在各种已存储的图像中，订书机可以显现为从头顶、从侧面、从后面等被照明。图像可以包括不同颜色和形状的订书机。已存储的图像还可以包括从不同的观看角度的订书机的图片。此外，订书机图像的环境可以在家庭办公室和小型商业环境之间改变。数据库106中图像的对象和类型的其它示例可以是可能的。在一个实施例中，数据库106可以代表存储在服务器系统中的多个分布式计算机上的图像。
在另一示例实施例中，数据库106可以以从捕捉的原始数据到用于显示的处理过的数据的任意数量的各种形式来存储3D对象数据模型的所有数据集。数据库106通信地耦合到服务器104，但是不需要在物理上或以其它方式连接到服务器104。数据库106也可以被集成到服务器104内。在一些实施例中，数据库106还可以被用于对象的已渲染的图像和对象的已存储的图像之间的比较以确定相似性度量(metric)或执行其它比较。
输出目标108可以包括许多不同的目标，比如在因特网上的网页、搜索引擎、数据库等。输出目标108可以包括3D对象数据模型查看器，其允许基于3D对象数据模型实现产品广告或产品搜索。在这里的示例中，输出目标108还可以包括输入源102。例如，移动设备可以将搜索查询提供给系统100并被认为是输入源102。在这样的实例中，系统100可以生成搜索查询结果并将搜索查询结果发送给移动设备。因此，移动设备也可以被认为是输出目标108。其它的输出目标108是可能的。例如，搜索查询结果可以从系统100发送到不同的移动设备和/或其它计算设备。
图1B、图1C和图1D是图示出根据这里描述的至少一些实施例安排的示例计算系统的功能框图。计算系统可以被用来实现系统和方法以用于：i)接收包括对关于对象的信息的请求的搜索查询；ii)确定对象的3D模型；iii)基于对象的多个已存储的图像确定至少一个可适用光场和至少一个可适用观看角度；以及iv)发送包括所确定的信息的搜索查询结果，如这里所描述的和如图1A与图2中所图示的。
图1B示出了服务器设备128、130，其被配置为经由网络126与可编程设备124a、124b和124c通信。网络126可以对应于LAN、广域网(WAN)、公司内部网、公共因特网、或被配置为提供联网的计算设备之间的通信路径的任何其它类型的网络。网络126也可以对应于一个或多个LAN、WAN、公司内部网和/或公共因特网的组合。
服务器设备128和130可以与参照图1A描述的服务器104相似或相同。
虽然图1B仅示出了三个可编程设备，但是分布式应用架构可以服务数十、数百、数千、或甚至更多的可编程设备。此外，可编程设备124a、124b和124c(或任意附加的可编程设备)可以是任意种类的计算设备，诸如普通的膝上型计算机、桌上型计算机、网络终端、无线通信设备(比如，蜂窝电话或智能电话)等等。在一些实施例中，可编程设备124a、124b和124c可以专注于软件应用的设计和使用。在其它实施例中，可编程设备124a、124b和124c可以是被配置为执行许多任务且不必专注于软件开发工具的通用计算机。可编程设备124a、124b和124c可以代表如参照图1A所描述的一个或多个输入源102或输入目标108。
服务器设备128、130可以被配置为执行可编程设备124a、124b和/或124c所请求的一项或多项服务。例如，服务器设备128和/或130可以将内容提供给可编程设备124a-124c。内容可以包括但不限于，网页、超文本、脚本、诸如经编译的软件的二进制数据、图像、音频和/或视频。内容可以包括经压缩的和/或未经压缩的内容。内容可以是经加密的和/或未经加密的。其它类型的内容也是可能的。
作为另一个示例，服务器设备128和/或130可以向可编程设备124a-124c提供到用于数据库、搜索、计算、图形的、音频、视频、万维网/因特网利用和/或其它功能的软件的访问。服务器设备的很多其它示例也是可能的。
图1C是根据示例实施例的计算设备的框图。具体来说，图1C中示出的计算设备150可以被配置为执行服务器设备128、130、网络126、和/或可编程设备124a、124b和124c中的一个或多个的一个或多个功能。计算设备150可以包括用户接口模块151、网络通信接口模块152、一个或多个处理器153和数据存储器154，所有的这些可以经由系统总线、网络、或其它连接机制155链接在一起。
计算设备150也可以代表如参照图1B所描述的可编程设备124a、124b和124c中的一个或多个。此外，计算设备150可以代表如参照图1A所描述的输入源102或输出目标108。
用户接口模块151可以是可操作的以发送数据到外部用户输入/输出设备和/或从外部用户输入/输出设备接收数据。例如，用户接口模块151可以被配置为发送数据到用户输入设备和/或从用户输入设备接收数据，所述用户输入设备诸如键盘、键区、触摸屏、计算机鼠标、跟踪球、操纵杆、相机、声音识别模块和/或其它类似设备。用户接口模块151也可以被配置为将输出提供给用户显示设备，诸如一个或多个阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、利用数字光处理(DLP)技术的显示器、打印机、电灯泡和/或其它类似设备，或者现在已知的或者以后开发的。用户接口模块151也可以被配置为产生听得见的(多个)输出，诸如扬声器、扬声器插口、音频输出端口、音频输出设备、耳机和/或其它类似设备。
网络通信接口模块152可以包括一个或多个无线接口157和/或一个或多个有线接口158，它们可被配置为经由诸如图1B中所示的网络126之类的网络通信。无线接口157可以包括一个或多个无线发送器、接收器和/或收发器，诸如蓝牙收发器、无线局域网(WLAN)收发器、蜂窝无线收发器和/或被配置为经由无线网络通信的其它类似类型的无线收发器。有线接口158可以包括一个或多个有线发送器、接收器和/或收发器，诸如以太网收发器、通用串行总线(USB)收发器、或被配置为经由双绞线、同轴电缆、光纤链路、或类似的到有线网络的物理连接通信的类似收发器。
在一些实施例中，网络通信接口模块152可以被配置为提供可靠的、安全的和/或已认证的通信。对于这里描述的每个通信，可以提供用于确保可靠通信(也就是有保证的信息递送)的信息，该信息或许作为消息首部和/或尾部(footer)(例如，包/消息序列信息、(多个)封装首部和/或(多个)尾部、大小/时间信息和诸如CRC和/或奇偶校验值之类的传输验证信息)的一部分被提供。可以利用诸如但不限于，DES、AES、RSA、Diffie-Hellman(迪菲-赫尔曼)和/或DSA的一个或多个密码协议和/或算法来使通信安全(例如，被编码或加密)和/或被解密/解码。其它密码协议和/或算法也可以被使用、或与这里列出那些协议一起使用，以保护(然后解密/解码)通信。
处理器153可以包括一个或多个通用处理器和/或一个或多个专用处理器(例如，数字信号处理器、专用集成电路等)。处理器153可以被配置为执行包含在数据存储器154中的计算机可读程序指令156a和/或如这里所述的其它指令。
数据存储器154可以包括可以被处理器153中的至少一个读取和/或访问的一个或多个计算机可读存储介质。一个或多个计算机可读存储介质可以包括可以整体地或部分地与处理器153中的至少一个集成的易失性和/或非易失性存储器组件，如光学的、磁的、有机的或其它的存储器或盘存储器。在一些实施例中，数据存储器154可以利用单个物理设备(例如，一个光学的、磁的、有机的或其它的存储器或盘存储器单元)实现，然而在其它实施例中，数据存储器154可以利用两个或更多个物理设备实现。
数据存储器154可以包括计算机可读程序指令156a、真实环境156b、和可能附加的数据。真实环境156b可以存储软件应用的一个或多个过程和/或线程所使用的数据中的至少一些。在一些实施例中，数据存储器154可以附加地包括执行这里描述的方法和技术的至少一部分和/或这里描述的设备和网络的功能的至少一部分所需的存储器。
图1D描绘了根据示例实施例的被安排为基于云的服务器系统的计算集群159a、159b和159c的网络126。服务器设备128和/或130可以是基于云的设备，所述基于云的设备存储程序逻辑和/或基于云的应用和/或服务的数据。在一些实施例中，服务器设备128和/或130可以是驻留在单个计算中心中的单个计算设备。在其它实施例中，服务器设备128和/或130可以包括在单个计算中心中的多个计算设备或者甚至包括位于处于不同地理位置中的多个计算中心中的多个计算设备。例如，图1B描绘了驻留在不同物理位置中的服务器设备128和130中的每一个。
在一些实施例中，在服务器设备128和/或130处的数据和服务可以被编码为存储在有形的计算机可读介质(或计算机可读存储器介质)中的且可被可编程设备124a、124b和124c和/或其它计算设备访问的计算机可读信息。在一些实施例中，在服务器设备128和/或130处的数据可以被存储在单个盘驱动器或其它有形的存储器介质上，或者可以在位于一个或多个不同地理位置处的多个盘驱动器或其它有形的存储器介质上实现。
在图1D中，服务器设备128和/或130的功能可以在三个计算集群159a、159b和159c之中分布。计算集群159a可以包括通过局部集群网络162a连接的一个或多个计算设备150a、集群存储器阵列160a和集群路由器161a。类似地，计算集群159b可以包括通过局部集群网络162b连接的一个或多个计算设备150b、集群存储器阵列160b和集群路由器161b。同样地，计算集群159c可以包括通过局部集群网络162c连接的一个或多个计算设备150c、集群存储器阵列160c和集群路由器161c。
在一些实施例中，计算集群159a、159b和159c中的每一个可以具有相同数量的计算设备、相同数量的集群存储器阵列和相同数量的集群路由器。然而，在其它实施例中，每个计算集群可以具有不同数量的计算设备、不同数量的集群存储器阵列和不同数量的集群路由器。在每个计算集群中的计算设备、集群存储器阵列和集群路由器的数量可以取决于分配到每个计算集群的一个或多个计算任务。
在计算集群159a中，例如，计算设备150a可以被配置为执行服务器130的各种计算任务。在一个实施例中，服务器130的各种功能可以分布在计算设备150a、150b和150c中的一个或多个之中。在计算集群159b和159c中的计算设备150b和150c可以被配置为类似于在计算集群159a中的计算设备150a。另一方面，在一些实施例中，计算设备150a、150b和150c可以被配置为执行不同的功能。
在一些实施例中，与服务器设备128和/或130相关联的计算任务和存储的数据可以至少部分地基于服务器设备128和/或130的处理要求、计算设备150a、150b和150c的处理能力、在每个计算集群中的计算设备之间的和计算集群本身之间的网络链接的延迟、和/或可以有助于整个系统构架的成本、速度、容错、弹性、效率和/或其它设计目标的其它因素而跨计算设备150a、150b和150c分布。
计算集群159a、159b和159c的集群存储器阵列160a、160b和160c可以是包括盘阵列控制器的数据存储器阵列，所述盘阵列控制器被配置为管理对硬盘驱动器组的读和写访问。盘阵列控制器，单独地或与它们各自的计算设备协同地，也可以被配置为管理存储在集群存储器阵列中的数据的备份或冗余副本，以防范盘驱动器或其它集群存储器阵列故障和/或网络故障，所述故障和/或网络故障阻止一个或多个计算设备访问一个或多个集群存储器阵列。
与服务器设备128和/或130的功能可以跨计算集群159a、159b和159c的计算设备150a、150b和150c分布的方式类似，这些组件的各种活动部分和/或备用部分也可以跨集群存储器阵列160a、160b和160c分布。例如，一些集群存储器阵列可以被配置为存储服务器设备128的数据，而其它集群存储器阵列可以存储服务器设备130的数据。附加地，一些集群存储器阵列可以被配置为存储在其它集群存储器阵列中存储的数据的备份版本。
在计算集群159a、159b和159c中的集群路由器161a、161b和161c可以包括网络设备，该网络设备被配置为给计算集群提供内部通信和外部通信。例如，在计算集群159a中的集群路由器161a可以包括一个或多个因特网交换和路由设备，所述因特网交换和路由设备被配置为提供(i)在计算设备150a和集群存储器阵列160a之间的经由局部集群网络162a的局域网通信，以及(ii)在计算集群159a以及计算集群159b和159c之间的经由到网络126的广域网连接163a的广域网通信。集群路由器161b和161c可以包括与集群路由器161a类似的网络设备，且集群路由器161b和161c可以为计算集群159b和159c执行与集群路由器161a为计算集群159a执行的网络功能类似的网络功能。
在一些实施例中，集群路由器161a、161b和161c的配置可以至少部分地基于计算设备和集群存储器阵列的数据通信要求、在集群路由器161a、161b和161c中的网络设备的数据通信能力、局部网络162a、162b和162c的延迟和吞吐量、广域网络链路163a、163b和163c的延迟、吞吐量和成本、和/或可以有助于计算系统的成本、速度、容错、弹性、效率和/或其它设计目标的其它因素。
提供方法200以用于在服务器处接收包括对关于对象的信息的请求的搜索查询、确定对象的3D模型、并基于对象的多个已存储的图像确定可适用光场和可适用观看角度。该方法还可以包括从服务器发送包括所确定的信息的搜索查询结果。该方法可以使用图1中所示的和上面描述的任何装置来执行，然而，也可以使用其它配置。图2图示了示例方法中的步骤，然而，应当理解，在其它实施例中，这些步骤可以以不同的次序出现而且步骤可以被添加或去除。
步骤202包括在服务器处接收搜索查询。搜索查询可以包括对关于对象的信息的请求。如上所述，对信息的请求可以一般地或具体地涉及对象。接收到的搜索查询可以具有很多不同的形式。例如，接收到的搜索查询可以是文本格式或可以基于视觉(例如，静止图像或视频)和/或音频(例如，语音)线索。搜索查询可以可替换地以其它格式来接收。
步骤204包括确定对象的3D模型。3D模型包括关于对象的三维形状信息。3D模型可以表示三维的对象的线框(wireframe)或点云(point cloud)表示。在一些实施例中，在对象的3D模型中可以包括更多信息。例如，在3D模型中可以包括颜色信息。3D模型可以通过在对象的3D模型的数据存储装置或另一集合中对其进行查找来确定。可替换地，3D模型可以使用这里描述的方法从对象的多个已存储的图像来确定。
步骤206包括基于对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度。对象的多个已存储的图像可以代表对象的图像的任何集合、数据存储装置、数据库或其它储存库。对象的多个已存储的图像可以包括在不同的照明条件下和/或从不同的观看角度所捕捉的对象的图像。
照明条件可以包括一个或多个光场，在该照明条件下原始捕捉对象的每个图像。每个光场可以包括例如，一个或多个光源和关于光如何从(多个)光源投射以及投射的光如何与对象表面交互的信息。光源可以包括点源和/或分布式源，其可以包括各向同性和/或各向异性照明特性。光场可以包括关于光在给定的特定入射和出射角下如何与对象的表面交互的信息，诸如可以在双向反射分布函数(bidirectional reflectance distribution function，BRDF)中定义。
包括其它分布函数的其它光交互可以从对象的已存储的图像来确定。例如，周围照明、周围遮挡(occlusion)、朗伯反射、镜面反射以及本领域中已知的其它光交互可以被映射到对象的已存储的图像和/或对象本身的3D模型的表面。与本领域中已知的不同照明交互相对应的其它映射可以在该方法的上下文内实现。
通过分析对象的多个已存储的图像，可以确定关于对象及其环境的各种信息。例如，图像可以包括关于对象的信息，诸如它的材料、颜色、纹理、形状和其它属性。此外，图像可以在图像中包括关于光源的信息，诸如它们的发射分布、色温、强度、与对象的相对位置和距离等。图像还可以包括关于对象的典型环境的信息。例如，办公椅可以通常在已存储的图像中被描绘为在办公环境中并被头顶的荧光灯照明时。
基于对象的已存储的图像中的信息，可以确定可适用光场。例如，可以确定一组最常用的(或规范的(canonical))光场。换句话说，可以确定与特定对象的典型照明环境有关的规范的光场。此外，可以确定光场以便例如，突出显示对象的特定特征。例如，可以通过利用强的背光剪影来突出显示对象的形状。更进一步地，可以确定光场以便在典型的环境中适当地照明对象。在另一实施例中，可以确定可适用光场以便基本匹配对象的至少一个已存储的图像的照明条件。在又一实施例中，可以基于三维双向反射分布函数(BRDF)确定可适用光场。以这样的方式，可以在所公开的方法的上下文内确定至少一个可适用光场。在实践中，至少一个可适用光场可以包括例如，可以用于生成对象的逼真照片的渲染的照明信息。
图3图示了用于确定可以在步骤206中使用的至少一个可适用光场的示例方法210。方法210可以包括基于对象的已存储的图像，确定对象的至少一种材料，如框212所指示的。方法210还可以包括基于对象的已存储的图像，确定对象的至少一个纹理，如框214所指示的。另外，方法210可以包括基于对象的已存储的图像，至少确定部分的三维双向反射分布函数(BRDF)，如框216所指示的。更进一步地，方法210可以包括基于对象的已存储的图像，确定对象的至少一个规范的环境，如框218所指示的。对象的规范的环境可以例如对应于对象在对象的已存储的图像中的典型的或最常见的环境。然后，方法210可以包括基于(i)对象的至少一种材料、(ii)对象的至少一个表面纹理、(iii)三维BRDF和/或(iv)对象的至少一个规范的环境，来确定至少一个可适用光场，如框220所指示的。
虽然图3图示了具有可以在确定至少一个可适用光场(框220)时使用的四个基础确定(框212-218)的方法210，但是要理解，方法210的具体实现方式可以不包括这些基础确定中的每一个和/或可以包括不同类型的基础确定。此外，一个或多个基础确定可以部分地基于其它基础确定。例如，确定对象的至少一种材料(框212)可以被用来帮助确定对象的至少一个表面纹理(框214)，或者反之亦然。
对一个或多个可适用光场的确定可以包括基于可适用光场的各方面生成一个或多个映射。例如，可以生成周围光映射。这样的映射可以描述给定3D模型的周围照明方面。其它的这样的映射可以描述3D模型的其它照明方面。例如，其它照明方面可以包括周围遮挡、朗伯反射和镜面反射等等。
此外，对象的多个已存储的图像可以包括关于各自的观看角度的信息。图4图示了示例方法230，用于确定可以在步骤206中使用的至少一个可适用观看角度。方法230可以包括基于对象的已存储的图像，确定至少一个规范的观看角度，如框232所指示的。规范的观看角度可以对应于对象的已存储的图像中的典型或最常见的观看角度。可替换地或附加地，可适用观看角度可以基于产品成像标准来确定。例如，公开了用于产品成像的特定观看角度的GS1标准可以被用来确定一个或多个可适用观看角度。因此，方法230可以包括确定对象的至少一个产品标准观看角度(例如，至少一个GS1标准观看角度)，如框234所指示的。方法230还可以包括基于预定的标准选择对象的已存储的图像中的一个或多个，如框236所指示的。例如，已存储的图像中的一个或多个可以被选择为代表在框232中确定的规范的观看角度、代表在框234中确定的产品标准观看角度、或基于其它预定的标准。要理解，方法230的具体实现方式不一定包括以上在框232-236中所描述和所示出的所有确定和选择。例如，具体实现方式可以包括确定规范的观看角度而不确定产品标准观看角度，或者反之亦然。
然后，方法230可以包括基于(i)至少一个规范的观看角度、(ii)至少一个产品标准观看角度和/或(ⅲ)对象的一个或多个所选择的图像，来确定至少一个可适用观看角度，如框238所指示的。因此，在一些示例中，至少一个可适用观看角度可以对应于在框232中所确定的至少一个规范的观看角度。在其它示例中，至少一个可适用观看角度可以对应于在框234中所确定的至少一个产品标准观看角度。在另外一些其它示例中，(多个)可适用观看角度可以通过尝试基本匹配在框236中选择的对象的一个或多个已存储的图像中的观看角度来确定。也可以使用确定一个或多个可适用观看角度的其它方法。
一旦已经确定可适用光场和可适用观看角度，就可以通过使用所确定的可适用光场和观看角度渲染对象的3D模型并将这样的渲染中的一个或多个与对象的已存储的图像中的一个或多个进行比较来对其进行评估。图5图示了用于执行这样的评估的示例方法240。方法240可以包括基于至少一个可适用光场和至少一个可适用观看角度来渲染3D模型的至少一个表示，以使得至少一个表示被配置为基本匹配对象的已存储的图像中的至少一个，如框242所指示的。至少一个表示可以包括例如，对象的2D图像。方法240还可以包括将至少一个表示与对象的至少一个已存储的图像进行比较，如框244所指示的。方法240还可以包括基于比较确定相似性度量，如框246所指示的。相似性度量可以形成热映射(heat map)的基础，所述热映射可以以图形方式描绘两个或更多个被比较的图像之间的相对相似性和相对差异性。因此，方法240可以包括基于相似性度量生成热映射，如框248所指示的。
在一些示例中，可适用光场可以包括着色器(shader)，它是可以调整对象的已渲染的表示的特定图形方面的程序。依赖于可适用光场，一个或多个相关联的着色器可以在渲染图像以在对象表示中创建所期望的图形方面的同时被实现。
所公开的方法可以包括对可以用来渲染对象的单个候选着色器进行评估和排序的自动方法。图6图示了用于对着色器排序的示例方法250。方法250可以包括基于可适用光场从一组着色器选择至少一个候选着色器，如框252所指示的。方法250还可以包括基于3D模型和至少一个候选着色器来渲染候选图像，如框254所指示的。方法250还可以包括在候选图像比较中，将候选图像与包括对象的至少一个已存储的图像的参考图像进行比较，如框256所指示的。基于候补/参考图像比较，每个候选着色器可以被确定为具有视觉改进度量。此外，每个候选着色器可以具有图形处理器成本和下载大小。基于视觉改进度量、图形处理器成本和下载大小，可以对于每个候选着色器确定着色器排序度量。因此，方法250可以包括对于每个各自的候选着色器确定：(i)基于候选图像比较的视觉改进度量；(ii)图形处理器成本；(iii)下载大小；(iv)至少基于视觉改进度量、图形处理器成本和下载大小的着色器排序度量，如框258所指示的。
步骤208包括从服务器发送搜索查询结果。搜索查询结果可以包括对象的3D模型、至少一个可适用光场和至少一个可适用观看角度。搜索查询结果可以可选地包括可以被用于渲染3D模型的一个或多个可适用的着色器。搜索查询结果可以被发送到发送了步骤202的搜索查询的设备、或者被配置为接收这样的搜索查询结果的任何其它设备。例如，其它计算机或移动设备(例如智能电话、膝上型计算机、平板计算机等)可以接收这样的搜索查询结果。搜索查询结果可以经由无线或有线通信手段来发送。
在搜索查询结果包括可以被用来渲染3D模型的一个或多个着色器的实施例中，服务器可以基于与将要执行渲染的客户端设备有关的预测的性能信息来选择一个或多个着色器。图7图示了用于着色器选择的示例方法260。方法260可以包括在服务器处接收预测的性能信息，其包括服务器/客户端通信带宽和客户端处理器信息，如框262所指示的。预测的性能信息也可以包括与上传/下载和图像渲染相关的其它信息。方法260还可以包括基于预测的性能信息、预定的帧速率和着色器排序度量来确定至少一个可适用的着色器，如框264所指示的。预定的帧速率可以涉及图像渲染速率(例如，每秒30帧)。着色器排序度量可以例如通过图6中所示的和上面描述的方法250来确定。方法260还可以包括将至少一个可适用的着色器添加到搜索查询结果，如框266所指示的。以这种方式，一组可适用的着色器可以被确定并被发送到其它设备，以便在一组给定的约束下(其可以包括网络带宽、图形处理器能力和着色器复杂度/大小的任何组合)实现3D模型的逼真渲染。
在进一步图示方法200的特定示例中，可以由服务器接收一般涉及对关于订书机的信息的请求的搜索查询。订书机的3D模型可以例如通过搜索一组已存储的3D模型来确定。
基于订书机的多个已存储的图像，可以确定至少一个可适用光场。例如，可适用光场可以包括关于对象如何被头顶的漫射光源(像具有钨灯泡的台灯)照明的信息。此外，可以确定描述所提供的光与订书机的3D模型之间的交互的光场。例如，订书机的一些区域可以是高反射的，而订书机的其它部分可以以朗伯模式(Lambertian pattern)反射光。另外，所确定的光场可以包括关于订书机由于遮挡环境中的其它元素而如何影响照明的信息。例如，订书机可以在基底表面(诸如桌子)上投下漫射阴影。
根据订书机的已存储的图像，可以推断订书机的材料组成。例如，由于很多订书机图像可以暗示来自主体的朗伯发射模式，因此可以推断塑料主体材料。另外，由于订书机的一些部分可以描绘镜面反射(例如，来自钉匣盒(staple magazine)外壳和来自作为形成向内弯曲的钉形状的底板的砧座)，可以推断订书机的那些区域是金属材料。以这种方式，可以基于根据订书机的已存储的图像所推断的材料来针对对象确定可适用光场。
根据已存储的图像可以推断其它信息。例如，由于镜面反射，可以推断平滑的表面纹理。在另一示例中，如果材料具有朗伯型BRDF，则可以推断粗糙的纹理。根据对象的已存储的图像可以推断其它类型的纹理。
附加地，可以推断对象的环境。例如，如果订书机的大多数图像包括在办公室环境中(例如，在木制桌子上，由荧光灯照明等)的那个订书机，则那个环境可以被认为是规范的环境。另外，所确定的可适用光场可以包括这样的信息。
基于订书机的多个已存储的图像，可以确定标准观看角度。这个标准/规范的观看角度可以被确定为可适用观看角度。例如，标准观看角度可以是45度仰角(以俯视订书机)和30度左径向角(向订书机纵轴的左侧的倾斜角)。此外，可适用观看角度可以包括距对象的一距离和/或对对象及其周遭的视场。在具体示例中，观看距离可以是两英尺远，其具有以订书机为中心的45度宽视场。附加地，可以确定多于一个的可适用观看角度。例如，可以确定若干个GS1标准观看角度。可替换地或附加地，通过确定具有不同的对象观看距离和视场的观看角度，可以提供“放大的”视图和/或“缩小的”视图。
本领域技术人员将会理解，有其它类似的方法可以执行以下操作：在服务器处接收包括对关于对象的信息的请求的搜索查询，确定对象的3D模型，基于对象的已存储的图像确定可适用光场和可适用观看角度，并且在搜索查询结果中发送所确定的信息。这些类似的方法在这里暗含地被设想到。
在一些实施例中，公开的方法可以被实现为以机器可读的格式在非暂态计算机可读存储介质上、或在其它非暂态介质或制造品上编码的计算机程序指令。图8是图示出根据本文提出的至少一些实施例布置的包括计算机程序的示例计算机程序产品300的概念性局部视图，所述计算机程序用于在计算设备上运行计算机过程。
在一个实施例中，利用信号承载介质302提供示例计算机程序产品300。信号承载介质302可以包括一个或多个程序指令304，所述一个或多个程序指令304当被一个或多个处理器执行时可以提供以上关于图1A-图1D和图2-图7中的任意图描述的功能或部分功能。在一些示例中，信号承载介质302可以包含计算机可读介质306，诸如但不限于硬盘驱动器、致密盘(CD)、数字视频盘(DVD)、数字磁带、存储器等等。在一些实现方式中，信号承载介质302可以包含计算机可记录介质308，诸如但不限于存储器、读/写(R/W)CD、R/W DVD等等。在一些实现方式中，信号承载介质302可以包含通信介质310，诸如但不限于数字和/或模拟通信介质(例如，光缆、波导、有线通信链路、无线通信链路等等)。因此，例如，信号承载介质302可以通过无线形式的通信介质310(例如，符合IEEE 802.8标准或其它传输协议的无线通信介质)传送。
一个或多个程序指令304可以是例如计算机可执行的和/或逻辑实现的指令。在一些示例中，计算设备(诸如参照图1A-图1D描述的计算设备和系统)可以被配置成响应于通过计算机可读介质306、计算机可记录介质308、和/或通信介质310中的一个或多个传送到计算设备的程序指令304来提供各种操作、功能或动作。
非暂态计算机可读介质也可以分布在多个数据存储元件中，它们可以彼此远离地放置。执行已存储的指令中的一些或全部的计算设备可以是移动设备，诸如图1A中图示的及参照图1A描述的输入源102和/或输出源108。可替换地，执行已存储的指令中的一些或全部的计算设备可以是服务器，诸如图1A中图示的服务器104。
以上详细描述参照附图描述了公开的系统、设备和方法的各种特征和功能。虽然本文已经公开了各种方面和实施例，但是其它方面和实施例对于本领域技术人员将是清楚的。本文公开的各种方面和实施例是出于示例的目的，并且并非旨在进行限制，真正的范围和精神由权利要求指示。

Claims (20)

1.一种方法，包括：
在服务器处接收搜索查询，其中，所述搜索查询包括对关于对象的信息的请求；
确定所述对象的3D模型，其中，所述3D模型包括关于所述对象的三维形状信息；
基于所述对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度，其中，在对象的每个已存储的图像中，所述对象被至少一个各自的光场照明而且被从各自的观看角度成像；以及
从所述服务器发送搜索查询结果，其中，所述搜索查询结果包括所述3D模型、所述至少一个可适用光场和所述至少一个可适用观看角度。
2.如权利要求1所述的方法，其中，所述至少一个可适用光场被确定以使得其基本匹配所述对象的至少一个已存储的图像的照明条件。
3.如权利要求1所述的方法，其中，所述至少一个可适用观看角度被确定以使得其基本匹配所述对象的至少一个已存储的图像的至少一个观看角度。
4.如权利要求1所述的方法，还包括基于所述至少一个可适用光场和所述至少一个可适用观看角度渲染所述3D模型的至少一个表示，其中，所述至少一个表示被配置为基本匹配所述对象的至少一个已存储的图像。
5.如权利要求4所述的方法，还包括：
将所述至少一个表示与所述对象的至少一个已存储的图像进行比较；以及
基于所述比较确定相似性度量。
6.如权利要求5所述的方法，还包括生成热映射，其中，所述热映射基于所述相似性度量。
7.如权利要求1所述的方法，其中，所述至少一个可适用光场包括周围照明映射。
8.如权利要求1所述的方法，其中，所述至少一个可适用光场包括周围遮挡映射。
9.如权利要求1所述的方法，其中，所述至少一个可适用光场包括朗伯反射映射。
10.如权利要求1所述的方法，其中，所述至少一个可适用光场包括镜面反射映射。
11.如权利要求1所述的方法，还包括基于所述对象的已存储的图像，至少确定部分的三维双向反射分布函数(BRDF)，其中，所述至少一个可适用光场基于所述三维BRDF。
12.如权利要求1所述的方法，还包括：
基于所述对象的已存储的图像，确定至少一个规范的观看角度，其中，所述至少一个可适用观看角度对应于所述至少一个规范的观看角度。
13.如权利要求1所述的方法，还包括：
确定所述对象的至少一个GS1标准观看角度，其中，所述至少一个可适用观看角度对应于所述对象的至少一个GS1标准观看角度。
14.如权利要求1所述的方法，还包括：
基于所述对象的已存储的图像，确定所述对象的至少一种材料，其中，所述至少一个可适用光场是基于所述对象的至少一种材料确定的。
15.如权利要求1所述的方法，还包括：
基于所述对象的已存储的图像，确定所述对象的至少一个表面纹理，其中，所述至少一个可适用光场是基于所述对象的至少一个表面纹理确定的。
16.如权利要求1所述的方法，还包括：
基于所述对象的已存储的图像，确定所述对象的至少一个规范的环境，其中，所述至少一个可适用光场是基于所述对象的至少一个规范的环境确定的。
17.如权利要求1所述的方法，还包括：
基于所述可适用光场，从一组着色器选择至少一个候选着色器；
基于所述3D模型和所述至少一个候选着色器，渲染候选图像；
在候选图像比较中，将所述候选图像与参考图像进行比较，其中，所述参考图像包括所述对象的至少一个已存储的图像；以及
对于每个各自的候选着色器，确定：
i)基于所述候选图像比较的视觉改进度量；
ii)图形处理器成本；
iii)下载大小；以及
iv)至少基于所述视觉改进度量、所述图形处理器成本和所述下载大小的着色器排序度量。
18.如权利要求1所述的方法，还包括：
在所述服务器处接收预测的性能信息，其中，所述预测的性能信息包括服务器/客户端通信带宽和客户端处理器信息；
基于所述预测的性能信息、预定的帧速率和着色器排序度量，确定至少一个可适用的着色器；以及
将所述至少一个可适用的着色器添加到搜索查询结果。
19.一种计算机，包括：
处理器；
非暂态计算机可读介质；以及
存储在所述非暂态计算机可读介质中的指令，其中，所述指令可由处理器执行以使所述计算机执行功能，所述功能包括：
i)接收搜索查询，其中，所述搜索查询包括对关于对象的信息的请求；
ii)确定所述对象的3D模型，其中，所述3D模型包括关于所述对象的三维形状信息；
iii)基于所述对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度，其中，在所述对象的每个已存储的图像中，所述对象被至少一个各自的光场照明而且被从各自的观看角度成像；以及
iv)发送搜索查询结果，其中，所述搜索查询结果包括所述3D模型、所述至少一个可适用光场和所述至少一个可适用观看角度。
20.一种其中存储有指令的非暂态计算机可读介质，所述指令能够由计算设备执行以使得所述计算设备执行功能，所述功能包括：
接收搜索查询，其中，所述搜索查询包括对关于对象的信息的请求；
确定所述对象的3D模型，其中，所述3D模型包括关于所述对象的三维形状信息；
基于所述对象的多个已存储的图像，确定至少一个可适用光场和至少一个可适用观看角度，其中，在所述对象的每个已存储的图像中，所述对象被至少一个各自的光场照明而且被从各自的观看角度成像；以及
发送搜索查询结果，其中，所述搜索查询结果包括所述3D模型、所述至少一个可适用光场和所述至少一个可适用观看角度。
CN201380018797.1A 2012-04-02 2013-03-11 根据存储的图像确定3d模型信息 Active CN104395902B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261619224P 2012-04-02 2012-04-02
US61/619,224 2012-04-02
US13/607,364 US8416240B1 (en) 2012-04-02 2012-09-07 Determining 3D model information from stored images
US13/607,364 2012-09-07
PCT/US2013/030121 WO2013151673A1 (en) 2012-04-02 2013-03-11 Determining 3d model information from stored images

Publications (2)

Publication Number Publication Date
CN104395902A true CN104395902A (zh) 2015-03-04
CN104395902B CN104395902B (zh) 2016-09-14

Family

ID=47999243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380018797.1A Active CN104395902B (zh) 2012-04-02 2013-03-11 根据存储的图像确定3d模型信息

Country Status (4)

Country Link
US (2) US8416240B1 (zh)
EP (1) EP2807587B1 (zh)
CN (1) CN104395902B (zh)
WO (1) WO2013151673A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202545A (zh) * 2015-05-28 2016-12-07 达索系统公司 利用相近性准则来查询数据库
CN107256265A (zh) * 2017-06-14 2017-10-17 成都四方伟业软件股份有限公司 一种搜索引擎结果数据可视化展示方法及系统
CN107545597A (zh) * 2016-06-24 2018-01-05 奥多比公司 在基板上渲染数字图像
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术（北京）有限公司 三维模型的视角调整方法和装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8576223B1 (en) 2011-03-29 2013-11-05 Google Inc. Multiple label display for 3D objects
US8860717B1 (en) 2011-03-29 2014-10-14 Google Inc. Web browser for viewing a three-dimensional object responsive to a search query
US8416240B1 (en) 2012-04-02 2013-04-09 Google Inc. Determining 3D model information from stored images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9564175B2 (en) 2013-04-02 2017-02-07 International Business Machines Corporation Clustering crowdsourced videos by line-of-sight
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN105229703B (zh) * 2013-05-23 2018-02-09 谷歌有限责任公司 用于使用感测的位置数据来生成三维模型的系统和方法
TWI503579B (zh) 2013-06-07 2015-10-11 Young Optics Inc 立體影像裝置、其立體影像掃描底座及其運作方法
US20150066997A1 (en) * 2013-08-30 2015-03-05 General Electric Company Systems and Methods for Managing Power Plant Component Information
US9639773B2 (en) * 2013-11-26 2017-05-02 Disney Enterprises, Inc. Predicting a light probe for an outdoor image
US9280825B2 (en) * 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
EP3107007B1 (en) 2015-06-17 2020-05-20 InterDigital CE Patent Holdings Method and apparatus for data retrieval in a lightfield database
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
WO2017131771A1 (en) 2016-01-29 2017-08-03 Hewlett-Packard Development Company, L.P. Identify a model that matches a 3d object
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3264286B1 (en) 2016-06-28 2020-11-18 Dassault Systèmes Querying a database with morphology criterion
EP3321817A1 (en) 2016-11-14 2018-05-16 Dassault Systèmes Querying a database based on a parametric view function
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11281824B2 (en) 2017-12-13 2022-03-22 Dassault Systemes Simulia Corp. Authoring loading and boundary conditions for simulation scenarios
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
EP3991441A1 (en) 2019-06-28 2022-05-04 PCMS Holdings, Inc. System and method for hybrid format spatial data distribution and rendering
CN111327886B (zh) * 2020-03-05 2021-11-16 胡嘉君 3d光场渲染方法及装置
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110227922A1 (en) * 2010-03-22 2011-09-22 Samsung Electronics Co., Ltd. Apparatus and method extracting light and texture, and rendering apparatus using light and texture

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6347398B1 (en) * 1996-12-12 2002-02-12 Microsoft Corporation Automatic software downloading from a computer network
US7952583B2 (en) * 2000-06-19 2011-05-31 Mental Images Gmbh Quasi-monte carlo light transport simulation by efficient ray tracing
WO2004047426A2 (en) * 2002-11-15 2004-06-03 Esc Entertainment, A California Corporation Reality-based light environment for digital imaging in motion pictures
EP1551178A1 (en) * 2003-12-18 2005-07-06 Koninklijke Philips Electronics N.V. Supplementary visual display system
KR100785067B1 (ko) * 2005-12-06 2007-12-12 삼성전자주식회사 휴대단말기의 화면 표시장치 및 방법
WO2007136724A2 (en) * 2006-05-17 2007-11-29 Cellumen, Inc. Method for automated tissue analysis
US7756356B2 (en) * 2007-03-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. System and method for factorizing light in a sequence of images
US8014572B2 (en) * 2007-06-08 2011-09-06 Microsoft Corporation Face annotation framework with partial clustering and interactive labeling
US8406567B2 (en) * 2008-01-09 2013-03-26 Purdue Research Foundation Reconstruction of shapes of near symmetric and asymmetric objects
US8442305B2 (en) * 2009-06-30 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for determining 3D poses using points and lines
US20110018876A1 (en) * 2009-07-21 2011-01-27 Zebra Imaging, Inc. Systems and Methods for Determining Lighting for 3D Geometry
US8416240B1 (en) 2012-04-02 2013-04-09 Google Inc. Determining 3D model information from stored images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110227922A1 (en) * 2010-03-22 2011-09-22 Samsung Electronics Co., Ltd. Apparatus and method extracting light and texture, and rendering apparatus using light and texture

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARSCHNER, ET AL.: "Inverse Lighting for Photography", 《COLOR AND IMAGING CONFERENCE》 *
NOAH SNAVELY,ET AL.: "Modeling the World from Internet Photo Collections", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202545A (zh) * 2015-05-28 2016-12-07 达索系统公司 利用相近性准则来查询数据库
CN106202545B (zh) * 2015-05-28 2022-04-29 达索系统公司 利用相近性准则来查询数据库
CN107545597A (zh) * 2016-06-24 2018-01-05 奥多比公司 在基板上渲染数字图像
CN107545597B (zh) * 2016-06-24 2021-11-05 奥多比公司 在基板上渲染数字图像
CN107256265A (zh) * 2017-06-14 2017-10-17 成都四方伟业软件股份有限公司 一种搜索引擎结果数据可视化展示方法及系统
CN109242978A (zh) * 2018-08-21 2019-01-18 百度在线网络技术（北京）有限公司 三维模型的视角调整方法和装置
CN109242978B (zh) * 2018-08-21 2023-07-07 百度在线网络技术（北京）有限公司 三维模型的视角调整方法和装置

Also Published As

Publication number Publication date
US8976179B2 (en) 2015-03-10
US20130262511A1 (en) 2013-10-03
CN104395902B (zh) 2016-09-14
WO2013151673A1 (en) 2013-10-10
EP2807587B1 (en) 2017-05-17
US8416240B1 (en) 2013-04-09
EP2807587A1 (en) 2014-12-03

Similar Documents

Publication Publication Date Title
CN104395902A (zh) 根据存储的图像确定3d模型信息
CN103577803A (zh) 像素显示器的色彩和强度调制的使用
US9836483B1 (en) Using a mobile device for coarse shape matching against cloud-based 3D model database
CN107533771B (zh) 通过3d模型重建进行网格简化
WO2017142766A1 (en) Determining depth from structured light using trained classifiers
WO2020123252A1 (en) Compression of data representing triangular mesh attributes using machine learning
CN102439862A (zh) 光线跟踪设备和方法
US9509905B2 (en) Extraction and representation of three-dimensional (3D) and bidirectional reflectance distribution function (BRDF) parameters from lighted image sequences
CN109493431B (zh) 3d模型数据处理方法、装置及系统
Peng et al. A GPU‐based approach for massive model rendering with frame‐to‐frame coherence
US10997761B2 (en) Systems and methods for creating and delivering augmented reality content
US20190378340A1 (en) Placing and solving constraints on a 3d environment
JP2023001336A (ja) 画像表示方法、画像表示装置、電子機器、記憶媒体及びコンピュータプログラム
CN116897541A (zh) 使用渲染引擎的沉浸式技术媒体格式（itmf）规范的映射架构
CN107016732B (zh) 用于使用描述符的3d对象定位的方法、装置、介质和系统
US10872469B2 (en) System and method for subdividing large polygon mesh datasets into hierarchical subsets for level-of-detail use
JP2022540279A (ja) ポイントクラウド符号化のための占有符号化のコンテキストモデリング
Buchholz et al. Quantized point‐based global illumination
US10872463B2 (en) Depth-compressed representation for 3D virtual scene
KR102131190B1 (ko) 온라인 상에서 3d모델을 제공하는 시스템
CN108920598A (zh) 全景图浏览方法、装置、终端设备、服务器及存储介质
WO2023066122A1 (zh) 一种三维模型数据的处理方法、生成方法及相关装置
US11972534B2 (en) Modifying materials of three-dimensional digital scenes utilizing a visual neural network
Terrace Content Conditioning and Distribution for Dynamic Virtual Worlds
CN112802134A (zh) 一种三维模型的编码方法、装置和终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.