CN112805721B - 用于生成ar/vr数字内容的数字图像适合性确定 - Google Patents

用于生成ar/vr数字内容的数字图像适合性确定 Download PDF

Info

Publication number
CN112805721B
CN112805721B CN201980066386.7A CN201980066386A CN112805721B CN 112805721 B CN112805721 B CN 112805721B CN 201980066386 A CN201980066386 A CN 201980066386A CN 112805721 B CN112805721 B CN 112805721B
Authority
CN
China
Prior art keywords
digital content
generating
digital image
digital
opinion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980066386.7A
Other languages
English (en)
Other versions
CN112805721A (zh
Inventor
方芳
苏拉比·夏斯特里
何昶辰
克鲁提卡·谢蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eBay Inc
Original Assignee
eBay Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eBay Inc filed Critical eBay Inc
Publication of CN112805721A publication Critical patent/CN112805721A/zh
Application granted granted Critical
Publication of CN112805721B publication Critical patent/CN112805721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1834—Distributed file systems implemented based on peer-to-peer networks, e.g. gnutella
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于生成增强现实/虚拟现实(AR/VR)数字内容的图像适合性确定技术。接收二维数字图像。使用机器学习，做出关于由二维数字图像捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。如果对象适合生成用于在AR/VR环境中显示的AR/VR数字内容，则提供指示，并且提供在AR/VR环境中观看对象的选项。如果对象不适合生成用于在AR/VR环境中显示的AR/VR数字内容，则提供指示为何捕获的对象不适合生成用于在AR/VR环境中显示的AR/VR数字内容的意见以及/或者指示如何对后续数字图像中对象的捕获进行校正以使得其适合生成AR/VR数字内容的意见。

Description

用于生成AR/VR数字内容的数字图像适合性确定
相关申请的交叉引用
本申请要求于2019年10月8日提交的并且题为“Digital Image SuitabilityDetermination to Generate AR/VR Digital Content”的美国申请16/596,394的优先权，该美国申请要求于2018年10月9日提交的并且题为“Innovations in E-Commerce”的美国临时申请62/743,468的优先权，这两个申请的全部公开内容通过引用并入本文。
背景技术
已经开发了增强和虚拟现实(AR/VR)环境来增加计算装置的用户可用的功能的数量。在增强现实环境中，AR/VR数字内容用于“增强”用户对其中设置有计算装置的物理环境的直接观看。例如，配备有数字摄像机的移动装置(例如，移动电话或平板计算机)可以用于观看真实世界场景，并且使用AR/VR数字内容作为虚拟对象或部件来增强真实世界场景。在VR环境中，物理环境可以被重新创建(即，“虚拟化”)并由用户观看，其中，AR/VR数字内容用于生成在该环境中观看的对象。在这两种情况下，AR/VR环境可以利用计算装置、使用AR/VR数字内容支持沉浸式用户体验。
然而，用于生成AR/VR数字内容的常规技术面临各种挑战。这些挑战包括如何以适合作为AR/VR环境的一部分(例如，看起来“好像它真的在那里”)呈现的形式来生成AR/VR数字内容、如何对AR/VR数字内容进行建模以及如何确定AR/VR数字内容在环境内的大小和位置。用于生成AR/VR数字内容的源是否适合这样做，进一步加剧了这些挑战。因此，用于生成AR/VR数字内容的常规技术通常限于由使用复杂工具的老练用户使用，或者迫使不老练的用户重复地尝试创建适合的AR/VR数字内容。因此，如使用常规技术和系统生成的AR/VR数字内容受限于不能在广泛的场景中使用，这些场景的示例包括社交媒体系统、产品和服务陈列、数字服务等。
发明内容
为了克服这些问题，利用数字图像适合性确定来生成用于在AR/VR环境中显示的AR/VR数字内容。首先，接收对象的二维数字图像，并且使用计算机视觉和机器学习技术，做出关于对象的图像是适合还是不适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。如果对象的数字图像被确定为适合生成用于在AR/VR环境中显示的AR/VR数字内容，则生成对象的AR/VR数字内容，并且将所生成的AR/VR数字内容提供给用户以在AR/VR环境中显示。如果确定对象的二维数字图像不适合生成用于在AR/VR环境中显示的AR/VR数字内容，则提供对象的图像不适合生成AR/VR数字内容的指示，以及/或者关于如何改进对象的后续数字图像以使其适合生成用于在AR/VR环境中显示的AR/VR数字内容的意见。另外，可以提供对对象的后续数字图像进行自动校正的选项，或者可以自动地并且在没有用户干预的情况下捕获包括校正的后续图像，以确保适合生成用于在AR/VR环境中显示的AR/VR数字内容。
另外，提供了用于在在线市场中提供非模态端到端AR/VR体验的技术。在非模态AR/VR环境中，用户可以搜索物品、选择物品、添加多个物品、删除物品、缩放物品、移动物品以及以其他方式修改和操纵物品、以及接收推荐、购买物品等，所有这些操作都在AR/VR环境内。
本发明内容以简化形式介绍了将在下面的具体实施方式中进一步描述的一系列构思。因此，本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用作对确定所要求保护的主题的范围的帮助。
附图说明
参照附图描述具体实施方式。附图中表示的实体可以指示一个或更多个实体，并且因此在论述中可以对单数形式或复数形式的实体互换地进行引用。
图1是能够操作用于采用数字图像适合确定技术来生成本文中描述的AR/VR数字内容的示例实现中的环境的图示。
图2描绘了图1的机器学习训练系统的生成机器学习模型来指示数字图像用于生成AR/VR数字内容的适合性的操作的示例。
图3描绘了图1的机器学习训练系统的生成机器学习模型来指示何时输入数字图像不适合生成AR/VR数字内容以及/或者如何对后续数字图像中对象的捕获进行校正以生成AR/VR数字内容的操作的示例。
图4描绘了采用如在图2的示例中训练的AR/VR适合性机器学习模型来确定输入数字图像用于生成AR/VR数字内容的适合性的AR/VR数字内容系统的操作的示例。
图5描绘了用于启动数字图像的捕获的用户界面的输出和包括在数字图像中的对象是否适合生成AR/VR数字内容的指示的输出以及AR/VR数字内容的生成的示例。
图6描绘了在客户端装置本地处实现图4的AR/VR数字内容系统的示例。
图7是描绘在不实际生成AR/VR数字内容的情况下确定数字图像用于生成AR/VR数字内容的适合性的示例实现中的过程的流程图。
图8描绘了图1的AR/VR数字内容系统采用如在图3的示例中训练的意见机器学习模型来生成关于输入数字图像用于生成AR/VR数字内容的适合性的意见的操作的示例800。
图9描绘了用于发起对数字图像的捕获的用户界面的输出和意见的输出的示例。
图10是描绘其中意见机器学习模型生成指示为何数字图像不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中AR/VR数字内容的生成进行校正的意见的示例实现中的过程的流程图。
图11描绘了示出在图1的客户端装置上显示的其中多个生成的AR/VR数字内容的物品被添加至AR/VR环境的非模态AR/VR环境的用户界面的输出的示例。
图12是描绘其中多个输入数字图像被确定为适合生成多个用于在AR/VR环境中显示的AR/VR数字内容的示例实现中的过程的流程图。
图13示出了包括以下示例装置的各种部件的示例系统：该示例装置可以被实现为如所描述的任何类型的计算装置，以及/或者参照图1至图12利用该示例装置来实现本文中描述的技术的实施方式。
具体实施方式
描述了解决常规技术在生成AR/VR数字内容时的挑战和低效的技术和系统。在一个示例中，这些技术和系统被配置成确定数字图像(例如，二维数字图像)用于生成作为AR/VR环境的一部分来呈现的AR/VR数字内容的适合性。以这种方式，通过在实际生成AR/VR数字内容之前确定数字图像是否适合，可以提高AR/VR数字内容的生成的计算效率和用户效率。还描述了以下示例：在该示例中，本文中描述的技术和系统被配置成输出用于指示为何由数字图像捕获的对象不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中对象的捕获进行校正的意见。描述了以下其他示例：在这些示例中，在自动地执行校正并且没有用户干预的情况下捕获后续图像，提供了用户能够选择用于校正数字图像的自动校正图像的选项等。
例如，用户可以与移动装置交互，以使用作为移动装置的一部分而结合的数字摄像机来捕获对象的数字图像。然后，AR/VR数字内容系统可以采用机器学习模型来确定如由数字图像捕获的对象是否适合生成AR/VR数字内容，而无需实际尝试生成AR/VR数字内容。这种适合性的确定还可以解决其中AR/VR内容要被设置(包括AR/VR环境的相应部分)的AR/VR环境以及AR/VR数字内容与在AR/VR环境中显示的其他AR/VR数字内容一起显示的适合性。以这种方式，移动电话的计算资源的操作效率可以比常规技术提高，常规技术可能涉及重复尝试捕获数字图像以获得适合生成AR/VR数字内容的数字图像，并且直到做出数字图像适合的确定之前不使用该数字图像。
另外，AR/VR数字内容系统可以被配置成输出指示为何AR/VR数字内容不适合生成AR/VR数字内容的意见以及/或者指示如何校正对象的捕获的意见。例如，意见可以由一个或更多个机器学习模型生成，所述一个或更多个机器学习模型识别“为何”数字图像不适合，例如，被旋转、不良背景、光照、遮挡、角度、缩放、分辨率等。在一个示例中，基于意见提供了自动校正对象的捕获的选项。在另一示例中，可以发起对数字图像中的对象的后续捕获，其中，意见的校正的实现自动地发生，并且无需用户干预，例如，图像滤波器、摄像机设置等。同样，这用于提高实现这些技术以生成AR/VR数字内容的计算装置的用户效率和操作效率。对这些技术和其他技术的进一步论述包括在下面的部分中。
在以下论述中，描述了可以采用本文中描述的技术的示例环境。还描述了可以在示例环境以及其他环境中执行的示例过程。因此，示例过程的执行不限于示例环境并且示例环境不限于示例过程的执行。
示例环境
图1是能够操作用于采用数字图像适合性确定技术来生成本文中描述的AR/VR数字内容的示例实现中的数字媒体环境100的图示。示出的环境100包括经由网络106彼此通信地耦接的服务提供者系统102和用户的客户端装置104。实现服务提供者系统102和客户端装置104的计算装置可以以各种方式来配置。
例如，计算装置可以被配置为台式计算机、膝上型计算机、移动装置(例如，假设针对客户端装置104示出的手持式配置例如平板计算机或移动电话)等。因此，计算装置的范围可以从具有大量存储器和处理器资源的全资源装置(例如，个人计算机、游戏机)到具有有限存储器和/或处理资源的低资源装置(例如，移动装置)。另外，计算装置可以表示多个不同的装置，例如针对服务提供者系统102示出并且关于图13所描述的、被商业用来“在云端”执行操作的多个服务器。
如该示例中所示的服务提供者系统102包括机器学习训练系统108，机器学习训练系统108被配置成生成(例如，训练)用于由AR/VR数字内容系统112使用的机器学习模型110。例如，机器学习模型110可以被配置为使用具有训练数字图像116的训练数据114被训练为分类器的神经网络(例如，卷积神经网络)。例如，训练数字图像116可以包括用于推断可用于将后续数字图像分类(例如，作为概率)为具有或不具有期望输出的模式的期望输出的良好示例和不良示例两者。机器学习模型110被训练成输出数字图像具有或不具有(例如，在0至1的尺度上)训练特性的分数(即，概率)。机器学习模型110一旦经过训练，然后就可以由AR/VR数字内容系统112以各种方式加以利用。
例如，AR/VR数字内容系统112包括可以采用机器学习模块110来确定数字图像用于生成AR/VR数字内容124的适合性的内容评估模块118。这样做，训练数据114包括具有数字图像在捕获适合生成AR/VR数字内容的对象时的良好示例和不良示例的训练数字图像116。
如关于图2示出和进一步描述的，训练数据114可以包括数字图像在捕获数字图像中能够容易识别的对象的良好示例。另一方面，不良示例包括以例如由于背景、光照等而难以区分对象的方式捕获对象的数字图像。因此，如关于图4进一步描述的，机器学习模型110一旦经过训练，然后就可以被内容评估模块118用来确定后续数字图像用于生成AR/VR数字内容的适合性。以这种方式，可以在不实际尝试生成AR/VR数字内容的情况下确定数字图像的适合性，从而通过不必要地消耗不适合的数字图像上的资源以及减少由不适合的AR/VR数字内容的生成引起的用户受挫来提高计算装置的操作效率。
在另一情况下，AR/VR数字内容系统112包括被配置成利用机器学习模型110来生成意见的内容意见模块120。意见可以以多种方式被配置，例如以指示为何由数字图像捕获的对象不适合生成AR/VR数字内容以及/或者如何对后续数字图像中对象的捕获进行校正。因此，在这种情况下，如关于图3所示和描述的，训练数据114被配置成指示为何对象不适合的示例或者如何校正对象捕获的已知方式的示例。因此，如关于图8至图10示出和描述的，机器学习模型110一旦经过训练，就被配置成输出数字图像基于相应的原因而不适合的分数(例如，概率)或者如何对后续数字图像中对象的捕获进行校正。
以这种方式，AR/VR数字内容系统112可以通过使用内容评估模块118来确定数字图像用于生成AR/VR数字内容的适合性，并且通过使用内容意见模块120来生成指示为何数字图像不适合的意见以及/或者指示如何校正后续数字图像中的捕获的意见。例如，客户端装置104的用户可以与通信模块126(例如，浏览器、网络使能的应用)交互，以经由网络106与服务提供者系统102进行通信。通信模块126包括用户界面模块128，用户界面模块128被配置成输出包括用户可选选项的用户界面以发起对输入数字图像130的捕获，例如作为数字图像的实时流的一部分。
输入数字图像130然后由通信模块126通过网络106传送至AR/VR数字内容系统112。在该示例中，首先采用内容评估模块118来确定输入数字图像130(例如，作为二维数字图像)用于生成AR/VR数字内容的适合性。如果内容评估模块118指示输入数字图像130不适合，则响应于该确定，采用内容意见模块120来生成关于为何由输入数字图像130捕获的对象不适合的意见以及/或者如何对后续数字图像中对象的捕获进行校正的意见。然后，可以经由网络106传送意见，以用于在由用户界面模块128生成的用户界面中例如连同数字图像一起输出。
如果内容评估模块118指示输入数字图像130是适合的，则也可以输出该适合性的指示，以用于在由用户界面模块128生成的用户界面中进行观看。在示例中，该指示是用户能够选择的，以用于使AR/VR内容生成模块122使用输入数字图像130生成AR/VR数字内容124。这可以包括将输入数字图像130映射到被定尺寸成用于作为AR/VR环境的一部分进行呈现的模型。这还可以包括将AR/VR数字内容124配置用于二维呈现，并且因此节省客户端装置104的计算资源并支持实时操作。例如，通过将对象与相应的预计算的3D模型相匹配、“从零开始”生成3D模型等，还构想了其中AR/VR数字内容124生成为三维模型的其他示例。尽管该示例描述了由服务提供者系统102远程实现AR/VR数字内容系统112，但是如图6所示，该功能也可以全部或部分地由客户端装置104结合。
在下面的论述中，图2和图3以及相应的论述描述了分别由内容评估模块118和内容意见模块120使用的训练机器学习模型110的示例200至300。图4至图7包括内容评估模块118使用经训练的机器学习模型110来确定输入数字图像130用于生成AR/VR数字内容的适合性的示例400至700。图8至图10包括由内容意见模块120使用经训练的机器学习模型110来生成以下意见的示例800至900：指示为何由输入数字图像130捕获的对象可能不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中对象的捕获进行校正的意见。
通常，可以在本部分中描述的示例过程的背景下采用关于以上和以下示例描述的功能、特征和构思。此外，关于本文件中不同的附图和示例描述的功能、特征和构思可以彼此互换，并且不限于在特定的附图或过程的背景下实现。此外，与本文中不同的代表性过程及相应附图相关联的框可以一起应用和/或以不同的方式组合。因此，关于本文中不同的示例环境、装置、部件、附图和过程描述的各个功能、特征和构思可以以任何合适的组合来使用，并且不限于本说明书中列举的示例所表示的特定组合。
机器学习模型训练
图2描绘了图1的机器学习训练系统108的生成机器学习模型110来指示数字图像用于生成AR/VR数字内容的适合性的操作的示例200。图3描绘了图1的机器学习训练系统108的生成机器学习模型110来指示何时输入数字图像不适合生成AR/VR数字内容以及/或者指示如何对后续数字图像中对象的捕获进行校正以生成AR/VR数字内容的操作的示例300。
以下的论述描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作所示的顺序。在以下论述的部分中，将可互换地参照图2至图8。
在图2中，机器学习训练系统108采用模型生成模块202来训练图1的机器学习模型110作为AR/VR适合性机器学习模块204。在该示出的示例中，AR/VR适合性机器学习模型204被配置为卷积神经网络(CNN)206，尽管也构想了其他类型的模型，包括统计模型、决策树等。卷积神经网络206通常包括输入层和输出层以及一个或更多个隐藏层。隐藏层可以包括对传递至后续层的输入进行卷积(例如，使用点积)的卷积层，卷积层的示例包括池化层、标准化层、全连接层等。反向传播被用作训练模型的一部分，以基于训练期间对CNN 206的处理的结果或者该结果与期望结果的比较来迭代地调整形成层的节点(即，神经元)的权重。
因此，为了训练AR/VR适合性机器学习模型204，模型生成模块202从数字图像存储装置208接收具有多个训练数字图像116的训练数据114。在该示例中，训练数字图像116包括相应的数字图像是否适合(即，良好的还是不良的)生成AR/VR数字内容的指示(例如，标签)。例如，训练数据114可以基于生成AR/VR数字内容的尝试来生成，尝试由用户手动标记为生成适合的AR/VR数字内容。
例如，良好的训练数字图像212可以包括指示其适合生成AR/VR数字内容的对于AR/VR良好的标签216。在示出的示例中，良好的训练数字图像212在白色背景上捕获对象(例如，灯)，该白色背景易于识别、具有包括在数字图像中的整个对象(未被遮挡)、被聚焦、具有适当的分辨率(即，缩放)和光照。因此，良好的训练数字图像212可以用于训练AR/VR适合性机器学习模型204，以将数字图像分类为适合生成AR/VR数字内容。
另一方面，不良训练数字被用于训练CNN 206来识别不适合生成AR/VR数字内容的数字图像。继续上面的示例，不良训练数字图像214在复杂背景上捕获对象(例如，再次是灯)使得难以将对象与背景区分开，被遮挡并且被部分地捕获使得对象的整体在数字图像中不可观看，以及可以具有使该训练数字图像不适合生成AR/VR数字内容的其他特性，例如，如上所述的光照、聚焦、分辨率等。因此，不良训练数字图像214可以包括使其不适合生成AR/VR数字内容的多个特性。因此，这些训练数字图像212、214中的每一个被分配有相应的标签——例如，在该示例中分别是对于AR/VR良好的标签216和对于AR/VR不良的标签218——以训练模型。
通过使用良好的和不良的训练数字图像，AR/VR适合性机器学习模型204被训练以生成指示各个数字图像用于生成AR/VR数字内容的的适合性的程度的分数(例如，概率)。该分数可以与阈值(如以下部分中关于图4至图7更详细描述的，阈值可以是用户定义的，)进行比较，以指示相应的数字图像是否适合生成AR/VR数字内容。
在图3中，机器学习训练系统108采用模型生成模块202来训练图1的机器学习模型110作为意见机器学习模块302。类似于上面示出的示例，意见机器学习模型302被配置为卷积神经网络(CNN)304，尽管也构想了其他类型的模型，包括统计模型、决策树等。卷积神经网络304包括输入层和输出层以及一个或更多个隐藏层。隐藏层可以包括对传递至后续层的输入进行卷积(例如，使用点积)的卷积层，卷积层的示例包括池化层、标准化层、全连接层等。反向传播被用作训练模型的一部分，以基于训练期间对CNN 304的处理的结果或者该结果与期望结果的比较来迭代地调整形成层的节点(即，神经元)的权重。
为了训练意见机器学习模型302，如上地，模型生成模块202从数字图像存储装置208接收具有多个训练数字图像116的训练数据114。然而，在该示例中，训练数字图像116被配置成识别为何数字图像不适合生成AR/VR数字内容的原因以及/或者如何对后续数字图像中对象的捕获进行校正。因此，在该示例中，CNN 304被训练成识别训练数字图像110中的误差，并且相应地对这些图像进行分类以生成意见。
在一个示例中，意见机器学习模块302被配置为分类器，以生成训练数字图像具有使其不适合生成AR/VR数字内容的特定特性或若干特性的单个分数(例如，概率)或组合分数(例如，概率元组)。因此，模型生成模块202可以针对这些特性中的每一个生成意见机器学习模型302。例如，意见机器学习模型302可以被训练成基于旋转的训练数字图像306来识别旋转、使用不良背景训练数字图像308来识别复杂背景、通过使用不良光照训练数字图像310来识别不足光照、通过使用遮挡的训练数字图像312来识别对象的不足观看等、识别其他特性例如角度、缩放、分辨率、聚焦等。也可以采用良好的示例和不良的示例来训练意见机器学习模型302以区分相应的特性，例如数字图像中的良好的和不良的旋转对象。如关于图2所描述的，标签用于区分这些示例。
通过使用良好的和不良的训练数字图像，意见机器学习模型302被训练成生成以下分数(例如，概率)：该分数指示数字图像具有一个或更多个使其不适合生成AR/VR数字内容的相应缺陷的可能性。例如，可以将该分数与阈值(如以下部分中关于图8至图10更详细描述的，阈值可以是用户定义的)进行比较以控制意见的输出，例如，以指示“为何”相应的数字图像不适合生成AR/VR数字内容以及/或者指示“如何”校正后续数字图像的输出以生成适合的AR/VR数字内容。
生成AR/VR数字内容的适合性确定
图4描绘了采用如在图2的示例200中训练的AR/VR适合性机器学习模型来确定输入数字图像130用于生成AR/VR数字内容的适合性的AR/VR数字内容系统的操作的示例400。图5描绘了以下示例500：分别示出了用于启动数字图像的捕获的用户界面的输出的第一步502、和包括在数字图像中的对象是否适合生成AR/VR数字内容的指示的输出的第二步504、以及AR/VR数字内容的生成的第三步506。图6描绘了在客户端装置104本地处实现AR/VR数字内容系统112的示例600。图7描绘了在不实际生成AR/VR数字内容的情况下确定数字图像用于生成AR/VR数字内容的适合性的示例实现中的过程700。
以下的论述描述了可以利用描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。该过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作的所示的顺序。在以下论述的部分中，将可互换地参照图4至图7。
在该示例中开始，由AR/VR数字内容系统112接收数字图像(框702)。在图4的示例400中，由服务提供者系统102通过网络106从客户端装置104接收输入数字图像130。例如，可以将输入数字图像130接收作为到社交网络服务、产品陈列服务、数字内容创建服务或任何其他数字图像共享服务的上传。
在图6的示例600中，客户端装置104采用在客户端装置104本地处的数字摄像机装置602来捕获输入数字图像130，然后该输入数字图像130被作为输入提供给AR/VR数字内容系统112。例如，如图4的第一步502所示，客户端装置104使用显示装置510输出用户界面508。用户界面508包括由数字摄像机装置602捕获的“实时视图”，在这种情况下，“实时视图”包括要用于生成AR/VR数字内容的对象512。在用户界面508中包括选项514，例如通过检测用户的手516对选项514的经由触摸屏功能的选择，用户能够选择该选项514来发起对输入数字图像130的捕获。
然后，由AR/VR数字内容系统112做出关于由数字图像(例如，二维数字图像)捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。使用机器学习模型110例如AR/VR适合性机器学习模型204来执行该确定(框704)。例如，AR/VR数字内容系统112可以首先采用背景去除模块402来从输入数字图像130中去除背景，从而留下对象的视图。这可以以多种方式来执行，例如通过使用基于对象识别、显著性(saliency)等的掩模(mask)。
去除了背景的输入数字图像130然后被提供给内容评估模块118。内容评估模块118包括如关于图2所述被训练以计算适合性分数406的AR/VR适合性机器学习模型204。适合性分数指示包括在数字图像中的对象适合生成用于在AR/VR环境中显示的AR/VR数字内容的程度(框706)。
例如，适合性分数406可以描述在“0”与“1”之间的概率，该概率指示(例如，去除了背景的)输入数字图像130被分类为适合生成AR/VR数字内容的程度。然后由AR/VR数字内容系统102的结果处理模块408将适合性分数406与阈值(例如，阈值可以是用户定义的)进行比较，以确定由输入数字图像130捕获的对象512是否适合生成AR/VR数字内容(框708)。以这种方式，可以根据需要调整阈值，以解决输入数字图像130用于生成AR/VR数字内容的不同适合性程度，即，AR/VR数字内容在被呈现时在视觉上看起来令人满意以及/或者“好像它真的在那里”的不同程度。
在一个示例中，由结果处理模块408使用确定的结果来输出用于在用户界面中显示的指示，该指示指明关于对象是否适合作为AR/VR数字内容在AR/VR环境中显示的确定的结果(框710)。例如，指示生成模块410可以用于生成用于在用户界面508中显示的指示518。例如，图5的第二步504处的用户界面508与输入数字图像130同时显示，并且指示图像适合生成AR/VR数字内容。
指示518还能够选择(例如，使用触摸屏功能来经由用户的手516接收输入)用于启动AR/VR数字内容的生成。作为响应，AR/VR内容生成模块122可以生成AR/VR数字内容124以用于输出，例如作为电子商务网站的一部分的产品或服务陈列412的一部分、用作社交媒体帖子等。
作为生成AR/VR数字内容124的一部分，AR/VR内容生成模块122计算对象512的大小和形状，使得当对象512被呈现为AR/VR环境520的一部分时，具有相应的大小和形状以看起来“好像它真的在那里”，其示例在图5的第三步506处示出。在一个示例中，AR/VR数字内容124是从二维输入数字图像130生成的，也具有二维，并且因此减少了计算和网络资源的消耗，以及支持用户界面508中的实时输出。在另一示例中，由输入数字图像130捕获的对象512被三维建模(例如，对应于现有模型、“从零开始”等)，以用于由用户界面模块128在用户界面508中输出。还构想了各种其他示例。在一个示例中，AR/VR数字内容在确定适合性时自动地生成，而无需接收用户输入。
在另一示例中，适合性的确定还基于AR/VR环境，在该AR/VR环境中，AR/VR数字内容要被设置。如上所述，结果的良好的和不良的示例可以用于训练机器学习模型110。在该示例中，结果不仅解决了输入数字图像130是否适合在AR/VR环境中显示的问题，还解决了AR/VR环境本身以及甚至环境的一部分的问题，使得AR/VR数字内容在生成时视觉上看起来令人满意并且像“它确实在那里”。例如，AR/VR环境的一部分的明亮光照条件可以使得暗点亮的AR/VR数字内容不适合在AR/VR环境中显示。因此，可以输出指示AR/VR数字内容不适合在AR/VR环境中显示的意见以及/或者校正可以自动地并且在没有用户干预的情况下进行。观看AR/VR数字内容的用户然后可以例如通过使用指示、通过比较生成的与由输入数字图像130捕获的对象不同的AR/VR数字内容等意识到这些变化。
在另一示例中，适合性的确定还可以处理包括在AR/VR环境中的其他AR/VR数字内容。例如，如关于图11进一步描述的，适合性可以作为搜索的一部分被利用来意见与AR/VR数字内容的其他物品一致的并且因此适合与那些物品一起显示的AR/VR数字内容的物品。这可以基于多种因素，包括AR/VR数字内容的类型(例如，厨房物品、家具)、AR/VR数字内容的其他物品的使得这些物品在视觉上一致的显示特性等。
在输入数字图像不适合生成AR/VR数字内容的情况下，可以采用内容意见模块120来生成指示关于为何输入数字图像130不适合的意见以及/或者指示如何对后续数字图像中对象512的捕获进行校正的意见。另外，内容意见模块120可以用于自动地并且在没有用户干预的情况下向数字摄像机602传送校正指令和图像重新捕获(recapture)请求。下一部分描述其示例。
关于AR/VR数字内容的意见的生成
图8描绘了AR/VR数字内容系统的采用如在图3的示例300中训练的意见机器学习模型来生成关于输入数字图像130用于生成AR/VR数字内容的适合性的意见的操作的示例800。图9描绘了用于发起对数字图像的捕获的用户界面的输出和意见的输出的示例900的第一步902和第二步094。图10描绘了其中意见机器学习模型生成指示为何数字图像不适合生成AR/VR数字内容的意见以及/或者指示如何对后续数字图像中AR/VR数字内容的生成进行校正的意见的示例实现中的过程1000。
以下的论述描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作所示的顺序。在以下论述的部分中，将可互换地参照图8至图10。
像前面的示例一样，由AR/VR数字内容系统112接收数字图像(框1002)。在图9的示例800中，由服务提供者系统102通过网络106从客户端装置104接收输入数字图像130。例如，可以将输入数字图像130接收作为到社交网络服务、产品陈列服务、数字内容创建服务或任何其他数字图像共享服务的上传。还构想了包括作为客户端装置104的一部分的数字摄像机被用于生成输入数字图像并且由AR/VR数字内容系统112接收输入数字图像的其他示例。
例如，如图9的第一步902处所示，客户端装置104采用数字摄像机装置来捕获输入数字图像130，然后该输入数字图像130作为输入被提供给AR/VR数字内容系统112。如前所述，客户端装置104使用显示装置510输出用户界面508。用户界面508包括由数字摄像机装置捕获的“实时视图”，在这种情况下，“实时视图”包括要用于生成AR/VR数字内容的对象512。在用户界面508中包括选项514，例如通过检测用户的手516经由触摸屏功能对选项514的选择，用户能够选择该选项514来发起对输入数字图像130的捕获。
如前一部分所述，然后由AR/VR数字内容系统112做出关于由数字图像(例如，二维数字图像)捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定。使用AR/VR适合性机器学习模型204来执行该确定。例如，AR/VR数字内容系统112可以首先采用背景去除模块402来从输入数字图像130去除背景，从而留下对象的视图。这可以以多种方式来执行，例如通过使用基于对象识别、显著性等的掩模。
去除了背景的输入数字图像130然后被提供给内容评估模块118。内容评估模块118包括如关于图2所述被训练以计算适合性分数406的AR/VR适合性机器学习模型204。适合性分数指示包括在数字图像中的对象适合生成用于在AR/VR环境中显示的AR/VR数字内容的程度。在该示例中，做出由数字图像捕获的对象不适合生成用于在增强现实/虚拟现实(AR/VR)环境中显示的AR/VR数字内容的确定(框1004)。
因此，由结果处理模块408的内容意见模块120使用该确定的结果来使用如关于图3所描述的那样被训练的意见机器学习模型302生成意见(即，意见结果802)(框1006)。因此，在该示例中，响应于输入数字图像130不适合的确定，自动地并且在没有用户干预的情况下生成意见。还构想了在没有这样的确定的情况下生成意见的其他示例。
内容意见模块120包括一个或更多个意见机器学习模型302，一个或更多个意见机器学习模型302中的每一个被配置成识别关于为何由数字图像捕获的对象不适合生成AR/VR数字内容(框1008)以及/或者如何对后续数字图像中对象的捕获进行校正(框1010)的一个或更多个特性。例如，意见机器学习模型302可以包括被训练成检测数字图像内的对象的旋转的旋转模型804，旋转使数字图像不适合生成AR/VR数字内容。同样，背景模型806可以被训练成检测背景，背景使数字图像中的对象被检测为不适合生成AR/VR数字内容，即，难以将对象与背景区分开。其他示例包括识别光照条件的光模型808、可用于检测对象是否被遮挡的被遮挡对象模型810、角度模型812、缩放模型814、分辨率模块816和对象检测模型818，这些模型各自识别关于为何输入数字图像130——并且更具体地，包括在数字图像中的对象512——不适合生成AR/VR数字内容的相应特性。
“为何”输入数字图像130中的对象不适合生成AR/VR数字内容的确定也可用于指示“如何”对后续数字图像中对象的捕获进行校正。例如，如图9的第二步904所描绘的，输出指示“为何”数字图像不适合生成AR/VR数字内容的意见906，例如由于背景而引起“不能检测到对象”以及“对象被遮挡”。意见906还包括关于“如何”对后续数字图像的捕获进行校正的指示，例如“尝试不同的背景”以及“尝试捕获帧中的整个对象”。
这可以根据用于检测特性的模型和/或以较大特异性(specificity)训练的模型推断。例如，通常可以训练意见机器学习模型302来识别可能使输入数字图像130中的对象不适合生成AR/VR数字内容的光照条件(例如，暗、太亮)。在另一情况下，第一意见机器学习模型302可以被训练来检测过度曝光，而第二意见机器学习模型302可以被训练来检测缺少光，即“太暗”。以这种方式，可以以期望的特异性的程度来实现意见结果802。指示生成模块410然后被配置成对意见结果802进行处理以输出用于在用户界面(例如由客户端装置104的用户界面模块129生成的用户界面)中显示的意见(框1012)。在图9的第二步904的示出的示例中，意见与输入数字图像130的显示同时呈现，然而也构想了其他示例。
可替选地或另外地，当做出由数字图像捕获的对象不适合生成用于在AR/VR环境中显示的AR/VR数字内容的确定时，内容意见模块120可以将用于自动校正对象的后续数字图像使得其将适合生成AR/VR数字内容的指令直接传送至数字摄像机装置602。“自动校正图像”按钮908被示出为与关于为何当前图像不适合以及可以如何对当前图像进行校正的意见906同时呈现。因此，用户516具有使用触摸屏功能选择自动校正图像按钮908的选项。
在又一实现方式中，内容意见模块122可以向数字摄像机装置602自动地发送用于自动校正的校正指令(如使用将内容意见模块120通信地耦接至数字摄像机装置602的箭头所示)，捕获实现校正的后续图像，并且在用户界面中在显示装置510上自动地并且在没有用户干预的情况下显示经校正的图像。例如，如果用户516捕获用于生成AR/VR数字内容的对象的其中对象没有被充分照亮的图像，则内容意见模块可以向数字摄像机装置602自动地发送如下指令：使用更多的光来重新捕获对象的图像，并且在显示装置510上显示所重新捕获的图像。然后，在显示装置510上将能够观看到对象的正确照亮的、重新捕获的数字图像。另外，可以自动地并且在没有用户干预(例如，图像滤波器、数字摄像机装置602的显示设置、数字图像后处理技术等)的情况下进行其他自动校正，并且显示经校正的后续图像供用户观看。例如，可以使数字图像更亮或更暗，可以放大图像捕获以获得对象的更详细的图像捕获，可以应用各种滤波器例如颜色协调，可以调整焦点，可以使对象自动地居中等。
以这种方式，本文中描述的技术被实现成克服了常规AR/VR生成技术的限制，以及提供了可以通过成功地将对象的2D图像投影到AR/VR环境中的处理来帮助引导用户的直观的体验。例如，客户端装置104配备有用于显示实况摄像机馈送的数字摄像机装置602。已被确定为适合AR/VR环境的2D对象的图像可以被投影到实况摄像机馈送中，以增强实况摄像机馈送，并且显示在物理对象被添加至真实世界的情况下“真实世界”将会是什么样子。使用2D图像针对用户创建“伪3D”AR/VR体验，这提供了3D AR/VR体验的好处，并且减轻在AR/VR环境中使用完整3D对象模型时所经历的繁琐交互和装置低效。
例如，用户可能希望将作品或艺术品添加至他们家中的裸露墙壁。使用他们的移动电话，用户可以打开显示裸露墙壁的实况摄像机馈送，选择梵高印刷品的图像，并且将其放置在实况摄像机馈送中的墙壁上，从而向用户显示在他们将梵高印刷品的真实物理版本挂在他们的墙壁上的情况下他们的墙壁将会是什么样子。然而，为了在AR/VR环境中投影梵高印刷品的图像，必须满足特定的要求，使得数字图像适合在AR/VR环境中观看。
AR/VR适合性机器学习模型204用于确定数字图像在AR/VR环境中显示的适合性。以这种方式，数百万或数十亿个对象的图像可以被分类为适合包括在AR/VR环境中。例如，在虚拟市场中，卖方可以列出待售物品，如果卖方打算利用电子商务的这种日益流行的特征，则期望卖方提供物品的适合在AR/VR环境中投影的图像。因此，提供数字图像适合或不适合的指示通知卖方关于提供给市场的对象的数字图像是否适合在AR/VR环境中显示。还可以将意见生成作为提供关于如何改进数字图像的指令，使得由后续数字图像捕获的对象然后可以适合在AR/VR环境中显示。可替选地或另外地，可以提供用于对对象的后续数字图像的捕获进行自动校正的选项，或者可以如上所述的自动地并且在没有用户干预的情况下发起实现了校正的后续捕获。
这是对常规AR/VR技术的改进，常规AR/VR技术通常使用对象的复杂的3D模型，并且不具有用于确定对象是否适合在AR/VR环境中显示的处理。另外，用户没有关于要采取什么步骤来确保对象适合显示的指示，由于需要多个步骤来校正这一点，因此这在计算上和用户上都是低效的。
具有多个AR/VR字内容的非模态AR/VR环境
图11描绘了示出在客户端装置104上显示的其中多个生成的AR/VR数字内容的对象被添加至AR/VR环境的非模态AR/VR环境的用户界面的输出的示例1100。图12描绘了其中多个输入数字图像被确定为适合生成多个用于在AR/VR环境中显示的AR/VR数字内容的过程1200。
以下的论述描述了可以利用所描述的系统和装置来实现的技术。过程的各方面可以以硬件、固件、软件或其组合来实现。过程被示出为指定由一个或更多个装置执行的操作的一组框，并且不必限于针对由各个框执行操作所示的顺序。在以下论述的部分中，将可互换地参照图11至图12。
从该示例开始，访问虚拟市场的客户端装置104使用由数字摄像机装置捕获的实况摄像机馈送来启动AR/VR环境(框1202)。AR/VR环境可以在虚拟市场中的多个点处启动。例如，在对象搜索视图中，摄像机图标可以存在于搜索栏中，并且当被选择时，启动AR/VR环境，并且先前启动的搜索可以继续搜索适合在AR/VR环境中显示的对象。在另一示例中，AR/VR环境可以从观看对象页面启动。如果所选对象的数字图像已经被认为适合生成如上所论述的AR/VR数字内容，则可以从观看对象页面启动AR/VR环境，并且在AR/VR环境中示出所观看的对象。在又一示例中，AR/VR环境可以从对象推荐陈列启动。如果推荐陈列中的对象的数字图像已经被认为适合生成AR/VR数字内容，则可以提供选择该对象并且在AR/VR环境中观看它的选项。
在AR/VR环境被启动之后，虚拟市场中的任何进一步的动作都可以在AR/VR环境中进行，即，非模态地进行。图11示出了发生在AR/VR环境中的虚拟市场中的第一步操作1102、第二步操作1104和第三步1106的示例。在第一步1102处，类似于图5的第三步506，第一对象(例如，图5的灯512)已经被选择(框1204)并且在实况摄像机馈送AR/VR环境中显示(框1206)。
响应于针对第二对象的搜索请求(框1208)，第二步1104描绘了基于搜索的另外的对象推荐的陈列。通过检测由用户的手516经由触摸屏功能对第二对象(咖啡杯1110)的选择(框1210)，咖啡杯1108被选择用于在AR/VR环境中显示。第三步1106描绘了被添加至AR/VR环境(框1212)并且被放置在AR/VR环境的实况摄像机馈送中的“真实”桌子上的灯512旁边的咖啡杯1108。在该示例中，这还包括自动重新布置对象，然而还构想了其他示例。
因此，AR/VR内容的第二对象相对于AR/VR环境内的实况摄像机馈送的输出是非模态的。灯512和咖啡杯1108可以在AR/VR环境中被修改或操纵。例如，这些对象可以在桌子上被手动地重新布置，这些对象中的一个可以被去除，第三对象可以被搜索和添加等，所有这些操作都在现有的AR/VR环境中。另外，任一对象或两者可以被添加至购物车，并且在AR/VR环境中被购买。可替选地，用户可以在他们选择的任何操作点处退出AR/VR环境。
如前所述，适合性的确定还可以处理包括AR/VR环境中包括的其他AR/VR数字内容的AR/VR环境，并且因此可以用作非模态实况摄像机馈送的一部分。例如，适合性可以作为搜索的一部分被利用来意见与AR/VR数字内容的其他物品一致并且因此适合与那些物品一起显示的AR/VR数字内容的物品。这可以基于多种因素，包括AR/VR数字内容的类型(例如，厨房物品、家具)、AR/VR数字内容的其他物品的使得这些物品在视觉上彼此一致的显示特性等。
例如，如图11所示，可以执行搜索以定位与灯512相关的物品，包括对也属于由灯512展示的一般主题的咖啡杯的选择。当作为AR/VR数字内容生成时，这些物品也可被选择为与灯512在视觉上一致，例如，包括相似的光照、阴影、亮度、颜色等。以这种方式，适合性可以用于基于AR/VR环境本身的特性以及在AR/VR环境中显示的其他物品(例如，灯512)的特性来意见AR/VR数字内容的物品。还构想了其他示例。
非模态AR/VR环境是对常规技术的改进，在非模态AR/VR环境中，用户能够进行搜索、从推荐中选择、将多个对象放在同一AR/VR环境中、缩放多个对象、重新布置多个对象、添加和删除多个对象、将一个或更多个对象添加至购物车以及完成购买。因此，非模态AR/VR环境不仅仅是对象视图模式，而是作为整体的虚拟市场。常规技术通常限于AR/VR环境中的单个对象，并且通常不提供其中可以在非模态AR/VR环境内进行多个动作的端到端体验。本文中描述的非模态AR/VR环境提高了实现以下这些技术的计算装置的用户效率和操作效率：这些技术被实现为在虚拟市场中提供端到端的购物体验。
示例系统和装置
图13在1300处示出了通常包括以下示例计算装置1302的示例系统：该示例计算装置1302表示可以实现本文中描述的各种技术的一个或更多个计算系统和/或装置。这通过包括着色三维数字模型116来示出。计算装置1302可以是例如服务提供者的服务器、与客户端相关联的装置(例如，客户端装置)、片上系统和/或任何其他适合的计算装置或计算系统。
如示出的示例计算装置1302包括处理系统1304、一个或更多个计算机可读介质1306以及彼此通信地耦接的一个或更多个I/O接口1308。尽管未示出，但是计算装置1302还可以包括将各种部件彼此耦接的系统总线或其他数据和命令传递系统。系统总线可以包括如下不同总线结构中的任一种或其组合：例如，存储器总线或存储器控制器、外围总线、通用串行总线以及/或者利用各种总线架构中的任何一种的处理器总线或局部总线。还可以构想各种其他示例，例如，控制和数据线。
处理系统1304表示使用硬件执行一个或更多个操作的功能。因此，处理系统1304被示出为包括可以被配置为处理器、功能框等的硬件元件1310。这可以包括以硬件实现为使用一个或更多个半导体形成的专用集成电路或其他逻辑器件。硬件元件1310不受形成它们的材料或其中所采用的处理机制的限制。例如，处理器可以包括半导体和/或晶体管(例如，电子集成电路(IC))。在这样的背景下，处理器可执行指令可以是电子可执行指令。
计算机可读存储介质1306被示出为包括存储器/存储装置1312。存储器/存储装置1312表示与一个或更多个计算机可读介质相关联的存储器/存储装置的容量。存储器/存储装置部件1312可以包括易失性介质(例如，随机存取存储器(RAM))和/或非易失性介质(例如，只读存储器(ROM)、闪速存储器、光盘、磁盘等)。存储器/存储装置部件1312可以包括固定介质(例如，RAM、ROM、固定硬盘驱动器等)以及可移动介质(例如，闪速存储器、可移动硬盘驱动器、光盘等)。如下面进一步描述的，计算机可读介质1306可以以各种其他方式被配置。
输入/输出接口1308表示允许用户向计算装置1302输入命令和信息并且还允许使用各种输入/输出装置将信息呈现给用户和/或其他部件或装置的功能。输入装置的示例包括键盘、光标控制装置(例如，鼠标)、麦克风、扫描仪、触摸功能(例如，被配置成检测物理触摸的电容性传感器或其他传感器)、摄像机(例如，其可以采用可见波长或不可见波长例如红外频率以将移动识别为不涉及触摸的手势)等。输出装置的示例包括显示装置(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应装置等。因此，如下面进一步描述的，计算装置1302可以以各种方式被配置以支持用户交互。
本文可以在软件、硬件元件或程序模块的一般背景下描述各种技术。通常，这样的模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、部件、数据结构等。本文中使用的术语“模块”、“功能”和“部件”通常表示软件、固件、硬件、或其组合。本文中描述的技术的特征与平台无关，意指可以在具有各种处理器的各种商业计算平台上实现本技术。
所描述的模块和技术的实现方式可以被存储在一些形式的计算机可读介质上或者在一些形式的计算机可读介质上传送。计算机可读介质可以包括可以由计算装置1302访问的各种介质。通过示例并非限制的方式，计算机可读介质可以包括“计算机可读存储介质”和“计算机可读信号介质”。
“计算机可读存储介质”可以指与仅信号传输、载波或信号本身相比能够实现信息的持久和/或非暂态存储的介质和/或装置。因此，计算机可读存储介质指的是非信号承载介质。计算机可读存储介质包括硬件例如易失性介质和非易失性介质、可移动介质和不可移动介质和/或以适合信息(例如，计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的存储的方法或技术实现的存储装置。计算机可读存储介质的示例可以包括但不限于：RAM、ROM、EEPROM、闪速存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、硬盘、磁带盒、磁带、磁盘存储装置或其他磁性存储装置、或其他存储装置、有形介质、或适合存储所需信息且可以由计算机访问的制品。
“计算机可读信号介质”可以指被配置成例如经由网络将指令传送至计算装置1302的硬件的信号承载介质。信号介质通常可以在诸如载波、数据信号、或其他传输机制的调制数据信号中体现计算机可读指令、数据结构、程序模块或其他数据。信号介质还包括任何信息递送介质。术语“调制数据信号”意指以对信号中的信息进行编码的方式设置或改变其特性中的一个或更多个的信号。通过示例而非限制的方式，通信介质包括有线介质(例如有线网络或直接有线连接)以及无线介质(例如声学介质、RF介质、红外介质以及其他无线介质)。
如先前所描述的，硬件元件1310和计算机可读介质1306表示以硬件形式实现的可以在一些实施方式中被采用以实现本文中描述的技术的至少一些方面(例如执行一个或更多个指令)的模块、可编程器件逻辑和/或固定器件逻辑。硬件可以包括集成电路或片上系统的部件、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及在硅或其他硬件中的其他实现。在该背景下，硬件可以操作为执行由硬件实施的指令和/或逻辑定义的程序任务的处理装置，以及操作为用于存储供执行的指令的硬件，例如先前描述的计算机可读存储介质。
还可以采用前述的组合来实现本文中描述的各种技术。因此，软件、硬件、或可执行模块可以被实现为实施在某种形式的计算机可读存储介质上以及/或者由一个或更多个硬件元件1310实施的一个或更多个指令和/或逻辑。计算装置1302可以被配置成实现与软件模块和/或硬件模块相对应的特定指令和/或功能。因此，可以例如通过使用计算机可读存储介质和/或处理系统1304的硬件元件1310来至少部分地以硬件实现能够由计算装置1302作为软件执行的模块的实现。指令/或功能可以由一个或更多个制品(例如，一个或更多个计算装置1302和/或处理系统1304)可执行/可操作用于实现本文中描述的技术、模块和示例。
本文中描述的技术可以由计算装置1302的各种配置支持，并且不限于本文中描述的技术的特定示例。如下所述，还可以通过使用分布式系统，例如经由平台1316在“云”1314上，全部或部分地实现该功能。
云1314包括和/或表示用于资源1318的平台1316。平台1316对云1314的硬件(例如，服务器)和软件资源的基础功能进行抽象化。资源1318可以包括在远离计算装置1302的服务器上执行计算机处理时可以利用的应用和/或数据。资源1318还可以包括在因特网上和/或通过诸如蜂窝网或Wi-Fi网络的订户网络提供的服务。
平台1316可以对资源和功能进行抽象化，以将计算装置1302与其他计算装置连接。平台1316还可以用于对资源的缩放(scaling)进行抽象化，以向对于经由平台1316实现的资源1318遇到的需求提供对应的缩放级别。因此，在互连的装置实施方式中，本文中描述的功能的实现可以分布在整个系统1300中。例如，可以在计算装置1302上以及经由对云1314的功能进行抽象化的平台1316来部分地实现功能。
结论
尽管已经用特定于结构特征和/或方法动作的语言描述了本发明，但是应当理解，所附权利要求书中限定的发明不必限于所描述的特定特征或动作。而是，特定特征和动作被公开为实现所要求保护的本发明的示例形式。

Claims (20)

1.一种由至少一个计算装置实现的方法，所述方法包括：
由所述至少一个计算装置接收二维数字图像；
由所述计算装置确定由所述二维数字图像捕获的对象是否适合生成用于在增强现实/虚拟现实AR/VR环境中显示的AR/VR数字内容，所述确定是使用机器学习模型执行的；以及
由所述计算装置输出用于在用户界面中显示的指示，所述指示指明关于所述对象是否适合作为AR/VR数字内容在所述AR/VR环境中显示的所述确定的结果，
其中，所述AR/VR数字内容被配置成用于以二维和三维中至少之一来呈现。
2.根据权利要求1所述的方法，其中，所述确定包括由所述计算装置使用所述机器学习模型来计算分数，所述分数指示包括在所述二维数字图像中的所述对象适合生成用于在所述AR/VR环境中显示的所述AR/VR数字内容的程度。
3.根据权利要求2所述的方法，其中，所述分数被配置为由被配置为分类器的所述机器学习模型生成的概率，并且关于所述对象是否适合生成所述AR/VR数字内容的所述确定基于将所述概率与阈值进行比较。
4.根据权利要求3所述的方法，其中，所述机器学习模型是卷积神经网络(CNN)。
5.根据权利要求1所述的方法，其中，所述指示响应于所述确定而指示所述对象适合生成所述AR/VR数字内容。
6.根据权利要求5所述的方法，其中，所述指示能够选择用于生成包括在所述二维数字图像中的所述对象的所述AR/VR数字内容。
7.根据权利要求1所述的方法，其中，所述指示指明所述对象不适合生成所述AR/VR数字内容。
8.根据权利要求7所述的方法，其中，所述指示包括：
指示为何所述对象不适合生成所述AR/VR数字内容的意见；或者
指示如何对后续二维数字图像中所述对象的捕获进行校正的意见。
9.根据权利要求8所述的方法，其中，所述指示是使用意见机器学习模型生成的，并且响应于由所述机器学习模型确定所述对象不适合生成用于在所述AR/VR环境中显示的AR/VR数字内容而被执行。
10.根据权利要求1所述的方法，还包括：
由所述至少一个计算装置生成所述AR/VR数字内容；以及
由所述至少一个计算装置输出用于作为所述AR/VR环境的一部分在所述用户界面中显示的所述AR/VR数字内容。
11.一种由至少一个计算装置实现的方法，所述方法包括：
由所述至少一个计算装置接收第一数字图像；
由所述计算装置确定由所述第一数字图像捕获的对象不适合生成用于在增强现实/虚拟现实AR/VR环境中显示的AR/VR数字内容，所述确定是使用AR/VR适合性机器学习模型执行的；
由所述计算装置使用意见机器学习模型生成意见，所述意见指示：
为何由所述第一数字图像捕获的所述对象不适合生成所述AR/VR数字内容；或者
如何对后续数字图像中所述对象的捕获进行校正；以及
由所述计算装置输出用于在用户界面中显示的所述意见，
其中，所述AR/VR数字内容被配置成用于以二维和三维中至少之一来呈现。
12.根据权利要求11所述的方法，其中，响应于确定由所述第一数字图像捕获的所述对象不适合生成AR/VR数字内容，自动地并且在没有用户干预的情况下执行所述意见的生成。
13.根据权利要求11所述的方法，其中，所述AR/VR适合性机器学习模型被实现为与实现所述意见机器学习模型的卷积神经网络分离的卷积神经网络。
14.根据权利要求11所述的方法，其中，所述意见的生成不是响应于确定由所述第一数字图像捕获的所述对象适合生成AR/VR数字内容而执行的。
15.根据权利要求11所述的方法，其中，所述意见的输出与所述用户界面中所述第一数字图像的显示同时执行。
16.根据权利要求11所述的方法，其中，所述意见指示涉及旋转、背景、光照、遮挡、角度、缩放或分辨率的校正。
17.一种增强现实/虚拟现实AR/VR数字内容系统，包括：
至少部分地以计算装置的硬件实现的内容评估模块，用于使用AR/VR适合性机器学习模型来确定由第一数字图像捕获的对象是否适合生成用于在AR/VR环境中显示的AR/VR数字内容；
至少部分地以所述计算装置的硬件实现的内容意见模块，用于使用意见机器学习模型生成意见，所述意见指示响应于所述内容评估模块确定由所述第一数字图像捕获的所述对象不适合生成所述AR/VR数字内容而如何对后续数字图像中所述对象的捕获进行校正；以及
至少部分地以所述计算装置的硬件实现的用户界面模块，用于输出用于在用户界面中显示的所述意见，
其中，所述AR/VR数字内容被配置成用于以二维和三维中至少之一来呈现。
18.根据权利要求17所述的AR/VR数字内容系统，其中，所述内容评估模块被配置成通过使用所述AR/VR适合性机器学习模型计算分数来确定所述对象的适合性，所述分数指示包括在所述第一数字图像中的所述对象适合生成用于在所述AR/VR环境中显示的所述AR/VR数字内容的程度。
19.根据权利要求17所述的AR/VR数字内容系统，其中，所述意见指示为何由所述第一数字图像捕获的所述对象不适合生成所述AR/VR数字内容。
20.根据权利要求17所述的AR/VR数字内容系统，其中，所述意见指示涉及旋转、背景、光照、遮挡、角度、缩放或分辨率的校正。
CN201980066386.7A 2018-10-09 2019-10-08 用于生成ar/vr数字内容的数字图像适合性确定 Active CN112805721B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862743468P 2018-10-09 2018-10-09
US62/743,468 2018-10-09
PCT/US2019/055263 WO2020076871A1 (en) 2018-10-09 2019-10-08 Digital image suitability determination to generate ar/vr digital content

Publications (2)

Publication Number Publication Date
CN112805721A CN112805721A (zh) 2021-05-14
CN112805721B true CN112805721B (zh) 2024-03-15

Family

ID=70051685

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980066996.7A Active CN112840596B (zh) 2018-10-09 2019-10-03 使用区块链和分布式文件系统的分布式应用架构
CN201980066386.7A Active CN112805721B (zh) 2018-10-09 2019-10-08 用于生成ar/vr数字内容的数字图像适合性确定

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980066996.7A Active CN112840596B (zh) 2018-10-09 2019-10-03 使用区块链和分布式文件系统的分布式应用架构

Country Status (5)

Country Link
US (4) US11803664B2 (zh)
EP (3) EP4318410A3 (zh)
KR (1) KR102476294B1 (zh)
CN (2) CN112840596B (zh)
WO (2) WO2020076617A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
US10990563B2 (en) * 2019-04-11 2021-04-27 Advanced New Technologies Co., Ltd. Information read/write method and apparatus based on blockchain
US11153315B2 (en) 2019-05-30 2021-10-19 Bank Of America Corporation Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11138328B2 (en) 2019-05-30 2021-10-05 Bank Of America Corporation Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11165777B2 (en) 2019-05-30 2021-11-02 Bank Of America Corporation Controlling access to secure information resources using rotational datasets and dynamically configurable data containers
US11676200B2 (en) * 2020-02-06 2023-06-13 Shopify Inc. Systems and methods for generating augmented reality scenes for physical items
EP4127975A1 (en) * 2020-04-02 2023-02-08 Alkmy Technologies, Llc Apparatuses, computer-implemented methods, and computer program products for facilitating computer-based transfer of transferable data objects
WO2020143852A2 (en) * 2020-04-15 2020-07-16 Alipay (Hangzhou) Information Technology Co., Ltd. Distributed blockchain data storage under account model
CN111630507A (zh) 2020-04-20 2020-09-04 支付宝(杭州)信息技术有限公司 账户模型下的分布式区块链数据存储
US11521339B2 (en) * 2020-06-10 2022-12-06 Snap Inc. Machine learning in augmented reality content items
US11621857B2 (en) 2020-09-03 2023-04-04 Seagate Technology Llc Fingerprint and provenance for movable storage devices
US11652604B2 (en) * 2020-11-12 2023-05-16 Paypal, Inc. Blockchain data compression and storage
CN113098938B (zh) * 2021-03-25 2022-07-12 卓尔智联(武汉)研究院有限公司 一种共享视频的方法、装置及电子设备
CN113744412A (zh) * 2021-08-16 2021-12-03 长沙眸瑞网络科技有限公司 一种处理3d模型数据的方法及装置
US20230062776A1 (en) * 2021-08-25 2023-03-02 Ebay Inc. Supplemental Digital Content Access Control using Nonfungible Tokens (NFTs)
US20230070271A1 (en) * 2021-09-08 2023-03-09 Shopify Inc. Systems and methods for identifying items having complementary material properties
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces
KR102623594B1 (ko) * 2022-02-10 2024-01-10 주식회사 이매지니어스 대체 불가능 토큰 콘텐츠를 이용한 증강 현실 서비스를 제공하기 위한 방법
CN116347057B (zh) * 2023-05-29 2023-07-25 缤汇数字科技(南京)有限公司 一种App端实现动态模型AR实景展示方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415671A (zh) * 2014-06-03 2017-02-15 Metaio有限公司 用于呈现与真实对象相关的数字信息的方法和系统
CN107564063A (zh) * 2017-08-30 2018-01-09 广州华多网络科技有限公司 一种基于卷积神经网络的虚拟物显示方法及装置
CN108028871A (zh) * 2015-09-11 2018-05-11 华为技术有限公司 移动设备上的无标记的多用户多对象增强现实
CN108475427A (zh) * 2016-02-18 2018-08-31 微软技术许可有限责任公司 对象扫描能力的实时检测

Family Cites Families (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5255352A (en) 1989-08-03 1993-10-19 Computer Design, Inc. Mapping of two-dimensional surface detail on three-dimensional surfaces
US5495568A (en) 1990-07-09 1996-02-27 Beavin; William C. Computerized clothing designer
US6175655B1 (en) 1996-09-19 2001-01-16 Integrated Medical Systems, Inc. Medical imaging system for displaying, manipulating and analyzing three-dimensional images
US5930769A (en) 1996-10-07 1999-07-27 Rose; Andrea System and method for fashion shopping
US6310627B1 (en) 1998-01-20 2001-10-30 Toyo Boseki Kabushiki Kaisha Method and system for generating a stereoscopic image of a garment
US6415199B1 (en) 1999-02-25 2002-07-02 E-Z Max Apparel Systems, Inc. Method and apparatus for preparing custom-fitted clothing
DE19922150B4 (de) 1999-05-12 2012-03-08 Human Solutions Gmbh Verfahren und Vorrichtung zur Bestimmung von Körpermaßen und / oder entsprechender Kleidergrößen einer Person
US6404426B1 (en) 1999-06-11 2002-06-11 Zenimax Media, Inc. Method and system for a computer-rendered three-dimensional mannequin
US20020004763A1 (en) 2000-01-20 2002-01-10 Lam Peter Ar-Fu Body profile coding method and apparatus useful for assisting users to select wearing apparel
US7328119B1 (en) 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
US7149665B2 (en) 2000-04-03 2006-12-12 Browzwear International Ltd System and method for simulation of virtual wear articles on virtual models
US6643385B1 (en) 2000-04-27 2003-11-04 Mario J. Bravomalo System and method for weight-loss goal visualization and planning and business method for use therefor
JP2001319108A (ja) 2000-05-11 2001-11-16 Uchiyama Toyoko リクレーション、ショッピング、ビジネスモデル
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
JP5118793B2 (ja) 2000-06-29 2013-01-16 ソニー株式会社 サービス提供システム
US6546309B1 (en) 2000-06-29 2003-04-08 Kinney & Lange, P.A. Virtual fitting room
GB0101371D0 (en) 2001-01-19 2001-03-07 Virtual Mirrors Ltd Production and visualisation of garments
WO2002076251A2 (en) 2001-03-08 2002-10-03 Saint Laurie, Ltd. A system and method for fitting clothing
US20020126328A1 (en) 2001-03-09 2002-09-12 Lehmeier Michelle R. Method and apparatus for matching color image data with a corresponding color in a defined color space
US7242999B2 (en) 2001-05-11 2007-07-10 Kenneth Kuk-Kei Wang Method and apparatus for identifying virtual body profiles
US7953648B2 (en) 2001-11-26 2011-05-31 Vock Curtis A System and methods for generating virtual clothing experiences
US6813838B2 (en) 2002-01-14 2004-11-09 Mccormick Bruce Garment fitting system
US6882897B1 (en) 2004-01-05 2005-04-19 Dennis S. Fernandez Reconfigurable garment definition and production method
US20050193429A1 (en) * 2004-01-23 2005-09-01 The Barrier Group Integrated data traffic monitoring system
US7354410B2 (en) 2004-02-23 2008-04-08 Tyco Healthcare Group Lp Compression treatment system
JP4533643B2 (ja) 2004-02-26 2010-09-01 株式会社島精機製作所 人体モデルへのニットガーメントの着装シミュレーション方法とその装置、並びにそのプログラム
WO2006004668A2 (en) * 2004-06-25 2006-01-12 Redtoucan, Inc. Inferred endorsement system and method
US8660902B2 (en) 2004-07-23 2014-02-25 Lori Coulter, Llc Methods and systems for selling apparel
US7178722B2 (en) 2004-12-09 2007-02-20 International Business Machines Corporation Virtual shopping environment
JP4473754B2 (ja) 2005-03-11 2010-06-02 株式会社東芝 仮想試着装置
US7398133B2 (en) 2005-04-27 2008-07-08 Myshape, Inc. Matching the fit of individual garments to individual consumers
US20070005174A1 (en) 2005-06-29 2007-01-04 Sony Ericsson Mobile Communications Ab Virtual apparel fitting
US7548794B2 (en) 2005-09-01 2009-06-16 G & K Services, Inc. Virtual sizing system and method
US20090002224A1 (en) 2005-09-22 2009-01-01 Nader Khatib SAR ATR tree line extended operating condition
ES2279708B1 (es) 2005-11-15 2008-09-16 Reyes Infografica, S.L. Metodo de generacion y utilizacion de un probador virtual de prendas de vestir, y sistema.
US20070124215A1 (en) 2005-11-29 2007-05-31 Simmons Lawrence D Jr Virtual shopping with personal image environment
US7487116B2 (en) 2005-12-01 2009-02-03 International Business Machines Corporation Consumer representation rendering with selected merchandise
GB0603106D0 (en) 2006-02-16 2006-03-29 Virtual Mirrors Ltd Design and production of garments
US8269778B1 (en) 2006-06-08 2012-09-18 Pixar Shape preservation of simulated objects in computer animation
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US8108414B2 (en) 2006-11-29 2012-01-31 David Stackpole Dynamic location-based social networking
TW200828043A (en) 2006-12-29 2008-07-01 Cheng-Hsien Yang Terminal try-on simulation system and operating and applying method thereof
US20080201228A1 (en) 2007-01-12 2008-08-21 Christophe Jean Claude Gillet Methods and systems to schedule a transaction
US7714912B2 (en) 2007-01-24 2010-05-11 International Business Machines Corporation Intelligent mirror
US7979067B2 (en) 2007-02-15 2011-07-12 Yahoo! Inc. Context avatar
US8009178B2 (en) 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US8140304B2 (en) 2007-07-13 2012-03-20 Hyeong-Seok Ko Method of cloth simulation using linear stretch/shear model
US9026938B2 (en) 2007-07-26 2015-05-05 Noregin Assets N.V., L.L.C. Dynamic detail-in-context user interface for application access and content access on electronic displays
EP2187325B1 (en) 2007-09-04 2018-03-14 Shima Seiki Manufacturing., Ltd. Garment fit simulation device, garment fit simulation method and garment fit simulation program
US7580699B1 (en) 2007-10-18 2009-08-25 At&T Mobility Ii Llc Network systems and methods utilizing mobile devices to enhance consumer experience
WO2009062153A1 (en) 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
DE502008001703D1 (de) 2008-02-15 2010-12-16 Stefan Seiler Verfahren und computerimplementiertes System zur Bestimmung der Passqualität eines individuell gefertigten Kleidungsstücks
US20130215116A1 (en) 2008-03-21 2013-08-22 Dressbot, Inc. System and Method for Collaborative Shopping, Business and Entertainment
CA2659698C (en) 2008-03-21 2020-06-16 Dressbot Inc. System and method for collaborative shopping, business and entertainment
US10872322B2 (en) 2008-03-21 2020-12-22 Dressbot, Inc. System and method for collaborative shopping, business and entertainment
JP4407761B2 (ja) 2008-03-24 2010-02-03 東洋紡績株式会社 衣服シミュレーション装置、衣服シミュレーションプログラム、及び衣服シミュレーション方法
KR101630864B1 (ko) 2008-05-09 2016-06-16 코닌클리케 필립스 엔.브이. 감정을 전달하는 방법 및 시스템
US8437570B2 (en) 2008-05-23 2013-05-07 Microsoft Corporation Geodesic image and video processing
AU2009253838B2 (en) 2008-06-02 2015-05-28 Andrew Robert Dalgleish An item recommendation system
US20100049633A1 (en) 2008-08-22 2010-02-25 Myshape, Inc. System and method to identify and visually distinguish personally relevant items
US8704832B2 (en) 2008-09-20 2014-04-22 Mixamo, Inc. Interactive design, synthesis and delivery of 3D character motion data through the web
US9996844B2 (en) 2008-09-30 2018-06-12 Excalibur Ip, Llc Age-targeted online marketing using inferred age range information
US8749556B2 (en) 2008-10-14 2014-06-10 Mixamo, Inc. Data compression for real-time streaming of deformable 3D models for 3D animation
US8159504B2 (en) 2008-10-16 2012-04-17 At&T Intellectual Property I, L.P. System and method for presenting an avatar
US8982122B2 (en) 2008-11-24 2015-03-17 Mixamo, Inc. Real time concurrent design of shape, texture, and motion for 3D character animation
US8659596B2 (en) 2008-11-24 2014-02-25 Mixamo, Inc. Real time generation of animation-ready 3D character models
WO2010060113A1 (en) 2008-11-24 2010-05-27 Mixamo, Inc. Real time generation of animation-ready 3d character models
US20100191770A1 (en) 2009-01-27 2010-07-29 Apple Inc. Systems and methods for providing a virtual fashion closet
US10042032B2 (en) 2009-04-29 2018-08-07 Amazon Technologies, Inc. System and method for generating recommendations based on similarities between location information of multiple users
US8364561B2 (en) 2009-05-26 2013-01-29 Embodee Corp. Garment digitization system and method
US8700477B2 (en) 2009-05-26 2014-04-15 Embodee Corp. Garment fit portrayal system and method
US20100313141A1 (en) 2009-06-03 2010-12-09 Tianli Yu System and Method for Learning User Genres and Styles and for Matching Products to User Preferences
CN101937078B (zh) 2009-06-30 2012-12-19 深圳市气象局 基于边界识别追踪技术的雷暴云团的临近预报方法和系统
US8818883B2 (en) 2009-07-23 2014-08-26 Apple Inc. Personalized shopping avatar
US8736606B2 (en) 2010-02-01 2014-05-27 SathyaKumar Andre Ramalingam Method and apparatus to create 3-dimensional computer models of persons from specially created 2-dimensional images
US8090465B2 (en) 2010-03-04 2012-01-03 Belinda Luna Zeng Fashion design method, system and apparatus
US8429025B2 (en) 2010-03-17 2013-04-23 Amanda Fries Method, medium, and system of ascertaining garment size of a particular garment type for a consumer
US20110234591A1 (en) 2010-03-26 2011-09-29 Microsoft Corporation Personalized Apparel and Accessories Inventory and Display
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US8525828B1 (en) 2010-05-05 2013-09-03 Amazon Technologies, Inc. Visualization of fit, flow, and texture of clothing items by online consumers
NL1037949C2 (nl) 2010-05-10 2011-11-14 Suitsupply B V Werkwijze voor het op afstand bepalen van kledingmaten.
US10702216B2 (en) 2010-06-08 2020-07-07 Styku, LLC Method and system for body scanning and display of biometric data
US20160088284A1 (en) 2010-06-08 2016-03-24 Styku, Inc. Method and system for determining biometrics from body surface imaging technology
US20110298897A1 (en) 2010-06-08 2011-12-08 Iva Sareen System and method for 3d virtual try-on of apparel on an avatar
US10332176B2 (en) 2014-08-28 2019-06-25 Ebay Inc. Methods and systems for virtual fitting rooms or hybrid stores
US8797328B2 (en) 2010-07-23 2014-08-05 Mixamo, Inc. Automatic generation of 3D character animation from 3D meshes
WO2012016052A1 (en) 2010-07-28 2012-02-02 True Fit Corporation Fit recommendation via collaborative inference
US20120030062A1 (en) 2010-07-29 2012-02-02 True Fit Corporation Enabling proxy shopping
US20120054059A1 (en) 2010-08-28 2012-03-01 Ebay Inc. Size mapping in an online shopping environment
US8758282B2 (en) 2010-09-29 2014-06-24 Covidien Lp Compression garment apparatus having support bladder
US20120095589A1 (en) 2010-10-15 2012-04-19 Arkady Vapnik System and method for 3d shape measurements and for virtual fitting room internet service
WO2012061834A1 (en) 2010-11-07 2012-05-10 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for interactive garment modeling and editing
WO2012071576A2 (en) 2010-11-24 2012-05-31 Dhiraj Daway System and method for providing wardrobe assistance
US8711175B2 (en) 2010-11-24 2014-04-29 Modiface Inc. Method and system for simulating superimposition of a non-linearly stretchable object upon a base object using representative images
EP2671373B1 (en) 2011-02-05 2017-12-06 Apple Inc. Method and apparatus for mobile location determination
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
US20120233003A1 (en) 2011-03-08 2012-09-13 Bank Of America Corporation Providing retail shopping assistance
US9135738B2 (en) 2011-05-02 2015-09-15 Disney Enterprises, Inc. Efficient elasticity for character skinning
US8565539B2 (en) 2011-05-31 2013-10-22 Hewlett-Packard Development Company, L.P. System and method for determining estimated age using an image collection
US9241184B2 (en) 2011-06-01 2016-01-19 At&T Intellectual Property I, L.P. Clothing visualization
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
CN102890742A (zh) 2011-07-18 2013-01-23 张炯 一种服饰虚拟综合展示软件
US9449323B2 (en) 2011-07-22 2016-09-20 At&T Intellectual Property I, Lp Method and apparatus for monitoring usage of items
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US20130071584A1 (en) 2011-09-16 2013-03-21 Jonathan Arnold Bell Skins Of Flexible Intelligence
US8780108B2 (en) 2011-11-02 2014-07-15 X-Rite Switzerland GmbH Apparatus, systems and methods for simulating a material
US20130173226A1 (en) 2012-01-03 2013-07-04 Waymon B. Reed Garment modeling simulation system and process
WO2013120851A1 (en) 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
CA2863097C (en) 2012-02-16 2023-09-05 Brown University System and method for simulating realistic clothing
US8687104B2 (en) * 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
PL398681A1 (pl) 2012-04-02 2013-10-14 Incomesolutions Spólka Z Ograniczona Odpowiedzialnoscia Sposób i system przestrzennej wizualizacji obiektów oraz uklad sterowania platforma zawarta w tym systemie, zwlaszcza dla wirtualnej przymierzalni
US20130317950A1 (en) 2012-05-23 2013-11-28 International Business Machines Corporation Customizing a three dimensional virtual store based on user shopping behavior
CN103455501A (zh) 2012-05-30 2013-12-18 盛乐信息技术（上海）有限公司 服装数据库生成方法、服装模型建立方法和试衣方法
US20150366504A1 (en) 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
AU2013204402A1 (en) 2012-06-20 2014-01-16 2-George Enterprises Pty Ltd Body measuring method and garment production method and system
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
RU2504009C1 (ru) 2012-07-10 2014-01-10 Общество С Ограниченной Ответственностью "Дрессформер" Способ обеспечения удаленной примерки и/или выбора одежды
CN102842089A (zh) 2012-07-18 2012-12-26 上海交通大学 基于3d真实人体模型及服装模型的网络虚拟试衣系统
CN104662529B (zh) * 2012-07-25 2019-03-29 阿瓦拉瑞公司 用于高性能分析的数据精炼引擎的系统和方法
US9898742B2 (en) 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
US20140129373A1 (en) 2012-11-02 2014-05-08 Ebay Inc. Item recommendations based on true fit determination
ITBO20120628A1 (it) 2012-11-16 2014-05-17 In Pro Di Inghirami Produzione Dist Ribuzione S P Procedimento e sistema per la realizzazione di capi di abbigliamento su misura.
US10296968B2 (en) 2012-12-07 2019-05-21 United Parcel Service Of America, Inc. Website augmentation including conversion of regional content
US20140180864A1 (en) 2012-12-20 2014-06-26 Ebay Inc. Personalized clothing recommendation system and method
CN103049854A (zh) 2012-12-20 2013-04-17 雷华 一种3d网络购物平台
US9443352B1 (en) 2012-12-21 2016-09-13 Motion Reality, Inc. Navigating through a virtual environment having a real-world elevation characteristics using motion capture
US9489743B2 (en) 2013-03-13 2016-11-08 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US20140279200A1 (en) 2013-03-15 2014-09-18 Ebay Inc. Destination shopping system
WO2014152467A1 (en) 2013-03-15 2014-09-25 Robert Bosch Gmbh System and method for generation of a room model
US20140279289A1 (en) 2013-03-15 2014-09-18 Mary C. Steermann Mobile Application and Method for Virtual Dressing Room Visualization
WO2014182545A1 (en) 2013-05-04 2014-11-13 Vupad Partners, Llc Virtual object scaling in augmented reality environment
AU2014268117B9 (en) 2013-05-13 2020-03-12 mPort Ltd Devices, frameworks and methodologies for enabling user-driven determination of body size and shape information and utilisation of such information across a networked environment
WO2014194501A1 (en) * 2013-06-06 2014-12-11 Telefonaktiebolaget L M Ericsson(Publ) Combining a digital image with a virtual entity
US20140368499A1 (en) 2013-06-15 2014-12-18 Rajdeep Kaur Virtual Fitting Room
US9460342B1 (en) 2013-08-05 2016-10-04 Google Inc. Determining body measurements
US9177410B2 (en) 2013-08-09 2015-11-03 Ayla Mandel System and method for creating avatars or animated sequences using human body features extracted from a still image
CN103605832B (zh) 2013-10-26 2016-10-05 上海工程技术大学 预测人体小腿对于服装压力分布的方法
US20150134302A1 (en) 2013-11-14 2015-05-14 Jatin Chhugani 3-dimensional digital garment creation from planar garment photographs
US9773274B2 (en) 2013-12-02 2017-09-26 Scott William Curry System and method for online virtual fitting room
US10366439B2 (en) 2013-12-27 2019-07-30 Ebay Inc. Regional item reccomendations
EP4206870A1 (en) 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
US10653962B2 (en) 2014-08-01 2020-05-19 Ebay Inc. Generating and utilizing digital avatar data for online marketplaces
US9205562B1 (en) 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
US20160092956A1 (en) 2014-09-30 2016-03-31 Jonathan Su Garment size mapping
US20160098723A1 (en) * 2014-10-01 2016-04-07 The Filing Cabinet, LLC System and method for block-chain verification of goods
US10332179B2 (en) 2014-10-23 2019-06-25 Tailored IP, LLC Methods and systems for recommending fitted clothing
US10204375B2 (en) 2014-12-01 2019-02-12 Ebay Inc. Digital wardrobe using simulated forces on garment models
US20160171583A1 (en) 2014-12-12 2016-06-16 Ebay Inc. Systems and methods for determining child clothing size
US10172403B2 (en) 2014-12-12 2019-01-08 Ebay Inc. Body measurement garment for optimal garment fit
US10109112B2 (en) 2014-12-12 2018-10-23 Ebay Inc. Fit simulation garment
US20160180447A1 (en) 2014-12-20 2016-06-23 Ebay Inc. Virtual shopping
US9984409B2 (en) 2014-12-22 2018-05-29 Ebay Inc. Systems and methods for generating virtual contexts
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US9641338B2 (en) * 2015-03-12 2017-05-02 Skuchain, Inc. Method and apparatus for providing a universal deterministically reproducible cryptographic key-pair representation for all SKUs, shipping cartons, and items
US9916458B2 (en) 2015-03-31 2018-03-13 EMC IP Holding Company LLC Secure cloud-based storage of data shared across file system objects and clients
US10310616B2 (en) 2015-03-31 2019-06-04 Ebay Inc. Modification of three-dimensional garments using gestures
US11347878B2 (en) * 2015-06-02 2022-05-31 ALTR Solutions, Inc. Replacing distinct data in a relational database with a distinct reference to that data and distinct de-referencing of database data
US10121019B2 (en) * 2015-06-02 2018-11-06 ALTR Solutions, Inc. Storing differentials of files in a distributed blockchain
EP3317859A1 (en) 2015-07-01 2018-05-09 Dimensionalmechanics Inc. System and method for providing modular online product selection visualization and design services
US10402792B2 (en) * 2015-08-13 2019-09-03 The Toronto-Dominion Bank Systems and method for tracking enterprise events using hybrid public-private blockchain ledgers
US9691161B1 (en) 2015-09-25 2017-06-27 A9.Com, Inc. Material recognition for object identification
US10270965B2 (en) * 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
CA3227439A1 (en) * 2016-02-23 2017-08-31 nChain Holdings Limited Registry and automated management method for blockchain-enforced smart contracts
US10720232B2 (en) 2016-04-13 2020-07-21 Accenture Global Solutions Limited Distributed healthcare records management
WO2018014123A1 (en) * 2016-07-18 2018-01-25 Royal Bank Of Canada Distributed ledger platform for vehicle records
CA3036725A1 (en) 2016-09-14 2018-03-22 Royal Bank Of Canada Credit score platform
US20180082290A1 (en) * 2016-09-16 2018-03-22 Kountable, Inc. Systems and Methods that Utilize Blockchain Digital Certificates for Data Transactions
US20190012666A1 (en) * 2016-09-30 2019-01-10 Cable Television Laboratories, Inc Systems and methods for protecting communications and supply chain information
JP6533771B2 (ja) 2016-11-15 2019-06-19 富士通株式会社 通信方法、装置、及びプログラム
WO2018127511A1 (en) 2017-01-03 2018-07-12 University Of Stavanger User controlled, decentralized, distributed, and secure content distribution
JP6360216B2 (ja) * 2017-02-24 2018-07-18 株式会社バンダイナムコエンターテインメント プログラム、サーバ、端末及びネットワークシステム
US10255342B2 (en) 2017-04-12 2019-04-09 Vijay K. Madisetti Method and system for tuning blockchain scalability, decentralization, and security for fast and low-cost payment and transaction processing
CN107249046A (zh) 2017-08-15 2017-10-13 李俊庄 一种基于区块链的分布式云存储系统构建方法
US20190108482A1 (en) * 2017-10-06 2019-04-11 Sap Se Enablement of procurement processes with asset traceability using blockchain technology
US10796185B2 (en) 2017-11-03 2020-10-06 Facebook, Inc. Dynamic graceful degradation of augmented-reality effects
US10095888B1 (en) 2018-06-04 2018-10-09 Capital One Services, Llc Secure decentralized system utilizing smart contracts, a blockchain, and/or a distributed file system
WO2019236638A1 (en) * 2018-06-06 2019-12-12 Argosoperem Llc Method and system for data storage and retrieval
CN109243583B (zh) 2018-07-09 2020-05-12 研境信息科技(上海)有限公司 基于区块链的医疗影像数据去中心化管理的方法及设备
US11803664B2 (en) 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106415671A (zh) * 2014-06-03 2017-02-15 Metaio有限公司 用于呈现与真实对象相关的数字信息的方法和系统
CN108028871A (zh) * 2015-09-11 2018-05-11 华为技术有限公司 移动设备上的无标记的多用户多对象增强现实
CN108475427A (zh) * 2016-02-18 2018-08-31 微软技术许可有限责任公司 对象扫描能力的实时检测
CN107564063A (zh) * 2017-08-30 2018-01-09 广州华多网络科技有限公司 一种基于卷积神经网络的虚拟物显示方法及装置

Also Published As

Publication number Publication date
US20200111261A1 (en) 2020-04-09
EP3864572A1 (en) 2021-08-18
US20240020421A1 (en) 2024-01-18
EP3864796A1 (en) 2021-08-18
US11803664B2 (en) 2023-10-31
KR102476294B1 (ko) 2022-12-12
WO2020076871A1 (en) 2020-04-16
CN112840596A (zh) 2021-05-25
US11100054B2 (en) 2021-08-24
KR20230004880A (ko) 2023-01-06
US20200110728A1 (en) 2020-04-09
US11487712B2 (en) 2022-11-01
CN112840596B (zh) 2024-04-09
KR20210047326A (ko) 2021-04-29
WO2020076617A1 (en) 2020-04-16
EP4318410A2 (en) 2024-02-07
EP3864796B1 (en) 2024-01-10
EP4318410A3 (en) 2024-04-17
US20210342306A1 (en) 2021-11-04
CN112805721A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN112805721B (zh) 用于生成ar/vr数字内容的数字图像适合性确定
CN109670558B (zh) 使用深度学习的数字图像完成
US9817847B2 (en) Neural network image curation control
CN112771536B (zh) 增强现实数字内容搜索和尺寸确定技术
KR102123780B1 (ko) 자동 가이드식 이미지 캡쳐 및 프레젠테이션
US10769718B1 (en) Method, medium, and system for live preview via machine learning models
EP2972950B1 (en) Segmentation of content delivery
WO2015200782A1 (en) 3-d model generation
AU2014275410A1 (en) Evaluating image sharpness
EP3090424A1 (en) Assigning virtual user interface to physical object
KR102649848B1 (ko) 디지털 이미지 캡처 세션 및 메타데이터 연관
US11397764B2 (en) Machine learning for digital image selection across object variations
US20140267408A1 (en) Real world analytics visualization
CN112204623A (zh) 着色三维数字模型生成
US10002377B1 (en) Infrared driven item recommendations
US20230041795A1 (en) Machine learning artificial intelligence system for producing 360 virtual representation of an object
KR102667525B1 (ko) Ar/vr 디지털 콘텐츠를 생성하기 위한 디지털 이미지 적합성 결정
US20230315373A1 (en) System and method for automatically curating and displaying images
EP4220577A1 (en) Prospective object search techniques based on removed objects
CN118037377A (zh) 引导捕获方法
CN115810100A (zh) 确定物体放置平面的方法、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant