CN111295234A - 用于经由玩游戏生成环境的详细数据集的方法和系统 - Google Patents

用于经由玩游戏生成环境的详细数据集的方法和系统 Download PDF

Info

Publication number
CN111295234A
CN111295234A CN201880071863.4A CN201880071863A CN111295234A CN 111295234 A CN111295234 A CN 111295234A CN 201880071863 A CN201880071863 A CN 201880071863A CN 111295234 A CN111295234 A CN 111295234A
Authority
CN
China
Prior art keywords
environment
computing device
data
stored
additional data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880071863.4A
Other languages
English (en)
Inventor
R·M·希克曼
裴秀贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Niantic Inc
Original Assignee
Niantic Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Niantic Inc filed Critical Niantic Inc
Publication of CN111295234A publication Critical patent/CN111295234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种示例方法包括从计算设备的相机获取环境的图像，并且然后基于图像与数据库中的存储的数据集的第一比较，确定存储的数据集缺少环境的一个或多个细节。随后，该方法包括由计算设备提供指示获取环境的附加数据的请求的命令，并且响应于该命令，从计算设备的一个或多个传感器获取环境的附加数据。该方法还包括基于与数据库中的存储的数据集的第二比较，确定环境的附加数据与存储的数据集中的环境的数据不同，并且然后在计算设备的界面上提供针对玩游戏的一个或多个点数。

Description

用于经由玩游戏生成环境的详细数据集的方法和系统
相关申请的交叉引用
本申请要求于2017年9月8日提交的美国非临时专利申请No.15/699,459的权益，其通过引用并入本文。
技术领域
本公开总体上涉及收集环境和/或环境中的对象的数据的方法，并且更具体地涉及通过使用在计算设备的界面上具有玩游戏的激励数据收集来生成环境和/或环境中的对象的详细数据集。
背景技术
当今存在多种收集环境和/或环境中的对象的数据的方法，但是由于个体数据收集器遍历感兴趣区域以捕获和收集数据，所以大多数方法既耗时又昂贵。所捕获的数据包括图像例如以生成区域的地图或记录某个时间点的区域的细节。
大区域的一些数据收集工作已经转向使用众包以降低成本并且能够访问更大的数据收集器池。但是，仍然存在有关数据质量和数据收集差距的问题。很难使数据收集器池协同工作并且以遍历所有感兴趣区域的地理方式收集数据，并且收集所有类型的感兴趣数据。此外，很难确定是否已经捕获并且因此记录了环境中的对象的所有感兴趣数据。因此，需要改进。
发明内容
在一个示例中，描述了一种计算机实现的方法。该方法包括：从计算设备的相机获取环境的图像，基于图像与数据库中的存储的数据集的第一比较来确定存储的数据集缺少环境的一个或多个细节，以及由计算设备提供指示获取环境的附加数据的请求的命令。该方法还包括：响应于该命令而从计算设备的一个或多个传感器获取环境的附加数据，基于与数据库中的存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同，以及基于环境的附加数据与存储的数据集中的环境的数据不同，在计算设备的界面上提供针对玩游戏的一个或多个点数。
在另一示例中，描述了一种计算设备，该计算设备包括相机、一个或多个传感器、至少一个处理器、存储器和被存储在存储器中的程序指令，这些程序指令在由至少一个处理器执行时引起计算设备执行操作。这些操作包括：从相机获取环境的图像，基于图像与数据库中的存储的数据集的第一比较来确定存储的数据集缺少环境的一个或多个细节，以及提供指示获取环境的附加数据的请求的命令。这些操作还包括：响应于该命令而从一个或多个传感器获取环境的附加数据，基于与数据库中的存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同，以及基于环境的附加数据与存储的数据集中的环境的数据不同来在计算设备的界面上提供针对玩游戏的一个或多个点数。
在又一示例中，描述了一种其中存储有指令的非暂态计算机可读介质，该指令在由计算设备执行时引起计算设备执行功能。这些功能包括：从计算设备的相机获取环境的图像，基于图像与数据库中的存储的数据集的第一比较来确定存储的数据集缺少环境的一个或多个细节，以及提供指示获取环境的附加数据的请求的命令。这些功能还包括响应于该命令而从计算设备的一个或多个传感器获取环境的附加数据，基于与数据库中的存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同，以及基于环境的附加数据与存储的数据集中的环境的数据不同来在计算设备的界面上提供针对玩游戏的一个或多个点数。
已经讨论的特征、功能和优点可以在各种示例中独立地实现，或者可以在其他示例中组合，可以参考以下描述和附图来查看其另外的细节。
附图说明
所附权利要求中提出了被认为是说明性实施例的特性的新颖特征。然而，当结合附图阅读时，通过参考以下对本公开的说明性示例的详细描述，将能够最好地理解说明性示例、以及优选使用模式、另外的目的及其描述，在附图中：
图1示出了根据示例实现的示例系统。
图2示出了根据示例实现的计算设备的示例。
图3示出了根据示例实现的机器人设备的示例。
图4示出了根据示例实现的示例方法的流程图。
图5示出了根据示例实现的用于与该方法一起使用的示例方法的流程图。
图6示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图7示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图8示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图9示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图10示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图11示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图12示出了根据示例实现的用于与该方法一起使用的示例方法的另一流程图。
图13是根据示例实现的包括对象的环境的示例二维(2D)图像的概念图。
图14是根据示例实现的环境的示例附加数据的概念图。
图15是根据示例实现的对象的另一示例附加数据的概念图。
图16是根据示例实现的对象的另一示例附加数据的概念图。
图17是根据示例实现的对象的另一示例附加数据的概念图。
图18是根据示例实现的对象的另一示例附加数据的概念图。
图19是根据示例实现的在计算设备的显示器的界面上的示例玩游戏的图示。
图20是根据示例实现的用于执行本文中描述的方法的示例场景的概念图。
具体实施方式
现在将在下文中参考附图更充分地描述所公开的示例，在附图中示出了一些但并非全部公开的示例。实际上，可以提供几个不同的示例，并且这些示例不应当被解释为限于本文中阐述的示例。而是，提供这些示例以使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达本公开的范围。
本文中描述了用于数据收集的游戏化的系统和方法。一个示例计算机实现的方法包括：从计算设备的相机获取环境的图像，基于图像与数据库中的存储的数据集的第一比较来确定存储的数据集缺少环境的一个或多个细节。随后，计算设备提供指示获取环境的附加数据的请求的命令(例如，音频或视觉)，并且响应于该命令，可以从计算设备的一个或多个传感器获取环境附加数据。随后，该方法包括基于与数据库中的存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同，并且基于环境的附加数据与存储的数据集中的环境的数据不同，在计算设备的界面上提供针对玩游戏的一个或多个点数。
一个示例设备包括相机、一个或多个传感器、至少一个处理器、存储器和被存储在存储器中的程序指令，这些程序指令在由至少一个处理器执行时引起计算设备执行操作。这些操作包括用于数据收集的游戏化的功能。
在示例场景中，计算设备被编程为向用户询问问题，以引起或激励收集整个环境(例如，房屋)的地图的数据，并且在计算设备的界面上以针对玩游戏的点数的形式提供反馈。游戏化通过游戏中的奖励和其他反馈(诸如鼓励(例如，“干得好！”的指示))来提供参与动力。此外，可以对计算设备进行编程，以询问有关区域的细节的问题，以便能够对所收集的数据进行标记(例如，“这是谁的房间？”)。当在进一步完成存储的数据集的计算时接收到数据时，将通过玩游戏界面提供其他点数和奖励。
有利地，本文中公开的系统和方法可以通过提供玩游戏界面以使数据收集变得有趣且容易并且还朝着感兴趣区域(例如，数据集缺少细节的区域)引导用户来促进数据收集。对数据收集进行游戏化创造了一种体验，在该体验中，引导用户收集环境的建筑面积(square footage)的数据，并且当数据表示以前未收集的新的建筑面积时，将通过玩游戏界面提供点数/奖励。
在其他示例中，创建了一种虚拟游戏，其中提供了奖励/得分以引起用户收集有价值的数据。目标是提示用户从未知区域收集数据和/或标记数据，这些数据最终可以用于训练各种机器学习系统。
在下文中，参考附图描述这些系统和方法的各种其他特征。
现在参考图1，示出了示例系统100。特别地，图1示出了用于(多个)对象和/或(多个)环境的数据收集的示例系统100。如图1所示，系统100包括机器人设备102a、102b、至少一个服务器设备104、主机设备106、计算设备108和通信网络110。
机器人设备102a、102b可以是具有至少一个传感器并且被配置为根据本文中描述的实施例记录传感器数据的任何类型的设备。在一些情况中，机器人设备102a、102b还可以包括促进在环境内移动的运动能力(例如，驱动系统)。
如图1所示，机器人设备102a可以经由通信网络110向服务器设备104和/或主机设备106发送数据112和/或从服务器设备104和/或主机设备106接收数据114。例如，机器人设备102a可以经由通信网络110向服务器设备104发送传感器数据的日志。另外地或备选地，机器人设备102a可以从服务器设备104接收机器学习模型数据。类似地，机器人设备102a可以经由通信网络110向主机设备106发送传感器数据的日志，和/或从主机设备106接收机器学习模型数据。此外，在一些情况中，与经由通信网络110相反，机器人设备102a可以直接向主机设备106发送数据和/或从主机设备106接收数据。
服务器设备104可以是被配置为执行本文中描述的计算设备操作的任何类型的计算设备。例如，服务器设备104可以包括远程服务器设备，并且可以被称为“基于云的”设备。在一些示例中，服务器设备104可以包括其中计算任务分布在多个服务器设备之间的基于云的服务器集群。与上面的讨论相一致，服务器设备104可以被配置为经由通信网络110向机器人设备102a发送数据114和/或从机器人设备102a接收数据112。服务器设备104可以包括被配置为训练机器学习模型的机器学习服务器设备。
像服务器设备104一样，主机设备106可以是被配置为执行本文中描述的计算设备操作的任何类型的计算设备。然而，与服务器设备104不同，主机设备106可以与机器人设备102a位于同一环境中(例如，在同一建筑物中)。在一个示例中，机器人设备102a可以与主机设备106对接以充电、下载和/或上传数据。
尽管机器人设备102a能够经由通信网络110与服务器设备104通信并且能够与主机设备106通信，但是在一些示例中，机器人设备102a可以执行本文中描述的计算设备操作。例如，机器人设备102a可以包括被布置为执行本文中描述的计算设备操作的内部计算系统和存储器。
在一些示例中，机器人设备102a可以经由无线接口与机器人设备102b无线通信。例如，机器人设备102a和机器人设备102b都可以在同一环境中操作，并且不时共享关于环境的数据。
计算设备108可以执行关于机器人设备102a、102b而描述的所有功能，不同之处在于，计算设备108可能缺少在环境中自主移动的运动能力(例如，驱动系统)。例如，计算设备108可以采取以下形式：台式计算机、膝上型计算机、移动电话、PDA、平板设备、智能手表、可穿戴计算设备、手持式相机计算设备、或任何类型的移动计算设备。计算设备108还可以经由通信网络110向服务器设备104发送数据116和/或从服务器设备104接收数据118。
通信网络110可以对应于局域网(LAN)、广域网(WAN)、公司内部网、公共互联网、或被配置为在设备之间提供通信路径的任何其他类型的网络。通信网络110还可以对应于一个或多个LAN、WAN、公司内部网和/或公共互联网的组合。通信网络110与机器人设备102a、机器人设备102b和计算设备108之间的通信可以是无线通信(例如，WiFi、Bluetooth等)。
图2示出了根据示例实施例的计算设备108的示例。图2示出了被布置为根据本文中描述的实施例进行操作的可以被包括在计算设备108中的一些组件。计算设备108可以用于执行本文中描述的方法的功能。
计算设备108被示出为包括(多个)处理器120，并且还包括分别被连接到信总线134的通信接口122、数据存储装置(存储器)124、输出接口126、显示器128、相机130和传感器132。计算设备108还可以包括用于在计算设备108内以及在计算设备108与其他设备(未示出)之间实现通信的硬件。例如，硬件可以包括发射器、接收器和天线。
通信接口122可以是无线接口和/或一个或多个有线接口，这些接口允许与一个或多个网络或与一个或多个远程设备的短距离通信和长距离通信。这样的无线接口可以提供一种或多种无线通信协议下的通信，诸如Bluetooth、WiFi(例如，电气与电子工程师协会(IEEE)802.11协议)、长期演进(LTE)、蜂窝通信、现场通信(NFC)和/或其他无线通信协议。这样的有线接口可以包括以太网接口、通用串行总线(USB)接口、或者用于经由电线、双绞线、同轴电缆、光链路、光纤链路或与有线网络的其他物理连接来进行通信的类似的接口。因此，通信接口122可以被配置为从一个或多个设备接收输入数据，并且还可以被配置为向其他设备发送输出数据。
例如，通信接口122还可以包括诸如键盘、鼠标或触摸屏等用户输入设备。
数据存储装置124可以包括或采取可以由(多个)处理器120读取或访问的一种或多种计算机可读存储介质的形式。计算机可读存储介质可以包括可以与(多个)处理器120整体或部分集成的易失性和/或非易失性存储组件，诸如光学、磁性、有机或其他存储器或磁盘存储。数据存储装置124被认为是非暂态计算机可读介质。在一些示例中，数据存储装置124可以使用单个物理设备(例如，一个光、磁、有机或其他存储器或磁盘存储单元)来实现，而在其他示例中，数据存储装置124可以使用两个或更多个物理设备来实现。
数据存储装置124被示出为包括数据库135，该数据库135可以存储对象和/或环境的数据集。数据集包括已经收集的对象和/或环境的数据，并且可以包括任何类型或数目的数据。
因此，数据存储装置124是非暂态计算机可读存储介质，并且可执行指令136被存储在其上。指令136包括计算机可执行代码。当指令136由(多个)处理器120执行时，(多个)处理器120被引起执行功能。这样的功能包括例如从相机130获取环境的图像，基于图像与数据库135中存储的数据集的第一比较来确定存储的数据集缺少环境的一个或多个细节，提供指示获取环境的附加数据的请求的命令，响应于该命令而从一个或多个传感器132获取环境的附加数据，基于与数据库135中存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同，以及基于环境的附加数据与存储的数据集中的环境的数据不同来在计算设备108的界面129上提供针对玩游戏的一个或多个点数。这些功能在下面更详细地描述。
(多个)处理器120可以是通用处理器或专用处理器(例如，数字信号处理器、专用集成电路等)。(多个)处理器120可以包括一个或多个CPU，诸如一个或多个通用处理器和/或一个或多个专用处理器(例如，专用集成电路(ASIC)、数字信号处理器(DSP)、网络处理器等)。例如，(多个)处理器170可以包括用于训练和/或推断机器学习模型的张量处理单元(TPU)。(多个)处理器120可以从通信接口122接收输入，并且处理输入以生成输出，该输出被存储在数据存储装置124中并且被输出到显示器128。(多个)处理器120可以被配置为执行可执行指令136(例如，计算机可读程序指令)，可执行指令136被存储在数据存储装置124中并且可执行以提供本文中描述的计算设备108的功能。
输出接口126向显示器128或其他组件输出信息。因此，输出接口126可以类似于通信接口122，并且也可以是无线接口(例如，发射器)或有线接口。
显示器128包括界面129。界面129可以是或包括用于在显示器128上显示的图形用户界面(GUI)。界面129使得用户能够与视觉显示器交互并且接受以期望方式说明和收集数据的用户输入/指令。界面129可以是标准类型的用户界面的GUI，其允许用户与除了文本之外还采用图形图像的计算机交互以表示用户可用的信息和动作。例如，动作可以通过直接操纵图形元素来执行，该图形元素包括窗口、按钮、菜单和滚动条。
相机130可以包括用于捕获对象和环境的2D图像的高分辨率相机。
传感器132包括多个传感器，诸如深度相机137、惯性测量单元(IMU)138、一个或多个运动跟踪相机140、一个或多个雷达142、一个或多个麦克风阵列144和一个或多个接近传感器146。也可以包括更多或更少的传感器。
深度相机137可以被配置为恢复与环境中的对象的深度有关的信息，诸如对象的三维(3D)特性。例如，深度相机137可以是或包括RGB红外(RGB-IR)相机，该RGB-IR相机被配置为捕获投影的红外图案的一个或多个图像并且将图像提供给处理器，处理器使用各种算法进行三角测量和并且提取3D数据并且输出一个或多个RGBD图像。红外图案可以通过与深度相机137集成的投影仪来投影。备选地，红外图案可以通过与深度相机137(未示出)分离的投影仪来投影。
IMU 138可以被配置为确定机器人设备的速度和/或取向。在一个示例中，IMU可以包括3轴陀螺仪、3轴加速度计、3轴罗盘、以及用于处理运动信息的一个或多个处理器。
运动跟踪相机140可以被配置为通过捕获和处理图像(例如，RGB-IR图像)来检测和跟踪对象的移动。在一些情况中，运动跟踪相机140可以包括能够在低亮度照明条件下进行检测的一个或多个IR发光二极管(LED)。运动跟踪相机140可以包括诸如180度FOV等宽视场(FOV)。在一个示例配置中，计算设备108可以包括被配置为在计算设备108的第一侧捕获图像的第一运动跟踪相机和被配置为在计算设备108的相反侧捕获图像的第二运动跟踪相机。
雷达142可以包括使用电磁波来确定环境中对象的范围、角度或速度的对象检测系统。雷达142可以通过将激光脉冲发射到环境中并且使用一个或多个传感器测量反射脉冲来进行操作。在一个示例中，雷达142可以包括具有诸如150度FOV等宽FOV的固态毫米波雷达。
麦克风144可以包括单个麦克风或串联操作以执行诸如记录音频数据等一个或多个功能的多个麦克风(布置为麦克风阵列)。在一个示例中，麦克风144可以被配置为使用声源定位来定位声源。
接近传感器146可以被配置为检测计算设备108的范围内的对象的存在。例如，接近传感器146可以包括红外接近传感器。在一个示例中，计算设备108可以包括多个接近传感器，其中每个接近传感器被布置为检测在计算设备108的不同侧(例如，前面、后面、左侧、右侧等)的对象。
图3示出了根据示例实施例的机器人设备200的示例。图2示出了被布置为根据本文中描述的实施例进行操作的可以被包括在机器人设备200中的一些组件。机器人设备200可以用于执行本文中描述的方法的功能。
机器人设备200可以包括计算设备108的相同或相似的组件(和/或可以包括计算设备108)，包括分别被连接到通信总线134的(多个)处理器120、通信接口122、数据存储装置(存储器)124、输出接口126、显示器128、相机130和传感器132。这些组件的描述与以上针对计算设备108的描述相同。机器人设备200还可以包括用于实现机器人设备200内以及机器人设备200与其他设备(未示出)之间的通信的硬件。例如，硬件可以包括发射器、接收器和天线。
在一些示例中，机器人设备200还包括用于玩游戏的界面129以示出所奖励的点数。在其他示例中，机器人设备200可以另外地或备选地用于图2的计算设备108(其可以是智能电话的形式)以用于数据收集，并且机器人设备200可以与计算设备108无线地通信以告知在玩游戏过程中的奖励点数的数据收集的成功。然后，例如，图2中的计算设备的显示器128上的界面129可以示出这些点数。
机器人设备200还可以包括附加传感器132，诸如(多个)接触传感器148和有效载荷传感器150。
(多个)接触传感器148可以被配置为在机器人设备200接触对象时提供信号。例如，(多个)接触传感器148可以是机器人设备200的外表面上的物理碰撞传感器，当(多个)接触传感器148与对象接触时，该物理碰撞传感器提供信号。
有效载荷传感器150可以被配置为测量由机器人设备200携带的有效载荷的重量。例如，有效载荷传感器150可以包括被配置为提供与施加到机器人设备200的平台或其他表面的力成比例的电信号的称重传感器。
如图3进一步所示，机器人设备200还包括耦合到计算设备108的机械系统152，并且机械系统152包括驱动系统154和辅助系统156。驱动系统154可以包括一个或多个电机、轮子、和可以被控制以引起机器人设备200在环境中移动(例如，在地板上移动)的其他组件。在一个示例中，驱动系统154可以包括可以被控制以引起机器人设备200在任何方向上驱动的全向驱动系统。
辅助系统156可以包括被配置为促进附件任务的执行的一个或多个机械组件。作为一个示例，辅助系统156可以包括被配置为促进真空的电机和风扇。例如，电机可以引起风扇旋转以产生吸力并且促进通过进气口收集污垢、灰尘或其他碎屑。作为另一示例，辅助系统156可以包括被配置为竖直地升高机器人设备200的平台或其他结构使得放置在平台或结构之上的任何对象被抬离地面的一个或多个致动器。在一个示例中，辅助系统156可以被配置为提升约10公斤的有效载荷。取决于机器人设备200的期望活动，其他示例也是可能的。
在示例内，计算设备108可以由用户使用，和/或机器人设备102a、102b可以被编程为收集数据作为计算设备108和/或机器人设备102a、102b的界面上的玩游戏的功能。在示例场景中，可以引用对象识别器(例如，通过(多个)服务器设备104和/或在计算设备108和机器人设备102a、102b上)以在图像中点出期望其更多信息(例如，对象的更多姿势)的对象。然后，计算设备108可以提供通知用户捕获对象的附加姿势的命令。该命令可以在计算设备108上在玩游戏期间被提供作为指令。随着成功捕获新的姿势，在游戏中向用户提供奖励/得分以激励数据收集。作为特定示例，在玩游戏期间，用户走进房屋并且计算设备108获取房间的一部分的图像帧。云对象识别器确定图像帧包括壁炉，并且计算设备108通过游戏提供要求用户靠近壁炉以从很多不同的角度捕获图像的命令。在成功捕获新的图像帧时，可以将点数授予用户在游戏中的得分。
如本文中使用的，术语“玩游戏”可以是指在计算设备上执行应用，其中计算设备被编程为请求输入并且向用户提供激励以完成任务以引起计算设备收集或聚集所请求的输入。玩游戏还可以包括战略挑战以供用户满足以接收激励奖励，诸如收集现实世界中的物理对象的某些数据或图像以接受奖励。例如，就由服务提供商提供的金钱而言，奖励可以是真实的，或者就用于提高用户得分的GUI而言，奖励可以是虚构的。因此，例如，术语“玩游戏”包括游戏应用的执行(例如，包括用户/玩家使用计算设备来执行具有与游戏规则相关联的应用)、以及与模拟类型具有相似关联规则的其他应用的执行。
图4示出了根据示例实现的示例方法400的流程图。图4所示的方法400呈现了一种方法的实施例，该方法例如可以由计算设备或机器人设备执行，诸如本文中的任何附图中描绘的任何计算设备或机器人设备。这样，方法400可以是计算机实现的方法。应当理解，对于本文中公开的这个和其他过程和方法，流程图示出了本实施例的一种可能的实现的功能和操作。如本领域技术人员所理解的，替代实现被包括在本公开的示例实施例的范围内，其中取决于所涉及的功能，功能可以以与所示出或所讨论的顺序不同的顺序执行，包括基本上并发或按相反的顺序执行。
方法400可以包括由框402-412中的一个或多个示出的一个或多个操作、功能或动作。应当理解，对于本文中公开的该过程和方法以及其他过程和方法，流程图示出了本示例的一种可能实现的功能和操作。在这点上，每个框可以表示程序代码的模块、段或一部分，其包括由处理器可执行以实现过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可以被存储在任何类型的计算机可读介质或数据存储上，例如，包括磁盘或硬盘驱动器的存储设备。此外，程序代码可以以机器可读格式编码在计算机可读存储介质上，或者编码在其他非暂态介质或制品上。计算机可读介质可以包括非暂态计算机可读介质或存储器，例如，诸如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)等短时间存储数据的计算机可读介质。计算机可读介质还可以包括非暂态介质，诸如二级或永久性长期存储，如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。例如，计算机可读介质可以被认为是有形的计算机可读存储介质。
另外，图4中以及本文中公开的其他过程和方法内的每个框可以表示被连线以在该过程中执行特定逻辑功能的电路系统。如本领域技术人员所理解的，替代实现被包括在本公开的示例的范围内，其中取决于所涉及的功能，功能可以以与所示出或所讨论的顺序不同的顺序执行，包括基本上并发或按相反的顺序执行。
图4中的方法400可以由计算设备108、机器人设备102a、102b和/或计算设备108和机器人设备102a、102b的组合来执行。下面，在示例场景中将方法400描述为由计算设备108执行，计算设备108也可以被认为是机器人设备102a、102b的一部分(如参考图3所描述的)。
在一些示例中，方法400可以作为在计算设备108上正在玩的游戏来执行，或者方法400的各部分可以是游戏的玩游戏的功能。
在框402处，方法400包括从计算设备108的相机130获取环境的图像。例如，用户可以使用计算设备108来捕获对象的图像。
在框404处，方法400包括基于图像与数据库135中存储的数据集的第一比较来确定存储的数据集缺少环境的一个或多个细节。在一些示例中，存储数据集的数据库135也可以在(多个)服务器设备104内，并且因此，计算设备108可以将图像发送到(多个)服务器设备104以进行第一比较。
第一比较可以涉及图像中的对象的对象识别。例如，可以参考云对象识别器来确定图像包括对象的图像。随后，第一比较可以包括确定存储的数据集是否包括识别出的对象的任何图像，并且如果是这样，则包括图像的数目和图像的类型。作为示例，第一比较可以包括确定对象的阈值数目的姿势是否被存储在数据集中，并且该阈值可以是任何数目(例如，诸如15-20个，或者可能超过100个姿势)。第一比较还可以确定例如数据集中包括的环境和/或对象的图像的阈值数目(例如，20、30或至少50个图像)。
第一比较还可以包括确定图像的类型是否包括各种类型，诸如彩色、黑白、深度图像等。第一比较还可以包括确定存储的数据集中缺少对象和/或环境的其他类型的数据，诸如周围区域的数据、特定于对象本身的数据(例如，制造商、型号、制造年份等)、与对象的音频或对象的周围区域的音频有关的数据、引用对象的所有者或对象的位置的数据、或者以任何方式与对象相关的任何类型和/或数量的数据。
在一个示例中，存储的数据集可以包括环境的平面图(floorplan)，并且可以进行第一比较以确定平面图是完整的还是缺少关于环境的任何部分的数据。
因此，第一比较可以基于多个标准来确定，并且可以在与存储的数据集进行比较以确定数据集是否缺少细节时根据需要设置阈值。在一些示例中，第一比较可以总是确定数据集缺少细节，使得对于玩游戏，这挑战了用户试图捕获环境和/或对象的一些“新的”数据(如下所述)。
被存储在数据库135中的数据集的目标是使用所有类型的可用数据(例如，图像、音频、视频等)充分描述对象和/或环境使得能够生成完整的数据集以表示环境和对象，并且因此，第一比较可以确定数据集缺少环境和/或对象的至少一个方面的细节。
备选地，在一些示例中，当数据集是鲁棒的时，第一比较可以导致不存在缺少细节，并且玩游戏可以通过捕获用于另外的第一比较的附加图像来继续。
在框406处，方法400包括由计算设备108提供指示获取环境的附加数据的请求的命令。一旦确定数据集缺少某些细节，计算设备108或者在玩游戏期间通过界面129上的文本图形来提供命令，或者在玩游戏期间作为音频命令来提供命令。命令向用户指示尝试获取环境和/或对象的附加数据。在一个示例中，命令指示用于获取环境的附加数据的环境的一个或多个区域。在其中环境包括房屋的另一示例中，命令提供指示获取房屋中的特定房间的附加数据的请求的信息。命令还可以指示要收集的特定类型的数据，诸如深度图像、音频数据、2D图像数据等。
在框408处，方法400包括响应于该命令而从计算设备108的一个或多个传感器132获取环境的附加数据。附加数据可以包括获取环境的一个或多个深度图像，使用麦克风144从环境获取音频，使用雷达142获取雷达数据，等等。因此，在玩游戏期间，用户可以利用计算设备108通过使用(多个)传感器132捕获任何和所有类型的可用数据。
在框410处，方法400包括基于与数据库135中存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同。可以执行第二比较以确定新捕获的附加数据是否与数据集中存储的数据不同或以任何方式变化。如果数据发生任何量的变化，则可以认为数据是不同的，诸如捕获先前未被存储在数据集中的新的图像、先前未被存储在数据集中的新的音频、先前未被存储在数据集中的对象/环境的新的信息、先前未存储的新的类型的数据(例如，存储的数据集仅包括图像数据，并且附加数据包括音频)等。
在其他示例中，第二比较可以使用差异阈值来确定附加数据是否与被存储在数据集中的附加数据不同。差异阈值可以设置为任何级别，并且可以基于数据类型而变化。例如，对于图像数据，可以将差异阈值设置为像素强度差异大于50％，像素的颜色差异至少为50％，图像中的像素的内容差异至少为10％，等等。
差异阈值还可以是图像中的所确定的对象的数目，其与所存储的图像中的对象的数目不同。例如，如果附加数据包括图像，则可以利用云对象识别器来确定图像中有多少对象。当与该环境的数据集中存储的对象相比在图像中识别出更多对象时，差异阈值可以满足。
在框412处，方法400包括基于环境的附加数据与存储的数据集中的环境的数据不同来在计算设备108的界面129上提供针对玩游戏的一个或多个点数。可以在玩游戏期间提供任何类型的点数或其他游戏元素，诸如授予或添加到得分的点数、成就(诸如徽章奖励)、在排行榜上的等级提升或排名提高等。
玩游戏可以设置某些时间限制，用户必须返回该时间限制才能完成动作或任务以获取奖励。这鼓励用户定期玩游戏以捕获附加数据以有资格获取奖励。同样，玩游戏可以设置有限的时间来完成任务。
图5示出了根据示例实现的用于与方法400一起使用的示例方法的流程图。在框414处，功能包括基于环境的附加数据生成环境的平面图。例如，命令可以指导用户在环境感兴趣区域上收集数据以使得能够收集足够的数据以生成平面图。在这一示例中，命令可以请求房屋的所有房间的数据收集，并且玩游戏可以包括房屋中的传统房间的清单(例如，厨房、家庭房、(多个)卧室)，并且一旦清单完成，可以创建通用的平面图。
图6示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框416处，功能包括基于对象的图像从服务器104接收对象的标识。在框418处，功能包括基于与数据库135中存储的数据集的第一比较来确定存储的数据集缺少对象的一个或多个细节，并且在框420处，功能包括在命令中提供获取对象的附加数据的请求。随后，在框422、424和426处，功能包括从计算设备108的一个或多个传感器132获取对象的附加数据，基于与数据库135中存储的数据集的第二比较来确定对象的附加数据与存储的数据集中的对象的数据不同，并且基于对象的附加数据与存储的数据集中的对象的数据不同来在界面129上提供针对玩游戏的一个或多个点数。在这一示例中，命令可以提供指示用于获取对象的附加数据的对象的姿势的信息，或者提供用于获取对象的附加数据的一天中的时间(以便使用不同照明来捕获对象的数据)。
图7示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框428处，功能包括用对象的标识标记对象的附加数据，并且在框430处，功能包括将对象的附加数据存储在数据库135中。在这一示例中，当接收到新的附加数据时，计算设备108可以对图像中的内容执行尽可能的对象识别。如果不能识别任何对象，则计算设备108可以提示用户标记对象。
类似地，计算设备108可以提示用户针对所有新近接收的数据标记新的附加数据。在示例场景中，新的数据可以表示房屋中的房间，并且提示可以请求人的标识与该房间相关联。或者，新的数据可以表示对象(例如，鞋子)，并且提示可以请求对象的所有者的标识。
图8示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框432处，功能包括从服务器104接收基于环境的图像的环境中的房间的标识。在框434处，功能包括确定与环境中的房间相关联的对象类别。在框436处，功能包括提供第二命令，该第二命令指示使用计算设备108的一个或多个传感器132获取与环境中的房间相关联的对象类别中的至少一个对象的数据的请求。在示例场景中，当计算设备108经由位置确定、对平面图的参考、或办公室中的对象的对象识别来识别出用户已经走进房屋中的办公室时，计算设备108然后可以将办公用品确定为对象类别并且在玩游戏期间提供命令，该命令指示获取数据库135中的数据集可能缺少细节的特定办公用品的数据的请求。然后，用户可以捕获所请求的办公用品的数据以在玩游戏期间获取附加点数和奖励。
因此，当用户在整个环境中行走时，计算设备108确定计算设备108的位置并且确定数据集缺少其细节的与该位置相关联的对象。这使得计算设备108能够请求与计算设备108的位置高度相关并且在数据集中也缺少细节的特定对象的附加数据。
图9示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框438处，功能包括在计算设备108的显示器128上提供被叠加到环境的视图上的增强现实(AR)图形角色(character)，并且在框440处，功能包括引起AR图形角色在计算设备108的显示器128移动，作为进入数据库135中存储的数据集缺少环境的一个或多个细节的环境的区域的指示。下面参考图21描述示例。
图10示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框442处，功能包括确定环境的图像包括执行动作的人，并且在框444处，功能包括确定存储的数据集缺少与该人的图像相关联的动作的标识。在框446处，功能包括在命令中提供获取动作的标识的请求。在这一示例中，玩游戏指示用户帮助标记正在执行以训练计算设备108的活动，并且将这样的信息存储在数据集中。以这种方式，例如，数据集也可以被参考以执行活动识别功能。
图11示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框448处，功能包括确定环境的图像包括人的面部，并且在框450处，功能包括确定存储的数据集缺少与人的面部的图像相关联的情感的标识。在框452处，功能包括在命令中提供获取情感的标识的请求。在这一示例中，玩游戏具有启用情感的数据的收集的功能。通过请求在图像中的人的名字的标签以及在图像中的人的情感的标识以便将特定情感与特定人相关联，还可以增强玩游戏。人可以以不同方式传达情感，并且例如，玩游戏可以用于训练计算设备108如何标识特定人的特定情感。
图12示出了根据示例实现的用于与方法400一起使用的示例方法的另一流程图。在框454处，功能包括确定环境的图像包括人，并且在框456处，功能包括在命令中提供人执行一个或多个动作的请求。在框458处，功能包括从计算设备的一个或多个传感器获取包括执行一个或多个动作的人的附加图像的环境的附加数据。示例场景包括玩游戏提示人执行某些动作使得计算设备108可以收集与这些动作相关联的数据。动作可以是任何事情，诸如请求人“跳舞”，并且在跳舞的人的成功收集数据之后，在界面129上在玩游戏期间提供点数和/或奖励。然后，计算设备108可以将所收集的数据(例如，跳舞的人的图像和视频)与动作或动词“跳舞”相关联。
在另一类似示例中，玩游戏可以提示人向计算设备108示出特定对象使得可以收集对象的数据。以这种方式，玩游戏指示用户收集数据集缺少其细节的对象的数据，并且因此，玩游戏将数据收集控制为感兴趣项目的数据。玩游戏还可以指示收集特定类型的附加数据(例如，对象的特定姿势等)。
在又一类似示例中，玩游戏可以提示用户微笑、皱眉或执行具有任何类型的情感的面部表情。然后，使用前置相机，计算设备108可以捕获人的图像并且将该图像与特定情感相关联。这还使得能够生成数据集以包括例如被标记的特定情感的图像。
图13-18是根据示例实现的环境的收集的数据的概念图。图13是包括对象500(例如，沙发)的环境的示例二维(2D)图像的概念图。随后，计算设备108可以基于图像与数据库中的存储的数据集的第一比较来确定存储的数据集缺少环境和/或对象500的一个或多个细节，并且然后提供指示获取环境的附加数据的请求的命令。这样，可以获取沙发的附加数据和沙发的环境。
图14是根据示例实现的环境的示例附加数据的概念图。在图14中，对象500的不同视角或姿势被计算设备108或机器人设备200的相机捕获。该视角被示出为来自特定角度以提供例如不同视点。
图15是根据示例实现的对象500的另一示例附加数据的概念图。在图15中，对象500的另一不同视角或姿势被计算设备108或机器人设备200的相机捕获。该视角被示出为例如来自背面以提供不同视点。
图16是根据示例实现的对象500的另一示例附加数据的概念图。在图16中，从更远的距离捕获对象500的图像以提供又一透视视点。
图17是根据示例实现的对象500的另一示例附加数据的概念图。在图17中，从更近的距离捕获对象500的图像以提供对象500的一部分的另一透视图。
图18是根据示例实现的对象500的另一示例附加数据的概念图。在图18中，利用不同的适当的照明来捕获对象500的图像。例如，在图18中，灯502亮着并且将光照射到对象500上或附近。
在捕获图14-18中概念性示出的任何一个或多个附加数据之后，计算设备108然后基于与数据库中的存储的数据集的第二比较来确定环境的附加数据与存储的数据集中的环境的数据不同。当数据不同时，计算设备108在计算设备108的界面129上提供针对玩游戏的一个或多个点数。
图19是根据示例实现的在计算设备108的显示器128的界面129上的示例玩游戏的图示。如图19所示，计算设备108确定收集到新数据，该新数据先前未被包括在数据库中的存储的数据集中，并且在玩游戏期间奖励点数(例如，“得分：60”)。例如，通过圈出由新数据捕获和表示的感兴趣区域或对象，可以在界面129上突出显示新的数据。
图20是根据示例实现的用于执行本文中描述的方法的示例场景的概念图。示出了示例计算设备600，其中AR图形角色602覆盖到由计算设备108的相机捕获的环境604的视图上。计算设备108被编程为引起AR图形角色602在计算设备108的显示器128上移动，作为进入数据库135中存储的数据集缺少环境的一个或多个细节的环境的区域的指示。在这一示例中，AR图形角色602向左移动，从而鼓励用户也将计算设备108向左移动以引起计算设备108在表示环境的方向上捕获信息。一旦确认成功捕获的信息与存储的数据集中的数据不同，在玩游戏期间奖励一定数量的点数作为得分，如图20所示。
在一些示例中，可以通过将图形叠加到界面129上以供AR图形角色602与之交互来将环境的几何图形表示为游戏本身的一部分，并且在用户移动计算设备108以使得AR图形角色602能够与不同的几何图形交互的同时，可以使用计算设备108的任何传感器132执行数据收集。例如，这样的方法使用玩游戏来鼓励用户捕获环境的更多细节或捕获以前未扫描的区域。
任何计算设备可以生成增强现实(AR)图形，诸如移动计算设备(例如，智能手机或平板电脑)或可穿戴计算设备(例如，头戴式显示器)。同样，玩游戏可以包括在物理对象与软件机器人之间的虚拟玩游戏，其形式为在模拟期间渲染的AR图形角色602。例如，计算设备可以使用传感器数据的日志来生成在环境中移动的软件机器人的模拟。在模拟中，软件机器人可以采用与捕获传感器数据的日志的机器人设备采用的路径相同或不同的路径。如果软件机器人采用不同的路径，则不同的路径可以涉及软件机器人与环境中的物理对象之间的虚拟玩游戏，并且计算设备可以相应地渲染玩游戏。
本文中描述的示例方法和设备可用于以鼓励用户通过玩游戏来进行的方式来生成环境的鲁棒数据集。可以针对玩游戏实现各种不同类型的游戏，并且每个游戏可以引起收集数据。这些数据收集技术消除了对手动地编码对象、环境等的需要，并且为用户提供了一种有趣的游戏。
可以实现产生挑战的各种游戏，诸如要求用户完成使得计算设备108能够生成可以用于机器学习的数据集的一组任务。
另外，可以创建具有有用结果的各种游戏，诸如家庭保险游戏，其中AR图形角色602在整个房屋中在安装有锁和警报系统的区域中运行以确定适当的家庭保险折扣。例如，还可以通过在整个房屋中跟随AR图形角色602来验证房屋的大小和其中包含的资产来生成房屋的完整映射，并且所有这样的信息在确定房屋保险费时可能是有用的。
本文中公开的(多个)系统、(多个)设备和(多个)方法的不同示例包括各种组件、特征和功能。应当理解，本文中公开的(多个)系统、(多个)设备和(多个)方法的各种示例可以包括本文中以任何组合公开的(多个)系统、(多个)设备和(多个)方法的其他示例中的任何示例的任何组件、特征和功能，并且所有这样的可能性均意图在本公开的范围内。
不同的有利布置的描述已经被给出以用于说明和描述的目的，而非旨在是穷举的或限于所公开的形式的示例。在回顾并且理解了前述公开之后，很多修改和变化对于本领域普通技术人员将是很清楚的。此外，与其他示例相比，不同的示例可以提供不同的优势。选择和描述所选择的一个或多个示例是为了最好地解释原理、实际应用，并且使得本领域其他普通技术人员能够理解具有适合于预期的特定用途的各种修改的各种示例的公开内容。

Claims (20)

1.一种计算机实现的方法，包括：
从计算设备的相机获取环境的图像；
基于所述图像与数据库中的存储的数据集的第一比较，确定所述存储的数据集缺少所述环境的一个或多个细节；
由所述计算设备提供指示获取所述环境的附加数据的请求的命令；
响应于所述命令，从所述计算设备的一个或多个传感器获取所述环境的附加数据；
基于与所述数据库中的所述存储的数据集的第二比较，确定所述环境的所述附加数据与所述存储的数据集中的所述环境的数据不同；以及
基于所述环境的所述附加数据与所述存储的数据集中的所述环境的数据不同，在所述计算设备的界面上提供针对玩游戏的一个或多个点数。
2.根据权利要求1所述的计算机实现的方法，其中所述请求指示用于获取所述环境的所述附加数据的所述环境的一个或多个区域。
3.根据权利要求1所述的计算机实现的方法，其中所述环境包括房屋，并且其中提供所述命令包括：
提供指示获取所述房屋中的特定房间的附加数据的请求的信息。
4.根据权利要求1所述的计算机实现的方法，其中所述计算设备的所述一个或多个传感器包括深度相机，并且其中从所述计算设备的所述一个或多个传感器获取所述环境的所述附加数据包括：
获取所述环境的一个或多个深度图像。
5.根据权利要求1所述的计算机实现的方法，其中所述计算设备的所述一个或多个传感器包括麦克风，并且其中从所述计算设备的所述一个或多个传感器获取所述环境的所述附加数据包括：
使用所述麦克风从所述环境获取音频。
6.根据权利要求1所述的计算机实现的方法，还包括：
基于所述环境的所述附加数据生成所述环境的平面图。
7.根据权利要求1所述的计算机实施的方法，其中所述环境的所述图像包括对象的图像，并且所述方法还包括：
从服务器接收基于所述对象的所述图像的所述对象的标识；
基于与所述数据库中的所述存储的数据集的所述第一比较，确定所述存储的数据集缺少所述对象的一个或多个细节；
在所述命令中提供获取所述对象的附加数据的另外的请求；
从所述计算设备的所述一个或多个传感器获取所述对象的附加数据；
基于与所述数据库中的所述存储的数据集的所述第二比较，确定所述对象的所述附加数据与所述存储的数据集中的所述对象的数据不同；以及
基于所述对象的所述附加数据与所述存储的数据集中的所述对象的数据不同，在所述界面上提供针对玩游戏的所述一个或多个点数。
8.根据权利要求7所述的计算机实现的方法，还包括：
用所述对象的所述标识标记所述对象的所述附加数据；以及
将所述对象的所述附加数据存储在所述数据库中。
9.根据权利要求7所述的计算机实现的方法，其中提供所述命令包括：
提供指示用于获取所述对象的所述附加数据的所述对象的姿势的信息。
10.根据权利要求7所述的计算机实现的方法，其中提供所述命令包括：
提供用于获取所述对象的所述附加数据的一天中的时间。
11.根据权利要求1所述的计算机实现的方法，还包括：
从服务器接收基于所述环境的所述图像的所述环境中的房间的标识；
确定与所述环境中的所述房间相关联的对象类别；以及
提供第二命令，所述第二命令指示使用所述计算设备的所述一个或多个传感器获取与所述环境中的所述房间相关联的所述对象类别中的至少一个对象的数据的请求。
12.根据权利要求1所述的计算机实现的方法，还包括：
在所述计算设备的显示器上提供被叠加到所述环境的视图上的增强现实(AR)图形角色；以及
引起所述AR图形角色在所述计算设备的所述显示器上移动，作为进入所述数据库中的所述存储的数据集缺少所述环境的所述一个或多个细节的所述环境的区域的指示。
13.根据权利要求1所述的计算机实现的方法，
其中所述环境的所述图像包括执行动作的人，
其中基于与所述数据库中的所述存储的数据集的所述第一比较确定所述存储的数据集缺少所述环境的一个或多个细节包括确定所述存储的数据集缺少与所述人的所述图像相关联的所述动作的标识，并且
所述方法还包括在所述命令中提供获取所述动作的所述标识的请求。
14.根据权利要求1所述的计算机实现的方法，
其中所述环境的所述图像包括人的面部，
其中基于与所述数据库中的所述存储的数据集的所述第一比较确定所述存储的数据集缺少所述环境的一个或多个细节包括确定所述存储的数据集缺少与所述人的所述面部的所述图像相关联的情感的标识，并且
所述方法还包括在所述命令中提供获取所述情感的所述标识的请求。
15.根据权利要求1所述的计算机实现的方法，
其中所述环境的所述图像包括人，
其中所述命令还指示所述人执行一个或多个动作的请求，并且
所述方法还包括从所述计算设备的所述一个或多个传感器获取包括执行所述一个或多个动作的所述人的附加图像的所述环境的所述附加数据。
16.一种计算设备，包括：
相机；
一个或多个传感器；
至少一个处理器；
存储器；以及
被存储在所述存储器中的程序指令，所述程序指令在由所述至少一个处理器执行时引起所述计算设备执行包括以下各项的操作：
从所述相机获取环境的图像；
基于所述图像与数据库中的存储数据集的第一比较，确定所述存储的数据集缺少所述环境的一个或多个细节；
提供指示获取所述环境的附加数据的请求的命令；
响应于所述命令，从所述一个或多个传感器获取所述环境的附加数据；
基于与所述数据库中的所述存储的数据集的第二比较，确定所述环境的所述附加数据与所述存储的数据集中的所述环境的数据不同；以及
基于所述环境的所述附加数据与所述存储的数据集中的所述环境的数据不同，在所述计算设备的界面上提供针对玩游戏的一个或多个点数。
17.根据权利要求16所述的计算设备，其中所述环境的所述图像包括对象的图像，并且其中所述至少一个处理器执行所述程序指令以进一步执行包括以下各项的操作：
从服务器接收基于所述对象的所述图像的所述对象的标识；
基于与所述数据库中的所述存储的数据集的所述第一比较，确定所述存储的数据集缺少所述对象的一个或多个细节；
在所述命令中提供获取所述对象的附加数据的另外的请求；
从所述计算设备的所述一个或多个传感器获取所述对象的附加数据；
基于与所述数据库中的所述存储的数据集的所述第二比较，确定所述对象的所述附加数据与所述存储的数据集中的所述对象的数据不同；以及
基于所述对象的所述附加数据与所述存储的数据集中的所述对象的数据不同，在所述界面上提供针对玩游戏的所述一个或多个点数。
18.根据权利要求17所述的计算设备，其中提供所述命令还包括：
提供指示用于获取所述对象的所述附加数据的所述对象的姿势的信息。
19.一种其中存储有指令的非暂态计算机可读介质，所述指令在由计算设备执行时，引起所述计算设备执行包括以下各项的功能：
从所述计算设备的相机获取环境的图像；
基于所述图像与数据库中的存储的数据集的第一比较，确定所述存储的数据集缺少所述环境的一个或多个细节；
提供指示获取所述环境的附加数据的请求的命令；
响应于所述命令，从所述计算设备的一个或多个传感器获取所述环境的附加数据；
基于与所述数据库中的所述存储的数据集的第二比较，确定所述环境的所述附加数据与所述存储的数据集中的所述环境的数据不同；以及
基于所述环境的所述附加数据与所述存储的数据集中的所述环境的数据不同，在所述计算设备的界面上提供针对玩游戏的一个或多个点数。
20.根据权利要求19所述的非暂态计算机可读介质，其中所述功能还包括：
在所述计算设备的显示器上提供被叠加到所述环境的视图上的增强现实(AR)图形角色；以及
引起所述AR图形角色在所述计算设备的所述显示器上移动，作为进入所述数据库中的所述存储的数据集缺少所述环境的所述一个或多个细节的所述环境的区域的指示。
CN201880071863.4A 2017-09-08 2018-09-07 用于经由玩游戏生成环境的详细数据集的方法和系统 Pending CN111295234A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/699,459 2017-09-08
US15/699,459 US10300373B2 (en) 2017-09-08 2017-09-08 Methods and systems for generating detailed datasets of an environment via gameplay
PCT/IB2018/056852 WO2019049083A1 (en) 2017-09-08 2018-09-07 METHODS AND SYSTEMS FOR GENERATING DETAILED DATA SETS OF AN ENVIRONMENT THROUGH THE EXECUTION OF A GAME

Publications (1)

Publication Number Publication Date
CN111295234A true CN111295234A (zh) 2020-06-16

Family

ID=65630319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071863.4A Pending CN111295234A (zh) 2017-09-08 2018-09-07 用于经由玩游戏生成环境的详细数据集的方法和系统

Country Status (8)

Country Link
US (2) US10300373B2 (zh)
EP (1) EP3678750A4 (zh)
JP (2) JP6900575B2 (zh)
KR (3) KR102162457B1 (zh)
CN (1) CN111295234A (zh)
AU (3) AU2018327287B2 (zh)
CA (1) CA3073900C (zh)
WO (1) WO2019049083A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576380B1 (en) * 2018-11-05 2020-03-03 Sony Interactive Entertainment LLC Artificial intelligence (AI) model training using cloud gaming network
EP3828725A1 (en) * 2019-11-27 2021-06-02 Ubimax GmbH Method of performing a process using artificial intelligence
EP3828734A1 (en) * 2019-11-27 2021-06-02 Ubimax GmbH Method of performing a data collection procedure for a process which uses artificial intelligence
US11599847B2 (en) 2020-02-18 2023-03-07 BlueOwl, LLC Systems and methods for generating an inventory of personal possessions of a user for insurance purposes
US11620715B2 (en) 2020-02-18 2023-04-04 BlueOwl, LLC Systems and methods for generating insurance policies with predesignated policy levels and reimbursement controls
US11861722B2 (en) 2020-02-18 2024-01-02 BlueOwl, LLC Systems and methods for generating and updating an inventory of personal possessions of a user for insurance purposes
US11468515B1 (en) 2020-02-18 2022-10-11 BlueOwl, LLC Systems and methods for generating and updating a value of personal possessions of a user for insurance purposes
US11488253B1 (en) 2020-05-26 2022-11-01 BlueOwl, LLC Systems and methods for determining personalized loss valuations for a loss event
USD984457S1 (en) 2020-06-19 2023-04-25 Airbnb, Inc. Display screen of a programmed computer system with graphical user interface
US11991013B2 (en) 2020-06-19 2024-05-21 Airbnb, Inc. Incorporating individual audience member participation and feedback in large-scale electronic presentation
USD985005S1 (en) 2020-06-19 2023-05-02 Airbnb, Inc. Display screen of a programmed computer system with graphical user interface
US11625141B2 (en) * 2020-09-22 2023-04-11 Servicenow, Inc. User interface generation with machine learning
US20230241491A1 (en) * 2022-01-31 2023-08-03 Sony Interactive Entertainment Inc. Systems and methods for determining a type of material of an object in a real-world environment
US20230315605A1 (en) * 2022-03-31 2023-10-05 Dell Products L.P. User session identification based on telemetry data
US20230310995A1 (en) * 2022-03-31 2023-10-05 Advanced Micro Devices, Inc. Detecting personal-space violations in artificial intelligence based non-player characters

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120315992A1 (en) * 2011-06-10 2012-12-13 Microsoft Corporation Geographic data acquisition by user motivation
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
CN104854564A (zh) * 2012-11-15 2015-08-19 康尔福盛303公司 可扩展部署系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4374560B2 (ja) * 2000-03-31 2009-12-02 株式会社セガ 画像処理装置、ゲーム装置および画像処理方法
US9174119B2 (en) * 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US9401178B2 (en) * 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US20140132633A1 (en) * 2011-07-20 2014-05-15 Victoria Fekete Room design system with social media interaction
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US9122927B2 (en) 2012-03-26 2015-09-01 Google Inc. Generating an image tour based on a set of images
JP5915334B2 (ja) * 2012-03-30 2016-05-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
KR101388426B1 (ko) 2013-08-16 2014-04-30 김태관 온라인 및 오프라인 연동 게임 시스템
KR20150020497A (ko) * 2013-10-18 2015-02-26 김태관 온라인 및 오프라인 연동 게임 시스템
KR102362117B1 (ko) 2014-07-01 2022-02-11 삼성전자주식회사 지도 정보를 제공하기 위한 전자 장치
KR102332752B1 (ko) 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
WO2016123635A1 (en) * 2015-01-31 2016-08-04 Brian Lee Moffat Control of a computer via distortions of facial geometry
US9571971B2 (en) * 2015-04-24 2017-02-14 International Business Machines Corporation Managing crowd sourced data acquisition
KR20180014492A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
US9824477B1 (en) * 2016-11-30 2017-11-21 Super 6 LLC Photo and video collaboration platform
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120315992A1 (en) * 2011-06-10 2012-12-13 Microsoft Corporation Geographic data acquisition by user motivation
CN104854564A (zh) * 2012-11-15 2015-08-19 康尔福盛303公司 可扩展部署系统
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices

Also Published As

Publication number Publication date
JP7377837B2 (ja) 2023-11-10
US20190076731A1 (en) 2019-03-14
AU2022291639A1 (en) 2023-02-02
WO2019049083A1 (en) 2019-03-14
JP6900575B2 (ja) 2021-07-07
KR102162457B1 (ko) 2020-10-21
KR102644519B1 (ko) 2024-03-08
CA3073900C (en) 2020-12-29
KR20220017515A (ko) 2022-02-11
KR20200117035A (ko) 2020-10-13
US11110343B2 (en) 2021-09-07
KR20200041385A (ko) 2020-04-21
KR102357265B1 (ko) 2022-02-08
US10300373B2 (en) 2019-05-28
CA3073900A1 (en) 2019-03-14
JP2021170341A (ja) 2021-10-28
EP3678750A1 (en) 2020-07-15
US20190232157A1 (en) 2019-08-01
AU2018327287B2 (en) 2020-10-15
JP2020533687A (ja) 2020-11-19
AU2021200221A1 (en) 2021-03-18
EP3678750A4 (en) 2020-12-02
AU2018327287A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
JP7377837B2 (ja) ゲームプレイを介して環境の詳細データセットを生成する方法およびシステム
KR101881620B1 (ko) 게임플레이에서의 3차원 환경 모델 사용
CN111263921B (zh) 碰撞检测系统和计算机实现方法
CN109298629B (zh) 在未绘制地图区域中引导移动平台的系统及方法
CN109255749B (zh) 自主和非自主平台中的地图构建优化
CN105190703A (zh) 使用光度立体来进行3d环境建模
WO2016122973A1 (en) Real time texture mapping
CN112788443B (zh) 基于光通信装置的交互方法和系统
CN107077730A (zh) 基于剪影的肢寻找器确定
US20220270363A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination