CN112074843A - 用于生成数字场景的方法、系统、制品和装置 - Google Patents

用于生成数字场景的方法、系统、制品和装置 Download PDF

Info

Publication number
CN112074843A
CN112074843A CN201980024328.8A CN201980024328A CN112074843A CN 112074843 A CN112074843 A CN 112074843A CN 201980024328 A CN201980024328 A CN 201980024328A CN 112074843 A CN112074843 A CN 112074843A
Authority
CN
China
Prior art keywords
model
placeholder
type
human
human models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980024328.8A
Other languages
English (en)
Inventor
K·李
A·什马托夫
J·贝尔纳
D·莫洛尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movidius Ltd Netherland
Original Assignee
Movidius Ltd Netherland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movidius Ltd Netherland filed Critical Movidius Ltd Netherland
Publication of CN112074843A publication Critical patent/CN112074843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

公开了用于生成数字场景的方法、系统、制品和装置。用于生成标记的模型的示例装置包括：地图构建器，其用于生成输入图像的三维(3D)模型；分组分类器，其用于识别与第一类型的分组分类相对应的3D模型的第一区域；人类模型构建器，其用于生成对应于第一区域的一定量的占位符人类模型；坐标引擎，其用于将一定量的占位符人类模型指派给第一区域的相应的坐标位置，相应的坐标位置是基于第一类型的分组分类来指派的；模型特性修改器，其用于将与方面类型相关联的特性指派给一定量的占位符人类模型中的相应的模型；以及注释管理器，其用于关联所指派的特性，作为针对一定量的占位符人类模型中的相应的模型的标签数据。

Description

用于生成数字场景的方法、系统、制品和装置
相关申请
本专利申请要求于2018年3月30日提交的序列号为62/650,722的美国临时专利申请的优先权。序列号为62/650,722的美国临时专利申请特此通过引用将其全部内容并入本文中。特此要求序列号为62/650,722的美国临时专利申请的优先权。
技术领域
本公开总体上涉及网络训练，并且更特别地，涉及用于生成数字场景的方法、系统、制品和装置。
背景技术
近年来，神经网络已经被用于辅助对场景的分析。在一些示例中，神经网络辅助对新兴模式(例如，与人群行为相关的模式)的识别和/或分类。
附图说明
图1是示例数字场景生成器的示意性图示，该数字场景生成器用于生成具有标记的人类模型的数字场景。
图2是由图1的示例数字场景生成器分析的示例区域地图的示意性图示。
图3-7是表示机器可读指令的流程图，这些指令可以被执行以实现用于生成具有标记的人类模型的数字场景的图1的示例数字场景生成器。
图8是被构造为执行图3-7的指令以实现图1的示例数字场景生成器的示例处理平台的框图。
附图未按比例。一般而言，相同的附图标记将贯穿附图和随附的书面描述中使用，以指代相同的或类似的部件。
当标识可以被单独地引用的多个元素或组件时，在本文中使用了描述符“第一”、“第二”、“第三”等。除非基于它们的使用的上下文以其他方式指定或理解，否则这些描述符并不旨在赋予优先级或时间顺序的任何含义，而仅仅作为为了便于理解所公开的示例而单独地指代多个元素或组件的标签。在一些示例中，描述符“第一”可以用于指代详细描述中的元素，而相同的元素可以以不同的描述符(例如，“第二”或“第三”)在权利要求中被引用。在这样的实例中，应当理解的是，这样的描述符仅仅用于便于引用多个元素或组件。
具体实施方式
人群估计具有广泛的应用，这些应用包括计算机视觉应用、机器人应用和安全监视应用。计算机视觉技术和深度学习技术已经实现了大规模人群估计，但是这样的技术的进步已经受到缺乏高质量、带注释的(标记的(labelled))且公开可用的数据集的阻碍。与人群计数、人群分割和人群跟踪相关的任务可以利用卷积神经网络(CNN)技术来协助，但是这样的技术需要大量标记的数据来很好地执行。尽管许多公开放置的摄像机获得具有大量人的场景的图像(例如，高分辨率图像)，但是这样的图像需要冗长的标记任务来辅助一个或多个机器学习任务(例如，涉及CNN技术的任务)。另外，即使在那些公开可用的场景内的人被标记，一些隐私法律也会阻止发布供私人和/或公共使用的真实片段。例如，鉴于通用数据保护条例(GDPR)立法(根据该立法，需要来自其个人信息在图像中被捕获的个人的发布表格)，从监视摄像机(例如，闭路电视(CCTV))中捕获的人群视频很少被发布以供公众使用。
如果人群数据是可用的(针对该人群数据所有隐私条例被满足并且冗长的标记工作已经发生)，则这种人群数据通常限于特定的场景。换言之，在其上对人群执行机器学习分析的各种场景并不容易获得，因此人群研究管理者的灵活性有限。此外，人群标记工作通常由不同的人类团队来执行。通常，基于人类的标记工作会遭受偏差、不准确和疲劳。此外，多个不同的人类注释者会导致标记的数据内的不一致性，这可能会导致基本事实信赖问题。
本文所公开的示例部分出于加速人群理解技术和机器学习工作的目的而生成逼真的可缩放标记合成人群和/或包括人群的合成图像。在一些示例中，人类模型是在场景重建环境上生成的。人类模型被定制以满足设计要求(例如，性别的数量和类型、步行、跑步、面部朝向、服装类型等)并且对应的标记特性被保留和/或以其他方式与每个人类模型相关联，而没有人类注释者参与。在一些示例中，场景重建环境是利用由空中无人机调查捕获的片段来创建的，并且然后将人群与原始图像合成以生成逼真的数据。
图1是示例数字场景生成器102的示意性图示，该数字场景生成器用于实现生成具有标记的人类模型的数字场景。在图1的所示示例中，数字场景生成器102包括示例地图构建器104、示例人类模型构建器106以及示例坐标引擎108。图1的示例坐标引擎108包括示例区域选择器110和示例分组分类器112。示例数字场景生成器102还包括示例模型方面管理器114，其包括示例元数据管理器116和示例模型特性修改器118。示例数字场景生成器102还包括示例照相现实主义(photorealism)调节器126，其包括示例图像数据确定器128、示例轮廓调节器130、示例阴影调节器132、示例景深调节器134和示例噪声调节器136。示例数字场景生成器102还包括示例注释管理器138和示例转换引擎140。在这个示例中，地图构建器104实现了用于地图构建的单元。用于地图构建的单元可以附加地或者可替代地通过地图构建单元来实现。在这个示例中，人类模型构建器106实现了用于人类模型构建的单元。用于人类模型构建的单元可以附加地或可替代地通过人类模型构建单元来实现。在这个示例中，坐标引擎108实现了用于坐标指派的单元。用于坐标指派的单元可以附加地或可替代地通过坐标指派单元来实现。在这个示例中，区域选择器110实现了用于区域选择的单元。用于区域选择的单元可以附加地或可替代地通过区域选择单元来实现。在这个示例中，分组分类器112实现了用于分组的单元。用于分组的单元可以附加地或可替代地通过分组单元来实现。在这个示例中，模型方面管理器114实现了用于方面修改的单元。用于方面修改的单元可以附加地或可替代地通过方面修改单元来实现。在这个示例中，元数据管理器116实现了用于管理元数据的单元。用于管理元数据的单元可以附加地或可替代地通过元数据管理单元来实现。在这个示例中，模型特性修改器118实现了用于模型特性修改的单元。用于模型特性修改的单元可以附加地或可替代地通过模型特性修改单元来实现。在这个示例中，照相现实主义调节器126实现了用于照相现实主义调节的单元。用于照相现实主义调节的单元可以附加地或可替代地通过照相现实主义调节单元来实现。在这个示例中，图像数据确定器128实现了用于图像数据确定的单元。用于图像数据确定的单元可以附加地或可替代地通过图像数据确定单元来实现。在这个示例中，轮廓调节器130实现了用于轮廓调节的单元。用于轮廓调节的单元可以附加地或可替代地通过轮廓调节单元来实现。在这个示例中，阴影调节器132实现了用于阴影调节的单元。用于阴影调节的单元可以附加地或可替代地通过阴影调节单元来实现。在这个示例中，景深调节器134实现了用于景深调节的单元。用于景深调节的单元可以附加地或可替代地通过景深调节单元来实现。在这个示例中，噪声调节器136实现了用于噪声调节的单元。用于噪声调节的单元可以附加地或可替代地通过噪声调节单元来实现。在这个示例中，注释管理器138实现了用于注释的单元。用于注释的单元可以附加地或可替代地通过注释单元来实现。在这个示例中，转换引擎140实现了用于转换的单元。用于转换的单元可以附加地或可替代地通过转换单元来实现。
在操作中，示例地图构建器104根据输入图像来生成模型。示例输入图像有时被称为背景场景。输入图像可以包括来自不同的角度和/或视点的一个或多个图像(例如，立体图像)，例如来自感兴趣的场景(例如，公园、校园等)的视频片段的一个或多个图像。这种视频片段可以源自空中无人机数据捕获，其中三维(3D)模型是经由一种或多种运动方法学技术来构造的(例如，构造为3D网格)。3D模型允许感兴趣的场景的坐标映射参考，其中坐标映射提供了以下能力：测量、计算和/或以其他方式标识感兴趣的场景的一个或多个对象之间的距离信息(例如，与道路的长度、建筑物的高度、绿地的尺寸等相关联的距离值)。尽管由示例地图构建器104生成的示例3D模型基于感兴趣的场景的一个或多个图像，但是3D模型(例如，3D网格)包括一个或多个对象文件格式，并且被表示为地理定位的点云。在一些示例中，所生成的点云包括感兴趣的场景的不同的方面的离散地理定位的坐标点(例如，指示道路边界、建筑物边界等的坐标点)。在一些示例中，由一个或多个渲染应用(例如，
Figure BDA0002712645370000041
Cycles
Figure BDA0002712645370000042
等)支持3D对象文件格式。因此，地理定位的点云可以不包括通常与适合于机器学习和/或训练的照相现实主义特性相关联的阴影、着色和/或其他图像。本文所公开的示例将人类模型插入到3D模型中，并且为了以适合于机器学习的方式改善一个或多个照相现实主义特性，将感兴趣的场景(例如，最初捕获到的图像)叠加到3D模型上，如下面进一步详细地描述的。
在一些示例中，来自感兴趣的场景的捕获到的图像包括对于特定的太阳位置(例如，如果在室外)或根本没有太阳位置而言独特的照明条件。在这样的示例中，捕获到的图像还可以包括感兴趣的场景内的一个或多个对象的阴影(例如，由建筑物造成的阴影、由树木造成的阴影、由车辆造成的阴影等)。如下面进一步详细地描述的，为了改善用于机器学习的照相现实主义的程度，本文所公开的示例以与感兴趣的原始场景相关联的照明条件一致的方式将人类模型插入到3D模型中。
示例地图构建器104取回3D模型输入(例如，从用户处)，以使得人类模型插入到感兴趣的场景中。在一些示例中，地图构建器104取回指示感兴趣的场景的不同区域的区域信息，这些不同区域包括受不同的距离约束的人类模型的放置。地图/模型输入可以源自在3D模型上的用户输入，以绘画、高亮和/或以其他方式标识具有特定的颜色的3D模型的特定的领域/区域的形式，其中每种颜色表示一种类型的人类模型特性(例如，特定的类型的分组分类)。例如，3D地图的一些区域对应于第一分组分类(例如，特定的区域被绘制为对应于第一分组分类的特定颜色)，而其他区域对应于第二分组分类。在一些示例中，地图构建器104结合要被插入在相应的区域中的特定的数量的人类模型来获得这样的地图输入区域细节(例如，在与草坪野餐相关联的第一区域中插入相对较少数量的人类模型，在与音乐会相关联的第二区域中插入相对较多数量的人类模型等)。示例第一分组分类包括互相依赖的放置分组类型，其中要插入到第一区域中的人类模型与该区域的相邻的人类模型具有关系。互相依赖的放置分组类型分类的示例包括野餐的人群(例如，在感兴趣的场景的绿地区域上)、观看音乐会的人群、游行的人群等。不同的分组分类类型(例如，互相依赖的放置分组类型)包括该区域中的相邻的成员(例如，在野餐、音乐会、游行等期间彼此相对接近的相邻的成员)之间的不同的阈值距离。可替代地，独立的放置分组类型指示要被插入到区域(例如，第二区域)中的人类模型，这些人类模型与相邻的人类模型不具有关系。例如，沿着人行道步行或独自坐在公园长椅上的人(由3D模型上的人类模型表示)与在该特定的区域中可能与他们相邻的其他人的行为方式不协调。因此，与独立的分组类型相关联的相邻的人类模型之间的相对距离可以大于在互相依赖的分组类型中的人类模型之间观察到的这样的距离。
图2是当取回、接收和/或以其他方式获得关于人类模型放置的输入和/或指令时，由示例地图构建器104分析的示例区域地图200。在图2的所示示例中，区域地图200包括第一绿地区域202、第二绿地区域204和步行路径206。示例步行路径206包括指示与独立的分组分类相关联的区域的第一感兴趣区域(ROI)208。示例第一ROI 208可以已经通过在示例区域地图200上的先前的用户绘制工作来标识。因此，在第一ROI 208中的人类模型的放置展示了人类模型之间的第一距离阈值。人类模型的这样的第一距离阈值放置更准确地表示了个人以相互独立的方式行动，例如步行上班、步行去上课的个人等。在一些示例中，与独立的分组分类相关联的人类模型的放置还将展示与行进的预期方向相关联的姿势朝向，例如与示例步行路径206平行的姿势朝向。一些人类模型可以展示与一个或多个相邻的人类模型180度相对的姿势，以表示沿着步行路径206在不同的方向上移动的人。
在图2的所示示例中，第二绿地区域204包括指示与互相依赖的分组分类相关联的区域的第二ROI 210。因此，放置在第二ROI 210中的人类模型展示人类模型之间的第二距离阈值。人类模型的这样的第二距离阈值放置更准确地表示了具有一定程度交互的人群，例如参加音乐会、野餐或游行的人。通常，这样的人将具有其间相对较小的距离，特别地在非常拥挤的音乐会、游行等中。在一些示例中，与互相依赖的分组分类相关联的人类模型的放置也将展示朝向类似的焦点(例如，演唱会期间的舞台中心)的姿势朝向，或在大致呈圆形阵型的一群人(例如，在野餐期间彼此相向的人)中心的焦点。本文所公开的示例实现了这样的期望区域、特定的分组分类和/或特定的姿势细节的获取。使用来自示例区域地图200的这种所获取的信息，以更真实的方式执行人类模型放置，从而改善一个或多个机器学习训练操作。
示例区域选择器110从3D模型中选择特定的感兴趣的区域(例如，图2的示例区域地图200)，并且示例人类模型构建器106基于针对所选择的区域的目标数量来生成多个占位符人类模型。如本文所使用的，占位符人类模型表示尚未被定制为包括方面类型的特定特性的人类模型。在一些示例中，占位符人类模型包括被放置在感兴趣的场景的3D模型(例如，3D网格)的相应的坐标位置上的人类模型的坐标位置，其中这样的占位符人类模型缺乏方面特性。在一些示例中，以随机方式选择人类模型的相应的坐标位置，以改善照相现实主义的程度。如本文所使用的，方面类型表示人类模型的特定的特性分组。示例方面类型包括但不限于种族方面、性别方面、年龄方面、身高方面、肌肉方面、体重方面、姿势方面、运动类型方面(例如，步行、跑步、坐着等)或服装方面。如本文所使用的，特性表示特定的方面细节。例如，性别方面的特性可以包括但不限于女性或男性。年龄方面的示例特性可以包括人类模型的年龄的整数值，并且姿势方面的示例特性包括但不限于朝向、站立姿势、坐姿、步行姿势或跑步姿势。
示例分组分类器112确定所选择的感兴趣的区域(例如，来自示例区域地图200的区域)是否与互相依赖的分组分类相关联。如果是，则示例坐标引擎108将相应的占位符人类模型指派给与分组分类类型的约束相对应的3D模型的相应的坐标位置。在一些示例中，坐标引擎108将人类模型指派给对应的坐标位置，并且还基于参考焦点对齐人类模型的面部朝向。例如，如果对应于互相依赖的放置分组分类的多个人类模型用于模拟观看音乐会，则示例坐标引擎108建立面向感兴趣的参考焦点(例如，示例3D模型中的舞台中心)的每个人类模型的朝向。在一些示例中，坐标引擎108将变化因子应用于每个放置的人类模型，使得面部朝向(例如，方向朝向)在外观上不是太同质的和/或人为的。在一些示例中，坐标引擎108在由随机数生成器确定的阈值朝向+/-x度内布置每个人类模型。当所选择的感兴趣的区域的所有占位符人类模型已经被指派给3D模型的对应的坐标位置时，示例区域选择器110确定示例3D模型是否包括尚未被处理以用于人类模型放置的一个或多个附加的感兴趣的区域。如果要在3D模型上放置附加的区域和/或人类模型，则上述过程对应地重复。在一些示例中，基于用户输入信息，将一定量的人类模型放置在3D模型上，例如表示在音乐会的多个人、表示在野餐的多个人、或者表示沿着人行道/街道步行的多个人。
在示例3D模型包括将人类模型指派给对应的坐标位置之后，示例模型方面管理器114将特性指派给人类模型。示例模型方面管理器114从3D模型中选择人类模型，并且示例元数据管理器116提取与所选择的人类模型相关联的元数据。例如，与相应的人类模型相关联的元数据可以包括但不限于分组分类类型(例如，互相依赖的、独立的)、活动类型(例如，观看音乐会、步行上班)、人类模型与哪个区域相关联等。尽管示例人类模型可以具有与对应的分组分类类型相关联的特定元数据，但是通过本文所公开的示例添加了附加的元数据，以充当协助机器学习活动的标签信息。示例模型特性修改器118选择候选模型方面类型。如上面所描述的，方面类型可以包括但不限于种族方面、性别方面、年龄方面、身高方面、肌肉方面、体重方面、姿势方面、运动类型方面(例如，步行、跑步、坐着等)或服装方面。
示例模型特性修改器118指派所选择的方面类型的特性(例如，“男性”是从方面类型“性别”中选择的)，并且示例元数据管理器116将特性值(例如，“男性”)作为元数据添加、关联和/或以其他方式存储到所选择的人类模型(例如，人类模型可以被存储在数据结构内)。在一些示例中，示例模型特性修改器118利用随机数生成器以从每个感兴趣的方面类型中随机地选择特性。在其他示例中，每个候选特性可以与通常被认为相互排斥的共同特性(co-characteristics)配对，例如男性对女性特性、裤子对短裤特性、面部毛发对非面部毛发特性等。示例元数据管理器116因此提供了以随机方式表示的每个特定的特性的均等机会。因此，通过消除由同质特性选择造成的偏差或偏态(skew)，改善了针对机器学习训练的真实性。示例模型特性修改器118确定是否存在针对所选择的人类模型要考虑的一个或多个附加的感兴趣的方面类型，并且如果是，则以类似的方式选择下一个未探索的方面类型。当所有可能的方面类型具有被指派给人类模型的对应的特性时，示例模型方面管理器114选择用于特性指派的下一个人类模型。
尽管示例3D模型具有在特定的地理坐标处放置在其上的多个合成生成的人类模型，但是本文所公开的示例将附加的修改应用于人类模型，以改善照相现实主义的程度。示例照相现实主义调节器126调用对其中的3D模型和/或人类模型的一个或多个改变。示例图像数据确定器128取回、接收和/或以其他方式获得与感兴趣的场景相关联的特性，这些特性可以包括从空中无人机摄像任务中获取的任何数量的图像。在一些示例中，图像数据确定器128取回与负责感兴趣的场景的摄像机相关联的视锥设置。在一些示例中，图像数据确定器128取回与感兴趣的场景的相应的图像相关联的照明信息，例如当拍摄图像时太阳的相应的位置、房间中的灯的位置等。一般而言，与光源位置相关的信息辅助针对人类模型的真实阴影的生成，使得那些人类模型的阴影关于当拍摄源图像时由摄像机捕获到的阴影(例如，建筑物、树木等的阴影)一致。
示例轮廓调节器130基于源摄像机角度信息来调节人类模型轮廓。例如，本文所公开的示例基于源摄像机角度信息来调节人类模型的坐标缩放，使得人类模型看起来与场景对象(例如，树木、建筑物等)一致。示例阴影调节器132基于感兴趣的场景的原始捕获到的图像的阴影特性来将阴影应用于人类模型。通常，因为感兴趣的场景的捕获到的图像是在一天中的特定的时间拍摄的，所以照明条件会使得场景内的对象的阴影发生变化。因此，本文所公开的示例以与场景的对象上出现的阴影一致的方式将阴影应用于人类模型。示例景深调节器134基于场景的期望的焦点来调节相应的人类模型的景深特性。为了改善照相现实主义，示例噪声调节器136施加噪声。在一些示例中，调节一个或多个人群以使其看起来不对焦，以创建更逼真的图像。在一些示例中，由噪声调节器136在特定的人类模型之上应用像素化，以移除由于合成渲染过程而出现的平滑边缘。
示例地图构建器104将感兴趣的场景的原始图像叠加在3D模型(3D网格)上以创建合成图像。因此，改善了合成图像的照相现实主义的程度，这是因为使用感兴趣的场景的实际图像而不是渲染3D模型的线框/网格数据。然而，尽管合成图像现在包括(a)来自感兴趣的场景的实际图像，其叠加在(b)具有特性元数据和3D坐标信息(例如，x轴、y轴、z轴、投影视图数据、模型视图数据)的人类模型上，机器学习操作需要具有相关联的标签信息的二维(2D)坐标信息。在一些示例中，地图构建器104将水印应用于合成图像以标识所有人类图像和/或人脸被模拟。这种加水印可以主动抑制对图像违反一个或多个与隐私相关的管辖法律/规则(例如，通用数据保护条例(GDPR)——法规(EU)2016/679)的任何担忧。
本文所公开的示例促进可缩放技术以像素级精度执行注释任务。使用合成人类模型数据(例如，由示例人类模型构建器106生成的人类模型)和3D模型的至少一个优点是访问场景内的所有对象的位置和尺寸信息。当渲染到图像上(例如，3D投影)时，获得了2D空间中的每个角色模型的像素坐标。示例转换是由示例转换引擎140以与示例等式1一致的方式来执行的。
P′＝P*M(x,y,z,1)′
等式1
在等式1的所示示例中，P和M分别表示投影矩阵和模型视图矩阵。点P'被标准化，使得它可以被映射回(通过示例转换引擎140)到经渲染的合成地图/图像上。类似于在行业标准摄像机(例如，示例DJI Phantom 3无人机摄像机)上找到的规格，来建模摄像机参数。使用94度的视野和20mm的传感器根据模型来渲染这样的图像。鉴于模型的变化的高度，注释的点由示例转换引擎140设置为感兴趣的主体的中心。针对每个经渲染的人类模型，由示例转换引擎140以向量形式(U、V形式，其中U反映水平2D维度，并且V反映垂直2D维度)提供伴随的像素坐标，并且将该像素坐标写入例如文本文件。
换言之，示例注释管理器138调用示例模型方面管理器114以从3D模型(例如，合成图像)中选择人类模型，并且示例坐标引擎108提取3D坐标信息。如上面所描述的，示例转换引擎140以与示例等式1一致的方式将3D坐标信息转换为2D坐标表示。示例元数据管理器116将元数据嵌入到2D坐标信息作为标签数据，该标签数据包括不同的方面类型、活动类型和/或分组分类信息的特性。示例转换引擎140将人类模型映射到合成图像上的2D坐标(例如，U、V和特性标签信息)。针对合成图像上的任何数量的人类模型重复此过程，使得后续的机器学习操作可以鉴于感兴趣的场景来进行。
尽管在图1和图2中示出了实现图1的数字场景生成器102的示例方式，但是图1所示的元素、过程和/或设备中的一个或多个可以以任何其他方式被组合、分割、重新布置、省略、消除和/或实现。此外，示例地图构建器104、示例人类模型构建器106、示例坐标引擎108、示例区域选择器110、示例分组分类器112、示例模型方面管理器114、示例元数据管理器116、示例模型特性修改器118、示例照相现实主义调节器126、示例图像数据确定器128、示例轮廓调节器130、示例阴影调节器132、示例景深调节器134、示例噪声生成器136、示例注释管理器138、示例转换引擎140和/或更一般地图1的示例数字场景生成器102可以通过以下各项来实现：硬件、软件、固件、和/或硬件、软件和/或固件的任何组合。因此，例如，示例地图构建器104、示例人类模型构建器106、示例坐标引擎108、示例区域选择器110、示例分组分类器112、示例模型方面管理器114、示例元数据管理器116、示例模型特性修改器118、示例照相现实主义调节器126、示例图像数据确定器128、示例轮廓调节器130、示例阴影调节器132、示例景深调节器134、示例噪声生成器136、示例注释管理器138、示例转换引擎140和/或更一般地图1的示例数字场景生成器102中的任何一个可以由一个或多个模拟或数字电路、逻辑电路、可编程处理器、可编程控制器、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)来实现。当阅读本专利的装置或系统权利要求中的任何一个以涵盖纯软件和/或固件实施方式时，示例地图构建器104、示例人类模型构建器106、示例坐标引擎108、示例区域选择器110、示例分组分类器112、示例模型方面管理器114、示例元数据管理器116、示例模型特性修改器118、示例照相现实主义调节器126、示例图像数据确定器128、示例轮廓调节器130、示例阴影调节器132、示例景深调节器134、示例噪声生成器136、示例注释管理器138、示例转换引擎140和/或更一般地图1的示例数字场景生成器102中的至少一个特此被明确地定义为包括非暂时性计算机可读存储设备或存储盘(例如，存储器、数字多功能盘(DVD)、压缩盘(CD)、蓝光光盘等)，包括软件和/或固件。此外，图1的示例数字场景生成器102可以包括一个或多个元素、过程和/或设备(附加于或替代图1和/或图2所示的那些)，和/或可以包括所示的元素、过程和设备中的任何或全部中的一个以上。如本文所使用的，短语“在通信中”包括其变体包含通过一个或多个中间组件的直接通信和/或间接通信，并且不需要直接物理(例如，有线的)通信和/或持续的通信，而是附加地包括以周期性间隔、预定的间隔、非周期性的间隔和/或一次性事件的选择性通信。
在图3-7中示出了用于实现图1的数字场景生成器102的表示示例硬件逻辑、机器可读指令、硬件实现的状态机和/或其任何组合的流程图。机器可读指令可以是一个或多个可执行程序或可执行程序的部分，以供计算机处理器(例如，下面结合图8讨论的示例处理器平台800中所示的处理器812)执行。程序可以体现在被存储在非暂时计算机可读存储介质(例如，CD-ROM、软盘、硬盘驱动器、DVD、蓝光盘或与处理器812相关联的存储器)上的软件中，但是整个程序和/或其部分可以可替代地由除了处理器812以外的设备执行和/或被体现在固件或专用硬件中。此外，尽管参考图3-7所示的流程图描述了示例程序，但是实现示例数字场景生成器102的许多其他方法可以被可替代地使用。例如，可以改变框的执行的顺序，和/或可以改变、消除或组合所描述的框中的一些。附加地或可替代地，框中的任何一个或全部可以由一个或多个硬件电路(例如，分立的和/或集成的模拟和/或数字电路、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等)实现，一个或多个硬件电路被构造为在不执行软件或固件的情况下执行对应的操作。
可以以压缩格式、加密格式、分段格式、封装格式等中的一种或多种存储本文所描述的机器可读指令。本文所描述的机器可读指令可以被存储为数据(例如，指令的部分、代码、代码的表示等)，其可以用于创建、制造和/或产生机器可执行指令。例如，机器可读指令可以被分段并存储在一个或多个存储设备和/或计算设备(例如，服务器)上。机器可读指令可以需要安装、修改、适配、更新、组合、补充、配置、解密、解压缩、解包、分发、重新指派等中的一个或多个，以便使它们由计算设备和/或其他机器直接可读和/或可执行。例如，机器可读指令可以被存储在多个部分中，这些部分被个别地压缩、加密并存储在单独的计算设备上，其中，这些部分当被解密、解压缩和组合时，形成一组可执行指令，这些指令实现例如本文所描述的程序。在另一个示例中，机器可读指令可以被存储在这样的状态中：它们可以被计算机读取，但是需要添加库(例如，动态链接库(DLL))、软件开发工具包(SDK)、应用编程接口(API)等，以便在特定的计算设备或其他设备上执行指令。在另一个示例中，在机器可读指令和/或对应的程序可以被全部或部分执行之前，可能需要配置机器可读指令(例如，所存储的设置、数据输入、记录的网络地址等)。因此，所公开的机器可读指令和/或对应的程序旨在包含这样的机器可读指令和/或程序，而不管这些机器可读指令和/或程序当被存储时或以其他方式静止或传输时的特定的格式或状态。
如上所述，可以使用可执行指令(例如，计算机和/或机器可读指令)实现图3-7的示例过程，这些可执行指令存储在非暂时性计算机和/或机器可读介质上，例如硬盘驱动器、闪速存储器、只读存储器、压缩盘、数字多功能盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘，其中，信息在任何持续时间内(例如，在延长的时间段内、永久地、用于简短的实例、用于临时缓冲和/或用于信息的缓存)被存储。如本文所使用的，术语非暂时性计算机可读介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号和排除传输介质。
“包含”和“包括”(及其所有形式和时态)在本文中被用作开放式术语。因此，每当权利要求采用任何形式的“包含”或“包括”(例如，包括有、包含、含有、包括了、具有等)作为序言或在任何种类的权利要求记载内，应当理解，附加的元素、术语等可以存在而不落在对应的权利要求或记载的范围之外。如本文所使用的，当短语“至少”被用作例如权利要求的序言中的过渡术语时，其以与术语“包括”和“包含”是开放式的相同的方式是开放式的。术语“和/或”当例如以诸如A、B和/或C之类的形式使用时，指代A、B、C的任何组合或子集，例如(1)仅A，(2)仅B，(3)仅C，(4)A与B，(5)A与C，(6)B与C，以及(7)A与B和C。如本文在描述结构、组件、项目、对象和/或事物的上下文中所使用的，短语“A和B中的至少一个”旨在指代包括以下各项中的任何一项的实施方式：(1)至少一个A，(2)至少一个B，以及(3)至少一个A和至少一个B。类似地，如本文在描述结构、组件、项目、对象和/或事物的上下文中所使用的，短语“A或B中的至少一个”旨在指代包括以下各项中的任何一项的实施方式：(1)至少一个A，(2)至少一个B，以及(3)至少一个A和至少一个B。如本文在描述过程、指令、动作、活动和/或步骤的执行或实行的上下文中所使用的，短语“A和B中的至少一个”旨在指代包括以下各项中的任何一项的实施方式：(1)至少一个A，(2)至少一个B，以及(3)至少一个A和至少一个B。类似地，如本文在描述过程、指令、动作、活动和/或步骤的执行或实行的上下文中所使用的，短语“A或B中的至少一个”旨在指代包括以下各项中的任何一项的实施方式：(1)至少一个A，(2)至少一个B，以及(3)至少一个A和至少一个B。
图3的程序300包括框302，其中示例地图构建器104根据所获取的感兴趣的图像生成3D模型。示例地图构建器104取回、接收和/或以其他方式获得与关于人类模型放置的所生成的3D模型相关联的输入数据(框304)。如上面所描述的，所生成的3D模型(例如，3D网格线框)的一个或多个绘制区域被示例地图构建器104识别，以确定针对占位符人类模型的特定的分组分类。在一些示例中，这样的分组分类是在逐个区域的基础上组织的。
示例坐标引擎108将坐标指派给人类模型(尚未具有与其相关联的一个或多个方面特性的候选人类模型)(框306)。然而，在多个人类模型被添加到3D模型之后(框306)，示例模型方面管理器114将特性指派给那些人类模型(框308)。示例照相现实主义调节器126将一个或多个照相现实主义调节应用于人类模型(框310)，并且示例地图构建器104将原始获取的图像叠加在3D模型上以创建感兴趣的场景的合成地图/图像(框312)。在合成地图上的人类模型在其相应的指派的坐标中的情况下，示例注释管理器138对人类模型进行注释(框314)。
图4示出了将坐标指派给人类模型的示例坐标引擎108的附加细节(框306)。在图4的所示示例中，示例区域选择器110从3D地图(例如，图2的示例区域地图200)中选择感兴趣的区域之一(框402)。基于所选择的区域的类型，示例人类模型构建器106基于与所选择的区域相关联的目标数量来生成占位符人类模型(框404)。如上面所描述的，由示例人类模型构建器106以缺乏一个或多个特性的方式生成候选人类模型，使得可以以更真实的方式(例如，应用统计随机性以改善真实人群多样性)选择这样的特性(例如，属性)。示例分组分类器112确定所选择的区域和对应的占位符人类模型是否与互相依赖的放置分组分类相关联(框406)。如果是，则示例坐标引擎108以对应于互相依赖的放置分组分类的方式将人类模型之一指派给3D模型中的坐标位置(框408)。示例分组分类器112确定针对互相依赖的放置分组分类的所有占位符人类模型是否已经被指派给对应的位置，并且如果否(框410)，则人类模型构建器106选择下一个占位符人类模型(框412)。控制然后返回到框408。
如果示例分组分类器112确定所选择的区域不与互相依赖的放置分组分类相关联(框406)，则然后示例坐标引擎108将人类模型之一指派给与独立的放置分组分类相对应的3D模型中的对应的坐标位置(框414)。示例分组分类器112确定是否已经指派了与独立的放置分组分类相关联的所有占位符人类模型(框416)，并且如果否，则人类模型构建器106选择占位符人类模型中的下一个(框418)。控制返回到框414，以基于独立的放置分组分类来为所选择的占位符人类模型指派对应的坐标位置。当所有候选占位符人类模型已经被处理(参见框410和416)，示例区域选择器110确定3D模型的所有区域是否已经被处理(框420)。如果否，控制返回到框402以选择另一个感兴趣的区域。
图5示出了与示例模型方面管理器114将特性指派给人类模型的工作相关联的附加细节(框308)。在图5的所示示例中，示例模型方面管理器114从3D地图中选择所放置的候选人类模型之一(框502)。示例元数据管理器116提取与所选择的人类模型相关联的任何可用的元数据(框504)，并且模型特性修改器118选择候选模型方面类型(框506)。如上面所描述的，每个感兴趣的方面类型可以具有定义人类模型的任何数量的对应的特性。模型特性修改器118将所选择的感兴趣的方面类型的特性指派给人类模型(框508)。在一些示例中，特性指派是在随机数生成器的辅助下执行的，使得人类模型的各种特性展示更类似于人群多样化预期的变化程度。示例元数据管理器116将所指派的特性添加到与所选择的人类模型相关联的元数据(框510)，并且示例模型特性修改器118确定当将特性指派给所选择的人类模型时是否存在要考虑的附加的感兴趣的方面类型(框512)。如果是，则控制返回到框506，否则，示例模型方面管理器114确定是否存在应当向其指派特性的附加的人类模型(框514)。如果是，则控制返回到框502，否则图5的示例程序308返回到图3的框310。
图6包括与示例照相现实主义调节器126将照相现实主义特性应用于人类模型和/或3D模型的工作相对应的附加细节(框310)。在图6的所示示例中，示例图像数据确定器128取回与感兴趣的场景的原始图像相关联的图像特性(框602)。示例轮廓调节器130基于所取回的图像特性的摄像机角度信息来调节人类模型的轮廓设置(框604)。示例阴影调节器132基于照明条件信息(如果有的话)来将阴影应用于人类模型(框606)。在一些示例中，照明条件信息对应于当拍摄感兴趣的场景的原始图像时的太阳的位置，从而允许由示例阴影调节器132进行适当的阴影创建/调节。示例景深调节器134基于例如摄像机焦点信息来调节人类模型的景深特性(框608)，并且示例噪声调节器136将各种噪声伪像应用于人类模型以改善照相现实主义的程度(框610)。然后，控制返回到图3的框312，其中示例地图构建器104将原始捕获到的图像叠加在3D模型上。
图7示出了与示例注释管理器138注释人类模型的工作相对应的附加细节(框314)。在图7的所示示例中，示例模型方面管理器114从3D模型/地图中选择人类模型之一(框702)。如上面所描述的，所有已插入的人类模型现在与坐标信息(例如，笛卡尔x、y、z坐标、旋转定位坐标)和特性信息(例如，与不同的方面类型相关联的特定的特性)相关联。示例坐标引擎108提取这种3D坐标信息(框704)，并且示例转换引擎140将3D位置坐标转换为2D坐标(框706)。如上面所描述的，示例转换引擎140可以以与示例等式1一致的方式标准化3D坐标。先前与3D人类模型中的人类模型相关联的任何元数据(例如，特性数据)被示例元数据管理器116嵌入到2D位置坐标(框708)，2D位置坐标可以出于机器学习目的被用作标签数据。另外，示例转换引擎140参考2D位置坐标将人类模型映射到合成地图(框710)。示例模型方面管理器114确定3D地图中是否存在附加的人类模型(框712)，并且如果是，则控制返回到框702以选择用于2D转换的下一个可用的人类模型。
图8是被构造为执行以实现图2的数字场景生成器102的示例处理器平台800的框图。处理器平台800可以是例如服务器、个人计算机、工作站、自学习机器(例如，神经网络)、移动设备(例如，手机、智能电话、诸如iPadTM之类的平板电脑)、个人数字助理(PDA)、互联网设备、游戏控制台、个人视频录像机、机顶盒、耳机或其他可穿戴设备或任何其他类型的计算设备。
所示示例的处理器平台800包括处理器812。所示示例的处理器812是硬件。例如，处理器812可以由来自任何期望的系列或制造商的一个或多个集成电路、逻辑电路、微处理器、GPU、DSP或控制器来实现。硬件处理器可以是基于半导体的(例如，基于硅的)设备。在这个示例中，处理器实现了示例地图构建器104、示例人类模型构建器106、示例坐标引擎108、示例区域选择器110、示例分组分类器112、示例模型方面管理器114、示例元数据管理器116、示例模型特性修改器118、示例照相现实主义调节器126、示例图像数据确定器128、示例轮廓调节器130、示例阴影调节器132、示例景深调节器134、示例噪声调节器136、示例注释管理器138、示例转换引擎和示例数字场景生成器102。
所示示例的处理器812包括本地存储器813(例如，高速缓存)。所示示例的处理器812经由总线818与包括易失性存储器814和非易失性存储器816的主存储器通信。易失性存储器814可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、
Figure BDA0002712645370000171
动态随机存取存储器
Figure BDA0002712645370000172
和/或任何其他类型的随机存取存储器设备来实现。非易失性存储器816可以由闪速存储器和/或任何其他期望类型的存储器设备实现。对主存储器814、816的访问由存储器控制器控制。
所示示例的处理器平台800还包括接口电路820。接口电路820可以由任何类型的接口标准实现，例如以太网接口、通用串行总线(USB)、
Figure BDA0002712645370000173
Figure BDA0002712645370000174
接口、近场通信(NFC)接口和/或PCI快速接口。
在所示示例中，一个或多个输入设备822被连接到接口电路820。输入设备822许可用户将数据和/或命令输入到处理器812中。输入设备可以通过例如音频传感器、麦克风、摄像机(静态或视频)、键盘、按钮、鼠标、触摸屏、轨迹板、轨迹球、等值点(isopoint)和/或语音识别系统来实现。
一个或多个输出设备824还被连接到所示示例的接口电路820。输出设备824可以例如通过以下各项来实现：显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、就地切换(IPS)显示器、触摸屏等)、触觉输出设备、打印机和/或扬声器。所示示例的接口电路820因此通常包括图形驱动卡、图形驱动芯片和/或图形驱动处理器。
所示示例的接口电路820还包括诸如发射器、接收器、收发器、调制解调器、住宅网关、无线接入点和/或网络接口之类的通信设备，以促进经由网络826与外部机器(例如，任何种类的计算设备)交换数据。通信可以经由例如以太网连接、数字用户线路(DSL)连接、电话线路连接、同轴电缆系统、卫星系统、现场线无线系统、蜂窝电话系统等来进行。
所示示例的处理器平台800还包括用于存储软件和/或数据的一个或多个大容量存储设备828。这样的大容量存储设备828的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、独立磁盘冗余阵列(RAID)系统和数字多功能盘(DVD)驱动器。
图3-7的机器可执行指令832可以被存储在大容量存储设备828中、易失性存储器814中、非易失性存储器816中和/或可移动的非暂时性计算机可读存储介质(例如，CD或DVD)上。
根据上述内容，将理解的是，已经公开了示例方法、装置和制品，其当试图出于机器学习目的而聚集大量人群数据时，避免了通常与从公共来源(例如，CCTV摄像机)获取的图像数据相关联的隐私问题。另外，本文所公开的示例防止了当注释和/或以其他方式标记项目以供机器学习训练操作使用时由人类判断力引起的错误。
本文公开了用于生成数字场景的示例方法、装置、系统和制品。进一步的示例及其组合包括以下示例：
示例1包括一种用于生成标记的模型的装置，所述装置包括：地图构建器，其用于生成输入图像的三维(3D)模型；分组分类器，其用于识别与第一类型的分组分类相对应的所述3D模型的第一区域；人类模型构建器，其用于生成与所述第一区域相对应的一定量的占位符人类模型；坐标引擎，其用于将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；模型特性修改器，其用于将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及注释管理器，其用于关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
示例2包括如示例1所定义的装置，其中，所述地图构建器用于生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
示例3包括如示例1所定义的装置，其中，所述分组分类器用于基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
示例4包括如示例1所定义的装置，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。
示例5包括如示例4所定义的装置，其中，所述分组分类器用于识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
示例6包括如示例1所定义的装置，其中，所述坐标引擎用于以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
示例7包括如示例1所定义的装置，其中，所述坐标引擎用于基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
示例8包括一种非暂时性计算机可读介质，包括计算机可读指令，所述指令当被执行时，使得至少一个处理器：生成输入图像的三维(3D)模型；识别与第一类型的分组分类相对应的所述3D模型的第一区域；生成与所述第一区域相对应的一定量的占位符人类模型；将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
示例9包括如示例8所定义的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
示例10包括如示例8所定义的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
示例11包括如示例8所定义的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一类型的分组分类来指派所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离。
示例12包括如示例11所定义的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
示例13包括如示例8所定义的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
示例14包括如示例8所定义的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
示例15包括一种用于生成标记的模型的计算机实现的方法，所述方法包括：通过利用至少一个处理器执行指令来生成输入图像的三维(3D)模型；通过利用所述至少一个处理器执行指令来识别与第一类型的分组分类相对应的所述3D模型的第一区域；通过利用所述至少一个处理器执行指令来生成与所述第一区域相对应的一定量的占位符人类模型；通过利用所述至少一个处理器执行指令来将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；通过利用所述至少一个处理器执行指令来将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及通过利用所述至少一个处理器执行指令来关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
示例16包括如示例15所定义的方法，进一步包括：生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
示例17包括如示例15所定义的方法，进一步包括：基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
示例18包括如示例15所定义的方法，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。
示例19包括如示例18所定义的方法，进一步包括：识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
示例20包括如示例15所定义的方法，进一步包括：以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
示例21包括如示例15所定义的方法，进一步包括：基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
示例22包括一种用于生成标记的模型的装置，所述装置包括：用于地图构建以生成输入图像的三维(3D)模型的单元；用于分组以识别与第一类型的分组分类相对应的所述3D模型的第一区域的单元；用于人类模型构建以生成与所述第一区域相对应的一定量的占位符人类模型的单元；用于坐标指派以将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置的单元，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；用于模型特性修改以将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型的单元；以及用于注释以关联所指派的特性作为针对所述一定量的占位符人类模型中的相应的模型的标签数据的单元。
示例23包括如示例22所定义的装置，其中，地图构建单元用于生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
示例24包括如示例22所定义的装置，其中，分组单元用于基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
示例25包括如示例22所定义的装置，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。
示例26包括如示例25所定义的装置，其中，分组单元用于识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
示例27包括如示例22所定义的装置，其中，坐标指派单元用于以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
示例28包括如示例22所定义的装置，其中，坐标指派单元用于基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
尽管在本文中已经公开了某些示例方法、装置和制品，但是本专利的覆盖的范围不限于此。相反，本专利涵盖了很大程度上落入本专利的权利要求的范围内的所有方法、装置和制品。

Claims (28)

1.一种用于生成标记的模型的装置，所述装置包括：
地图构建器，其用于生成输入图像的三维(3D)模型；
分组分类器，其用于识别与第一类型的分组分类相对应的所述3D模型的第一区域；
人类模型构建器，其用于生成与所述第一区域相对应的一定量的占位符人类模型；
坐标引擎，其用于将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；
模型特性修改器，其用于将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及
注释管理器，其用于关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
2.根据权利要求1所述的装置，其中，所述地图构建器用于生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
3.根据权利要求1所述的装置，其中，所述分组分类器用于基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
4.根据权利要求1所述的装置，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。
5.根据权利要求4所述的装置，其中，所述分组分类器用于识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
6.根据权利要求1所述的装置，其中，所述坐标引擎用于以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
7.根据权利要求1所述的装置，其中，所述坐标引擎用于基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
8.一种非暂时性计算机可读介质，包括计算机可读指令，所述指令当被执行时，使得至少一个处理器：
生成输入图像的三维(3D)模型；
识别与第一类型的分组分类相对应的所述3D模型的第一区域；
生成与所述第一区域相对应的一定量的占位符人类模型；
将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；
将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及
关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
9.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
10.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
11.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一类型的分组分类来指派所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离。
12.根据权利要求11所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
13.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
14.根据权利要求8所述的计算机可读介质，其中，所述指令当被执行时，使得所述至少一个处理器基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
15.一种用于生成标记的模型的计算机实现的方法，所述方法包括：
通过利用至少一个处理器执行指令来生成输入图像的三维(3D)模型；
通过利用所述至少一个处理器执行指令来识别与第一类型的分组分类相对应的所述3D模型的第一区域；
通过利用所述至少一个处理器执行指令来生成与所述第一区域相对应的一定量的占位符人类模型；
通过利用所述至少一个处理器执行指令来将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；
通过利用所述至少一个处理器执行指令来将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及
通过利用所述至少一个处理器执行指令来关联所指派的特性，作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
16.根据权利要求15所述的方法，进一步包括：生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
17.根据权利要求15所述的方法，进一步包括：基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
18.根据权利要求15所述的方法，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。
19.根据权利要求18所述的方法，进一步包括：识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
20.根据权利要求15所述的方法，进一步包括：以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
21.根据权利要求15所述的方法，进一步包括：基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
22.一种用于生成标记的模型的装置，所述装置包括：
地图构建单元，用于生成输入图像的三维(3D)模型；
分组单元，用于识别与第一类型的分组分类相对应的所述3D模型的第一区域；
人类模型构建单元，用于生成与所述第一区域相对应的一定量的占位符人类模型；
坐标指派单元，用于将所述一定量的占位符人类模型指派给所述第一区域的相应的坐标位置，所述相应的坐标位置是基于所述第一类型的分组分类来指派的；
模型特性修改单元，用于将与方面类型相关联的特性指派给所述一定量的占位符人类模型中的相应的模型；以及
注释单元，用于关联所指派的特性作为针对所述一定量的占位符人类模型中的相应的模型的标签数据。
23.根据权利要求22所述的装置，其中，所述地图构建单元用于生成坐标点的地理定位的点云，作为所述输入图像的所述3D模型。
24.根据权利要求22所述的装置，其中，所述分组单元用于基于所述第一区域的颜色来解释所述3D模型的绘制区域，所述颜色指示所述第一类型的分组分类。
25.根据权利要求22所述的装置，其中，所述第一类型的分组分类与所述第一区域中的所述一定量的占位符人类模型中的相应的模型之间的第一阈值距离相对应。
26.根据权利要求25所述的装置，其中，所述分组单元用于识别与第二类型的分组分类相对应的所述3D模型的第二区域，所述第二类型的分组分类与所述第二区域中的第二数量的占位符人类模型中的相应的模型之间的第二阈值距离相对应。
27.根据权利要求22所述的装置，其中，所述坐标指派单元用于以缺乏所述与方面类型相关联的特性的方式指派所述一定量的占位符人类模型。
28.根据权利要求22所述的装置，其中，所述坐标指派单元用于基于所述第一类型的分组分类来将方向朝向指派给所述占位符人类模型中的所述相应的模型。
CN201980024328.8A 2018-03-30 2019-03-28 用于生成数字场景的方法、系统、制品和装置 Pending CN112074843A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862650722P 2018-03-30 2018-03-30
US62/650,722 2018-03-30
PCT/EP2019/057961 WO2019185852A2 (en) 2018-03-30 2019-03-28 Methods, systems, articles of manufacture and apparatus to generate digital scenes

Publications (1)

Publication Number Publication Date
CN112074843A true CN112074843A (zh) 2020-12-11

Family

ID=66001207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980024328.8A Pending CN112074843A (zh) 2018-03-30 2019-03-28 用于生成数字场景的方法、系统、制品和装置

Country Status (6)

Country Link
US (2) US11393228B2 (zh)
EP (1) EP3776333A2 (zh)
KR (1) KR20200136930A (zh)
CN (1) CN112074843A (zh)
DE (1) DE112019001702T5 (zh)
WO (1) WO2019185852A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465075A (zh) * 2020-12-31 2021-03-09 杭银消费金融股份有限公司 元数据管理方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112074843A (zh) * 2018-03-30 2020-12-11 莫维迪乌斯有限公司 用于生成数字场景的方法、系统、制品和装置
GB201806686D0 (en) * 2018-04-24 2018-06-06 Metail Ltd System and method for producing and managing responsive online digital merchandising
US11393202B2 (en) * 2020-02-28 2022-07-19 CareAR Holdings LLC Augmented reality support platform
JP7058434B1 (ja) * 2021-07-07 2022-04-22 株式会社エクサウィザーズ 生成方法、情報処理装置、プログラム、及び情報処理システム
US11900534B2 (en) * 2021-07-30 2024-02-13 The Boeing Company Systems and methods for synthetic image generation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120071244A1 (en) * 2007-03-01 2012-03-22 Sony Computer Entertainment Europe Limited Entertainment device and method
CN103198182A (zh) * 2013-03-20 2013-07-10 天津市市政工程设计研究院 基于视觉感知仿真模拟技术的行人指路标志设计方法
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
CN104156915A (zh) * 2014-07-23 2014-11-19 小米科技有限责任公司 肤色调整方法和装置
CN105808852A (zh) * 2016-03-09 2016-07-27 清华大学 一种基于元胞自动机的室内行人微观仿真方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51102287A (ja) 1975-03-07 1976-09-09 Osame Kogyo Kk Wankyokukankakoki
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
EP3353947A4 (en) * 2015-09-22 2019-04-24 Mc10, Inc. METHOD AND SYSTEM FOR CROWD-GESOURCTE ALGORITHM DEVELOPMENT
US10885801B2 (en) * 2016-05-24 2021-01-05 Tangible Play, Inc. Virtualized tangible programming
CN112074843A (zh) * 2018-03-30 2020-12-11 莫维迪乌斯有限公司 用于生成数字场景的方法、系统、制品和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120071244A1 (en) * 2007-03-01 2012-03-22 Sony Computer Entertainment Europe Limited Entertainment device and method
US20140201126A1 (en) * 2012-09-15 2014-07-17 Lotfi A. Zadeh Methods and Systems for Applications for Z-numbers
US20140079297A1 (en) * 2012-09-17 2014-03-20 Saied Tadayon Application of Z-Webs and Z-factors to Analytics, Search Engine, Learning, Recognition, Natural Language, and Other Utilities
CN103198182A (zh) * 2013-03-20 2013-07-10 天津市市政工程设计研究院 基于视觉感知仿真模拟技术的行人指路标志设计方法
CN104156915A (zh) * 2014-07-23 2014-11-19 小米科技有限责任公司 肤色调整方法和装置
CN105808852A (zh) * 2016-03-09 2016-07-27 清华大学 一种基于元胞自动机的室内行人微观仿真方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ERNEST CHEUNG: "LCrowdV: Generating Labeled Videos for Simulation-based Crowd Behavior Learning", pages 1 - 13 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465075A (zh) * 2020-12-31 2021-03-09 杭银消费金融股份有限公司 元数据管理方法及系统
CN112465075B (zh) * 2020-12-31 2021-05-25 杭银消费金融股份有限公司 元数据管理方法及系统

Also Published As

Publication number Publication date
DE112019001702T5 (de) 2021-01-21
WO2019185852A3 (en) 2019-12-05
WO2019185852A2 (en) 2019-10-03
US11900649B2 (en) 2024-02-13
US20210027044A1 (en) 2021-01-28
EP3776333A2 (en) 2021-02-17
US20230007970A1 (en) 2023-01-12
US11393228B2 (en) 2022-07-19
KR20200136930A (ko) 2020-12-08

Similar Documents

Publication Publication Date Title
US11900649B2 (en) Methods, systems, articles of manufacture and apparatus to generate digital scenes
US11024085B2 (en) Electronic system and method for three-dimensional mixed-reality space and experience construction and sharing
US11017601B2 (en) Mixed-reality space map creation and mapping format compatibility-enhancing method for a three-dimensional mixed-reality space and experience construction sharing system
US11217006B2 (en) Methods and systems for performing 3D simulation based on a 2D video image
US10996915B2 (en) Surrogate visitor mixed-reality live environment sharing system with remote visitors
US20180276882A1 (en) Systems and methods for augmented reality art creation
CN111723902A (zh) 使用神经网络动态估计增强现实场景中位置的照明参数
US20140267228A1 (en) Mapping augmented reality experience to various environments
US10484599B2 (en) Simulating depth of field
CN108960947A (zh) 基于虚拟现实的样板房展示方法及系统
KR20230162107A (ko) 증강 현실 콘텐츠에서의 머리 회전들에 대한 얼굴 합성
US10909423B2 (en) Generating training data for machine learning classifier
CN109863746B (zh) 用于数据探索的沉浸式环境系统和视频投影模块
US10748331B2 (en) 3D lighting
CN107492143A (zh) 控制图像合成中的补块使用
Bonaventura et al. Information measures for terrain visualization
US11366981B1 (en) Data augmentation for local feature detector and descriptor learning using appearance transform
US11315306B2 (en) Systems and methods for processing volumetric data
CN113139992A (zh) 多分辨率体素网格化
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20240015263A1 (en) Methods and apparatus to provide remote telepresence communication
US11580703B1 (en) Adaptive model updates for dynamic and static scenes
KR20230166760A (ko) 초개인화 디자인의 메타버스 공간을 생성하는 방법 및 이를 수행하는 메타버스 시스템
Abate et al. Photorealistic virtual exploration of an archaeological site

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination