CN112529022A - 一种训练样本的生成方法及装置 - Google Patents

一种训练样本的生成方法及装置 Download PDF

Info

Publication number
CN112529022A
CN112529022A CN201910804634.5A CN201910804634A CN112529022A CN 112529022 A CN112529022 A CN 112529022A CN 201910804634 A CN201910804634 A CN 201910804634A CN 112529022 A CN112529022 A CN 112529022A
Authority
CN
China
Prior art keywords
smoke
camera
scene
image
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910804634.5A
Other languages
English (en)
Other versions
CN112529022B (zh
Inventor
陈晓权
张欣
辛安民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910804634.5A priority Critical patent/CN112529022B/zh
Publication of CN112529022A publication Critical patent/CN112529022A/zh
Application granted granted Critical
Publication of CN112529022B publication Critical patent/CN112529022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种训练样本的生成方法及装置，其中所述方法包括：建立不同类别的三维虚拟烟雾场景；针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，并将该类别和该烟雾场景图像关联存储；将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别，从而无需在现实中采集实际火灾的样本，极大地降低了数据采集的人力和物力成本，同时由于虚拟相机的高度可控性，无需依赖具体设备则可以实现任意拍摄角度的图像采集，提高了样本的丰富性，从而提升了模型的准确率。

Description

一种训练样本的生成方法及装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种训练样本的生成方法及装置。
背景技术
随着视频监控设备的大量普及、更高效图像处理相关的深度学习算法的出现和微处理器技术的发展，通过对图像信息的分析最终实现对火灾的检测逐渐成为一种新的有效技术。
在相关技术中，在火灾检测方面，大多侧重于机器学习算法上的研究，鲜少有人关注训练数据的采集。而在发生火灾时，训练数据又是十分难以采集的。
发明内容
有鉴于此，本申请提供一种训练样本的生成方法及装置。
具体地，本申请是通过如下技术方案实现的：
第一方面，本申请实施例提供了一种训练样本的生成方法，所述方法包括：
建立不同类别的三维虚拟烟雾场景；
针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，并将该类别和该烟雾场景图像关联存储；
将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别。
可选地，所述针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像的步骤包括：
针对每一类别的三维虚拟烟雾场景设置对应的虚拟相机，其中，所述虚拟相机具有对应的相机参数；
基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像。
可选地，所述相机参数包括相机内参以及相机外参；
所述相机内参为针对所述虚拟相机的内部设置的参数，不同类型的虚拟相机具有不同的相机内参；
所述相机外参为针对所述虚拟相机的外部姿态设置的参数。
可选地，所述相机内参采用四维参数矩阵表示，所述相机内参包括下述参数中的至少一个：y方向的视角、纵横比、近剪裁平面到原点的距离及远剪裁平面到原点的距离；
所述相机外参包括所述虚拟相机的位置信息以及朝向信息。
可选地，所述三维虚拟烟雾场景包括三维虚拟环境以及烟雾，所述建立不同类别的三维虚拟烟雾场景，包括：
获取不同类别的三维模型，并采用所述三维模型建立对应类别的三维虚拟环境；
针对各三维虚拟环境，设置该三维虚拟环境中的烟雾参数，并将所述烟雾参数输入至预设的虚拟烟雾生成组件，以通过所述虚拟烟雾生成组件为所述三维虚拟环境搭建对应的烟雾。
可选地，所述基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像，包括：
基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像；
获取所述虚拟烟雾生成组件根据所述烟雾参数以及当前的相机参数输出的烟雾图像；
将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像。
可选地，所述基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像，包括：
根据所述相机参数确定虚拟相机发出的射线的射线方程；
追踪基于所述射线方程发出的射线与所述三维虚拟环境的相交过程，并根据相交的情况对交点所处的像素点着色，以生成环境图像。
可选地，所述烟雾参数包括烟雾来源位置；
所述将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像，包括：
将所述烟雾图像叠加到所述环境图像中所述烟雾来源位置，生成烟雾场景图像。
第二方面，本申请实施例提供了一种训练样本的生成装置，所述装置包括：
三维虚拟烟雾场景建立模块，用于建立不同类别的三维虚拟烟雾场景；
烟雾场景图像渲染模块，用于针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，并将该类别和该烟雾场景图像关联存储；
训练样本确定模块，用于将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别。
可选地，所述烟雾场景图像渲染模块包括：
虚拟相机设置子模块，用于针对每一类别的三维虚拟烟雾场景设置对应的虚拟相机，其中，所述虚拟相机具有对应的相机参数；
图像渲染子模块，用于基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像。
可选地，所述相机参数包括相机内参以及相机外参；
所述相机内参为针对所述虚拟相机的内部设置的参数，不同类型的虚拟相机具有不同的相机内参；
所述相机外参为针对所述虚拟相机的外部姿态设置的参数。
可选地，所述相机内参采用四维参数矩阵表示，所述相机内参包括下述参数中的至少一个：y方向的视角、纵横比、近剪裁平面到原点的距离及远剪裁平面到原点的距离；
所述相机外参包括所述虚拟相机的位置信息以及朝向信息。
可选地，所述三维虚拟烟雾场景包括三维虚拟环境以及烟雾，所述三维虚拟烟雾场景建立模块包括：
三维虚拟环境建立子模块，用于获取不同类别的三维模型，并采用所述三维模型建立对应类别的三维虚拟环境；
烟雾搭建子模块，用于针对各三维虚拟环境，设置该三维虚拟环境中的烟雾参数，并将所述烟雾参数输入至预设的虚拟烟雾生成组件，以通过所述虚拟烟雾生成组件为所述三维虚拟环境搭建对应的烟雾。
可选地，所述图像渲染子模块包括：
三维虚拟环境渲染单元，用于基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像；
烟雾渲染单元，用于获取所述虚拟烟雾生成组件根据所述烟雾参数以及当前的相机参数输出的烟雾图像；
图像叠加单元，用于将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像。
可选地，所述三维虚拟环境渲染单元具体用于：
根据所述相机参数确定虚拟相机发出的射线的射线方程；
追踪基于所述射线方程发出的射线与所述三维虚拟环境的相交过程，并根据相交的情况对交点所处的像素点着色，以生成环境图像。
可选地，所述烟雾参数包括烟雾来源位置；
所述图像叠加单元具体用于：
将所述烟雾图像叠加到所述环境图像中所述烟雾来源位置，生成烟雾场景图像。
本申请实施例具有如下有益效果：
在本实施例中，在建立不同类别的三维虚拟烟雾场景以后，针对每一类别的三维虚拟烟雾场景，可以将该三维虚拟烟雾场景渲染为二维的烟雾场景图像，并将当前类别与该烟雾场景图像关联存储，后续可以将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本来训练烟雾场景模型。从而无需在现实中采集实际火灾的样本，极大地降低了数据采集的人力和物力成本，同时由于虚拟相机的高度可控性，无需依赖具体设备则可以实现任意拍摄角度的图像采集，提高了样本的丰富性，从而提升了模型的准确率。
附图说明
图1是本申请一示例性实施例示出的一种训练样本的生成方法实施例的步骤流程图；
图2是本申请一示例性实施例示出的对三维虚拟烟雾场景渲染得到的烟雾场景图像示意图；
图3是本申请一示例性实施例示出的另一种训练样本的生成方法实施例的步骤流程图；
图4是本申请的装置所在设备的一种硬件结构图；
图5是本申请一示例性实施例示出的一种训练样本的生成装置实施例的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参考图1，示出了本申请一示例性实施例示出的一种训练样本的生成方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，建立不同类别的三维虚拟烟雾场景。
在一种可能的应用场景中，烟雾场景可以包括着火场景。作为一种示例，不同类别的烟雾场景可以包括建筑物着火场景、城市着火场景、森林着火场景、货架着火场景、机动车着火场景，等等。
在实现时，可以采用虚拟仿真技术来建立不同类别的三维虚拟烟雾场景，以模拟火灾的发生。
在本实施例的一种可能的实施方式中，三维虚拟烟雾场景可以包括三维虚拟环境以及烟雾，步骤101可以包括如下子步骤：
子步骤S11，获取不同类别的三维模型，并采用所述三维模型建立对应类别的三维虚拟环境。
在本实施例中，三维虚拟环境是指三维虚拟烟雾场景中除烟雾以外的部分。例如，以建筑物着火的场景为例，三维虚拟环境即为着火的那栋建筑物及周围建筑物等烟雾之外的部分。
根据实际需要，一个三维虚拟烟雾场景中的三维虚拟环境可以采用一个或多个三维模型搭建。在一种实施方式中，可以采用3D Max等三维建模软件建模得到不同类别的三维模型，或者，也可以从网上下载不同类别的三维模型，本实施例对此不作限制。
示例性地，三维模型可以包括几何形状、大小、材质等渲染所需信息。
需要说明的是，根据三维模型的不同，一种类别的三维虚拟环境可以采用一个三维模型建立，也可以采用多个三维模型建立。例如，若三维虚拟环境为房子，可以用一个房子的三维模型来建立该虚拟房子，也可以分别用屋顶模型、墙壁模型、家具模型等多个三维模型来组合得到三维虚拟环境，本实施例对此不作限制。
子步骤S12，针对各三维虚拟环境，设置该三维虚拟环境中的烟雾参数，并将所述烟雾参数输入至预设的虚拟烟雾生成组件，以通过所述虚拟烟雾生成组件为所述三维虚拟环境搭建对应的烟雾。
在该实施例中，烟雾是指三维虚拟烟雾场景中除三维虚拟环境以外的部分，例如，烟雾可以包括火灾场景下的火焰、烟和雾等。在一种实施方式中，可以采用虚拟烟雾生成组件来为三维虚拟环境搭建仿真烟雾。
在一种例子中，虚拟烟雾生成组件可以为用于生成虚拟烟雾的神经网络模型。
在其他例子中，虚拟烟雾生成组件是一种流体模拟工具，可以实时地模拟火焰、烟雾等流体与场景中的物体交互的逼真效果。在一种实现中，虚拟烟雾生成组件可以为流体Flow组件，Flow是一个基于GPU的实时流体模拟工具，它采用了动态网格的方式模拟流体的运动以及物理碰撞等效果。在模拟过程中，它利用了立体平铺资源(Volume TiledResources)实现动态网格模拟。然后，采用光线步进(Ray Marching)以及颜色映射(ColorMap)等方法对该Volume(体积)进行绘制。因此，它能实时地模拟火焰、烟雾等流体与场景中实体交互的逼真效果。
需要说明的是，虚拟烟雾生成组件可以为现有的组件，也可以是开发人员开发的组件，本实施例对此不作限制。
本实施例中，可以设置各三维虚拟环境的烟雾参数，并将该烟雾参数输入至虚拟烟雾生成组件中，从而完成烟雾的搭建。示例性地，烟雾参数可以包括但不限于烟雾来源位置(即烟雾在三维虚拟环境中发生的位置)、燃烧速度、浮力、重力、涡流强度等烟雾相关的参数。
以下举例说明三维虚拟烟雾场景的搭建过程，但本实施例并不限于此：
假设要搭建一个房间内的火灾场景，包括如下过程：
首先构建一个房间的三维虚拟环境，包括房间主体、房间内部的家具摆设等。在实现时，可以从网上或建模获得房间主体的三维模型以及家具三维模型等，然后通过场景编辑软件(或编码)调整各个三维模型的位置，从而搭建出一个虚拟的房间。
然后设置烟雾的烟雾参数，将该参数输入至虚拟烟雾生成组件中，从而通过该虚拟烟雾生成组件建立需要在虚拟的房间内指定位置的仿真烟雾。
步骤102，针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，并将该类别和该烟雾场景图像关联存储。
在本实施例的一种可能的实施方式中，步骤102可以包括如下子步骤：
子步骤S21，针对每一类别的三维虚拟烟雾场景设置对应的虚拟相机，其中，所述虚拟相机具有对应的相机参数。
在本实施例中，针对每一类别的三维虚拟烟雾场景，可以设置虚拟相机来采集该三维虚拟烟雾场景的烟雾场景图像，并将该烟雾场景图像与对应的类别关联存储。
示例性地，虚拟相机具有对应的相机参数，其中，该相机参数可以包括相机内参以及相机外参。
该相机内参可以为针对虚拟相机的内部设置的参数，在一种例子中，相机内参可以采用四维参数矩阵表示，相机内参示例性地可以包括下述参数中的至少一个：y方向的视角(fovy，即观察范围夹角)、纵横比(Aspect，即在视空间宽度除以高度)、近剪裁平面到原点的距离zn及远剪裁平面到原点的距离zf等。
在实际中，不同类型的虚拟相机具有不同的相机内参，例如，通过设置不同的四维参数矩阵，虚拟相机可以模拟带有远小近大效果的透视投影摄像机、没有远小近大效果的正交投影摄像机、具有180°视角的鱼眼摄像机等。
相机内参是一种将三维场景投影到二维平面上的映射关系的参数，通过表示为四维参数矩阵的相机内参，虚拟相机可以将三维虚拟烟雾场景映射为二维的平面图像，如同一个真实摄像机一般。在实现时，三维虚拟烟雾场景中的点的三维坐标信息与这个四维参数矩阵相乘可以得到一个二维的坐标信息，从而实现三维空间的点映射到二维图像上的过程。
相机外参可以为针对虚拟相机的外部姿态设置的参数，多个不同的相机外参可以生成虚拟相机在三维虚拟烟雾场景中的运动路径。示例性地，相机外参可以包括虚拟相机的位置信息以及朝向信息。通过设置相机外参可以使得虚拟相机在不同时刻不同位置针对三维虚拟烟雾场景采集的图像是不一样的。
在一种实现中，可以首先创建虚拟相机对象，并设置该虚拟相机对象的相机参数，从而完成虚拟相机的创建。
本实施例通过对虚拟相机的相机参数的设置，可以增强虚拟相机的可控性，可实现任意位置任意拍摄角度的图像采集。
子步骤S22，基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像。
当完成三维虚拟烟雾场景的搭建以及设置好虚拟相机以后，则可以开始模拟仿真操作，由虚拟相机在当前三维虚拟烟雾场景中进行图像采集，得到二维的烟雾场景图像。
在本实施例的一种可能的实施方式中，在采用虚拟相机的相机参数渲染烟雾场景图像时，可以将三维虚拟环境以及烟雾分开渲染，从而得到更为逼真的烟雾场景图像，则上述基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像的步骤，可以包括如下子步骤：
子步骤S221，基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像。
在该步骤中，可以采用光线追踪(Ray Tracing)算法来渲染三维虚拟环境，获得对应的环境图像。
以下对光线追踪算法的渲染过程进行示例性说明：
光线追踪算法的渲染原理是：根据所述相机参数确定虚拟相机发出的射线的射线方程，追踪基于该射线方程发出的射线与三维虚拟环境的相交过程，并根据相交的情况对交点所处的像素点着色，以生成环境图像。
假设在虚拟相机前面放置一个网格平面，称为视平面(View plane)，网格平面中的每一个小网格，就是渲染得到的环境图像中的一个像素，如果从虚拟相机的位置去看小网格，每一个小网格都覆盖了三维虚拟环境中的一小块区域。可见，如果能计算出每个小网格所覆盖区域的平均颜色，并将此颜色作为小网格的颜色，对小网格进行填充，当所有小网格都填充完，也就得到了环境图像。
而其中一种小网格的颜色的确定方式是：以虚拟相机的中点为起点，向小网格的中点发出一条射线(Ray)，此射线与三维虚拟环境相交(如没有相交，则视为与背景相交)，如果计算出此交点的颜色，也就得到了小网格的颜色。
从相机发出的射线与视线方向相同，与场景中物体反射到眼晴中的光线的方向相反，故可以称为视线，为了方便说明，将此射线称为采样视线，射线与环境的交点，称为采样点。
采样点的颜色由采样点所在环境的材质、环境中的光源，环境中的其它物体及背景等多方面因素相互作用决定的。
除了需要计算采样点在光源的直接照射下，所产生的颜色外：
如果采样点的材质具有反射属性，则需计算出采样点的反射颜色。
如果采样点的材质具有折射属性，则需计算出采样点的折射颜色。
如果采样点与光源之间有其它物体，则需要计算出采样点的阴影颜色。
如果采样点的周边有其它物体，还需要计算其它物体对此采样点所产生的间接照明效果。
如果虚拟相机具有焦散效果，还需要计算出采样点的焦散颜色。
如果虚拟相机具有景深及运动模糊效果，还需要计算出采样点的相关模糊颜色。
将上述采样点的所有颜色综合在一起，就会得到采样点的最终颜色，可见采样点的最终颜色包含了许多种不同属性的颜色成分。
示例性地，采样点直接照明颜色的计算方法为：从采样点向光线发出采样视线，求出光源与采样点的位置关系，根据光源的亮度、颜色等参数再结果采样的材质属性，就可以求出采样点在光源直接照明下所产生的颜色。
采样点反射颜色的计算方法为：如果采样点的材质具有反射属性，根据光线的反射原理，此采样点继续发出采样视线，去与场景中的物体相交，将新的交点称为二次采样点，求出二次采样点的颜色，就是此采样点反射的颜色。如果二次采样点还具有反射属性，则此采样点继续重复上面的采样计算，直到所规定的反射次数，或反射颜色减弱到一定阀值后终止。
采样点折射颜色的计算方法为：如果采样点的材质具有透明属性，根据光线的折射原理，此采样点继续发出采样视线，去与场景中的物体相交，将新的交点称为二次采样点，求出二次采样点的颜色，就是此采样点反射的颜色。如果二次采样点还具有透明属性，则此采样点继续重复上面的采样计算，直到所规定的折射次数，或折射颜色减弱到一定阀值后终止。
采样点阴影颜色的计算方法为：从采样点向光线求出阴影采样视线，如果光源与采样点间有物体遮挡，则根据光源的阴影参数及遮挡物体物属性，就可以计算出采样点的阴影颜色。
采样点间接照明颜色的计算方法为：追踪光源所发出的光线，直接计算每个光源对场景间接照明的总结果，然后再求出采样点间接照明的颜色。
采样点相机景深及运动模糊效果颜色的计算方法为：从虚拟相机发出采样视线，求出景深及模糊对采样点的影响，从而求出采样点的模糊颜色。
当然，本实施例并不限于通过光线追踪的方式来获得环境图像，本领域技术人员根据实际需求采用其他方式均是可以的。
子步骤S222，获取所述虚拟烟雾生成组件根据所述烟雾参数以及当前的相机参数输出的烟雾图像。
在该步骤中，虚拟烟雾生成组件具有渲染功能，当向虚拟烟雾生成组件输入相机参数以及烟雾参数以后，虚拟烟雾生成组件可以根据其渲染功能，基于相机参数以及烟雾参数生成烟雾图像。
在一种例子中，为了便于后续的图像叠加过程，可以将烟雾图像中除烟雾意外的区域设置为透明区域。
需要说明的是，本实施例对虚拟烟雾生成组件的烟雾渲染方式不作限定。
子步骤S223，将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像。
在该步骤中，可以将烟雾图像与环境图像叠加，从而生成烟雾场景图像，例如，假设三维虚拟烟雾场景为货架着火的场景，渲染后得到的烟雾场景图像可以如图2所示。
在一种实施方式中，可以将烟雾图像叠加到环境图像中上述烟雾来源位置，从而生成烟雾场景图像。
在本实施例中，当获得当前类别的三维虚拟烟雾场景对应的烟雾场景图像以后，则可以将该类别与对应的烟雾场景图像关联存储，则该类别可以作为该烟雾场景图像的分类标签，例如建筑火灾的二维图像的分类标签为0，森林火灾的二维图像的分类标签为1等。
步骤103，将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别。
在该步骤中，当完成各种类别的三维虚拟烟雾场景的图像采集以后，可以将存储的各携带分类标签(即类别)的二维烟雾场景图像作为训练样本，该训练样本提供给机器学习算法训练烟雾场景模型之用。当烟雾场景模型训练完成以后，则可以通过该烟雾场景模型确定输入的烟雾数据对应的烟雾场景类别。
在本实施例中，在建立不同类别的三维虚拟烟雾场景以后，针对每一类别的三维虚拟烟雾场景，可以将该三维虚拟烟雾场景渲染为二维的烟雾场景图像，并将当前类别与该烟雾场景图像关联存储，后续可以将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本来训练烟雾场景模型。从而无需在现实中采集实际火灾的样本，极大地降低了数据采集的人力和物力成本，同时由于虚拟相机的高度可控性，无需依赖具体设备则可以实现任意拍摄角度的图像采集，提高了样本的丰富性，从而提升了模型的准确率。
参考图3，示出了本申请一示例性实施例示出的另一种训练样本的生成方法实施例的步骤流程图，如图3所示，本实施例描述了火灾场景的训练样本生成的应用场景，可以包括搭建三维虚拟烟雾场景、设置虚拟相机参数、设置虚拟相机漫游路线(即运动路径)、开始仿真并采集图像数据及数据分类等过程。
在搭建三维虚拟烟雾场景的步骤中，包括搭建三维虚拟环境和烟雾两个部分。其中，三维虚拟环境是指三维虚拟烟雾场景中除烟雾之外的部分。三维虚拟环境可以由一系列三维模型组成，示例性地，三维模型可以包括形状几何、材质等渲染所需信息。烟雾的生成则可以由虚拟烟雾生成组件实现，此组件既可采用包含此功能的开源软件实现，也可以由开发人员自行实现。
在设置虚拟相机参数的步骤中，可以通过设置相机内参来建立一个虚拟的相机对象，此相机对象可以将三维虚拟场景映射为一张二维的平面图像，如同一个真正的相机一般。通过设置不同的相机内参可以模拟不同类型的相机，比如带有远小近大效果的透视投影相机、没有远小近大效果的正交投影相机、具有180°视角的鱼眼投影相机等。示例性地，相机内参是一个四维参数矩阵，三维空间中的一个三维坐标点，通过与这个四维参数矩阵相乘可以得到一个二维的坐标点，以此模拟真实相机拍摄的过程，即模拟真实空间中的点映射到二维图像上的过程。
在设置虚拟相机漫游路线的步骤中，通过设置虚拟相机的相机外参来确定虚拟相机在不同位置的不同角度，从而提高样本的丰富性。
在开始仿真并采集图像数据的步骤中，对于三维虚拟环境可以使用光线追踪技术来渲染，对于烟雾可以通过虚拟烟雾生成组件来渲染，以达到更为逼真的仿真效果。
在数据分类的步骤中，可以将采集到的烟雾场景图像按照不同的类别进行分类存储，比如建筑火灾、森林火灾等。分类标记好的数据最终作为训练样本提供给机器学习算法训练烟雾场景模型之用。
本实施例能够根据特定的用户需求，通过虚拟仿真技术，搭建特定的三维虚拟烟雾场景，进而模拟特定烟雾场景下火灾发生时的景象，然后使用虚拟相机对场景进行拍摄，从而获取一系列的数据样本。这些样本可以用来作为机器学习的训练样本，从而无需在现实中采集实际火灾的样本，极大地降低了数据采集的人力和物力成本，同时虚拟相机的高度可控性，可以实现任意拍摄角度的图像采集，提高了样本的丰富性。
与前述方法的实施例相对应，本申请还提供了一种训练样本的生成装置的实施例。
本申请的装置实施例可以应用于电子设备中。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本申请的装置所在设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常根据该装置的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图5，示出了本申请一示例性实施例示出的一种训练样本的生成装置实施例的结构框图，具体可以包括如下模块：
三维虚拟烟雾场景建立模块501，用于建立不同类别的三维虚拟烟雾场景；
烟雾场景图像渲染模块502，用于针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，将该类别和该烟雾场景图像关联存储；
训练样本确定模块503，用于将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别。
在本实施例的一种可能的实施方式中，所述烟雾场景图像渲染模块502可以包括如下子模块：
虚拟相机设置子模块，用于针对每一类别的三维虚拟烟雾场景设置对应的虚拟相机，其中，所述虚拟相机具有对应的相机参数；
图像渲染子模块，用于基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像。
在本实施例的一种可能的实施方式中，所述相机参数包括相机内参以及相机外参；
所述相机内参为针对所述虚拟相机的内部设置的参数，不同类型的虚拟相机具有不同的相机内参；
所述相机外参为针对所述虚拟相机的外部姿态设置的参数。
在本实施例的一种可能的实施方式中，所述相机内参采用四维参数矩阵表示，所述相机内参包括下述参数中的至少一个：y方向的视角、纵横比、近剪裁平面到原点的距离及远剪裁平面到原点的距离；
所述相机外参包括所述虚拟相机的位置信息以及朝向信息。
在本实施例的一种可能的实施方式中，所述三维虚拟烟雾场景包括三维虚拟环境以及烟雾，所述三维虚拟烟雾场景建立模块501包括：
三维虚拟环境建立子模块，用于获取不同类别的三维模型，并采用所述三维模型建立对应类别的三维虚拟环境；
烟雾搭建子模块，用于针对各三维虚拟环境，设置该三维虚拟环境中的烟雾参数，并将所述烟雾参数以及所述相机参数输入至预设的虚拟烟雾生成组件，以通过所述虚拟烟雾生成组件为所述三维虚拟环境搭建对应的烟雾。
在本实施例的一种可能的实施方式中，所述图像渲染子模块包括：
三维虚拟环境渲染单元，用于基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像；
烟雾渲染单元，用于获取所述虚拟烟雾生成组件根据所述烟雾参数以及当前的相机参数输出的烟雾图像；
图像叠加单元，用于将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像。
在本实施例的一种可能的实施方式中，所述三维虚拟环境渲染单元具体用于：
根据所述相机参数确定虚拟相机发出的射线的射线方程；
追踪基于所述射线方程发出的射线与所述三维虚拟环境的相交过程，并根据相交的情况对交点所处的像素点着色，以生成环境图像。
在本实施例的一种可能的实施方式中，所述烟雾参数包括烟雾来源位置；
所述图像叠加单元具体用于：
将所述烟雾图像叠加到所述环境图像中所述烟雾来源位置，生成烟雾场景图像。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法实施例的步骤。
本申请实施例还提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法实施例的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (16)

1.一种训练样本的生成方法，其特征在于，所述方法包括：
建立不同类别的三维虚拟烟雾场景；
针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，并将该类别和该烟雾场景图像关联存储；
将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别。
2.根据权利要求1所述的方法，其特征在于，所述针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像的步骤包括：
针对每一类别的三维虚拟烟雾场景设置对应的虚拟相机，其中，所述虚拟相机具有对应的相机参数；
基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像。
3.根据权利要求2所述的方法，其特征在于，所述相机参数包括相机内参以及相机外参；
所述相机内参为针对所述虚拟相机的内部设置的参数，不同类型的虚拟相机具有不同的相机内参；
所述相机外参为针对所述虚拟相机的外部姿态设置的参数。
4.根据权利要求3所述的方法，其特征在于，所述相机内参采用四维参数矩阵表示，所述相机内参包括下述参数中的至少一个：y方向的视角、纵横比、近剪裁平面到原点的距离及远剪裁平面到原点的距离；
所述相机外参包括所述虚拟相机的位置信息以及朝向信息。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述三维虚拟烟雾场景包括三维虚拟环境以及烟雾，所述建立不同类别的三维虚拟烟雾场景，包括：
获取不同类别的三维模型，并采用所述三维模型建立对应类别的三维虚拟环境；
针对各三维虚拟环境，设置该三维虚拟环境中的烟雾参数，并将所述烟雾参数输入至预设的虚拟烟雾生成组件，以通过所述虚拟烟雾生成组件为所述三维虚拟环境搭建对应的烟雾。
6.根据权利要求5所述的方法，其特征在于，所述基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像，包括：
基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像；
获取所述虚拟烟雾生成组件根据所述烟雾参数以及当前的相机参数输出的烟雾图像；
将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像。
7.根据权利要求6所述的方法，其特征在于，所述基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像，包括：
根据所述相机参数确定虚拟相机发出的射线的射线方程；
追踪基于所述射线方程发出的射线与所述三维虚拟环境的相交过程，并根据相交的情况对交点所处的像素点着色，以生成环境图像。
8.根据权利要求6所述的方法，其特征在于，所述烟雾参数包括烟雾来源位置；
所述将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像，包括：
将所述烟雾图像叠加到所述环境图像中所述烟雾来源位置，生成烟雾场景图像。
9.一种训练样本的生成装置，其特征在于，所述装置包括：
三维虚拟烟雾场景建立模块，用于建立不同类别的三维虚拟烟雾场景；
烟雾场景图像渲染模块，用于针对每一类别的三维虚拟烟雾场景，将所述三维虚拟烟雾场景渲染为烟雾场景图像，并将该类别和该烟雾场景图像关联存储；
训练样本确定模块，用于将存储的各类别及其各类别对应的烟雾场景图像确定为训练样本，所述训练样本用于训练烟雾场景模型，所述烟雾场景模型用于确定输入的烟雾数据对应的烟雾场景类别。
10.根据权利要求9所述的装置，其特征在于，所述烟雾场景图像渲染模块包括：
虚拟相机设置子模块，用于针对每一类别的三维虚拟烟雾场景设置对应的虚拟相机，其中，所述虚拟相机具有对应的相机参数；
图像渲染子模块，用于基于所述相机参数将所述三维虚拟烟雾场景渲染为烟雾场景图像。
11.根据权利要求10所述的装置，其特征在于，所述相机参数包括相机内参以及相机外参；
所述相机内参为针对所述虚拟相机的内部设置的参数，不同类型的虚拟相机具有不同的相机内参；
所述相机外参为针对所述虚拟相机的外部姿态设置的参数。
12.根据权利要求11所述的装置，其特征在于，所述相机内参采用四维参数矩阵表示，所述相机内参包括下述参数中的至少一个：y方向的视角、纵横比、近剪裁平面到原点的距离及远剪裁平面到原点的距离；
所述相机外参包括所述虚拟相机的位置信息以及朝向信息。
13.根据权利要求10-12任一项所述的装置，其特征在于，所述三维虚拟烟雾场景包括三维虚拟环境以及烟雾，所述三维虚拟烟雾场景建立模块包括：
三维虚拟环境建立子模块，用于获取不同类别的三维模型，并采用所述三维模型建立对应类别的三维虚拟环境；
烟雾搭建子模块，用于针对各三维虚拟环境，设置该三维虚拟环境中的烟雾参数，并将所述烟雾参数输入至预设的虚拟烟雾生成组件，以通过所述虚拟烟雾生成组件为所述三维虚拟环境搭建对应的烟雾。
14.根据权利要求13所述的装置，其特征在于，所述图像渲染子模块包括：
三维虚拟环境渲染单元，用于基于当前的相机参数，采用光线追踪算法将所述三维虚拟环境渲染成环境图像；
烟雾渲染单元，用于获取所述虚拟烟雾生成组件根据所述烟雾参数以及当前的相机参数输出的烟雾图像；
图像叠加单元，用于将所述烟雾图像叠加到所述环境图像的指定烟雾位置，生成烟雾场景图像。
15.根据权利要求14所述的装置，其特征在于，所述三维虚拟环境渲染单元具体用于：
根据所述相机参数确定虚拟相机发出的射线的射线方程；
追踪基于所述射线方程发出的射线与所述三维虚拟环境的相交过程，并根据相交的情况对交点所处的像素点着色，以生成环境图像。
16.根据权利要求14所述的装置，其特征在于，所述烟雾参数包括烟雾来源位置；
所述图像叠加单元具体用于：
将所述烟雾图像叠加到所述环境图像中所述烟雾来源位置，生成烟雾场景图像。
CN201910804634.5A 2019-08-28 2019-08-28 一种训练样本的生成方法及装置 Active CN112529022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910804634.5A CN112529022B (zh) 2019-08-28 2019-08-28 一种训练样本的生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910804634.5A CN112529022B (zh) 2019-08-28 2019-08-28 一种训练样本的生成方法及装置

Publications (2)

Publication Number Publication Date
CN112529022A true CN112529022A (zh) 2021-03-19
CN112529022B CN112529022B (zh) 2024-03-01

Family

ID=74973968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910804634.5A Active CN112529022B (zh) 2019-08-28 2019-08-28 一种训练样本的生成方法及装置

Country Status (1)

Country Link
CN (1) CN112529022B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205591A (zh) * 2021-04-30 2021-08-03 北京奇艺世纪科技有限公司 一种三维重建训练数据的获取方法、装置及电子设备
CN113364937A (zh) * 2021-05-13 2021-09-07 西安交通大学 一种有监督的视频真实去雾数据集的采集方法及系统
CN113378953A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火灾检测模型的训练样本制作方法、装置、设备及介质
CN113962357A (zh) * 2021-09-14 2022-01-21 天津大学 基于gwo-wnn的分布式光伏功率数据虚拟采集方法
CN115205707A (zh) * 2022-09-13 2022-10-18 阿里巴巴（中国）有限公司 样本图像生成方法、存储介质以及电子设备
CN115953520A (zh) * 2023-03-10 2023-04-11 浪潮电子信息产业股份有限公司 一种虚拟场景的记录回放方法、装置、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US20150338648A1 (en) * 2014-01-09 2015-11-26 Square Enix Holdings Co., Ltd., Methods and systems for efficient rendering of game screens for multi-player video game
US20170372508A1 (en) * 2016-06-27 2017-12-28 Pixar Efficient rendering based on ray intersections with virtual objects
CN107690672A (zh) * 2017-07-25 2018-02-13 深圳前海达闼云端智能科技有限公司 训练数据生成方法、生成装置及其图像语义分割方法
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108932749A (zh) * 2017-05-26 2018-12-04 上海为森车载传感技术有限公司 基于cg生成目标物样本的方法
CN109035416A (zh) * 2018-07-12 2018-12-18 南京大学 基于Unity 3D技术的森林火灾消防虚拟仿真系统构建方法
US20180374253A1 (en) * 2017-06-27 2018-12-27 The Boeing Company Generative image synthesis for training deep learning machines
CN109635853A (zh) * 2018-11-26 2019-04-16 深圳市玛尔仕文化科技有限公司 基于计算机图形技术自动生成人工智能训练样本的方法
CN109858516A (zh) * 2018-12-24 2019-06-07 武汉工程大学 一种基于迁移学习的火灾和烟雾预测方法、系统和介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278633A1 (en) * 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US20150338648A1 (en) * 2014-01-09 2015-11-26 Square Enix Holdings Co., Ltd., Methods and systems for efficient rendering of game screens for multi-player video game
US20170372508A1 (en) * 2016-06-27 2017-12-28 Pixar Efficient rendering based on ray intersections with virtual objects
CN108932749A (zh) * 2017-05-26 2018-12-04 上海为森车载传感技术有限公司 基于cg生成目标物样本的方法
US20180374253A1 (en) * 2017-06-27 2018-12-27 The Boeing Company Generative image synthesis for training deep learning machines
CN107690672A (zh) * 2017-07-25 2018-02-13 深圳前海达闼云端智能科技有限公司 训练数据生成方法、生成装置及其图像语义分割方法
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN109035416A (zh) * 2018-07-12 2018-12-18 南京大学 基于Unity 3D技术的森林火灾消防虚拟仿真系统构建方法
CN109635853A (zh) * 2018-11-26 2019-04-16 深圳市玛尔仕文化科技有限公司 基于计算机图形技术自动生成人工智能训练样本的方法
CN109858516A (zh) * 2018-12-24 2019-06-07 武汉工程大学 一种基于迁移学习的火灾和烟雾预测方法、系统和介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ISAAC VICTOR KERLOW著；鲍明忠等译: "《3D计算机动画与图像技术》", 北京：中国水利水电出版社, pages: 84 - 85 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205591A (zh) * 2021-04-30 2021-08-03 北京奇艺世纪科技有限公司 一种三维重建训练数据的获取方法、装置及电子设备
CN113205591B (zh) * 2021-04-30 2024-03-08 北京奇艺世纪科技有限公司 一种三维重建训练数据的获取方法、装置及电子设备
CN113364937A (zh) * 2021-05-13 2021-09-07 西安交通大学 一种有监督的视频真实去雾数据集的采集方法及系统
CN113378953A (zh) * 2021-06-22 2021-09-10 徐州才聚智能科技有限公司 火灾检测模型的训练样本制作方法、装置、设备及介质
CN113378953B (zh) * 2021-06-22 2024-06-28 徐州才聚智能科技有限公司 火灾检测模型的训练样本制作方法、装置、设备及介质
CN113962357A (zh) * 2021-09-14 2022-01-21 天津大学 基于gwo-wnn的分布式光伏功率数据虚拟采集方法
CN115205707A (zh) * 2022-09-13 2022-10-18 阿里巴巴（中国）有限公司 样本图像生成方法、存储介质以及电子设备
CN115953520A (zh) * 2023-03-10 2023-04-11 浪潮电子信息产业股份有限公司 一种虚拟场景的记录回放方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN112529022B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN112529022B (zh) 一种训练样本的生成方法及装置
CN112150575B (zh) 场景数据获取方法及模型训练方法、装置及计算机设备
US11256958B1 (en) Training with simulated images
US20190065933A1 (en) Augmenting Real Sensor Recordings With Simulated Sensor Data
KR101964282B1 (ko) 3d 모델을 활용한 2d 영상 학습 데이터 생성 시스템 및 그 생성방법
CN112639846A (zh) 一种训练深度学习模型的方法和装置
Fang et al. Simulating LIDAR point cloud for autonomous driving using real-world scenes and traffic flows
CN112365604B (zh) 基于语义分割和slam的ar设备景深信息应用方法
Muckenhuber et al. Object-based sensor model for virtual testing of ADAS/AD functions
EP2973433A2 (en) Mapping augmented reality experience to various environments
CN113205586A (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
Abdullah et al. Mobile game size estimation: Cosmic fsm rules, uml mapping model and unity3d game engine
US11094134B1 (en) System and method for generating synthetic data
CN104735435A (zh) 影像处理方法及电子装置
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
Jeon et al. Disc: A large-scale virtual dataset for simulating disaster scenarios
Aranjuelo et al. Building Synthetic Simulated Environments for Configuring and Training Multi-camera Systems for Surveillance Applications.
Singh et al. WorldGen: A large scale generative simulator
Galazka et al. CiThruS2: Open-source photorealistic 3D framework for driving and traffic simulation in real time
Yonov School atlas with augmented reality
Moares et al. Inter ar: Interior decor app using augmented reality technology
Koduri et al. AUREATE: An Augmented Reality Test Environment for Realistic Simulations
CN115359422A (zh) 一种高空抛物图像生成方法、装置及系统
CN114972599A (zh) 一种对场景进行虚拟化的方法
Tschentscher et al. A simulated car-park environment for the evaluation of video-based on-site parking guidance systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant