CN115359422A - 一种高空抛物图像生成方法、装置及系统 - Google Patents

Abstract

本实施例提供了一种高空抛物图像生成方法、装置及系统，可以根据物体模型和场景模型模拟被抛物物体在高空抛物场景中的抛物运动，从而确定出被抛物体在目标时刻所处的目标位置，从而根据目标位置生成与实际高空抛物行为相同或相近的待渲染模型，通过对待渲染模型进行渲染得到高空抛物图像。采用本实施例，由于无需在现实世界中拍摄高空抛物行为图像，可降低获取高空抛物图像的难度，能够有效降低获取高空抛物图像的成本。

Description

一种高空抛物图像生成方法、装置及系统

技术领域

本申请涉及机器视觉技术领域，特别是涉及一种高空抛物图像生成方法、装置及系统。

背景技术

高空抛物严重影响到行人的安全，因此需要及时、准确地对高空抛物进行检测，以在检测到高空抛物行为发生时及时采取应对措施，如预警、疏散行人等。相关技术中，可以基于深度学习训练得到的高空抛物检测模型对高空抛物进行检测。

但是，深度学习需要使用大量的发生有高空抛物行为的图像(下文称高空抛物图像)，而高空抛物行为的发生具有一定的随机性，且持续时间往往较短，难以拍摄到高空抛物行为，即获取高空抛物生成图像的成本较高。

发明内容

本实施例的目的在于提供一种高空抛物图像生成方法、装置及系统，用以降低获取高空抛物图像的难度，以降低获取高空抛物图像的成本，提升高空抛物检测的准确率，以使训练得到的高空抛物检测模型能够更为准确地确定出被抛物物体，以及被抛物体的来源位置。具体技术方案如下：

第一方面，本实施例提供了一种高空抛物图像生成方法，所述方法包括：

获取被抛物物体的物体模型和高空抛物场景的场景模型；

根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置；

生成包括所述物体模型和所述场景模型的待渲染模型，其中，所述待渲染模型中所述物体模型位于所述目标位置；

对所述待渲染模型进行第一渲染，得到高空抛物图像。

结合第一方面，本申请提供了第二种可能的实施例，所述方法还包括：

根据所述待渲染模型确定所述物体模型在所述高空抛物图像中的待标注位置；

在所述高空抛物图像中标注所述待标注位置，得到经过标注的高空抛物图像。

结合第一方面的第二种可能的实施例中，本申请提供了第三种可能的实施例，所述根据所述待渲染模型确定所述物体模型在所述高空抛物图像中的待标注位置，包括：

对所述待渲染模型进行第二渲染，得到颜色分割图像，其中，所述第二渲染中所述物体模型被渲染为目标颜色，除所述物体模型外的其他模型被渲染为其他颜色；

在所述颜色分割图像中确定所述目标颜色的区域所处的位置，作为待标注位置。

结合第一方面的第二种可能的实施例或者第三种可能的实施例中，本申请提供了第四种可能的实施例，所述方法还包括：

将所述经过标注的高空抛物图像输入至预设原始模型，得到所述预设原始模型输出的检测位置；

根据所述检测位置和所述经过标注的高空抛物图像中标注的位置之间的差异，调整所述预设原始模型，得到高空抛物检测模型。

结合第一方面，本申请提供了第五种可能的实施例，所述获取被抛物物体的物体模型和高空抛物场景的场景模型，包括：

获取扫描设备扫描被抛物物体得到的扫描数据，以及拍摄高空抛物场景得到的场景图像；

根据所述扫描数据生成所述被抛物物体的物体模型，并根据所述场景图像生成所述高空抛物场景的场景模型。

结合第一方面，本申请提供了第六种可能的实施例，所述根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，包括：

若所述被抛物物体为预设重类型物体，根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做第一抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，其中，所述第一抛物运动为不受空气阻力以及风力作用的抛物运动。

结合第一方面，本申请提供了第七种可能的实施例，所述根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，包括：

若所述被抛物物体为预设轻类型物体，根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做第二抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，其中，所述第二抛物运动为受空气阻力以及风力作用的抛物运动。

结合第一方面，本申请提供了第八种可能的实施例，所述对所述待渲染模型进行第一渲染，得到高空抛物图像，包括：

对处于预设环境条件下的所述待渲染模型进行第一渲染，得到高空抛物图像，其中，所述预设环境条件包括用于表示天气的天气条件以及用于表示光照的光照条件。

第二方面，本实施例提供了一种高空抛物图像生成装置，所述装置包括：

获取模块，用于获取被抛物物体的物体模型和高空抛物场景的场景模型；

第一确定模块，用于根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置；

第一模型生成模块，用于生成包括所述物体模型和所述场景模型的待渲染模型，其中，所述待渲染模型中所述物体模型位于所述目标位置；

第一渲染模块，用于对所述待渲染模型进行第一渲染，得到高空抛物图像。

第三方面，本实施例提供了一种高空抛物图像生成系统，其特征在于，所述系统包括图像采集设备、处理器；其中，

所述图像采集设备用于对高空抛物场景进行图像采集；

所述处理器用于实现第一方面所述的高空抛物图像生成方法步骤，生成高空抛物图像；

所述处理器还用于根据所述高空抛物图像获取高空抛物检测模型，利用所述高空抛物检测模型进行高空抛物检测。

本实施例有益效果：

本实施例提供了一种高空抛物图像生成方法、装置及系统，可以根据物体模型和场景模型模拟被抛物物体在高空抛物场景中的抛物运动，从而确定出被抛物体在目标时刻所处的目标位置，从而根据目标位置生成与实际高空抛物行为相同或相近的待渲染模型，通过对待渲染模型进行渲染得到高空抛物图像。采用本实施例，由于无需在现实世界中拍摄高空抛物行为图像，可降低获取高空抛物图像的难度，能够有效降低获取高空抛物图像的成本。

并且，本实施例生成的高空抛物图像中包含了被抛物体在高空抛物场景中的目标时刻所处的目标位置，基于本实施例生成的大量的高空抛物图像对高空抛物检测模型进行训练，使得训练得到的高空抛物检测模型能够更为准确地识别出高空抛物场景中的被抛物体，以及被抛物体被抛时刻所处的位置，故采用本实施例能够有效提高高空抛物检测的准确率。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本申请提供的高空抛物图像生成方法的一种流程示意图；

图2为本申请提供的对被抛物物体进行标注的一种流程示意图

图3为本申请提供的确定标注位置的一种流程示意图；

图4为本申请提供的高空抛物图像生成装置的一种结构示意图。

具体实施方式

下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本申请保护的范围。

基于深度学习训练得到的高空抛物检测模型对高空抛物进行检测，需要大量的高空抛物图像作为样本数据对预设原始模型进行训练。而由于高空抛物行为发生具有的随机性，且持续时间较短，使得获取大量的样本数据的难度较大，进而使得训练数据面临着极度匮乏的问题。

鉴于此，本申请提供了一种高空抛物图像的生成方法，以实现不依赖真实高空抛物行为便可获取高空抛物行为图像，以降低获取高空抛物图像的难度。

本申请实施例中的高空抛物图像的生成方法的执行主体可以是任一具备三维空间模型建模、渲染能力的电子设备，可以为支持三维建模的计算机、移动终端或者服务器等电子设备，也可以是任一支持建模、渲染的处理芯片，本实施例对此不作任何限制。

在一种可能的实施例中，本申请所提供的一种高空抛物图像的生成方法，如图1所示，具体包括如下步骤：

S101、获取被抛物物体的物体模型和高空抛物场景的场景模型。

S102、根据该物体模型与场景模型，确定被抛物物体的目标位置；其中，该被抛物物体的目标位置为该被抛物物体在该高空抛物场景中做抛物运动的情况下，在目标时刻下所处的目标位置。

S103、生成包括该物体模型和场景模型的待渲染模型；其中，该待渲染模型中该物体模型位于该目标位置。

S104、对待渲染模型进行第一渲染，得到高空抛物图像。

采用本实施例，通过获取被抛物物体的物体模型和高空抛物场景的场景模型，进而模拟被抛物体在高空抛物场景中的抛物运动，得到被抛物体在不同目标时刻的不同目标位置，然后生成包括物体模型与场景模型的待渲染模型，通过对该待渲染模型进行渲染，便可得到大量不同时刻，不同目标位置的模拟的高空抛物行为图像。进而降低获取大量的高空抛物检测模型的训练数据的难度，降低获取高空抛物图像的成本。

并且，本实施例生成的高空抛物图像中包含了被抛物体在高空抛物场景中的目标时刻所处的目标位置，基于本实施例生成的大量的高空抛物图像对预设原始模型进行训练，将训练后的模型作为高空抛物检测模型，利用该高空抛物检测模型能够更为准确地识别出高空抛物场景中的被抛物体，以及被抛物体被抛时刻所处的位置，故采用本实施例能够有效提高高空抛物检测的准确率。在步骤S101中，被抛物物体的物体模型是具备特定形状的虚拟模型。比如，该被抛物物体的物体模型可以是根据一个实物构建的虚拟模型，比如根据一个塑料瓶子真实数据构建的虚拟瓶子。被抛物体的物体模型还可以是通过设置虚拟模型参数得到的一个虚拟模型，比如，通过设置一个物体长宽高，得到一个虚拟的块状物体的模型。

同理，高空抛物场景的场景模型是具备存在高空抛物行为的空间特征的虚拟模型。比如，该高空抛物场景的场景模型可以是模拟现实生活中的高楼、桥梁、悬崖等等可能存在高空抛物行为的场景得到的虚拟场景模型。该高空抛物场景的虚拟模型还可以是直接通过设置虚拟三维模型的参数，构建得到的虚拟空间的模型。建立三维模型所使用的三维建模工具可以是3Dmax、ZBrush等工具，可根据实际需求选择前述任一三维建模工具构建得到场景模型，具体的三维建模方法，本申请不作具体限定。

并且，物体模型可以是由本申请实施例中的高空抛物图像生成方法的执行主体构建得到的，也可以是由除执行主体以外具备三维建模能力的其他设备构建得到的。同理，场景模型可以是由执行主体构建得到的，也可以是由其他设备构建得到的。并且，物体模型和场景模型可以是同一设备构建得到的，也可以是由不同设备构建得到的。

在一种可能的实施例中，被抛物物体的物体模型与该高空抛物场景的场景模型是独立构建的两个虚拟模型，后续通过将两个虚拟模型叠加至同一个虚拟空间中，以模拟该被抛物物体在该高空抛物场景下做抛物运动得到的运动轨迹。

在另一种可能的实施例中，被抛物物体的物体模型与该高空抛物场景的场景模型为同一虚拟模型下的两个不同的子模型。通过改变该物体模型的位置参数，以模拟该被抛物物体在高空抛物场景中的不同状态。其中，被抛物物体所做的抛物运动可以是仅考虑重力，忽略阻力的情况下的抛物运动，也可以是受阻力作用下的抛物运动，具体可以根据实际需求进行选择，本申请不作具体限定。

在一种可能的实施例中，上述步骤S101可以通过如下步骤实现：

S111、获取扫描设备扫描被抛物体得到的扫描数据，以及拍摄高空抛物场景得到的场景图像。

S112、根据该扫描数据生成被抛物物体的物体模型，并根据该场景图像生成高空抛物场景的场景模型。

在步骤S111中，扫描设备可以是：三维扫描仪、深度相机等可以获取被抛物物体的三维信息电子设备。拍摄高空抛物场景的场景图像的设备可以是：具有测量空间距离的图像采集设备。

在步骤S112中，根据步骤S111中扫描设备对被抛物物体进行扫描，得到的扫描数据，将得到的扫描结果进行网格重建，可得到该被抛物物体的虚拟的三维物体模型。

同样，可根据S111中的具有测量空间距离的图像采集设备采集的高空抛物场景的真实图像，进行网格重建，得到高空抛物场景的场景模型。还可以是将高清相机拍摄到的高空抛物场景的图片作为纹理，将其贴在模型网格中，以得到高空抛物场景的场景模型。

采用本实施例，可以通过获取扫描设备扫描被抛物物体的扫描数据，构建真实的被抛物物体的虚拟三维模型，或者高清相机拍摄到的场景图像构建真实的虚拟场景模型，能够最大程度还原真实的高空抛物行为，进一步提高最终训练得到的高空抛物检测模型的检测准确度。

在步骤S102中，目标时刻应当为被抛物物体在高空抛物场景中做抛物运动过程中的任意时刻。比如，目标时刻为被抛物物体被抛出瞬间对应的时刻，又比如目标时刻为被抛物物体抛出后着陆的瞬间对应的时刻，再比如目标时刻为被抛物物体抛出后处于空中的某一时刻等等。目标时刻可以是按照需求设定的特定的时间点。比如，需要获取黄昏场景下的高空抛物图像，该目标时刻可以设定为18:30:00。具体目标时刻的选择可以自行设定，本申请不作具体限定。

在本实施例中，对于该被抛物物体在目标时刻时所处的目标位置为该被抛物物体在目标时刻时所处的位姿，具体包括该被抛物物体的位置与姿势。即该目标位置不仅包括被抛物体在高空抛物场景下的空间坐标，并且还包括了被抛物物体在高空抛物场景下的所呈现的姿势。例如，该目标位置用于表示整个被抛物物体重心的位置，还用于表示该被抛物物体其他各特征点的位置。示例性的，假设该被抛物物体为一个虚拟的多面体，确定得到的该被抛物物体的目标位置，不仅包括该虚拟的多面体的重心的空间坐标，还包括该多面体上每个顶点以及每个面的中心的坐标，可以理解的是，多面体上每个顶点以及每个面的中心的坐标能够反映出该多面体呈现的姿势。

在另一种可能的实施例中，确定得到的被抛物物体的目标位置包括被抛物物体的平移信息与旋转信息。其中，平移信息是指被抛物物体当前时刻的坐标相较于被抛物物体某一特定时刻的坐标之间的位移量，旋转信息是指被抛物物体在当前时刻朝向相较于被抛物物体某一特定时刻的朝向之间的旋转角度。

在本申请实施例中，步骤S103中，生成包括该物体模型和该场景模型的待渲染模型。可以是将目标时刻下的被抛物物体的物体模型与高空抛物场景的场景模型整合成一个静态的模型。其中，将物体模型与场景模型整合成一个模型可以是将该物体模型移动至该场景模型中，也可以是在同一个空白虚拟模型中同时加载该物体模型与场景模型。

在本实施例中，在步骤S104中，对待渲染模型进行第一渲染可以是采用预设的颜色规则对该待渲染模型中的被抛物物体进行渲染；还可以是采用预设的光线规则对该待渲染模型中的被抛物物体进行渲染；也可以是借助预设的材质组合规则对待渲染模型中的各个组件进行渲染。其中，第一渲染遵循的总原则为：使得渲染得到的高空抛物图像的视觉效果达到照片级别效果，从而使得步骤S104中得到的高空抛物图像与真实高空抛物场景中采集到的照片相似，甚至相同。

为了更为真实地模拟真实的高空抛物场景，以获得有效的高空抛物图像。在一种可能的实施例中，上述步骤S104可以通过如下步骤实现：

对处于预设环境条件下的待渲染模型进行第一渲染，得到高空抛物图像。

在本实施例中，该预设环境条件包括用于表示天气的天气条件，以及用于表示光照的光照条件。

在本实施例中，第一渲染可以是采用光线追踪渲染，进而实现在预设环境条件下对待渲染模型进行渲染，以得到更为真实的高空抛物图像。具体地，可以通过在获取被抛物物体做抛物运动过程中的目标位置信息后，比如获取被抛物物体的平移信息与旋转信息，以及每一帧中被抛物物体的信息后，采用光线追踪技术对该被抛物物体进行渲染。其中，被抛物物体的信息包括但不限于位置信息、物体边缘信息、物体的形状信息等等。

在采用光线追踪渲染的过程中，可以根据预设环境条件加入特殊的效果，以更为逼真地模拟真实场景。比如，可以添加昼夜变化、添加雨雪雾等特殊天气效果等等。其中，添加昼夜变化效果可以是采用天空渲染算法，通过设置天空的衰减系数与高阶散射系数，计算出天空的颜色。结合调整时间参数，就可以改变场景中光源的位置，比如太阳的位置，以实现天空昼夜之间的变化。添加雨雪天气效果可以通过FBM(Fractal Brownian Motion,分形布朗运动)算法和Perlin Noise(柏林噪声算法)算法实现。添加雾的天气效果可以通过RayMarching(光线前进)算法，在光线进行过程中，根据雾的密度、能见度、颜色等参数，按照一定的步长，计算画面的像素颜色。在一种可能的实施例中，可同时添加上述各种特殊效果，以实现恶劣环境模拟，也可以仅添加其中一种特殊效果，具体本申请不作具体限定。

采用本实施例，可以结合预设环境条件对待渲染模型进行渲染，得到不同天气、光线下的高空抛物图像，进而得到更为真实、有效的高空抛物图像。

生成的高空抛物图像根据应用场景的不同可以有不同的用途，示例性的，以前述训练预设原始模型以获取高空抛物检测模型的应用场景为例，生成的高空抛物图像可以作为训练样本数据训练预设原始模型。在其他可能的实施例中，生成的高空抛物图像也可以作为宣传高空抛物危险的活动中的素材等其他用途，本申请对生成的高空抛物图像的用途不作任何限定。

下文中为描述方便，仅以前述训练高空抛物检测模型的应用场景进行示例性说明：

在一种可能的实施例中，将步骤S104所获得的高空抛物图像作为训练样本数据，对高空抛物检测模型进行无监督的训练。这种情形下，无需从该高空抛物图像中获取物体模型的具体标注信息，便可完成对该高空抛物检测模型的训练。

在另一种可能的实施例中，需要将步骤S104所获得的高空抛物图像作为训练样本数据，对预设原始模型进行有监督的训练。这种情形下，需要从该高空抛物图像中获取被抛物物体的具体的标注信息，才可准确完成对该预设原始模型的训练，以获取高空抛物检测模型。相关技术中，往往通过人工为被抛物物体添加标注信息的方式，以获取经过标注的高空抛物图像，这样使得人工成本较高，且标注效率极低。

鉴于此，在一种可能的实施例中，如图2所示，本申请所提供的高空抛物图像获取方法，还可包括如下两个步骤，以实现自动对该高空抛物图像进行标注，提高标注效率。

S201、根据待渲染模型确定物体模型在该高空抛物图像中的待标注位置。

S202、在该高空抛物图像中标注该待标注位置，得到经过标注的高空抛物图像。

在一种可能的实施例中，上述步骤S201，可以通过根据不同的物体编号，确定出被抛物物体在空间中的具体位置。具体可以为：结合高空抛物图像的获取角度，确定出待渲染模型的空间坐标与该高空抛物图像的图像坐标之间的转换关系，进而获取该被抛物物体在高空抛物图像中的图像坐标。然后将该被抛物物体在高空抛物图像中的图像坐标，确定得到物体模型在高空抛物图像中的标注位置。

在本申请实施例中，待标注位置可以是被抛物物体的重心坐标，也可以是被抛物物体边缘某一个特征点的坐标，还可以是将被抛物物体包围在内的最小矩形区域的位置。上述步骤S202，可以在高空抛物图像中表示出步骤S201所获确定的待标注位置，得到经过标注的高空抛物图像。在一些可能的实施例中，还可以通过获取被抛物物体的属性信息，然后根据被抛物物体的属性信息，对高空抛物图像进行标注，得到经过标注的高空抛物图像。其中，被抛物物体的属性信息可以包括被抛物物体的颜色信息、类别信息、形状信息等。

采用本实施例，可通过根据待存储模型确定出被抛物物体的物体模型在高空抛物图像中的待标注位置，然后在高空抛物图像中标注该待标注位置，从而自动经过标注的高空抛物图像，能够有效提高标注效率。

可以理解的是，物体模型在待渲染模型中的位置是已知的，而高空抛物图像可以视为待渲染模型在二维图像平面上的投影，因此在物体模型在待渲染模型中的位置已知的情况下，可以确定出物体模型在高空抛物图像中的待标注位置。示例性，在一种可能的实施例中，可以根据第一渲染的渲染方式确定待渲染模型所处的虚拟空间与二维图像平面之间的投影关系，按照该投影关系对物体模型在待渲染模型中的位置进行投影，得到物体模型在高空抛物图像中的位置。

在另一种可能的实施例中，如图3所示，上述步骤S201也可以具体通过如下步骤实现：

S301、对待渲染模型进行第二渲染，得到颜色分割图像。

S302、在颜色分割图像中确定目标颜色的区域所处的位置，作为标注位置。

在本实施例中，第一渲染与第二渲染的渲染方式可以相同，也可以不同。在步骤S301中，第二渲染的渲染方式根据应用场景的不同可以不同，但是应当满足：第二渲染中的目标物体模型被渲染为目标颜色，且除目标物体模型外的其他模型被渲染为其他颜色。

此外，对于存在多个被抛物物体的情况，可以是：预先对场景中的各被抛物物体进行编号，然后不同的被抛物物体按照不同颜色进行渲染。也可以是不同的被抛物物体按照相同颜色进行渲染。

对待渲染模型进行第二渲染时，应注意：渲染空间距离较短的物体之间所使用的颜色尽量不同。

在此基础上，上述步骤S302可通过获取各被抛物物体的RGB值，然后根据目标被抛物物体的RGB值，在整个高空抛物图像中搜索到符合该RGB值的像素块的具体位置，从而获取目标被抛物物体的物体模型在该高空抛物图像中的坐标，将该坐标确定为物体模型在高空抛物图像中的标注位置。

采用本实施例，可通过对待渲染模型进行第二渲染，得到颜色分割图像，然后根据颜色分割图像中目标颜色的区域所处的位置，确定为标注位置，能够自动根据图像中被抛物物体的颜色，无需人工确定被抛物物体在图像中的具体位置，便可自动确定出被抛物物体在高空抛物图像中的标注位置，有利于提高高空抛物图像的标注效率。

在本实施例中，通过上述步骤S202能够自动获得经过标注的高空抛物图像，在本实施例中，将该经过标注的高空抛物图像输入至预设原始模型，得到预设原始模型输出的检测位置。其中，预设原始模型，可以是原始设计的高空抛物检测模型，或者旧版本的高空抛物检测模型。能够理解，可将上述步骤S202所获取到的经过标注的高空抛物图像作为训练数据，对该预设原始模型进行训练。该预设原始模型能够根据输入样本数据，输出高空抛物图像中被抛物物体的位置。

然后根据步骤S201所获得的物体模型在高空抛物图像中的标注位置之间的差异，对预设原始模型进行调整，以实现对预设原始模型的不断迭代、优化，以减少该高空抛物检测模型的检测误差，最终得到用于检测高空抛物行为的高空抛物检测模型。

在一种可能的实施例中，上述步骤S102可以通过如下步骤实现：

S121、若被抛物物体为预设重类型物体，根据该被抛物物体的物体模型和该高空抛物场景的场景模型，确定该被抛物物体在高空抛物场景中做第一抛物运动的情况下，该被抛物物体在目标时刻所处的目标位置，其中，第一抛物运动为不受空气阻力以及风力作用的抛物运动。

或者，S122、若被抛物物体为预设轻类型物体，根据该被抛物物体的物体模型和该高空抛物场景的场景模型，确定该被抛物物体在高空抛物场景中做第二抛物运动的情况下，该被抛物物体在目标时刻所处的目标位置，其中，第二抛物运动为受空气阻力以及风力作用的抛物运动。

在本实施例中，预设重类型物体与预设轻类型物体可以根据实际经验预先确定得到。示例性的，实际操作人员可根据实际经验将该塑料袋预先确定为预设轻类型物体，将该啤酒瓶预先确定为预设重类型物体。

预设重类型物体与预设轻类型物体可以还可以根据实验结果预先确定得到。示例性的，实际操作人员可预先对各类可能的被抛物物体做抛物运动实验，根据实验结果预先将各类可能的被抛物物体确定为预设重类型物体或者预设轻类型物体。具体地，可以计算各类被抛物物体做抛物运动过程中，受到空气阻力以及风力作用情况下的第一运动状态，与不受到空气阻力以及风力作用情况下的第二运动状态，根据第一运动状态与第二运动状态之间的差异，预先确定被抛物物体是否为预设轻类型物体。若第一运动状态与第二运动状态之间的差异大于预设差异阈值，则可预先将该被抛物物体确定为预设轻类型物体。若第一运动状态与第二运动状态之间的差异小于预设差异阈值，则可预先将该被抛物物体确定为预设重类型物体。

预设重类型物体与预设轻类型物体可以根据被抛物物体的属性预先确定得到。其中，被抛物物体的属性可以为被抛物物体的密度、被抛物物体的受力面积。其中，被抛物物体的受力面积可以为：被抛物物体在做抛物运动过程中，该被抛物物体表面垂直于风力方向或者空气阻力方向上的投影面积。

示例性的，可以将密度大于预设密度阈值的被抛物物体预先确定为预设重类型物体，可将密度小于预设密度阈值的被抛物物体预先确定为预设轻类型物体。或者，可以将受力面积大于预设受力面积阈值的被抛物物体预先确定为预设轻类型物体，可将受力面积小于预设受力面积阈值的被抛物物体预先确定为预设重类型物体。

在一种可能的实施例中，若被抛物物体的密度大于预设密度阈值，且被抛物物体的受力面积小于预设受力面积阈值时，则可预先将该被抛物物体确定为预设重类型物体。若被抛物物体的密度小于预设密度阈值，且被抛物物体的受力面积大于预设受力面积阈值时，则可预先将该被抛物物体确定为预设轻类型物体。

在本实施例中，可通过获取被抛物物体的参数，结合预设物体运动轨迹模拟算法，计算出被抛物物体在做抛物运动的情况下，该被抛物物体在目标时刻所处的目标位置，以模拟被抛物物体在受到空气阻力以及风力作用下的实时运动状态，或者不受到空气阻力以及风力作用下的实时运动状态。

其中，被抛物物体的参数包括：物体模型本身、物体的重量、物体初速度、物体角速度、重力加速度、空气阻力、风力方向以及风力大小等等。物体初速度为物体在目标时刻时，在坐标轴三个方向上的初速度，角速度为被抛物物体在目标时刻时，在空间坐标轴三个方向上的角速度。

若被抛物物体为预设重类型物体时，可以将被抛物物体的物体模型、重量、物体初速度、物体角速度以及重力加速度输入至该预设物体运动模拟算法中，以计算出该被抛物物体在做第一抛物运动的情况下的实时运动状态。

若被抛物物体物体为预设轻类型物体时，可以将被抛物物体的物体模型、重量、物体初速度、物体角速度、重力加速度、空气阻力、风力方向以及风力大小输入至该预设物体运动模拟算法中，以计算出该被抛物物体在做第二抛物运动的情况下的实时运动状态。

其中，预设物体运动轨迹模拟算法可以为：动态位置(Position Based Dynamics，PBD)算法。示例性的，具体算法实现过程可以参考如下步骤：

步骤(1)：设被抛物物体的各个顶点为顶点i；

步骤(2)：初始化被抛物物体的各个顶点i的位置xi、速度vi、重量mi；示例性的，初始化顶点i的初始位置可以为xi＝x⁰，初始速度可以为vi＝vi⁰，重量mi＝1/wi；

步骤(3)：输入重力约束条件，计算顶点i在重力约束条件下，在不同时间步长Δt对应的位置xi处，所受到重力作用产生的速度，可根据公式：vi_g＝vi+Δt*(1/mi)fext(xi)计算得到，其中vi_g为顶点i在Δt时间步长对应的xi位置处受到重力作用产生的速度，vi为顶点i在Δt时间步长时顶点的速度，fext(xi)为顶点i在Δt时间步长对应的xi位置处所受到外部阻力；

步骤(4)：对步骤(3)中得出的速度vi进行阻尼计算，以得到各顶点i的阻尼速度；具体的，可以利用相关阻尼计算公式进行计算，本申请不作具体限定；

步骤(5)：更新顶点i在经过Δt后的位置，即顶点i在经过Δt后的位置pi＝xi+Δt·各顶点的阻尼速度；

步骤(6)：对各顶点i进行碰撞计算，以得到碰撞后的顶点i的位置，并生成碰撞约束函数，其中碰撞约束函数反映碰撞后的顶点i的位置p与碰撞力C之间的对应关系；

步骤(7)：根据步骤(6)所生成的碰撞约束函数对上述步骤(6)中计算得到的碰撞后的顶点i的位置进行迭代求解，计算出矫正后的顶点i位置Pi以及速度Vi；

步骤(8)：根据摩擦系统数和恢复系数再次更新顶点i的速度vi；

步骤(9)：循环步骤(1)～步骤(8)求解被抛物物体各个顶点的最新位置以及速度。

采用本实施例，可以结合被抛物物体的实际重量以及被抛物物体的物体模型、高空抛物的场景模型，确定出被抛物体在高空抛物场景下做第二抛物运动情况下的在目标时刻时所处的目标位置，以实现模拟被抛物物体在做受空气阻力以及风力作用下的抛物运动时的真实运动状态，以提供更为真实的高空抛物图像，以提高所获得的高空抛物图像的有效性。最终为预设原始模型提高准确的训练数据，以获取更高检测精度的高空抛物检测模型，继而提高该高空抛物检测模型的检测准确度。

另一方面，如图4所示，本申请提供了一种高空抛物图像生成装置，该高空抛物体图像生成装置包括：

获取模块401、用于获取被抛物物体的物体模型和高空抛物场景的场景模型；

第一确定模块402，用于根据该物体模型和该场景模型，确定该被抛物物体在该高空抛物场景中做抛物运动的情况下该被抛物物体在目标时刻时所处的目标位置；

第一模型生成模块403，用于生成包括该物体模型和该场景模型的待渲染模型，其中，该待渲染模型中该物体模型位于该目标位置；

第一渲染模块404，用于对该待渲染模型进行第一渲染，得到高空抛物图像。

在一种可能的实施例中，该高空抛物体图像生成装置还包括：

第二确定模块405，用于根据该待渲染模型确定该物体模型在该高空抛物图像中的待标注位置；

标注模块406，用于在该高空抛物图像中标注该待标注位置，得到经过标注的高空抛物图像。

在一种可能的实施例中，该高空抛物体图像生成装置还包括：

第二渲染模块407，用于对该待渲染模型进行第二渲染，得到颜色分割图像，其中，该第二渲染中该物体模型被渲染为目标颜色，除该物体模型外的其他模型被渲染为其他颜色；

该第二确定模块405，还用于在该颜色分割图像中确定该目标颜色的区域所处的位置，作为待标注位置。

在一种可能的实施例中，该高空抛物体图像生成装置还包括：

输入模块408，用于将该经过标注的高空抛物图像输入至预设原始模型，得到该预设原始模型输出的检测位置；

模型调整模块409，根据该检测位置和该经过标注的高空抛物图像中标注的位置之间的差异，调整该预设原始模型，得到高空抛物检测模型。

在一种可能的实施例中，该高空抛物体图像生成装置还包括：

该获取模块401，还用于获取扫描设备扫描被抛物物体得到的扫描数据，以及拍摄高空抛物场景得到的场景图像；

第二模型生成模块410，用于根据该扫描数据生成该被抛物物体的物体模型，并根据该场景图像生成该高空抛物场景的场景模型。

在一种可能的实施例中，第一确定模块402，具体用于：

若该被抛物物体为预设重类型物体，根据该物体模型和该场景模型，确定该被抛物物体在该高空抛物场景中做第一抛物运动的情况下该被抛物物体在目标时刻时所处的目标位置，其中，该第一抛物运动为不受空气阻力以及风力作用的抛物运动。

在一种可能的实施例中，第一确定模块402，还用于：

若该被抛物物体为预设轻类型物体，根据该物体模型和该场景模型，确定该被抛物物体在该高空抛物场景中做第二抛物运动的情况下该被抛物物体在目标时刻时所处的目标位置，其中，该第二抛物运动为受空气阻力以及风力作用的抛物运动。

在一种可能的实施例中，第一渲染模块404，具体用于：

对处于预设环境条件下的该待渲染模型进行第一渲染，得到高空抛物图像，其中，该预设环境条件包括用于表示天气的天气条件以及用于表示光照的光照条件。

在另一方面，本实施例还提供了一种高空抛物图像生成系统，该高空图像生成系统包括图像采集设备、处理器，其中：

图像采集设备用于对高空抛物场景进行图像采集；

处理器用于执行前述任一所述的高空抛物图像的生成方法，生成高空抛物图像；

处理器还用于根据所述高空抛物图像获取高空抛物检测模型，利用所述高空抛物检测进行高空抛物检测。

其中，图像采集设备包括但不限于相机、摄像头、视频监控等等。处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本实施例中，处理器基于本实施例生成的高空抛物图像对预设原始模型进行训练，为预设原始模型提供大量的包含被抛物物体以及被抛物物体的位置的训练样本数据，能够使得训练得到的高空抛物检测模型识别高空抛物的准确度得以提升。在一种可能的实施例中，高空抛物图像生成系统中还包括告警设备，其中，告警设备用于在高空抛物检测模型检测出高空抛物时，发出告警信息，告警设备包括但不限于：显示器、音响等。

具体的，处理器可根据所生成的高空抛物图像获取高空抛物检测模型，具体可以是根据所生成的高空抛物图像对预设原始模型进行有监督的训练，也可以是根据所生成的高空抛物图像对预设原始模型进行无监督的训练，以获取高空抛物检测模型。以便后续利用该高空抛物检测模型对实际拍摄到的高空抛物图像进行高空抛物检测，识别实际拍摄场景中存在的高空抛物行为。

示例性的，处理器根据所获取的高空抛物检测模型对所拍摄的实际场景的图像或者视频帧进行高空抛物检测，若检测出图像或者视频帧中存在被抛物物体，进一步确定被抛物物体在高空抛物场景中做抛物运动的情况下各个时刻的位置，从而实现对被抛物物体溯源，确定出被抛物物体被抛出的源头。然后，基于确定得到的结果通过告警设备进行告警，比如，通过音响语音播报存在高空抛物行为，或者通过显示器弹窗显示存在高空抛物行为，并显示高空抛物源头的具体位置。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (10)

1.一种高空抛物图像生成方法，其特征在于，所述方法包括：

获取被抛物物体的物体模型和高空抛物场景的场景模型；

根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置；

生成包括所述物体模型和所述场景模型的待渲染模型，其中，所述待渲染模型中所述物体模型位于所述目标位置；

对所述待渲染模型进行第一渲染，得到高空抛物图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述待渲染模型确定所述物体模型在所述高空抛物图像中的待标注位置；

在所述高空抛物图像中标注所述待标注位置，得到经过标注的高空抛物图像。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待渲染模型确定所述物体模型在所述高空抛物图像中的待标注位置，包括：

对所述待渲染模型进行第二渲染，得到颜色分割图像，其中，所述第二渲染中所述物体模型被渲染为目标颜色，除所述物体模型外的其他模型被渲染为其他颜色；

在所述颜色分割图像中确定所述目标颜色的区域所处的位置，作为待标注位置。

4.根据权利要求2或3任一所述的方法，其特征在于，所述方法还包括：

将所述经过标注的高空抛物图像输入至预设原始模型，得到所述预设原始模型输出的检测位置；

根据所述检测位置和所述经过标注的高空抛物图像中标注的位置之间的差异，调整所述预设原始模型，得到高空抛物检测模型。

5.根据权利要求1所述的方法，其特征在于，所述获取被抛物物体的物体模型和高空抛物场景的场景模型，包括：

获取扫描设备扫描被抛物物体得到的扫描数据，以及拍摄高空抛物场景得到的场景图像；

根据所述扫描数据生成所述被抛物物体的物体模型，并根据所述场景图像生成所述高空抛物场景的场景模型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，包括：

若所述被抛物物体为预设重类型物体，根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做第一抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，其中，所述第一抛物运动为不受空气阻力以及风力作用的抛物运动。

7.根据权利要求1所述的方法，其特征在于，所述根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，包括：

若所述被抛物物体为预设轻类型物体，根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做第二抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置，其中，所述第二抛物运动为受空气阻力以及风力作用的抛物运动。

8.根据权利要求1所述的方法，其特征在于，所述对所述待渲染模型进行第一渲染，得到高空抛物图像，包括：

对处于预设环境条件下的所述待渲染模型进行第一渲染，得到高空抛物图像，其中，所述预设环境条件包括用于表示天气的天气条件以及用于表示光照的光照条件。

9.一种高空抛物图像生成装置，其特征在于，所述装置包括：

获取模块，用于获取被抛物物体的物体模型和高空抛物场景的场景模型；

第一确定模块，用于根据所述物体模型和所述场景模型，确定所述被抛物物体在所述高空抛物场景中做抛物运动的情况下所述被抛物物体在目标时刻时所处的目标位置；

第一模型生成模块，用于生成包括所述物体模型和所述场景模型的待渲染模型，其中，所述待渲染模型中所述物体模型位于所述目标位置；

第一渲染模块，用于对所述待渲染模型进行第一渲染，得到高空抛物图像。

10.一种高空抛物图像生成系统，其特征在于，所述系统包括图像采集设备、处理器；其中：

所述图像采集设备用于对高空抛物场景进行图像采集；

所述处理器用于执行权利要求1-8任一所述的方法步骤，生成高空抛物图像；

所述处理器还用于根据所述高空抛物图像获取高空抛物检测模型，利用所述高空抛物检测模型进行高空抛物检测。

Images