CN112802303A - 一种基于3d视觉的实时风险预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于3D视觉的实时风险预测方法及系统。方法包括：实时视频图像采集、提取特征数据、特征数据编码、编码信息解码、模拟特征数据状态处理、未来风险分析、未来风险数据进行风险预测，以及安全防护；系统包括：图像采集模块、特征提取模块、数据编码模块、数据解码模块、状态处理模块、风险评估模块、风险判断模块和防护控制模块。本发明提供的实时风险预测方法和系统，可有效的对被监测对象未来的安全状态进行预估，可提前预测风险并提供有效的防范措施。

Description

一种基于3D视觉的实时风险预测方法及系统

技术领域

本发明涉及风险预测技术领域，具体涉及一种基于3D视觉的实时风险预测方法及系统。

背景技术

提前预估被监测对象未来的运动轨迹以及存在的安全隐患，在风险预测技术领域得到广泛的关注，并且在实际生活中具有非常重要的作用，如摔倒预测评估、小孩磕碰预测、交通事故预测等场景。需要实时依据之前场景来预估未来尚未发生的潜在风险，并依据风险预测值提前进行防护。因此，如何准确地预估未来场景，对未来场景进行准确建模预判至关重要。

近些年，随着人工智能以及智能设备的日趋成熟，如何更好的利用人工智能技术来实现实时对象与场景3D构建以及更精准的未来风险预测评估成为产业的研究趋势。然而，目前的基于图像处理技术的风险预测方法大多是基于二维视觉，利用神经网络进行未来风险预测。

发明内容

本发明所要解决的技术问题是基于二维视觉的风险预测方法不够直观的问题，目的在于提供一种基于3D视觉的实时风险预测方法及系统，解决利用3D建模实现对未来风险值进行预测，从而使风险预测更为直观。

本发明通过下述技术方案实现：

一种基于3D视觉的实时风险预测方法，包括：

步骤1：实时采集被监测对象及周边环境的视频图像，建立图像数据库；所述图像数据库中包括一个或多个视频图像；

步骤2：提取出所述图像数据库中所有视频图像的特征数据，建立特征数据库；所述特征数据库中包括被监测对象的形态特征和被监测对象与周围环境的交互特征；

步骤3：对所述特征数据库中的特征数据进行处理，得到编码信息数据库；

步骤4：对所述编码信息数据库中的编码信息进行解码，得到被监测对象的模拟特征数据库；所述模拟特征数据库中至少包括被监测对象的未来形态特征和被监测对象与周围环境的未来交互特征两种数据类型；

步骤5：对所述模拟特征数据库中的模拟特征数据进行处理，得到3D场景图数据库；

步骤6：根据所述3D场景图数据库进行未来风险分析，得到未来风险数据；所述未来风险数据包括未来风险类型和未来风险值；

步骤7：根据所述未来风险数据对被监测对象进行风险预测。

本发明与现有技术相比，其创新点在于：通过2D状态图实时更新被监测对象的状态信息，并利用3D场景图构建网络模型对监测对象未来时间步长下的状态数据进行3D场景图构建，从而更加直观地表示出被监测对象与周围环境的未来交互状态。

作为对本发明的进一步描述，在预测得到未来风险值的基础上，根据未来风险值实施安全防护。具体为：当所述未来风险值为1时，启动安全防护系统实施紧急安全防护措施；当所述未来风险值为0时，不实施紧急安全防护措施。

作为对本发明的进一步描述，步骤3具体为：对所述特征数据库中的全部特征数据进行编码，得到多个不同时间步长的编码信息；根据所述多个不同时间步长的编码信息建立编码信息数据库。

作为对本发明的进一步描述，未来特征数据的处理方法为：根据所述模拟特征数据库生成2D状态图像数据库；将所述2D状态图像数据库中的2D状态图像数据输入到3D场景图构建网络模型中，生成未来3D场景图。

作为对本发明的进一步描述，步骤2中的特征数据的提取方法为：对所述视频图像进行对象边界框定处理和状态特征提取，得到特征数据。

一种基于3D视觉的实时风险预测系统，包括：

图像采集模块：用于实时采集被监测对象及周边环境的视频图像；

特征提取模块：用于从采集到的视频图像中提取出特征数据；

数据编码模块：用于对提取出的特征数据进行编码，得到不同时间步长的编码信息；

数据解码模块：用于对编码信息进行解码，得到模拟特征数据；

状态处理模块：用于对被监测对象的当前及未来时间步长下的状态信息进行实时存储、维护和更新；

风险评估模块：用于根据3D场景图进行未来风险评估，得到未来风险值；

风险判断模块：用于根据未来风险值判断是否需要启动安全防护系统。

作为对本发明的进一步描述，为了利用未来风险值实施安全防护，该基于3D视觉的实时风险预测系统还包括防护控制模块，用于控制安全防护系统的启动和关闭。

作为对本发明的进一步描述，状态更新模块包括：

2D状态图更新单元：用于实时存储、维护和更新未来时间步长下被监测对象与不同物体之间的关系状态信息；

3D场景图更新单元：用于实时存储、维护和更新未来时间步长下被监测对象与周围环境之间的交互状态信息。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明可有效地对被监测对象的未来安全状态进行预测；

2、本发明可提前预测风险并提供有效的防范措施；

3、本发明可更直观地分析被监测对象的未来状态信息。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明第一实施例的基于3D视觉的实时风险预测方法流程图及系统框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

第一实施例：

本发明一种基于3D视觉的实时风险预测方法，如图1所示，包括：

步骤1：实时采集被监测对象及周边环境的视频图像，建立图像数据库。其中，被监测对象及周边环境的视频图像可利用视频采集装置采集获得，例如，使用摄像头、雷达、扫描仪等进行视频图像采集。图像数据库中至少包括一个视频图像。

步骤2：提取出步骤1的图像数据库中所有视频图像的特征数据，例如倾斜角度特征、距离特征等；根据提取出的特征数据建立特征数据库。特征数据库中至少包括被监测对象的形态特征和被监测对象与周围环境的交互特征两种数据类型。

步骤3：对所步骤2的特征数据库中的特征数据进行处理，具体为：将步骤2提取的特征数据输入到基于Attention模型的编码模块中，提取出不同时间步长的上下文编码信息。利用提取出的多个不同时间步长的编码信息建立编码信息数据库。

步骤4：对步骤3的编码信息数据库中的编码信息进行解码，得到被监测对象的模拟特征数据库。模拟特征数据库中至少包括被监测对象的未来形态特征和被监测对象与周围环境的未来交互特征两种数据类型。

步骤5：对所述模拟特征数据库中的模拟特征数据进行处理，具体为：根据步骤4得到的模拟特征数据库生成2D状态图像数据库；再将2D状态图像数据库中的2D状态图像数据输入到3D场景图构建网络模型中，生成未来3D场景图，多个未来3D场景图构成3D场景图数据库。

步骤6：根据步骤5得到的3D场景图数据库进行未来风险分析，得到未来风险数据。其中未来风险数据库中包括未来风险数据包括未来风险类型和未来风险值。

步骤7：根据步骤6得到的未来风险数据进行风险预测。

根据上述步骤1至步骤7的方法得到未来风险值的基础上，本发明可根据未来风险值实施安全防护。具体为：当所述未来风险值为1时，启动安全防护系统实施紧急安全防护措施；当所述未来风险值为0时，不实施紧急安全防护措施。

实际运用中，例如将上述一种基于3D视觉的实时风险预测方法运用到儿童保护型机器人，用来对儿童日常生活环境中的潜在风险进行预测。具体为：

步骤1.1：机器人采用摄像头实时采集多个目标儿童和周围环境的视频图像，并将采集到的多个视频图像进行存储，形成视频图像数据库。

步骤1.2：根据步骤1.1形成的视频图像数据库，对采集到的视频图像信息进行特征提取，提取出目标儿童在每一个时间步长上的位置坐标、距离周围环境的距离、身体与地面角度等姿态特征以及与周围环境间的交互特征等，同时建立特征数据库。

步骤1.3：将步骤1.2的特征数据库中的每个时间步长上提取的特征数据输入到attention编码模块，融合不同时间步长上的特征数据，做编码处理。

步骤1.4：将步骤1.3中经过编码处理获得的上下文编码信息输入到解码模块中解码，得到未来时刻下目标儿童的运动特征，以及儿童与环境的交互特征。

步骤1.5：将步骤1.4得到的未来时刻下目标儿童的运动特征以及儿童与环境的交互特征，转换成可以描述未来时刻的状态信息的2D状态图；然后根据预测得到的目标儿童的未来状态信息，构建更加直观并体现更多细节的3D场景图。

步骤1.6：对生成的3D场景图进行未来风险分析，得到目标儿童的未来风险数据，包括未来风险类型和未来风险值。

步骤1.7：根据步骤1.6得到的未来风险数据对目标儿童进行风险预测，包括周围环境是否会对目标儿童造成磕碰、摔伤、烫伤以及其他的伤害等。

基于上述步骤1.1至步骤1.7，接下来可针对分析出的目标儿童的未来风险值和风险因素(类型)，判断是否需要启动防护模块。例如，当风险值为1是，表示存在风险，则启动防护系统对目标监测儿童实施紧急安全防护措施，包括系统提前准备安全防护垫、提前对周围环境进行安全距离矫正、提前护住儿童避免掉落等；当风险值为0时，表示不存在风险，则系统继续实时监测目标对象，实时更新状态值。

第二实施例：

一种基于3D视觉的实时风险预测系统，包括：

图像采集模块：用于实时采集被监测对象及周边环境的视频图像；

特征提取模块：用于从采集到的视频图像中提取出特征数据；

数据编码模块：用于对提取出的特征数据进行编码，得到不同时间步长的编码信息；

数据解码模块：用于对编码信息进行解码，得到模拟特征数据；

状态处理模块：用于对被监测对象的当前及未来时间步长下的状态信息进行实时存储、维护和更新；

风险评估模块：用于根据3D场景图进行未来风险评估，得到未来风险值；

风险判断模块：用于根据未来风险值判断是否需要启动安全防护系统。

为了对被监测目标实施安全防护，在上述的一种基于3D视觉的实时风险预测系统的基础上，增加防护控制模块，用于控制安全防护系统的启动和关闭。

其中，状态更新模块包括：

2D状态图更新单元：用于实时存储、维护和更新未来时间步长下被监测对象与不同物体之间的关系状态信息；

3D场景图更新单元：用于实时存储、维护和更新未来时间步长下被监测对象与周围环境之间的交互状态信息。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于3D视觉的实时风险预测方法，其特征在于，包括以下步骤：

步骤1：实时采集被监测对象及周边环境的视频图像，建立图像数据库；所述图像数据库中包括一个或多个视频图像；

步骤2：提取出所述图像数据库中所有视频图像的特征数据，建立特征数据库；所述特征数据库中包括被监测对象的形态特征和被监测对象与周围环境的交互特征；

步骤3：对所述特征数据库中的特征数据进行处理，得到编码信息数据库；

步骤4：对所述编码信息数据库中的编码信息进行解码，得到被监测对象的模拟特征数据库；所述模拟特征数据库中至少包括被监测对象的未来形态特征和被监测对象与周围环境的未来交互特征两种数据类型；

步骤5：对所述模拟特征数据库中的模拟特征数据进行处理，得到3D场景图数据库；

步骤6：根据所述3D场景图数据库进行未来风险分析，得到未来风险数据；所述未来风险数据包括未来风险类型和未来风险值；

步骤7：根据所述未来风险数据对被监测对象进行风险预测。

2.根据权利要求1所述的一种基于3D视觉的实施风险预测方法，其特征在于，当所述未来风险值为1时，启动安全防护系统实施紧急安全防护措施；当所述未来风险值为0时，不实施紧急安全防护措施。

3.根据权利要求1所述的一种基于3D视觉的实时风险预测方法，其特征在于，所述步骤3具体为：

对所述特征数据库中的全部特征数据进行编码，得到多个不同时间步长的编码信息；

根据所述多个不同时间步长的编码信息建立编码信息数据库。

4.根据权利要求1所述的一种基于3D视觉的实时风险预测方法，其特征在于，所述未来特征数据的处理方法为：

根据所述模拟特征数据库生成2D状态图像数据库；

将所述2D状态图像数据库中的2D状态图像数据输入到3D场景图构建网络模型中，生成未来3D场景图。

5.根据权了要求1所述的一种基于3D视觉的实时风险预测方法，其特征在于，所述特征数据的提取方法为：对所述视频图像进行对象边界框定处理和状态特征提取，得到特征数据。

6.一种基于3D视觉的实时风险预测系统，其特征在于，包括：

图像采集模块：用于实时采集被监测对象及周边环境的视频图像；

特征提取模块：用于从采集到的视频图像中提取出特征数据；

数据编码模块：用于对提取出的特征数据进行编码，得到不同时间步长的编码信息；

数据解码模块：用于对编码信息进行解码，得到模拟特征数据；

状态处理模块：用于对被监测对象的当前及未来时间步长下的状态信息进行实时存储、维护和更新；

风险评估模块：用于根据3D场景图进行未来风险评估，得到未来风险值；

风险判断模块：用于根据未来风险值判断是否需要启动安全防护系统。

7.根据权利要求6所述的一种基于3D视觉的实时风险预测系统，其特征在于，包括防护控制模块，用于控制安全防护系统的启动和关闭。

8.根据权利要求6所述的一种基于3D视觉的实时风险预测系统，其特征在于，所述状态更新模块包括：

2D状态图更新单元：用于实时存储、维护和更新未来时间步长下被监测对象与不同物体之间的关系状态信息；

3D场景图更新单元：用于实时存储、维护和更新未来时间步长下被监测对象与周围环境之间的交互状态信息。

Images