CN112949598B - 一种公路建筑施工安全智能识别系统 - Google Patents
一种公路建筑施工安全智能识别系统 Download PDFInfo
- Publication number
- CN112949598B CN112949598B CN202110369790.0A CN202110369790A CN112949598B CN 112949598 B CN112949598 B CN 112949598B CN 202110369790 A CN202110369790 A CN 202110369790A CN 112949598 B CN112949598 B CN 112949598B
- Authority
- CN
- China
- Prior art keywords
- scene
- construction
- monitoring device
- building
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009435 building construction Methods 0.000 title claims abstract description 13
- 238000010276 construction Methods 0.000 claims abstract description 110
- 238000012806 monitoring device Methods 0.000 claims abstract description 71
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000013459 approach Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 238000011065 in-situ storage Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出一种公路建筑施工安全智能识别系统，包括场景识别引擎、第一监测装置和第二监测装置。第一监测装置包括多个激光传感器与图像采集器，激光传感器用于探测接近施工建筑的目标的接近速度和接近距离，图像采集器用于获取所述目标的三维图像；第二监测装置包括多个现场监测传感器，多个现场监测传感器获取所述施工建筑的预定范围内的多张场景图像；场景识别引擎与第一监测装置和第二监测装置通信，基于第一监测装置获取的状态参数以及第二监测装置获取的场景参数，向施工建筑的预定范围的至少一个控制终端发送识别信号。本发明能够基于智能场景识别模型确保公路建筑施工安全。
Description
技术领域
本发明属于安全施工技术领域，尤其涉及一种公路建筑施工安全智能识别系统。
背景技术
为了保证公路交通安全，《中华人民共和国公路法》第五十六条规定：“除公路防护、养护需要的以外，禁止在公路两侧的建筑控制区内修建建筑物和地面构筑物”。 公路建筑控制区是指根据法律规定在公路两侧一定的范围内禁止修建建筑物和构筑物，原有的建筑物和构筑物不得扩建，需埋设管线、电缆及修建临时性工程设施的，应经交通主管部门批准，上述一定区域被称作公路建筑控制区。
随着我国交通基础设施的不断完善，公共交通流量不断扩大，原有的公路、桥梁、铁路等不能满足需要，因此需要在原有的公路道路进行改建、扩建甚至接驳改道等操作，包括在原有的公路上修筑引桥、匝道、立交桥、引流出入口等设施，由此将产生诸多问题。一方面，由于《中华人民共和国公路法》规定的公路建筑控制区存在，行人和车辆在原有的公路上行驶时，已经默认现有的公路不会出现大的变动，而对可能发生的改建、扩建甚至接驳改道施工未有预期，当上述改建、扩建甚至接驳改道施工发生时，可能影响正常同行甚至引发交通事故；另一方面，上述改建、扩建甚至接驳改道施工周期较长，同时由于现场施工条件限制，施工车辆和人员不可避免的将要影响正常行驶车辆，给已有的公路的正常使用引入堵塞因素，进一步增大了安全隐患。
为此，在改建、扩建甚至接驳改道施工时，通常需要进行围蔽性施工，尽量避免对公路正常行驶一侧的影响，同时还需要设置多种指示牌，提醒过往行人注意安全，在有关规定中，还规定了必须配置相应的安全督导员或者引导员。
然而，发明人发现，在某些条件下，即使是围蔽性施工，也不避免的需要占用正常的行驶区域，与现有的公路区域产生汇合；单纯的采用人工或者静态指示牌的警示性引导，过往行人或者车辆依然会存在视觉疲劳；而在夜间强制性抢修施工时，这些措施的有效性也大大降低。
申请号为CN202011052533.6的中国发明专利申请提出一种高速公路施工安全预警系统，包括支撑板，支撑板的上侧滑动连接有连接板，支撑板的侧端固定连接有调节板，调节板的中间滑动连接有固定板，固定板和支撑板平行设置，调节板和固定板的下端都设有连接槽，连接槽为T型结构，支撑板和固定板的下端设有限位板，支撑板位于调节板的上端固定连接有支撑架，支撑架上侧设有转盘，连接板为L型结构，连接板的上端固定连接有安装架，安装架中间固定连接有预警显示屏，连接板的侧端固定连接有警报器，连接板的左端固定连接有测速摄像头，该发明通过在护栏处间隔设置装置，对路过的车辆提示前方施工信息，使得行驶车避开施工路段。然而，该发明实质上仍然是一种静态的指示方法，缺乏智能性。
因此，如何智能化的实现公路建筑施工的安全智能识别，成为本领域亟待解决的技术问题之一。
发明内容
为解决上述技术问题，本发明提出一种公路建筑施工安全智能识别系统，包括场景识别引擎、第一监测装置和第二监测装置。第一监测装置包括多个激光传感器与图像采集器，激光传感器用于探测接近施工建筑的目标的接近速度和接近距离，图像采集器用于获取所述目标的三维图像；第二监测装置包括多个现场监测传感器，多个现场监测传感器获取所述施工建筑的预定范围内的多张场景图像；场景识别引擎与第一监测装置和第二监测装置通信，基于第一监测装置获取的状态参数以及第二监测装置获取的场景参数，向施工建筑的预定范围的至少一个控制终端发送识别信号。本发明能够基于智能场景识别模型确保公路建筑施工安全。
本发明的技术方案可以概括性的描述如下，其具体的技术方案可具体参见后续具体实施例部分。
一种公路建筑施工安全智能识别系统，所述系统包括第一监测装置、第二监测装置、场景识别引擎以及本地场景数据库：
所述第一监测装置位于施工建筑的第一方向，所述第二监测装置位于所述施工建筑的第二方向；
所述第一监测装置包括多个激光传感器与图像采集器，所述激光传感器用于探测接近所述施工建筑的目标的接近速度和接近距离，所述图像采集器用于获取所述目标的三维图像；
所述第二监测装置包括多个现场监测传感器，所述多个现场监测传感器获取所述施工建筑的预定范围内的多张场景图像；
所述场景识别引擎与所述第一监测装置和所述第二监测装置通信，并基于所述第一监测装置获取的状态参数以及所述第二监测装置获取的场景参数，向所述施工建筑的预定范围的至少一个控制终端发送识别信号。
所述场景识别引擎包括语义识别组合引擎，所述语义识别组合引擎包括空间关系识别组件、场景语义识别组件以及行为语义提取组件；
所述语义识别组合引擎与所述本地场景数据库通信，基于所述语义识别组合引擎输出的空间关系或场景语义或行为语义，从所述本地场景数据库中查找出场景预测数据；
基于所述场景预测数据和所述第一监测装置获取的状态参数，向所述场景预测数据对应的至少一个移动终端发送所述识别信号。
所述本地场景数据库存储有场景参数与场景状态之间的关联关系；
所述场景预测数据为所述场景识别引擎基于所述语义识别组合引擎识别出的空间关系、场景语义以及行为语义，预测得出的场景数据，所述预测得出的场景数据用于表征所述施工建筑在未来预定时间段的空间关系或者动作行为。
本发明的技术方案相对于现有技术，其优点至少体现在：
（1）基于计算机视觉以及计算机图像处理技术，结合智能识别引擎以及相应的硬件组合传感器实现安全智能预测和识别；
（2）能够针对施工现场，尤其是公路施工现场的人员、车辆进出的安全隐患进行智能化识别，并且及时的给出识别信号；
（3）基于深度信念网络模型以及神经网络模型，极大的提高了识别准确性和有效性，能够有效的保障公路施工现场的安全，保证施工效率的同时确保安全性。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种公路建筑施工安全智能识别系统的总体结构图
图2是图1所述系统在公路施工现场的布局示意图
图3是图1所述系统在硬件上的实现组合示意图
图4是图1所述系统使用的深度信念网络模型的结构示意图
图5是图1所述系统使用的卷积神经网络模型的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参见图1，是本发明一个实施例的一种公路建筑施工安全智能识别系统的总体结构图。
在图1中，所述系统包括位于所述施工建筑附近的第一监测装置、第二监测装置以及场景识别引擎。
作为示例，参见所述箭头所示方向。所述第一监测装置用于检测至少一个接近目标，所述第二监测装置用于获取所述施工建筑范围内的多个场景参数，所述场景识别引擎用于接收所述第一监测装置和所述第二监测装置发送的监测数据，并基于所述监测数据，生成识别信号，发送至所述施工建筑范围内的至少一个控制终端。
在本发明中的各个实施例中，所述施工建筑为公路施工建筑，意为在已有的公路附近修建的施工建筑。
作为一个非限制性的举例说明，所述施工建筑可以是位于普通行驶公路的人行天桥，或者跨线立交桥，或者修建于普通行驶公路一侧的必要建筑，例如标志塔；
作为另一个非限制性的举例说明，所述施工建筑可以是位于高速公路一侧的跨线建筑，例如另一条横跨高速公路的支线或者匝道或者引桥等建筑。
需要注意的是，不管是哪一种施工建筑，在实际施工中，都是为了最大程度的避免对现有公路的正常行驶造成影响，至少保留现有公路的至少一条车道的正常行驶。
通常情况下，施工建筑的大部分需要做好围护或者围蔽工作。在条件允许的情况下，位于公路行驶一侧需要完全围蔽，施工人员或者车辆不从公路行驶一侧进出，这种情形可以最大程度保证不干扰公路的正常行驶，安全隐患较低。
然而，在条件不允许的情况下，施工人员或者车辆需要借道从已有的公路行驶的一侧进出，从而需要进行交通管制或者短时道路封闭，从而给已有的道路交通造成较大影响。
现有技术中，针对此类情况，通常设置多个警示标识牌来提醒过往车辆，同时要求施工现场车辆和人员进出时，密切观察周围过往车辆；更多情况下，还需要设置专职的安全引导员或者安全督导员。显然，在施工较长周期的情况下，上述方案不仅效率较低，而且完全依靠静态的指示或者人工引导的方式，存在较大的安全隐患，智能化程度也不高。
本发明的至少一个技术方案时针对上述问题而产生的。
基于图1，可具体参见图2。
图2示出了图1所述系统在公路施工现场的布局示意图。
在图2中，所述第一监测装置位于施工建筑的第一方向，所述第二监测装置位于所述施工建筑的第二方向。
在本发明的各个实施例中，所述第一方向和第二方向是相对于所述施工建筑的位置和所述公路的行驶方向来确定的。
概括来说，所述第一方向位于为所述公路任一侧的行驶方向的反方向；所述第二方向与所述第一方向位于所述施工建筑的相对方向。
以图2作为示例。在图2中，假设公路的正常行驶方向为自下向上（自南向北，图中定义为上北下南），则所述第一监测装置相对于所述施工建筑，位于所述行驶方向的反方向，即所述第一监测装置位于所述施工建筑的南向；
与此相对应的，所述第二监测装置相对于所述施工建筑，位于所述行驶方向的正方向，即所述第二监测装置位于所述施工建筑的北向。
需要注意的是，在图2中布局图中，所述第一监测装置和第二监测装置的布局并不是随意的，而是充分了考虑了现场施工的安全因素。
图2中，标出了两个椭圆形区域，简称上椭圆和下椭圆。
显然，相对于图中的施工建筑来说，在图2所述的公路场景中，上椭圆区域的安全隐患远大于下椭圆的安全隐患。施工建筑现场的车辆或者人员进出所述上椭圆，远比进出所述下椭圆更易产生事故。
因此，本实施例中，用于监测施工建筑现场的第二监测装置设置于所述施工建筑的北向，能够重点监测施工车辆或者行人进出所述上椭圆区域的安全隐患。
继续参见图2。所述第二监测装置包括多个现场监测传感器，所述多个现场监测传感器获取所述施工建筑的预定范围内的多张场景图像。
所述第一监测装置包括多个激光传感器与图像采集器，所述激光传感器用于探测接近所述施工建筑的目标的接近速度和接近距离，所述图像采集器用于获取所述目标的三维图像；
所述场景识别引擎与所述第一监测装置和所述第二监测装置通信，并基于所述第一监测装置获取的状态参数以及所述第二监测装置获取的场景参数，向所述施工建筑的预定范围的至少一个控制终端发送识别信号。
在本发明针对的施工建筑场景中，所述施工建筑的预定范围包括多个控制终端，所述多个控制终端包括移动终端与控制器，所述施工建筑的施工人员配置所述移动终端，所述施工建筑的预定范围的施工车辆配置所述控制器；
所述识别信号包括给所述移动终端发送警示信号，和/或，给所述施工车辆发送暂停信号。
作为进一步的优选，在所述施工建筑的施工人员配置可穿戴移动终端，所述可穿戴移动终端设置有震动反馈仪，基于所述识别信号生成震动信号，在所述震动反馈仪上产生震动反馈信号，以提示所述施工人工；
作为进一步的优选，在所述施工建筑的出入口控制杆上配置自动控制器，基于所述识别信号生成控制杆暂停抬起信号，使得所述控制杆在预定时间段内静止抬起，并发出警示灯光信号。
接下来参见图3。图3是图1所述系统在硬件上的实现组合示意图。
在图3中，所述第一监测装置包括多个激光传感器与图像采集器，所述激光传感器用于探测接近所述施工建筑的目标的接近速度和接近距离，所述图像采集器用于获取所述目标的三维图像。
所述第一监测装置获取的状态参数包括所述接近速度、接近距离以及所述三维图像，所述目标的三维图像包括所述目标本身的三维图像以及所述目标周围的对象的三维图像。
作为更进一步的改进，为了降低资源损耗，当所述第一监测装置的所述激光传感器获取的所述目标的接近速度或者接近距离满足第一预定条件时，才激活所述图像采集器获取所述目标的三维图像。
显然，在本实施例中，并不是时刻都需要进行图像数据采集，而是在满足预定条件时才进行获取。
这里的预定条件可以由本领域技术人员根据实际情况设定，作为一个示例，当所述第一监测装置的所述激光传感器获取的所述目标的接近速度超过预设值时，激活所述图像采集器获取所述目标的三维图像；
或者，当所述第一监测装置的所述激光传感器获取的所述目标的接近距离小于预设值时，激活所述图像采集器获取所述目标的三维图像。
还需要注意的是，，所述目标的三维图像包括所述目标本身的三维图像以及所述目标周围的对象的三维图像，例如目标车辆的左边、右边以及后面的车辆或者行人的三维图像，从而避免单一目标的错误。
同时，本实施例采用激光传感器，例如可以是激光雷达，可以在较远距离实现目标接近检测，并且不受到雨雾天气的影响，相较于一般的人力观测、超声波检测等，精确度更高。同时，激光雷达可以多角度安装，使得方案的普适性更强。
图3中，所述第二监测装置的所述多个现场监测传感器，所述多个现场监测传感器位于所述第二方向的多个不同位置；所述现场监测传感器包括视觉传感器和声音传感器；
所述第二监测装置获取的场景参数，包括所述视觉传感器获取的施工现场场景图以及所述声音传感器获取的所述施工现场的声音信号。
优选，所述视觉传感器获取所述施工现场的多张连续场景帧，以及确定所述每张场景帧对应的声音信号产生方向。
接下来重点介绍本发明所述场景识别引擎的功能构造。
在图3中，所述场景识别引擎包括语义识别组合引擎，所述语义识别组合引擎包括空间关系识别组件、场景语义识别组件以及行为语义提取组件。
空间关系识别组件，可称为空间关系语义识别组件。
在计算机图形学以及计算机视觉领域，可将一组特定对象的特定空间关系抽象为一种场景， 场景的构成因素可以概括为 3 个方面:非固定特征因素， 是指场景中的行为主体， 具有不同的特征属性， 表现出不同的行为特征; 固定特征因素， 是指基本上固定的， 或变化较小的因素， 如楼层施工特征环境等; 半固定特征， 是指即使在同一的空间中， 不同的位置能够产生和引导不同的行为的发生， 从而形成不同的场景， 如管道线路脚手架等。
从计算机视觉角度分析， 施工场景图像语义根据其理解层次的不同， 可分为底层特征 中层语义和高层视觉3 个层次。底层特征为低级视觉信息， 可从图像中直接获取，是对图像的视觉特征最直接客观的描述 中层语义用视觉词包模型或语义主题来表示 中层语义由低层视觉特征推导演变得到的特征信息，用来表示基于内容的图像 高层视觉指人们对图像进行高级的抽象认知而得到的语义信息，往往包含比低的层次更高级 更抽象的语义 底层特征与人们理解的高层视觉存在语义鸿沟， 即在判别图像相似性时是建立理解描述对象语义的基础上， 并非仅建立在底层纹理颜色和形状等特征上。
在本发明的技术方案中，由低层次到高层次依次是特征语义(纹理-颜色-形状信息) 、对象语义、空间关系语义、场景语义、行为语义和情感语义。 结合实际不安全物态和不安全行为场景描述， 其图像语义主要涉及对象语义 空间关系语义 场景语义和行为语义 4 个层面。
类似的介绍可参见如下现有技术，本发明上述概念不作详细展开：
SHEN J，SHEPHEＲDX J，NGUL A H． Semantic－sensitive lassification forlarge image libraries［C］． International Multi-media Modelling Conference，2005: 340－345．
ZHAO Ｒ，GＲOSKY W I． Narrowing the semantic gap improved text basedWeb document retrieval using visual features． IEEE Transactions onMultimedia， 2002，4( 2) : 189－200．
在图3中，所述系统还包括本地场景数据库，所述语义识别组合引擎与所述本地场景数据库通信，基于所述语义识别组合引擎输出的空间关系或场景语义或行为语义，从所述本地场景数据库中查找出场景预测数据；基于所述场景预测数据和所述第一监测装置获取的状态参数，向所述场景预测数据对应的至少一个移动终端发送所述识别信号。
作为更具体的介绍， 所述本地场景数据库存储有场景参数与场景状态之间的关联关系，所述关联关系表征所述场景参数对应的场景状态的非安全特征。
作为一个示意性的例子，场景参数例如可以是：
工人即将走出施工现场，并且速度较快，同时未佩戴安全帽；
此时，本地场景数据库存储的场景状态为违章行动，而场景预测数据为在未来30s内，该工人将导致高危行为，包括走出施工建筑范围（空间关系）或者与导致路过车辆发生碰撞（动作行为）。
这里的30s，是所述场景识别引擎基于从第一监测装置接收到的接近所述施工建筑的目标的接近速度和接近距离确定的。
图1-3的识别过程，具体是基于所述场景识别引擎包含的卷积神经网络模型以及深度信念网络模型实现的。
具体而言图4是图1所述系统使用的深度信念网络模型的结构示意图，图5是图1所述系统使用的卷积神经网络模型的结构示意图。
首先，所述场景识别引擎包括语义识别组合引擎，所述语义识别组合引擎包括空间关系识别组件、场景语义识别组件以及行为语义提取组件。
在上述实施例中，空间关系识别组件、场景语义识别组件可以基于训练好的卷积神经网络模型实现。
具体的，将所述目标的三维图像作为所述卷积神经网络模型的第一输入，同时需要将与所述目标三维图像对应的部分施工现场场景图作为所述卷积神经网络模型的第二输入。
参见图5，所述卷积神经网络至少包括第一卷积过程、第二自采样过程、第三卷积过程、第四子采样过程以及全连接过程。
作为一个神经网络模型，上述过程概括为信息输入、预处理、特征抽取和选择以及分类决策学习4 个过程。
对于空间关系语义， 在对象识别的基础上， 为定位各对象区域，用最小边缘矩形法对区域作近似估算， 其处理得到的是一系列矩形， 而每个矩形则对应对象轮廓的一条闭合曲线。对象之间的方位关系， 可通过建立方向关系矩阵来确定 这样， 就可直观地得到8 个方向( 上 下 左 右 左上 左下 右上 右下)上对象所处空间位置的形式描述以及对象之间相邻和交叠的关系。
对于场景语义， 采用组合区域模板的方法， 首先将图像划分为大小固定的子块，然后分别确定这些子块各自的简单场景语义类别， 最后根据子块间的组合关系来确定整幅图像的简单场景语义类别 。
接下来参见图4，图4的深度信念网络（DBN）可以实现行为语义识别提取。
行为语义的提取主要包括识别人的动作姿态和自然语言描述人体行为 2 个步骤。
第1 步， 应用 DBN 识别施工场景中人的动作姿态 其整体流程如图2 所示， 首先，应用高斯混合模型对背景建模， 运用背景减法来提取前景， 获得前景运动时的二值图像， 然后输入二值图像， 通过深度学习获得各种行为的多层次特征， 最后利用训练得到的 DBN 来识别各种不同动作姿态。
在行为识别过程中， DBN 是一个包含多个隐含层的概率模型， 每个低层ＲBM 的输出结果作为输入数据用于训练下一个 ＲBM（限制玻尔兹曼机）， 通过贪婪学习得到一组ＲBM， 这一组 ＲBM 可以构成一个 DBN。
采用贪婪无监督学习算法实现对 DBN 内每一层的无监督学习， 进而实现对整个网络的监督学习和微调 将一个 DBN 网络分层， 每层由若干个神经元组成， 各自独立计算来自其下一层的数据， 同一层的各节点之间没有连接。
实践证明，本发明的技术方案基于计算机视觉以及计算机图像处理技术，结合智能识别引擎以及相应的硬件组合传感器，能够针对施工现场，尤其是公路施工现场的人员、车辆进出的安全隐患进行智能化识别，并且及时的给出识别信号，极大的提高了识别准确性和有效性，能够有效的保障公路施工现场的安全，保证施工效率的同时确保安全性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种公路建筑施工安全智能识别系统，所述系统包括本地场景数据库、第一监测装置和第二监测装置，
其特征在于：
所述第一监测装置位于施工建筑的第一方向，所述第二监测装置位于所述施工建筑的第二方向；
所述第一监测装置包括多个激光传感器与图像采集器，
所述激光传感器用于探测接近所述施工建筑的目标的接近速度和接近距离，所述图像采集器用于获取所述目标的三维图像；
所述第二监测装置包括多个现场监测传感器，所述多个现场监测传感器获取所述施工建筑的预定范围内的多张场景图像；
所述系统还包括场景识别引擎；
所述场景识别引擎包括语义识别组合引擎，所述语义识别组合引擎包括空间关系识别组件、场景语义识别组件以及行为语义提取组件；
所述场景识别引擎与所述第一监测装置和所述第二监测装置通信，并基于所述第一监测装置获取的状态参数以及所述第二监测装置获取的场景参数，向所述施工建筑的预定范围的至少一个控制终端发送识别信号，包括：
所述语义识别组合引擎与所述本地场景数据库通信，基于所述语义识别组合引擎输出的空间关系或场景语义或行为语义，从所述本地场景数据库中查找出场景预测数据；
基于所述场景预测数据和所述第一监测装置获取的状态参数，向所述场景预测数据对应的至少一个移动终端发送所述识别信号。
2.如权利要求1所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述第一方向位于为所述公路任一侧的行驶方向的反方向；
所述第二方向与所述第一方向位于所述施工建筑的相对方向。
3.如权利要求1所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述第一监测装置获取的状态参数包括所述接近速度、接近距离以及所述三维图像；
当所述第一监测装置的所述激光传感器获取的所述目标的接近速度或者接近距离满足第一预定条件时，激活所述图像采集器获取所述目标的三维图像；
所述目标的三维图像包括所述目标本身的三维图像以及所述目标周围的对象的三维图像。
4.如权利要求1所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述第二监测装置的所述多个现场监测传感器，所述多个现场监测传感器位于所述第二方向的多个不同位置；所述现场监测传感器包括视觉传感器和声音传感器；
所述第二监测装置获取的场景参数，包括所述视觉传感器获取的施工现场场景图以及所述声音传感器获取的所述施工现场的声音信号。
5.如权利要求4所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述场景识别引擎包括卷积神经网络模型以及深度信念网络模型；
将所述目标的三维图像作为所述卷积神经网络模型的输入；
将所述施工现场场景图作为所述深度信念网络模型的输入。
6.如权利要求1-4任一项所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述本地场景数据库存储有场景参数与场景状态之间的关联关系，所述关联关系表征所述场景参数对应的场景状态的非安全特征。
7.如权利要求1-4任一项所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述本地场景数据库存储有场景参数与场景状态之间的关联关系；
所述场景预测数据为所述场景识别引擎基于所述语义识别组合引擎识别出的空间关系、场景语义以及行为语义，预测得出的场景数据，所述预测得出的场景数据用于表征所述施工建筑在未来预定时间段的空间关系或者动作行为。
8.如权利要求7所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述未来预定时间段与接近所述施工建筑的目标的接近速度和接近距离相关。
9.如权利要求1-4任一项所述的一种公路建筑施工安全智能识别系统，其特征在于：
所述施工建筑的预定范围包括多个控制终端，所述多个控制终端包括移动终端与控制器，所述施工建筑的施工人员配置所述移动终端，所述施工建筑的预定范围的施工车辆配置所述控制器；
所述识别信号包括给所述移动终端发送警示信号，和/或，给所述施工车辆发送暂停信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110369790.0A CN112949598B (zh) | 2021-04-07 | 2021-04-07 | 一种公路建筑施工安全智能识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110369790.0A CN112949598B (zh) | 2021-04-07 | 2021-04-07 | 一种公路建筑施工安全智能识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112949598A CN112949598A (zh) | 2021-06-11 |
| CN112949598B true CN112949598B (zh) | 2022-02-11 |
Family
ID=76230790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110369790.0A Active CN112949598B (zh) | 2021-04-07 | 2021-04-07 | 一种公路建筑施工安全智能识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949598B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116576793B (zh) * | 2023-07-14 | 2023-10-03 | 北京住总基础设施建设集团有限责任公司 | 一种箱梁模板支架施工的管控系统及方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761500B (zh) * | 2016-05-10 | 2019-02-22 | 腾讯科技（深圳）有限公司 | 交通事故处理方法及交通事故处理装置 |
| CN207449932U (zh) * | 2017-09-20 | 2018-06-05 | 山西科为感控技术有限公司 | 列车接近防护智能预警装置 |
| CN110910673B (zh) * | 2018-09-14 | 2022-04-19 | 海信集团有限公司 | 一种提醒行人碰撞车辆的方法及系统、摄像头、移动终端 |
| CN109671299A (zh) * | 2019-01-04 | 2019-04-23 | 浙江工业大学 | 一种基于路口摄像探头对行人危险预警的系统及方法 |
| CN109803127A (zh) * | 2019-03-08 | 2019-05-24 | 重庆启迪国信科技有限公司 | 基于大数据和物联网技术的城市安全工地监控系统和方法 |
| CN110853357B (zh) * | 2019-12-02 | 2022-02-11 | 华东交通大学 | 高速公路危险路段及施工区域预警控制系统和方法 |
| CN111127836A (zh) * | 2020-02-14 | 2020-05-08 | 深圳市美舜科技有限公司 | 交通安全预警监控报警装置 |
| CN111414873B (zh) * | 2020-03-26 | 2021-04-30 | 广州粤建三和软件股份有限公司 | 基于安全帽佩戴状态的告警提示方法、装置和告警系统 |
| CN212873757U (zh) * | 2020-09-15 | 2021-04-02 | 广西交通投资集团河池高速公路运营有限公司 | 公路作业区入侵预警系统 |
-
2021
- 2021-04-07 CN CN202110369790.0A patent/CN112949598B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112949598A (zh) | 2021-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| CN110738857B (zh) | 一种车辆违章取证方法、装置及设备 | |
| Zhang et al. | Prediction of pedestrian-vehicle conflicts at signalized intersections based on long short-term memory neural network | |
| KR20100119476A (ko) | 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법 | |
| He et al. | Urban rail transit obstacle detection based on Improved R-CNN | |
| CN113851017A (zh) | 一种基于路侧rsu的行人车辆识别预警多功能系统 | |
| CN114267082B (zh) | 基于深度理解的桥侧坠落行为识别方法 | |
| CN112949598B (zh) | 一种公路建筑施工安全智能识别系统 | |
| CN114495421B (zh) | 智能化开放式道路施工作业监测预警方法及系统 | |
| CN116206285A (zh) | 应用于自动驾驶的交通弱势群体碰撞风险评估方法及系统 | |
| CN109934161A (zh) | 基于卷积神经网络的车辆识别与检测方法及系统 | |
| CN110909607B (zh) | 一种智慧地铁运营中客流感知的装置系统 | |
| CN114530057B (zh) | 一种车辆预警方法、装置、车辆及存储介质 | |
| Chae | Simulation of Pedestrian-vehicle Interactions at Roundabouts. | |
| Oh et al. | Anonymous vehicle tracking for real-time traffic surveillance and performance on signalized arterials | |
| KR102230343B1 (ko) | 어린이보호구역 cctv 시스템 | |
| KR20220071822A (ko) | 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량번호 식별 시스템 | |
| Noh et al. | Vision based pedestrian potential risk analysis based on automated behavior feature extraction for smart and safe city | |
| Mehboob et al. | Mathematical model based traffic violations identification | |
| Rabbouch et al. | Traffic Sensing and Assessing in Digital Transportation Systems | |
| Soilán Rodríguez et al. | Application of MLS data to the assessment of safety-related features in the surrounding area of automaticallly detected pedestrian crossings | |
| KR102685593B1 (ko) | 인공신경망을 활용한 객체 검지 기술 기반의 주행 법규 위반 차량 단속 방법 및 장치 | |
| Srinivasan et al. | Advanced Driver Assistance System (ADAS) in Autonomous Vehicles: A Complete Analysis | |
| CN117749830B (zh) | 一种基于边缘计算的车路协同云平台系统及其方法 | |
| Lee et al. | Self-enhancement of automatic tunnel accident detection (TAD) on CCTV by AI deep-learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |