CN114913507A - 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏 - Google Patents

一种基于公交车尾屏的行人检测方法、装置及公交车尾屏 Download PDF

Info

Publication number
CN114913507A
CN114913507A CN202210661445.9A CN202210661445A CN114913507A CN 114913507 A CN114913507 A CN 114913507A CN 202210661445 A CN202210661445 A CN 202210661445A CN 114913507 A CN114913507 A CN 114913507A
Authority
CN
China
Prior art keywords
pedestrian
bus
early warning
information
tail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210661445.9A
Other languages
English (en)
Inventor
杨雷
洪涛
王恒达
马铤
曹川川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Kunpeng Intelligent Network Technology Co ltd
Original Assignee
Suzhou Kunpeng Intelligent Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Kunpeng Intelligent Network Technology Co ltd filed Critical Suzhou Kunpeng Intelligent Network Technology Co ltd
Priority to CN202210661445.9A priority Critical patent/CN114913507A/zh
Publication of CN114913507A publication Critical patent/CN114913507A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本公开涉及一种基于公交车尾屏的行人检测方法、装置及公交车尾屏，包括：通过不同类型的传感器采集公交车车尾当前有效识别区域内环境信息，对环境信息进行残余光流分析，将各类型传感器的环境信息中的行人移动信息分离；对感知图像进行背景减除得到对应的行人轮廓，根据行人轮廓建立行人统计形状模型；基于雷达的行人移动信息，确定行人距离公交车车尾的距离，将行人统计形状模型和距离融合确定图像与距离信息；将图像与距离信息和红外传感器的行人移动信息融合得到行人预警信息，根据行人预警信息生成行人预警信息和车辆预警信息；若行人预警信息或车辆预警信息满足预警条件，将行人预警信息在驾驶室播放及将车辆预警信息在公交车尾屏展示。

Description

一种基于公交车尾屏的行人检测方法、装置及公交车尾屏
技术领域
本公开涉及车路协同智能网联技术领域，尤其涉及一种基于公交车尾屏的行人检测方法、装置及公交车尾屏。
背景技术
在辅助车辆驾驶或者车辆自动驾驶的场景中，通过例如单目相机、双目相机、红外成像、微波雷达、激光测距等传感器，对车辆周边环境中的行人、车辆、障碍物等进行非接触式探测，从而获得周边的行人、车辆、障碍物等信息。
相关技术中，针对行人运动状态和不同程度的受遮挡物遮挡，导致车辆对行人检测和识别的及时性较低，以及跟踪难度较大。尤其针对公交车来说，公交车在城市行驶，行驶环境复杂，且公交车车尾盲区较大，传统的车外后视镜和倒车雷达难以满足全方位检测的需求。并且，由于处在开放的环境中，不同路况和天气变化也影响对行人检测的准确性，因而驾驶员容易遗漏公交车车位的行人和车辆，造成安全事故的频繁发生。
发明内容
为克服相关技术中公交车车尾盲区较大，传统的车外后视镜和倒车雷达难以满足全方位检测的需求。并且，由于处在开放的环境中，不同路况和天气变化也影响对行人检测的准确性较低的问题，本公开提供一种基于公交车尾屏的行人检测方法、装置及公交车尾屏。
根据本公开实施例的第一方面，提供一种基于公交车尾屏的行人检测方法，包括：
通过设置在公交车尾屏的不同类型的传感器，采集所述公交车的车尾当前的有效识别区域内的环境信息，并对所述环境信息进行残余光流分析，将所述各类型的所述传感器采集的环境信息中的行人移动信息分离；
对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓，并根据所述行人轮廓建立行人统计形状模型，所述感知图像是根据图像之间的视角差确定的；
基于所述传感器中类型为雷达的传感器对应的行人移动信息，确定所述行人距离所述公交车的车尾的距离，根据建立的所述行人统计形状模型以及所述距离进行初次信息融合，确定图像与距离信息；
将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据所述行人预警信息生成用于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息；
在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下，将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交车尾屏展示。
在其中一种可能实现的方式中，所述不同类型的传感器具有共同的有效识别区域，所述有效识别区域是根据所述公交车车尾当前的人流量确定的，所述有效识别区域的范围与所述人流量呈反比。
在其中一种可能实现的方式中，所述有效识别区域是通过如下方式确定的：
根据所述摄像机对应的感知图像的灰度值差异，对所述感知图像进行分区；
计算所述感知图像中每一分区的灰度值均值，将所述灰度值均值大于等于灰度阈值的分区作为环境区，将所述灰度值均值小于所述灰度阈值的分区作为定位框区；
根据所述环境区与所述定位框区之间的面积比值，确定所述公交车的车尾当前的人流量，并根据所述人流量从预设的有效识别区域中确定所述有效识别区域。
在其中一种可能实现的方式中，所述根据所述行人轮廓建立行人统计形状模型的步骤，包括：
基于全身检测器，从所述行人轮廓中确定行人候选轮廓区；
基于贝叶斯决策组合算法，根据所述行人候选轮廓区从所述公交车车尾当前的行人中确定目标行人；
利用球、椭圆柱、广义锥台中的至少一者，描述所述目标行人的结构细节，并根据所述结构细节建立行人统计形状模型。
在其中一种可能实现的方式中，所述摄像机包括设置在不同位置的多个摄像机，在所述对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓的步骤之前，包括：
通过可编程逻辑阵列对所述行人移动信息进行视频信号模数转换，并基于嵌入式图形处理器模组，根据转换后的所述行人移动信息进行图形性能计算，得到备用行人移动信息；
基于三角测量，对所述多个摄像机对应的所述备用行人移动信息进行视角差计算，并根据所述视角差从所述行人移动信息中确定不同视角下的感知图像。
在其中一种可能实现的方式中，所述根据所述行人轮廓建立行人统计形状模型的步骤，包括：
建立线性点分布模型，并使用主成分分析降低所述线性点分布模型的维数，得到8维变形空间的线性点分布模型；
在所述8维变形空间的线性点分布模型中，根据所述行人轮廓中的不同身体部位，构建行人统计形状模型，其中，所述身体部位包括头肩、躯干和腿。
根据本公开实施例的第二方面，提供一种基于公交车尾屏的行人检测装置，包括：
采集模块，被配置为通过设置在公交车尾屏的不同类型的传感器，采集所述公交车的车尾当前的有效识别区域内的环境信息，并对所述环境信息进行残余光流分析，将所述各类型的所述传感器采集的环境信息中的行人移动信息分离；
构建模块，被配置为对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓，并根据所述行人轮廓建立行人统计形状模型，所述感知图像是根据图像之间的视角差确定的；
确定模块，被配置为基于所述传感器中类型为雷达的传感器对应的行人移动信息，确定所述行人距离所述公交车的车尾的距离，根据建立的所述行人统计形状模型以及所述距离进行初次信息融合，确定图像与距离信息；
融合模块，被配置为将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据所述行人预警信息生成用于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息；
预警模块，被配置为在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下，将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交车尾屏展示。
在其中一种可能实现的方式中，所述不同类型的传感器具有共同的有效识别区域，所述有效识别区域是根据所述公交车车尾当前的人流量确定的，所述有效识别区域的范围与所述人流量呈反比。
在其中一种可能实现的方式中，所述有效识别区域是通过如下方式确定的：
根据所述摄像机对应的感知图像的灰度值差异，对所述感知图像进行分区；
计算所述感知图像中每一分区的灰度值均值，将所述灰度值均值大于等于灰度阈值的分区作为环境区，将所述灰度值均值小于所述灰度阈值的分区作为定位框区；
根据所述环境区与所述定位框区之间的面积比值，确定所述公交车的车尾当前的人流量，并根据所述人流量从预设的有效识别区域中确定所述有效识别区域。
在其中一种可能实现的方式中，所述构建模块，被配置为：
基于全身检测器，从所述行人轮廓中确定行人候选轮廓区；
基于贝叶斯决策组合算法，根据所述行人候选轮廓区从所述公交车车尾当前的行人中确定目标行人；
利用球、椭圆柱、广义锥台中的至少一者，描述所述目标行人的结构细节，并根据所述结构细节建立行人统计形状模型。
在其中一种可能实现的方式中，所述摄像机包括设置在不同位置的多个摄像机，所述构建模块，被配置为在所述对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓的步骤之前，通过可编程逻辑阵列对所述行人移动信息进行视频信号模数转换，并基于嵌入式图形处理器模组，根据转换后的所述行人移动信息进行图形性能计算，得到备用行人移动信息；
基于三角测量，对所述多个摄像机对应的所述备用行人移动信息进行视角差计算，并根据所述视角差从所述行人移动信息中确定不同视角下的感知图像。
在其中一种可能实现的方式中，所述构建模块，被配置为：
建立线性点分布模型，并使用主成分分析降低所述线性点分布模型的维数，得到8维变形空间的线性点分布模型；
在所述8维变形空间的线性点分布模型中，根据所述行人轮廓中的不同身体部位，构建行人统计形状模型，其中，所述身体部位包括头肩、躯干和腿。
根据本公开实施例的第三方面，提供一种公交车尾屏，包括：
显示屏，用于显示车辆预警信息；
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任意一项所述基于公交车尾屏的行人检测方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
通过设置在公交车尾屏的不同类型的传感器，采集公交车的车尾当前的有效识别区域内的环境信息，并对环境信息进行残余光流分析，将各类型的传感器采集的环境信息中的行人移动信息分离；对传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到摄像机对应的行人轮廓，并根据行人轮廓建立行人统计形状模型，感知图像是根据图像之间的视角差确定的；基于传感器中类型为雷达的传感器对应的行人移动信息，确定行人距离公交车的车尾的距离，根据建立的行人统计形状模型以及距离进行初次信息融合，确定图像与距离信息；将图像与距离信息和传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据行人预警信息生成用于在公交车的驾驶室播放的行人预警信息和用于在公交车尾屏展示的车辆预警信息；在行人预警信息和/或车辆预警信息满足对应的预警条件的情况下，将行人预警信息在驾驶室播放以及将车辆预警信息在公交车尾屏展示。通过不同类型的传感器可以满足全方位检测的需求。并且，提高了对行人检测的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种基于公交车尾屏的行人检测方法的流程图。
图2是根据一示例性实施例示出的基于公交车尾屏的行人检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于公交车尾屏的行人检测方法的流程图，如图1所示，所述基于公交车尾屏的行人检测方法，包括：
在步骤S11中，通过设置在公交车尾屏的不同类型的传感器，采集所述公交车的车尾当前的有效识别区域内的环境信息，并对所述环境信息进行残余光流分析，将所述各类型的所述传感器采集的环境信息中的行人移动信息分离；
目前用于行人检测的传感器主要有单目视觉、立体视觉、红外成像、微波雷达、激光测距等。这些传感器通过对车辆周边环境进行非接触式探测，获得周边的行人、车辆、障碍物等信息。
在步骤S12中，对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓，并根据所述行人轮廓建立行人统计形状模型，所述感知图像是根据图像之间的视角差确定的；
行人检测中常用的特征有外观特征、运动特征和抽象特征，抽象特征既可以用来描述外观特征，也可以用来表示运动特征。考虑到大量的候选区和复杂的场景会使识别速度降低，只用外形特征训练一个好的分类器是困难的，因此有人提出了把外形特征和运动特征融合，组成一个特征集，用它来训练分类器。此外，比较了只用外形特征和外形特征与运动特征结合两种情况，显示了融合方法的优越性。
基于模型的行人检测方法是通过定义行人形状模型，在图像的各个部位匹配该模型以找到目标。这种方法具有明确的模型、识别速度快、可以处理部分遮挡问题，但是合适的模型很难构建。行人的模型主要有一维人体模型、二维人体模型和三维人体模型。
在步骤S13中，基于所述传感器中类型为雷达的传感器对应的行人移动信息，确定所述行人距离所述公交车的车尾的距离，根据建立的所述行人统计形状模型以及所述距离进行初次信息融合，确定图像与距离信息；
在步骤S14中，将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据所述行人预警信息生成用于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息；
在步骤S15中，在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下，将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交车尾屏展示。
预警条件可以为行人距离较近，行人为弱势群体，例如老人、小孩，或者行人即将与车辆发生碰撞。
上述技术方案通过设置在公交车尾屏的不同类型的传感器，采集公交车的车尾当前的有效识别区域内的环境信息，并对环境信息进行残余光流分析，将各类型的传感器采集的环境信息中的行人移动信息分离；对传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到摄像机对应的行人轮廓，并根据行人轮廓建立行人统计形状模型，感知图像是根据图像之间的视角差确定的；基于传感器中类型为雷达的传感器对应的行人移动信息，确定行人距离公交车的车尾的距离，根据建立的行人统计形状模型以及距离进行初次信息融合，确定图像与距离信息；将图像与距离信息和传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据行人预警信息生成用于在公交车的驾驶室播放的行人预警信息和用于在公交车尾屏展示的车辆预警信息；在行人预警信息和/或车辆预警信息满足对应的预警条件的情况下，将行人预警信息在驾驶室播放以及将车辆预警信息在公交车尾屏展示。通过不同类型的传感器可以满足全方位检测的需求。并且，提高了对行人检测的准确性。
在其中一种可能实现的方式中，所述不同类型的传感器具有共同的有效识别区域，所述有效识别区域是根据所述公交车车尾当前的人流量确定的，所述有效识别区域的范围与所述人流量呈反比。
在其中一种可能实现的方式中，所述有效识别区域是通过如下方式确定的：
根据所述摄像机对应的感知图像的灰度值差异，对所述感知图像进行分区；
计算所述感知图像中每一分区的灰度值均值，将所述灰度值均值大于等于灰度阈值的分区作为环境区，将所述灰度值均值小于所述灰度阈值的分区作为定位框区；
根据所述环境区与所述定位框区之间的面积比值，确定所述公交车的车尾当前的人流量，并根据所述人流量从预设的有效识别区域中确定所述有效识别区域。
在其中一种可能实现的方式中，所述根据所述行人轮廓建立行人统计形状模型的步骤，包括：
基于全身检测器，从所述行人轮廓中确定行人候选轮廓区；
基于贝叶斯决策组合算法，根据所述行人候选轮廓区从所述公交车车尾当前的行人中确定目标行人；
利用球、椭圆柱、广义锥台中的至少一者，描述所述目标行人的结构细节，并根据所述结构细节建立行人统计形状模型。
在其中一种可能实现的方式中，所述摄像机包括设置在不同位置的多个摄像机，在所述对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓的步骤之前，包括：
通过可编程逻辑阵列对所述行人移动信息进行视频信号模数转换，并基于嵌入式图形处理器模组，根据转换后的所述行人移动信息进行图形性能计算，得到备用行人移动信息；
基于三角测量，对所述多个摄像机对应的所述备用行人移动信息进行视角差计算，并根据所述视角差从所述行人移动信息中确定不同视角下的感知图像。
在其中一种可能实现的方式中，所述根据所述行人轮廓建立行人统计形状模型的步骤，包括：
建立线性点分布模型，并使用主成分分析降低所述线性点分布模型的维数，得到8维变形空间的线性点分布模型；
在所述8维变形空间的线性点分布模型中，根据所述行人轮廓中的不同身体部位，构建行人统计形状模型，其中，所述身体部位包括头肩、躯干和腿。
基于相同的发明构思，本公开实施例还提供一种基于公交车尾屏的行人检测装置，图2是根据一示例性实施例示出的基于公交车尾屏的行人检测装置的框图。如图2所示，所述装置200包括：
采集模块210，被配置为通过设置在公交车尾屏的不同类型的传感器，采集所述公交车的车尾当前的有效识别区域内的环境信息，并对所述环境信息进行残余光流分析，将所述各类型的所述传感器采集的环境信息中的行人移动信息分离；
构建模块220，被配置为对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓，并根据所述行人轮廓建立行人统计形状模型，所述感知图像是根据图像之间的视角差确定的；
确定模块230，被配置为基于所述传感器中类型为雷达的传感器对应的行人移动信息，确定所述行人距离所述公交车的车尾的距离，根据建立的所述行人统计形状模型以及所述距离进行初次信息融合，确定图像与距离信息；
融合模块240，被配置为将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据所述行人预警信息生成用于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息；
预警模块250，被配置为在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下，将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交车尾屏展示。
在其中一种可能实现的方式中，所述不同类型的传感器具有共同的有效识别区域，所述有效识别区域是根据所述公交车车尾当前的人流量确定的，所述有效识别区域的范围与所述人流量呈反比。
在其中一种可能实现的方式中，所述有效识别区域是通过如下方式确定的：
根据所述摄像机对应的感知图像的灰度值差异，对所述感知图像进行分区；
计算所述感知图像中每一分区的灰度值均值，将所述灰度值均值大于等于灰度阈值的分区作为环境区，将所述灰度值均值小于所述灰度阈值的分区作为定位框区；
根据所述环境区与所述定位框区之间的面积比值，确定所述公交车的车尾当前的人流量，并根据所述人流量从预设的有效识别区域中确定所述有效识别区域。
在其中一种可能实现的方式中，所述构建模块，被配置为：
基于全身检测器，从所述行人轮廓中确定行人候选轮廓区；
基于贝叶斯决策组合算法，根据所述行人候选轮廓区从所述公交车车尾当前的行人中确定目标行人；
利用球、椭圆柱、广义锥台中的至少一者，描述所述目标行人的结构细节，并根据所述结构细节建立行人统计形状模型。
在其中一种可能实现的方式中，所述摄像机包括设置在不同位置的多个摄像机，所述构建模块，被配置为在所述对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓的步骤之前，通过可编程逻辑阵列对所述行人移动信息进行视频信号模数转换，并基于嵌入式图形处理器模组，根据转换后的所述行人移动信息进行图形性能计算，得到备用行人移动信息；
基于三角测量，对所述多个摄像机对应的所述备用行人移动信息进行视角差计算，并根据所述视角差从所述行人移动信息中确定不同视角下的感知图像。
在其中一种可能实现的方式中，所述构建模块，被配置为：
建立线性点分布模型，并使用主成分分析降低所述线性点分布模型的维数，得到8维变形空间的线性点分布模型；
在所述8维变形空间的线性点分布模型中，根据所述行人轮廓中的不同身体部位，构建行人统计形状模型，其中，所述身体部位包括头肩、躯干和腿。
本公开实施例还提供一种公交车尾屏，包括：
显示屏，用于显示车辆预警信息；
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现前述中任意一项所述基于公交车尾屏的行人检测方法的步骤。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于公交车尾屏的行人检测方法，其特征在于，包括：
通过设置在公交车尾屏的不同类型的传感器，采集所述公交车的车尾当前的有效识别区域内的环境信息，并对所述环境信息进行残余光流分析，将所述各类型的所述传感器采集的环境信息中的行人移动信息分离；
对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓，并根据所述行人轮廓建立行人统计形状模型，所述感知图像是根据图像之间的视角差确定的；
基于所述传感器中类型为雷达的传感器对应的行人移动信息，确定所述行人距离所述公交车的车尾的距离，根据建立的所述行人统计形状模型以及所述距离进行初次信息融合，确定图像与距离信息；
将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据所述行人预警信息生成用于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息；
在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下，将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交车尾屏展示。
2.根据权利要求1所述的行人检测方法，其特征在于，所述不同类型的传感器具有共同的有效识别区域，所述有效识别区域是根据所述公交车车尾当前的人流量确定的，所述有效识别区域的范围与所述人流量呈反比。
3.根据权利要求2所述的行人检测方法，其特征在于，所述有效识别区域是通过如下方式确定的：
根据所述摄像机对应的感知图像的灰度值差异，对所述感知图像进行分区；
计算所述感知图像中每一分区的灰度值均值，将所述灰度值均值大于等于灰度阈值的分区作为环境区，将所述灰度值均值小于所述灰度阈值的分区作为定位框区；
根据所述环境区与所述定位框区之间的面积比值，确定所述公交车的车尾当前的人流量，并根据所述人流量从预设的有效识别区域中确定所述有效识别区域。
4.根据权利要求1所述的行人检测方法，其特征在于，所述根据所述行人轮廓建立行人统计形状模型的步骤，包括：
基于全身检测器，从所述行人轮廓中确定行人候选轮廓区；
基于贝叶斯决策组合算法，根据所述行人候选轮廓区从所述公交车车尾当前的行人中确定目标行人；
利用球、椭圆柱、广义锥台中的至少一者，描述所述目标行人的结构细节，并根据所述结构细节建立行人统计形状模型。
5.根据权利要求1所述的行人检测方法，其特征在于，所述摄像机包括设置在不同位置的多个摄像机，在所述对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓的步骤之前，包括：
通过可编程逻辑阵列对所述行人移动信息进行视频信号模数转换，并基于嵌入式图形处理器模组，根据转换后的所述行人移动信息进行图形性能计算，得到备用行人移动信息；
基于三角测量，对所述多个摄像机对应的所述备用行人移动信息进行视角差计算，并根据所述视角差从所述行人移动信息中确定不同视角下的感知图像。
6.根据权利要求1所述的行人检测方法，其特征在于，所述根据所述行人轮廓建立行人统计形状模型的步骤，包括：
建立线性点分布模型，并使用主成分分析降低所述线性点分布模型的维数，得到8维变形空间的线性点分布模型；
在所述8维变形空间的线性点分布模型中，根据所述行人轮廓中的不同身体部位，构建行人统计形状模型，其中，所述身体部位包括头肩、躯干和腿。
7.一种基于公交车尾屏的行人检测装置，其特征在于，包括：
采集模块，被配置为通过设置在公交车尾屏的不同类型的传感器，采集所述公交车的车尾当前的有效识别区域内的环境信息，并对所述环境信息进行残余光流分析，将所述各类型的所述传感器采集的环境信息中的行人移动信息分离；
构建模块，被配置为对所述传感器中类型为摄像机的传感器对应的感知图像进行背景减除，得到所述摄像机对应的行人轮廓，并根据所述行人轮廓建立行人统计形状模型，所述感知图像是根据图像之间的视角差确定的；
确定模块，被配置为基于所述传感器中类型为雷达的传感器对应的行人移动信息，确定所述行人距离所述公交车的车尾的距离，根据建立的所述行人统计形状模型以及所述距离进行初次信息融合，确定图像与距离信息；
融合模块，被配置为将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进行二次信息融合，得到行人预警信息，并根据所述行人预警信息生成用于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息；
预警模块，被配置为在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下，将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交车尾屏展示。
8.根据权利要求7所述的行人检测装置，其特征在于，所述不同类型的传感器具有共同的有效识别区域，所述有效识别区域是根据所述公交车车尾当前的人流量确定的，所述有效识别区域的范围与所述人流量呈反比。
9.根据权利要求8所述的行人检测装置，其特征在于，所述有效识别区域是通过如下方式确定的：
根据所述摄像机对应的感知图像的灰度值差异，对所述感知图像进行分区；
计算所述感知图像中每一分区的灰度值均值，将所述灰度值均值大于等于灰度阈值的分区作为环境区，将所述灰度值均值小于所述灰度阈值的分区作为定位框区；
根据所述环境区与所述定位框区之间的面积比值，确定所述公交车的车尾当前的人流量，并根据所述人流量从预设的有效识别区域中确定所述有效识别区域。
10.一种公交车尾屏，其特征在于，包括：
显示屏，用于车辆预警信息；
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-6中任意一项所述基于公交车尾屏的行人检测方法的步骤。
CN202210661445.9A 2022-06-13 2022-06-13 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏 Withdrawn CN114913507A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210661445.9A CN114913507A (zh) 2022-06-13 2022-06-13 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210661445.9A CN114913507A (zh) 2022-06-13 2022-06-13 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏

Publications (1)

Publication Number Publication Date
CN114913507A true CN114913507A (zh) 2022-08-16

Family

ID=82770811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210661445.9A Withdrawn CN114913507A (zh) 2022-06-13 2022-06-13 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏

Country Status (1)

Country Link
CN (1) CN114913507A (zh)

Similar Documents

Publication Publication Date Title
KR100909741B1 (ko) 감시장치, 감시방법
US10445928B2 (en) Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN108496178B (zh) 用于估计未来路径的系统和方法
JP4899424B2 (ja) 物体検出装置
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
JP4919036B2 (ja) 移動物体認識装置
JP3776094B2 (ja) 監視装置、監視方法および監視用プログラム
EP2544449B1 (en) Vehicle perimeter monitoring device
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
JP2021522592A (ja) トレーラ牽引カプラの中心を求める装置および方法
JPH05265547A (ja) 車輌用車外監視装置
US20110199197A1 (en) System for monitoring the area around a vehicle
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
Aytekin et al. Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information
CN104185009A (zh) 前方路缘观察系统中的增强的俯瞰视图生成
JPH06266828A (ja) 車輌用車外監視装置
EP2293588A1 (en) Method for using a stereovision camera arrangement
WO2019009110A1 (ja) 車両用外界認識装置
EP3364336B1 (en) A method and apparatus for estimating a range of a moving object
US7403639B2 (en) Vehicle surroundings monitoring apparatus
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP4967758B2 (ja) 物体移動の検出方法及び検出装置
CN113895439B (zh) 一种基于车载多源传感器概率融合的自动驾驶变道行为决策方法
JP7371053B2 (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220816