CN102908154A - 一种基于机器视觉的驾驶员启动反应时间的检测方法 - Google Patents

Abstract

一种基于机器视觉的驾驶员启动反应时间的检测方法，属于智能交通行业的交通信息检测领域。本发明首先检测绿灯点亮时刻。在视频图像序列的红灯和绿灯区域提取RGB信息。根据红灯区域的平均红色分量值的变化和绿灯区域的平均绿色分量值的变化来检测绿灯的起始时刻。其次，检测车辆启动时刻。采用帧差法来检测车辆的启动。对摄像机输入的图像进行帧差，并进行灰度变换、中值滤波、二值化，之后对运动车辆检测区中的非0像素进行计数，作为一个帧差特征。根据该帧差特征来检测车辆的启动时刻。最后，计算驾驶员启动反应时间。本发明在实际道路交叉口架设摄像机拍摄视频图像，采用机器视觉方法计算驾驶员的启动反应时间，避免了人工误差，提高了准确性。

Description

一种基于机器视觉的驾驶员启动反应时间的检测方法

技术领域

本发明是一种基于机器视觉的驾驶员启动反应时间的检测方法，属于智能交通行业的交通信息检测领域。

背景技术

随着经济的飞速发展，城市交通量越来越多，交通拥堵越来越严重。交通拥堵带来了严重的社会问题。缓解交通拥堵是城市面临的重大问题之一。交通信号控制是缓解交通拥堵的基本方法之一。

交通信号控制是在平面交叉口通过调整交叉口的信号配时把可能发生冲突的车流从时空上分离，减少车辆在路口的延误时间和停车次数，减小城市交通路网上的交通延误，提高道路的通行能力，是城市交通管理的有效手段。信号配时是根据交叉口的形状和特点，依据交通流量的大小配置信号灯的周期长、各种色灯的响应时间（绿信比）、全红时间、信号灯的转换与车辆起动的损失时间等等使全体车辆在交叉口的等待的时间尽可能短。车辆起动的损失时间与驾驶员启动反应时间密切相关。因此，对驾驶员启动反应时间的检测与研究对于交通信号配时具有重要的意义。

驾驶员启动反应时间是指驾驶员看到绿灯开始点亮到车辆开始启动所需要的时间。驾驶员启动反应时间一般包括脑处理时间、肢体运动时间和设备反应时间。目前，对驾驶员启动反应时间的检测主要是在实验室或人工在道路交叉口进行检测。这两种方法都有其缺点：实验室检测不能完全模拟实际路口，驾驶员事先知道在实验测量，因此不能准确反映驾驶员对绿灯的实际反应行为。在道路交叉口通过人工测量由于现场环境的干扰，误差难以避免。因此，需要一种在实际道路交叉口自动检测驾驶员启动反应时间的方法或技术。

发明内容

本发明的目的在于克服现有方法实验室检测或人工在道路交叉口检测的不足，提出了一种对称相位下基于机器视觉的灯控交叉口处驾驶员启动反应时间的检测方法，为了实现上述目的，本发明采取如附图1所示的整体技术方案，具体实现方法如下：

一、绿灯点亮时刻的检测。首先，在视频图像序列上选择红灯区域和绿灯区域，如附图2所示，该区域在图像中的位置是固定不变的。从红灯和绿灯区域提取RGB信息。第k帧图像上像素(i, j)的R，G，B值分别是R(i, j, k), G(i, j, k) 和 B(i, j, k)。然后，在红灯亮时计算红灯区域的平均红色分量；在绿灯熄灭时计算绿灯区域的平均绿色分量，并从m帧视频图像序列中选择红灯区域的平均红色分量的最小值

，绿灯区域的平均绿色分量的最大值

。最后，根据红灯区域的平均红色分量值的变化和绿灯区域的平均绿色分量值的变化来检测绿灯的起始时刻。在整个处理过程中，检测并计算每一帧图像的红灯区的平均红色分量值和绿灯区的平均绿色分量值：

$\stackrel{\‾}{R}\left(k\right)=\frac{1}{N}\underset{(i,j)\∈\mathrm{Zr}}{\mathrm{\Σ}}R(i,j,k)---\left(1\right)$

$\stackrel{\‾}{G}\left(k\right)=\frac{1}{N}\underset{(i,j)\∈\mathrm{Zg}}{\mathrm{\Σ}}G(i,j,k)---\left(2\right)$

一旦红灯区域的平均红色分量值小于（

），并且绿灯区的平均绿色分量值大于（

），这意味着绿灯开始。绿灯由灭到亮的那一帧记为Ng，帧Ng是绿灯起始时刻。δ₁和δ₂是修正系数，根据光线的暗亮程度可取3-8，越亮取值越大。

二、车辆启动时刻的检测。车辆启动的意思是车辆从静止状态开始运动。车辆启动的检测需要从给定的视频序列中找到车辆从静止状态开始运动的那一帧。采用帧差法来检测车辆的启动。从摄像机输入的图像用I^RGB(x,y,k)表示。x，y表示像素，k表示第k帧。当前帧I^RGB(x,y,k)减去前一帧I^RGB(x,y,k-1)得到一个帧差，即

F^RGB(x,y,k)=I^RGB(x,y,k)-I^RGB(x,y,k-1)   (3)

首先，对帧差F^RGB(x,y,k)进行灰度变换、中值滤波、二值化得到图像G(x,y,k)，在图像G(x,y,k)上车道停车线附近选择运动车辆检测区G^Vehicle(x,y,k)，如附图3所示，第一个车道设置第一个车辆检测区，第二个车道设置第二个车辆检测区。对运动车辆检测区G^Vehicle(x,y,k)中的非0像素进行计数，计数数值用m(k) 表示，它作为一个帧差特征。

$m\left(k\right)=\underset{(x,y)\∈\mathrm{Vehicle}}{\mathrm{\Σ}}{G}^{\mathrm{Vehicle}}(x,y,k)---\left(4\right)$

然后，根据m(k)和阈值τ_m来检测车辆的启动，当且仅当运动车辆检测区的非0像素的数量m(k)大于阈值τ_m时，才意味着车辆开始启动。在整个处理过程中，检测并计算每一帧图像的运动车辆检测区的非0像素的数量，一旦运动车辆检测区的非0像素的数量大于阈值τ_m，这意味着车辆开始启动。车辆从静止状态开始运动的那帧记为Nv，帧Nv是车辆的启动时刻。分别统计计算50-60帧车辆检测区车辆静止时和车辆刚开始运动时的非0像素数量的平均值，取这两个平均值的中间值作为τ_m，τ_m可取180-210。

三、驾驶员启动反应时间PRT的计算。驾驶员启动反应时间PRT等于车辆启动帧Nv与绿灯起始帧Ng之差除以视频图像的帧率κ。驾驶员启动反应时间PRT根据如下公式计算。

$\mathrm{PRT}=\frac{N_v-N_g}{\mathrm{\κ}}---\left(5\right)$

与现有的检测方法相比，本发明具有如下优点：该方法通过在实际道路交叉口架设摄像机拍摄视频图像，不影响驾驶员的正常行驶，采用机器视觉方法计算驾驶员的启动反应时间，避免了人工测量带来的误差。

附图说明

图1  本发明的整体技术路线图；

图2  本发明的红灯和绿灯检测区域图；

图3  本发明的运动车辆检测区域图。

具体实施方式

下面对本发明作进一步说明：

首先，将选择相位对称的实际道路交叉口并架设摄像机拍摄视频图像。在视频图像序列上选择红灯区域，其像素坐标为（656，450），（666，450），（656，435），（666，435）和绿灯区域，其像素坐标为（656，418），（666，418），（656，403），（666，403）。从红灯和绿灯区域提取RGB信息。第k帧图像上像素(i, j)的R，G，B值分别是R(i, j, k), G(i, j, k) 和 B(i, j, k)。然后，在红灯亮时计算红灯区域的平均红色分量；在绿灯熄灭时计算绿灯区域的平均绿色分量，并从m=100帧视频图像序列中选择红灯区域的平均红色分量的最小值

，绿灯区域的平均绿色分量的最大值

。平均红色分量值、平均绿色分量值会由于天气、光线等因素而变化，这些值需要在每次实验时进行标定校准。最后，根据红灯区域的平均红色分量值的变化和绿灯区域的平均绿色分量值的变化来检测绿灯的起始时刻。在整个处理过程中，检测并计算每一帧图像的红灯区的平均红色分量值和绿灯区的平均绿色分量值，

当 $\stackrel{\‾}{R}\left(20\right)=\frac{1}{N}\underset{(i,j)\∈\mathrm{Zr}}{\mathrm{\Σ}}R(i,j,20)=54.34$ ， $\stackrel{\‾}{G}\left(20\right)=\frac{1}{N}\underset{(i,j)\∈\mathrm{Zg}}{\mathrm{\Σ}}G(i,j,20)=89.23$ ，

此时，红灯区域的平均红色分量值小于（

），并且绿灯区的平均绿色分量值大于（

），这意味着绿灯开始。绿灯由灭到亮的那一帧记为Ng=20，帧20是绿灯起始时刻。δ₁和δ₂是修正系数，设为5。

然后，进行车辆启动时刻的检测。从摄像机输入的图像用I^RGB(x,y,k)表示。x，y表示像素，k表示第k帧。当前帧I^RGB(x,y,k)减去前一帧I^RGB(x,y,k-1)得到一个帧差，即

F^RGB(x,y,k)=I^RGB(x,y,k)-I^RGB(x,y,k-1)

对帧差F^RGB(x,y,k)进行灰度变换、中值滤波、二值化得到图像G(x,y,k)，在图像G(x,y,k)上选择运动车辆检测区G^Vehicle(x,y,k)，对运动车辆检测区G^Vehicle(x,y,k)中的非0像素进行计数，计数数值用m(k) 表示，它作为一个帧差特征。

$m\left(k\right)=\underset{(x,y)\∈\mathrm{Vehicle}}{\mathrm{\Σ}}{G}^{\mathrm{Vehicle}}(x,y,k)$

阈值τ_m设为200。在整个处理过程中，检测并计算每一帧图像的运动车辆检测区的非0像素的数量，第一个运动车辆检测区在第63帧的非0像素的数量 m(63) =213。第二个运动车辆检测区在第63帧的非0像素的数量 m(63) =28。意味着第一个运动车辆检测区的车辆开始启动。车辆从静止状态开始运动的那帧记为Nv = 63，帧Nv = 63是车辆的启动时刻。

最后，运用如下公式。

$\mathrm{PRT}=\frac{N_v-N_g}{\mathrm{\κ}}$

来计算驾驶员启动反应时间PRT，视频图像的帧率κ=25，所以 $\mathrm{PRT}=\frac{N_v-N_g}{\mathrm{\κ}}=43/25=1.72$ 秒。

Claims (1)

1.一种在灯控交叉口驾驶员启动反应时间的检测方法，主要采用机器视觉来进行检测，其特征在于，依次含有以下步骤：

1）绿灯点亮时刻的检测；首先，在视频图像序列上选择红灯区域和绿灯区域，该区域在图像中的位置是固定不变的；从红灯和绿灯区域提取RGB信息；第k帧图像上像素(i, j)的R，G，B值分别是R(i, j,k), G(i, j, k) 和 B(i, j, k)；然后，在红灯亮时计算红灯区域的平均红色分量；在绿灯熄灭时计算绿灯区域的平均绿色分量，并从m帧视频图像序列中选择红灯区域的平均红色分量的最小值

，绿灯区域的平均绿色分量的最大值

；最后，根据红灯区域的平均红色分量值的变化和绿灯区域的平均绿色分量值的变化来检测绿灯的起始时刻；在整个处理过程中，检测并计算每一帧图像的红灯区的平均红色分量值和绿灯区的平均绿色分量值：

$\stackrel{\‾}{R}\left(k\right)=\frac{1}{N}\underset{(i,j)\∈\mathrm{Zr}}{\mathrm{\Σ}}R(i,j,k)$

$\stackrel{\‾}{G}\left(k\right)=\frac{1}{N}\underset{(i,j)\∈\mathrm{Zg}}{\mathrm{\Σ}}G(i,j,k)$

一旦红灯区域的平均红色分量值小于（

），并且绿灯区的平均绿色分量值大于（

），这意味着绿灯开始；绿灯由灭到亮的那一帧记为Ng，帧Ng是绿灯起始时刻；δ₁和δ₂是修正系数，取3-8；

2）车辆启动时刻的检测；车辆启动的意思是车辆从静止状态开始运动；车辆启动的检测需要从给定的视频序列中找到车辆从静止状态开始运动的那一帧；采用帧差法来检测车辆的启动；从摄像机输入的图像用I^RGB(x,y,k-1)表示；x，y表示像素，k表示第k帧；当前帧I^RGB(x,y,k)减去前一帧I^RGB(x,y,k-1)得到一个帧差，即

F^RGB(x,y,k)= I^RGB(x,y,k)- I^RGB(x,y,k-1)

首先，对帧差F^RGB(x,y,k)进行灰度变换、中值滤波、二值化得到图像G(x,y,k)，在图像G(x,y,k)上车道停车线附近选择运动车辆检测区：G^Vehicle(x,y,k)，对运动车辆检测区G^Vehicle(x,y,k)中的非0像素进行计数，计数数值用m(k) 表示，它作为一个帧差特征；

$m\left(k\right)=\underset{(x,y)\∈\mathrm{Vehicle}}{\mathrm{\Σ}}{G}^{\mathrm{Vehicle}}(x,y,k)$

然后，根据m(k)和阈值τ_m来检测车辆的启动，τ_m取值为180-210，当且仅当运动车辆检测区的非0像素的数量m(k)大于阈值τ_m时，才意味着车辆开始启动；在整个处理过程中，检测并计算每一帧图像的运动车辆检测区的非0像素的数量，一旦运动车辆检测区的非0像素的数量大于阈值τ_m，这意味着车辆开始启动；车辆从静止状态开始运动的那帧记为Nv，帧Nv是车辆的启动时刻；

3）驾驶员启动反应时间PRT的计算；驾驶员启动反应时间PRT等于车辆启动帧Nv与绿灯起始帧Ng之差除以视频图像的帧率κ；驾驶员启动反应时间PRT根据如下公式计算：

$\mathrm{PRT}=\frac{N_v-N_g}{\mathrm{\κ}}$ 。

Images