CN108447303A - 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 - Google Patents
基于人眼视觉与机器视觉耦合的外周视野危险识别方法 Download PDFInfo
- Publication number
- CN108447303A CN108447303A CN201810228016.6A CN201810228016A CN108447303A CN 108447303 A CN108447303 A CN 108447303A CN 201810228016 A CN201810228016 A CN 201810228016A CN 108447303 A CN108447303 A CN 108447303A
- Authority
- CN
- China
- Prior art keywords
- region
- vision
- driver
- field
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 108
- 230000000007 visual effect Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000004424 eye movement Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 206010028347 Muscle twitching Diseases 0.000 claims description 8
- 210000000744 eyelid Anatomy 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000010408 sweeping Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000009897 systematic effect Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 claims description 2
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 206010039203 Road traffic accident Diseases 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 239000012491 analyte Substances 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001766 physiological effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 239000000021 stimulant Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：首先根据眼动仪实验获得驾驶员眼动数据，提取出反映驾驶员视线类型为注视的坐标点区域；然后对摄像头图像进行基于人眼成像原理的3个标准区域划分，将驾驶员注视点区域与标准划分区域比对，并剔除该注视点区域所属的标准划分区域；最后对其余2个标准划分区域按照优先级进行处理，识别出物体是否运动并判断该物体是否对本车造成危险。解决驾驶员前方视野中多目标危险识别问题，缩小图像识别范围；对外周视野区域进行优先级处理，加强对重点区域的监控，提高了图像实时处理的效率。
Description
技术领域
本发明涉及驾驶人辅助安全和汽车主动安全技术领域，特别涉及一种行车前方视野外周视野区域的处理方法。
背景技术
道路交通是一个纵横交错、错综复杂的体系，只有保证整个体系中的三大部分人、车、路相互配合、相互协调才能有效运转。机动车驾驶员是人—车—道路系统的信息枢纽，所有与人有关的因素引发的交通事故占其总量的90％以上，而驾驶员通过眼睛获得的信息最多的，所占比例居然高达80％。人对视野中的信息只能有选择地进行加工，这被称为视觉选择性注意。机动车驾驶员在自然驾驶状态下，对位于中央视野和外周视野的刺激物的注意机制是不同的，进而对危险知觉的认知加工过程也不同。而在高速状态下，驾驶员一点小的失误更容易引发严重的交通事故。
目前，在驾驶员前方视野被驾驶员忽视区域是引发交通事故主要因素之一。人的视野一般分为三个区域：中央凹视野(视角为1°)、近凹视野(视角为1°～20°)、外周视野(视角为20°～80°)。所谓易忽视区域是指驾驶员外周视野区域，此区域的视觉细胞很少，视敏度最差，这个区域发生的视觉现象称为边缘视觉。城市道路复杂多变，如左、右弯道，交叉路口物障碍，行人横穿马路，车速造成视野区域变化，造成驾驶员忽视区域，这些原因都容易使驾驶员对道路信息的感知迟钝、判断错误或操作不当引发交通事故。目前，前碰撞预警系统开发场景集中在同一车道障碍物的识别(追尾场景)，这时主要是中央凹视野产生反应。针对对向斜角度碰撞和侧向90度碰撞的预警产品很少，与此相关的驾驶员反应机制研究不多，驾驶员对外周视野刺激物的视觉搜索模式是目前阶段研究的弱项。而例如汽车左、右转弯，行人横穿马路时，最先刺激的是外周视野，模糊的感应刺激物，而后发生眼跳产生注视，细致的进行加工(固视)。而这段时间，容易忽视另一侧外周视野的视觉信息，形成了前方视野忽视区，易造成另一侧的交通事故发生。本专利提出一种基于外周视野视觉特性的前方视野忽视区处理方法，能快速处理驾驶员前方视野忽视区域图像信息，及时预警避免事故。
前方视野忽视区在很多交通工具中都存在，例如汽车、船舶和飞机中。而行车的前方视野区探测和方法是通过高级驾驶辅助系统和加装各种传感器进行探测，这样加大了安全系统的处理模块，降低了安全系统的处理速度，并没有有效快速的处理方法。综上所述，该方法运用前景比较宽广，且对设备要求不高，有较高的经济价值。已有的图像处理方法基本是对驾驶员视线点来优先处理该区域图像，而往往忽视了驾驶员外周视野区域，这样在现实中容易造成侧向事故的发生。在已有的专利CN 102656613 A中，介绍了一种使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口，该专利通过旋转摄像头和人眼注视技术来判断盲区危险。上述方法的缺陷在于：1、旋转摄像头。效率低、成本高、准确度差；2、没有提供驾驶员注视点判断的方法；3、没有提供视野区域选择的方法；4、没有提供刺激物是否危险的判断方法；5、对于前方物体速度的判断，它采用了各种传感器，造成系统成本高，系统复杂，运行速度慢；6、该方法主要针对盲点区域，而事故太多发生于驾驶员不是看不见，而是反应不过来。
发明内容
本发明针对现有技术中驾驶员行车过程中外周视野危险识别问题，提供一种基于人眼视觉和机器视觉耦合的外周视野危险识别方法。解决驾驶员前方视野中多目标危险识别问题，缩小图像识别范围；对外周视野区域进行优先级处理，加强对重点区域的监控，提高了图像实时处理的效率。
为解决上述技术问题，本发明采用如下技术方案：
一种基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
首先根据眼动仪实验获得驾驶员眼动数据，提取出反映驾驶员视线类型为注视的坐标点区域；然后对摄像头图像进行基于人眼成像原理的3个标准区域划分，将驾驶员注视点区域与标准划分区域比对，并剔除该注视点区域所属的标准划分区域；最后对其余2个标准划分区域按照优先级进行处理，识别出物体是否运动并判断该物体是否对本车造成危险。
进一步的，上述方法首先采用眼动仪跟踪眼跳过程，采用卡尔曼滤波算法识别注视和扫视的坐标点，判断注视点是否转移；之后对驾驶员前方视野进行区域划分，识别驾驶员注视点所在区域；提取驾驶员注视区域以外的图像区域，采用机器视觉进行模式识别，按照由外周视野至中央视野的优先级顺序识别刺激物的运动速度，并启动预警程序。
进一步的，上述方法按照如下步骤展开：
步骤1：驾驶员注视点位置识别：采用眼动仪获取驾驶人视觉表征参数，依据卡尔曼滤波算法，利用眼动数据视线点坐标数据，对扫视、注视行为的坐标点进行筛选，并将注视点进行保留；
步骤2：从车辆仪表盘控制器局域网总线中提取当前车速V；
步骤3：对驾驶员前方视野进行区域划分：依据人眼成像的基本理论，采用openCV中的图像分割模块，对摄像头获取的前方视野图像进行标准区域划分；
步骤4：驾驶员注视点所在视野区域的识别：采用拉依达准则，剔除步骤1中保留下来的注视点坐标数据中的异常坐标点；得到注视点的区域范围Z0；
步骤5：摄像头需处理的区域Z1的确定，Z1内刺激物Zr区域的识别：依据像素坐标将驾驶员注视区域Z0与标准划分区域进行比对，判断摄像头需处理的区域Z1，将Z1图像分为若干单元，提取每个单元的色调、饱和度和亮度三个特征生成特征图；设置特征权重值，将特征图与原图进行加权融合，得到各单元的特征融合图，然后进一步合并各个小块，得到区域Z1显著图SM；通过计算各单元的显著值，对显著值最高的单元中心坐标采用k-means聚类算法，得到刺激物Zr区域；步骤6：对刺激物出现区域Zr是否危险进行识别：设定标准区域优先级，按照优先级顺序对区域Zr判断是否为运动物体，根据物体速度判断运动物体对本车的危险程度。
进一步的，所述步骤1依据卡尔曼滤波算法，利用眼动数据视线点坐标数据，对扫视、注视行为的坐标点进行筛选具体过程如下：
步骤1-1：利用眼动仪追踪驾驶员的视线点，获取驾驶员眼睛眼跳时长，注视点位置，注视时间，并在建立的平面直角坐标系中标记出坐标点；
步骤1-2：采用卡尔曼滤波算法对注视、扫视行为的坐标点进行识别筛选，留下满足注视条件的视线点；注视点横坐标xk，注视点纵坐标yk，该点的横竖坐标公式如下：其中θx(k)代表采样点水平方向坐标，θy(k)代表采样点垂直方向坐标；K代表时间值；
为坐标变换矩阵，Hk＝[1 0]标准化矩阵；Δt为系统采样时间间隔，产生的噪声标准差Rk＝δ2＝1°；因为眼睛在注视时会轻微抖动，此时的抖动矩阵δ2为噪声方差；
利用公式对视线点坐标进行计算，τ为驾驶员注视阈值；
当时，坐标点类型为注视，则保留该视线点；当时，τ为驾驶员注视阈值，坐标点类型为扫视，则保留该视线点；
其中为卡尔曼滤波自身速度预测值；为采样点实际计算所得实际速度值；p为采样窗口大小；δ为采样时间内采样点速度的标准方差。
进一步，所述步骤2的具体过程如下：将上位机通过OBD接口与汽车CAN线相连接，通过CANoe软件读取汽车实时速度V。
进一步，所述步骤3对驾驶员前方视野进行区域划分的具体过程如下：
步骤3-1：通过水平、竖直角度，根据公式r＝l×tanθ，确定图像内的四个边界点，将上、下、左、右四个边界点相连接成为矩状块。得到驾驶员中央视野区域Z2；步骤3-2：以图像中轴线为界，将左侧不属于中央视野Z2的区域划分为左侧外周视野区域Z3、将右侧不属于中央视野Z2的区域划分为Z4；
所述步骤4采用拉依达准则，剔除步骤1中保留下来的注视点坐标数据中的异常坐标点的具体过程如下：
步骤4-1：满足步骤1的注视点进行保留，得到一个注视点区域。当车速较慢时，注视点区域较为准确，而当车速较高时，会出现较多注视点漂移，此时通过拉依达准则剔除视野异常点；剔除方法具体如下：
步骤4-2：注视点的坐标集合D＝{(x1y1)，(x2y2)(x3y3)，...，(xnyn)}，并通过经过傅里叶变换的二维高斯高通函数对该区域的像素点进行锐化处理；
步骤4-3：然后采用拉依达准则剔除视野异常点，先求取剔除标准S，S′具体公式如下：
若(xi，yi)不满足时，剔除(xi，yi)，标记出该区域的上、下、左、右的边界点，并生成矩状区域，该区域即为驾驶员注视区域Z0。
进一步的，所述步骤5摄像头需处理的区域Z1的确定，Z1内刺激物Zr区域的识别具体过程如下：
步骤5-1：依据像素坐标将驾驶员注视区域与标准划分区域进行比对，判断驾驶员注视点所属的标准划分区域；即可得到摄像头需要优先处理的区域Z1；具体公式如下：
其中，中央视野区Z2，左侧外周视野区Z3，右侧外周视野区Z4；步骤5-2：将Z1区域图片分为M1×M2个方形单元格，M1为横向小块的个数，M2为纵向小块的个数；
步骤5-3：将RGB模型转化为HIS颜色空间模型具体公式如下：
其中，
得到各个小块图像经过上述转换后得到对应于H,S,I分量的3幅特征图，这里分别用H(0),S(0),I(0)来表示；分别用H(0),S(0),I(0)与原小块图像L(0)进行加权融合。具体公式如下：
R1(x，y)＝αH(x，y)+βL(x，y)；
R2(x，y)＝αS(x，y)+βL(x，y)；
R3(x，y)＝αI(x，y)+βL(x，y)；
式中R(x，y)，H(x，y)，S(x，y)，L(x，y)分别为图像H，S，I在坐标(x，y)位置的像素值。R(x，y)为新融合的分量，α，β为权重系数，为使图像有较高的清晰度，这里α取值为1，β取值为0.5；
步骤5-4：最后对N个R1，R2，R3进行合并得到的Z1显著图SM，公式如下：
步骤5-5：每个单元格包含N1×N2个像素，每个单元格的显著等级为FSM；其公式如下：
式中，f(i，j)为像素点显著值，0≤u≤M1-N1，0≤v≤M2-N2；在同一背景下，除了移动目标及其周围区域，其他区域显著值变化并不明显；
步骤5-6：然后用显著图像中显著等级FSM最高的K个单元的中心像素坐标作为聚类中心采用模糊k-means聚类算法，对M1×M2个小块图像中的坐标点进行聚类；计算公式如下：
中心点定义为同时，对于数据点集D＝{X1，X2，X3，...，XN}，Xi＝(i，j)，我们定义一个类别指示变量{rnk|rnk∈{0,1}}，表示xn(n∈(1,2,...,N))是否属于第k个中心点的类,属于就是1，不属于就是0；这样就得区域，即是驾驶员外周视野区域刺激物出现区域Zr。
进一步的，所述步骤6按照优先级顺序对区域Zr判断是否为运动物体具体过程如下：
步骤6-1：设定优先级Z3＝Z4＞Z2；
根据步骤3中的标准划分区域和步骤5中的摄像头需要处理的区域，做出一个优先级设定，当驾驶员以一定车速行驶时，其前方标准视野区域划分为中央视野区Z2，左侧外周视野区Z3，右侧外周视野区Z4。当某一刺激物从左侧外周视野进入时，驾驶员产生注视点转移行为，此时产生眼跳行为，注视区域Z0落在左侧外周视野Z3内。此时对驾驶员新的前方视野区域划分为中央视野区Z2′，左侧外周视野区Z3′，右侧外周视野区Z4’；
此时的Z0∈Z2’∈Z3，所以右侧外周视野区Z4因为驾驶员发生注视点转移，容易变为驾驶员视野盲区，中央视野区Z2变成新右侧外周视野区Z4’内一部分；所以此时优先处理右侧外周视野区Z4中的区域图像，然后在进行中央视野区Z2区域图像处理；具体公式如下：
步骤6-2：连续采集大小为M1×M2的两帧图像，按顺序扫描，从i＝1、j＝1的像素点开始对两帧图像的对应位置进行匹配；由当前帧单元与上一帧图像单元比对可得：
r，s＝-1，0，1；
式中，0≤p≤M1-N1-1，0≤q≤M2-N2-1，计算得到的Drs就可判断前方物体是否移动。然后标注并求出移动区域的上、下、左、右的边界点，从而得出矩状的移动块。并根据两图像当中的像素坐标与位置坐标之间的映射关系，通过两图像的时间差，计算出该运动物体的平均速度；
有多个运动物体出现时，按照标准划分区域的优先级，先对外周视野内的运动物体做出识别，再对中央视野内的物体做出识别；
步骤6-3：读入新一帧图像，按照步骤6-1、6-2与上一帧图像进行融合生成新的矩状移动块，得到所述运动物体对应的运动速度和轨迹；对轨迹进行平滑处理然后通过步骤2获取的本车行驶速度，通过汽车的安全距离公式进行计算，进行危险预警。
综上，一般的汽车摄像头的并未通过划分优先级来处理图像，而且对区域图像的识别集中于人眼的注视区域，而大部分未区分扫视点与注视点的差别，处理误差较大。本发明基于人的眼动生理特性，对驾驶员外周视野的识别提出了详细的方法。将机器视觉与人眼视觉相结合，该方法适用于人车混流的复杂交通路况，采用人眼视觉和机器视觉匹配互补的工作模式，解决驾驶员前方视野中多目标危险识别问题，缩小图像识别范围；对外周视野区域进行优先级处理，加强对重点区域的监控，提高了图像实时处理的效率。
相对于现有技术，本发明的优势在于：1、系统简单，效率快成本低、精确度高。2、筛选了驾驶员的注视点，使定位区域更加精确。3、提供了一种前方视野划分方法，优化了图像处理效率。4、采用一种图像处理方法来对运动物体进行识别。
附图说明
图1为根据本发明实施的一种基于人眼视觉与机器视觉耦合的外周视野危险识别方法的流程图。
图2为本发明所述的驾驶员前方视野进行区域标准划分及实验场景示意图。
图3为本发明所述的步骤6的算法流程图。
具体实施方式
下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。
本发明提出一种基于人眼视觉和机器视觉耦合的外周视野危险识别方法，包括：首先根据眼动仪实验获得驾驶员眼动数据，提取出反映驾驶员视线类型为注视的坐标点区域。然后对摄像头图像进行基于人眼成像原理的3个标准区域划分，将驾驶员注视点区域与标准划分区域比对，并剔除该注视点区域所属的标准划分区域。最后对其余2个标准划分区域，按照优先级进行处理，识别出物体是否运动并判断该物体是否对本车造成危险。
参见图1，为本发明的具体流程，先介绍每一步实现细节，具体过程如下：
1.利用眼动仪采集眼动数据，采用卡尔曼滤波算法淘汰扫视类型视线点。当眼动类型判断为注视时，驾驶员注视点位置发生转移；当眼动类型判断为扫视时，驾驶员注视点位置没有发生转移。
(1)选择Tobii X60车载眼动仪系统作为主要实验设备，用实车进行实验。搭建行人横穿马路的实验场景如图2所示，采集行车过程中驾驶人视线点的动态数据，并标记出驾驶员视线点坐标。
(2)在被试者中，由于人的驾驶行为不同，发生扫视、注视行为的概率不同。而因为眼睛在注视时会会在短时间内发生轻微抖动，此时出现多个视线点，因此有的视线点不能算作注视点，予以淘汰这些坐标点。在这里，对眼动类型的识别采用卡尔曼滤波算法，计算眼动速度预测值与采样点计算实际眼动速度值的比较值，具体如下：
其中θx(k)代表采样点水平方向坐标，θy(k)代表采样点垂直方向坐标。K代表时间值。
为坐标变换矩阵，Hk＝[1 0]标准化矩阵。
Δt为系统采样时间间隔，产生的噪声标准差Rk＝δ2＝1°。因为眼睛在注视时会轻微抖动，此时的抖动矩阵δ2为噪声方差。
利用公式对视线点坐标进行计算，τ为驾驶员注视阈值，为变换后的卡尔曼滤波公式。
当时，坐标点类型为注视，则保留该视线点。
当时，坐标点类型为扫视，则保留该视线点。
其中为卡尔曼滤波自身速度预测值；为采样点实际计算所得实际速度值；p为采样窗口大小；δ为采样时间内采样点速度的标准方差。
这样就得到驾驶员注视点的分布图，这些筛选和处理后的数据用于下一步工作。
2.将上位机通过OBD接口与汽车CAN线相连接，通过CANoe软件读取汽车实时速度V。
3.对驾驶员前方视野进行区域标准划分如图2所示，具体如下：
根据人眼成像的基础理论，驾驶员的中央视野的视线集中在±10°、竖直(-3.5°，+1.5°的椭圆范围内。
(1)在这里我们采用上位机中的openCV软件，读取摄像头反馈回来的图像。通过C语言编程，设定一个图像分割算法，然后对图像进行分割。
(2)实验中先确定图像的中轴线与中心点。我们设定驾驶员的有效视距为l。根据人眼成像理论，通过水平、竖直角度，根据公式r＝l×tanθ，确定图像内的四个边界点，为使图像处理方便，在这里我们不采用椭圆范围，而是将上、下、左、右四个边界点相连接成为矩状块。这就得到了驾驶员中央视野区域Z2。
(3)以中轴线为界，将左侧不属于中央视野Z2的区域划分为左侧外周视野区域Z3、将右侧不属于中央视野Z2的区域划分为右侧外周视野区域Z4。
4.驾驶员注视点所在视野区域的识别，具体过程如下：
(1)满足步骤1的注视点进行保留，得到一个注视点区域。当车速较慢时，驾驶员有足够的时间对刺激物进行判断，注视点区域较为准确，可以不做处理以提高摄像头处理速度。而当车速较高时，注视点会出现较多注视点漂移，此时通过拉依达准则剔除视野异常点，使摄像头处理图像更加细致。剔除方法具体如下：
(2)注视点的坐标集合D＝{(x1y1)，(x2y2)(x3y3)，...，(xnyn)}，并通过经过傅里叶变换的二维高斯高通函数对该区域的像素点进行锐化处理。
步骤4-3：然后采用拉依达准则剔除视野异常点，先求取剔除标准S，S′具体公式如下：
若(xi，yi)不满足时，剔除(xi，yi)。标记出该区域的上、下、左、右的边界点，并生成矩状区域，该区域即为驾驶员注视区域Z0
5.摄像头需处理的区域Z1的确定，Z1内刺激物Zr区域的识别，具体过程如下：
(1)依据像素坐标将驾驶员注视区域与标准划分区域进行比对，判断驾驶员注视点所属的标准划分区域。即可的到摄像头需要优先处理的区域Z1。具体公式如下：
其中，中央视野区Z2，左侧外周视野区Z3，右侧外周视野区Z4。：
(2)在openCV软件中建立刺激物检测模块CvFGDetector：对每一个像素判断其是运动物体还是背景。将Z1区域图像分为M1×M2个方形单元格。
(3)一般摄像头获取图像是以RGB格式，在openCV中首先将RGB模型转化为HIS颜色空间模型具体公式如下：
其中，
然后得到各个小块图像经过上述转换后得到对应于H,S,I分量的3幅特征图，这里分别用H(0),S(0),I(0)来表示。分别用H(0),S(0),I(0)与原小块图像L(0)进行加权融合。具体公式如下：
R1(x，y)＝αH(x，y)+βL(x，y)
R2(x，y)＝αS(x，y)+βL(x，y)
R3(x，y)＝αI(x，y)+βL(x，y)
式中R(x，y)，H(x，y)，S(x，y)，L(x，y)分别为图像H，S，I在坐标(x，y)位置的像素值。R(x，y)为新融合的分量，α，β为权重系数，为使图像有较高的清晰度，这里α取值为1，β取值为0.5。
(4)最后对N个R1，R2，R3进行合并得到的Z1显著图SM，公式如下：
(5)假定每个单元格包含N1×N2个像素，每个单元格的显著等级为FSM。其公式如下：
式中，f(i，j)为像素点显著值，0≤u≤M1-N1，0≤v≤M2-N2。在同一背景下，除了移动目标及其周围区域，其他区域显著值变化并不明显。
(6)然后用显著图像中显著等级FSM最高的K个单元的中心像素坐标作为聚类中心采用模糊k-means聚类算法，对M1×M2个小块图像中的坐标点进行聚类。计算公式如下：
中心点定义为同时，对于数据点集D＝{x1，X2，X3，...，XN}，Xi＝(i，j)，我们定义一个类别指示变量{rnk|rnk∈{0,1}}，表示xn(n∈(1,2,...,N))是否属于第k个中心点的类,属于就是1，不属于就是0。这样就得区域，即是驾驶员外周视野区域刺激物出现区域Zr。
6.对刺激物出现区域Zr的危险进行识别的具体过程如下：
(1)设定优先级Z3＝Z4＞Z2
说明：根据步骤3中的标准划分区域和步骤5中的摄像头需要处理的区域，做出一个优先级设定，当驾驶员以一定车速行驶时，其前方标准视野区域划分为中央视野区Z2，左侧外周视野区Z3，右侧外周视野区Z4。当某一刺激物从左侧外周视野进入时，驾驶员产生注视点转移行为，此时产生眼跳行为，注视区域Z0落在左侧外周视野Z3内。此时对驾驶员新的前方视野区域划分为中央视野区Z2′，左侧外周视野区Z3′，右侧外周视野区Z4′。
此时的Z0∈Z2’∈Z3，所以右侧外周视野区Z4因为驾驶员发生注视点转移，容易变为驾驶员视野盲区，中央视野区Z2变成新右侧外周视野区Z4’内一部分。所以此时优先处理右侧外周视野区Z4中的区域图像，然后在进行中央视野区Z2区域图像处理。具体公式如下：
(2)在openCV软件中建立新刺激物检测模块CvBlobDetector：使用刺激物检测的结果检测新进入场景的刺激物区域Zr。刺激物跟踪模块CvBlobTracker：使用新刺激物检测模块的结果初始化该模块，并跟踪新进入的模块。具体公式如下：
连续采集大小为M1×M2的两帧图像，按顺序扫描，从i＝1、j＝1的像素点开始对两帧图像的对应位置进行匹配。由当前帧单元与上一帧图像单元比对可得：
式中，0≤p≤M1-N1-1，0≤q≤M2-N2-1，计算得到的Drs就可判断前方物体是否移动。然后标注并求出移动区域的上、下、左、右的边界点，从而得出矩状的移动块。并根据两图像当中的像素坐标与位置坐标之间的映射关系，通过两图像的时间差，计算出该运动物体的平均速度。
有多个运动物体出现时，按照标准划分区域的优先级，先对外周视野内的运动物体做出识别，再对中央视野内的物体做出识别。
(3)建立刺激物轨迹生成模块CvBlobTrackGen：收集所有刺激物区域Zr的位置，并在每条轨迹结束时将其保存到硬盘上。刺激物轨迹处理模块CvBlobTrackPostProc：进行轨迹的平滑操作。具体如下：
读入新一帧图像，按照步骤(1)(2)与上一帧图像进行融合生成新的矩状移动块，得到所述运动物体对应的运动速度和轨迹。对轨迹进行平滑处理然后通过步骤2获取的本车行驶速度，通过汽车的安全距离公式进行计算，进行危险预警。该算法流程图如图3所示。
综上，一般的汽车摄像头的并未通过划分优先级来处理图像，而且对区域图像的识别集中于人眼的注视区域，而大部分未区分扫视点与注视点的差别，处理误差较大。本发明基于人的眼动生理特性，对驾驶员外周视野的识别提出了详细的方法。将机器视觉与人眼视觉相结合，该方法适用于人车混流的复杂交通路况，采用人眼视觉和机器视觉匹配互补的工作模式，解决驾驶员前方视野中多目标危险识别问题，缩小图像识别范围；对外周视野区域进行优先级处理，加强对重点区域的监控，提高了图像实时处理的效率。
相对于现有技术，本发明的优势在于：1、系统简单，效率快成本低、精确度高。2、筛选了驾驶员的注视点，使定位区域更加精确。3、提供了一种前方视野划分方法，优化了图像处理效率。4、采用一种图像处理方法来对运动物体进行识别。
Claims (9)
1.一种基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
首先根据眼动仪实验获得驾驶员眼动数据，提取出反映驾驶员视线类型为注视的坐标点区域；然后对摄像头图像进行基于人眼成像原理的3个标准区域划分，将驾驶员注视点区域与标准划分区域比对，并剔除该注视点区域所属的标准划分区域；最后对其余2个标准划分区域按照优先级进行处理，识别出物体是否运动并判断该物体是否对本车造成危险。
2.根据权利要求1所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
上述方法首先采用眼动仪跟踪眼跳过程，采用卡尔曼滤波算法识别注视和扫视的坐标点，判断注视点是否转移；之后对驾驶员前方视野进行区域划分，识别驾驶员注视点所在区域；提取驾驶员注视区域以外的图像区域，采用机器视觉进行模式识别，按照由外周视野至中央视野的优先级顺序识别刺激物的运动速度，并启动预警程序。
3.根据权利要求2所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
上述方法按照如下步骤展开：
步骤1：驾驶员注视点位置识别：采用眼动仪获取驾驶人视觉表征参数，依据卡尔曼滤波算法，利用眼动数据视线点坐标数据，对扫视、注视行为的坐标点进行筛选，并将注视点进行保留；
步骤2：从车辆仪表盘控制器局域网总线中提取当前车速V；
步骤3：对驾驶员前方视野进行区域划分：依据人眼成像的基本理论，采用openCV中的图像分割模块，对摄像头获取的前方视野图像进行标准区域划分；
步骤4：驾驶员注视点所在视野区域的识别：采用拉依达准则，剔除步骤1中保留下来的注视点坐标数据中的异常坐标点；得到注视点的区域范围Z0；
步骤5：摄像头需处理的区域Z1的确定，Z1内刺激物Zr区域的识别：依据像素坐标将驾驶员注视区域Z0与标准划分区域进行比对，判断摄像头需处理的区域Z1，将Z1图像分为若干单元，提取每个单元的色调、饱和度和亮度三个特征生成特征图；设置特征权重值，将特征图与原图进行加权融合，得到各单元的特征融合图，然后进一步合并各个小块，得到区域Z1显著图SM；通过计算各单元的显著值，对显著值最高的单元中心坐标采用k-means聚类算法，得到刺激物Zr区域；步骤6：对刺激物出现区域Zr是否危险进行识别：设定标准区域优先级，按照优先级顺序对区域Zr判断是否为运动物体，根据物体速度判断运动物体对本车的危险程度。
4.根据权利要求3所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
所述步骤1依据卡尔曼滤波算法，利用眼动数据视线点坐标数据，对扫视、注视行为的坐标点进行筛选具体过程如下：
步骤1-1：利用眼动仪追踪驾驶员的视线点，获取驾驶员眼睛眼跳时长，注视点位置，注视时间，并在建立的平面直角坐标系中标记出坐标点；
步骤1-2：采用卡尔曼滤波算法对注视、扫视行为的坐标点进行识别筛选，留下满足注视条件的视线点；注视点横坐标xk，注视点纵坐标yk，该点的横竖坐标公式如下：其中θx(k)代表采样点水平方向坐标，θy(k)代表采样点垂直方向坐标；K代表时间值；
坐标变换矩阵，Hk＝[1 0]标准化矩阵；Δt为系统采样时间间隔，产生的噪声标准差Rk＝δ2＝1°；因为眼睛在注视时会轻微抖动，此时的抖动矩阵δ2为噪声方差；
利用公式对视线点坐标进行计算，τ为驾驶员注视阈值；
当时，坐标点类型为注视，则保留该视线点；当时，τ为驾驶员注视阈值，坐标点类型为扫视，则保留该视线点；
其中为卡尔曼滤波自身速度预测值；为采样点实际计算所得实际速度值；p为采样窗口大小；δ为采样时间内采样点速度的标准方差。
5.根据权利要求3所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
所述步骤2的具体过程如下：将上位机通过OBD接口与汽车CAN线相连接，通过CANoe软件读取汽车实时速度V。
6.根据权利要求3所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
所述步骤3对驾驶员前方视野进行区域划分的具体过程如下：
步骤3-1：通过水平、竖直角度，根据公式r＝l×tanθ，确定图像内的四个边界点，将上、下、左、右四个边界点相连接成为矩状块；得到驾驶员中央视野区域Z2；步骤3-2：以图像中轴线为界，将左侧不属于中央视野Z2的区域划分为左侧外周视野区域Z3、将右侧不属于中央视野Z2的区域划分为Z4。
7.根据权利要求3所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
所述步骤4采用拉依达准则，剔除步骤1中保留下来的注视点坐标数据中的异常坐标点的具体过程如下：
步骤4-1：满足步骤1的注视点进行保留，得到一个注视点区域；当车速较慢时，注视点区域较为准确，而当车速较高时，会出现较多注视点漂移，此时通过拉依达准则剔除视野异常点；剔除方法具体如下：
步骤4-2：注视点的坐标集合D＝{(x1y1)，(x2y2)(x3y3)，...，(xnyn)}，并通过经过傅里叶变换的二维高斯高通函数对该区域的像素点进行锐化处理；
步骤4-3：然后采用拉依达准则剔除视野异常点，先求取剔除标准S，S′具体公式如下：
若(xi，yi)不满足时，剔除(xi，yi)，标记出该区域的上、下、左、右的边界点，并生成矩状区域，该区域即为驾驶员注视区域Z0。
8.根据权利要求3所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
所述步骤5摄像头需处理的区域Z1的确定，Z1内刺激物Zr区域的识别具体过程如下：
步骤5-1：依据像素坐标将驾驶员注视区域与标准划分区域进行比对，判断驾驶员注视点所属的标准划分区域；即可得到摄像头需要优先处理的区域Z1；具体公式如下：
其中，中央视野区Z2，左侧外周视野区Z3，右侧外周视野区Z4；
步骤5-2：将Z1区域图片分为M1×M2个方形单元格，M1为横向小块的个数，M2为纵向小块的个数；
步骤5-3：将RGB模型转化为HIS颜色空间模型具体公式如下：
其中，
得到各个小块图像经过上述转换后得到对应于H,S,I分量的3幅特征图，这里分别用H(0),S(0),I(0)来表示；分别用H(0),S(0),I(0)与原小块图像L(0)进行加权融合；具体公式如下：
R1(x，y)＝αH(x，y)+βL(x，y)；
R2(x，y)＝αS(x，y)+βL(x，y)；
R3(x，y)＝αI(x，y)+βL(x，y)；
式中R(x，y)，H(x，y)，S(x,y)，L(x，y)分别为图像H，S，I在坐标(x，y)位置的像素值；R(x，y)为新融合的分量，α，β为权重系数，为使图像有较高的清晰度，这里α取值为1，β取值为0.5；
步骤5-4：最后对N个R1，R2，R3进行合并得到的Z1显著图SM，公式如下：
步骤5-5：每个单元格包含N1×N2个像素，每个单元格的显著等级为FSM；其公式如下：
式中，f(i，j)为像素点显著值，0≤u≤M1-N1，0≤v≤M2-N2；在同一背景下，除了移动目标及其周围区域，其他区域显著值变化并不明显；
步骤5-6：然后用显著图像中显著等级FSM最高的K个单元的中心像素坐标作为聚类中心采用模糊k-means聚类算法，对M1×M2个小块图像中的坐标点进行聚类；计算公式如下：
中心点定义为同时，对于数据点集D＝{X1，X2，X3，...，XN}，Xi＝(i，j)，我们定义一个类别指示变量{rnk|rnk∈{0,1}}，表示xn(n∈(1,2,...,N))是否属于第k个中心点的类,属于就是1，不属于就是0；这样就得区域，即是驾驶员外周视野区域刺激物出现区域Zr。
9.根据权利要求3所述的基于人眼视觉和机器视觉耦合的外周视野危险识别方法，其特征在于：
所述步骤6按照优先级顺序对区域Zr判断是否为运动物体具体过程如下：
步骤6-1：设定优先级Z3＝Z4＞Z2；
根据步骤3中的标准划分区域和步骤5中的摄像头需要处理的区域，做出一个优先级设定，当驾驶员以一定车速行驶时，其前方标准视野区域划分为中央视野区Z2，左侧外周视野区Z3，右侧外周视野区Z4；当某一刺激物从左侧外周视野进入时，驾驶员产生注视点转移行为，此时产生眼跳行为，注视区域Z0落在左侧外周视野Z3内；此时对驾驶员新的前方视野区域划分为中央视野区Z2′，左侧外周视野区Z3′，右侧外周视野区Z4′；
此时的Z0∈Z2′∈Z3，所以右侧外周视野区Z4因为驾驶员发生注视点转移，容易变为驾驶员视野盲区，中央视野区Z2变成新右侧外周视野区Z4′内一部分；所以此时优先处理右侧外周视野区Z4中的区域图像，然后在进行中央视野区Z2区域图像处理；具体公式如下：
步骤6-2：连续采集大小为M1×M2的两帧图像，按顺序扫描，从i＝1、j＝1的像素点开始对两帧图像的对应位置进行匹配；由当前帧单元与上一帧图像单元比对可得：
式中，0≤p≤M1-N1-1，0≤q≤M2-N2-1，计算得到的Drs就可判断前方物体是否移动；然后标注并求出移动区域的上、下、左、右的边界点，从而得出矩状的移动块；并根据两图像当中的像素坐标与位置坐标之间的映射关系，通过两图像的时间差，计算出该运动物体的平均速度；
有多个运动物体出现时，按照标准划分区域的优先级，先对外周视野内的运动物体做出识别，再对中央视野内的物体做出识别；
步骤6-3：读入新一帧图像，按照步骤6-1、6-2与上一帧图像进行融合生成新的矩状移动块，得到所述运动物体对应的运动速度和轨迹；对轨迹进行平滑处理然后通过步骤2获取的本车行驶速度，通过汽车的安全距离公式进行计算，进行危险预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810228016.6A CN108447303B (zh) | 2018-03-20 | 2018-03-20 | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810228016.6A CN108447303B (zh) | 2018-03-20 | 2018-03-20 | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108447303A true CN108447303A (zh) | 2018-08-24 |
| CN108447303B CN108447303B (zh) | 2021-01-15 |
Family
ID=63195835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810228016.6A Expired - Fee Related CN108447303B (zh) | 2018-03-20 | 2018-03-20 | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108447303B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348296A (zh) * | 2019-05-30 | 2019-10-18 | 北京市遥感信息研究所 | 一种基于人机融合的目标识别方法 |
| CN110971815A (zh) * | 2018-10-01 | 2020-04-07 | 卡西欧计算机株式会社 | 图像处理装置、机器人、图像处理方法以及存储介质 |
| CN111292548A (zh) * | 2020-02-06 | 2020-06-16 | 温州大学 | 一种基于视觉注意力的安全驾驶方法 |
| WO2020135106A1 (zh) * | 2018-12-28 | 2020-07-02 | 杭州海康威视数字技术股份有限公司 | 一种跟踪目标对象的方法、装置、监控设备和存储介质 |
| CN111797810A (zh) * | 2020-07-20 | 2020-10-20 | 吉林大学 | 一种行车过程中驾驶员前视预瞄区域的获取方法 |
| CN112215120A (zh) * | 2020-09-30 | 2021-01-12 | 山东理工大学 | 视觉搜索区域的确定方法、装置及驾驶模拟器 |
| CN112215729A (zh) * | 2020-10-15 | 2021-01-12 | 中国地质大学（武汉） | 一种基于bim技术的施工场地安全标识布设位置优化方法 |
| CN113139443A (zh) * | 2021-04-08 | 2021-07-20 | 武汉理工大学 | 面向眼动仪前向视频的交通目标自动识别与匹配的方法 |
| CN113421458A (zh) * | 2021-06-16 | 2021-09-21 | 吉林大学 | 一种重型商用车驾驶员动态盲区的检测方法 |
| CN114220159A (zh) * | 2021-11-02 | 2022-03-22 | 三峡大学 | 基于机器学习的施工安全隐患识别方法 |
| WO2023004736A1 (zh) * | 2021-07-30 | 2023-02-02 | 华为技术有限公司 | 车辆控制方法及其装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101512617A (zh) * | 2006-09-04 | 2009-08-19 | 松下电器产业株式会社 | 行驶信息提供装置 |
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
| WO2013006649A2 (en) * | 2011-07-05 | 2013-01-10 | Omron Corporation | A method and apparatus for projective volume monitoring |
| CN104951084A (zh) * | 2015-07-30 | 2015-09-30 | 京东方科技集团股份有限公司 | 视线追踪方法及装置 |
| CN107273805A (zh) * | 2017-05-18 | 2017-10-20 | 江苏大学 | 一种基于视觉特性的gm‑hmm预测驾驶行为方法 |
| CN107330431A (zh) * | 2017-06-30 | 2017-11-07 | 福州大学 | 一种基于K‑means聚类拟合的显著性检测优化方法 |
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
-
2018
- 2018-03-20 CN CN201810228016.6A patent/CN108447303B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101512617A (zh) * | 2006-09-04 | 2009-08-19 | 松下电器产业株式会社 | 行驶信息提供装置 |
| WO2013006649A2 (en) * | 2011-07-05 | 2013-01-10 | Omron Corporation | A method and apparatus for projective volume monitoring |
| CN102521595A (zh) * | 2011-12-07 | 2012-06-27 | 中南大学 | 一种基于眼动数据和底层特征的图像感兴趣区域提取方法 |
| CN104951084A (zh) * | 2015-07-30 | 2015-09-30 | 京东方科技集团股份有限公司 | 视线追踪方法及装置 |
| CN107273805A (zh) * | 2017-05-18 | 2017-10-20 | 江苏大学 | 一种基于视觉特性的gm‑hmm预测驾驶行为方法 |
| CN107330431A (zh) * | 2017-06-30 | 2017-11-07 | 福州大学 | 一种基于K‑means聚类拟合的显著性检测优化方法 |
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| 王剑等: "基于眼动交互的增强现实抬头显示系统", 《科学技术与工程》 * |
| 王文豪等: "基于ＨＳＶ空间改进的多尺度显著性检测", 《计算机工程与科学》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110971815A (zh) * | 2018-10-01 | 2020-04-07 | 卡西欧计算机株式会社 | 图像处理装置、机器人、图像处理方法以及存储介质 |
| CN110971815B (zh) * | 2018-10-01 | 2021-07-30 | 卡西欧计算机株式会社 | 图像处理装置、机器人、图像处理方法以及存储介质 |
| CN111383251A (zh) * | 2018-12-28 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 一种跟踪目标对象的方法、装置、监控设备和存储介质 |
| WO2020135106A1 (zh) * | 2018-12-28 | 2020-07-02 | 杭州海康威视数字技术股份有限公司 | 一种跟踪目标对象的方法、装置、监控设备和存储介质 |
| CN110348296B (zh) * | 2019-05-30 | 2022-04-12 | 北京市遥感信息研究所 | 一种基于人机融合的目标识别方法 |
| CN110348296A (zh) * | 2019-05-30 | 2019-10-18 | 北京市遥感信息研究所 | 一种基于人机融合的目标识别方法 |
| CN111292548A (zh) * | 2020-02-06 | 2020-06-16 | 温州大学 | 一种基于视觉注意力的安全驾驶方法 |
| CN111797810A (zh) * | 2020-07-20 | 2020-10-20 | 吉林大学 | 一种行车过程中驾驶员前视预瞄区域的获取方法 |
| CN112215120A (zh) * | 2020-09-30 | 2021-01-12 | 山东理工大学 | 视觉搜索区域的确定方法、装置及驾驶模拟器 |
| CN112215729A (zh) * | 2020-10-15 | 2021-01-12 | 中国地质大学（武汉） | 一种基于bim技术的施工场地安全标识布设位置优化方法 |
| CN112215729B (zh) * | 2020-10-15 | 2022-08-09 | 中国地质大学（武汉） | 一种基于bim技术的施工场地安全标识布设位置优化方法 |
| CN113139443A (zh) * | 2021-04-08 | 2021-07-20 | 武汉理工大学 | 面向眼动仪前向视频的交通目标自动识别与匹配的方法 |
| CN113139443B (zh) * | 2021-04-08 | 2023-12-22 | 武汉理工大学 | 面向眼动仪前向视频的交通目标自动识别与匹配的方法 |
| CN113421458A (zh) * | 2021-06-16 | 2021-09-21 | 吉林大学 | 一种重型商用车驾驶员动态盲区的检测方法 |
| WO2023004736A1 (zh) * | 2021-07-30 | 2023-02-02 | 华为技术有限公司 | 车辆控制方法及其装置 |
| CN114220159A (zh) * | 2021-11-02 | 2022-03-22 | 三峡大学 | 基于机器学习的施工安全隐患识别方法 |
| CN114220159B (zh) * | 2021-11-02 | 2024-04-23 | 三峡大学 | 基于机器学习的施工安全隐患识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108447303B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108447303A (zh) | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 | |
| CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及系统 | |
| CN104751600B (zh) | 基于虹膜识别的防疲劳驾驶安全设备及其使用方法 | |
| Nieto et al. | Road environment modeling using robust perspective analysis and recursive Bayesian segmentation | |
| CN110097109A (zh) | 一种基于深度学习的道路环境障碍物检测系统及方法 | |
| CN106379237B (zh) | 基于增强现实的车辆换道全过程辅助驾驶系统 | |
| CN102708356B (zh) | 一种基于复杂背景下的车牌自动定位和识别方法 | |
| CN103116751B (zh) | 一种车牌字符自动识别方法 | |
| CN103886307B (zh) | 一种视线跟踪及疲劳预警方法 | |
| Wu et al. | Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement | |
| CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
| CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
| CN110487562A (zh) | 一种用于无人驾驶的车道保持能力检测系统及方法 | |
| Kühnl et al. | Monocular road segmentation using slow feature analysis | |
| CN107031623A (zh) | 一种基于车载盲区相机的道路预警方法 | |
| CN107273816B (zh) | 基于车载前视单目相机的交通限速标识检测识别方法 | |
| EP2383679A1 (en) | Detecting and recognizing traffic signs | |
| CN108638999A (zh) | 一种基于360度环视输入的防碰撞预警系统及方法 | |
| CN104200192A (zh) | 驾驶员注视检测系统 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| CN104902261B (zh) | 用于低清晰度视频流中的路面识别的装置和方法 | |
| CN107323338A (zh) | 车用转向灯控制系统、控制方法及车辆 | |
| CN105205785A (zh) | 一种可定位的大型车辆运行管理系统及其运行方法 | |
| CN104157160B (zh) | 车辆行驶控制方法、装置及车辆 | |
| CN109190483B (zh) | 一种基于视觉的车道线检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210115 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |