CN112016472B - 基于目标动态信息的驾驶员注意力区域预测方法及系统 - Google Patents

基于目标动态信息的驾驶员注意力区域预测方法及系统 Download PDF

Info

Publication number
CN112016472B
CN112016472B CN202010894433.1A CN202010894433A CN112016472B CN 112016472 B CN112016472 B CN 112016472B CN 202010894433 A CN202010894433 A CN 202010894433A CN 112016472 B CN112016472 B CN 112016472B
Authority
CN
China
Prior art keywords
target
driver
video frame
cross
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010894433.1A
Other languages
English (en)
Other versions
CN112016472A (zh
Inventor
常发亮
李强
刘春生
李爽
路彦沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010894433.1A priority Critical patent/CN112016472B/zh
Publication of CN112016472A publication Critical patent/CN112016472A/zh
Application granted granted Critical
Publication of CN112016472B publication Critical patent/CN112016472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于目标动态信息的驾驶员注意力区域预测方法及系统，包括：提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；对提取的视频帧图像中的目标进行重要目标筛选，将不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图训练驾驶员注意力预测网络模型；对待测视频帧图像采用训练后的驾驶员注意力预测网络模型预测驾驶员注意力区域。通过重要目标筛选网络，挖掘当前时刻下可能存在的重要的目标，与图像空间特征融合丰富模型的空间表达能力；通过动态特征图的提取，提取帧间动态信息，能够对重要目标的运动信息更为敏感，提高驾驶员注意力预测的精度。

Description

基于目标动态信息的驾驶员注意力区域预测方法及系统
技术领域
本发明涉及视觉显著性区域预测技术领域，特别是涉及一种基于目标动态信息的驾驶员注意力区域预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
驾驶员注意力区域预测又称为交通场景下的视觉显著性预测，在复杂的交通场景下，对辅助驾驶以及无人驾驶至关重要。人眼的选择注意力机制帮助驾驶员能够第一时间察觉危险，如果驾驶员集中注意力驾驶，将会迅速做出反应进而避免交通事故的发生；但往往会有驾驶员注意力分散，疲劳驾驶的出现，使得驾驶员在发现危险时无法及时避让，为此，对于辅助驾驶系统，学习驾驶员的注意力关注的经验，能够帮助驾驶员提前发现危险并给与警告。
但是，发明人认为，虽然传统的车内注意力采集设备，可以根据驾驶员眼球的运动，估计驾驶员的注意力，但是很难提供足够多的数据；传统机器学习方法和基于深度学习的通过动态交通场景预测驾驶员注意力关注区域方法中，对于突然出现的车辆、行人等可能存在潜在危险的目标并不是很敏感，当车辆超车等现象出现时，依旧无法察觉，即无法及时提取出有效的运动信息；
由于驾驶任务处于动态场景中，引入ConvLSTM模块进行时序建模时，将运动信息插入在高层语义之后，而底层语义特征会具有大量的边缘、颜色信息，可能会包含更多的运动信息，然而加入光流构造出的双流网络，往往会因为网络模型参数过多导致模型过大，对于网络的训练与预测都会产生影响。
发明内容
为了解决上述问题，本发明提出了一种基于目标动态信息的驾驶员注意力区域预测方法及系统，通过重要目标筛选网络，挖掘当前时刻下可能存在的重要的目标，与图像空间特征融合丰富模型的空间表达能力；通过动态特征图的提取，提取帧间动态信息，对动态的交通场景进行建模，能够对重要目标的运动信息更为敏感，提高驾驶员注意力预测的精度。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于目标动态信息的驾驶员注意力区域预测方法，包括：
提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；
对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；
将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；
对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果。
第二方面，本发明提供一种基于目标动态信息的驾驶员注意力区域预测系统，包括：
特征提取模块，用于提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；
目标筛选模块，用于对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；
训练模块，用于将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；
预测模块，用于对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明针对现有技术在复杂的交通场景中对重要目标的动态信息不敏感问题，设计动态信息提取模块DFM(dynamic feature extraction module)提取帧间动态信息，对动态的交通场景进行建模，让网络在保证可以时序建模的同时，能够对重要目标的运动信息更为敏感，提高驾驶员注意力预测的精度和鲁棒性。
本发明的可提取目标运动信息的驾驶员注意力预测网络OM-Net(Import ObjectFitter and Motion Neural Network)中，设计重要目标筛选网络，利用伪锚点框去筛选出当前时刻交通场景下可能重要的目标，挖掘可能存在的重要目标，与单纯从图像中提取的特征融合，丰富模型的空间表达能力。
本发明的OM-Net网络，使用不同类型的损失函数优化网络模型，更准确的学习驾驶员在驾驶任务下的目标关注经验，增强驾驶员注意力区域预测网络的稳定性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的驾驶员注意力区域预测方法流程图；
图2为本发明实施例1提供的OM-Net的整体网络结构图；
图3为本发明实施例1提供的动态信息提取模块DFM；
图4为本发明实施例1提供的重要目标筛选模块。
具体实施方式：
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1-2所示，本实施例提供一种基于目标动态信息的驾驶员注意力区域预测方法，包括：
S1：提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；
S2：对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；
S3：将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；
S4：对待测视频帧图像采用训练后的驾驶员注意力预测网络模型预测驾驶员注意力区域。
所述步骤S1中，提取视频帧图像的空间特征具体包括：
S1-1：本实施例只考虑前后两帧视频帧图像之间的关系，因此输入前后两帧的视频帧图像，对视频帧图像归一化处理，统一尺寸为(1024,768)；
S1-2：本实施例使用在ImageNet数据集上预训练的Resnet50作为骨干网络，提取图像空间特征Fresnet；
优选地，Resnet50为分类网络，本实施例去除平均池化层和分类层，只保留C1-C5层提取图像空间特征。
所述步骤S1中，本实施例采用动态信息提取模块DFM(dynamic featureextraction module)提取相邻视频帧图像的动态特征图，帮助网络模型更好的提取出动态特征，针对相邻两帧视频帧图像分别提取resnet50网络的C2、C3和C4层的特征图，计算相邻两帧的特征图之间的差异捕获动态信息。
如图3所示，提取相邻视频帧图像的动态特征图具体包括：
S1-3：将当前t时刻的特征图Ft和上一时刻的特征图Ft-1通过1x1的逐点卷积降维，将通道数降为1；
S1-4：将二者拼接，通过两个带有batchnorm和leakyrelu的卷积层提取特征，得到动态信息流；
S1-5：对于动态信息流以特定的方式进行解耦、融合后得到包含动态信息动态特征图Ft’。
所述步骤S2中，本实施例除了图像特征提取以外，还涉及重要目标筛选，目标检测作为自底向上的常用检测算法，可以检测到场景中的各个目标，但是不同时刻每个目标在交通场景中重要性不同，因此无法直接用来做驾驶员注意力预测。
本实施例针对自底向上的检测算法，设计重要目标筛选模块，筛选出该时刻场景中可能需要驾驶员关注的目标，从众多目标中选出重要的目标，丰富网络的空间信息。
如图4所示，交通场景下的重要目标筛选包括：
S2-1：使用目标检测网络YOLOv3-ASFF提取包含目标位置和类别信息的特征图，以ASFF的输出作为重要目标筛选的输入；
S2-2：对输入的目标检测得到的每个特征图，进行重要目标的筛选，得到不同尺度的目标筛选结果特征；
重要目标筛选模块是模仿guide anchor网络自动生成锚点框的方法，重要目标所在区域产生类似于anchor框，将其保留下来；对于输入Fi，先经过伪锚点框生成器，生成一个伪anchor，经过3x3的deformableconvolution对特征图进行调整，生成筛选出重要目标后的特征图Fi’；
S2-3：将不同尺度的Fi特征图尺寸统一、拼接，完成跨尺度融合，输出跨尺度目标特征Fdet；
S2-4：计算输出结果与真实值的KL散度Ldet，作为总损失函数的一部分：
所述步骤S3中，将空间特征和跨尺度目标特征进行注意力融合包括：
本实施例采用类似于self-attention的方式，融合方式为：
其中，⊙为哈达马乘积，为特征图的逐点相加，Fresnet为resnet50骨干网络的输出，Fdet为目标检测分支的输出。
本实施例设计三个解码块对空间特征信息和运动信息组合预测驾驶员注意力区域，本实施例的解码器类似于U-net的网络结构，通过一个跳连接将编码器环节的特征引入，在此将动态信息提取模块的输出Ft’加入到每个解码块中；
经过编解码操作后输出384x512x1的特征图，使用高斯函数给输出结果添加先验知识，使用激活函数sigmod把数据映射到0-1之间，得到驾驶员注意力区域预测结果。
所述步骤S3中，对驾驶员注意力区域预测网络OM-Net的训练过程包括：
本实施例选取三个损失函数，KL散度(Kullback-Leibler Divergence)、皮尔逊相关系数(Pearson’s Correlation Coefficient)和相似度(Similarity)：
其中，Y是真值，是网络的输出。
通过计算真值与网络的输出结果更新网络参数的梯度，结合重要目标筛选的损失函数，采用多个损失函数优化网络结构，保证网络可以从不同角度来学习驾驶员注意力区域预测任务，总损失函数为：
Ltotal＝αLkl+βLCC+γLSIM+Ldet，
其中，Lkl，LCC，LSIM为网络输出结果与真值之间的损失函数，Ldet为DMG模块与真值之间的损失函数，α设置为1，β设置为-0.1，γ设置为-0.2；
使用反向传播算法，不断迭代网络参数，更新网络的权重，得到最优结果并进行保存。
本实施例的所有验证实验的硬件条件为：Ubuntu16.04L，CPU：intelXeon4114，RAM250G，1块TITAN RTX显卡；实验用的软件环境为：python3.7，pytorch＝1.4.0，torchvision＝0.5.0；
实验数据1来自于CDNN数据集，包括16段驾驶视频，采样率为1000Hz的Eyelink2000眼动仪完成标注；实验数据2来DADA数据集，包括2000段共658476帧的标注视频；
本实施例对两个数据集进行驾驶员注意力区域预测实验，表1和表2是本实施例方法与以往算法之间的比较，其中NSS、AUC-Borji与AUC-Judd是基于相对位置来计算预测结果与真值的相似性，数值越大表明效果越好；CC和SIM是基于分布相似性来评价输出值的优劣性，数值越趋向于1表明效果越好；KLD是基于分布相似程度来表征预测结果与真值的相异性的，数值越小表明越与真值相近，本实施例在表1和表2在某些评价标准上性能优于以往的算法。
除了定量的数据评价外，本实施例预测一段来自DADA的连续的视频图像，行人横穿马路时驾驶员并未及时做出反应制造了一起交通事故，本实施例所设计的动态场景下的驾驶员注意力预测网络模型对上述视频场景进行预测，可以在行人开始横穿马路时就已经开始注意到，直到驾驶车辆与行人发生碰撞，本实施例的关注区域始终在行人目标上。
表1实验数据1预测结果
方法 AUC-Borji AUC-Judd NSS CC SIM KLD
ITTI 0.7023 0.7256 0.8627 0.1668 0.1736 2.1418
GBVS 0.8942 0.9076 1.8363 0.3665 0.5223 1.7484
MLNET 0.8734 0.8957 5.6942 0.8666 0.4516 0.8709
CDNN 0.9261 0.9745 5.8288 0.9451 0.7779 0.2897
OM-Net 0.9241 0.9727 5.9630 0.9530 0.8031 0.2404
表2实验数据2预测结果
实施例2
本实施例提供一种基于目标动态信息的驾驶员注意力区域预测系统，包括：
特征提取模块，用于提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；
目标筛选模块，用于对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；
训练模块，用于将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；
预测模块，用于对待测视频帧图像采用训练后的驾驶员注意力预测网络模型预测驾驶员注意力区域。
此处需要说明的是，上述模块对应于实施例1中的步骤S1至S4，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于目标动态信息的驾驶员注意力区域预测方法，其特征在于，包括：
提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；
对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；
将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；
对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果；
所述相邻视频帧图像的动态特征图具体包括：将当前时刻的视频帧图像和上一时刻的视频帧图像通过逐点卷积降维后拼接，通过两个卷积层得到动态信息流，对动态信息流进行解耦、融合后得到包含动态信息的动态特征图；
所述重要目标筛选包括：
使用目标检测网络YOLOv3-ASFF提取包含目标位置和类别信息的特征图，以YOLOv3-ASFF的输出作为重要目标筛选的输入；
通过伪锚点框生成器，生成一个伪anchor，对得到的特征图进行重要目标的筛选，生成不同尺度的筛选出重要目标后的特征图；
将不同尺度的特征图归一化后进行跨尺度融合，输出跨尺度目标特征；
所述将空间特征和跨尺度目标特征进行注意力融合包括：采用self-attention方式，融合方式为：其中，⊙为哈达马乘积，/>为特征图的逐点相加，Fresnet为图像空间特征，Fdet为跨尺度目标特征。
2.如权利要求1所述的一种基于目标动态信息的驾驶员注意力区域预测方法，其特征在于，所述提取视频帧图像的空间特征具体包括：对视频帧图像归一化处理后，采用Resnet50作为骨干网络，提取图像空间特征。
3.如权利要求1所述的一种基于目标动态信息的驾驶员注意力区域预测方法，其特征在于，所述驾驶员注意力预测网络模型采用多个损失函数，包括KL散度、皮尔逊相关系数、相似度和重要目标筛选的损失函数。
4.如权利要求1所述的一种基于目标动态信息的驾驶员注意力区域预测方法，其特征在于，采用三个解码块对空间特征和跨尺度目标特征组合预测驾驶员注意力区域，通过跳连接在每个解码块中加入动态特征图；
经过编解码操作后输出特征图，使用高斯函数添加先验知识，使用激活函数映射为0-1之间，得到驾驶员注意力区域预测结果。
5.一种基于目标动态信息的驾驶员注意力区域预测系统，其特征在于，包括：
特征提取模块，用于提取视频帧图像的空间特征和相邻视频帧图像的动态特征图；
目标筛选模块，用于对提取的视频帧图像中的目标进行重要目标筛选，将得到的不同尺度的目标特征图进行跨尺度融合，得到跨尺度目标特征；
训练模块，用于将空间特征和跨尺度目标特征进行注意力融合后，与动态特征图作为训练集训练预先构建的驾驶员注意力预测网络模型；
预测模块，用于对待测视频帧图像采用训练后的驾驶员注意力预测网络模型得到驾驶员注意力区域预测结果；
所述相邻视频帧图像的动态特征图具体包括：将当前时刻的视频帧图像和上一时刻的视频帧图像通过逐点卷积降维后拼接，通过两个卷积层得到动态信息流，对动态信息流进行解耦、融合后得到包含动态信息的动态特征图；
所述重要目标筛选包括：
使用目标检测网络YOLOv3-ASFF提取包含目标位置和类别信息的特征图，以YOLOv3-ASFF的输出作为重要目标筛选的输入；
通过伪锚点框生成器，生成一个伪anchor，对得到的特征图进行重要目标的筛选，生成不同尺度的筛选出重要目标后的特征图；
将不同尺度的特征图归一化后进行跨尺度融合，输出跨尺度目标特征；
所述将空间特征和跨尺度目标特征进行注意力融合包括：采用self-attention方式，融合方式为：其中，⊙为哈达马乘积，/>为特征图的逐点相加，Fresnet为图像空间特征，Fdet为跨尺度目标特征。
6.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-4任一项所述的方法。
CN202010894433.1A 2020-08-31 2020-08-31 基于目标动态信息的驾驶员注意力区域预测方法及系统 Active CN112016472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010894433.1A CN112016472B (zh) 2020-08-31 2020-08-31 基于目标动态信息的驾驶员注意力区域预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010894433.1A CN112016472B (zh) 2020-08-31 2020-08-31 基于目标动态信息的驾驶员注意力区域预测方法及系统

Publications (2)

Publication Number Publication Date
CN112016472A CN112016472A (zh) 2020-12-01
CN112016472B true CN112016472B (zh) 2023-08-22

Family

ID=73502384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010894433.1A Active CN112016472B (zh) 2020-08-31 2020-08-31 基于目标动态信息的驾驶员注意力区域预测方法及系统

Country Status (1)

Country Link
CN (1) CN112016472B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699821A (zh) * 2021-01-04 2021-04-23 长安大学 一种基于驾驶员视觉注意预测的驾驶预警方法
CN112883843B (zh) * 2021-02-02 2022-06-03 清华大学 驾驶员视觉显著区域检测方法、装置和计算机设备
CN112906617B (zh) * 2021-03-08 2023-05-16 济南中凌电子科技有限公司 一种基于手部检测的驾驶员异常行为识别方法与系统
CN113194270B (zh) * 2021-04-28 2022-08-05 北京达佳互联信息技术有限公司 视频处理方法、装置、电子设备及存储介质
CN114639125B (zh) * 2022-03-29 2022-09-16 北京易航远智科技有限公司 基于视频图像的行人意图预测方法、装置及电子设备
CN114724012B (zh) * 2022-06-10 2022-08-23 天津大学 基于时空跨尺度注意力融合热带不稳定波预警方法及装置
CN114764911B (zh) * 2022-06-15 2022-09-23 小米汽车科技有限公司 障碍物信息检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110287826A (zh) * 2019-06-11 2019-09-27 北京工业大学 一种基于注意力机制的视频目标检测方法
CN111008567A (zh) * 2019-11-07 2020-04-14 郑州大学 一种驾驶员行为识别方法
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110287826A (zh) * 2019-06-11 2019-09-27 北京工业大学 一种基于注意力机制的视频目标检测方法
CN111008567A (zh) * 2019-11-07 2020-04-14 郑州大学 一种驾驶员行为识别方法
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Learning Spatial Fusion for Single-Shot Object Detection;Songtao Liu 等;arXiv;全文 *

Also Published As

Publication number Publication date
CN112016472A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112016472B (zh) 基于目标动态信息的驾驶员注意力区域预测方法及系统
JP7385348B2 (ja) 走行車路を識別する方法及び装置
CN112016476B (zh) 由目标检测引导的复杂交通视觉显著性预测方法及系统
CN111931929B (zh) 一种多任务模型的训练方法、装置及存储介质
CN108334892B (zh) 一种基于卷积神经网络的车型识别方法、装置及设备
KR102261894B1 (ko) 객체인식장치 및 객체인식방법
CN110879959A (zh) 生成数据集的方法及装置、利用其的测试方法及测试装置
CN109800682B (zh) 驾驶员属性识别方法及相关产品
CN112257758A (zh) 细粒度图像识别方法、卷积神经网络及其训练方法
CN112793576B (zh) 一种基于规则与机器学习融合的换道决策方法及系统
CN112329505A (zh) 用于检测对象的方法和装置
KR101993085B1 (ko) 심층 학습을 이용하는 의미적 영상 분할 방법
KR102427884B1 (ko) 객체 검출 모델 학습 장치 및 방법
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
Nejad et al. Vehicle trajectory prediction in top-view image sequences based on deep learning method
Yang et al. YOLOv8-Lite: A Lightweight Object Detection Model for Real-time Autonomous Driving Systems
CN114495060A (zh) 一种道路交通标线识别方法及装置
US9684844B1 (en) Method and apparatus for normalizing character included in an image
CN117011819A (zh) 基于特征引导注意力的车道线检测方法、装置及设备
CN116664873A (zh) 图像信息处理方法、装置及存储介质
CN116363700A (zh) 一种基于遮挡感知和特征复原的遮挡行人重识别方法
Ciamarra et al. Forecasting future instance segmentation with learned optical flow and warping
WO2017171658A1 (en) Object motion detection
CN110610185B (zh) 图像的显著目标的检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant