CN112766033A - 一种基于多视角相机估计场景下行人共同关注目标的方法 - Google Patents

一种基于多视角相机估计场景下行人共同关注目标的方法 Download PDF

Info

Publication number
CN112766033A
CN112766033A CN202011359332.0A CN202011359332A CN112766033A CN 112766033 A CN112766033 A CN 112766033A CN 202011359332 A CN202011359332 A CN 202011359332A CN 112766033 A CN112766033 A CN 112766033A
Authority
CN
China
Prior art keywords
pedestrian
horizontal
camera
angle
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011359332.0A
Other languages
English (en)
Other versions
CN112766033B (zh
Inventor
巩晨星
王松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202011359332.0A priority Critical patent/CN112766033B/zh
Publication of CN112766033A publication Critical patent/CN112766033A/zh
Application granted granted Critical
Publication of CN112766033B publication Critical patent/CN112766033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种基于多视角相机估计场景下行人共同关注目标的方法，其特征在于，包括以下步骤：(一)相机之间的同步；(二)获取同步后任一时刻下所有相机捕获的行人集合并标记；(三)获取行人的注意力信，方法如下：(1)进行头部姿态检测，获取水平相机拍摄下图像行人的头部姿态角；(2)提取行人的偏航角，记录为行人的头部朝向；(3)对于多个相机捕获到的同一行人，为减小误差，仅保留获取行人分辨率最大的相机下的行人头部朝向，获得各个水平视角相机获得的行人头部朝向集合；(四)行人注意力信息映射到俯瞰视角下；(五)估计共同关注目标。

Description

一种基于多视角相机估计场景下行人共同关注目标的方法
所属技术领域
本发明属于计算机视觉领域，涉及视频、图像处理技术，具体为一种基于多视角相机估计场景下行人 共同关注目标的方法。
背景技术
近几年，随着拍摄工具的更新迭替与换代升级，如专业相机、运动相机、装载高清摄像头的手机、智 能眼镜、无人机、监控设备或机关人员的执法仪等，高分辨率的视频渐渐地占据了群众市场，从视频中可 以获取的信息也在日益丰富，焦点不再局限于中心的主体，而是清晰地获取到当前视角下的完整信息。也 正是如此，视频的分析工作的精度与需求也得到了进一步提高，从单体的行为分析到群体的行为分析，如 单目标跟踪算法[1][2]到多目标跟踪算法[3][4]的演变；从室内简单干净的场景分析到户外背景繁杂的场景分析， 如室内人与人之间交互动作的判断[5][6]到户外行人交互信息[7]的分析；从大幅度的动作识别[8]再到细微的眼 睛注视方向的变化检测[9]，如场景内人的动作类型判别到分析行人的注视方向判断观察目标[10]等等，研究 方向的转变也在体现了视频分析的未来发展趋势。检测场景内行人共同关注目标，旨在结合场景内多台相 机拍摄的画面，对场景内行人正在关注的目标或正在发生的事情做一个具体方位的判断。在现实生活中， 大型活动的安防人员手持执法仪在场景中移动拍摄局部实时画面，活动地点的监控摄像头拍摄俯瞰的全局实时画面，结合二者通过检测算法对场景内行人的关注目标进行判断，进而预测行人的移动方向或调度安 防人员，有助于实时掌控场景内的动态变化。
目前的共同关注目标算法在封闭的室内场景下做了大量的工作，大多是通过近距离的人物脸部特写来 提取视线信息，进而判断行人的视线交互。但需要注意的是，这些检测任务是在稳定和可控的室内环境下 进行的，在这种条件下，所提取的人物的视线信息结果能支持准确的交互目标估计。
然而，当场景变换为室外的开阔场景时，行人的视线信息由于一般的运动相机拍摄的画面缺乏近距离 的脸部特写导致几乎无法捕获，因此利用视线信息来协助开阔场景的共同目标检测需对每一位行人进行近 距离的清晰拍摄，这是不现实的。而利用行人的头部朝向信息来代替视线信息，是一种平衡的方法。另外， 开阔场景内，行人之间往往会形成遮挡，碰撞等不利于检测的情况，单相机往往局限于这一点，多视角相 机的拍摄可以有效的解决这一问题，并且再利用无人机或高处俯拍相机拍摄的画面可以协助多相机之间的协调，大大的解决了这一问题。
参考文献：
[1]Lin T Y,Priya G,Ross G,et al.Focal loss for dense object detection[C].In IEEE International Conference on Computer Vision,2017:2980-2988.
[2]Dai J F,Li Y,He K M.R-FCN:Object detection via region-based fullyconvolutional networks[C].In Proceedings of the International Conference onNeural Information Processing Systems,2016:379–387.
[3]Zhu J,Yang H,Liu N,et al.Online multi-object tracking with dualmatching attention networks[J].In European Conference Computer Vision,2016:100-111.
[4]Tang S，Andriluka M，Andres B，et al.Multiple People Tracking byLifted Multicut and Person Re-identification[C].IEEE Conference onComputerVision and Pattern Recognition，2017.
[5]Rubio J C，Serrat J，Antonio L.Video co-segmentation[C].In AsianConference on Computer Vision. Springer-Verlag，2012：13-24.
[6]Chen D J，Chen H T，Chang L W.Video Object co-segmentation[C].In AcmInternational Conference on Multimedia.ACM，2012：805-808.
[7]Chiu W C，Fritz M.Multi-class video co-segmentation with agenerative multi-video model[C].In IEEE Conference on ComputerVision andPattern Recognition，2013：321-328.
[8]Ma CY，Kadav A，Melvin I，et al.Attend and Interact：Higher-OrderObject Interactions for Video Understanding[C]//IEEE/CVF Conference onComputer Vision and Pattern Recognition，2018.
[9]Xucong Z，Yusuke S，Mario F，et aLAppearance-based gaze estimation inthe wild[C].In IEEE Conference on Computer Vision and Pattern Recognition，2015：4511-4520.
[10]Kyle K，Aditya K，Petr K，et al.Eye tracking for everyone[C].In IEEEConference on Computer Vision and Pattern Recognition，2016：2176-2184.
[11]Kaiming H，Georgia G，Piotr D，et al.Mask R-CNN[J]IEEE Transactions0n Pattern Analysis&Machine Intelligence，2017，PP：1-1.
[12]Yang TY，Chen Y T，Lin YY，et al.FSA-net：learning fine-grainedstructure aggregation for head pose estimation from a single image[C].In IEEEConference on Computer Vision and Pattern Recognition，2020： 1087-1096.
发明内容
本发明提供了一种基于多视角相机估计场景下行人共同关注目标的方法，利用水平运动相机拍摄的画 面提取行人的头部朝向信息，并利用相机与行人的位置关系将头部朝向信息映射到俯瞰视角来进行联合估 计，有效的解决了开阔场景下行人共同目标检测的工作，为开阔场景下加强场景理解提供了一种新思路。 本发明的技术方案如下：
一种基于多视角相机估计场景下行人共同关注目标的方法，其特征在于，包括以下步骤：
(一)相机之间的同步
共同关注目标检测过程开始前的预备阶段，场景中的多台相机需从同一时刻T开始记录场景，以及确 定所有的水平视角相机均在俯瞰视角相机的拍摄范围内，方法如下：
(1)优先固定俯瞰视角相机V0的位置，得到俯瞰视野，令其余水平视角相机设置在俯瞰视野V0内， 便于相机的定位，设水平视角相机的个数为n，各个水平视角相机被称为V1，V2，...，Vn；
(2)令所有水平相机拍摄同一设定行人目标Sr，令目标Sr做起始动作，动作结束后水平相机自由拍 摄场景，拍摄结束后以起始动作为准，手工同步相机拍摄视频。
(二)获取同步后任一时刻下所有相机捕获的行人集合S并标记，方法如下：
(1)获取所有的相机拍摄图像内的目标，仅保留行人目标，得到所有的相机的行人集合
Figure BDA0002803537190000021
分别对应V0，V1，V2，...，Vn视角下的行人集合；
(2)以俯瞰视角相机的行人集合
Figure BDA0002803537190000031
为准，对行人集合进行行人匹配，相同的行人目标使用相同的标 记，对于
Figure BDA0002803537190000032
仅保留存在于集合
Figure BDA0002803537190000033
的行人目标，舍去无参考意义的行人目标；
(三)获取行人的注意力信，方法如下：
(1)进行头部姿态检测，获取水平相机拍摄下图像行人的头部姿态角；
(2)提取行人的偏航角(yaw)，记录为行人的头部朝向
Figure BDA0002803537190000034
其中
Figure BDA0002803537190000035
为 对应行人编号S1，S2，...，Sm的行人的水平视角的头部朝向；
(3)对于多个相机捕获到的同一行人，为减小误差，仅保留获取行人分辨率最大的相机下的行人头 部朝向，获得各个水平视角相机获得的行人头部朝向集合；
(四)行人注意力信息映射到俯瞰视角下，方法如下：
(1)对于每个水平视角相机获取的行人头部朝向集合，计算世界坐标系下每一位行人头部朝向与对 应相机拍摄的图像水平方向的夹角α，得到每个水平视角相机的夹角α集合：对于水平视角V1，计算获得 夹角集合
Figure BDA00028035371900000313
其中α1，α2，...，αm为对应S1，S2，...，Sm的行人的夹角，对于其他视角的水平 相机，也做同样的处理；
(2)统一相机方向，在俯瞰视角下，根据已知的每个水平视角相机的位置，获得水平相机的拍摄方 向：对于水平视角V1的拍摄方向
Figure BDA0002803537190000036
以水平视角V1的相机位置为起点，作
Figure BDA0002803537190000037
的正向向量
Figure BDA0002803537190000038
即代 表对应水平视角相机V1的拍摄方向的垂直方向；对于其他的水平视角相机，也做同样的处理；
(3)获取每位行人的俯瞰视角下的头部朝向向量，对于水平视角相机V1内的每一位行人，在俯瞰视 角下作
Figure BDA0002803537190000039
的平行向量，得到水平视角相机V1内所有行人的平行于
Figure BDA00028035371900000310
的向量，并基于每个行人的水平视角 的夹角，得到水平视角相机V1内所有行人在俯瞰视角下的头部朝向；对于其他视角的相机，也做同样的处 理，得到所有行人在俯瞰视角下的头部朝向集合
Figure BDA00028035371900000311
其中
Figure BDA00028035371900000312
为对应行人编号 S1，S2，...，Sm的行人的俯瞰视角的头部朝向；
(五)估计共同关注目标，方法如下：
(1)通过步骤(二)得到的俯瞰视角下行人集合
Figure BDA00028035371900000314
来获取每位行人的位置信息；
(2)计算每一个行人观察的行人对象：对于行人S1，计算与其他行人的连线和头部朝向的夹角
θ的集合θ＝{θ12，θ13，...，θ1m}，取最小值θmin，若求得的θmin若介于0°-15°之间，则将行人S1观察 的对象累加一次被观察次数，对于俯瞰视角内的其他行人都做相同的处理；
(3)得到所有行人被观察次数的集合N＝{N1，N2，...，Nm}，其中N1，N2，...Nm为对应行人S1，S2，...，Sm的被观察次数，取最大值Nmax，Nmax≥2，若得到的Nmax仅对应一名行人且与实验拍摄数据设定目标相 同，则代表实验成功；反之，则需返回精准行人注意力信息，重复步骤(三)至(五)，若集合N中，若最 大值Nmax对应多名行人且实验拍摄数据无设定，则代表当前场景内无共同关注目标。
本发明提供的技术方案的有益效果是：
本发明在估计共同关注目标的过程中，由于对行人的注意力信息的估计是基于头部朝向的，可以在保 证结果准确率的前提下降低对拍摄设备及拍摄角度的要求，有效的提高了场景的泛化性；同时，俯瞰视角 的加入可以有效的协助其他拍摄局部场景的水平视角的相机捕捉所需要观察的行人，可以用于有效提高室 外活动的监控的效率。
附图说明
图1基于多视角相机估计场景下行人共同关注目标的方法的流程图
图2本发明在三种场景下的实验结果
具体实施方式
下面结合附图对本发明中的技术方案进行清楚、完整地描述。基于本发明中的技术方案，本领域普通 技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
(一)相机之间的同步
共同关注目标检测过程开始前的预备阶段，场景中的多台相机需从同一时刻T开始记录场景，以及确 定所有的水平视角相机均在俯瞰视角相机的拍摄范围内。具体步骤如下：
(1)优先固定俯瞰视角相机V0的位置，得到俯瞰视野，令其余水平视角相机设置在俯瞰视角V0内， 便于相机的定位，设水平视角相机的个数为n，各个水平视角相机被称为V1，V2，...，Vn。
(2)令所有水平相机拍摄同一设定行人目标Sr，令目标Sr做起始动作，动作结束后水平相机自由拍 摄场景，拍摄结束后以起始动作为准，手工同步相机拍摄视频。
(二)获取同步后任一时刻下所有相机捕获的行人集合S并标记
获取所有相机捕获的行人集合S及标记的具体方法为：
(1)借助图像目标检测算法[11](MaskR-CNN)，获取所有相机拍摄图像内的目标，仅保留行人目 标，得到所有相机的行人集合
Figure BDA0002803537190000041
分别对应V0，V1，V2，...，Vn的行人集合。需要说明的是， 目标检测算法有很多种，本实施例选用的只是其中一种算法。
(2)以俯瞰视角相机的行人集合
Figure BDA0002803537190000042
为准，对行人集合进行行人匹配，相同的行人目标使用相同的标 记，如S1。对于
Figure BDA0002803537190000043
仅保留存在于集合
Figure BDA0002803537190000044
的行人目标，舍去无参考意义的行人目标。
(三)获取行人的注意力信息
获取行人的注意力方向的具体方法为：
(1)借助头部姿态检测算法[12](FSAnet)获取水平相机拍摄下图像行人的头部姿态角。需要说明的 是，头部姿态检测算法有很多种，本实施例选用的只是其中常用算法。
(2)提取行人的偏航角(yaw)，记录为行人的头部朝向
Figure BDA0002803537190000045
其中
Figure BDA0002803537190000046
为 对应行人编号S1，S2，...，Sm的行人的水平视角的头部朝向。
(3)对于多个相机捕获到的同一行人，为减小误差，仅保留获取行人分辨率最大的相机下的行人头 部朝向。
(四)行人注意力信息映射到俯瞰视角下
各水平视角的行人注意力信息获取完成后，需联合所有注意力信息来估计场景中是否存在共同关注目 标，将行人头部朝向映射到俯瞰视角的具体步骤如下：
(1)对于每一组水平视角相机获取的行人头部朝向集合，计算世界坐标系下每一位行人头部朝向与 对应相机拍摄的图像水平方向的夹角α，得到每组水平视角相机的α集合。对于V1视角下的集合
Figure BDA0002803537190000051
其中α1，α2，...，αm为对应S1，S2，...，Sm的行人的夹角。对于其他视角的水平相机，也 做同样的处理。
(2)统一相机方向，在俯瞰视角下，根据每个水平视角相机的位置，获得水平相机的拍摄方向。对 于水平视角V1的拍摄方向
Figure BDA0002803537190000052
以相机中心为起点，作
Figure BDA0002803537190000053
的正向向毒
Figure BDA0002803537190000054
即代表对应水平视角相机的拍 摄方向的垂直方向。对于其他的水平视角相机，也做同样的处理。
(3)获取每位行人的俯瞰视角下的朝向向量，对于水平视角相机V1的集合
Figure BDA0002803537190000055
的每一位行人，在俯瞰 视角下做
Figure BDA0002803537190000056
的平行向量(共线向量)，对于行人S1，作
Figure BDA0002803537190000057
并通过作与
Figure BDA0002803537190000058
夹角为α1的向量，得到S1在 俯瞰视角下的头部朝向
Figure BDA0002803537190000059
如此依次处理所有水平视角的行人，得到所有行人在俯瞰视角下的头部朝向集 合
Figure BDA00028035371900000510
其中
Figure BDA00028035371900000511
为对应行人编号S1，S2，...，Sm的行人的俯瞰视角的头部朝向。
(五)估计共同关注目标
估计场景内行人共同关注目标的具体方法为：
(1)通过步骤二得到的俯瞰视角下行人集合
Figure BDA00028035371900000515
来获取行人的位置信息。
(2)计算每一个行人的观察目标，对于行人S1，计算与其他行人的连线
Figure BDA00028035371900000512
和头部朝向
Figure BDA00028035371900000513
的夹 角θ12：
Figure BDA00028035371900000514
如此往复，得到θ的集合θ＝{θ12，θ13，...，θ1m}。对于其他的行人，作同样的处理。取最小值θmin，若求得 的θmin若介于0°-15°之间，则可将对应行人累加一次被观察次数N。
(3)依次得到所有行人被观察次数的集合N＝{N1，N2，...，Nm}，其中N1，N2，...Nm为对应S1，S2，...，Sm的被观察次数，取Nmax(Nmax≥2)，若得到的Nmax对应的行人S与实验拍摄数据设定目标相同，则代表 实验成功；反之，则需返回精准行人注意力信息，重复步骤三至五。若集合N中无明显最大值，且实验拍 摄数据无设定，则代表当前场景内无共同关注目标。
下面结合具体实例对本发明方法进行可行性验证，详见下文描述：
实验使用GoPr07 Black型号专业运动相机拍摄水平视角的场景，使用Dji Mavic2pro型号无人机拍摄 俯瞰视角的场景，拍摄视频统一采用2.7K、30FPS的格式。实验在三类室外检测场景进行，分为广场(场 地平整，无遮挡物)，平台(场地平整，含遮挡物)，草坪(场地有高低起伏，含遮挡物)。实验数据由实 验人员设定不同时间段的共同关注目标。
结果分析选取行人共同目标检测算法估计的结果与实验设定是否相同作为评估估计共同关注目标方 法的指标。结果以估计结果与实验设定相同的数量占参与实验的帧图像组的总数量的百分比呈现。
根据图2所展示的本方法在三种实验场景下估计共同关注目标的结果表明：通过提取行人的头部朝向 信息来对行人的注意力进行分析是可行的，并且能在多半的情况下判断当前场景内是否存在共同关注目标。 本方法在三种实验场景下的表现相差无几，即环境的因素对估计结果的影响较小。通过分析失败案例可知， 水平视角捕捉到的行人越多时，行人的共同关注目标方法更为准确。因此本方法在场景下具有很好地泛化 性与可行性，且适用于多人的场景，具有一定的优越性。

Claims (1)

1.基于多视角相机估计场景下行人共同关注目标的方法，其特征在于，包括以下步骤：
(一)相机之间的同步
共同关注目标检测过程开始前的预备阶段，场景中的多台相机需从同一时刻T开始记录场景，以及确定所有的水平视角相机均在俯瞰视角相机的拍摄范围内，方法如下：
(1)优先固定俯瞰视角相机V0的位置，得到俯瞰视野，令其余水平视角相机设置在俯瞰视野V0内，便于相机的定位，设水平视角相机的个数为n，各个水平视角相机被称为V1,V2,…,Vn；
(2)令所有水平相机拍摄同一设定行人目标Sr，令目标Sr做起始动作，动作结束后水平相机自由拍摄场景，拍摄结束后以起始动作为准，手工同步相机拍摄视频。
(二)获取同步后任一时刻下所有相机捕获的行人集合S并标记，方法如下：
(1)获取所有的相机拍摄图像内的目标，仅保留行人目标，得到所有的相机的行人集合
Figure FDA0002803537180000011
分别对应V0,V1,V2,…,Vn视角下的行人集合；
(2)以俯瞰视角相机的行人集合
Figure FDA0002803537180000012
为准，对行人集合进行行人匹配，相同的行人目标使用相同的标记，对于
Figure FDA0002803537180000013
仅保留存在于集合
Figure FDA0002803537180000014
的行人目标，舍去无参考意义的行人目标；
(三)获取行人的注意力信，方法如下：
(1)进行头部姿态检测，获取水平相机拍摄下图像行人的头部姿态角；
(2)提取行人的偏航角(yaw)，记录为行人的头部朝向
Figure FDA0002803537180000015
其中
Figure FDA0002803537180000016
为对应行人编号S1,S2,…,Sm的行人的水平视角的头部朝向；
(3)对于多个相机捕获到的同一行人，为减小误差，仅保留获取行人分辨率最大的相机下的行人头部朝向，获得各个水平视角相机获得的行人头部朝向集合；
(四)行人注意力信息映射到俯瞰视角下，方法如下：
(1)对于每个水平视角相机获取的行人头部朝向集合，计算世界坐标系下每一位行人头部朝向与对应相机拍摄的图像水平方向的夹角α，得到每个水平视角相机的夹角α集合：对于水平视角V1，计算获得夹角集合
Figure FDA0002803537180000017
其中α1,α2,…,αm为对应S1,S2,…,Sm的行人的夹角，对于其他视角的水平相机，也做同样的处理；
(2)统一相机方向，在俯瞰视角下，根据已知的每个水平视角相机的位置，获得水平相机的拍摄方向：对于水平视角V1的拍摄方向
Figure FDA0002803537180000018
以水平视角V1的相机位置为起点，作
Figure FDA0002803537180000019
的正向向量
Figure FDA00028035371800000110
Figure FDA00028035371800000111
即代表对应水平视角相机V1的拍摄方向的垂直方向；对于其他的水平视角相机，也做同样的处理；
(3)获取每位行人的俯瞰视角下的头部朝向向量，对于水平视角相机V1内的每一位行人，在俯瞰视角下作
Figure FDA00028035371800000112
的平行向量，得到水平视角相机V1内所有行人的平行于
Figure FDA00028035371800000113
的向量，并基于每个行人的水平视角的夹角，得到水平视角相机V1内所有行人在俯瞰视角下的头部朝向；对于其他视角的相机，也做同样的处理，得到所有行人在俯瞰视角下的头部朝向集合
Figure FDA00028035371800000114
其中
Figure FDA00028035371800000115
为对应行人编号S1,S2,…,Sm的行人的俯瞰视角的头部朝向；
(五)估计共同关注目标，方法如下：
(1)通过步骤(二)得到的俯瞰视角下行人集合
Figure FDA00028035371800000116
来获取每位行人的位置信息；
(2)计算每一个行人观察的行人对象：对于行人S1，计算与其他行人的连线和头部朝向的夹角
θ的集合θ＝{θ12,θ13,…,θ1m}，取最小值θmin，若求得的θmin若介于0°-15°之间，则将行人S1观察的对象累加一次被观察次数，对于俯瞰视角内的其他行人都做相同的处理；
(3)得到所有行人被观察次数的集合N＝{N1,N2,…,Nm}，其中N1,N2,…Nm为对应行人S1,S2,…,Sm的被观察次数，取最大值Nmax，Nmax≥2，若得到的Nmax仅对应一名行人且与实验拍摄数据设定目标相同，则代表实验成功；反之，则需返回精准行人注意力信息，重复步骤(三)至(五)，若集合N中，若最大值Nmax对应多名行人且实验拍摄数据无设定，则代表当前场景内无共同关注目标。
CN202011359332.0A 2020-11-27 2020-11-27 一种基于多视角相机估计场景下行人共同关注目标的方法 Active CN112766033B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011359332.0A CN112766033B (zh) 2020-11-27 2020-11-27 一种基于多视角相机估计场景下行人共同关注目标的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359332.0A CN112766033B (zh) 2020-11-27 2020-11-27 一种基于多视角相机估计场景下行人共同关注目标的方法

Publications (2)

Publication Number Publication Date
CN112766033A true CN112766033A (zh) 2021-05-07
CN112766033B CN112766033B (zh) 2022-07-15

Family

ID=75693794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359332.0A Active CN112766033B (zh) 2020-11-27 2020-11-27 一种基于多视角相机估计场景下行人共同关注目标的方法

Country Status (1)

Country Link
CN (1) CN112766033B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631464A (zh) * 2022-11-17 2023-01-20 北京航空航天大学 面向大时空目标关联的行人立体表示方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918011A (zh) * 2015-05-29 2015-09-16 华为技术有限公司 一种播放视频的方法及装置
CN105741261A (zh) * 2014-12-11 2016-07-06 北京大唐高鸿数据网络技术有限公司 一种基于四摄像头的平面多目标定位方法
CN110334213A (zh) * 2019-07-09 2019-10-15 昆明理工大学 基于双向交叉注意力机制的汉越新闻事件时序关系识别方法
CN110827321A (zh) * 2019-10-16 2020-02-21 天津大学 一种基于三维信息的多相机协同的主动目标跟踪方法
CN111444861A (zh) * 2020-03-30 2020-07-24 西安交通大学 一种基于监控视频的车辆偷盗行为识别方法
CN111652903A (zh) * 2020-05-22 2020-09-11 重庆理工大学 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105741261A (zh) * 2014-12-11 2016-07-06 北京大唐高鸿数据网络技术有限公司 一种基于四摄像头的平面多目标定位方法
CN104918011A (zh) * 2015-05-29 2015-09-16 华为技术有限公司 一种播放视频的方法及装置
CN110334213A (zh) * 2019-07-09 2019-10-15 昆明理工大学 基于双向交叉注意力机制的汉越新闻事件时序关系识别方法
CN110827321A (zh) * 2019-10-16 2020-02-21 天津大学 一种基于三维信息的多相机协同的主动目标跟踪方法
CN111444861A (zh) * 2020-03-30 2020-07-24 西安交通大学 一种基于监控视频的车辆偷盗行为识别方法
CN111652903A (zh) * 2020-05-22 2020-09-11 重庆理工大学 一种自动驾驶场景下基于卷积关联网络的行人目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIFENG FAN等: ""Inferring Shared Attention in Social Scene Videos"", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
SHANSHAN JIAO等: ""Joint Attention Mechanism for Person Re-Identification"", 《DIGITAL OBJECT IDENTIFIER 10.1109》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631464A (zh) * 2022-11-17 2023-01-20 北京航空航天大学 面向大时空目标关联的行人立体表示方法

Also Published As

Publication number Publication date
CN112766033B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN109887040B (zh) 面向视频监控的运动目标主动感知方法及系统
CN106251399B (zh) 一种基于lsd-slam的实景三维重建方法及实施装置
CN110837784B (zh) 一种基于人体头部特征的考场偷窥作弊检测系统
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
CN103716594B (zh) 基于运动目标检测的全景拼接联动方法及装置
Wheeler et al. Face recognition at a distance system for surveillance applications
CN109598242B (zh) 一种活体检测方法
CN102999918B (zh) 全景视频序列图像的多目标对象跟踪系统
CN110969118B (zh) 轨迹监控系统和方法
CN110837750B (zh) 一种人脸质量评价方法与装置
CN112053391B (zh) 一种基于动态三维模型的监控预警方法、系统及存储介质
CN112036257A (zh) 一种无感知人脸图像采集方法和系统
KR20160109761A (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
JP2017076288A (ja) 情報処理装置、情報処理方法及びプログラム
CN113947742A (zh) 一种基于人脸识别的人员轨迹追踪方法与装置
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN112766065A (zh) 一种移动端考生身份认证方法、装置、终端及存储介质
CN112733680A (zh) 一种基于监控视频流生成高质量人脸图像的模型训练方法、提取方法、装置和终端设备
WO2023019699A1 (zh) 一种基于3d人脸模型的俯角人脸识别方法及系统
CN112766033B (zh) 一种基于多视角相机估计场景下行人共同关注目标的方法
CN114037923A (zh) 一种目标活动热点图绘制方法、系统、设备及存储介质
US20220327732A1 (en) Information processing apparatus, information processing method, and program
CN112001224A (zh) 基于卷积神经网络的视频采集方法和视频采集系统
CN114222065B (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
CN113688680B (zh) 一种智能识别与追踪系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant