CN117156259B - 一种视频流获取方法及电子设备 - Google Patents

一种视频流获取方法及电子设备 Download PDF

Info

Publication number
CN117156259B
CN117156259B CN202311412733.1A CN202311412733A CN117156259B CN 117156259 B CN117156259 B CN 117156259B CN 202311412733 A CN202311412733 A CN 202311412733A CN 117156259 B CN117156259 B CN 117156259B
Authority
CN
China
Prior art keywords
acquisition
image
determining
acquired
pedestrians
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311412733.1A
Other languages
English (en)
Other versions
CN117156259A (zh
Inventor
刘微
翟世平
孙萁浩
田友强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Holding Co Ltd
Original Assignee
Hisense Group Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Holding Co Ltd filed Critical Hisense Group Holding Co Ltd
Priority to CN202311412733.1A priority Critical patent/CN117156259B/zh
Publication of CN117156259A publication Critical patent/CN117156259A/zh
Application granted granted Critical
Publication of CN117156259B publication Critical patent/CN117156259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及电子信息技术领域，尤其涉及一种视频流获取方法及电子设备，用于解决在出现人群聚集行为时，确定焦点处的视频流。由于在本申请实施例中，电子设备确定多个行人的视线方向，根据多个行人的视线方向的重合点确定焦点所处的位置，进而确定出焦点在自由视角视频中所处的目标位置，并获取采集目标位置的目标采集设备，从而可以准确地获取到焦点处的视频流。本申请所涉及的方案具有实时性、可靠性，符合可信赖特性。

Description

一种视频流获取方法及电子设备
技术领域
本申请涉及电子信息技术领域，尤其涉及一种视频流获取方法及电子设备。
背景技术
通常情况下，可能会由于某一事件，例如演讲或有人晕倒，导致人群聚集，出现人群聚集行人，然而人群聚集容易造成一系列危险事件，如踩踏等。
为了避免出现人群聚集行为，通常会获取焦点事件对应的视频流，基于视频流确定当前是否存在危险，且分析当前情况。相关技术中通常是业务人员自行观察每个采集设备采集到的每个视频流确定焦点事件，然而人群聚集行为并不是时常发生，业务人员自行观察每个采集设备采集到的视频流，会造成人力资源的浪费，且容易失职导致观察不及时。
发明内容
本申请实施例提供了一种视频流获取方法及电子设备，用于解决在出现人群聚集行为时，确定焦点的视频流。
第一方面，本申请实施例提供了一种视频流获取方法，所述方法包括：
确定采集到人群聚集行为的采集设备；
识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；
根据所述图像中焦点所处的位置，及所述采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定所述自由视角视频中所述焦点所处的目标位置；
确定采集所述目标位置所处的区域的图像的目标采集设备，获取并显示所述目标采集设备采集到的视频流。
第二方面，本申请实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一项所述视频流获取方法的步骤。
在本申请实施例中，电子设备确定采集到人群聚集行为的采集设备；识别采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；根据图像中焦点所处的位置，及采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定自由视角视频中焦点所处的目标位置；确定采集目标位置所处的区域的图像的目标采集设备，获取并显示目标采集设备采集到的视频流。由于在本申请实施例中，电子设备确定多个行人的视线方向，根据多个行人的视线方向的重合点确定焦点所处的位置，进而确定出焦点在自由视角视频中所处的目标位置，并获取采集目标位置的目标采集设备，从而可以准确地获取到焦点处的视频流。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频流获取过程示意图；
图2为本申请实施例提供的一种采集设备的部署示意图；
图3为本申请实施例提供的检测出的一种人体关键点的示意图；
图4为本申请实施例所确定出的视线方向示意图；
图5为本申请实施例提供的一种视频流获取方法的详细过程示意图；
图6为本申请实施例提供的一种行人重识别过程示意图；
图7为本申请实施例提供的一种人体检测模型的识别过程示意图；
图8为本申请实施例提供的一种采集设备的部署的示意图；
图9为本申请实施例提供的一种自由视角视频示意图；
图10为本申请实施例提供的一种自由视角视频示意图；
图11为本申请实施例提供的一种视频流获取装置结构示意图；
图12为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
为了在出现人群聚集行为时，确定焦点处的视频流，本申请实施例提供了一种视频流获取方法及电子设备。
该视频流获取方法包括：电子设备确定采集到人群聚集行为的采集设备；识别采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；根据图像中焦点所处的位置，及采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定自由视角视频中焦点所处的目标位置；确定采集目标位置所处的区域的图像的目标采集设备，获取并显示目标采集设备采集到的视频流。
图1为本申请实施例提供的一种视频流获取方法的过程示意图，该过程包括以下步骤：
S101：确定采集到人群聚集行为的采集设备。
本申请实施例提供的视频流获取方法应用于电子设备，该电子设备可以为PC或服务器等智能设备。
为了准确地在出现人群聚集行为时，获取焦点处的视频流，电子设备可以先确定采集到人群聚集行为的采集设备，具体的，在实际场景中的每个采集设备将采集到的图像实时的发送至电子设备，电子设备可以在接收到任一采集设备发送的图像后，识别该图像中行人的数量，具体的，电子设备可以将接收到的图像输入到预先训练完成的行人识别模型中，获取该行人识别模型的输出结果，该结果即为该图像中包含的行人的数量。在识别到该图像中行人的数量后，电子设备可以判断该图像中行人的数量是否超过预设数量阈值，若该图像中行人的数量超过预设数量阈值，则确定当前存在人群聚集行为，将采集该图像的采集设备确定为采集到聚集人群行为的采集设备。
图2为本申请实施例提供的一种采集设备的部署示意图。
由图2可知，本申请实施例可应用于篮球比赛或其他比赛的相关场景下，图2所示的任一采集设备均可以为本申请实施例所描述的采集到人群聚集行为的采集设备。
本申请实施例主要涉及自由视角技术，自由视角技术为通过多高精度采集设备，精确毫秒级同步拍摄选手运动状态下的多角度转瞬即逝的精彩画面，同时在交互上还能放大、缩小、被拍摄对象，在xy轴上任意角度拖动观看视频，是一种更新型的视频技术，图2即为普通自由视角拍摄方案采集设备的硬件部署示意图。在真实场景中采集设备可以被部署在接待大厅中。
需要说明的是，本方案可应用于跨楼梯等场景中。
S102：识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置。
在确定采集到聚集人群行为的采集设备后，电子设备可以识别该采集设备采集到的人群聚集行为的图像中，多个行人的视线方向，具体的，电子设备可以将该采集设备采集到的图像输入预先训练完成的视线识别模型中，获取该模型输出的多个行人的视线方向。
在获取到图像中多个行人的视线方向之后，电子设备可以根据所确定的多个视线方向的重合点确定焦点所处的位置，具体的，电子设备可以确定多个视线方向的重合点，并针对多个重合点，确定经过该重合点的视线方向的数量，将数量最多的重合点确定为焦点，并确定该焦点在该图像中所处的位置。
S103：根据所述图像中焦点所处的位置，及所述采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定所述自由视角视频中所述焦点所处的目标位置。
在确定焦点在图像中所处的位置后，电子设备根据采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定自由视角视频中焦点所处的目标位置。具体的，电子设备在预先构建自由视角视频时，保存有采集设备采集的图像在自由视角视频中所处的区域，因此电子设备可以确定出自由视角视频中，该采集到人群聚集行人的采集设备采集的图像对应的区域为子图像，并将该子图像缩放至与该图像相同大小，将缩放后的子图像中焦点所处的位置确定为焦点位置，后续根据该子图像在自由视角视频中对应的区域，即缩放后的子图像中的焦点位置，即可确定出自由视角视频中焦点所处的目标位置。
S104：确定采集所述目标位置所处的区域的图像的目标采集设备，获取并显示所述目标采集设备采集到的视频流。
在确定出目标位置后，电子设备可以根据每个采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定包含该目标位置的目标区域对应的采集设备为目标采集设备，该目标采集设备即可采集到焦点处的视频流，因此电子设备可以获取并显示目标采集设备采集到的视频流。
在一种可能的实施方式中，电子设备可以基于焦点事件对应的目标采集设备的信息数据，即视频流，为自由视角安防视频系统生成报警信息，提醒安保人员及时查看，可以实现一键自动切换至目标采集设备的视角，也可以实现通过操控视角视频方向实现多角度查看人群聚集位置视频数据。该方法可应用于安防视频系统中，相当于将现有安防视频系统基于自由视角技术进行升级优化，基于多点位的安防的采集设备，实现自由视角安防视频生成，并可以自动定位安防焦点区域，实现安防视角自动切换。
现有安防的采集设备在安防大屏显示时，均为每个视频窗口获取一路安防采集设备的视频流显示，本申请实施例提出一种安防的采集设备自由视角视频流显示方式，实现大规模数量的安防采集设备0延迟、视角自由切换、多视角采集设备智能联动，可以帮助安保人员在安防巡检时实现空间立体化视频巡视。且本申请基于人群密度检测并分析人群发生事件的焦点自动切换焦点视角，并提示安保人员查看，不再是简单的人群聚集视角切换，而是对人群事件焦点的视角实现智能分析并切换，能够帮助安防系统自动定位焦点事件并预警。本申请所涉及的方案具有实时性、可靠性，符合可信赖特性。
由于在本申请实施例中，电子设备确定多个行人的视线方向，根据多个行人的视线方向的重合点确定焦点所处的位置，进而确定出焦点在自由视角视频中所处的目标位置，并获取采集目标位置的目标采集设备，从而可以准确地获取到焦点处的视频流。
为了准确地确定行人的视线方向，在上述实施例公开的基础上，在本申请实施例中，所述识别所述图像中多个行人的视线方向包括：
针对多个行人，采用人体关键点检测算法，确定该行人的多个类型的骨骼点所处的位置，并根据所述多个类型的骨骼点所处的位置，确定该行人的脊柱中心点所处的第一位置、头部中心点所处的第二位置；根据所述第一位置及所述第二位置确定人体方向向量；根据所述人体方向向量对应的垂直向量的方向确定该行人的视线方向。
为了准确地确定行人的视线方向，电子设备可以针对多个行人，采用人体关键点检测算法，确定该行人的多个类型的骨骼点在图像中所处的位置，并根据该行人的多个骨骼点在图像中所处的位置，确定该行人的脊柱中心点在图像中所处的第一位置及头部中心点在图像中所处的第二位置。需要说明的是，为了提升技术应用的提醒及视角转换的时效性，本申请实施例使用的人体关键点检测算法共计可以检测出17个人体关键点。
图3为本申请实施例提供的检测出的一种人体关键点的示意图。
由图3可知，检测出的人体关键点包括：鼻子处的骨骼点、左右眼处的骨骼点（此处所描述的左右为人体的左右）、左右耳处的骨骼点、左右肩处的骨骼点、左右肘部处的关键点、左右手腕处的关键点、左右髋部处的关键点、左右膝盖处的关键点、左右脚踝处的关键点。且由图3可知，在人体检测算法中，可以通过0-16的标识区分每个骨骼点的类型。
具体的，电子设备可以根据该行人左右肩关键点（此处所描述的左右为实际场景中的左右）在图像中所处的位置，确定肩部中心点在图像中所处的位置，并根据该行人左右髋部关键点（此处所描述的左右为实际场景中的左右）在图像中所处的位置，确定髋部中心点在图像中所处的位置，在确定出肩部中心点及髋部中心点后，根据肩部中心点及髋部中心点在图像中所处的位置确定人体脊柱中心点在图像中所处的位置。为了便于区分，可以将该位置称为第一位置。
具体的，电子设备可以采用以下公式确定肩部中心点在图像中所处的位置：
其中，Mid（Sx）为肩部中心点在图像中所处的位置的横坐标；Sl（x）为左肩关键点在图像中所处的位置的横坐标；Sr（x）为右肩关键点在图像中所处的位置的横坐标；Mid（Sy）为肩部中心点在图像中所处的位置的纵坐标；Sl（y）为左肩关键点在图像中所处的位置的纵坐标；Sr（u）为右肩关键点在图像中所处的位置的纵坐标。
具体的，电子设备可以采用以下公式确定髋部中心点在图像中所处的位置：
其中，Mid（Hx）为髋部中心点在图像中所处的位置的横坐标；Hl（x）为左髋关键点在图像中所处的位置的横坐标；Hr（x）为右髋关键点在图像中所处的位置的横坐标；Mid（Hy）为髋部中心点在图像中所处的位置的纵坐标；Hl（y）为左髋关键点在图像中所处的位置的纵坐标；Hr（y）为右髋关键点在图像中所处的位置的纵坐标。
具体的，电子设备可以采用以下公式确定人体脊柱中心点在图像中所处的位置：
其中，Mid（Bx）为人体脊柱中心点在图像中所处的位置的横坐标；Mid（Sx）为肩部中心点在图像中所处的位置的横坐标；Hl（x）为左髋关键点在图像中所处的位置的横坐标；Sl（x）为左肩关键点在图像中所处的位置的横坐标；Mid（By）为人体脊柱中心点在图像中所处的位置的纵坐标；Mid（Sy）为肩部中心点在图像中所处的位置的纵坐标；Hl（y）为左髋关键点在图像中所处的位置的纵坐标；Sl（y）为左肩关键点在图像中所处的位置的纵坐标。
此外，电子设备还可以将肩部中心点在图像中的横坐标确定为人体脊柱中心点在图像中的横坐标。
电子设备还根据每个类型的人体关键点在图像中所处的位置，确定头部中心点在图像中所处的位置，为了便于区分，可以将该位置称为第二位置。具体的，电子设备可以将鼻子在图像中所处的位置确定为头部中心点在图像中所处的第二位置，电子设备还可以根据头部处的每个人体关键点在图像中所处的位置的中心点，确定头部中心点在图像中所处的位置，其中左耳、右耳、鼻子等均为头部处的人体关键点。
在确定出该行人的脊柱中心点所处的第一位置、头部中心点所处的第二位置后，电子设备可以根据该第一位置及该第二位置确定人体方向向量，在确定人体方向向量后，电子设备确定人体方向向量对应的垂直向量，并确定垂直向量中对应该行人的朝向接近的方向的垂直向量，将该确定的垂直向量的方向确定该行人的视线方向。具体的，行人的朝向可以根据行人的左眼及右眼（此处所描述的左右为实际场景中的左右）在图像中的位置确定行人的朝向，例如行人的左眼相较行人的右眼（此处所描述的左右为实际场景中的左右）在图像的左侧（此处所描述的左右为图像中的左右），则确定行人的朝向为背超图像，否则确定行人的朝向为面朝图像。
其中，还可以采用人脸正面面对方向确定视线方向。本申请中的人体关键点检测技术用于分析人群事件焦点，自动切换事件焦点视角，基于人体关键点检测算法，实现人体姿态状态分析。本申请实施例中，相当于基于人体关键点构建人体姿态数据，对每个人体关键点进行分析，分析每个人的关注焦点，本方案相当于将人体正面朝向设置为个人的焦点方向，焦点方向即为视线方向。
图4为本申请实施例所确定出的视线方向示意图。
由图4可知，该图4中的行人的视线方向为水平向右（此处所描述的左右为图4所示的左右）。
为了准确地确定人体方向向量，在上述各实施例公开的基础上，在本申请实施例中，所述根据所述第一位置及所述第二位置确定人体方向向量包括：
判断所述第一位置与所述第二位置是否相同；
若否，则将所述第一位置指向所述第二位置的向量作为人体方向向量；
若是，则根据所述第一位置，确定人体倾斜角度，根据人体倾斜角度及所述第一位置确定人体方向向量。
在确定人体脊柱中心点的第一位置及头部中心点的第二位置之后，电子设备可以先判断第一位置与第二位置是否相同。若第一位置与第二位置不同，则电子设备可以将第一位置指向第二位置的向量作为人体方向向量，若第一位置与第二位置相同，则电子设备可以根据第一位置确定人体倾斜角度，具体的，电子设备可以采用反正切函数计算人体倾斜角度，该人体倾斜角度即为人体方向向量的角度。
具体的，电子设备可以采用以下公式计算人体倾斜角度：
其中，α为人体倾斜角度，y为第一位置的纵坐标，x为第一位置的横坐标。
需要说明的是，所确定出的人体倾斜角度在[-π, +π]之间。
在获取到人体倾斜角度之后，电子设备可以根据人体倾斜角度及第一位置确定人体方向向量，具体的，电子设备可以确定经过第一位置角度为人体倾斜角度的向量为人体方向向量。
在一种可能的实施方式中，在获取到人体脊柱中心点的第一位置及头部中心点的第二位置之后，电子设备可以确定第一位置指向第二位置的候选人体方向向量，具体的，电子设备可以确定，其中，/>为候选人体方向向量，/>为脊柱中心点的第一位置的横坐标，/>为头部中心点的第二位置的横坐标，/>为脊柱中心点的第一位置的纵坐标，/>为头部中心点的第二位置的纵坐标，并且电子设备计算候选人体方向向量的长度，其中，可以使用欧几里得距离公式计算方向向量的长度。候选人体方向向量的长度计算公式为：/>，将候选人体方向向量除以其长度，以得到单位长度的方向向量，也就是说将候选人体方向向量归一化，具体操作为：，归一化后的候选人体方向向量可以使得候选人体方向向量的长度为1，方便进行方向判断，此时可以将归一化后的候选人体方向向量确定为人体方向向量。如果归一化后的候选人体方向向量的长度为0，则说明第一位置与第二位置相同，即参考点和其他关键骨骼点的坐标相同。
由于在本申请实施例中，在第一位置与第二位置相同时，相当于为第一位置以弧度为单位的反正切值，确保得到正确的人体倾斜角度，并避免除零错误。依次计算得到每个人的视线方向，即具体的正面朝向方向，并统计计算出多数人视线方向范围分布，判定为人群聚集行为的焦点事件方向，进而基于焦点的位置与采集设备平面映射数据中找到相应方向对应的目标采集设备，得到可以拍摄到焦点事件的采集设备的视频流。
为了准确地确定采集到人群聚集行为的采集设备，在上述各实施例公开的基础上，在本申请实施例中，所述确定采集到人群聚集行为的采集设备包括：
若存在两个采集设备采集到的图像中包含超过预设数量的行人，且所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群，则基于所述两个采集设备确定采集到人群聚集行为的采集设备。
为了准确地确定是否发生人群聚集行为，电子设备在检测到两个采集设备采集到的图像中包含预设数量的行人时，可以初步确定当前可能存在人群聚集行为，电子设备可以判断该两个采集设备采集到的图像中包含的行人组成的人群是否为同一人群，若该两个采集设备采集到的图像中包含的行人组成的人群为同一人群，则说明当前存在人群聚集行为，此时电子设备可以根据该两个采集设备确定采集到人群聚集行为的采集设备。具体的，电子设备可以将该两个采集设备中任一采集设备确定为，采集到人群聚集行为的采集设备。
为了确定两个采集设备采集到的图像中包含的行人是否属于同一人群，在上述各实施例公开的基础上，在本申请实施例中，确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群包括：
采用行人重识别算法，识别所述两个采集设备采集到的图像中为同一行人的数量，若所述数量与所述两个采集设备采集到的图像中包含的行人的总数量的比值均大于预设阈值，则确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
若存在两个采集设备采集到的图像中包含超过预设数量的行人，则该两个采集设备采集到的可能是不同的人群，此时未出现人群聚集行为，为了准确地确定两个采集设备采集到的图像中包含的行人组成的人群是否为同一人群，电子设备可以采用行人重识别算法，识别该两个采集设备采集到的图像中为同一行人的数量。具体的，电子设备可以针对每个行人，采用行人重识别算法提取该行人的图像中的特征信息，如行人的外貌、服装纹理、体态等，并根据识别出的每个行人的特征信息，对两个采集设备采集到的图像中的行人进行匹配，将匹配成功的数量确定为两个采集设备采集到的图像中为同一行人的数量。在识别到两个采集设备采集到的图像中为同一行人的数量，则电子设备可以确定该数量与两个采集设备采集到的图像中包含的行人的总数量的比值，若该比值大于预设阈值，则确定两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
在一种可能的实施方式中，电子设备还可以分别确定两个采集设备采集到的图像中为同一行人的数量与两个采集设备采集到的图像中行人的数量的比值，若所确定的比值均大于预设阈值，则确定两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
在一种可能的实施方式中，若没有采集设备采集到人群聚集行为，则可以依次获取并显示每个采集设备采集到的视频流。
图5为本申请实施例提供的一种视频流获取方法的详细过程示意图，该过程包括以下步骤：
S501：判断是否存在采集到人群聚集行为的采集设备，若否，则执行S502，若是，则执行S503。
S502：依次获取并显示每个采集设备采集到的视频流，并结束。
S503：识别该采集设备中采集到人群聚集行为的图像中每个行人的视线方向，根据所确定的每个视线方向的重合点确定焦点所处的位置。
S504：根据焦点所处的位置，确定采集到焦点在自由视角视频中所处的目标位置的区域的图像的目标采集设备。
具体的，如何确定目标采集设备在上述实施例中已经详细描述过，在此不再赘述。
S505：获取并显示目标采集设备采集到的视频流。
图6为本申请实施例提供的一种行人重识别过程示意图。
由图6可知，行人重识别时先通过特征提取（Feature Extraction）提取行人的特征，并通过度量学习（Metric Learing）确定两个采集设备采集到的图像中的行人的匹配度，通过匹配（Matching）对两个采集设备采集到的图像中的行人进行匹配。
在行人重识别时，可以先识别出每个行人，后续基于识别出的每个行人进行行人重识别。具体的，电子设备可以通过人体检测模型识别图像中的每个行人。
图7为本申请实施例提供的一种人体检测模型的识别过程示意图。
由图7可知，电子设备将图像输入到人体检测模型中，由人体检测模型的区域选取（Region Proposal Network，RPN）对图像进行处理，得到图像中行人所处的区域（Boxs）、该区域为行人的分数（Scores）及该区域的特征（Features），将RPN输出的结果输入到增强森林（Boosted Forest）中，通过Boosted Forest的处理，即可得到人体检测模型的输出结果，即图7最右侧（此处所描述的左右为图7所示的左右）的图像。
为了准确地确定采集到人群聚集行为的采集设备，在上述各实施例公开的基础上，在本申请实施例中，所述基于所述两个采集设备确定采集到人群聚集行为的采集设备包括：
确定所述两个采集设备采集到的图像中行人所占的区域的面积，若某一采集设备采集到的图像中行人所占的区域的面积大于另一采集设备采集到的图像中行人所占的区域的面积，则将该采集设备确定为采集到人群聚集行为的采集设备。
在本申请实施例中，电子设备可以确定两个采集设备采集到的图像中行人所站的区域的面积，若某一采集设备采集到的图像中行人所占的面积大于另一采集设备采集到的图像中行人所占的区域的面积，则将该采集设备确定为采集到人群聚集行为的采集设备。从而选择有利于进行事件分析的采集设备，可以更好地对人群聚集行为的焦点进行分析。
假设场景A中有N个视角的视频图像在做处理分析时，通过人体检测算法，检测出现人群聚集（人数＞5人）现象，对N个视角中出现的人群进行人群内容分析，该部分可以基于安防领域的行人重识别（Re-identification，ReID）实现行人重识别，行人重识别算法可以基于图像中行人衣服颜色、头发、书包等特征物，确定N个视角中出现的是同一人群，人群聚集区域在各个视角确认显示区域后，对视角中的人像聚集群体进行图像比例计算，选择人像群体占比最大的视角进行事件焦点分析。
为了获取到自由视角视频，在上述各实施例公开的基础上，在本申请实施例中，所述自由视角视频通过以下方式获取：
根据预先保存的多个采集设备的相邻关系，确定任一采集设备及该采集设备的相邻采集设备；获取同一时间该采集设备及所述相邻采集设备采集到的待拼接图像，对获取到的待拼接图像进行图像拼接；
获取拼接完成的自由视角视频。
为了获取自由视角视频，进而基于自由视角视频进行焦点处的视频流的获取，电子设备本地预先保存有多个采集设备的相邻关系，并根据多个采集设备的相邻关系，确定任一采集设备与该采集设备的相邻采集设备，并获取同一时间改采集设备及该相邻采集设备采集到的待拼接图像，对获取到的待拼接图像进行图像拼接。
电子设备通过该方式即可对多个采集设备采集到的待拼接图像进行图像拼接，进而可以获取到拼接完成的自由视角视频。
本申请实施例提出一种自定义自由视角安防采集设备阵列生成自由视角视频的方法，用户可以自定义自由视角视频空间巡航的采集设备，该部分需要通过自由视角采集设备控制软件实现所有选定的采集设备的视频采集及自由视角视频制作，以此保证视频获取的时间一致性及安防自由视角视频切换间的有向性。具体用户的编辑方法为，首先根据采集设备的IP地址及各采集设备位置，定义采集设备阵列IP地址及位置信息数据表的对应关系，具体示例如下：
[192.168.1.10, L1N01]
[192.168.1.11, L1N02]
[…]
[192.168.1.30, L1N20]
[192.168.1.31, L2N01]
[…]
[192.168.X.X, LXNXX]
其中192.168.X.X为采集设备的IP地址，LXNXX为采集设备的位置及编号，L可表示楼层，N可表示编号。
后续电子设备基于位置信息数据表对采集设备的相邻关系进行确认。
图8为本申请实施例所确定的一种采集设备的相邻关系的示意图。
图8为定义的自由视角采集设备阵列，通过位置信息数据在物理空间自由视角采集设备的阵列，图8中L可表示楼层，N可表示编号，由图8可知，1楼编号为1的采集设备分别与1楼编号为2的采集设备及2楼编号为1的采集设备相邻，1楼编号为2的采集设备分别与1楼编号为1的采集设备及2楼编号为2的采集设备相邻。在图8中还示出了其他采集设备的相邻关系，该相邻关系与1楼编号为1的采集设备的相邻关系及1楼编号为2的采集设备的相邻关系类似，在此不再赘述。
其中，物理空间采集设备数据的编辑决定了安防自由视角视频的切换顺序及采集设备视角覆盖范围，通过定义的自由视角采集设备阵列数据实现自由视角数据采集。具体的，在未发现存在人群聚集行为时，可以根据物理空间采集设备数据的编辑依次切换采集设备采集到的视频流。
需要说明的是，基于已生成的采集设备物理空间信息，通过自由视角视频采集软件实现采集设备阵列中所有采集设备的自由视角安防视频数据采集，基于自由视角视频采集软件将视频编码压缩成自由视角视频文件，视频通过自由视角视频解码播放器进行视频播放。为了能够实现立体化视频巡视，本申请实施例中可以通过自由视角视频播放器，对视频实现立体查看，因为所有的采集设备的视频使用同一个采集控制系统控制，所以在各个采集设备的视角切换时不会有任何的加载时间，保证了各采集设备间的时间同步性及视频播放的0延迟切换。为了能够实现立体巡视，各采集设备间的切换是具有方向性的，以上述所描述的L2N02视角为例，该视频内容具有4个可切换的方向，分别为上、下、左、右，当为以上述所描述的L1N01视角时，视角仅可以向上、右两个方向进行切换，视角的切换的方向性是根据采集设备位置数据定义，需要在制作自由视角安防视频时，结合各采集设备视频的方向性数据在视频内部生成具有方向性的视频数据结构。
图9为本申请实施例提供的一种采集设备的部署的示意图。
LxN01、LxN02、LxN03、LxN04、LxN05、LxN06的采集设备可以如图9所示进行部署，且图9中标记由LxN01及LxN06所采集的平面的示意图。且图9所示的场景为篮球场。
以图9为例进行介绍，具体采集设备采集的区域与自由视角视频的关系计算过程如下：首先在采集设备采集的图像进行拼接时，已得到采集设备间的相邻关系，如图9中LxN01与LxN02在进行图像拼接计算时，已得到采集设备在物理世界的相邻关系及采集设备的位姿数据，LxN01与LxN02拼接成的图像设为Lx（I1），将Lx（I1）与LxN03图像拼接生成Lx（I2）图像，得到LxN03与LxN01、LxN02在物理世界的相邻关系及相应采集设备位姿数据，基于Lx（I2）图像与LxN04图像凭借生成Lx（I2）图像，得到LxN04与LxN01、LxN02、LxN03在物理世界的相邻关系及相应采集设备位姿数据，以此类推，将采集设备遍历计算后可以得到各采集设备在物理世界的相邻关系及采集设备位姿数据，由此可以计算出LxN02正面面对的是LxN05采集设备，左面（实际场景中的左右）相邻采集设备为LxN03采集设备，右面（实际场景中的左右）相邻采集设备为LxN01采集设备，左45°（实际场景中的左右）为LxN04采集设备，右45°（实际场景中的左右）为LxN06采集设备。
为了准确地确定焦点处的视频流，在上述各实施例公开的基础上，在本申请实施例中，所述方法还包括：
针对多个采集设备，保存该采集设备采集的图像在所述自由视角视频中的区域。
电子设备针对多个采集设备，保存该采集设备采集的图像在自由视角视频中的区域，进而在确定焦点处的视频流时，获取采集焦点的目标采集设备，从而可以准确地确定焦点处的视频流。
在本申请实施例中，业主方可以自定义自由视角安防采集设备阵列，进而生成自由视角安防视频及空间平面自动构建，实现采集设备间的联动控制方法。
为了准确地进行图像拼接，在上述各实施例公开的基础上，在本申请实施例中，所述对获取到的待拼接图像进行图像拼接包括：
对获取到的待拼接图像进行边缘检测；
使用特征提取算法，提取检测出的边缘的特征点；
确定匹配的特征点，根据所提取出的匹配的特征点分别在对应的待拼接图像中的位置对待拼接图像进行拼接。
电子设备可以先对获取到的待拼接图像进行边缘检测，具体的，如何对图像进行边缘检测为现有技术，在此不再赘述。在检测出图像的边缘后，电子设备可以使用特征提取算法，提取检测出的边缘的特征点。并确定匹配的特征点，根据所确定出的匹配的特征点分别在对应的待拼接图像中的位置对待拼接图像进行拼接。
在具体的实施方式中，为了解决场景中采集设备的部署位置高，视角图像画面高度一致问题，首先将待拼接图像转换为灰度图像，对两张待拼接图像进行去噪处理后，对去噪处理后的待拼接图像分别使用索伯（Sobel）算子进行边缘检测，计算图像中每个像素点梯度值，检测其图像边缘。
具体的，每个像素点梯度值的计算方式如下：
使用两个5*5的矩阵算子与待拼接图像进行卷积计算，分别得到G(x)和G(y)的梯度值，梯度值大于阈值则认为该点为边缘点，该阈值可以为待拼接图像的灰度像素值平均值。
表1为本申请实施例提供的一种G(x)水平方向算子示例：
表2为本申请实施例提供的一种G(y)垂直方向算子示例；
需要说明的是，相关技术中的矩阵算子通常为3*3的矩阵算子，而本申请实施例中采用5*5的矩阵算子。
电子设备还通过矩阵算子与待拼接图像的灰度图计算待拼接图像横向和纵向的亮度差分近似值，计算过程如下：
其中，Gx待拼接图像中某一像素点横向的亮度差分近似值，G（x）为表1所示的算子，I为该像素点的灰度值，Gy为待拼接图像该像素点纵向的亮度差分近似值，G（y）为表2所示的算子。
待拼接图像的梯度值的计算方法如下：
其中，为该像素点的梯度值，Gx为该像素点横向的亮度差分近似值，Gy为待拼接图像该像素点纵向的亮度差分近似值。
在一种可能的实施方式中，对待拼接图像Sobel算子输出结果进行二值化处理，将估计预测的边缘部分设为白色，非边缘部分设为黑色。利用相邻采集设备的图像相关属性对两个二值化的边缘图像进行逐像素的逻辑运算，例如“AND”运算，将两个待拼接图像的相似边缘部分保留下来。灰度图像像素点逻辑运算过程中设两个待拼接图像的像素点分别为A和B，它们的数值分别为A_val和B_val。逻辑与运算的结果为C，计算公式如下：
C = A_val&B_val
对两个待拼接图像的相似边缘部分进行增强处理，将灰度值拉伸到预设区间，该预设区间可以为50-230，使其更加突出和清晰。具体计算方式如下：
其中，P（x，y）是当前像素点的灰度值，Imin是图像最小灰度值，Imax是图像最大灰度值，MIN、MAX分别为要拉伸到的灰度空间灰度最小值和最大值，然后更新P（x，y）像素点的灰度值。通过保留两个待拼接图像的相似边缘数据可以优化两个待拼接图像间的特征匹配计算，并为两图像的最佳拼接线提供位置参考数据，提升待拼接图像拼接计算效率。
在使用特征提取算法，提取检测出的边缘的特征点时，可以采用尺度不变特征转换（Scale-Invariant Feature Transform，SIFT）、加速稳健特征（Speeded-Up RobustFeatures，SURF）等，从两张待拼接图像的相似边缘区域中提取特征点。电子设备对提取到的特征点进行描述子计算，得到每个特征点的特征向量，用来描述关键点周围局部特征的向量。然后使用特征匹配算法，如最近邻算法、随机抽样一致性算法（Random SampleConsensus，RANSAC）等对两组特征点进行匹配，计算特征向量之间的距离，找到对应的特征点对。根据匹配结果，筛选出可靠匹配点对，基于匹配点对的位置信息，计算两张待拼接图像之间的平移变换或仿射变换关系。然后计算得到最佳拼接线的位置，可以使用最小二乘法、RANSAC等，使用最小二乘法，通过拟合匹配点对的直线或曲线，找到最佳拼接线的位置。或使用RANSAC算法，通过随机选择一组匹配点对进行拟合，并计算拟合误差，重复多次后选择拟合误差最小的一组匹配点对作为最佳拼接线。 通过计算得到采集设备阵列中所有采集设备图像的最佳拼接线，根据拼接线位置与图像特征匹配点进行图像重投影，具体可以通过单应性矩阵计算出图像A和图像B之间的几何变换关系，将采集设备阵列图像坐标系统一，基于各图像间的重投影关系将图像进行融合，得到自由视角场景下的空间平面俯视的自由视角视频。
图10为本申请实施例提供的一种自由视角视频示意图。
由图10可知，电子设备在进行图像拼接时，可以是对图10的最上层（此处所描述的上下为图10所示的上下）登记（Registration）的三张待拼接图像进行拼接，得到图10中中间的拼接的图像，其中图10的最下层（此处所描述的上下为图10所示的上下）为拼接完成得到的自由视角视频。由图10的最下层（此处所描述的上下为图10所示的上下）中的曲线可知，采用本申请实施例提供的方式可以准确地实现图像的拼接。
图11为本申请实施例提供的一种视频流获取装置结构示意图，所述装置包括：
识别确定模块1101，用于确定采集到人群聚集行为的采集设备；识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；
处理模块1102，用于根据所述图像中焦点所处的位置，及所述采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定所述自由视角视频中所述焦点所处的目标位置；确定采集所述目标位置所处的区域的图像的目标采集设备，获取并显示所述目标采集设备采集到的视频流。
进一步地，所述处理模块1102，具体用于针对多个行人，采用人体关键点检测算法，确定该行人的多个类型的骨骼点所处的位置，并根据所述多个类型的骨骼点所处的位置，确定该行人的脊柱中心点所处的第一位置、头部中心点所处的第二位置；根据所述第一位置及所述第二位置确定人体方向向量；根据所述人体方向向量对应的垂直向量的方向确定该行人的视线方向。
进一步地，所述处理模块1102，具体用于判断所述第一位置与所述第二位置是否相同；若否，则将所述第一位置指向所述第二位置的向量作为人体方向向量；若是，则根据所述第一位置，确定人体倾斜角度，根据人体倾斜角度及所述第一位置确定人体方向向量。
进一步地，所述确定模块1101，具体用于若存在两个采集设备采集到的图像中包含超过预设数量的行人，且所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群，则基于所述两个采集设备确定采集到人群聚集行为的采集设备。
进一步地，所述确定模块1101，具体用于采用行人重识别算法，识别所述两个采集设备采集到的图像中为同一行人的数量，若所述数量与所述两个采集设备采集到的图像中包含的行人的总数量的比值均大于预设阈值，则确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
进一步地，所述确定模块1101，具体用于确定所述两个采集设备采集到的图像中行人所占的区域的面积，若某一采集设备采集到的图像中行人所占的区域的面积大于另一采集设备采集到的图像中行人所占的区域的面积，则将该采集设备确定为采集到人群聚集行为的采集设备。
进一步地，所述处理模块1102，还用于根据预先保存的多个采集设备的相邻关系，确定任一采集设备及该采集设备的相邻采集设备；获取同一时间该采集设备及所述相邻采集设备采集到的待拼接图像，对获取到的待拼接图像进行图像拼接；获取拼接完成的自由视角视频。
进一步地，所述处理模块1102，还用于针对多个采集设备，保存该采集设备采集的图像在所述自由视角视频中的区域。
进一步地，所述处理模块1102，具体用于对获取到的待拼接图像进行边缘检测；使用特征提取算法，提取检测出的边缘的特征点；确定匹配的特征点，根据所提取出的匹配的特征点分别在对应的待拼接图像中的位置对待拼接图像进行拼接。
图12为本申请实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请实施例还提供了一种电子设备，如图12所示，包括：处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信；
所述存储器1203中存储有计算机程序，当所述程序被所述处理器1201执行时，使得所述处理器1201执行如下步骤：
确定采集到人群聚集行为的采集设备；
识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；
根据所述图像中焦点所处的位置，及所述采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定所述自由视角视频中所述焦点所处的目标位置；
确定采集所述目标位置所处的区域的图像的目标采集设备，获取并显示所述目标采集设备采集到的视频流。
进一步地，所述处理器1201，具体用于针对多个行人，采用人体关键点检测算法，确定该行人的多个类型的骨骼点所处的位置，并根据所述多个类型的骨骼点所处的位置，确定该行人的脊柱中心点所处的第一位置、头部中心点所处的第二位置；根据所述第一位置及所述第二位置确定人体方向向量；根据所述人体方向向量对应的垂直向量的方向确定该行人的视线方向。
进一步地，所述处理器1201，具体用于判断所述第一位置与所述第二位置是否相同；
若否，则将所述第一位置指向所述第二位置的向量作为人体方向向量；
若是，则根据所述第一位置，确定人体倾斜角度，根据人体倾斜角度及所述第一位置确定人体方向向量。
进一步地，所述处理器1201，具体用于若存在两个采集设备采集到的图像中包含超过预设数量的行人，且所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群，则基于所述两个采集设备确定采集到人群聚集行为的采集设备。
进一步地，所述处理器1201，具体用于采用行人重识别算法，识别所述两个采集设备采集到的图像中为同一行人的数量，若所述数量与所述两个采集设备采集到的图像中包含的行人的总数量的比值均大于预设阈值，则确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
进一步地，所述处理器1201，具体用于确定所述两个采集设备采集到的图像中行人所占的区域的面积，若某一采集设备采集到的图像中行人所占的区域的面积大于另一采集设备采集到的图像中行人所占的区域的面积，则将该采集设备确定为采集到人群聚集行为的采集设备。
进一步地，所述处理器1201，还用于根据预先保存的多个采集设备的相邻关系，确定任一采集设备及该采集设备的相邻采集设备；获取同一时间该采集设备及所述相邻采集设备采集到的待拼接图像，对获取到的待拼接图像进行图像拼接；
获取拼接完成的自由视角视频。
进一步地，所述处理器1201，还用于针对多个采集设备，保存该采集设备采集的图像在所述自由视角视频中的区域。
进一步地，所述处理器1201，具体用于对获取到的待拼接图像进行边缘检测；
使用特征提取算法，提取检测出的边缘的特征点；
确定匹配的特征点，根据所提取出的匹配的特征点分别在对应的待拼接图像中的位置对待拼接图像进行拼接。
上述服务器提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器（NetworkProcessor，NP）等；还可以是数字指令处理器（Digital Signal Processing，DSP）、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行如下步骤：
确定采集到人群聚集行为的采集设备；
识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；
根据所述图像中焦点所处的位置，及所述采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定所述自由视角视频中所述焦点所处的目标位置；
确定采集所述目标位置所处的区域的图像的目标采集设备，获取并显示所述目标采集设备采集到的视频流。
在一种可能的实施方式中，所述识别所述图像中多个行人的视线方向包括：
针对多个行人，采用人体关键点检测算法，确定该行人的多个类型的骨骼点所处的位置，并根据所述多个类型的骨骼点所处的位置，确定该行人的脊柱中心点所处的第一位置、头部中心点所处的第二位置；根据所述第一位置及所述第二位置确定人体方向向量；根据所述人体方向向量对应的垂直向量的方向确定该行人的视线方向。
在一种可能的实施方式中，所述根据所述第一位置及所述第二位置确定人体方向向量包括：
判断所述第一位置与所述第二位置是否相同；
若否，则将所述第一位置指向所述第二位置的向量作为人体方向向量；
若是，则根据所述第一位置，确定人体倾斜角度，根据人体倾斜角度及所述第一位置确定人体方向向量。
在一种可能的实施方式中，所述确定采集到人群聚集行为的采集设备包括：
若存在两个采集设备采集到的图像中包含超过预设数量的行人，且所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群，则基于所述两个采集设备确定采集到人群聚集行为的采集设备。
在一种可能的实施方式中，确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群包括：
采用行人重识别算法，识别所述两个采集设备采集到的图像中为同一行人的数量，若所述数量与所述两个采集设备采集到的图像中包含的行人的总数量的比值均大于预设阈值，则确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
在一种可能的实施方式中，所述基于所述两个采集设备确定采集到人群聚集行为的采集设备包括：
确定所述两个采集设备采集到的图像中行人所占的区域的面积，若某一采集设备采集到的图像中行人所占的区域的面积大于另一采集设备采集到的图像中行人所占的区域的面积，则将该采集设备确定为采集到人群聚集行为的采集设备。
在一种可能的实施方式中，所述自由视角视频通过以下方式获取：
根据预先保存的多个采集设备的相邻关系，确定任一采集设备及该采集设备的相邻采集设备；获取同一时间该采集设备及所述相邻采集设备采集到的待拼接图像，对获取到的待拼接图像进行图像拼接；
获取拼接完成的自由视角视频。
在一种可能的实施方式中，所述方法还包括：
针对多个采集设备，保存该采集设备采集的图像在所述自由视角视频中的区域。
在一种可能的实施方式中，所述对获取到的待拼接图像进行图像拼接包括：
对获取到的待拼接图像进行边缘检测；
使用特征提取算法，提取检测出的边缘的特征点；
确定匹配的特征点，根据所提取出的匹配的特征点分别在对应的待拼接图像中的位置对待拼接图像进行拼接。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种视频流获取方法，其特征在于，所述方法包括：
确定采集到人群聚集行为的采集设备；
识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向，根据所确定的多个视线方向的重合点确定焦点所处的位置；
根据所述图像中焦点所处的位置，及所述采集设备采集到的图像在预先保存的自由视角视频中对应的区域，确定所述自由视角视频中所述焦点所处的目标位置；
确定采集所述目标位置所处的区域的图像的目标采集设备，获取并显示所述目标采集设备采集到的视频流；
其中，所述识别所述采集设备采集到人群聚集行为的图像中多个行人的视线方向包括：
针对多个行人，采用人体关键点检测算法，确定该行人的多个类型的骨骼点所处的位置，并根据所述多个类型的骨骼点所处的位置，确定该行人的脊柱中心点所处的第一位置、头部中心点所处的第二位置；根据所述第一位置及所述第二位置确定人体方向向量；根据所述人体方向向量对应的垂直向量的方向确定该行人的视线方向。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置及所述第二位置确定人体方向向量包括：
判断所述第一位置与所述第二位置是否相同；
若否，则将所述第一位置指向所述第二位置的向量作为人体方向向量；
若是，则根据所述第一位置，确定人体倾斜角度，根据人体倾斜角度及所述第一位置确定人体方向向量。
3.根据权利要求1所述的方法，其特征在于，所述确定采集到人群聚集行为的采集设备包括：
若存在两个采集设备采集到的图像中包含超过预设数量的行人，且所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群，则基于所述两个采集设备确定采集到人群聚集行为的采集设备。
4.根据权利要求3所述的方法，其特征在于，确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群包括：
采用行人重识别算法，识别所述两个采集设备采集到的图像中为同一行人的数量，若所述数量与所述两个采集设备采集到的图像中包含的行人的总数量的比值均大于预设阈值，则确定所述两个采集设备采集到的图像中包含的行人组成的人群为同一人群。
5.根据权利要求3所述的方法，其特征在于，所述基于所述两个采集设备确定采集到人群聚集行为的采集设备包括：
确定所述两个采集设备采集到的图像中行人所占的区域的面积，若某一采集设备采集到的图像中行人所占的区域的面积大于另一采集设备采集到的图像中行人所占的区域的面积，则将该采集设备确定为采集到人群聚集行为的采集设备。
6.根据权利要求1所述的方法，其特征在于，所述自由视角视频通过以下方式获取：
根据预先保存的多个采集设备的相邻关系，确定任一采集设备及该采集设备的相邻采集设备；获取同一时间该采集设备及所述相邻采集设备采集到的待拼接图像，对获取到的待拼接图像进行图像拼接；
获取拼接完成的自由视角视频。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
保存每个采集设备采集的图像在所述自由视角视频中的区域。
8.根据权利要求6所述的方法，其特征在于，所述对获取到的待拼接图像进行图像拼接包括：
对获取到的待拼接图像进行边缘检测；
使用特征提取算法，提取检测出的边缘的特征点；
确定匹配的特征点，根据所提取出的匹配的特征点分别在对应的待拼接图像中的位置对待拼接图像进行拼接。
9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述权利要求1-8任一项所述视频流获取方法的步骤。
CN202311412733.1A 2023-10-30 2023-10-30 一种视频流获取方法及电子设备 Active CN117156259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311412733.1A CN117156259B (zh) 2023-10-30 2023-10-30 一种视频流获取方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311412733.1A CN117156259B (zh) 2023-10-30 2023-10-30 一种视频流获取方法及电子设备

Publications (2)

Publication Number Publication Date
CN117156259A CN117156259A (zh) 2023-12-01
CN117156259B true CN117156259B (zh) 2024-03-22

Family

ID=88897125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311412733.1A Active CN117156259B (zh) 2023-10-30 2023-10-30 一种视频流获取方法及电子设备

Country Status (1)

Country Link
CN (1) CN117156259B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006075348A (ja) * 2004-09-09 2006-03-23 Fuji Xerox Co Ltd 相互視分析装置、相互視分析方法および相互視分析プログラム
JP2006119408A (ja) * 2004-10-22 2006-05-11 Sony Corp 映像表示方法および映像表示装置
JP2008040758A (ja) * 2006-08-04 2008-02-21 Sogo Keibi Hosho Co Ltd 警備装置、監視システム、異常判定方法および異常判定プログラム
CN105574501A (zh) * 2015-12-15 2016-05-11 上海微桥电子科技有限公司 一种人流视频侦测分析系统
CN109446989A (zh) * 2018-10-29 2019-03-08 上海七牛信息技术有限公司 人群聚集检测方法、装置及存储介质
CN110235188A (zh) * 2016-10-31 2019-09-13 埃施朗公司 用于交通监控、事件检测和变化预测的视频数据和gis映射
JP2019200475A (ja) * 2018-05-14 2019-11-21 富士通株式会社 活性度評価プログラム、装置、及び方法
CN110751080A (zh) * 2019-10-16 2020-02-04 浙江大华技术股份有限公司 异常人员的聚集预警方法、系统及相关装置
CN111738225A (zh) * 2020-07-29 2020-10-02 中电科新型智慧城市研究院有限公司 人群聚集检测方法、装置、设备及存储介质
CN113392714A (zh) * 2021-05-20 2021-09-14 上海可深信息科技有限公司 一种聚众事件检测方法及系统
CN115359513A (zh) * 2022-08-16 2022-11-18 中国矿业大学(北京) 基于关键点监督和分组特征融合的多视图行人检测方法
CN115909402A (zh) * 2022-11-22 2023-04-04 阿维塔科技(重庆)有限公司 行人视线聚集区的确定方法、装置及计算机可读存储介质
CN116311084A (zh) * 2023-05-22 2023-06-23 青岛海信网络科技股份有限公司 一种人群聚集的检测方法及视频监控设备
WO2023155482A1 (zh) * 2022-02-17 2023-08-24 广州广电运通金融电子股份有限公司 一种人群快速聚集行为的识别方法、系统、设备及介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITRM20060110A1 (it) * 2006-03-03 2007-09-04 Cnr Consiglio Naz Delle Ricerche Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
JP6597611B2 (ja) * 2014-07-25 2019-10-30 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
JP6338006B1 (ja) * 2017-11-02 2018-06-06 オムロン株式会社 人集結分析装置、移動先予定作成装置、人集結分析システム、車両、および、人集結分析プログラム
EP3742412A1 (en) * 2019-05-24 2020-11-25 IMEC vzw A computer-implemented method for estimating movements of a crowd between areas

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006075348A (ja) * 2004-09-09 2006-03-23 Fuji Xerox Co Ltd 相互視分析装置、相互視分析方法および相互視分析プログラム
JP2006119408A (ja) * 2004-10-22 2006-05-11 Sony Corp 映像表示方法および映像表示装置
JP2008040758A (ja) * 2006-08-04 2008-02-21 Sogo Keibi Hosho Co Ltd 警備装置、監視システム、異常判定方法および異常判定プログラム
CN105574501A (zh) * 2015-12-15 2016-05-11 上海微桥电子科技有限公司 一种人流视频侦测分析系统
CN110235188A (zh) * 2016-10-31 2019-09-13 埃施朗公司 用于交通监控、事件检测和变化预测的视频数据和gis映射
JP2019200475A (ja) * 2018-05-14 2019-11-21 富士通株式会社 活性度評価プログラム、装置、及び方法
CN109446989A (zh) * 2018-10-29 2019-03-08 上海七牛信息技术有限公司 人群聚集检测方法、装置及存储介质
CN110751080A (zh) * 2019-10-16 2020-02-04 浙江大华技术股份有限公司 异常人员的聚集预警方法、系统及相关装置
CN111738225A (zh) * 2020-07-29 2020-10-02 中电科新型智慧城市研究院有限公司 人群聚集检测方法、装置、设备及存储介质
CN113392714A (zh) * 2021-05-20 2021-09-14 上海可深信息科技有限公司 一种聚众事件检测方法及系统
WO2023155482A1 (zh) * 2022-02-17 2023-08-24 广州广电运通金融电子股份有限公司 一种人群快速聚集行为的识别方法、系统、设备及介质
CN115359513A (zh) * 2022-08-16 2022-11-18 中国矿业大学(北京) 基于关键点监督和分组特征融合的多视图行人检测方法
CN115909402A (zh) * 2022-11-22 2023-04-04 阿维塔科技(重庆)有限公司 行人视线聚集区的确定方法、装置及计算机可读存储介质
CN116311084A (zh) * 2023-05-22 2023-06-23 青岛海信网络科技股份有限公司 一种人群聚集的检测方法及视频监控设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Face detection, pose estimation, and landmark localization in the wild;Xiangxin Zhu，et al.;《Computer Vision and Pattern Recognition》;全文 *
Pooya Khorrami,et al..A system for monitoring the engagement of remote online students using eye gaze estimation.《2014 IEEE International Conference on Multimedia and Expo Workshops (ICMEW)》.2014,全文. *
城市街巷型公共空间人群聚集安全风险量化评估;刘晓芳;吝涛;郑千惠;陈毅凯;贾玉秋;;中国安全科学学报(12);全文 *
基于深度学习的城市公共场所人群聚集风险预警研究;陈文河.;《中国优秀博士学位论文全文数据库（电子期刊）》;全文 *

Also Published As

Publication number Publication date
CN117156259A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN110427905B (zh) 行人跟踪方法、装置以及终端
CN110264493B (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
Kong et al. Detecting abandoned objects with a moving camera
CN109784130B (zh) 行人重识别方法及其装置和设备
KR101788225B1 (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
CN108875507B (zh) 行人跟踪方法、设备、系统和计算机可读存储介质
KR20130056309A (ko) 텍스트 기반 3ｄ 증강 현실
CN110458063B (zh) 防视频、照片欺骗的人脸活体检测方法
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110443114A (zh) 人脸识别方法、装置、计算机设备及可读存储介质
CN111222432A (zh) 人脸活体检测方法、系统、设备及可读存储介质
JP4728795B2 (ja) 人物オブジェクト判定装置及び人物オブジェクト判定プログラム
Xu et al. Real-time detection via homography mapping of foreground polygons from multiple cameras
JP6456244B2 (ja) カメラキャリブレーション方法および装置
Lee et al. A vision-based mobile augmented reality system for baseball games
CN117156259B (zh) 一种视频流获取方法及电子设备
Sabirin et al. Automatic soccer player tracking in single camera with robust occlusion handling using attribute matching
CN111260555A (zh) 一种基于surf的改进图像拼接方法
KR20160000533A (ko) 증강 현실에서 물체의 정보 제공을 위한 지역 특징점을 이용한 오브젝트 다중 검출, 추적 방법 및 그 시스템
Muddamsetty et al. Spatio-temporal saliency detection in dynamic scenes using local binary patterns
Elloumi et al. Tracking orthogonal vanishing points in video sequences for a reliable camera orientation in manhattan world
CN114743026A (zh) 目标对象的方位检测方法、装置、设备及计算机可读介质
CN114758124A (zh) 目标对象的遮挡检测方法、装置、设备及计算机可读介质
Yan et al. Multiview pedestrian localisation via a prime candidate chart based on occupancy likelihoods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant