CN113313075B - 目标对象位置关系分析方法、装置、存储介质及电子设备 - Google Patents
目标对象位置关系分析方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113313075B CN113313075B CN202110726426.5A CN202110726426A CN113313075B CN 113313075 B CN113313075 B CN 113313075B CN 202110726426 A CN202110726426 A CN 202110726426A CN 113313075 B CN113313075 B CN 113313075B
- Authority
- CN
- China
- Prior art keywords
- video
- target
- target object
- objects
- characteristic parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 50
- 239000002131 composite material Substances 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本公开提供了一种目标对象位置关系分析方法、装置、存储介质及电子设备。其中，目标对象位置关系分析方法包括：获取分别包含目标空间区域视频图像的多段视频；在多段视频中确定多个目标对象，并对多段视频进行融合以得到包含多个目标对象的合成视频；基于合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定目标对象之间的位置关系。采用本公开能够解决与事件相关的多个目标对象无法在一段视频中同时展现，工作人员无法从一段视频中获取该多个目标对象之间的位置关系的问题。
Description
技术领域
本公开涉及视频图像处理领域，具体地，涉及一种目标对象位置关系分析方法、装置、存储介质及电子设备。
背景技术
随着科学技术的日益发展，人们将视频素材作为辅助记录工具变得越来越普遍，其中，针对特定的事件，对视频素材所记录的与该事件相关的现场图像的清晰度、目标对象的多样性以及目标对象间的位置关系的可还原性的要求越来越高。然而，在一些情况下，受时间、天气等自然环境条件，以及摄像设备的安装角度及其自身硬件性能等方面的限制，采集到的一段视频中可能存在以下问题：
(1)关键时刻的画面清晰度不足；
(2)未能包含与事件相关的全部信息。
由于上述问题的存在，与事件相关的多个目标对象无法在一段视频中同时展现，工作人员无法从一段视频中获取该多个目标对象之间的位置关系，进而无法了解事件的真实过程。
发明内容
本公开的目的在于，针对现有技术中存在的问题，提供了一种目标对象位置关系分析方法、装置、电子设备及存储介质，能够解决与事件相关的多个目标对象无法在一段视频中同时展现，工作人员无法从一段视频中获取该多个目标对象之间的位置关系的问题。
根据本公开的一个方面，提供一种目标对象位置关系分析方法。
所述方法包括：获取分别包含目标空间区域视频图像的多段视频；在所述多段视频中确定多个目标对象，并对所述多段视频进行融合以得到包含所述多个目标对象的合成视频；基于所述合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定所述目标对象之间的位置关系。
根据本公开的另一个方面，提供一种目标对象位置关系分析装置。
所述装置包括：视频获取模块、视频融合模块和视频分析模块。
所述视频获取模块用于获取分别包含目标空间区域视频图像的多段视频。
所述视频融合模块用于在所述多段视频中确定多个目标对象，并对所述多段视频进行融合以得到包含所述多个目标对象的合成视频。
所述视频分析模块用于基于所述合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定所述目标对象之间的位置关系。
根据本公开的又一个方面，提出一种计算机可读存储介质。
所述计算机可读存储介质存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行上述的目标对象位置关系分析方法中的步骤。
根据本公开的再一个方面，提出一种电子设备。
所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的目标对象位置关系分析方法中的步骤。
本公开提供了一种目标对象位置关系分析方法、装置、存储介质及电子设备。采用本公开所提出的技术方案，将包含同一目标空间区域、且分别包含一个或多个目标对象的多段视频进行融合，使得融合后的合成视频中同时展现存在于同一目标空间区域的多个目标对象在该目标空间区域的位置变化，从而能够在一段视频中识别出该多个目标在目标空间区域中的位置关系。具体地，在本公开中，通过监测合成视频中每一个目标对象对应的目标图像的特征参数随时间序列的变化来分析目标对象之间在目标空间区域内的位置关系。
当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
下面结合附图，通过对本公开的具体实施方式详细描述，将使本公开的技术方案及其它有益效果显而易见。下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开一实施例提供的一种实施环境的示意图。
图2为本公开一实施例提供的目标对象位置关系分析方法的流程示意图。
图3为本公开一实施例提供的S2的子步骤示意图。
图4为本公开一实施例提供的S3的子步骤示意图。
图5为本公开一实施例提供的目标对象位置关系分析装置的结构示意图。
图6为本公开一实施例提供的平面转换效果示意图。
图7为本公开一实施例提供的电子设备的实体结构示意图。
具体实施方式
下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。本公开的说明书和权利要求书以及附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解，这样描述的对象在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排它的包含。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
在对本公开实施例提供的目标对象位置关系分析方法进行详细的解释说明之前，先对本公开实施例提供的实施环境进行介绍。
请参考图1，图1是根据一示例性实施例示出的一种实施环境的示意图。该实施环境包括至少一个摄像头100、服务器200和终端300。摄像头100可以与服务器200进行通信连接，服务器200可以与终端300进行通信连接。该通信连接可以为有线或者无线连接，本公开实施例对此不做限定。
摄像头100用于采集包含目标对象的视频，并向服务器200发送该视频。
其中，目标对象包括：人类、动物、机动车辆、非机动车辆、植物、建筑、城市公共设施等。
服务器200用于接收摄像头100发送的视频，并进一步将视频传输至终端300。服务器200可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
其中，终端300可以是任何一种可与用户通过键盘、显示器、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品，例如PC(PersonalComputer，个人计算机)、手机、智能手机、PDA(Personal Digital Assistant，个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。
示例性地，终端300通过其显示器将接收到的视频对用户进行展示。用户通过终端300的显示器对视频内容进行预览，随后根据实际需求截取需要的视频片段，进而基于本公开提供的方法确定目标对象之间的位置关系。
本领域技术人员应能理解上述终端300和服务器200仅为举例，其他现有的或今后可能出现的终端或服务器如可适用于本公开实施例，也应包含在本公开实施例保护范围以内，并在此以引用方式包含于此。
接下来对本公开提供的目标对象位置关系分析方法进行详细的解释说明。
示例性的，请参阅图2，图2为本公开提供的目标对象位置关系分析方法的流程示意图。方法包括以下步骤：
S1：获取分别包含目标空间区域视频图像的多段视频；
在该步骤中，目标空间区域可以根据实际需要进行设置。例如，当需要分析同时存在于某个十字路口的多个目标对象的位置关系时，可以获取包含该十字路口的多段视频，并通过该多段视频获取需要关注的目标对象。例如，通过夜间拍摄的该十字路口的第一视频，获得需要关注的第一目标对象；由于夜间拍摄的该十字路口的第一视频清晰度不够，需要关注的第二目标对象无法通过该第一视频获取，因此，需要从该十字路口的其他视频中获取该第二目标对象。例如，其他视频可以为白天拍摄的该十字路口的第二视频，在该第二视频中获得第二目标对象。目标空间区域、第一视频、第二视频可根据实际需要进行选取，本公开实施例对此不做限制。
S2：在多段视频中确定多个目标对象，并对多段视频进行融合以得到包含多个目标对象的合成视频；
在该步骤中，可以在多段视频中自动识别出目标对象，例如根据预先设置的目标对象类型，自动识别出属于该目标对象类型的目标对象。例如，目标对象类型为人、车、路面上的设施等。也可以在多段视频中通过人工标注的方式确定出所关注的、需要分析的目标对象。当然也可以采用自动识别与人工标注的组合方式，确定出需要分析的目标对象。进而通过视频融合，将存在于不同视频中的多个目标对象合成于一段合成视频中。
进一步地，在上述自动识别出目标对象的方案中，可以在识别到的各类目标对象中确定需要分析的目标对象作为待分析目标对象。
S3：基于合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定目标对象之间的位置关系。
采用本公开实施例所提出的技术方案，将包含同一目标空间区域、且分别包含一个或多个目标对象的多段视频进行融合，使得融合后的合成视频中同时展现存在于同一目标空间区域的多个目标对象在该目标空间区域的位置变化，通过监测合成视频中每一个目标对象对应的目标图像的特征参数随时间序列的变化来分析目标对象之间在目标空间区域内的位置关系，从而能够在一段视频中识别出该多个目标在目标空间区域中的位置关系。
在本公开的一些实施例中，包含目标空间区域的多段视频可以从同一摄像设备录制的视频中获取，也可以根据实际情况从不同摄像设备录制的视频中获取。
例如，三部摄像设备分别从三种不同的视角采集目标空间区域的视频，由于遮挡物的存在，每一部摄像设备采集的视频均不能完全涵盖待分析的目标对象。但是，三种视角录制的视频能够相互补充，因此，对上述三种视角的视频进行坐标转换等处理后，可以得到包含全部待分析目标对象的合成视频。
下文通过一种应用场景对本公开提供的目标对象位置关系分析方法进行示例性地描述。
对于需要确定目标对象行踪的第一事件，首先，需要确定待分析的目标空间区域。一种方式为，了解第一事件大致的发生时间以及第一目标对象例如关键人员在第一事件发生前的大致行径，并通过浏览沿途的视频录像，确定该关键人员在第一事件发生前最后出现的区域，并将该区域设定为目标空间区域。
随后，需要确定包含目标空间区域的多段视频。一种方式为，根据第一事件大致的发生时间，截取包含目标空间区域的、包含事件发生时间的第一段视频，该视频中包含该关键人员的部分影像。由于第一事件发生在夜间，因此，受到光线限制，第一段视频的画面清晰度较低，无法识别目标空间区域中的其他目标对象，仅凭第一段视频依然无法判断该关键人员的去向。
为了分析该关键人员在目标空间区域中与其他目标对象的关系，需要获取包含相同目标空间区域的第二段视频，可选的，第二段视频是在日间录制的，光线充足，视频中来往车辆、行人以及环境公共设施的轮廓更清晰。但该关键人员并未出现在第二视频中。
随后，将上述第一段视频和第二段视频上传至一具备人机交互功能的电子设备，并发送指令以触发电子设备执行相关计算程序来实现本实施例提供的目标对象位置关系分析方法中的步骤，进而确定关键人员的去向。
具体地，所述目标对象位置关系分析方法包括：
S1：获取分别包含目标空间区域视频图像的多段视频；
在本实施例中，多段视频包括上述第一段视频和第二段视频。
S2：在多段视频中确定多个目标对象，并对多段视频进行融合以得到包含多个目标对象的合成视频；
在S2中，请参阅图3，在本实施例中，对获取的第一段视频和第二段视频执行如下操作：
S21：构建背景图像；
在多个视频中确定需要分析的多个目标对象后，即可获得包含该目标对象的各个视频帧；可以预先构建背景图像，然后在该背景图像中，将所有目标对象的各个视频帧进行融合。使得所有目标对象的位置变化关系在合成视频中同时展现，从而能够识别出目标对象之间的位置关系。
可选的，可以采用预先设置的目标空间区域的背景图像。比如预先设置的清晰度满足要求的、或者所包含的原始环境信息满足要求的目标空间区域的原始视频片段；在将目标对象的各个视频帧融合到该原始视频片段后，能够清楚体现各个目标对象的位置变化，从而能够识别出目标对象之间的位置关系。例如，假设多段视频均为下雨天采集的包含目标空间区域的视频，在该多段视频中分别确定需要分析的目标对象。由于下雨天采集的视频的清晰度均不够理想，可以选取晴天拍摄的包含目标空间区域的视频，作为背景图像。
可选的，可以采用预先设置的与目标空间区域无关的背景图像，该背景图像满足以下条件：将目标对象的各个视频帧融合到该背景图像后，能够清楚体现各个目标对象的位置变化。从而能够识别出目标对象之间的位置关系。例如，假设多段视频均为下雨天采集的包含目标空间区域的视频，在该多段视频中分别确定需要分析的目标对象。由于下雨天采集的视频的清晰度均不够理想，可以选取晴天拍摄的空旷路面的视频，作为背景图像。
可选的，在本公开的一些实施例中，多段视频中的至少一段视频相对于其他视频具有更高的清晰度和/或更丰富的原始环境信息，可以基于具有更高的清晰度和/或更多的原始环境信息的至少一段视频构建目标空间区域的背景图像，使合成视频具有更完善的目标空间区域的背景信息。
例如，多段视频中具有恰当曝光度的一段或多段视频可以使合成视频具有良好的清晰度。又如，多段视频的至少一段视频所包含的目标对象可以与其他视频中包含的目标对象相互补充，使得合成视频中包含更完善的环境信息。基于该合成视频，能够准确地分析目标对象之间的位置关系。
具体地，在本实施例中，虽然第一段视频的时间段更接近第一事件的发生时间，但由于该视频是在夜间录制，视频画面清晰度低，从中仅可以识别出关键人员在第一事件发生前的模糊影像，视频中其他可能与第一事件相关的物体仍难以分辨。
但是，相同地段的第二段视频是在日间录制的，视频画面清晰，从第二段视频中能够清楚地了解目标空间区域的环境。
因此，可选的，可以根据画面清晰度更高的第二段视频构建目标空间区域的背景图像。
示例性地，在本实施例中，构建完成的目标空间区域的背景图像中包含楼房、道路、道路一侧的河道护栏、路面上设置的若干窨井盖等。
S22：在多段视频中提取出与多个目标对象相关联的视频帧；
示例性地，在本实施例的第一事件中，所确定的目标对象包括第一段视频中的关键人员、第二段视频中道路一侧的河道护栏、路面上设置的若干窨井盖等。
随后，提取出所确定的目标对象相关联的视频帧。
S23：从每个视频帧中提取出与每个所确定的目标对象对应的目标图像；
具体地，采用抠像的方式将每一个所确定的目标对象的目标图像从与其相关联的每一个视频帧中提取出来。
S24：按照目标对象的运动时间序列，将每个目标图像与背景图像相融合以生成多个合成视频帧。
具体地，按照每个所确定的目标对象的运动时间序列，将每个目标图像与前述背景图像相叠加，以得到多个合成视频帧。
多个合成视频帧构成合成视频。其中，每个合成视频帧与运动时间序列中的一个时间点相对应。
S3：基于合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定目标对象之间的位置关系。
具体地，请参阅图4，本实施例中S3具体包括以下内容：
S31：监测合成视频的每个视频帧，以获得每个目标对象对应的目标图像的特征参数随时间序列的变化；
S32：若至少两个目标对象对应的目标图像的特征参数均发生变化，则将特征参数发生变化的目标对象确认为备选目标对象。
示例性地，目标对象可以包括动态目标对象例如关键人员和基准目标对象例如道护栏、窨井盖等。
可选的，为了能够准确地甄别关键人员与其他目标对象间可能存在的位置关系，将关键人员这一动态目标对象分别与河道护栏、窨井盖等每一个基准目标对象组合，得到多组目标对象组合。
在合成视频中，每一目标对象组合中的动态目标对象和基准目标对象按照各自的时间序列运动，同时，监测每一目标对象组合中目标对象对应的目标图像的特征参数随时间序列的变化。
当一组目标对象组合中的两个目标对象在空间上存在交叠时，两个目标对象对应的目标图像的特征参数均会发生变化。
示例性地，在本实施例中，特征参数包括目标对象对应的目标图像在交叠处的透明度、和/或颜色。
具体地，若两个目标对象发生交叠，则交叠部分相当于构成两者目标图像的像素值的相互叠加，像素值叠加引起交叠部分的图像的显示发生变化，例如透明度变化、或者颜色的变化。因此，若组合中两个目标对象对应的目标图像的部分或全部的透明度和/或颜色发生变化，则说明这两个目标对象按照各自的时间序列在合成视频中运动时，存在交叠。
进一步地，将特征参数发生变化的目标图像所对应的目标对象确认为备选目标对象，备选目标对象所在的组合为备选目标对象组合。
换句话说，在本实施例中，被确认为备选目标对象组合中的动态目标对象和基准目标对象在目标空间区域内存在曾经接触的可能性。
以两两组合的形式监测特征参数的变化，可以提升后续分析过程的效率。可以理解的是，特征参数同时发生变化的两个目标对象，在各自的运动时间序列上可能并不存在交叠的时刻。例如，两者只是在同一时刻分别与其他的目标对象发生交叠。因此，在后续的分析过程中，以备选目标对象组合为单元进行，分析效率更高。
S33：获取每个备选目标对象对应的目标图像在预设平面上的投影所形成的二维轮廓图形；
为了进一步判断备选目标对象在目标空间区域内是否发生过接触，在本实施例中，可选的，基于一预设平面，对合成视频进行平面转换，以得到包含备选目标对象的平面轮廓图形的二维动画。其中，预设平面为地平面或与地平面平行的平面。
示例性地，根据前述内容可知，在合成视频中，每一个目标对象都有与之相关联的一系列视频帧，因此，以一个目标对象为例，在平面转换过程中，获取每一帧中该目标对象对应的目标图像在预设平面上的投影图形，进而得到与该目标对象的视频帧一一对应的一系列投影图形，这一系列投影图形可以构成该目标对象在预设平面上的二维动画。
可以理解的是，在分析二维动画的过程中，以备选目标对象组合为单元，观察每一组备选目标对象组合中目标对象的平面轮廓图形的位置关系，可以清楚、快速地得到分析结果。
可选的，也可以基于一预设平面，对合成视频中确定备选目标对象的视频帧进行平面二维转换，以得到包含备选目标对象的平面轮廓图形的二维平面图。
S34：判断每个备选目标对象对应的目标图像的二维轮廓图形是否存在重合部分；
具体地，在获取包含备选目标对象的投影图形的二维动画后，使两者的投影图形按照各自的时间序列在预设平面上运动，并监测每个备选目标对象的二维轮廓图形(投影图形)是否存在重合部分。
S35：确定存在重合部分的二维轮廓图形对应的备选目标对象在目标空间区域内曾经发生接触。
例如，针对每个备选目标对象组合，若该组合中的动态目标对象和基准目标对象的二维轮廓图形存在重合部分，则确定该组合中的动态目标对象和基准目标对象在目标空间区域内曾经发生接触。
在本实施例中，根据对上述二维动画的观察，可以确定关键人员在地平面上的投影图形与一个窨井盖在地平面上的投影图形存在重合，因此，可以推测关键人员可能失足落入了雨水井中。
本公开实施例提供的方法能够将与目标空间区域相关联的多段视频融合成一段合成视频，并且，构建具有较高清晰度的背景图像，将该背景图像与所确定的目标对象的目标图像相结合，有助于提高目标空间区域内的目标对象位置关系分析结果的准确性。具体地，将待分析的目标对象的目标图像从原始视频中提取出来，再将所确定的多个目标对象与背景图像融合成合成视频。在合成视频中，多个目标对象按照各自的时间序列运动，通过监测每个目标对象的特征参数的变化来判定这些目标对象之间的位置关系。具体地，在由动态目标对象和基准目标对象组成的目标对象组合中，当动态目标对象和基准目标对象在图像上发生交叠时，进一步获取该组动态目标对象和基准目标对象在预设平面上的投影图形，以生成包含该对动态目标对象和基准目标对象投影图形的二维动画。通过判断二维动画中动态目标对象和基准目标对象的投影图形是否存在重合来判断两者在目标空间区域内是否曾经接触过。进一步地，若存在重合部分，则说明该对动态目标对象和基准目标对象在目标空间区域内曾经发生过接触。
需要说明的是，在本公开的其他实施例中，特征参数还可以包括：目标图像的形状、面积、角度等。
具体地，根据前文可知，备选目标对象(目标图像存在重叠)具有在目标空间区域内发生直接接触的可能性。
示例性地，假设一目标对象组合中的动态目标对象为一辆汽车，基准目标对象为一个路障，并且，该汽车与该路障在目标空间区域内确实发生过碰撞。因此，在监测该目标对象组合中的汽车与路障的特征参数的过程中，监测到的特征参数的变化包括：汽车与路障相撞时，汽车和路障各自的目标图像在接触部分的透明度和颜色的变化。在这种情形下，发生变化的特征参数还包括角度、形状、面积。例如，若路障被撞倒，则被撞倒的路障的目标图像相对于地面(或其他参考基准)的角度不同于撞倒前，即角度发生变化。又如，若路障被撞至变形，则路障的形状发生了变化。同样地，被撞倒或被损坏至变形的路障的相关面积参数也发生变化，如碰撞后，目标图像中路障轮廓图形的面积。
因此，当至少两个目标对象的目标图像的透明度、颜色、形状、面积、角度这些特征参数中的一项或几项均发生变化时，说明目标对象之间在目标空间区域内可能发生过接触。
本公开还提供了一种目标对象位置关系分析装置。如图5所示，装置500包括：视频获取模块510、视频融合模块520和视频分析模块530。其中：
视频获取模块510用于获取分别包含目标空间区域视频图像的多段视频。
视频融合模块520用于在多段视频中确定多个目标对象，并对多段视频进行融合以得到包含多个目标对象的合成视频；
视频分析模块530用于基于合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定目标对象之间的位置关系。
以下通过另一场景对本公开提供的目标对象位置关系分析装置进行示例性地描述。
在一关键人员曾与车辆发生碰撞的第二事件中，由于第二事件发生在夜间，难以从第二事件发生时段的视频中判断关键人员与来往车辆的接触情况。
因此，可以从事件发生现场(目标空间区域)的摄像设备中截取两段视频。其中，第一段视频为第二事件发生时段的视频；第二段视频为第二事件发生前的视频，在该视频中，曾有一辆汽车开启远光灯经过事发路段，灯光照亮了道路。
将第一段视频和第二段视频上传至本公开提供的装置500中。
视频获取模块510获取第一段视频和第二段视频。
视频融合模块520构建事发路段的背景图像。
可选的，在本实施例中，主要是根据第二段视频中被远光灯照亮的相关视频帧构建事发路段的背景图像。
进一步地，视频融合模块520在第一段视频和第二段视频中确定多个与第二事件相关的目标对象，并提取出与每个目标对象相关联的视频帧。
示例性地，在本实施例中，确定的目标对象包括第一段视频中的来往车辆和前述关键人员。并且，来往车辆为动态目标对象，关键人员为基准目标对象，关键人员与每一部车辆的组合构成多个目标对象组合。
随后，视频融合模块520从每个视频帧中提取出与每个所确定的目标对象对应的目标图像。
进一步地，按照目标对象的运动时间序列，视频融合模块520将每个目标对象对应的每个目标图像与背景图像相融合，以生成多个合成视频帧。多个合成视频帧构成一段合成视频，其中，每个合成视频帧与运动时间序列中的一个时间点相对应。
可以理解的是，第二段视频可以作为补光素材将第一段视频中缺失的环境光补全，以提升合成视频的曝光量和清晰度。
基于合成视频，视频分析模块530监测该合成视频的每个视频帧，以获得每个目标对象对应的目标图像的特征参数随时间序列的变化。
具体地，视频分析模块530监测合成视频的每个视频帧，以获得每个目标对象(例如车辆、关键人员)的特征参数随时间序列的变化。
在本实施例中，特征参数包括：透明度、颜色、角度、面积、形状。
若至少两个所述目标对象对应的目标图像的特征参数均发生变化，则将特征参数发生变化的目标对象确认为备选目标对象，则视频分析模块530将该目标对象组合确定为备选目标对象组合。例如：若一个目标对象组合中的车辆和关键人员的特征参数中的一项或几项随时间序列发生了变化，则视频分析模块530将该目标对象组合确定为备选目标对象组合。
进一步地，视频分析模块530针对备选目标对象：车辆和关键人员对合成视频进行平面转换，平面转化效果如图6所示。需要说明的是，图6中左侧两幅图的视角与右侧两幅图的视角不同。右侧两幅图中的二维轮廓图形是左侧两幅图中车辆与关键人员在地平面上的投影图形。
具体地，视频分析模块530获取每个备选目标对象对应的目标图形在预设平面上例如地平面上的投影所形成的二维轮廓图形。并判断每个备选目标对象对应的目标图形的二维轮廓图形是否存在重合部分，并确定存在重合部分的二维轮廓图形对应的备选目标对象在所述目标空间区域内曾经发生接触。
可选的，针对一个备选目标对象组合，若其中的车辆和关键人员的二维轮廓图形存在重合部分，则视频分析模块530判定该备选目标对象组合中的车辆和关键人员在事发路段曾经发生接触。
据此，可以从合成视频中判断事发时段关键人员与来往车辆的接触情况，从而确定与关键人员发生碰撞的车辆。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本公开还提供了一种电子设备，如图7所示，电子设备700包括：处理器(Processor)701、通信接口(Communications Interface)702、存储器(memory)703和通信总线704。其中，处理器701、通信接口702和存储器703通过通信总线704完成相互间的通信。处理器701可以调用存储器703中的逻辑指令，以执行上述目标对象位置关系分析方法中的步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本公开附图中的总线并不限定仅有一根总线或一种类型的总线。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述目标对象位置关系分析方法中的步骤。
本领域普通技术人员应当理解，上述目标对象位置关系分析方法实施例中的全部或部分流程，可以通过计算机程序指令相关的硬件和/或软件来实现。计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序被执行时，可执行上述各方法实施例中的流程。其中，本公开所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、增强型SDRAM(ESDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)以及存储器总线动态RAM(RDRAM)等。
综上，本公开提供了一种目标对象位置关系分析方法、装置、存储介质及电子设备。在对某事件进行分析时，采用本公开，将与目标空间区域相关联的多段视频融合，能够获得一段清晰度更好的合成视频，并且，该合成视频中包含与该事件可能相关的全部信息，例如，目标空间区域内与事件相关的全体待分析目标对象。具体地，在本公开中，通过监测合成视频中每一个目标对象对应的目标图像的特征参数随时间序列的变化来分析目标对象之间在目标空间区域内的位置关系。
最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
Claims (9)
1.一种目标对象位置关系分析方法，其特征在于，包括：
获取分别包含目标空间区域视频图像的多段视频；
在所述多段视频中确定多个目标对象，并对所述多段视频进行融合以得到包含所述多个目标对象的合成视频；
基于所述合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定所述目标对象之间的位置关系；
所述基于所述合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定所述目标对象之间的位置关系，包括：
监测所述合成视频的每个视频帧，以获得每个所述目标对象对应的目标图像的特征参数随时间序列的变化；
若至少两个所述目标对象对应的目标图像的特征参数均发生变化，则将特征参数发生变化的目标对象确认为备选目标对象。
2.根据权利要求1所述的方法，其特征在于，所述在所述多段视频中确定多个目标对象，并对所述多段视频进行融合以得到包含所述多个目标对象的合成视频，包括：
构建背景图像；
在所述多段视频中提取出与所述多个目标对象相关联的视频帧；
从每个所述视频帧中提取出与每个所确定的目标对象对应的目标图像；
按照目标对象的运动时间序列，将每个所述目标图像与所述背景图像相融合以生成多个合成视频帧，所述多个合成视频帧构成所述合成视频，其中，每个所述合成视频帧与所述运动时间序列中的一个时间点相对应。
3.根据权利要求2所述的方法，其特征在于，所述多段视频中的至少一段视频相对于其他视频具有更高的清晰度和/或更多的原始环境信息，并且所述构建背景图像，包括：根据所述具有更高的清晰度和/或更多的原始环境信息的至少一段视频构建所述目标空间区域的背景图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定所述目标对象之间的位置关系，还包括：
获取每个所述备选目标对象对应的目标图像在预设平面上的投影所形成的二维轮廓图形；
判断每个所述备选目标对象对应的目标图像的二维轮廓图形是否存在重合部分；
确定存在重合部分的二维轮廓图形对应的备选目标对象在所述目标空间区域内曾经发生接触。
5.根据权利要求1所述的方法，其特征在于，所述特征参数包括下列项中的至少一个：与该目标对象对应的目标图像在所述合成视频的视频帧中的透明度、颜色、形状、面积、角度。
6.一种目标对象位置关系分析装置，其特征在于，包括：
视频获取模块，用于获取分别包含目标空间区域视频图像的多段视频；
视频融合模块，用于在所述多段视频中确定多个目标对象，并对所述多段视频进行融合以得到包含所述多个目标对象的合成视频；
视频分析模块，用于基于所述合成视频中每个目标对象对应的目标图像的特征参数随时间序列的变化分析并确定所述目标对象之间的位置关系；
所述视频分析模块具体用于，监测所述合成视频的每个视频帧，以获得每个所述目标对象对应的目标图像的特征参数随时间序列的变化；若至少两个所述目标对象对应的目标图像的特征参数均发生变化，则将特征参数发生变化的目标对象确认为备选目标对象。
7.根据权利要求6所述的装置，其特征在于，所述视频融合模块还用于：
构建背景图像；
在所述多段视频中提取出与所述多个目标对象相关联的视频帧；
从每个所述视频帧中提取出与每个所确定的目标对象对应的目标图像；
按照目标对象的运动时间序列，将每个所述目标图像与所述背景图像相融合以生成多个合成视频帧，所述多个合成视频帧构成所述合成视频，其中，每个所述合成视频帧与所述运动时间序列中的一个时间点相对应；
其中，所述多段视频中的至少一段视频相对于其他视频具有更高的清晰度和/或更多的原始环境信息；
并且，所述视频融合模块还用于：根据所述具有更高的清晰度和/或更多的原始环境信息的至少一段视频构建所述背景图像；
所述视频分析模块还用于：监测所述合成视频的每个视频帧，以获得每个所述目标对象对应的目标图像的特征参数随时间序列的变化；
若至少两个所述目标对象对应的目标图像的特征参数均发生变化，则将特征参数发生变化的目标对象确认为备选目标对象；以及
获取每个所述备选目标对象对应的目标图像在预设平面上的投影所形成的二维轮廓图形；
判断每个所述备选目标对象对应的目标图像的二维轮廓图形是否存在重合部分；
确定存在重合部分的二维轮廓图形对应的备选目标对象在所述目标空间区域内曾经发生接触；
其中，所述特征参数包括下列项中的至少一个：与该目标对象对应的目标图像在所述合成视频的视频帧中的透明度、颜色、形状、面积、角度。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1至5中任一项所述的目标对象位置关系分析方法中的步骤。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的目标对象位置关系分析方法中的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726426.5A CN113313075B (zh) | 2021-06-29 | 2021-06-29 | 目标对象位置关系分析方法、装置、存储介质及电子设备 |
| EP21947976.3A EP4365757A1 (en) | 2021-06-29 | 2021-10-26 | Method and apparatus for analyzing positional relationship between target objects, and storage medium and electronic device |
| PCT/CN2021/126425 WO2023273049A1 (zh) | 2021-06-29 | 2021-10-26 | 目标对象位置关系分析方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726426.5A CN113313075B (zh) | 2021-06-29 | 2021-06-29 | 目标对象位置关系分析方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313075A CN113313075A (zh) | 2021-08-27 |
| CN113313075B true CN113313075B (zh) | 2024-02-02 |
Family
ID=77380752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110726426.5A Active CN113313075B (zh) | 2021-06-29 | 2021-06-29 | 目标对象位置关系分析方法、装置、存储介质及电子设备 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP4365757A1 (zh) |
| CN (1) | CN113313075B (zh) |
| WO (1) | WO2023273049A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113313075B (zh) * | 2021-06-29 | 2024-02-02 | 杭州海康威视系统技术有限公司 | 目标对象位置关系分析方法、装置、存储介质及电子设备 |
| CN113763136B (zh) * | 2021-11-09 | 2022-03-18 | 武汉星巡智能科技有限公司 | 基于商品区重量变化对视频分段处理的智能生成订单方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761500A (zh) * | 2016-05-10 | 2016-07-13 | 腾讯科技（深圳）有限公司 | 交通事故处理方法及交通事故处理装置 |
| CN106730815A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息系统有限公司 | 一种易实现的体感互动方法及系统 |
| CN108229294A (zh) * | 2017-09-08 | 2018-06-29 | 北京市商汤科技开发有限公司 | 一种运动数据获取方法、装置、电子设备及存储介质 |
| CN109886951A (zh) * | 2019-02-22 | 2019-06-14 | 北京旷视科技有限公司 | 视频处理方法、装置及电子设备 |
| CN110232654A (zh) * | 2019-04-24 | 2019-09-13 | 薄涛 | 图像合成方法、装置、设备及其存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104093001B (zh) * | 2014-07-23 | 2017-05-03 | 山东建筑大学 | 一种在线动态视频浓缩方法 |
| CN110111238A (zh) * | 2019-04-24 | 2019-08-09 | 薄涛 | 图像处理方法、装置、设备及其存储介质 |
| CN113014817B (zh) * | 2021-03-04 | 2022-11-29 | 维沃移动通信有限公司 | 高清高帧视频的获取方法、装置及电子设备 |
| CN113313075B (zh) * | 2021-06-29 | 2024-02-02 | 杭州海康威视系统技术有限公司 | 目标对象位置关系分析方法、装置、存储介质及电子设备 |
-
2021
- 2021-06-29 CN CN202110726426.5A patent/CN113313075B/zh active Active
- 2021-10-26 WO PCT/CN2021/126425 patent/WO2023273049A1/zh active Application Filing
- 2021-10-26 EP EP21947976.3A patent/EP4365757A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105761500A (zh) * | 2016-05-10 | 2016-07-13 | 腾讯科技（深圳）有限公司 | 交通事故处理方法及交通事故处理装置 |
| CN106730815A (zh) * | 2016-12-09 | 2017-05-31 | 福建星网视易信息系统有限公司 | 一种易实现的体感互动方法及系统 |
| CN108229294A (zh) * | 2017-09-08 | 2018-06-29 | 北京市商汤科技开发有限公司 | 一种运动数据获取方法、装置、电子设备及存储介质 |
| CN109886951A (zh) * | 2019-02-22 | 2019-06-14 | 北京旷视科技有限公司 | 视频处理方法、装置及电子设备 |
| CN110232654A (zh) * | 2019-04-24 | 2019-09-13 | 薄涛 | 图像合成方法、装置、设备及其存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313075A (zh) | 2021-08-27 |
| WO2023273049A1 (zh) | 2023-01-05 |
| EP4365757A1 (en) | 2024-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10930151B2 (en) | Roadside parking management method, device, and system based on multiple cameras | |
| CN113313075B (zh) | 目标对象位置关系分析方法、装置、存储介质及电子设备 | |
| Soltani et al. | Framework for location data fusion and pose estimation of excavators using stereo vision | |
| CN111372037B (zh) | 目标抓拍系统和方法 | |
| CN111368615B (zh) | 一种违章建筑预警方法、装置及电子设备 | |
| JP2004534315A (ja) | 移動対象物を監視する方法およびシステム | |
| JP2004531842A (ja) | サーベイランスシステムおよび監視システムに関する方法 | |
| CN112218243B (zh) | 海量人车数据的关联方法、装置、设备及存储介质 | |
| CN111160172A (zh) | 泊车位检测方法、装置、计算机设备和存储介质 | |
| CN109116846A (zh) | 一种自动驾驶方法、装置、计算机设备和存储介质 | |
| Shen et al. | Deep learning‐based object identification with instance segmentation and pseudo‐LiDAR point cloud for work zone safety | |
| KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
| CN111079536B (zh) | 基于人体关键点时序的行为分析方法、存储介质及设备 | |
| CN111402286A (zh) | 一种目标跟踪方法、装置、系统及电子设备 | |
| CN114445780A (zh) | 裸土苫盖的检测方法及装置、识别模型的训练方法及装置 | |
| CN111784730A (zh) | 一种对象跟踪方法、装置、电子设备及存储介质 | |
| CN112597807A (zh) | 一种违章检测系统、方法、装置、图像采集设备及介质 | |
| KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
| Dong et al. | Large field monitoring system of vehicle load on long-span bridge based on the fusion of multiple vision and WIM data | |
| CN113505643A (zh) | 违章目标物检测方法及相关装置 | |
| CN113066182A (zh) | 一种信息展示方法、装置、电子设备及存储介质 | |
| Tang | Development of a multiple-camera tracking system for accurate traffic performance measurements at intersections | |
| CN112380894A (zh) | 一种基于三维地理信息系统的视频重叠区域目标去重方法和系统 | |
| CN114120436A (zh) | 动作识别模型的训练方法、动作识别方法及相关装置 | |
| CN111970490A (zh) | 用户流量监控方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |