CN111178277B - 一种视频流识别方法及装置 - Google Patents
一种视频流识别方法及装置 Download PDFInfo
- Publication number
- CN111178277B CN111178277B CN201911403318.3A CN201911403318A CN111178277B CN 111178277 B CN111178277 B CN 111178277B CN 201911403318 A CN201911403318 A CN 201911403318A CN 111178277 B CN111178277 B CN 111178277B
- Authority
- CN
- China
- Prior art keywords
- optical flow
- change information
- video stream
- determining
- pose
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000003287 optical effect Effects 0.000 claims abstract description 345
- 230000008859 change Effects 0.000 claims abstract description 334
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 230000033001 locomotion Effects 0.000 claims description 235
- 239000011159 matrix material Substances 0.000 claims description 85
- 230000009466 transformation Effects 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 238000012795 verification Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本说明书一个或多个实施例提供了一种视频流识别方法及装置,该方法包括:确定目标视频流对应的光流变化信息,其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端。以及,确定目标用户终端的位姿变化信息,其中,该位姿变化信息是基于目标用户终端在预设时间段内的传感器检测信息确定的。根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。
Description
技术领域
本文件涉及互联网技术领域,尤其涉及一种视频流识别方法及装置。
背景技术
目前,随着互联网时代的到来,同时随着移动互联网技术的快速发展,互联网在人们日常的学习、工作和生活中得到广泛的应用。人们日常的各种事务都可以使用用户终端(如智能手机)通过互联网来处理和呈现。其中,用户可以根据各自的实际需求在智能手机中安装相应的应用程序,例如,支付类应用、理财类应用、即时通讯应用、购物应用等等。
当前,如果用户需要在某一应用程序下完成某项业务的情况下,需要用户在通过该应用程序下的上传控件触发智能手机中的摄像头对目标对象(如用户人脸、银行卡、身份证、票据等)进行拍摄,并上传目标对象的视频流信息,以便基于该视频流信息为用户开通相应的互联网业务。然而,可能存在恶意用户通过视频流注入攻击的手段,即直接对智能手机的硬件/驱动/API层进行hook,实现将实时采集的原始视频流替换为预存的视频流信息,以便将预存的视频流信息作为输入信息源,达到恶意触发目标业务执行的目的。
例如,以基于人脸识别进行支付类应用的账号登录为例,恶意用户通过预先获取目标用户的人脸采集视频信息,然后,在人脸图像采集时,通过视频帧替换的方式将目标用户的人脸采集视频信息上传至身份验证服务器,此时身份验证服务器将基于该人脸采集视频信息对登录用户进行身份验证,进而确定本次用户身份验证通过,以使恶意用户完成身份验证并进入用户操作界面,这样将为恶意用户执行非法行为提供入口,无法实现通过身份验证的方式来保证账户安全性的目的。
因此,需要提供一种能够快速、准确、可靠地视频流识别的技术方案。
发明内容
本说明书一个或多个实施例的目的是提供一种视频流识别方法。该视频流识别方法包括:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端。以及,确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的。根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
本说明书一个或多个实施例的目的是提供一种视频流识别装置。该视频流识别装置包括:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端。以及,确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的。根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
本说明书一个或多个实施例的目的是提供一种视频流识别设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器。
所述计算机可执行指令在被执行时使所述处理器确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端。以及,确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的。根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
本说明书一个或多个实施例的目的是提供一种存储介质,用于存储计算机可执行指令。所述可执行指令在被处理器执行时确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端。以及,确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的。根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的视频流识别方法的第一种流程示意图;
图2为本说明书一个或多个实施例提供的视频流识别方法的具体实现原理示意图;
图3为本说明书一个或多个实施例提供的视频流识别方法的第二种流程示意图;
图4为本说明书一个或多个实施例提供的视频流识别方法中确定光流变化信息的具体实现原理示意图;
图5为本说明书一个或多个实施例提供的视频流识别方法的第三种流程示意图;
图6为本说明书一个或多个实施例提供的视频流识别方法中确定位姿变化信息的具体实现原理示意图;
图7为本说明书一个或多个实施例提供的视频流识别方法的第四种流程示意图;
图8为本说明书一个或多个实施例提供的视频流识别装置的模块组成示意图;
图9为本说明书一个或多个实施例提供的视频流识别设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一个或多个一部分实施例,而不是全部的实施例。基于本说明书一个或多个中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本本文件的保护范围。
需要说明的是,在不冲突的情况下,本说明书中的一个或多个实施例以及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本说明书一个或多个实施例。
本说明书一个或多个实施例提供了一种视频流识别方法及装置,通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
图1为本说明书一个或多个实施例提供的视频流识别方法的第一种流程示意图,图1中的方法能够由用户终端执行,也可以由服务器端执行,其中,该用户终端可以是智能手机等移动终端,也可以是物联网设备等终端设备,具体的,该用户终端可以用于采集目标对象的视频流信息,并对该视频流信息进行可信性识别,在可信性识别通过时,基于该目标视频流信息识别是否执行相应的控制操作,或者将该视频流信息上传至服务器端,以使服务器端继续基于该视频流信息进行用户身份验证;其中,该服务器端可以是后台服务器或云端服务器,具体的,该服务器端用于接收用户终端所上传的视频流信息,并对该视频流信息进行可信性识别,在可信性识别通过时,再基于该视频流信息进行用户身份验证,以及在身份验证通过时为用户提供某项业务服务。
其中,针对由用户终端或服务器端对目标对象的视频流信息进行可信性识别的过程,如图1所示,上述视频流识别方法至少包括以下步骤:
S102,确定目标视频流对应的光流变化信息,其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;
具体的,用户终端在检测到视频流采集请求后,利用摄像装置采集目标对象的视频流信息,并获取用于用户身份验证的目标视频流,其中,该目标视频流的理论采集时间段包括:自视频流采集开始时间到采集结束时间的时间段;
其中,考虑到上述目标视频流可能是摄像装置实时采集的视频流信息;也可能是通过预设视频流攻击手段对实时采集的视频流信息进行替换,所注入的非实时采集的视频流信息,因此,在基于目标视频流进行用户身份验证之前,先确定目标视频流对应的光流变化信息,以便将该光流变化信息与目标用户终端的位姿变化信息进行比对,来识别目标视频流是否为目标用户终端实时采集的可信视频流信息;
其中,针对目标视频流为实时采集的视频流信息的情况,目标视频流的理论采集时间段和实际采集时间段是相同的,以及理论采集设备和实际采集设备均为目标用户终端,即目标视频流为在预设时间段内目标用户终端采集到的;而针对目标视频流为通过预设视频流攻击手段对实时采集的视频流信息进行替换,所注入的非实时采集的视频流信息的情况,目标视频流的理论采集时间段与实际采集时间段是不同的,即目标视频流的实际采集时间并不是预设时间段,实际采集设备也可能不是目标用户终端,而是目标用户终端预存的用于替换实时采集的视频流信息。
S104,确定目标用户终端的位姿变化信息,其中,该位姿变化信息是基于目标用户终端在预设时间段内的传感器检测信息确定的;
其中,目标用户终端包括:摄像装置和至少一个预设传感器;该预设传感器可以是IMU传感器,例如,陀螺仪,又如,加速度传感器,传感器检测信息可以包括:传感器的三轴姿态角、角速率、和加速度中至少一项;
具体的,目标用户终端在利用的摄像装置对目标对象进行视频流采集的同时,还利用至少一个预设传感器采集传感器检测信息,以便基于该传感器检测信息确定目标用户终端的位姿变化信息;再将该位姿变化信息作为与目标视频流的光流变化信息的比对基础,从而识别目标视频流的可信性。
S106,根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。
其中,针对目标视频流为实时采集的视频流信息的情况,由于该目标视频流和传感器检测信息是在目标用户终端处于一定抖动状态下同步采集得到的,即在目标用户终端并非处于绝对静止的情况下,同时采集目标视频流和传感器检测信息,因此,目标视频流中自然记录的光流变化方向与传感器检测信息中自然记录的传感器空间运动方向之间应具有方向变化一致性,因而,基于目标视频流确定出的光流变化信息与基于传感器检测信息确定出的位姿变化信息之间的比对信息应满足预设变化一致性条件;
而针对目标视频流为非实时采集的视频流信息的情况,导致目标视频流与传感器检测信息并不是在同一抖动状态下同步采集得到的,因此,目标视频流中自然记录的光流变化方向与传感器检测信息中自然记录的传感器空间运动方向之间不具有方向变化一致性,因而,基于目标视频流确定出的光流变化信息与基于传感器检测信息确定出的位姿变化信息之间的比对信息将不满足预设变化一致性条件;
由此可知,可以通过比对基于目标视频流所确定的光流变化信息、与基于传感器检测信息所确定的位姿变化信息,来识别目标视频流是否为目标用户终端实时采集的可信视频流信息;
本说明书一个或多个实施例中,通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
具体的,针对由用户终端对目标视频流进行可信性识别的情况,用户终端获取目标视频流和在预设时间段内采集到的传感器检测信息,并基于上述步骤S102至S106确定针对目标视频流的可信性识别结果;在可信性识别结果为目标视频流为实时采集的可信视频流时,基于该目标视频流信息识别是否执行相应的控制操作,或者将目标视频流上传至服务器端,以使该服务器端基于该目标视频流进行用户身份验证。
对应的,针对由服务器端对目标视频流进行可信性识别的情况,用户终端获取目标视频流和在预设时间段内采集到的传感器检测信息,并将该目标视频流和传感器检测信息上传至服务器端,以使该服务器端基于上述步骤S102至S106确定针对目标视频流的可信性识别结果;以及在可信性识别结果为目标视频流为实时采集的可信视频流时,基于该目标视频流进行用户身份验证。
在具体实施时,如图2所示,以目标对象为用户证件,目标用户终端为智能手机为例,给出了视频流识别方法的具体实现原理示意图,具体包括:
(1)用户终端在检测到视频流采集请求后,即在检测到用户针对视频流上传控件的触发操作后,利用摄像装置采集目标对象的视频流信息;其中,该目标对象的视频流信息的实际采集时间段为预设时间段,该预设时间段包括:多个指定时间节点;
(2)用户终端在上述预设时间段内,利用至少一个预设传感器采集传感器检测信息;其中,目标用户终端包括:摄像装置和至少一个预设传感器;
(3)获取待识别的目标视频流;其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;
具体的,若目标视频流的理论采集时间段和实际采集时间段是相同的,以及理论采集设备和实际采集设备均为目标用户终端,则该目标视频流即为上述利用摄像装置采集到的目标对象的视频流信息;否则,该目标视频流为被恶意替换的不可信视频流;
(4)获取在预设时间段内采集到的传感器检测信息;其中,该传感器检测信息可以包括:传感器的三轴姿态角、角速率、和加速度中至少一项;目标用户终端在利用的摄像装置对目标对象进行视频流采集的同时,还利用至少一个预设传感器采集传感器检测信息;
(5)基于获取到的目标视频流中多个指定时间节点对应的多个对象图像帧,确定目标视频流对应的光流变化信息;
(6)基于获取到的各指定时间节点对应的传感器检测信息,确定目标用户终端的位姿变化信息;
(7)根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。
需要说明的是,上述(3)至(7)的过程可以由用户终端来执行,尤其是用户终端中的信息处理模块,还可以有服务器端来执行。
其中,针对基于目标对象的目标视频流确定光流变化信息的过程,上述预设时间段包括多个指定时间节点;其中,该多个指定时间节点可以是按照一定时间间隔对预设时间段进行划分得到的;
对应的,如图3所示,上述S102,确定目标视频流对应的光流变化信息,具体包括:
S1021,获取待识别的目标视频流,其中,该目标视频流包括:多个指定时间节点分别对应的多个包含目标对象的对象图像帧;
其中,针对由服务器端对目标视频流进行可信性识别的情况,目标视频流为目标用户终端上传至服务器端的,以触发服务器端基于该目标视频流进行用户身份验证;
S1022,根据多个指定时间节点下的对象图像帧,确定目标视频流对应的光流变化信息。
具体的,服务器端在接收到目标用户终端上传的目标视频流后,并不是直接基于该目标视频流进行用户身份验证,而是先基于该目标视频流确定对应的光流变化信息,再基于该光流变化信息和由同一预设时间段采集到的传感器检测信息所确定的位姿变化信息,对目标视频流进行可信性识别,在可信性识别结果为目标视频流为实时采集的可信视频流时,基于该目标视频流进行用户身份验证。
具体的,上述S1022,根据多个指定时间节点下的对象图像帧,确定目标视频流对应的光流变化信息,具体包括:
步骤一,将两两相邻的指定时间节点对应的两个对象图像帧确定为图像帧组合;
步骤二,针对每个图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵;
其中,可以采用现有的光流法对目标视频流中的多个对象图像帧进行光流走向分析,得到光流变化信息;具体的,光流法通过给各对象图像帧中的每个像素点赋予一个速度矢量,形成了一个运动矢量场。基于两个相邻的指定时间节点对应的对象图像帧中各像素点的位移方向,得到各像素点的速度矢量特征。根据各像素点的速度矢量特征,确定对应的光流空间运动矩阵。
步骤三,根据各图像帧组合分别对应的光流空间运动矩阵,确定目标视频流对应的光流变化信息。
其中,视频流信息中自然记录的光流是由于用户终端的抖动引起的摄像装置的运动所产生的;光流能够表达图像的变化,进而光流反映了用户终端的抖动幅度。此时,如果同时通过用户终端中的预设传感器采集传感器检测信息,该传感器检测信息中自然记录的空间运动方向也是由于用户终端的抖动引起的预设传感器的运动所产生的,该空间运动方向也能够反映了用户终端的抖动幅度,由于抖动幅度是同步一致的,因此,视频流信息中自然记录的光流方向变化规律与传感器检测信息中自然记录的空间运动方向变化规律具有直接相关性,光流方向变化规律和传感器的空间运动方向变化规律应具有变化一致性。
进一步的,考虑到如果目标对象是相对静止的,例如,目标对象为放置于固定平面上的相关证件,此时视频流信息中自然记录的光流是由于用户终端的抖动引起的摄像装置的运动所产生的。但实际上可能存在目标对象本身也会发生移动的情况,例如,目标对象为用户人脸,此时视频流信息中自然记录的光流不仅是由于用户终端的抖动引起的摄像装置的运动所产生的,还包含因目标本身的移动所引起的光流,如果将因目标本身的移动所引起的光流考虑在内,会影响光流变化信息和位姿变化信息之间的比对信息的准确度,进而降低针对目标视频流的可信性识别结果的准确度;
因此,为了进一步提高针对目标视频流的可信性识别结果的准确度,可以通过从对象图像帧中剔除移动目标所在图像区域,将剔除后的对象图像帧作为确定光流变化信息的基础,对应的,上述步骤二,针对每个图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵,具体包括:
针对每个图像帧组合,对该图像帧组合中的两个对象图像帧进行指定区域剔除,得到剔除后的两个对象图像帧;其中,该指定区域为包含移动目标的图像区域;
利用预设光流法对剔除后的两个对象图像帧进行图像光流信息识别,得到对应的光流空间运动矩阵。
进一步的,考虑到需要将目标视频流的光流变化信息与目标用户终端的位姿变化信息进行比对,来识别目标视频流是否为目标用户终端实时采集的可信视频流信息,为了提高信息比对的准确度和可参考性,因此,需要在同一空间坐标系下确定光流变化信息和位姿变化信息,基于此,上述步骤三,根据各图像帧组合分别对应的光流空间运动矩阵,确定目标视频流对应的光流变化信息,具体包括:
针对每个光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
根据各变换后的光流空间运动矩阵,确定目标视频流对应的光流变化信息。
在一个具体实施例中,如图4所示,给出了视频流识别方法中确定光流变化信息的具体实现原理示意图,具体为:
(1)获取预设时间段内多个指定时间节点分别对应的对象图像帧,例如,对象图像帧1…对象图像帧i…对象图像帧n;
(2)将两两相邻的指定时间节点对应的两个对象图像帧确定为图像帧组合;
(3)针对每个图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵,例如,当前识别的图像帧组合包括:对象图像帧i和对象图像帧i+1,其中,i=1…n-1;
(4)针对每个光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
(5)根据各变换后的光流空间运动矩阵,确定目标视频流对应的光流变化信息。
其中,目标用户终端在利用的摄像装置对目标对象进行视频流采集的同时,还通过至少一个预设传感器采集传感器检测信息,以便基于该传感器检测信息确定目标用户终端的位姿变化信息,具体的,针对基于传感器检测信息确定位姿变化信息的过程,上述预设时间段包括多个指定时间节点;其中,该多个指定时间节点可以是按照一定时间间隔对预设时间段进行划分得到的,即该多个指定时间节点与确定光流变化信息所选用的指定时间节点相同;
对应的,如图5所示,上述S104,确定目标用户终端的位姿变化信息,具体包括:
S1041,获取目标用户终端的至少一个预设传感器在各指定时间节点采集到的传感器检测信息;
其中,针对由服务器端对目标视频流进行可信性识别的情况,传感器检测信息为目标用户终端上传至服务器端的,该传感器检测信息的实际采集时间与目标视频流的理论采集时间相同;
S1042,根据多个指定时间节点下的传感器检测信息,确定目标用户终端的位姿变化信息。
其中,在获取到各指定时间节点分别对应的传感器检测信息后,基于该传感器检测信息,确定各指定时间节点的传感器空间运动信息,进而,确定目标用户终端的位姿变化信息。
具体的,上述S1042,根据多个指定时间节点下的传感器检测信息,确定目标用户终端的位姿变化信息,具体包括:
步骤一,根据两两相邻的指定时间节点对应的传感器检测信息,确定对应的传感器空间运动矩阵;
具体的,基于利用预设传感器采集到的传感器检测信息,对预设传感器的空间状态信息进行识别;根据两两相邻的指定时间节点对应的空间状态信息,确定对应的传感器空间运动矩阵;
步骤二,根据各传感器空间运动矩阵,确定目标用户终端的位姿变化信息。
进一步的,考虑到需要将目标视频流的光流变化信息与目标用户终端的位姿变化信息进行比对,来识别目标视频流是否为目标用户终端实时采集的可信视频流信息,为了提高信息比对的准确度和可参考性,因此,需要在同一空间坐标系下确定光流变化信息和位姿变化信息,基于此,上述步骤二,根据各传感器空间运动矩阵,确定目标用户终端的位姿变化信息,具体包括:
针对每个传感器空间运动矩阵,在预设空间坐标系下,对传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
根据各变换后的传感器空间运动矩阵,确定目标用户终端的位姿变化信息。
在一个具体实施例中,如图6所示,给出了视频流识别方法中确定位姿变化信息的具体实现原理示意图,具体为:
(1)获取预设时间段内多个指定时间节点分别对应的传感器检测信息,例如,传感器检测信息1…传感器检测信息i…传感器检测信息n;
(2)根据两两相邻的指定时间节点对应的传感器检测信息,确定对应的传感器空间运动矩阵,例如,当前识别的检测信息组合包括:传感器检测信息i和传感器检测信息i+1,其中,i=1…n-1;
(3)针对每个传感器空间运动矩阵,在预设空间坐标系下,对传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
(4)根据各变换后的传感器空间运动矩阵,确定目标用户终端的位姿变化信息。
其中,考虑到若目标视频流为实时采集的视频流信息,则目标视频流中自然记录的光流变化方向与传感器检测信息中自然记录的传感器空间运动方向之间应具有方向变化一致性,因此,针对目标视频流的可信性识别过程,如图7所示,上述S106,根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果,具体包括:
S1061,将确定出的光流变化信息与位姿变化信息进行比对,得到相应的光流位姿比对结果;
其中,上述光流位姿比对结果可以包括:光流变化信息与位姿变化信息之间的相对差异比对结果、变化相似性比对结果、或者相对变化趋势比对结果中至少一项。
S1062,判断确定出的光流位姿比对结果是否满足预设变化一致性条件;
其中,该预设变化一致性条件包括:光流位姿相对差异小于预设最大差异阈值、光流位姿变化相似度大于预设最小相似度阈值、或者光流位姿相对变化趋势满足预设趋势走向一致性条件。
若判断结果为是,则S1063,确定目标视频流为实时采集的可信视频流信息;
具体的,若确定光流位姿比对结果满足预设变化一致性条件,则说明目标视频流的理论采集时间段和实际采集时间段是相同的,以及理论采集设备和实际采集设备均为目标用户终端,即目标视频流为在预设时间段内目标用户终端采集到的,因此,目标视频流并未被恶意用户所攻击。
若判断结果为否,则S1064,确定目标视频流为非实时采集的不可信视频流信息;
具体的,若确定光流位姿比对结果不满足预设变化一致性条件,则说明目标视频流的理论采集时间段与实际采集时间段是不同的,即目标视频流的实际采集时间并不是预设时间段,实际采集设备也可能不是目标用户终端,因此,目标视频流可能是恶意用户通过预设视频流攻击手段对实时采集的视频流信息进行替换,所注入的非实时采集的视频流信息。
其中,针对上述光流变化信息包括:预设时间段内的多个光流空间运动矩阵,上述位姿变化信息包括:预设时间段内的多个传感器空间运动矩阵的情况;优选的,该光流空间运动矩阵和传感器空间运动矩阵是在同一空间坐标系下进行坐标系变换得到的;
对应的,上述S1061,将确定出的光流变化信息与位姿变化信息进行比对,得到相应的光流位姿比对结果,具体包括:
将多个光流空间运动矩阵与多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
具体的,光流空间运动矩阵与传感器空间运动矩阵是一一对应的,针对同一相邻的两个指定时间节点而言(即同一指定时间节点组合),分别对应一个光流空间运动矩阵和一个传感器空间运动矩阵,因此,针对每个指定时间节点组合,将对应的光流空间运动矩阵和传感器空间运动矩阵做差值运算,得到该指定时间节点组合对应的光流位姿相对差异;或者,
针对每个指定时间节点组合,将对应的光流空间运动矩阵和传感器空间运动矩阵进行矩阵相似度计算,得到该指定时间节点组合对应的光流位姿变化相似性(例如,矩阵距离);或者,
基于多个光流空间运动矩阵确定第一变化趋势,以及基于多个传感器空间运动矩阵确定第二变化趋势,根据第一变化趋势和第二变化趋势,确定光流位姿相对变化趋势。
进一步的,为了进一步提高目标视频流的可信性识别准确度,可以在将光流变化信息和位姿变化信息进行比对之前,对初始变化信息进行预处理,再将预处理后的光流变化信息和预处理后的位姿变化信息进行比对,基于此,上述将多个光流空间运动矩阵与多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,具体包括:
对多个光流空间运动矩阵和多个传感器空间运动矩阵进行预处理,得到预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵,其中,该预处理包括:平滑滤波、去燥处理、比对起点对齐中至少一项;
将预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
其中,考虑到可能视频流信息的采集时间段和传感器检测信息的采集时间段之间可能存在一定时间延迟,因此,通过将光流变化信息和位姿变化信息的比对起点进行对齐;又考虑到确定出的光流变化信息和位姿变化信息可能存在部分异常点,因此,需要将异常点进行剔除;以及采集到的相关信息可能存在外界噪声干扰,因此,可以对变化信息进行去燥处理;从而进一步提高目标视频流的可信性识别准确度。
具体的,针对光流位姿比对结果的确定过程,可以分析光流空间运动矩阵与传感器空间运动矩阵之间的差值是否小于预设阈值,也可以分析光流空间运动矩阵与传感器空间运动矩阵之间的相对变化趋势是否一致,基于此,上述将预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,具体包括:
针对预设时间段内的两两相邻的指定时间节点,将该两两相邻的指定时间节点对应的预处理后的光流空间运动矩阵与预处理后的传感器空间运动矩阵做相减运算,得到相应的光流位姿比对结果;
或者,
将预处理后的多个光流空间运动矩阵的第一变化趋势和预处理后的多个传感器空间运动矩阵的第二变化趋势进行比对,得到相应的光流位姿比对结果;
其中,第一变化趋势和第二变化趋势可以采用波形曲线来表示,第一变化趋势对应的第一波形曲线的上下幅度表征图像光流变化方向,第二变化趋势对应的第二波形曲线的上下幅度表征传感器的空间运动方向,由于图像光流变化方向和传感器的空间运动方向均是由于目标用户终端的同一抖动所引起的,因此,若第一波形曲线和第二波形曲线的波形上下幅度变化具有一致性,则确定目标视频流为目标用户终端实时采集的可信视频流信息;另外,考虑到可能存在个别异常点、或外界噪声的情况,可以先将第一波形曲线和第二波形曲线进行平滑滤波处理,再比较平滑滤波后的第一波形曲线和第二波形曲线的波形上下幅度是否具有一致性,若波形上下幅度变化具有一致性,则确定目标视频流为目标用户终端实时采集的可信视频流信息。
本说明书一个或多个实施例中的视频流识别方法,确定目标视频流对应的光流变化信息,其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,确定目标用户终端的位姿变化信息,其中,该位姿变化信息是基于目标用户终端在预设时间段内的传感器检测信息确定的;根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
对应上述图1至图7描述的视频流识别方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种视频流识别装置,图8为本说明书一个或多个实施例提供的视频流识别装置的模块组成示意图,该装置用于执行图1至图7描述的视频流识别方法,如图8所示,该装置包括:
光流变化信息确定模块801,其确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,
位姿变化信息确定模块802,其确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的;
视频流可信性识别模块803,其根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
本说明书一个或多个实施例中,通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
可选地,所述预设时间段包括多个指定时间节点;所述光流变化信息确定模块801,其:
获取待识别的目标视频流,其中,所述目标视频流包括:所述多个指定时间节点分别对应的多个包含目标对象的对象图像帧;
根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息。
可选地,所述光流变化信息确定模块801,其:
将两两相邻的所述指定时间节点对应的两个所述对象图像帧确定为图像帧组合;
针对每个所述图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵;
根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
可选地,所述光流变化信息确定模块801,其:
针对每个所述光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
根据各所述变换后的光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
可选地,所述预设时间段包括多个指定时间节点;所述位姿变化信息确定模块802,其:
获取所述目标用户终端的至少一个预设传感器在各所述指定时间节点采集到的传感器检测信息;
根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息。
可选地,所述位姿变化信息确定模块802,其:
根据两两相邻的所述指定时间节点对应的所述传感器检测信息,确定对应的传感器空间运动矩阵;
根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
可选地,所述位姿变化信息确定模块802,其:
针对每个所述传感器空间运动矩阵,在预设空间坐标系下,对所述传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
根据各所述变换后的传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
可选地,所述视频流可信性识别模块803,其:
将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果;
判断所述光流位姿比对结果是否满足预设变化一致性条件;
若判断结果为是,则确定所述目标视频流为实时采集的可信视频流信息;
若判断结果为否,则确定所述目标视频流为非实时采集的不可信视频流信息。
可选地,所述光流变化信息包括:所述预设时间段内的多个光流空间运动矩阵,所述位姿变化信息包括:所述预设时间段内的多个传感器空间运动矩阵;
所述视频流可信性识别模块803,其:
将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
可选地,所述视频流可信性识别模块803,其:
对所述多个光流空间运动矩阵和所述多个传感器空间运动矩阵进行预处理,得到预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵,其中,所述预处理包括:平滑滤波、去燥处理、比对起点对齐中至少一项;
将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
可选地,所述视频流可信性识别模块803,其:
针对所述预设时间段内的两两相邻的指定时间节点,将该两两相邻的指定时间节点对应的预处理后的所述光流空间运动矩阵与预处理后的所述传感器空间运动矩阵做相减运算,得到相应的光流位姿比对结果;
或者,
将预处理后的所述多个光流空间运动矩阵的第一变化趋势和预处理后的所述多个传感器空间运动矩阵的第二变化趋势进行比对,得到相应的光流位姿比对结果。
本说明书一个或多个实施例中的视频流识别装置,确定目标视频流对应的光流变化信息,其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,确定目标用户终端的位姿变化信息,其中,该位姿变化信息是基于目标用户终端在预设时间段内的传感器检测信息确定的;根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
需要说明的是,本说明书中关于视频流识别装置的实施例与本说明书中关于视频流识别方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的视频流识别方法的实施,重复之处不再赘述。
进一步地,对应上述图1至图7所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种视频流识别设备,该设备用于执行上述的视频流识别方法,如图9所示。
视频流识别设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器901和存储器902,存储器902中可以存储有一个或一个以上存储应用程序或数据。其中,存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对视频流识别设备中的一系列计算机可执行指令。更进一步地,处理器901可以设置为与存储器902通信,在视频流识别设备上执行存储器902中的一系列计算机可执行指令。视频流识别设备还可以包括一个或一个以上电源903,一个或一个以上有线或无线网络接口904,一个或一个以上输入输出接口905,一个或一个以上键盘906等。
在一个具体的实施例中,视频流识别设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对视频流识别设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,
确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的;
根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
本说明书一个或多个实施例中,通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
可选地,计算机可执行指令在被执行时,所述预设时间段包括多个指定时间节点;
所述确定目标视频流对应的光流变化信息,包括:
获取待识别的目标视频流,其中,所述目标视频流包括:所述多个指定时间节点分别对应的多个包含目标对象的对象图像帧;
根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息。
可选地,计算机可执行指令在被执行时,所述根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息,包括:
将两两相邻的所述指定时间节点对应的两个所述对象图像帧确定为图像帧组合;
针对每个所述图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵;
根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
可选地,计算机可执行指令在被执行时,所述根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息,包括:
针对每个所述光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
根据各所述变换后的光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
可选地,计算机可执行指令在被执行时,所述预设时间段包括多个指定时间节点;
所述确定所述目标用户终端的位姿变化信息,包括:
获取所述目标用户终端的至少一个预设传感器在各所述指定时间节点采集到的传感器检测信息;
根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息。
可选地,计算机可执行指令在被执行时,所述根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息,包括:
根据两两相邻的所述指定时间节点对应的所述传感器检测信息,确定对应的传感器空间运动矩阵;
根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
可选地,计算机可执行指令在被执行时,所述根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息,包括:
针对每个所述传感器空间运动矩阵,在预设空间坐标系下,对所述传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
根据各所述变换后的传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
可选地,计算机可执行指令在被执行时,所述根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果,包括:
将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果;
判断所述光流位姿比对结果是否满足预设变化一致性条件;
若判断结果为是,则确定所述目标视频流为实时采集的可信视频流信息;
若判断结果为否,则确定所述目标视频流为非实时采集的不可信视频流信息。
可选地,计算机可执行指令在被执行时,所述光流变化信息包括:所述预设时间段内的多个光流空间运动矩阵,所述位姿变化信息包括:所述预设时间段内的多个传感器空间运动矩阵;
所述将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果,包括:
将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
可选地,计算机可执行指令在被执行时,所述将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,包括:
对所述多个光流空间运动矩阵和所述多个传感器空间运动矩阵进行预处理,得到预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵,其中,所述预处理包括:平滑滤波、去燥处理、比对起点对齐中至少一项;
将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
可选地,计算机可执行指令在被执行时,所述将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,包括:
针对所述预设时间段内的两两相邻的指定时间节点,将该两两相邻的指定时间节点对应的预处理后的所述光流空间运动矩阵与预处理后的所述传感器空间运动矩阵做相减运算,得到相应的光流位姿比对结果;
或者,
将预处理后的所述多个光流空间运动矩阵的第一变化趋势和预处理后的所述多个传感器空间运动矩阵的第二变化趋势进行比对,得到相应的光流位姿比对结果。
本说明书一个或多个实施例中的视频流识别设备,确定目标视频流对应的光流变化信息,其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,确定目标用户终端的位姿变化信息,其中,该位姿变化信息是基于目标用户终端在预设时间段内的传感器检测信息确定的;根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
需要说明的是,本说明书中关于视频流识别设备的实施例与本说明书中关于视频流识别方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的视频流识别方法的实施,重复之处不再赘述。
进一步地,对应上述图1至图7所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令,一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,
确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内的传感器检测信息确定的;
根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果。
本说明书一个或多个实施例中,通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述预设时间段包括多个指定时间节点;
所述确定目标视频流对应的光流变化信息,包括:
获取待识别的目标视频流,其中,所述目标视频流包括:所述多个指定时间节点分别对应的多个包含目标对象的对象图像帧;
根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息,包括:
将两两相邻的所述指定时间节点对应的两个所述对象图像帧确定为图像帧组合;
针对每个所述图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵;
根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息,包括:
针对每个所述光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
根据各所述变换后的光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述预设时间段包括多个指定时间节点;
所述确定所述目标用户终端的位姿变化信息,包括:
获取所述目标用户终端的至少一个预设传感器在各所述指定时间节点采集到的传感器检测信息;
根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息,包括:
根据两两相邻的所述指定时间节点对应的所述传感器检测信息,确定对应的传感器空间运动矩阵;
根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息,包括:
针对每个所述传感器空间运动矩阵,在预设空间坐标系下,对所述传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
根据各所述变换后的传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果,包括:
将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果;
判断所述光流位姿比对结果是否满足预设变化一致性条件;
若判断结果为是,则确定所述目标视频流为实时采集的可信视频流信息;
若判断结果为否,则确定所述目标视频流为非实时采集的不可信视频流信息。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述光流变化信息包括:所述预设时间段内的多个光流空间运动矩阵,所述位姿变化信息包括:所述预设时间段内的多个传感器空间运动矩阵;
所述将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果,包括:
将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,包括:
对所述多个光流空间运动矩阵和所述多个传感器空间运动矩阵进行预处理,得到预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵,其中,所述预处理包括:平滑滤波、去燥处理、比对起点对齐中至少一项;
将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,包括:
针对所述预设时间段内的两两相邻的指定时间节点,将该两两相邻的指定时间节点对应的预处理后的所述光流空间运动矩阵与预处理后的所述传感器空间运动矩阵做相减运算,得到相应的光流位姿比对结果;
或者,
将预处理后的所述多个光流空间运动矩阵的第一变化趋势和预处理后的所述多个传感器空间运动矩阵的第二变化趋势进行比对,得到相应的光流位姿比对结果。
本说明书一个或多个实施例中的存储介质存储的计算机可执行指令在被处理器执行时,确定目标视频流对应的光流变化信息,其中,该目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端;以及,确定目标用户终端的位姿变化信息,其中,该位姿变化信息是基于目标用户终端在预设时间段内的传感器检测信息确定的;根据确定出的光流变化信息和位姿变化信息之间的比对信息,确定针对目标视频流的可信性识别结果。通过将基于目标视频流所确定的光流变化信息、与目标用户终端的位姿变化信息进行比对分析,来识别目标视频流是否为针对目标对象进行实时拍摄并上传的视频流信息,从而实现快速识别出使用预存的非实时采集视频流替换实时采集视频流的恶意视频流攻击的情况,以便及时对该恶意视频流攻击所注入的非实时采集视频流进行拦截,提高后续业务处理的准确度。
需要说明的是,本说明书中关于存储介质的实施例与本说明书中关于视频流识别方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的视频流识别方法的实施,重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HD Cal、JHDL(Java Hardware Description Language)、Lava、Lola、My HDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书一个或多个的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书一个或多个的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个的实施例而已,并不用于限制本说明书一个或多个。对于本领域技术人员来说,本说明书一个或多个可以有各种更改和变化。凡在本说明书一个或多个的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书一个或多个的权利要求范围之内。
Claims (24)
1.一种视频流识别方法,包括:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端,所述光流变化信息是基于所述目标视频流中多个对象图像帧进行光流走向分析得到的;以及,
确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内多个指定时间节点下的传感器检测信息分别对应的传感器空间运动信息确定的;
根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果;其中,所述比对信息表征光流变化方向与传感器空间运动方向是否具有方向变化一致性;所述可信性识别结果是基于所述是否具有方向变化一致性的判断结果所确定的。
2.根据权利要求1所述的方法,其中,所述预设时间段包括多个指定时间节点;
所述确定目标视频流对应的光流变化信息,包括:
获取待识别的目标视频流,其中,所述目标视频流包括:所述多个指定时间节点分别对应的多个包含目标对象的对象图像帧;
根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息。
3.根据权利要求2所述的方法,其中,所述根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息,包括:
将两两相邻的所述指定时间节点对应的两个所述对象图像帧确定为图像帧组合;
针对每个所述图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵;
根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
4.根据权利要求3所述的方法,其中,所述根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息,包括:
针对每个所述光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
根据各所述变换后的光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
5.根据权利要求1所述的方法,其中,所述预设时间段包括多个指定时间节点;
所述确定所述目标用户终端的位姿变化信息,包括:
获取所述目标用户终端的至少一个预设传感器在各所述指定时间节点采集到的传感器检测信息;
根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息。
6.根据权利要求5所述的方法,其中,所述根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息,包括:
根据两两相邻的所述指定时间节点对应的所述传感器检测信息,确定对应的传感器空间运动矩阵;
根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
7.根据权利要求6所述的方法,其中,所述根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息,包括:
针对每个所述传感器空间运动矩阵,在预设空间坐标系下,对所述传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
根据各所述变换后的传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
8.根据权利要求1所述的方法,其中,所述根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果,包括:
将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果;
判断所述光流位姿比对结果是否满足预设变化一致性条件;
若判断结果为是,则确定所述目标视频流为实时采集的可信视频流信息;
若判断结果为否,则确定所述目标视频流为非实时采集的不可信视频流信息。
9.根据权利要求8所述的方法,其中,所述光流变化信息包括:所述预设时间段内的多个光流空间运动矩阵,所述位姿变化信息包括:所述预设时间段内的多个传感器空间运动矩阵;
所述将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果,包括:
将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
10.根据权利要求9所述的方法,其中,所述将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,包括:
对所述多个光流空间运动矩阵和所述多个传感器空间运动矩阵进行预处理,得到预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵,其中,所述预处理包括:平滑滤波、去燥处理、比对起点对齐中至少一项;
将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
11.根据权利要求10所述的方法,其中,所述将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果,包括:
针对所述预设时间段内的两两相邻的指定时间节点,将该两两相邻的指定时间节点对应的预处理后的所述光流空间运动矩阵与预处理后的所述传感器空间运动矩阵做相减运算,得到相应的光流位姿比对结果;
或者,
将预处理后的所述多个光流空间运动矩阵的第一变化趋势和预处理后的所述多个传感器空间运动矩阵的第二变化趋势进行比对,得到相应的光流位姿比对结果。
12.一种视频流识别装置,包括:
光流变化信息确定模块,其确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端,所述光流变化信息是基于所述目标视频流中多个对象图像帧进行光流走向分析得到的;以及,
位姿变化信息确定模块,其确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内多个指定时间节点下的传感器检测信息分别对应的传感器空间运动信息确定的;
视频流可信性识别模块,其根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果;其中,所述比对信息表征光流变化方向与传感器空间运动方向是否具有方向变化一致性;所述可信性识别结果是基于所述是否具有方向变化一致性的判断结果所确定的。
13.根据权利要求12所述的装置,其中,所述预设时间段包括多个指定时间节点;所述光流变化信息确定模块,其:
获取待识别的目标视频流,其中,所述目标视频流包括:所述多个指定时间节点分别对应的多个包含目标对象的对象图像帧;
根据所述多个指定时间节点下的所述对象图像帧,确定所述目标视频流对应的光流变化信息。
14.根据权利要求13所述的装置,其中,所述光流变化信息确定模块,其:
将两两相邻的所述指定时间节点对应的两个所述对象图像帧确定为图像帧组合;
针对每个所述图像帧组合,利用预设光流法对该图像帧组合进行图像光流信息识别,得到对应的光流空间运动矩阵;
根据各所述图像帧组合分别对应的所述光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
15.根据权利要求14所述的装置,其中,所述光流变化信息确定模块,其:
针对每个所述光流空间运动矩阵,在预设空间坐标系下,对该光流空间运动矩阵进行坐标系变换,得到变换后的光流空间运动矩阵;
根据各所述变换后的光流空间运动矩阵,确定所述目标视频流对应的光流变化信息。
16.根据权利要求12所述的装置,其中,所述预设时间段包括多个指定时间节点;所述位姿变化信息确定模块,其:
获取所述目标用户终端的至少一个预设传感器在各所述指定时间节点采集到的传感器检测信息;
根据所述多个指定时间节点下的所述传感器检测信息,确定所述目标用户终端的位姿变化信息。
17.根据权利要求16所述的装置,其中,所述位姿变化信息确定模块,其:
根据两两相邻的所述指定时间节点对应的所述传感器检测信息,确定对应的传感器空间运动矩阵;
根据各所述传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
18.根据权利要求17所述的装置,其中,所述位姿变化信息确定模块,其:
针对每个所述传感器空间运动矩阵,在预设空间坐标系下,对所述传感器空间运动矩阵进行坐标系变换,得到变换后的传感器空间运动矩阵;
根据各所述变换后的传感器空间运动矩阵,确定所述目标用户终端的位姿变化信息。
19.根据权利要求12所述的装置,其中,所述视频流可信性识别模块,其:
将所述光流变化信息与所述位姿变化信息进行比对,得到相应的光流位姿比对结果;
判断所述光流位姿比对结果是否满足预设变化一致性条件;
若判断结果为是,则确定所述目标视频流为实时采集的可信视频流信息;
若判断结果为否,则确定所述目标视频流为非实时采集的不可信视频流信息。
20.根据权利要求19所述的装置,其中,所述光流变化信息包括:所述预设时间段内的多个光流空间运动矩阵,所述位姿变化信息包括:所述预设时间段内的多个传感器空间运动矩阵;
所述视频流可信性识别模块,其:
将所述多个光流空间运动矩阵与所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
21.根据权利要求20所述的装置,其中,所述视频流可信性识别模块,其:
对所述多个光流空间运动矩阵和所述多个传感器空间运动矩阵进行预处理,得到预处理后的多个光流空间运动矩阵和预处理后的多个传感器空间运动矩阵,其中,所述预处理包括:平滑滤波、去燥处理、比对起点对齐中至少一项;
将预处理后的所述多个光流空间运动矩阵和预处理后的所述多个传感器空间运动矩阵进行比对,得到相应的光流位姿比对结果。
22.根据权利要求21所述的装置,其中,所述视频流可信性识别模块,其:
针对所述预设时间段内的两两相邻的指定时间节点,将该两两相邻的指定时间节点对应的预处理后的所述光流空间运动矩阵与预处理后的所述传感器空间运动矩阵做相减运算,得到相应的光流位姿比对结果;
或者,
将预处理后的所述多个光流空间运动矩阵的第一变化趋势和预处理后的所述多个传感器空间运动矩阵的第二变化趋势进行比对,得到相应的光流位姿比对结果。
23.一种视频流识别设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端,所述光流变化信息是基于所述目标视频流中多个对象图像帧进行光流走向分析得到的;以及,
确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内多个指定时间节点下的传感器检测信息分别对应的传感器空间运动信息确定的;
根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果;其中,所述比对信息表征光流变化方向与传感器空间运动方向是否具有方向变化一致性;所述可信性识别结果是基于所述是否具有方向变化一致性的判断结果所确定的。
24.一种存储介质,用于存储计算机可执行指令,所述可执行指令在被处理器执行时实现以下方法:
确定目标视频流对应的光流变化信息,其中,所述目标视频流的理论采集时间段为预设时间段且理论采集设备为目标用户终端,所述光流变化信息是基于所述目标视频流中多个对象图像帧进行光流走向分析得到的;以及,
确定所述目标用户终端的位姿变化信息,其中,所述位姿变化信息是基于所述目标用户终端在所述预设时间段内多个指定时间节点下的传感器检测信息分别对应的传感器空间运动信息确定的;
根据所述光流变化信息和所述位姿变化信息之间的比对信息,确定针对所述目标视频流的可信性识别结果;其中,所述比对信息表征光流变化方向与传感器空间运动方向是否具有方向变化一致性;所述可信性识别结果是基于所述是否具有方向变化一致性的判断结果所确定的。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911403318.3A CN111178277B (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
CN202310755955.7A CN116797971A (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911403318.3A CN111178277B (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310755955.7A Division CN116797971A (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178277A CN111178277A (zh) | 2020-05-19 |
CN111178277B true CN111178277B (zh) | 2023-07-14 |
Family
ID=70658298
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310755955.7A Pending CN116797971A (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
CN201911403318.3A Active CN111178277B (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310755955.7A Pending CN116797971A (zh) | 2019-12-31 | 2019-12-31 | 一种视频流识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN116797971A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112967228B (zh) * | 2021-02-02 | 2024-04-26 | 中国科学院上海微系统与信息技术研究所 | 目标光流信息的确定方法、装置、电子设备及存储介质 |
CN112966669A (zh) * | 2021-04-06 | 2021-06-15 | 海南电网有限责任公司儋州供电局 | 一种适用于视频流检测的识别方法 |
CN113850211B (zh) * | 2021-09-29 | 2024-08-23 | 支付宝(杭州)信息技术有限公司 | 注入视频攻击检测方法和装置 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
CN106611157A (zh) * | 2016-11-17 | 2017-05-03 | 中国石油大学(华东) | 一种基于光流定位和滑动窗口检测的多人姿态识别方法 |
WO2017198014A1 (zh) * | 2016-05-19 | 2017-11-23 | 阿里巴巴集团控股有限公司 | 一种身份认证方法和装置 |
CN108537845A (zh) * | 2018-04-27 | 2018-09-14 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
CN109215077A (zh) * | 2017-07-07 | 2019-01-15 | 腾讯科技(深圳)有限公司 | 一种相机姿态信息确定的方法及相关装置 |
CN109387205A (zh) * | 2018-11-30 | 2019-02-26 | 歌尔科技有限公司 | 获取姿态角变化幅度方法、设备及存储介质 |
CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技(深圳)有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
CN109598242A (zh) * | 2018-12-06 | 2019-04-09 | 中科视拓(北京)科技有限公司 | 一种新型的活体检测方法 |
CN110264493A (zh) * | 2019-06-17 | 2019-09-20 | 北京影谱科技股份有限公司 | 一种针对运动状态下的多目标对象追踪方法和装置 |
WO2019191380A1 (en) * | 2018-03-29 | 2019-10-03 | Nio Usa, Inc. | Sensor fusion methods for augmented reality navigation |
CN110378936A (zh) * | 2019-07-30 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 光流计算方法、装置及电子设备 |
CN110415276A (zh) * | 2019-07-30 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 运动信息计算方法、装置及电子设备 |
CN110472458A (zh) * | 2018-05-11 | 2019-11-19 | 深眸科技(深圳)有限公司 | 一种无人店铺秩序管理方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
-
2019
- 2019-12-31 CN CN202310755955.7A patent/CN116797971A/zh active Pending
- 2019-12-31 CN CN201911403318.3A patent/CN111178277B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017198014A1 (zh) * | 2016-05-19 | 2017-11-23 | 阿里巴巴集团控股有限公司 | 一种身份认证方法和装置 |
CN106022263A (zh) * | 2016-05-19 | 2016-10-12 | 西安石油大学 | 一种融合特征匹配和光流法的车辆跟踪方法 |
CN106611157A (zh) * | 2016-11-17 | 2017-05-03 | 中国石油大学(华东) | 一种基于光流定位和滑动窗口检测的多人姿态识别方法 |
CN109215077A (zh) * | 2017-07-07 | 2019-01-15 | 腾讯科技(深圳)有限公司 | 一种相机姿态信息确定的方法及相关装置 |
WO2019191380A1 (en) * | 2018-03-29 | 2019-10-03 | Nio Usa, Inc. | Sensor fusion methods for augmented reality navigation |
CN108537845A (zh) * | 2018-04-27 | 2018-09-14 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
CN110472458A (zh) * | 2018-05-11 | 2019-11-19 | 深眸科技(深圳)有限公司 | 一种无人店铺秩序管理方法及系统 |
CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技(深圳)有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
CN109387205A (zh) * | 2018-11-30 | 2019-02-26 | 歌尔科技有限公司 | 获取姿态角变化幅度方法、设备及存储介质 |
CN109598242A (zh) * | 2018-12-06 | 2019-04-09 | 中科视拓(北京)科技有限公司 | 一种新型的活体检测方法 |
CN110264493A (zh) * | 2019-06-17 | 2019-09-20 | 北京影谱科技股份有限公司 | 一种针对运动状态下的多目标对象追踪方法和装置 |
CN110378936A (zh) * | 2019-07-30 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 光流计算方法、装置及电子设备 |
CN110415276A (zh) * | 2019-07-30 | 2019-11-05 | 北京字节跳动网络技术有限公司 | 运动信息计算方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
Kanav Vats等.Two-Stream Action Recognition in Ice Hockey using Player Pose Sequences and Optical Flows.《2019 16th Conference on Computer and Robot Vision (CRV)》.2019,181-188. * |
黄丹丹.基于稀疏表示的视觉目标跟踪方法研究.《中国博士学位论文全文数据库 信息科技辑》.2017,第2017年卷(第3期),I138-56. * |
Also Published As
Publication number | Publication date |
---|---|
CN111178277A (zh) | 2020-05-19 |
CN116797971A (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178277B (zh) | 一种视频流识别方法及装置 | |
US11423695B2 (en) | Face location tracking method, apparatus, and electronic device | |
CN113095124B (zh) | 一种人脸活体检测方法、装置以及电子设备 | |
CN112800997B (zh) | 一种活体检测方法、装置及设备 | |
Castiglione et al. | Context aware ubiquitous biometrics in edge of military things | |
KR102399017B1 (ko) | 이미지 생성 방법 및 장치 | |
KR20200044171A (ko) | 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치 | |
US20150154455A1 (en) | Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking | |
CN111160251B (zh) | 一种活体识别方法及装置 | |
US11354544B2 (en) | Fingerprint image processing methods and apparatuses | |
CN110738078A (zh) | 一种人脸识别方法及终端设备 | |
CN113850211B (zh) | 注入视频攻击检测方法和装置 | |
US20170099427A1 (en) | Methods and apparatuses for providing improved autofocus using curve-fitting | |
US20130107065A1 (en) | Inertial sensor aided stationary object detection in videos | |
CN111199231B (zh) | 一种图像识别方法及装置 | |
WO2014091667A1 (ja) | 解析制御システム | |
US11315256B2 (en) | Detecting motion in video using motion vectors | |
CN111625297A (zh) | 一种应用程序的显示方法、终端和计算机可读存储介质 | |
Ouanan et al. | Implementation and optimization of face detection frameworkbased on OpenCV library on mobile platforms using Davinci’s technology | |
Hofer et al. | Face to Face with Efficiency: Real-Time Face Recognition Pipelines on Embedded Devices | |
CN109118506A (zh) | 一种确定人眼图像中瞳孔图像边缘点的方法及装置 | |
JP7524980B2 (ja) | 判定方法、判定プログラム、及び情報処理装置 | |
CN109165488B (zh) | 身份鉴别方法及装置 | |
CN117237682A (zh) | 一种证件验证方法、装置、存储介质及电子设备 | |
CN116052287A (zh) | 一种活体检测的方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |