CN106507129A - 一种视频智能回放方法及设备 - Google Patents
一种视频智能回放方法及设备 Download PDFInfo
- Publication number
- CN106507129A CN106507129A CN201610858988.4A CN201610858988A CN106507129A CN 106507129 A CN106507129 A CN 106507129A CN 201610858988 A CN201610858988 A CN 201610858988A CN 106507129 A CN106507129 A CN 106507129A
- Authority
- CN
- China
- Prior art keywords
- video segment
- video
- moving target
- analyzed
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims abstract description 80
- 239000012634 fragment Substances 0.000 claims abstract description 71
- 238000012216 screening Methods 0.000 claims description 25
- 238000010223 real-time analysis Methods 0.000 claims description 19
- 230000001133 acceleration Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 40
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000000284 resting effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101100406307 Pecten maximus odh1 gene Proteins 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种视频智能回放方法及设备,该方法应用于包含多个运动目标的待回放视频中,将待回放视频按照预设时间间隔划分为多个视频片段,若当前视频片段中存在运动目标,则标记当前视频片段与相距运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,获取预测有目标状态的视频片段中存在运动目标的视频片段,并将存在运动目标的视频片段加入播放列表并进行回放,提高了视频分析的速度与准确度,可以针对有运动目标的场景进行选择性播放,对于没有运动目标的场景进行跳过,加快了回放的速度,提升了用户寻找关键目标的体验。
Description
技术领域
本发明涉及视频回放技术领域,特别涉及一种视频智能回放方法及设备。
背景技术
随着图像分析算法的成熟、芯片计算能力的提升,视频智能分析在视频监控领域中的应用越来越广泛,监控领域的智能分析按照算法运行的位置,可以分为前端智能和后端智能两大类。其中,前端智能主要在网络摄像机上运行,后端智能主要在智能服务器、智能NVR等设备上运行。
后端智能的优点是可以选择性能强大的后端芯片执行智能算法,可以有效提高检测指标,实现更多的检测内容,缺点是芯片处理能力一般无法实现针对每路监控视频的实时处理。因此后端智能很多时候是在需要的时候选择对应的视频录像进行事后的分析处理。
后端智能分析一般采用对视频录像I帧依次分析,将包含运动目标的视频前端编码I帧逐帧进行回放,由于实际应用场景中,视频录像一般包含较多内容,即使在多核的智能服务器端也需要较长的时间去进行视频分析,在包含较多无运动目标时间段的视频录像的处理中,浪费了后端智能服务器、智能NVR的处理资源,用户需要等待较长时间才能得到分析处理的结果,对智能业务(特别是对智能检索、智能回放这类实时性要求高的业务)的用户来说,影响使用的效率,降低用户体验。
在现有技术中,为了加快后端智能处理的速度,采用了性能更加强大的处理芯片,来加速后端智能处理的速度,但是性能更加强大的处理芯片随之也会增加设备的成本,在小型的监控网络中,耗费的成本太高与用户期望的性价比相差太大,很难实现。
由此,如何在不对后端智能服务器等的处理芯片改动的情况下,提升后端智能处理的速度已经成为了业界技术人员亟待解决的问题。
发明内容
本发明提供了一种视频智能回放方法及设备,将视频录像划分为多个视频片段,通过筛选出具有运动目标的视频段来进行视频录像的回放,使得对视频录像的分析回放更准确,快速。
本发明还公开了一种视频智能回放方法,所述方法包括:
当接收到视频智能回放请求时,获取待回放视频;
将所述待回放视频按照预设时间间隔划分为多个视频片段,所述视频片段的初始状态为待处理状态;
依次判断所述多个视频片段中是否存在运动目标,若当前视频片段中存在运动目标,标记当前视频片段的状态为有目标状态,并确定所述运动目标的运动持续时长,标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,将状态为有目标状态和预测有目标状态的视频片段加入待分析列表;
获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表;
当所述播放列表中的视频片段数量达到第一预设阈值时,对所述播放列表中的视频片段进行回放。
优选的,依次判断所述多个视频片段中是否存在所述运动目标,具体包括:
将当前视频片段作为待处理视频片段,对所述待处理视频片段中的首个I帧进行解码,判断所述I帧中是否具有运动目标;
若所述待处理视频片段中的首个所述I帧中没有运动目标,则标记所述待处理视频片段为无目标状态,将下一个视频片段作为待处理视频片段;
若所述待处理视频片段中的首个所述I帧中具有运动目标,则标记所述待处理视频片段为有目标状态,将所述最终视频片段后的视频片段作为待处理视频片段。
优选的,若当前视频片段中存在运动目标,则标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,具体为:
根据所述视频片段中的首个I帧和首个P帧来获取所述运动目标的运动速度和运动方向,确定所述运动目标离开所述待回放视频中的视频画面的时间;
根据所述时间确定对应的所述运动目标的最终视频片段,将所述视频片段到所述最终视频片段之间的所有视频片段标记为预测有目标状态。
优选的,设置计数值,所述计数值为所述待分析列表中的待分析视频片段的数量,获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表,具体为:
当所述计数值达到第二预设阈值时,判断所述待分析视频片段是否具有符合筛选条件的运动目标,每进行一次所述待分析视频片段的判断,所述计数值递减一;
若所述待分析视频片段的状态为有目标状态,则将所述视频片段加入所述播放列表;
若所述分析视频片段的状态为预测有目标状态,对所述待分析视频片段首个所述I帧进行解码,进一步判断所述待分析视频片段中是否具有运动目标;
若有,则将所述待分析视频片段加入所述播放列表;
若否,则将所述待分析视频片段标记为无目标状态。
优选的,对所述播放列表中的视频片段进行回放,还包括:
当对所述播放列表中的视频片段进行回放完成后超过预设时长时,若所述播放列表中的视频片段数目仍小于所述第一预设阈值,则确定所述播放列表中最后视频片段在所述待回放视频中的位置,在所述位置对所述待回放视频进行回放。
相应的,本发明还提出了一种视频智能回放设备,其特征在于,所述设备包括:
获取模块,当接收到视频智能回放请求时,获取待回放视频;
初始化模块,将所述待回放视频按照预设时间间隔划分为多个视频片段,所述视频片段的初始状态为待处理状态;
加速分析模块,依次判断所述多个视频片段中是否存在运动目标,若当前视频片段中存在运动目标,标记当前视频片段的状态为有目标状态,并确定所述运动目标的运动持续时长,标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,将状态为有目标状态和预测有目标状态的视频片段加入待分析列表;
实时分析模块,获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表;
播放模块,当所述播放列表中的视频片段数量达到第一预设阈值时,对所述播放列表中的视频片段进行回放。
优选的,所述加速分析模块具体用于:
将当前视频片段作为待处理视频片段,对所述待处理视频片段中的首个I帧进行解码,判断所述I帧中是否具有运动目标;
若所述待处理视频片段中的首个所述I帧中没有运动目标,则标记所述待处理视频片段为无目标状态,将下一个视频片段作为待处理视频片段;
若所述待处理视频片段中的首个所述I帧中具有运动目标,则标记所述待处理视频片段为有目标状态,将所述最终视频片段后的视频片段作为待处理视频片段。
优选的,所述加速分析模块还用于:
根据所述视频片段中的首个I帧和首个P帧来获取所述运动目标的运动速度和运动方向,确定所述运动目标离开所述待回放视频中的视频画面的时间;
根据所述时间确定对应的所述运动目标的最终视频片段,将所述视频片段到所述最终视频片段之间的所有视频片段标记为预测有目标状态。
优选的,设置计数值,所述计数值为所述待分析列表中的待分析视频片段的数量,所述实时分析模块具体用于:
当所述计数值达到第二预设阈值时,判断所述待分析视频片段是否具有符合筛选条件的运动目标,每进行一次所述待分析视频片段的判断,所述计数值递减一;
若所述待分析视频片段的状态为有目标状态,则将所述视频片段加入所述播放列表;
若所述分析视频片段的状态为预测有目标状态,对所述待分析视频片段首个所述I帧进行解码,进一步判断所述待分析视频片段中是否具有所述运动目标;
若有,则将所述待分析视频片段加入所述播放列表;
若否,则将所述待分析视频片段标记为无目标状态。
优选的,所述播放模块还用于:
当对所述播放列表中的视频片段进行播放完成后超过预设时长时,若所述播放列表中的视频片段数目仍小于所述第一阈值,则确定所述播放列表中最后视频片段在所述待回放视频中的位置,在所述位置对所述待回放视频进行回放。
通过应用本发明提出的一种视频智能回放方法,该方法应用于包含多个运动目标的待回放视频中,将待回放视频按照预设时间间隔划分为多个视频片段,若当前视频片段中存在运动目标,则标记当前视频片段与相距运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,获取预测有目标状态的视频片段中存在运动目标的视频片段,并将存在运动目标的视频片段加入播放列表并进行回放,提高了视频分析的速度与准确度,可以针对有运动目标的场景进行选择性播放,对于没有运动目标的场景进行跳过,加快了回放的速度,提升了用户寻找关键目标的体验。
附图说明
图1为本发明实施例提出的一种视频智能回放方法的流程示意图;
图1a为本申请实施例提出的目标速度和方向的平面模型;
图1b为本申请实施例提出的目标视角偏移角的平面模型;
图1c为本申请实施例提出的目标垂直物距模型;
图1d为本申请实施例提出的目标水平物距模型;
图2为本发明具体实施例提出的一种视频智能回放方法的流程示意图;
图3为本发明具体实施例中提出一种视频智能回放设备的结构示意图;
图4为本申请具体实施例中提出的一种加速分析流程示意图;
图5为本申请具体实施例中提出的一种实时分析流程示意图;
图6为本申请具体实施例中提出的一种实施回放流程示意图。
具体实施方式
如背景技术中所述,现有技术中在不改动后端服务器的过程中,通常采用对视频录像I帧依次分析,然后将包含运动目标的视频前端编码I帧逐帧进行回放,如此在服务器端将耗费较长的时间去等待回放,影响了使用体验并降低用户体验。
为此,本发明实施例提出了一种视频智能回放方法,视频录像划分为多个视频片段,通过筛选出具有运动目标的视频段来进行视频录像的回放,使得对视频录像的分析回放更准确,快速。
如图1所示,为本发明实施例提出的一种视频智能回放方法的流程示意图,该方法主要应用于包含有多个运动目标的待回放视频中,运动目标在待分析回放中分别具有对应的持续时间,该方法的具体步骤如下:
步骤101,当接收到视频回放请求时,获取待回放视频。
具体的应用场景中,当智能处理服务器端接收到视频回放请求时,读取视频回放请求中的待回放视频,同时也可以是,智能处理服务器已经存储了视频录像,当接收到视频回放请求时,获取视频回放请求中的视频编号或时间等,服务器根据视频编号或时间等数据进行待回放视频的读取,将其加入自身的处理任务中,进行智能回放任务。
步骤102,将待回放视频按照预设时间间隔划分为多个视频片段,视频片段的初始状态为待处理状态。
视频监控中的运动目标一般具有一定的持续性,因此有效运动目标都会在视频录像的画面张出现一个持续的时间段,运动目标在相邻的I帧之间的画面变动是不大的,为了加快对视频录像的分析回放,所以采用对待回放视频进行划分,划分的标准一般以不影响视频的分析为准,例如包含相邻的几个画面差距不大的I帧即可。
在本步骤中,按照预设的时间间隔来对待回放视频进行划分,将待回放视频划分为多个视频片段,视频片段之间的时间间隔一般以I帧间隔的1-2倍,具体时间间隔的按照实际的应用场景进行划分,该视频片段为多个I帧组,在该视频片段中,I帧之间的画面变化不会造成运动目标的丢失,每个视频片段包含一个状态信息,初始视频片段的状态信息为待处理状态。
需要说明的是,在具体的应用场景中,本申请的方案多应用于后端智能服务器中,在智能服务器中往往具有多核处理器,多任务并行处理,例如在四核的服务器中,可以同时支持4路处理视频片段,为了保证视频片段的有序性,可以定义联系的K个视频片段为一个视频单元,K一般取值60或120,定义视频单元的目的是便于并行执行多路智能分析任务,以达到加速分析的效果,对视频片段的划分方式,并不会影响本发明的保护范围,为了方便说明,在以下的本申请实施例的技术方案描述过程中,只对服务器单核处理器支持的多线程并发处理的情况(需要说明的是,多线程并发处理指的是在同一时间内只对单个任务进行处理,只是在不同的时间间隔对多个线程进行处理,并不等同于多任务并行处理,需要与多核处理器多线程并行处理任务进行区分),以将待回放视频划分为视频片段的方式为基础进行描述。
步骤103,依次判断视频片段中是否存在运动目标,若当前视频片段中存在运动目标,则标记当前视频片段为有目标状态,并确定运动目标的运动持续时长,标记当前视频片段与相距运动目标持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,将所述状态为有目标状态和预测有目标状态的视频片段加入待分析列表。
在描述本步骤之前,先对视频压缩的方式进行说明,在视频压缩中,每帧代表一幅图像画面,在实际压缩中,一般采用IP编码模式,即一个I帧组中包含一个I帧和若干个P帧,其中,I帧是关键帧,为一幅画面的完整保留,解码时只需要I帧数据就可以完成。
由于I帧中包含了完整画面,所以在对视频片段的分析过程中,对I帧进行解码,判断I帧相对于录像画面的初始画面是否发生变化,就可以判断该视频片段中是否存在运动目标。
在对视频录像的回放过程中,首先要对视频录像进行筛选,筛选出具有有效运动目标的视频片段来进行播放,在本步骤中,按照视频片段的时间顺序来对视频片段依次进行判断,判断方式具体为对当前视频片段首个I帧进行分析,如果I帧中图像相对于初始画面图像发生变化,即存在满足筛选条件的运动目标,如果I帧中图像相对于初始画面未发生变化,则表示不存在满足筛选条件的运动目标。
需要说明的是,在上述的满足筛选条件的运动目标中的筛选条件,可以是画面发生变化,有物体发生运动,这些相对于初始画面发生变化的条件,也可以人为的设定一些特定条件,例如只关注车辆行驶忽略行人移动,只关注周围环境变化等等,这些筛选条件的变化不会对本申请的保护范围产生影响。
在本申请的优选实施例中,根据分析的视频片段的不同,具体分为以下两种情况:
情况一:若当前视频片段中的首个I帧不存在满足筛选条件的运动目标,则将该视频片段标记为无目标状态,执行分析判断下一个视频片段;
情况二:若当前视频片段中的首个I帧存在满足筛选条件的运动目标,则将该视频片段标记为有目标状态;
对于上述情况一,在对视频片段的分析过程中,对当前的视频片段的首个I帧进行判断,若当前视频片段中的首个I帧不存在满足筛选条件的运动目标,则将该视频片段标记为无目标状态,将下一个视频片段作为待处理片段并进行分析判断,依此类推,依次对待回放视频中的多个视频片段进行分析判断,直到分析到存在运动目标的视频片段;
针对于上述情况二中,存在运动目标,而运动目标则会在待回放视频中持续运动一段时间,为了快速的完成对待回放视频的快速分析回放,所以采用了根据运动目标的运动信息预测该运动目标的运动持续时间,直接进行获取与当前视频片段相隔运动持续时间的视频片段。
若当前视频片段中的首个I帧存在满足筛选条件的运动目标,将当前视频片段标记为有目标状态后,获取当前视频片段的首个P帧,进行分析,获取该P帧中相对于首个I帧中运动目标移动的距离以及移动方向,根据相邻首个I帧与首个P帧之间的时间间隔,确定运动目标的移动速度,估算其运动出视频画面的时间,去最晚的那个运动结束时间为最终结束时间,并找到该帧所属视频片段,将该视频片段定义为最终视频片段,将当前视频片段到最终视频片段之间的所有视频片段标记为预测有目标状态,将状态为有目标状态和预测有目标状态的视频片段加入待分析列表中。
在具体的应用场景中,如前述方法中,将视频片段作为待处理视频片段,在情况二中,存在运动目标,则获取预测有目标的最终视频,将最终视频片段后的一个视频片段作为待处理视频片段,继续进行分析判断,如此依次对待回放视频片段中的多个视频片段进行分析判断。
需要说明的是,为了准确获取运动目标的移动速度以及移动方向,本申请的实施例中采用了获取I帧与P帧的方法来进行计算运动目标的移动信息,同时也可以获取当前视频片段中的下一个I帧来进行计算,采用I帧与P帧或双I帧来获取运动目标移动信息,二者的计算方式与结果获取略有差异,可以根据实际的应用场景来进行选择,不会影响本发明的保护范围。
由于视频录像画面的分析中,往往会受到摄像机的高度,以及倾斜角度等因素的影响,以下对预测运动目标离开画面时间的方法进行详细描述:
1)如图1a所示,为本申请实施例提出的目标速度和方向的平面模型,假设目标进入画面的时间是T1。
通过执行两次运动目标检测,即分析视频片段中的首个I帧及P帧,获取目标的两个连续的运动位置P1和P2。
假定运动目标的速度为V1运动方向为DT,根据P1和P2的坐标x1,y1,x2,y2,计算以像素为单位的目标水平和垂直运动速度V1x和V1y,同时计算目标水平和垂直运动方向Dx和Dy。
根据V1和DT,计算目标离开画面的位置P3。
根据摄像机安装高度H、摄像机倾斜角度Ang、P1坐标、P3坐标,分别计算P1点和P3点的水平和垂直物距ODW1,ODH1,ODW3,ODH3。
假设速度和物距成反比,按照下面公式预估P3位置时的水平和垂直速度V3x和V3y:
V3x=V1x*ODW1/ODW3;
V3y=V1y*ODH1/ODH3;
取V1x和V3x的平均值作为目标的平均水平速度Vavgx。
取V1y和V3y的平均值作为目标的平均垂直速度Vavgy。
根据目标平均速度Vavgx和Vavgy、P1坐标x1和y1、P3坐标x3和y3,计算目标在画面中的运行时间T2。
根据目标的运行时间T2、采集编码的帧间隔时间T1,计算目标离开画面的时间T3=T1+T2。
2)计算目标物距的方法
预先获取摄像机的安装信息,包括摄像机安装高度H、摄像机倾斜角度Ang。
预先获取摄像机的水平和垂直视角VAV、VAH,预先获取画面的宽度PW和高度PH。以图1b所示,本申请实施例提出的目标视角偏移角的平面模型,假设画面左下角为原点坐标,待分析目标坐标为x,y。
计算目标的水平偏移视角VAVoff和垂直偏移视角VAHoff(相对于画面中心位置的偏移角度)。
VAVoff=VAV*(x-W/2)/PW;
VAHoff=VAH*(y-H/2)/PH;
以图1c所示,为本申请实施例提出的目标垂直物距模型,计算目标垂直物距ODH。
ODH=H/COS((Ang+VAHoff)*PI/180);
以图1d所示,为本申请实施例提出的目标水平物距模型,下面计算目标水平物距ODW。
ODW=ODH*TAN(ABS(VAWoff)*PI/180);
步骤104,获取待分析列表中的视频片段中存在所述运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表。
为了达到快速分析视频片段的目的,在估算了运动目标持续的时间后,获取到的预测有目标状态的视频片段会存在一定的误差,需要进一步地进行分析这些视频片段中是否存在运动目标。
本申请优选实施例中,通过设置第二计数值,统计包含首尾的当前视频片段到最终视频片段之间所有的视频片段数目,将第二计数值递增P,定义状态为待分析列表中有目标状态和预测有目标状态的视频片段为待分析视频片段,第二计数值的大小则为待分析列表中的视频片段的数量和。
为了保证分析的实时性,当第二计数值达到第二预设阈值时,对待分析视频片段进行实时分析,每进行一次待分析视频片段的分析,第二计数值减一,根据待分析视频片段的状态不同,具体有如下几种情况:
1)如果待分析视频片段状态为有目标状态,则将当前视频片段加入播放列表,然后执行分析下一个待分析视频片段;
2)如果待分析视频片段状态为无目标状态,则执行分析下一个待分析视频片段;
3)如果待分析视频片段状态为预测有目标状态,则对当前待分析视频片段调用解码模块对其进行首个I帧解码,判断是存在满足筛选条件的运动目标,若在满足筛选条件的运动目标,则将当前待分析视频片段加入播放列表,若不存在满足筛选条件的运动目标,则将当前待分析视频片段设置为无目标状态,执行分析下一个待分析视频片段。
步骤105,当播放列表中的视频片段数量达到第一预设阈值时,对播放列表中的视频片段进行回放。
经过前述步骤的分析,播放列表中的视频片段均为存在运动目标的视频片段,针对有运动目标的场景,按照正常速度回放,对于没有运动目标的场景加速回放或者直接跳过,这样就可以提高回放的速度,初始加入播放列表中的视频片段状态未待播放状态,当播放列表中待播放状态的视频片段数量大于第一阈值时,对播放列表中待播放的视频片段进行播放,并将其标记为已处理状态。
在具体的应用场景中,在播放列表中待播放的视频片段播放完毕后,可能会存在很长一段时间内没有新的视频片段加入播放列表,此时若停止播放则会影响用户的体验,故在本申请的优选实施例中,采用了当对播放列表中待播放的视频片段进行播放完成后,在预设时长内播放列表中待播放的视频片段的数目仍小于第一预设阈值,则从播放列表中最后视频片段的位置继续对待回放视频进行播放,这样不会造成视频回放过程中的卡屏及断层现象,当播放列表中待播放的视频片段数目再次超过第一预设阈值时,重新从播放列表中待播放视频片段处进行待回放视频的播放。
通过应用本发明实施例提出的一种视频智能回放方法,该方法应用于包含多个运动目标的待回放视频中,将待回放视频按照预设时间间隔划分为多个视频片段,若当前视频片段中存在运动目标,则标记当前视频片段与相距运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,获取预测有目标状态的视频片段中存在运动目标的视频片段,并将存在运动目标的视频片段加入播放列表并进行回放,提高了视频分析的速度与准确度,可以针对有运动目标的场景进行选择性播放,对于没有运动目标的场景进行跳过,加快了回放的速度,提升了用户寻找关键目标的体验。
为了进一步阐述本发明的技术思想,现结合具体的应用场景,对本发明的技术方案进行说明。
如图2所示,为本申请具体实施例提出的一种视频智能回放方法的流程示意图,该方法应用于包含多个具有持续时间的运动目标的视频中。
预先设置初始化计数值C,C的值为0,初始化阈值T,T按照实际的情况进行设置,一般为5或10,初始化标识RealFlag和PlayFlag为0,RealFlag为0时关闭实时分析过程,RealFlag为1启动实时分析流程,PlayFlag为0时关闭回放流程,PlayFlag为1时启动回放流程,初始化PrealOriPos 0,PrealOriPos为数据的存储位置。
该方法的具体步骤为:
步骤201,将待回放视频划分为多个视频片段;
具体的,在一个待回放视频录像中,定义运动目标最小持续时间为ODTmin,将ODTmin设置为前端编码I帧间隔时间的倍数,ODTmin一般可以设置为I帧间隔时间的1-2倍,利用ODTmin将待回放视频划分为多个视频片段。
每个视频片段包含一个状态信息,有效状态包括:待分析状态、有目标状态、预测有目标状态、无目标状态,初始化所有的视频片段都处于待分析状态。
例如,若该处理芯片为4核处理芯片,可以同时支持4线程并行处理,在处理的过程中,4个线程同步对视频片段进行分析,就需要将视频片段划分为连续的视频单元,在实际应用中,同时对4个视频单元进行处理分析,当需要进一步分析的视频单元达到预设数量,改为3核处理分析,单核处理待进一步分析视频单元,依次类推,可以灵活对当前任务进行处理资源的分配。
在多核处理器上才需要用到视频单元的划分,在单核处理器上,不需要用到视频单元的划分,但是会用到多线程,即线程1执行加速分析、线程2执行实时分析、线程3执行回放处理。这三个线程共享单核的处理能力,且线程2并不是一直运行的,当没有视频片段待分析时,就会进入休眠状态,让出cpu性能给线程1运行,当有视频片段可分析时,会被线程1唤醒,重新执行实时分析。
步骤202,对视频片段开始进行加速分析。
具体的,从已经划分好视频片段的待回放视频中的首个视频片段开始进行加速分析,对当前待分析视频片段首个I帧进行智能分析,根据智能分析结果做如下处理,会有具体以下两种情况:
情况一、如果检测到该帧存在满足筛选条件的运动目标,则标记当前视频片段的所有帧为有目标状态;
情况二、如果检测到该帧不存在满足筛选条件的运动目标,则标记当前视频片段的所有帧为无目标状态。
针对上述情况一,当检测到满足筛选条件的运动目标,则获取当前视频片段中的首个P帧,执行智能加速分析,针对所有运动目标估计其运动速度和运动方向,预测所有目标的离开画面时间,取最晚的那个运动结束时间作为最终结束时间,并找到该帧所属的视频片段(将该视频片段定义为最终视频片段),将当前视频片段到最终视频片段之间的所有帧标记为预测有目标状态,统计包含首尾视频片段的视频片段总数目P,同时将计数值C递增P。
如果当前视频片段或最终视频片段后面还有待处理的视频片段,将该视频片段作为待分析视频片段,如果当前视频片段或最终视频片段后面均没有待处理的视频片段,则结束加速分析流程。
将预测有目标状态以及有目标状态的视频片段放入待实时分析列表中,当计数值C大于预设阈值T时,如果RealFlag为0,执行步骤203。
步骤203,对状态为待实时分析的视频片段进行实时分析。
具体的,标记RealFlag为1,根据当前视频片段状态执行如下处理:
A)如果状态为有目标状态,则将当前视频片段加入播放列表;
B)如果状态为预测有目标状态,对当前视频片段首个I帧调用解码模块对其解码,并执行分析任务,如果有满足筛选条件的运动目标,设置当前视频片段为无目标状态;
C)如果状态为无目标状态,则进行下一步操作;
D)如果状态为待分析状态,则设置标识RealFlag为0,结束实时分析流程。
在对当前视频片段进行上述处理后,计数值C递减,RealOriPos递增,寻找当前视频片段的下一个视频片段,如果还有下一个视频片段,则获取下一个视频片段的状态信息,重新开始实时分析,如果没有下一个视频片段,则结束处理流程。
步骤204,对播放列表中的视频片段进行回放。
具体的,当播放列表中有视频片段时,启动回放任务流程。设置RealFlag为1,获取播放列表中的视频片段作为当前处理视频片段,对当前视频片段进行处理播放。
当对播放列表中待播放的视频片段进行播放完成后,在预设时长内播放列表中待播放的视频片段的数目仍小于第一预设阈值,则从播放列表中最后视频片段的位置继续对待回放视频进行回放,此时按照当前视频片段的状态来进行选择性播放,具体处理如下:
A)如果当前视频片段为有目标状态,则按照帧间隔依次播放当前视频片段的视频帧;
B)如果当前视频片段为无目标状态,则丢弃该视频片段;
C)如果当前视频片段为待处理状态,则按照帧间隔依次播放但其视频片段的视频帧。
在执行完上述步骤后,获取下一个视频片段,如果没有下一个视频片段,则设置PlayFlag为0,结束回放流程,如果有下一个视频片段,则设置下一个视频片段为当前处理视频片段,则重新执行回放任务。
通过应用本发明具体实施例提出的一种视频智能回放方法,该方法应用于包含多个运动目标的待回放视频中,将待回放视频按照预设时间间隔划分为多个视频片段,若当前视频片段中存在运动目标,则标记当前视频片段与相距持续时间后的最终视频片段之间所有的视频片段为预测有目标状态,获取预测有目标状态的视频片段中存在运动目标的视频片段,并将存在运动目标的视频片段加入播放列表并进行回放,提高了视频分析的速度与准确度,可以针对有运动目标的场景进行选择性播放,对于没有运动目标的场景进行跳过,加快了回放的速度,提升了用户寻找关键目标的体验。
相应的,基于与上述相同的技术思路,本发明还提出了一种视频智能回放设备,如图3所示,为本申请具体实施例提出的一种视频智能回放设备的机构示意图,该设备应用于包含多个运动目标的待回放视频中,所述运动目标在所述待回放视频中分别具有对应的持续时间,所述设备包括:
获取模块31,当接收到视频智能回放请求时,获取待回放视频;
初始化模块32,将所述待回放视频按照预设时间间隔划分为多个视频片段,所述视频片段的初始状态为待处理状态;
加速分析模块33,依次判断所述多个视频片段中是否存在运动目标,若当前视频片段中存在运动目标,标记当前视频片段的状态为有目标状态,并确定所述运动目标的运动持续时长,标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,将状态为有目标状态和预测有目标状态的视频片段加入待分析列表;
实时分析模块34,获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表;
播放模块35,当所述播放列表中的视频片段数量达到第一预设阈值时,对所述播放列表中的视频片段进行回放。
在具体的应用场景中,所述加速分析模块33具体用于:
将当前视频片段作为待处理视频片段,对所述待处理视频片段中的首个I帧进行解码,判断所述I帧中是否具有运动目标;
若所述待处理视频片段中的首个所述I帧中没有运动目标,则标记所述待处理视频片段为无目标状态,将下一个视频片段作为待处理视频片段;
若所述待处理视频片段中的首个所述I帧中具有运动目标,则标记所述待处理视频片段为有目标状态,将所述最终视频片段后的视频片段作为待处理视频片段。
在具体的应用场景中,,所述加速分析模块33还用于:
根据所述视频片段中的首个I帧和首个P帧来获取所述运动目标的运动速度和运动方向,确定所述运动目标离开所述待回放视频中的视频画面的时间;
根据所述时间确定对应的所述运动目标的最终视频片段,所述视频片段到所述最终视频片段之间的所有视频片段标记为预测有目标状态。
在具体的应用场景中,,设置计数值,所述计数值为所述待分析列表中的待分析视频片段的数量,所述实时分析模块34具体用于:
当所述计数值达到第二预设阈值时,判断所述待分析视频片段是否具有符合筛选条件的运动目标,每进行一次所述待分析视频片段的判断,所述计数值递减一;
若所述待分析视频片段的状态为有目标状态,则将所述视频片段加入所述播放列表;
若所述分析视频片段的状态为预测有目标状态,对所述待分析视频片段首个所述I帧进行解码,进一步判断所述待分析视频片段中是否具有运动目标;
若有,则将所述待分析视频片段加入所述播放列表;
若否,则将所述待分析视频片段标记为无目标状态。
在具体的应用场景中,所述播放模块35还用于:
当对所述播放列表中的视频片段进行回放完成后超过预设时长时,若所述播放列表中的视频片段数目仍小于所述第一预设阈值,则确定所述播放列表中最后视频片段在所述待回放视频中的位置,在所述位置对所述待回放视频进行播放。
通过应用本发明实施例提出的一种视频智能回放设备,该设备应用于包含多个运动目标的待回放视频中,将待回放视频按照预设时间间隔划分为多个视频片段,若当前视频片段中存在运动目标,则标记当前视频片段与相距运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,获取预测有目标状态的视频片段中存在运动目标的视频片段,并将存在运动目标的视频片段加入播放列表并进行回放,提高了视频分析的速度与准确度,可以针对有运动目标的场景进行选择性播放,对于没有运动目标的场景进行跳过,加快了回放的速度,提升了用户寻找关键目标的体验。
以下对上述具体实施例中提出了一种智能视频回放设备做进一步的说明,在本具体实施例中的智能视频回放设备中,包括初始化模块、加速分析模块IA_Macc、实时分析模块IA_Mreal、回放模块IA_Playback,以下对具体模块的功能进行说明:
假设后端智能芯片能够针对1路视频录像实现N倍速智能分析,即存在多核处理器,可以支持多任务并行处理。
初始化模块,将待回放视频按照预设时间间隔划分为多个视频片段,定义连续K个视频片段为一个视频单元;
加速分析模块,从首个视频单元开始并行的执行加速分析任务;
实时分析模块,根据加速分析模块的分析结果,选择合适的视频单元逐帧执行分析任务,提供回放帧信息给实时回放模块实现回放任务;
回放模块:对播放列表中的回放帧进行播放,执行实时回放任务。
以下对四个模块运行的调度策略进行描述(以下为了便于描述,以智能芯片单核处理器的情况为基础进行说明,即在初始化模块将待回放视频划分为视频片段):
1)当接收到智能分析的请求时,首先运行初始化模块,将自身接收到的待回放视频按照预设时间间隔划分为多个视频片段;
2)当初始化模块运行完成后,启动智能分析,运行加速分析模块IA_Macc,实时分析模块IA_Mreal、回放模块IA_Playback进入休眠状态等待被唤醒;
3)当处于有目标状态或预测有目标状态的视频片段数量大于阈值T1时,唤醒实时分析模块IA_Mreal执行实时分析任务;
4)当处于回放列表中回放帧数据大于等于阈值T2时,唤醒实时回放模块IA_Playback执行实时回放任务;
5)当实时分析模块IA_Mreal没有视频片段可处理时,将会进入休眠状态等待被唤醒。
其中,初始化计数值C为0,初始化阀值T1,T2均为一个合理的值,比如5或10,初始化RealOriPos为0,初始化标志RealFlag和PlayFlag为0。
对于上述步骤2)中的加速分析流程,如图4所示,为本申请具体实施例中提出的一种加速分析流程示意图,具体步骤如下:
S401,取首个视频片段作为当前待分析视频片段;
S402,分析标志RealFlag和计数值C,如果标志RealFlag为0且计数值C大于等于T时,则唤醒实时分析模块;
S403,对当前待回放视频片段首个I帧进行智能分析,根据智能分析结果做如下处理:
如果该帧检测到满足筛选条件的运动目标,则标记当前视频片段的所有帧为有目标状态,执行S404;
如果该帧没有检测到满足筛选条件的运动目标,则标记当前视频片段的所有帧为无目标状态,执行S407;
S404,获取当前视频片段中的首个P帧,执行智能分析,针对所有运动目标估计其运动速度和运动方向,预测所有目标的离开画面时间;
S405,取最晚的那个运动结束时间作为最终结束时间,并找到该帧所属的视频片段(定义为最终视频片段),将当前视频片段到最终视频片段(包括首尾两个视频片段)之间的所有帧标记为预测有目标状态,统计包含首尾视频片段的视频片段总数目P,同时将计数值C递增P(C=C+P);
S406,如果最终视频片段后面还有待处理的视频片段,执行S408;否则执行步骤S409;
S407,如果当前视频片段后面还有待处理的视频片段,执行S408;否则执行步骤S409。
S408,将该视频片段作为待分析视频片段,执行S402;
S409,结束分析流程。
对于上述步骤3)中的实时分析流程,如图5所示,为本申请具体实施例中提出的一种实时分析流程示意图,具体步骤如下:
S501,设置标志RealFlag为1,从RealOriPos获取首个待实时分析的视频片段的状态信息;
S502,如果标志PlayFlag为0,且播放列表中帧数目大于等于T2,唤醒实时回放模块:
S503,根据当前视频片段状态信息执行如下处理:
如果视频片段的状态为有目标状态,则将当前视频片段加入播放列表,执行S505;
如果视频片段的状态为无目标状态,则执行S505;
如果视频片段的状态为预测有目标状态,则执行S504;
如果视频片段的状态为待分析状态,则设置标志RealFlag为0,进入休眠等待状态,结束分析流程;
S504,对当前视频片段首个I帧调用解码模块对其解码,并执行分析任务:
如果有满足筛选条件的运动目标,设置当前视频片段为有目标状态,则将当前视频片段加入播放列表,执行S505;
如果没有满足筛选条件的运动目标,设置当前视频片段为无目标状态,执行S505;
S505,计数值C递减,RealOriPos递增,寻找当前视频片段的下一个视频片段:
如果还有下一个视频片段,则获取下一个视频片段的状态信息,执行S502;
如果没有下一个视频片段,则结束处理流程;
对于上述步骤3)中的实时回放流程,当对播放列表中待播放的视频片段进行播放完成后,在预设时长内播放列表中待播放的视频片段的数目仍小于第一阈值,则从播放列表中最后视频片段的位置继续对待回放视频进行播放,此时按照当前视频片段的状态来进行选择性播放,当如图6所示,为本申请具体实施例中提出的一种实施回放流程示意图,具体步骤如下:
S601,设置标志PlayFlag为1,获取一个视频片段作为当前处理视频片段;
S602,按照当前视频片段的状态处理如下:
如果当前视频片段为有目标状态,则按照帧间隔依次播放当前视频片段的视频帧,执行S603;
如果当前视频片段为无目标状态,则直接执行步骤S603;
如果当前视频片段为待处理状态,则按照帧间隔依次播放当前视频片段的视频帧,执行S603;
S603,获取下一个视频片段:
如果没有下一个视频片段,则设置PlayFlag为0,结束回放流程;
如果有下一个视频片段,则设置下一个视频片段为当前处理视频片段,执行S602。
由此可见,通过应用本申请的技术方案,将待回放视频按照预设时间间隔划分为多个视频片段,若当前视频片段中存在运动目标,则标记当前视频片段与相距持续时间后的最终视频片段之间所有的视频片段为预测有目标状态,获取预测有目标状态的视频片段中存在运动目标的视频片段,并将存在运动目标的视频片段加入播放列表并进行回放,提高了视频分析回放的速度与准确度,可以针对有运动目标的场景进行选择性播放,对于没有运动目标的场景进行跳过,加快了回放的速度,提升了用户寻找关键目标的体验。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本发明的几个具体实施场景,但是,本发明并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
Claims (10)
1.一种视频智能回放方法,其特征在于,所述方法包括:
当接收到视频智能回放请求时,获取待回放视频;
将所述待回放视频按照预设时间间隔划分为多个视频片段,所述视频片段的初始状态为待处理状态;
依次判断所述多个视频片段中是否存在运动目标,若当前视频片段中存在运动目标,标记当前视频片段的状态为有目标状态,并确定所述运动目标的运动持续时长,标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,将状态为有目标状态和预测有目标状态的视频片段加入待分析列表;
获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表;
当所述播放列表中的视频片段数量达到第一预设阈值时,对所述播放列表中的视频片段进行回放。
2.如权利要求1所述的方法,其特征在于,依次判断所述多个视频片段中是否存在所述运动目标,具体包括:
将当前视频片段作为待处理视频片段,对所述待处理视频片段中的首个I帧进行解码,判断所述I帧中是否具有运动目标;
若所述待处理视频片段中的首个所述I帧中没有运动目标,则标记所述待处理视频片段为无目标状态,将下一个视频片段作为待处理视频片段;
若所述待处理视频片段中的首个所述I帧中具有运动目标,则标记所述待处理视频片段为有目标状态,将所述最终视频片段后的视频片段作为待处理视频片段。
3.如权利要求1所述的方法,其特征在于,若当前视频片段中存在运动目标,则标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,具体为:
根据所述视频片段中的首个I帧和首个P帧来获取所述运动目标的运动速度和运动方向,确定所述运动目标离开所述待回放视频中的视频画面的时间;
根据所述时间确定对应的所述运动目标的最终视频片段,将所述视频片段到所述最终视频片段之间的所有视频片段标记为预测有目标状态。
4.如权利要求3所述的方法,其特征在于,设置计数值,所述计数值为所述待分析列表中的待分析视频片段的数量,获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表,具体为:
当所述计数值达到第二预设阈值时,判断所述待分析视频片段是否具有符合筛选条件的运动目标,每进行一次所述待分析视频片段的判断,所述计数值递减一;
若所述待分析视频片段的状态为有目标状态,则将所述视频片段加入所述播放列表;
若所述分析视频片段的状态为预测有目标状态,对所述待分析视频片段首个所述I帧进行解码,进一步判断所述待分析视频片段中是否具有运动目标;
若有,则将所述待分析视频片段加入所述播放列表;
若否,则将所述待分析视频片段标记为无目标状态。
5.如权利要求1所述的方法,其特征在于,对所述播放列表中的视频片段进行回放,还包括:
当对所述播放列表中的视频片段进行回放完成后超过预设时长时,若所述播放列表中的视频片段数目仍小于所述第一预设阈值,则确定所述播放列表中最后视频片段在所述待回放视频中的位置,在所述位置对所述待回放视频进行回放。
6.一种视频智能回放设备,其特征在于,所述设备包括:
获取模块,当接收到视频智能回放请求时,获取待回放视频;
初始化模块,将所述待回放视频按照预设时间间隔划分为多个视频片段,所述视频片段的初始状态为待处理状态;
加速分析模块,依次判断所述多个视频片段中是否存在运动目标,若当前视频片段中存在运动目标,标记当前视频片段的状态为有目标状态,并确定所述运动目标的运动持续时长,标记当前视频片段与相距所述运动持续时长后的最终视频片段之间所有的视频片段为预测有目标状态,将状态为有目标状态和预测有目标状态的视频片段加入待分析列表;
实时分析模块,获取所述待分析列表中存在运动目标的视频片段,并将所述存在运动目标的视频片段加入播放列表;
播放模块,当所述播放列表中的视频片段数量达到第一预设阈值时,对所述播放列表中的视频片段进行回放。
7.如权利要求6所述的设备,其特征在于,所述加速分析模块具体用于:
将当前视频片段作为待处理视频片段,对所述待处理视频片段中的首个I帧进行解码,判断所述I帧中是否具有运动目标;
若所述待处理视频片段中的首个所述I帧中没有运动目标,则标记所述待处理视频片段为无目标状态,将下一个视频片段作为待处理视频片段;
若所述待处理视频片段中的首个所述I帧中具有运动目标,则标记所述待处理视频片段为有目标状态,将所述最终视频片段后的视频片段作为待处理视频片段。
8.如权利要求6所述的设备,其特征在于,所述加速分析模块还用于:
根据所述视频片段中的首个I帧和首个P帧来获取所述运动目标的运动速度和运动方向,确定所述运动目标离开所述待回放视频中的视频画面的时间;
根据所述时间确定对应的所述运动目标的最终视频片段,将所述视频片段到所述最终视频片段之间的所有视频片段标记为预测有目标状态。
9.如权利要求8所述的设备,其特征在于,设置计数值,所述计数值为所述待分析列表中的待分析视频片段的数量,所述实时分析模块具体用于:
当所述计数值达到第二预设阈值时,判断所述待分析视频片段是否具有符合筛选条件的运动目标,每进行一次所述待分析视频片段的判断,所述计数值递减一;
若所述待分析视频片段的状态为有目标状态,则将所述视频片段加入所述播放列表;
若所述分析视频片段的状态为预测有目标状态,对所述待分析视频片段首个所述I帧进行解码,进一步判断所述待分析视频片段中是否具有运动目标;
若有,则将所述待分析视频片段加入所述播放列表;
若否,则将所述待分析视频片段标记为无目标状态。
10.如权利要求6所述的设备,其特征在于,所述播放模块还用于:
当对所述播放列表中的视频片段进行回放完成后超过预设时长时,若所述播放列表中的视频片段数目仍小于所述第一预设阈值,则确定所述播放列表中最后视频片段在所述待回放视频中的位置,在所述位置对所述待回放视频进行回放。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610858988.4A CN106507129B (zh) | 2016-09-28 | 2016-09-28 | 一种视频智能回放方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610858988.4A CN106507129B (zh) | 2016-09-28 | 2016-09-28 | 一种视频智能回放方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106507129A true CN106507129A (zh) | 2017-03-15 |
CN106507129B CN106507129B (zh) | 2020-01-14 |
Family
ID=58291054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610858988.4A Active CN106507129B (zh) | 2016-09-28 | 2016-09-28 | 一种视频智能回放方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106507129B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107371047A (zh) * | 2017-07-31 | 2017-11-21 | 天脉聚源(北京)教育科技有限公司 | 视频碎片的连续性检查方法及装置 |
CN110245258A (zh) * | 2018-12-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 视频文件建立索引的方法、视频文件解析方法及相关系统 |
CN111385672A (zh) * | 2018-12-31 | 2020-07-07 | 杭州登虹科技有限公司 | 一种基于事件的视频浓缩技术 |
CN111949509A (zh) * | 2019-05-17 | 2020-11-17 | 百度在线网络技术(北京)有限公司 | 应用软件的响应时间测试方法、装置、设备及存储介质 |
CN112788353A (zh) * | 2020-12-28 | 2021-05-11 | 未来电视有限公司 | 直播时移处理方法、装置、电子设备和可读存储介质 |
CN113706807A (zh) * | 2020-05-20 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 发出报警信息的方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030117611A1 (en) * | 2001-12-24 | 2003-06-26 | Jae Choon Chon | Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image |
CN101076111A (zh) * | 2006-11-15 | 2007-11-21 | 腾讯科技(深圳)有限公司 | 一种获取视频流中关键帧段定位信息的方法 |
CN101547350A (zh) * | 2008-03-28 | 2009-09-30 | 陈意辉 | 高效平面与立体数字视频编码及解码方法 |
CN102915755A (zh) * | 2012-09-07 | 2013-02-06 | 博康智能网络科技股份有限公司 | 一种基于视频显示提取运动目标到时间轴上的方法 |
-
2016
- 2016-09-28 CN CN201610858988.4A patent/CN106507129B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030117611A1 (en) * | 2001-12-24 | 2003-06-26 | Jae Choon Chon | Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image |
CN101076111A (zh) * | 2006-11-15 | 2007-11-21 | 腾讯科技(深圳)有限公司 | 一种获取视频流中关键帧段定位信息的方法 |
CN101547350A (zh) * | 2008-03-28 | 2009-09-30 | 陈意辉 | 高效平面与立体数字视频编码及解码方法 |
CN102915755A (zh) * | 2012-09-07 | 2013-02-06 | 博康智能网络科技股份有限公司 | 一种基于视频显示提取运动目标到时间轴上的方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107371047A (zh) * | 2017-07-31 | 2017-11-21 | 天脉聚源(北京)教育科技有限公司 | 视频碎片的连续性检查方法及装置 |
CN110245258A (zh) * | 2018-12-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 视频文件建立索引的方法、视频文件解析方法及相关系统 |
CN110245258B (zh) * | 2018-12-10 | 2023-03-17 | 浙江大华技术股份有限公司 | 视频文件建立索引的方法、视频文件解析方法及相关系统 |
CN111385672A (zh) * | 2018-12-31 | 2020-07-07 | 杭州登虹科技有限公司 | 一种基于事件的视频浓缩技术 |
CN111385672B (zh) * | 2018-12-31 | 2022-01-04 | 杭州登虹科技有限公司 | 一种基于事件的视频浓缩方法 |
CN111949509A (zh) * | 2019-05-17 | 2020-11-17 | 百度在线网络技术(北京)有限公司 | 应用软件的响应时间测试方法、装置、设备及存储介质 |
CN111949509B (zh) * | 2019-05-17 | 2023-08-15 | 百度在线网络技术(北京)有限公司 | 应用软件的响应时间测试方法、装置、设备及存储介质 |
CN113706807A (zh) * | 2020-05-20 | 2021-11-26 | 杭州海康威视数字技术股份有限公司 | 发出报警信息的方法、装置、设备及存储介质 |
CN113706807B (zh) * | 2020-05-20 | 2023-02-10 | 杭州海康威视数字技术股份有限公司 | 发出报警信息的方法、装置、设备及存储介质 |
CN112788353A (zh) * | 2020-12-28 | 2021-05-11 | 未来电视有限公司 | 直播时移处理方法、装置、电子设备和可读存储介质 |
CN112788353B (zh) * | 2020-12-28 | 2022-06-14 | 未来电视有限公司 | 直播时移处理方法、装置、电子设备和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106507129B (zh) | 2020-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106507129A (zh) | 一种视频智能回放方法及设备 | |
US10346465B2 (en) | Systems, methods, and apparatus for digital composition and/or retrieval | |
KR101944456B1 (ko) | 정보 처리 프로그램, 및 정보 처리 방법 | |
US9851894B2 (en) | Display control device, display control method, and program | |
CN110032947B (zh) | 一种监控事件发生的方法及装置 | |
CN107295296B (zh) | 一种监控视频选择性存储与恢复方法及系统 | |
CN105933665B (zh) | 一种调阅摄像机视频的方法及装置 | |
EP3984609A1 (en) | Game screen rendering method and system based on multiple graphics cards | |
US9948999B2 (en) | Video processing system and method | |
CN107479872B (zh) | 安卓动画集合播放方法、存储介质、电子设备及系统 | |
Zhu et al. | High-performance video condensation system | |
CN103593168A (zh) | 利用多重处理的渲染处理装置及方法 | |
CN104270608A (zh) | 一种智能视频播放器及其播放方法 | |
Kaseb et al. | Cloud resource management for image and video analysis of big data from network cameras | |
CN113507630B (zh) | 比赛视频的拆条方法和装置 | |
JP6853528B2 (ja) | 映像処理プログラム、映像処理方法、及び映像処理装置 | |
CN104754248B (zh) | 一种获取目标快照的方法及装置 | |
CN114339266B (zh) | 一种基于国产cpu和操作系统的视频流队列处理方法 | |
CN115984762A (zh) | 一种基于计算机视觉算法的井下支护工序识别方法及系统 | |
Choudhary et al. | Real time video summarization on mobile platform | |
US10137371B2 (en) | Method of recording and replaying game video by using object state recording method | |
CN112784813A (zh) | 基于图像检测的动作识别数据集生成方法及装置 | |
CN113191210A (zh) | 一种图像处理方法、装置及设备 | |
US10405065B2 (en) | Video processing system and method | |
CN111382313A (zh) | 一种动检数据检索方法、设备及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20221110 Address after: 250101 4th floor, building 5, zone A2, Hanyu Jingu, Shunhua South Road, high tech Zone, Jinan City, Shandong Province Patentee after: Jinan Yushi Intelligent Technology Co.,Ltd. Address before: 2 / F, South Block, building 10, wanlun Science Park, 88 Jiangling Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051 Patentee before: ZHEJIANG UNIVIEW TECHNOLOGIES Co.,Ltd. |