CN104639994A - 基于运动目标生成视频摘要的方法、系统及网络存储设备 - Google Patents
基于运动目标生成视频摘要的方法、系统及网络存储设备 Download PDFInfo
- Publication number
- CN104639994A CN104639994A CN201310554809.4A CN201310554809A CN104639994A CN 104639994 A CN104639994 A CN 104639994A CN 201310554809 A CN201310554809 A CN 201310554809A CN 104639994 A CN104639994 A CN 104639994A
- Authority
- CN
- China
- Prior art keywords
- video
- moving target
- information
- image
- target information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了基于运动目标生成视频摘要的方法、系统及网络存储设备，其中，该方法包括：分离视频码流中的背景图像和运动目标，生成并存储运动目标信息；接收视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中。本发明方案能够节省成本，减小生成视频摘要的存储容量。
Description
技术领域
本发明涉及多媒体视频处理技术，尤其涉及基于运动目标生成视频摘要的方法、系统及网络存储设备。
背景技术
在视频监控方案中，视频监控设备对监控场景进行视频采集，将获取的视频码流发送给网络存储设备进行存储。视频监控的应用场景包括公安、司法、重要会议记录等。
之后，当需要查看监控场景的视频信息时，便可提取存储的录像数据，以获取关于某指定运动目标的视频信息。近年来随着监控行业存储技术的不断发展，导致海量监控视频数据的出现，而目前的网络存储设备仅仅是将视频数据存下来，如果想查找某个需要的运动目标相关内容，则需要播放网络存储设备中存储的视频码流，进行慢慢观看，以找到相应的运动目标，犹如大海捞针。该方案存在以下缺陷：操作繁琐，所用时间长，效率低。
为了克服上述缺陷，目前，出现了基于运动目标生成视频摘要的方案，该方案基于图1所示的系统实现，该系统包括视频监控设备、网络存储设备和视频摘要生成服务器，视频摘要生成服务器即图中的PC；
网络存储设备接收并存储来自视频监控设备的视频码流，并将接收的视频码流实时传送给视频摘要生成服务器；
视频摘要生成服务器实时对接收的视频码流进行解析，分离出运动目标图像，将从各视频帧中提取的运动目标图像反馈给网络存储设备进行存储。
之后，当需要生成视频摘要时，从网络存储设备获取存储的运动目标图像，划分成至少两组运动目标图像，叠加显示在背景图像中，得到视频摘要，播放视频摘要。如图2所示，为播放的视频摘要实例，该实例将运动目标图像划分成三组，按照各组的相对时间，将三组运动目标图像叠加被背景图像中，得到图2右端的视频摘要示例。
这样，通过查看视频摘要，便可获知监控场景中运动目标的情况，并可点击浏览的运动目标，进行切换，以查看包含运动目标的原始视频码流。
现有基于运动目标生成视频摘要的方案存在以下缺陷：该方案需要PC协助生成视频摘要，相应地，需要在该PC上安装关于视频摘要的管理软件和视频摘要生成软件，导致成本较高，且信息交互繁琐；并且，网络存储设备需存储视频码流中的所有运动目标图像，其容量很大。
发明内容
本发明提供了一种基于运动目标生成视频摘要的方法，该方法能够节省成本，减小生成视频摘要的存储容量。
本发明提供了一种基于运动目标生成视频摘要的系统，该系统能够节省成本，减小生成视频摘要的存储容量。
本发明提供了一种基于运动目标生成视频摘要的网络存储设备，该网络存储设备能够节省成本，减小生成视频摘要的存储容量。
一种基于运动目标生成视频摘要的方法，该方法包括：
接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像；
接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；
按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，将视频摘要发送给视频点播客户端进行播放。
一种基于运动目标生成视频摘要的系统，该系统包括视频监控设备、网络存储设备和视频点播客户端，所述网络存储设备包含处理器和存储器；
所述视频监控设备，进行视频图像监控，将获取的视频码流发送给所述网络存储设备的处理器；
所述处理器，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；接收来自所述视频点播客户端的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视频点播客户端；
所述存储器，用于存储运动目标信息、视频码流和背景图像；
所述视频点播客户端，向所述处理器发送视频摘要生成请求，接收来自所述处理器的视频摘要，进行播放。
一种基于运动目标生成视频摘要的网络存储设备，该网络存储设备包括处理器和存储器；
所述处理器，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；接收来自视频点播客户端的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给视频点播客户端；
所述存储器，用于存储运动目标信息、视频码流和背景图像。
从上述方案可以看出，本发明中，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像；接收视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要。本发明中，由网络存储设备独立生成视频摘要，无需另设PC以协助其完成，这样，简化了信息交互，也节省了成本；并且，网络存储设备只存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点，相对于大量的运动目标图像，其容量大大降低。
附图说明
图1为现有技术基于运动目标生成视频摘要的系统结构示意图；
图2为现有技术播放的视频摘要实例；
图3为本发明基于运动目标生成视频摘要的方法示意性流程图；
图4为本发明基于运动目标生成视频摘要的方法流程图实例；
图5为本发明基于运动目标生成视频摘要的系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
本发明中，由网络存储设备独立生成视频摘要，无需另设PC以协助其完成，这样，简化了信息交互，也节省了成本；并且，网络存储设备只存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点，相对于大量的运动目标图像，其容量大大降低。
参见图3，为本发明基于运动目标生成视频摘要的方法示意性流程图，其包括以下步骤：
步骤301，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像。
针对某一视频监控设备的视频码流，逐帧进行运动目标的检测提取，分离视频帧中的背景图像和运动目标，生成并存储运动目标信息，并存储视频码流和分离的背景图像；一般地，针对某一视频监控设备，其背景图像恒定不变，只需存储一帧背景图像。
步骤302，接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息。
在需要时，提取存储的运动目标信息以生成视频摘要。
将划分后的至少两组运动目标信息按照相对时间顺序进行叠加排序，融合成一条摘要轨迹，得到摘要轨迹信息。叠加排序的方法有多种，例如，可以将各组运动目标信息的起始时间点对齐后直接进行排序；也可以先对各组运动目标信息的起始时间点调整为相同时间点后进行排序，具体包括：将划分后各组运动目标信息中的时间点进行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整其他时间点；按照调整后的时间顺序对各组运动目标信息进行叠加排序。
步骤303，按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，将视频摘要发送给视频点播客户端进行播放。
根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像时，可以采用一路提取的方式，逐一提取需要的视频图像；也可以采用多路并发提取的方式，同时多路提取视频图像，以节省时间，例如，采用与划分组数相同的通道数，进行多路提取。
之后，通过查看视频摘要，便可获知监控场景中运动目标的情况，并可点击浏览的运动目标，进行切换，以查看包含运动目标的原始视频码流。具体地，所述运动目标信息中还包含运动目标标识，播放摘要视频帧之后，该方法还包括：
接收包含指定运动目标标识的点播请求；
从存储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间点确定出指定时间段，所述指定时间段包括起始时间和结束时间；
从存储的视频码流中提取与指定时间段对应的视频码流，反馈视频码流。
下面通过图4，对本发明基于运动目标生成视频摘要的方法进行实例说明，其包括以下步骤：
步骤401，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像。
接收视频码流，通过高斯建模，进行运动目标的检测提取，分离视频码流中的背景图像和运动目标。对视频帧中的背景图像和运动目标图像进行分离后，记录相应视频帧的帧号、监控设备采集该视频帧的时间点、以及运动目标在视频图像中的坐标位置，该坐标位置具体可采用矩形区域表示，如图2所示的虚线框。
本实例中，运动目标信息中还包含运动目标标识，在进行图像分离时，还对运动目标图像进行特征提取，为各视频帧中的同一运动目标设置一个相同运动目标标识。
现有技术是从已存储的视频码流中进行运动目标的检测提取，属于事后提取；而本发明在存储时进行提取，避免了事后提取的时间消耗。
步骤402，接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息。
划分时，可采用相同时间段进行划分，也可采用不同时间段进行划分。例如，对于3小时内采集的视频码流的运动目标信息，可用1小时作为设定时间段进行划分，将其划分为3组运动目标信息。
步骤403，将划分后各组运动目标信息中的时间点进行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整其他时间点。
同样以步骤402中关于3小时视频码流的实例进行说明，划分后，3组运动目标信息的时间段分别为0点-1点，1点-2点，2点-3点；进行调整后，第二时间段的起始时间1点，调整为相对时间0点，并相应对其他时间点进行调整，包括将结束时间点2点调整为相对时间1点；类似地，进行调整后，第三时间段的起始时间2点，调整为相对时间0点，并相应对其他时间点进行调整，包括将结束时间3点调整为相对时间点1点。实际操作中，进行调整后，可对应各原始时间点记录其相应时间。
步骤404，按照调整后的时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息。
将划分后的至少两组运动目标信息按照相对时间顺序进行叠加排序，融合成一条摘要轨迹，得到摘要轨迹信息。叠加排序的方法有多种，例如，可以将各组运动目标信息的起始时间点对齐后直接进行排序，同样以步骤402中关于3小时视频码流的实例进行说明，划分后，3组运动目标信息的时间段分别为0点-1点，1点-2点，2点-3点；将三个时间段的起始时间0点、1点和2点对齐，将0点、1点和2点的运动目标信息进行叠加，而后依次将各时间段下一时间点的运动目标信息进行叠加。也可以先对各组运动目标信息的起始时间点调整为相同时间点后进行排序，本实例就采用此方式进行排序。
步骤405，按照排序读取摘要轨迹信息中的运动目标信息，按照运动目标信息包含的视频帧号，采用多路并发的方式，从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像。
步骤406，将截取的运动目标图像叠加在背景图像中，作为视频摘要，将视频摘要发送给视频点播客户端进行播放。
播放视频摘要的实例可参见图2，该实例将运动目标图像划分成三组，按照各组的相对时间，将三组运动目标图像叠加被背景图像中；进一步地，还可以在叠加后的图中显示各运动目标图像的时间点，即采集A、B和C的时间点。
步骤407，接收包含指定运动目标标识的点播请求。
用户可点击视频摘要中的运动目标，发送点播请求。
步骤408，从存储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间点确定出指定时间段，所述指定时间段包括起始时间和结束时间。
获取包含指定运动目标标识的运动目标信息，运动目标信息中包含时间点，便可进一步获知指定运动目标对应的所有时间点，由获知的所有时间点确定出起始时间和结束时间。
步骤409，从存储的视频码流中提取与指定时间段对应的视频码流，反馈视频码流。
对运动目标信息进行划分和排序时，具体地，先确定视频码流中运动目标的总时长，接着根据视频摘要密度将该总时长切分成多段，也就是，将运动目标信息划分成多组，每段对应一组运动目标信息，这里假设划分成N段，N为自然数；从各段视频中顺序提取出每帧运动目标图像，合成到背景图像中（即分别获取片段1、片段2、片段3......片段N的第1帧视频中的运动目标图像，将获取的所有运动目标图像叠加到背景图像中，生成视频摘要帧1；依次类推，生成其他视频摘要帧，再如，分别获取片段1、片段2、片段3......片段N的第2帧视频中的运动目标图像，将获取的所有运动目标图像叠加到背景图像中，生成视频摘要帧2），这样，可以保证同行的运动目标不会被分隔开造成运动目标间相互关系的丢失。现有技术将网络存储设备上的大量运动目标图像与背景图像进行合成，而本发明在摘要视频点播时多路并发获取码流数据，然后根据存储的运动目标信息从存储的码流数据中提取运动目标图像，进而将运动目标图像与背景图像进行合成，该过程中不产生任何硬盘数据。
参见图5，为本发明基于运动目标生成视频摘要的系统结构示意图，该系统包括视频监控设备、网络存储设备和视频点播客户端，所述网络存储设备包含处理器和存储器；
所述视频监控设备，进行视频图像监控，将获取的视频码流发送给所述网络存储设备的处理器；
所述处理器，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；接收来自所述视频点播客户端的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视频点播客户端；
所述存储器，用于存储运动目标信息、视频码流和背景图像；
所述视频点播客户端，向所述处理器发送视频摘要生成请求，接收来自所述处理器的视频摘要，进行播放。
较佳地，所述处理器包括运动目标信息生成模块、命令解析模块、信息提取模块、信息排序模块、目标图像提取模块和视频摘要叠加模块；
所述运动目标信息生成模块，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；
所述命令解析模块，接收来自所述视频点播客户端的视频摘要生成请求，发送给所述信息提取模块；
所述信息提取模块，接收视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息，发送给所述信息排序模块；
所述信息排序模块，按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息，发送给所述目标图像提取模块；
所述目标图像提取模块，按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将运动目标图像发送给所述视频摘要叠加模块；
所述视频摘要叠加模块，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视频点播客户端。
较佳地，所述网络存储设备为X86或X84构架的存储设备。现有技术中的网络存储设备专注于存储，CPU资源应用极少。本发明充分利用了网络存储设备中处理器，网络存储设备具体可采用X86或X84构架的存储设备，这种构架的设备常采用Windows或者Linux操作系统，也方便了视频摘要生成功能从PC端移到该设备上。
较佳地，该系统还包括流媒体转发设备，与视频监控设备和网络存储设备连接，接收来自视频监控设备的视频码流，由转发接口发送给网络存储设备。
视频监控设备的输出接口有限，一般为4-5路输出接口，只能同时向4-5个目的地发送视频码流；而流媒体转发设备具有多路输出接口，一般可达到几百个输出接口，采用流媒体转发设备之后，可将来自视频监控设备的视频码流同时发送给几百个目的地。
较佳地，所述信息排序模块包括信息排序子模块，将划分后各组运动目标信息中的时间点进行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整其他时间点；按照调整后的时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息，发送给所述目标图像提取模块。
较佳地，所述处理器还包括目标点播模块；
所述命令解析模块，接收来自所述视频点播客户端的包含指定运动目标标识的点播请求，发送给所述目标点播模块；
所述目标点播模块，接收点播请求，所述点播请求包含指定运动目标标识，从存储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间点确定出指定时间段，所述指定时间段包括起始时间和结束时间；从存储的视频码流中提取与指定时间段对应的视频码流，反馈给所述视频点播客户端；
所述视频点播客户端，播放接收的视频码流。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (13)
1.一种基于运动目标生成视频摘要的方法，其特征在于，该方法包括：
接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成并存储运动目标信息，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并存储接收的视频码流和分离的背景图像；
接收来自视频点播客户端的视频摘要生成请求，提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；
按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，将视频摘要发送给视频点播客户端进行播放。
2.如权利要求1所述的方法，其特征在于，所述按照相对时间顺序对各组运动目标信息进行叠加排序包括：
将划分后各组运动目标信息中的时间点进行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整其他时间点；
按照调整后的时间顺序对各组运动目标信息进行叠加排序。
3.如权利要求1所述的方法，其特征在于，所述根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像包括：
按照运动目标信息包含的视频帧号，采用多路并发的方式，从存储的视频码流中提取相应的视频图像。
4.如权利要求1、2或3所述的方法，其特征在于，所述运动目标信息中还包含运动目标标识，所述将视频摘要发送给视频点播客户端进行播放之后，该方法还包括：
接收包含指定运动目标标识的点播请求；
从存储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间点确定出指定时间段，所述指定时间段包括起始时间和结束时间；
从存储的视频码流中提取与指定时间段对应的视频码流，反馈视频码流。
5.一种基于运动目标生成视频摘要的系统，其特征在于，该系统包括视频监控设备、网络存储设备和视频点播客户端，所述网络存储设备包含处理器和存储器；
所述视频监控设备，进行视频图像监控，将获取的视频码流发送给所述网络存储设备的处理器；
所述处理器，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；接收来自所述视频点播客户端的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视频点播客户端；
所述存储器，用于存储运动目标信息、视频码流和背景图像；
所述视频点播客户端，向所述处理器发送视频摘要生成请求，接收来自所述处理器的视频摘要，进行播放。
6.如权利要求5所述的系统，其特征在于，所述处理器包括运动目标信息生成模块、命令解析模块、信息提取模块、信息排序模块、目标图像提取模块和视频摘要叠加模块；
所述运动目标信息生成模块，接收来自所述视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到存储器中；并在存储器中存储接收的视频码流和分离的背景图像；
所述命令解析模块，接收来自所述视频点播客户端的视频摘要生成请求，发送给所述信息提取模块；
所述信息提取模块，接收视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息，发送给所述信息排序模块；
所述信息排序模块，按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息，发送给所述目标图像提取模块；
所述目标图像提取模块，按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将运动目标图像发送给所述视频摘要叠加模块；
所述视频摘要叠加模块，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给所述视频点播客户端。
7.如权利要求5所述的系统，其特征在于，所述网络存储设备为X86或X84构架的存储设备。
8.如权利要求5、6或7所述的系统，其特征在于，该系统还包括流媒体转发设备，与视频监控设备和网络存储设备连接，接收来自视频监控设备的视频码流，由转发接口发送给网络存储设备。
9.一种基于运动目标生成视频摘要的网络存储设备，其特征在于，该网络存储设备包括处理器和存储器；
所述处理器，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到所述存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；接收来自视频点播客户端的视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息；按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息；按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给视频点播客户端；
所述存储器，用于存储运动目标信息、视频码流和背景图像。
10.如权利要求9所述的网络存储设备，其特征在于，所述处理器包括运动目标信息生成模块、命令解析模块、信息提取模块、信息排序模块、目标图像提取模块和视频摘要叠加模块；
所述运动目标信息生成模块，接收来自视频监控设备的视频码流，分离视频码流中的背景图像和运动目标，生成运动目标信息，将生成的运动目标信息存储到存储器中，运动目标信息包含运动目标在视频图像中的坐标位置、视频图像的视频帧号以及时间点；并在存储器中存储接收的视频码流和分离的背景图像；
所述命令解析模块，接收来自所述视频点播客户端的视频摘要生成请求，发送给所述信息提取模块；
所述信息提取模块，接收视频摘要生成请求，从所述存储器提取存储的运动目标信息，按照设定时间段对运动目标信息进行划分，得到划分后的至少两组运动目标信息，发送给所述信息排序模块；
所述信息排序模块，按照相对时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息，发送给所述目标图像提取模块；
所述目标图像提取模块，按照排序读取摘要轨迹信息中的运动目标信息，根据运动目标信息包含的视频帧号从存储的视频码流中提取相应的视频图像，按照运动目标信息包含的坐标位置从提取的视频图像中截取出运动目标图像，将运动目标图像发送给所述视频摘要叠加模块；
所述视频摘要叠加模块，将截取的运动目标图像叠加在背景图像中，作为视频摘要，发送给视频点播客户端。
11.如权利要求10所述的网络存储设备，其特征在于，所述信息排序模块包括信息排序子模块，将划分后各组运动目标信息中的时间点进行调整，使各组运动目标信息的起始时间相同，并基于起始时间相应调整其他时间点；按照调整后的时间顺序对各组运动目标信息进行叠加排序，得到排序后的摘要轨迹信息，发送给所述目标图像提取模块。
12.如权利要求10所述的网络存储设备，其特征在于，所述处理器还包括目标点播模块；
所述命令解析模块，接收来自所述视频点播客户端的包含指定运动目标标识的点播请求，发送给所述目标点播模块；
所述目标点播模块，接收点播请求，从存储的运动目标信息中获取指定运动目标标识对应的所有时间点，由所有时间点确定出指定时间段，所述指定时间段包括起始时间和结束时间；从存储的视频码流中提取与指定时间段对应的视频码流，反馈给所述视频点播客户端；
所述视频点播客户端，播放接收的视频码流。
13.如权利要求9至12中任一项所述的网络存储设备，其特征在于，所述网络存储设备为X86或X84构架的存储设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310554809.4A CN104639994B (zh) | 2013-11-08 | 2013-11-08 | 基于运动目标生成视频摘要的方法、系统及网络存储设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310554809.4A CN104639994B (zh) | 2013-11-08 | 2013-11-08 | 基于运动目标生成视频摘要的方法、系统及网络存储设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104639994A true CN104639994A (zh) | 2015-05-20 |
| CN104639994B CN104639994B (zh) | 2018-10-09 |
Family
ID=53218225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310554809.4A Active CN104639994B (zh) | 2013-11-08 | 2013-11-08 | 基于运动目标生成视频摘要的方法、系统及网络存储设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104639994B (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935888A (zh) * | 2015-06-11 | 2015-09-23 | 惠州Tcl移动通信有限公司 | 一种可标记对象的视频监控方法及其视频监控系统 |
| CN105262932A (zh) * | 2015-10-20 | 2016-01-20 | 深圳市华尊科技股份有限公司 | 一种视频处理的方法及终端 |
| CN105516675A (zh) * | 2015-12-28 | 2016-04-20 | 同方威视技术股份有限公司 | 图像显示方法及用于图像显示的系统 |
| CN106375654A (zh) * | 2015-07-23 | 2017-02-01 | 韩华泰科株式会社 | 用于控制网络相机的设备和方法 |
| CN106385562A (zh) * | 2016-09-23 | 2017-02-08 | 浙江宇视科技有限公司 | 一种视频摘要生成方法、装置及视频监控系统 |
| CN106714007A (zh) * | 2016-12-15 | 2017-05-24 | 重庆凯泽科技股份有限公司 | 一种视频摘要方法及装置 |
| CN107360476A (zh) * | 2017-08-31 | 2017-11-17 | 苏州科达科技股份有限公司 | 视频摘要生成方法及装置 |
| WO2017197882A1 (zh) * | 2016-05-16 | 2017-11-23 | 杭州海康威视数字技术股份有限公司 | 一种视频播放方法及装置 |
| CN107402775A (zh) * | 2016-05-19 | 2017-11-28 | 百度在线网络技术（北京）有限公司 | 网页的生成方法、装置和系统 |
| CN108289194A (zh) * | 2017-12-28 | 2018-07-17 | 天津天地伟业信息系统集成有限公司 | 录像快速回放方法和装置 |
| WO2018149376A1 (zh) * | 2017-02-17 | 2018-08-23 | 杭州海康威视数字技术股份有限公司 | 一种视频摘要的生成方法及装置 |
| CN109151511A (zh) * | 2018-10-19 | 2019-01-04 | 天津天地伟业电子工业制造有限公司 | 一种基于空间热度的智能录像快速播放方法及装置 |
| CN110457974A (zh) * | 2018-05-07 | 2019-11-15 | 浙江宇视科技有限公司 | 图像叠加方法、装置、电子设备及可读存储介质 |
| CN110569690A (zh) * | 2018-06-06 | 2019-12-13 | 浙江宇视科技有限公司 | 目标信息获取方法及装置 |
| CN111160068A (zh) * | 2018-11-07 | 2020-05-15 | 杭州海康威视数字技术股份有限公司 | 目标图片生成方法、装置及电子设备 |
| CN111464882A (zh) * | 2019-01-18 | 2020-07-28 | 杭州海康威视数字技术股份有限公司 | 视频摘要生成方法及装置、设备、介质 |
| CN112822544A (zh) * | 2020-12-31 | 2021-05-18 | 广州酷狗计算机科技有限公司 | 视频素材文件生成方法、视频合成方法、设备及介质 |
| CN113873200A (zh) * | 2021-09-26 | 2021-12-31 | 珠海研果科技有限公司 | 一种图像标识方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156707A (zh) * | 2011-02-01 | 2011-08-17 | 刘中华 | 一种视频摘要形成和搜索的方法、系统 |
| US20120249880A1 (en) * | 2011-03-31 | 2012-10-04 | Fujitsu Limited | Method and apparatus for detecting camera motion type in video |
| CN102819528A (zh) * | 2011-06-10 | 2012-12-12 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
| CN102930061A (zh) * | 2012-11-28 | 2013-02-13 | 安徽水天信息科技有限公司 | 一种基于运动目标检测的视频摘要方法及系统 |
| CN103020991A (zh) * | 2012-12-26 | 2013-04-03 | 中国科学技术大学 | 一种视频场景中运动目标感知的方法及系统 |
-
2013
- 2013-11-08 CN CN201310554809.4A patent/CN104639994B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156707A (zh) * | 2011-02-01 | 2011-08-17 | 刘中华 | 一种视频摘要形成和搜索的方法、系统 |
| US20120249880A1 (en) * | 2011-03-31 | 2012-10-04 | Fujitsu Limited | Method and apparatus for detecting camera motion type in video |
| CN102819528A (zh) * | 2011-06-10 | 2012-12-12 | 中国电信股份有限公司 | 生成视频摘要的方法和装置 |
| CN102930061A (zh) * | 2012-11-28 | 2013-02-13 | 安徽水天信息科技有限公司 | 一种基于运动目标检测的视频摘要方法及系统 |
| CN103020991A (zh) * | 2012-12-26 | 2013-04-03 | 中国科学技术大学 | 一种视频场景中运动目标感知的方法及系统 |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104935888A (zh) * | 2015-06-11 | 2015-09-23 | 惠州Tcl移动通信有限公司 | 一种可标记对象的视频监控方法及其视频监控系统 |
| CN106375654A (zh) * | 2015-07-23 | 2017-02-01 | 韩华泰科株式会社 | 用于控制网络相机的设备和方法 |
| CN106375654B (zh) * | 2015-07-23 | 2020-09-01 | 韩华泰科株式会社 | 用于控制网络相机的设备和方法 |
| CN105262932A (zh) * | 2015-10-20 | 2016-01-20 | 深圳市华尊科技股份有限公司 | 一种视频处理的方法及终端 |
| CN105516675B (zh) * | 2015-12-28 | 2018-11-16 | 同方威视技术股份有限公司 | 图像显示方法及用于图像显示的系统 |
| CN105516675A (zh) * | 2015-12-28 | 2016-04-20 | 同方威视技术股份有限公司 | 图像显示方法及用于图像显示的系统 |
| US10701301B2 (en) | 2016-05-16 | 2020-06-30 | Hangzhou Hikvision Digital Technology Co., Ltd. | Video playing method and device |
| CN107396165B (zh) * | 2016-05-16 | 2019-11-22 | 杭州海康威视数字技术股份有限公司 | 一种视频播放方法及装置 |
| WO2017197882A1 (zh) * | 2016-05-16 | 2017-11-23 | 杭州海康威视数字技术股份有限公司 | 一种视频播放方法及装置 |
| CN107396165A (zh) * | 2016-05-16 | 2017-11-24 | 杭州海康威视数字技术股份有限公司 | 一种视频播放方法及装置 |
| CN107402775A (zh) * | 2016-05-19 | 2017-11-28 | 百度在线网络技术（北京）有限公司 | 网页的生成方法、装置和系统 |
| CN106385562B (zh) * | 2016-09-23 | 2019-06-11 | 浙江宇视科技有限公司 | 一种视频摘要生成方法、装置及视频监控系统 |
| CN106385562A (zh) * | 2016-09-23 | 2017-02-08 | 浙江宇视科技有限公司 | 一种视频摘要生成方法、装置及视频监控系统 |
| CN106714007A (zh) * | 2016-12-15 | 2017-05-24 | 重庆凯泽科技股份有限公司 | 一种视频摘要方法及装置 |
| WO2018149376A1 (zh) * | 2017-02-17 | 2018-08-23 | 杭州海康威视数字技术股份有限公司 | 一种视频摘要的生成方法及装置 |
| CN107360476B (zh) * | 2017-08-31 | 2019-09-20 | 苏州科达科技股份有限公司 | 视频摘要生成方法及装置 |
| CN107360476A (zh) * | 2017-08-31 | 2017-11-17 | 苏州科达科技股份有限公司 | 视频摘要生成方法及装置 |
| CN108289194A (zh) * | 2017-12-28 | 2018-07-17 | 天津天地伟业信息系统集成有限公司 | 录像快速回放方法和装置 |
| CN110457974A (zh) * | 2018-05-07 | 2019-11-15 | 浙江宇视科技有限公司 | 图像叠加方法、装置、电子设备及可读存储介质 |
| CN110569690A (zh) * | 2018-06-06 | 2019-12-13 | 浙江宇视科技有限公司 | 目标信息获取方法及装置 |
| CN110569690B (zh) * | 2018-06-06 | 2022-05-13 | 浙江宇视科技有限公司 | 目标信息获取方法及装置 |
| CN109151511A (zh) * | 2018-10-19 | 2019-01-04 | 天津天地伟业电子工业制造有限公司 | 一种基于空间热度的智能录像快速播放方法及装置 |
| CN111160068A (zh) * | 2018-11-07 | 2020-05-15 | 杭州海康威视数字技术股份有限公司 | 目标图片生成方法、装置及电子设备 |
| CN111160068B (zh) * | 2018-11-07 | 2024-01-26 | 杭州海康威视数字技术股份有限公司 | 目标图片生成方法、装置及电子设备 |
| CN111464882A (zh) * | 2019-01-18 | 2020-07-28 | 杭州海康威视数字技术股份有限公司 | 视频摘要生成方法及装置、设备、介质 |
| CN111464882B (zh) * | 2019-01-18 | 2022-03-25 | 杭州海康威视数字技术股份有限公司 | 视频摘要生成方法及装置、设备、介质 |
| CN112822544A (zh) * | 2020-12-31 | 2021-05-18 | 广州酷狗计算机科技有限公司 | 视频素材文件生成方法、视频合成方法、设备及介质 |
| CN112822544B (zh) * | 2020-12-31 | 2023-10-20 | 广州酷狗计算机科技有限公司 | 视频素材文件生成方法、视频合成方法、设备及介质 |
| CN113873200A (zh) * | 2021-09-26 | 2021-12-31 | 珠海研果科技有限公司 | 一种图像标识方法及系统 |
| CN113873200B (zh) * | 2021-09-26 | 2024-02-02 | 珠海研果科技有限公司 | 一种图像标识方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104639994B (zh) | 2018-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104639994A (zh) | 基于运动目标生成视频摘要的方法、系统及网络存储设备 | |
| US8275002B2 (en) | Broadcasting service transmitting apparatus and method and broadcasting service receiving apparatus and method for effectively accessing broadcasting service | |
| US7748022B1 (en) | Real-time data characterization with token generation for fast data retrieval | |
| CN103731631B (zh) | 一种传输视频图像的方法、装置及系统 | |
| CN104572952B (zh) | 直播多媒体文件的识别方法及装置 | |
| CN101247193B (zh) | 对等网络中发送数据的方法、系统、节点和超级节点 | |
| CN104243920A (zh) | 一种基于基本流视频数据封装的图像拼接方法及装置 | |
| CN106371998A (zh) | 移动应用的测试系统及方法 | |
| US20130278634A1 (en) | Method and apparatus of processing data to support augmented reality | |
| CN102244758A (zh) | 一种基于录像文件的数据获取方法和设备 | |
| US11139000B2 (en) | Method and apparatus for signaling spatial region information | |
| CN109802992B (zh) | 一种资源变化日志读写的方法和装置 | |
| CN103870574A (zh) | 基于h.264密文云视频存储的标签制作及索引方法 | |
| CN1297310A (zh) | 存储和检索含有附加信息的音频/视频数据的装置 | |
| US20180048877A1 (en) | File format for indication of video content | |
| KR20190120355A (ko) | 비디오 데이터의 실시간 프레임 정렬 | |
| CN103248855A (zh) | 基于固定机位的课程录制系统、视频处理装置和录课方法 | |
| CN111352994A (zh) | 数据同步方法以及相关设备、装置 | |
| CN111741247B (zh) | 一种录像回放的方法、装置及计算机设备 | |
| CN106506483A (zh) | 基于onvif的视频源组同步回放方法及装置 | |
| CN113553468B (zh) | 录像索引生成方法以及录像回放检索方法 | |
| CN112968750A (zh) | 基于aos帧的卫星图像压缩数据块解析方法及系统 | |
| CN103220555B (zh) | 一种数字电视用户的分类方法、装置及系统 | |
| CN105100663A (zh) | 基于硬件编码器的录制系统、音视频处理装置和录制方法 | |
| CN108881119A (zh) | 一种视频浓缩的方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |