CN105491462A - 基于压缩视频的缩时概要输出系统与方法 - Google Patents

基于压缩视频的缩时概要输出系统与方法 Download PDF

Info

Publication number
CN105491462A
CN105491462A CN201510622202.4A CN201510622202A CN105491462A CN 105491462 A CN105491462 A CN 105491462A CN 201510622202 A CN201510622202 A CN 201510622202A CN 105491462 A CN105491462 A CN 105491462A
Authority
CN
China
Prior art keywords
video
image
block
important
contracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510622202.4A
Other languages
English (en)
Other versions
CN105491462B (zh
Inventor
倪嗣尧
林仲毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gorilla Technology Uk Ltd
Original Assignee
Gorilla Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gorilla Technology Inc filed Critical Gorilla Technology Inc
Publication of CN105491462A publication Critical patent/CN105491462A/zh
Application granted granted Critical
Publication of CN105491462B publication Critical patent/CN105491462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本发明公开了一种基于压缩视频的缩时概要输出方法及系统，其中，该压缩视频依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块压缩而成。通过分析视频压缩信息，使用视频压缩数据的特性，对每一张影像中的多个区块进行重要性分析以取得重要区块，同时对各重要区块进行分析，以取得整段视频中的重要区块及其在时空上的分布状况，并依据特定时空排序将重要区块合成出指定长度的缩时概要视频。

Description

基于压缩视频的缩时概要输出系统与方法
技术领域
本发明涉及一种输出视频缩时概要的方法及系统，特别是涉及针对固定式监控压缩视频数据输出视频缩时概要的方法及系统。
背景技术
一般进行监控视频检视时，大都以人工快速拨放方式，快速检视相关监控视频，而以此方式进行监控视频检视，将是一项十分耗费人力、时间的工作，而如何有效地快速检视所欲检视的视频数据，以使用户减少人力、时间耗费，有效的快速取得所需的影像片段数据，将是监控视频播放设备急需的功能。
在现有技术中，视频摘要(videoabstract)、视频汇总(videosummary)以及视频索引(videoindexing)等方法提供了快速搜寻出监控影片中各重要影像信息的手段，例如监控影像中有人、物存在的影像数据，通过这样的方式，将一冗长的监控影片压缩成多张影像，再由监控影片检视者挑选出感兴趣的影像，再针对取出该影像部分的视频数据进行检视，以确认取得视频数据所需搜寻的视频数据。
在专利公开文献US20130027551A1中提出的视频索引与视频合成的方法与系统(Methodandsystemforvideoindexingandvideosynopsis)以及在专利公开文献US8514248B2中提出的产生视频合成的方法与系统(Methodandsystemforproducingavideosynopsis)等视频合成(videosynopsis)方法，则是通过影像分析方法，先将视频数据分析撷取出背景影像序列与前景物件影像序列，再将依据前景物件影像出现于背景影像中的位置关系，决定各前景物件呈现的时间点。最终，通过影像迭加方式，将背景影像序列与所有经过特定时间排序的对象事件影像序列进行迭加合成。然而，通过这类方式产生概要影像序列必须耗费大量的运算时间，以取得背景影像以及前景物件影像序列。另外，受限于现在的影像分析能力瓶颈，所取得的前景物件影像序列并无法保证取出完整的对象影像，甚至遗漏部分前景信息，导致可能无法呈现所有存在于视频中的完整对象信息。
为了克服上述问题，本发明提出一种固定式监控压缩视频缩时概要输出的方法与系统。
发明内容
由于观看视频非常消耗时间，所以如何快速挑选重要视频片段，从而使用户能够快速选择所需仔细观看的片段，这类的方法有其需求与必要性。在一般视频播放系统中，为了让用户能够快速浏览影片，并且快速选定所需观看的片段，系统往往提供一系列的影像，而这些影像往往是通过固定时段取样方式，使使用者能够快速选择其所想观看的视频片段。更进一步，通过重要影像(keyframe)撷取器，挑选一系列有意义的重要影像，提供给用户选定观看的影像片段。然而，仅仅通过单张影像不足以提供足够的信息，并使观看者了解影像中的对象所发生的事件行为，依旧必须观看该段视频才足以确认该视频所欲呈现的事件，而如何在视频播放下，滤除无意义的没有前景物件的监控视频，同时将有意义的前景物件重新整理，实现仅需短时间即可浏览完整的冗长监控视频，为此，概要视频成为不可或缺的选择。
若干概要视频系统产生较短版本的视频以支持略读。通过视频分析方式，将影像区分为背景影像序列以及前景物件影像序列，其中背景影像序列为单纯无对象的场景影像内容，而前景物件影像序列则针对场景中出现的对象，将影像序列中的所有对象撷取出来，成为一前景物件影像序列。之后，再依据用户需求，将背景影像序列以及多个前景物件影像序列迭加合成，输出一时间远小于原始影像序列长度的概要视频。用户通过观看此合成概要视频即可以了解原始视频中所有对象事件。通过此类整合视频分析方式与视频合成播放技术输出的概要视频，虽然能够呈现特定时段内的对象事件信息，但需要耗费相当长的分析时间与相当大的内存空间，甚至无法快速实时的输出所需观看的概要影片。此外，受限于目前视频分析能力的影响，视频分析虽然能够解析出对象事件影像序列，但却无法保证所撷取出的影像序列完整包含了所有的对象，一般这类方式所输出的对象边缘大都为破碎对象，甚至视频分析端无法撷取部分对象，导致输出的概要视频遗失部分对象的内容。
本发明的一个目的在于提供一种针对固定式监控压缩视频数据进行具有低运算量的影像序列的重要性分析及该影像序列的快速缩时概要视频合成的方法及系统，以快速挑选重要视频片段，从而使用户能够快速选择所需仔细观看的片段。
本发明提出了一种基于压缩视频的缩时概要输出的方法及系统，其中，该压缩视频依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块(macroblock)压缩而成。通过解析监控视频压缩后的视频数据流(videobit-stream)，即可挑选出影像序列中所有含有重要信息的区块(macroblock)，在此称为重要区块(impactmacroblock，ImpactMB)，接着，依据重要区块的分布，将目前解析的视频中所有影像分为重要影像与非重要影像，也就是具有意义的影像以及可忽略影像两类。通过分析影像重要性的分布特性，即可取得具有意义的影像区块的视频片段，从而大幅缩短所需观看的时间长度，接着，使用空间限定迭加的影像合成技术，依据所有重要视频片段中重要区块分布状况，决定各个重要视频片段相互迭加关系，进一步将多个视频片段迭加合成为一个缩时概要视频。
本发明公开了一种基于压缩视频的缩时概要输出系统，包含：一译码单元，用以解析一压缩视频以取出解压缩的多张影像，其中，该压缩视频依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块压缩而成；一重要区块分析撷取单元，用以解析该压缩视频中的编码信息，以决定该视频中的每一张影像中的每一区块是否为一重要区块；以及一缩时概要视频合成单元，依据每一张影像中的重要区块分布，将该解压缩的多张影像中的重要区块进行合成以输出缩时概要视频。
在一实施例中，所述视频压缩译码单元用以解析视频数据流，进而取得影像内容，并可取得视频压缩特殊信息以提供给重要区块分析撷取单元，用以决定每一张影像中的每一区块是否为一重要区块，其中视频压缩特殊信息可为影像区块所耗费的编码数量(encodedbitnumber)、移动向量(motionvector)、编码型态(MBtype)、编码冗余量(DCTcoefficients)等视频压缩特殊信息，亦可为上述信息的任意组合。
在一实施例中，所述基于压缩视频的缩时概要输出系统还可以包含一影像数据储存单元，用以储存视频压缩译码单元所输出的影像以及视频压缩编码信息，以供在非实时合成缩时概要视频应用时存储系统所需使用的解压缩视频信息。
在本发明的一实施例中，该重要区块分析撷取单元判定区块重要性的方式为依据区块编码信息内容，其中，区块编码信息内容为视频编码位数量、移动向量、编码型态、和编码冗余量中的一种或多种的组合。
在本发明的一实施例中，该重要区块分析撷取单元还根据分析所得影像内重要性分布判定单张影像的重要性，并将具有重要影像区块的影像定义为重要影像。
在本发明的一实施例中，该缩时概要视频合成单元能够合成出时间长度在限定的时间区段内的缩时概要视频，其中包含了所有重要区块内容。
在本发明的一实施例中，基于压缩视频的缩时概要输出系统还包含一用户操作平台单元，该用户操作平台单元能够观看缩时概要合成结果，在呈现合成结果的方法上，以主画面呈现合成结果影像，在多个子画面呈现提供合成信息的原始影像，并在具有重迭区块部分提示合成来源。
本发明公开了一种基于压缩视频的缩时概要输出方法，包含以下步骤：解析一压缩视频以取出解压缩的多张影像，其中该压缩视频依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块压缩而成；解析该压缩视频中的编码信息，以决定该视频中的每一张影像中的每一区块是否为一重要区块；以及依据每一张影像中的重要区块分布，将译码后的多张影像中的重要区块进行合成以输出缩时概要视频。
在一实施例中，所述缩时概要输出方法中，决定每一张影像中的该多个区块中的每一区块是否为一重要区块的依据为区块编码信息内容，其中，该区块编码信息内容为视频编码位数量(encodedbitnumber)、移动向量(motionvector)、编码型态(MBtype)、编码冗余量(DCTcoefficients)或上述区块编码信息的任意组合。
在一实施例中，所述缩时概要输出方法中，决定每一张影像中的每一区块是否为一重要区块时，还可依据该张影像的重要区块的分布，以判定该张影像的重要性。
在本发明的一实施例中，决定每一张影像中的每一区块是否为一重要区块时，还依据与该张影像相邻的影像的相互关系，将影像和与其相邻的影像彼此串接分析，以决定该张影像中的每一区块是否为一重要区块。
在本发明的一实施例中，合成缩时概要视频时，缩时概要输出方法进一步依据单张影像的重要性，并删除不具有重要性的影像，以合成输出缩时概要视频。
在本发明的一实施例中，缩时概要输出方法进一步依据重要区块整合信息以及用户设定合成限制条件，合成输出具有重迭影像内容的缩时概要视频。
在本发明的一实施例中，缩时概要输出方法还包含一用户操作界面，用以指引用户操作、设定相关视频处理信息与呈现输出视频数据。
在本发明的一实施例中，译码并解析该压缩视频时，解析出压缩视频数据序列中的重要信息，该重要信息包括一影像内容、一影像区块编码方式数据、一区块耗费的编码数量、一区块移动向量、一视频压缩型态和一区块编码冗余量中的一种或多种的组合。
在本发明的一实施例中，缩时概要输出方法还包含一储存数据步骤，以储存相关视频数据以及该重要信息。
附图说明
图1为一监控视频缩时概要输出系统示意图；
图2为一缩时概要视频合成方法示意图；
图3为一合成影像呈现示意图；
图4为一视频缩时概要输出方法示意图；
图5为一非实时视频缩时概要输出系统示意图；
图6a为一非实时视频缩时概要合成方法的重要影像分布示意图；
图6b为一非实时视频缩时概要合成方法的合成视频时间关联示意图。
附图标记说明：101-视频压缩译码单元；
102-重要区块分析撷取单元；
103-缩时概要视频合成单元；
104-使用者操作平台；
105-影像数据储存单元；
201、202、203、204、205、206、207、208-合成影像；
301、302、303、304、305、306、307、308-影像区块；
401-视频压缩数据；
402-译码压缩视频；
403-分析与撷取重要区块；
404-合成缩时概要视频；
405-缩时概要视频；
501-视频压缩译码子单元；
502-压缩视频数据分析撷取单元；
503-缩时概要视频输出呈现单元；
504-用户操作平台子单元；
505-缩时概要视频合成子单元；
506-影像与重要区块分布数据储存单元；
507-重要区块分析撷取子单元；
601-视频片段/时段1；
602-视频片段/时段2；
603-视频片段/时段3；
604-视频片段/时段4；
605-视频片段/时段5。
具体实施方式
参考图1所示的实施例，监控视频的缩时概要输出的系统包含一视频压缩译码单元101，用以解析用户操作平台单元104指定的视频压缩数据，取出解压缩信息，并将解压缩信息传递至影像数据储存单元105与重要区块分析撷取单元102，其中该视频压缩依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块压缩而成；一影像数据储存单元105，用以储存视频压缩译码单元101提供的解压缩信息，并提供缩时概要视频合成单元103合成所需视频信息；一重要区块分析撷取单元102，用以解析该压缩视频中的编码信息，以决定该视频的每一张影像中的每一区块是否为一重要区块及取得重要区块分布，并将此重要区块分布信息传递至缩时概要视频合成单元103；一缩时概要视频合成单元103，用以接收影像数据储存单元105与重要区块分析撷取单元102所提供的信息，以合成缩时概要视频，并将结果提供给用户操作平台单元104，以及一用户操作平台单元104，用以令用户操作此系统，提供视频压缩译码单元101压缩视频以及观看缩时概要视频合成单元103输出的缩时概要视频。
以一较佳实施例说明视频压缩译码单元101，此单元用以解析视频数据流，进而取得影像内容。还可取得视频压缩特殊信息，其中可为影像区块所耗费的编码位数量(encodedbitnumber)、移动向量(motionvector)、编码型态(MBtype)或编码冗余量(DCTcoefficients)等视频压缩特殊信息，亦可为上述信息的任意组合，之后将视频压缩特殊信息传递至重要区块分析撷取单元102，将影像内容传递至影像数据储存单元105。以另一实施例为例，视频压缩译码单元输出的视频压缩特殊信息与影像内容皆传递至影像数据储存单元，以提供之后各操作应用上的读取。
以一较佳实施例说明影像数据储存单元105，此单元可用以储存视频压缩译码单元101所提供的相关视频数据，并提供缩时概要视频合成单元103读取所需的相关视频数据。还可用以储存视频压缩译码单元101所输出的影像以及视频压缩编码信息，以供在非实时合成缩时概要视频应用时存储系统所需使用的解压缩视频信息。
以一较佳实施例说明重要区块分析撷取单元102，此单元可用以接收视频压缩译码单元101所提供的相关视频数据，并且分析视频压缩编码信息，也就是判定区块重要性依据区块编码信息内容，其中，区块编码信息内容为视频编码位数量(encodedbitnumber)、移动向量(motionvector)、编码型态(MBtype)或编码冗余量(DCTcoefficients)，或上述区块编码信息的任意组合；藉此分析撷取各影像区块的重要性，并依据时间先后顺序与空间位置相互关系，撷取所有重要影像区块，还可依分析所得影像内重要性分布判定单张影像的重要性，将具有重要影像区块的影像定义为重要影像。最后，将分析结果及重要区块整合信息传递至缩时概要视频合成单元103。
以一较佳实施例说明缩时概要视频合成单元103，用以接收重要区块分析撷取单元102所提供的重要区块整合信息以及用户操作平台单元104所提供的用户操作信息，依据用户所选定的时段与重要区块整合信息合成输出缩时概要视频，并将此缩时概要视频传递至显示设备或数据储存装置上供用户观看或记录。
以一较佳实施例说明用户操作平台单元104，用以令用户选取需输出缩时概要的原始视频文件，将该文件输入视频压缩译码单元101，之后接收缩时概要视频合成单元103所输出的缩时概要视频，并将此视频呈现于显示设备。同时，用户操作平台单元104能够提供用户设定缩时概要操作参数，其中参数包含所欲输出视频的时间长度、容许重要区块重迭的程度、特定区块的位置等信息。
以另一实施例详细说明重要区块分析撷取单元102，此单元的主要目的在于将影像中具有重要信息的影像区块挑选出来，因视频编码的原理是将影像中已经存在过的信息以极少的信息量呈现，而对于新出现的影像内容以较多的信息量呈现，也就是当区块中具有较多信息量时，判定该区块具有较多需要阐述的信息，即可被视为重要区块。因此，挑选重要区块的方法主要是依据区块编码信息内容，如视频编码位数量(encodedbitnumber)、移动向量(motionvector)、编码型态(MBtype)或编码冗余量(DCTcoefficients)，或区块编码信息的任意组合。因此，重要区块分析的方法其中一种分析法可为：
ImpactMBi,j＝f(biti,j,mvi,j,codingtypei,j,DCTcoefficientsi,j)
其中ImpactMBi,j为MBi,j的重要性，
MBi,j为位置在影像(i,j)的区块，i∈[1,width]；j∈[1,height]
biti,j为MBi,j的编码位数量，mvi,j为MBi,j的移动向量
codingtypei,j为MBi,j的编码型态
DCTcoefficientsi,j为MBi,j的编码冗余量
影像译码数据经过分析后，即可取得各个影像区块的重要性，而通过启发式的临界值决定法(heuristicthresholding)，即可将影像分为重要区块与非重要区块两类。重要区块分布信息亦可进一步应用于重要影像区分机制内，以最简易的方式实现，若影像中并不存在重要区块，该影像即可被视为不重要影像，相反的，具有重要区块的影像即为重要影像。重要区块信息以及重要影像信息即可被传递至缩时概要视频合成单元103，进行合成缩时概要视频。
以另一实施例详细说明缩时概要视频合成单元103，此单元的主要目的在于将视频中的所有重要区块在限定的时间区段内合成缩时概要视频，其中包含了所有重要区块内容，也就是，合成出时间长度在限定的时间区段内的缩时概要视频，其中包含了所有重要区块内容。首先，依据重要影像区信息将不具有重要信息的影像滤除，再将剩余的重要影像序列依据用户需求进行视频合成。本方法可采用使用者设定(UserDefined)与依据影像区块的时空分布信息的自适应区间(Adaptivetime-windows)，输出缩时概要信息。以一具有100分钟影像内容的压缩视频为例，如果希望能将依此视频输出约5分钟的缩时概要视频，则以一种无限定重迭比例的方式，如下所述，首先，以五分钟为间隔，将影像区分为20个区段，取出各区段的各影像重要区块信息。若所有区段的信息皆未包含重要区块，此张影像无须合成，反之，若有任一区段的影像具有重要区块，该影像则需要合成。以图2为例，在时间为T2的时刻，所有区段内的影像皆不具有重要区块，则该时间点的合成影像202则无需合成，也就是最终合成的影像数量将少于区段长度。而其他时间T1、T3、T4…、T8区段的影像皆为重要区块，因此该时间点最后皆输生一合成影像201、203、204…、208。
合成影像的构成则依据各区段影像的重要区块特性分布，以时间为T1为例，在区段S2与S3的影像具有重要区块，因此重要区块位置上的影像分别从S2与S3的影像中抓取，其余部分则由所有影像提供，取得所有影像中非重要区块部分的平均影像或是中间值影像作为合成影像中的场景影像。若重要区块在空间中彼此重迭，以时间T8为例，S1与S3的影像的重要区块在空间上重迭，该位置的影像则取这些重迭区块的影像内容进行平均，以平均影像作为最终合成结果。
另一较佳实施例，首先分析视频中重要视频数据的长度，若将不具重要信息的影像数据移除后，剩余的重要视频数据的长度足以满足用户需求，则无须进行影像的合成，仅需将重要影像依序汇整成缩时概要视频即可。
以另一实施例详细说明用户操作平台单元104，此单元的主要目的在于提供用户操作界面，使用户能够选取特定监控视频进行缩时概要视频合成，同时使用户能够观看缩时概要合成结果。在呈现合成结果的方法上，以主画面呈现合成结果影像，在多个子画面呈现提供合成信息的原始影像，并可在具有重迭区块部分提示合成来源。其中一种呈现方式，如图3所示。以主画面呈现合成结果影像，另外，在右侧呈现提供合成信息的原始影像，同时依据提供重要区块数量进行排序。另外，若合成影像上具有重迭区块部分，则在区块周边提示合成来源以显示此区块为合成区块。
相较于现有技术，以此实施例方式获取缩时概要视频，在运算量上，本发明仅需过滤视频译码过程中所获取的视频压缩信息，不需进行任何视频分析处理，以区分影像中的前景与背景区域或前景与背景的像素集合，相比之下，本发明所需的计算量远低于现有技术，而且本发明具有低运算复杂度的特性。
参考图4，以一较佳实施例说明视频缩时概要输出的方法，流程包含译码压缩视频402、分析与撷取重要区块403以及合成缩时概要视频404等三个步骤。其中，译码视频压缩402步骤用以解析视频数据流以取得视频编码信息，并提供此信息以进行分析与撷取重要区块403。分析与撷取重要区块步骤，分析视频编码信息，取得影像内各区块的重要性分布数据，并提供此重要性分布数据进行合成缩时概要视频。而合成缩时概要视频404步骤，用以依据所获得的重要性分布数据合成输出缩时概要视频404。
实际实施时，可通过多线程方式实现译码视频压缩步骤，使视频压缩数据401能够多任务译码，同时取得特定时间上的压缩视频的编码以及影像数据。而后，将所取得的数据进行重要区块分析撷取。例如，将视频序列等时间距分割成指定时间长度的区段，在进行时段切割时必须以GOP(GroupOfPicture)为基本单位进行分段，以令各区段皆可独立译码。之后，对各区段通过多线程的译码方式同时进行视频译码，以取得压缩视频数据与影像信息。所取得的压缩视频数据可为一影像区块编码方式数据，或为一区块耗费的编码数量、一区块移动向量、一视频压缩型态或一区块编码冗余量，或是影像内容与上述各项数据的混合呈现。
重要区块分析撷取步骤则依据所取得的压缩视频的编码数据，将此时所获取的多个影像中的影像区块分成重要与不重要区块，并且依据分析所得影像内重要性分布，再依据时间先后顺序与空间相互关系，将影像和与其相邻的影像彼此串接分析，获取视频中所有重要影像区块分布。同时，依据各影像是否具有重要区块或是重要区块的数量判定单张影像的重要性。
之后，依此分布信息进行缩时概要视频合成，若某一时刻上的影像皆为不重要影像，则将此时刻的影像忽略，无须输出合成影像，也就是可依据单张影像的重要性删除不具有重要性的影像，再合成输出缩时概要视频。相对的，若存在重要影像，则将此时刻的所有不重要区块依据空间关系，通过计算中间值或平均值等方式，建构视频中的场景影像信息。再将所有重要区块，依据空间重复出现次数为参考，将重要区块影像依不同权重，在所属的空间位置上进行合成迭加，藉此取得概要影像。再依此方法处理整个视频压缩数据，最终获得缩时概要视频。而此步骤亦可提供用户界面设定合成限制条件与重要区块整合信息，合成输出具有重迭影像内容的缩时概要视频。当进行限制条件的视频合成时，例如限定重要区块重迭比例进行合成视频，首先，判定进行重迭的影像内的区块重迭比例，若重迭比例过高时，部分视频必须延后呈现于合成视频，而其余视频则进行不同权重的影像重迭进行合成。
为了可以呈现缩时概要视频，同时使用户能够操作本发明，在一更佳实施例的实施方式中，输出方法还可包含一用户操作界面单元，以指引用户操作、设定相关视频处理信息与呈现输出视频数据，还可通过此界面限定合成条件，使使用者取得所希望的合成结果。另外，在呈现缩时概要视频时，用户将需要回播的机制，为避免重复处理相同视频数据，本发明还可添加一影像数据储存单元，以暂存所有处理信息，所记录的数据可为一影像内容，更可为一影像区块编码方式数据、一区块耗费的编码数量、一区块移动向量、一视频压缩型态或一区块编码冗余量，或是影像内容与上述各项数据的混合呈现。
参考图5，以另一实施例说明非实时缩时概要视频输出系统，此系统由一压缩视频数据分析撷取单元502、一影像与重要区块分布数据储存单元506以及一缩时概要视频输生呈现单元503构成。其中，压缩视频数据分析撷取单元由一视频压缩译码子单元501与一重要区块分析撷取子单元507组合而成。视频压缩译码子单元用以解析视频数据流，以取得影像区块编码方式数据、区块耗费的编码数量、区块移动向量以及区块编码冗余量的编码信息等视频压缩特殊信息以及译码出压缩视频影像序列。所取得的视频压缩特殊信息送至重要区块分析撷取子单元而压缩视频影像数据直接送至影像与重要区块分布数据储存单元，以备后续单元读取。重要区块分析撷取子单元用以接收视频压缩译码子单元所提供的相关视频数据，以分析各影像、影像区块的重要性，更进一步，依据时间先后顺序与空间相互关系，串接所有重要影像区块，甚至通过统计方式分析重要区块的分布特性，决定各个影像的重要性，最后，将分析结果，也就是重要区块分布以及其统计整合信息，传递至影像与重要区块分布数据储存单元。
缩时概要视频产生呈现单元由一缩时概要视频合成子单元505以及一用户操作平台子单元504构成，使用者通过用户操作平台子单元选定所欲快速浏览的监控视频，同时设定输出缩时概要视频的相关设定参数，如期待观看缩时视频总长度等信息，同时通过此子单元观看缩时概要视频以及其相关监控信息，而缩时概要视频由缩时概要视频合成子单元505输出。缩时概要视频合成子单元505通过影像与重要区块分布数据储存单元506取得重要区块整合信息以及相关视频影像数据，依据用户所设定的相关输入参数，合成输出缩时概要视频，并将此缩时概要视频传递至用户操作平台子单元504，以显示于显示设备或储存于数据储存装置上，以供用户观看或记录。
对于所有的监控视频，皆可以通过此实施例所述的方法，先通过压缩视频数据分析撷取单元502取得重要区块整合信息以及相关视频影像数据，并将其储存至影像与重要区块分布数据储存单元506，其中所储存的影像信息为避免过多的储存空间需求，所储存的信息可为简单的时间信息以及文件信息的偏移量(fileoffset)，即可在需要取得影像信息时，搭配视频译码器，即可快速取得影像信息，无须重新重头译码。
对此非实时缩时概要视频输出系统，输出合成缩时概要视频的方法，可以另一较佳实施例说明，参考图6a中包含重要区块的影像分布在1-5的视频片段601、602、603、604、605中，其中，包含重要区块的影像在此称为重要影像。分析所有重要影像片段长度，挑选时间最长的视频所占据时间为最终缩时概要合成视频的最终时间长度。而影像的合成方式为依据重要区块的分布，在各时段中对应的时间点的影像，取得相同影像位置的区块，若该位置上的区块在各影像中皆为非重要区块，则取所有影像的中间值区块影像或平均值区块影像为合成结果，若该位置区块在某些时段的对应时间点上的影像为重要区块，此区块则以不同权重，在所属的空间位置上进行合成迭加。
如图6b所示，例如，进行合成第五张合成影像时，若影像位置在(0，0)的区块在所有时段内的第五张影像皆为非重要区块，则将该区块内的所有像素取每个影像相同位置的像素取中间值或平均值为合成结果；而影像位置在(160，160)区块位于时段1601、时段3603以及时段5605中每一时段的第五张影像内，且该位置上的区块为重要区块，则此合成区块采用时段1601、时段3603以及时段5605中每一时段的第五张影像在此位置的区块影像进行平均，并以平均结果为合成在该位置上的区块影像
虽然本发明以前述的较佳实施例揭露如上，然其并非用以限定本发明，任何熟习相像技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰。虽然在上述描述说明中并无完全揭露这些可能的更动与替代，而本说明书所附的权利要求实质上已经涵盖所有这些态样。

Claims (16)

1.一种基于压缩视频的缩时概要输出系统，其特征在于，包含：
一译码单元，用以解析一压缩视频以取出解压缩的多张影像，其中，该压缩视频依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块压缩而成；
一重要区块分析撷取单元，用以解析该压缩视频中的编码信息，以决定该视频中的每一张影像中的每一区块是否为一重要区块；以及
一缩时概要视频合成单元，依据每一张影像中的重要区块分布，将该解压缩的多张影像中的重要区块进行合成以输出缩时概要视频。
2.根据权利要求1所述的输出系统，其特征在于，该视频压缩译码单元用以解析视频数据流，进而取得影像内容，还能够取得视频压缩特殊信息以提供给重要区块分析撷取单元，用以决定每一张影像中的每一区块是否为一重要区块，其中视频压缩特殊信息为影像区块所耗费的编码数量、移动向量、编码型态和编码冗余量中的一种或多种的组合。
3.根据权利要求1所述的输出系统，其特征在于，还包含一影像数据储存单元，用以储存视频压缩译码单元所输出的影像以及视频压缩编码信息，以供在非实时合成缩时概要视频应用时存储系统所需使用的解压缩视频信息。
4.根据权利要求1所述的输出系统，其特征在于，该重要区块分析撷取单元判定区块重要性的方式为依据区块编码信息内容，其中，区块编码信息内容为视频编码位数量、移动向量、编码型态、和编码冗余量中的一种或多种的组合。
5.根据权利要求1所述的输出系统，其特征在于，该重要区块分析撷取单元还根据分析所得影像内重要性分布判定单张影像的重要性，并将具有重要影像区块的影像定义为重要影像。
6.根据权利要求1所述的输出系统，其特征在于，该缩时概要视频合成单元能够合成出时间长度在限定的时间区段内的缩时概要视频，其中包含了所有重要区块内容。
7.根据权利要求1所述的输出系统，其特征在于，还包含一用户操作平台单元，该用户操作平台单元能够观看缩时概要合成结果，在呈现合成结果的方法上，以主画面呈现合成结果影像，在多个子画面呈现提供合成信息的原始影像，并在具有重迭区块部分提示合成来源。
8.一种基于压缩视频的缩时概要输出方法，其特征在于，包含以下步骤：
解析一压缩视频以取出解压缩的多张影像，其中，该压缩视频依据一图像压缩区块大小将原视频中的每一张影像分割为多个区块压缩而成；
解析该压缩视频中的编码信息，以决定该视频中的每一张影像中的每一区块是否为一重要区块；以及
依据每一张影像中的重要区块分布，将该解压缩的多张影像中的重要区块进行合成以输出缩时概要视频。
9.根据权利要求8所述的输出方法，其特征在于，决定每一张影像中的每一区块是否为一重要区块的依据为区块编码信息内容，其中，该区块编码信息内容为视频编码位数量、移动向量、编码型态、编码冗余量中的一种或多种的组合。
10.根据权利要求8所述的输出方法，其特征在于，决定每一张影像中的每一区块是否为一重要区块时，进一步依据该张影像的重要区块的分布判定该张影像的重要性。
11.根据权利要求9所述的输出方法，其特征在于，决定每一张影像中的每一区块是否为一重要区块时，还依据与该张影像相邻的影像的相互关系，将影像和与其相邻的影像彼此串接分析，以决定该张影像中的每一区块是否为一重要区块。
12.根据权利要求10所述的输出方法，其特征在于，合成缩时概要视频时，进一步依据单张影像的重要性，并删除不具有重要性的影像，以合成输出缩时概要视频。
13.根据权利要求8所述的输出方法，其特征在于，进一步依据重要区块整合信息以及用户设定合成限制条件，合成输出具有重迭影像内容的缩时概要视频。
14.根据权利要求8所述的输出方法，其特征在于，还包含一用户操作界面，用以指引用户操作、设定相关视频处理信息与呈现输出视频数据。
15.根据权利要求8所述的输出方法，其特征在于，译码并解析该压缩视频时，解析出压缩视频数据序列中的重要信息，该重要信息包括一影像内容、一影像区块编码方式数据、一区块耗费的编码数量、一区块移动向量、一视频压缩型态和一区块编码冗余量中的一种或多种的组合。
16.根据权利要求15所述的输出方法，其特征在于，还包含一储存数据步骤，以储存相关视频数据以及该重要信息。
CN201510622202.4A 2014-10-01 2015-09-25 基于压缩视频的缩时概要输出系统与方法 Active CN105491462B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103134319 2014-10-01
TW103134319A TWI586176B (zh) 2014-10-01 2014-10-01 基於壓縮視訊之縮時概要產出系統與方法

Publications (2)

Publication Number Publication Date
CN105491462A true CN105491462A (zh) 2016-04-13
CN105491462B CN105491462B (zh) 2019-09-06

Family

ID=55633749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510622202.4A Active CN105491462B (zh) 2014-10-01 2015-09-25 基于压缩视频的缩时概要输出系统与方法

Country Status (3)

Country Link
US (1) US20160100197A1 (zh)
CN (1) CN105491462B (zh)
TW (1) TWI586176B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543881A (zh) * 2019-09-16 2019-12-06 湖北公众信息产业有限责任公司 基于云平台的视频数据管理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646823B (zh) * 2017-04-27 2019-01-01 晨星半導體股份有限公司 視訊壓縮方法及視訊壓縮裝置
US10958854B2 (en) * 2018-11-02 2021-03-23 BriefCam Ltd. Computer-implemented method for generating an output video from multiple video sources

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219300A1 (en) * 2005-11-15 2009-09-03 Yissum Research Deveopment Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
CN101675665A (zh) * 2007-03-08 2010-03-17 约翰·理查德·麦景图 视频影象显示系统及方法
US20100124274A1 (en) * 2008-11-17 2010-05-20 Cheok Lai-Tee Analytics-modulated coding of surveillance video
US20110102634A1 (en) * 2009-10-30 2011-05-05 William David Pardue Method and apparatus for operating a video system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101075258A (zh) * 2007-05-14 2007-11-21 腾讯科技（深圳）有限公司 视频缩略图生成方法和视频缩略图生成装置
KR20100098674A (ko) * 2007-12-05 2010-09-08 온라이브, 인크. 비디오를 압축하기 위한 타일 기반 시스템 및 방법
CN102256065B (zh) * 2011-07-25 2012-12-12 中国科学院自动化研究所 基于视频监控网络的视频自动浓缩方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090219300A1 (en) * 2005-11-15 2009-09-03 Yissum Research Deveopment Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
CN101675665A (zh) * 2007-03-08 2010-03-17 约翰·理查德·麦景图 视频影象显示系统及方法
US20100124274A1 (en) * 2008-11-17 2010-05-20 Cheok Lai-Tee Analytics-modulated coding of surveillance video
US20110102634A1 (en) * 2009-10-30 2011-05-05 William David Pardue Method and apparatus for operating a video system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIZHENG WANG: "A Surveillance Video Analysis and Storage Scheme for Scalable Synopsis Browsing", 《2011 IEEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110543881A (zh) * 2019-09-16 2019-12-06 湖北公众信息产业有限责任公司 基于云平台的视频数据管理方法

Also Published As

Publication number Publication date
TWI586176B (zh) 2017-06-01
CN105491462B (zh) 2019-09-06
TW201615010A (en) 2016-04-16
US20160100197A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
Liu et al. Image compression with edge-based inpainting
US20160295157A1 (en) Image processing apparatus and method
US7941031B2 (en) Video processing apparatus, IC circuit for video processing apparatus, video processing method, and video processing program
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
JP4664406B2 (ja) 動画像復号化装置、半導体装置、映像機器および動画像復号化方法
US8724915B2 (en) Image encoding and decoding method and apparatus using texture synthesis
US10911817B2 (en) Information processing system
GB2524726A (en) Image data encapsulation with tile support
US20100098161A1 (en) Video encoding apparatus and video encoding method
US20100061443A1 (en) Method and system for video streaming of a graphical display of an application
US20210344898A1 (en) Video decoding device and video decoding method
CN105491462A (zh) 基于压缩视频的缩时概要输出系统与方法
US9275081B2 (en) Data management apparatus and data management method
KR101163774B1 (ko) 비디오 압축용 장치 및 프로세스
CN113645448A (zh) 一种适用于指挥调度的视频解码方法和装置
EP1643764A1 (en) Video reproducing apparatus
JP2005175710A (ja) デジタル記録再生装置及びデジタル記録再生方法
JP6320450B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2003333629A (ja) 映像品質評価支援装置、映像品質評価支援方法及び映像品質評価支援プログラム
US7460719B2 (en) Image processing apparatus and method of encoding image data therefor
CN115914711A (zh) 音视频播放方法、装置、设备、介质和计算机程序产品
KR20140134126A (ko) 콘텐츠 생성 방법 및 그 장치
CN115396564A (zh) 视频处理方法、装置、视频设备和存储介质
US20040240552A1 (en) Moving picture processing apparatus
CN117119143A (zh) 基于全息视频的视频侦查系统和方法、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231016

Address after: Unit 2, Jiunei Section 2, Lyon Road Bride Bryce District, MIDSAS, HAI 2BY, UK

Patentee after: Gorilla Technology (UK) Ltd.

Address before: Taiwan, Taipei, China

Patentee before: GORILLA TECHNOLOGY Inc.

TR01 Transfer of patent right