CN1717033B - 视频压缩的设备和方法 - Google Patents

视频压缩的设备和方法 Download PDF

Info

Publication number
CN1717033B
CN1717033B CN2005100764868A CN200510076486A CN1717033B CN 1717033 B CN1717033 B CN 1717033B CN 2005100764868 A CN2005100764868 A CN 2005100764868A CN 200510076486 A CN200510076486 A CN 200510076486A CN 1717033 B CN1717033 B CN 1717033B
Authority
CN
China
Prior art keywords
image
images
spanning tree
image sets
minimum spanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2005100764868A
Other languages
English (en)
Other versions
CN1717033A (zh
Inventor
让-罗南·维古鲁
努尔-埃丁·塔扎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1717033A publication Critical patent/CN1717033A/zh
Application granted granted Critical
Publication of CN1717033B publication Critical patent/CN1717033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Abstract

本发明涉及一种压缩视频文档的设备和方法。所述方法包括步骤：将视频文档分解为镜头(1)；提取代表所述镜头的图像(2)；测量所述代表图像之间的距离(3，4)；将其距离小于预定阈值的图像一起组合为图像组(5)；计算每一个图像相对于图像组中的其他图像的相对编码成本(6)；根据本发明，所述方法还包括步骤：计算使每一个图像组的编码成本最小的每一个图像组的最小生成树(7)；通过按照由所述生成树所给出的次序来浏览图像，对每一个图像组进行编码(8)。本发明适合于视频归档。

Description

视频压缩的设备和方法
技术领域
本发明涉及一种压缩视频文档的设备和方法。更具体地，本发明涉及一种适合于归档(archiving)的视频压缩。
背景技术
与当涉及压缩用于传输的视频时相比，当涉及对视频进行归档时，视频文档的压缩限制不太明显。
具体地，必须通过按照时间次序逐个获取图像，来压缩实时压缩、传送和解压所需的视频，如MPEG-2等编码方法那样。
当需要将图像记录在存储介质上以便长时间存储时，例如硬盘，能够以任意次序来压缩其，从而优化所存储的信息量，并因而使所需的存储资源最小。因此，压缩限制与实时编码/解码的情况并不相同。
因此，本发明涉及在编码之前对视频文档的图像进行排序，从而增加压缩度。实际上，多种数据压缩方法使用到群簇(cluster)的组合(grouping)。然而，一旦已经最终形成了群簇，则按照其时间次序直接对图像进行编码。
本发明能够避开该时间次序，并且在获得最佳压缩度的同时对图像进行编码。
发明内容
出于这个目的，本发明涉及一种压缩视频文档的方法，包括步骤：
-将视频文档分解为镜头(shot)；
-提取代表所述镜头的图像；
-测量所述代表图像之间的距离；
-将其距离小于预定阈值的图像一起组合为图像组；
-计算每一个图像相对于图像组中的其他图像的相对编码成本。
根据本发明，所述方法包括步骤：
-计算使每一个图像组的编码成本最小的每一个图像组的最小生成树；
-通过按照由所述生成树所给出的次序来浏览图像，对每一个图像组进行编码。
最小生成树能够修改图像的编码次序，因而提高压缩度。这特别适合于(但并非专门用于)归档所需的压缩，在所述归档中，编码时间并不重要且编码次序也并不重要。
根据优选实施例，以帧内模式(intra mode)对生成树的第一编码图像进行编码。
根据优选实施例，在最佳生成树中相对于在先图像，以预测模式对除了第一图像之外的图像进行编码。
根据优选实施例，以帧内模式对生成树中分隔的多个图像进行编码。
附图说明
参考附图，通过完全非限定性的优选方式的实施例和实现，本发明将得到更好地理解和说明，其中：
-图1示出了将视频分解到代表图像的组中；
-图2示出了根据本发明的处理的步骤；
-图3示出了最小生成树；
-图4示出了根据本发明的设备。
具体实施方式
视频文档由一连串图像构成，图像自身经常能够组合为镜头，所述镜头对应于画面断片。
图1示出了将视频文档分解为镜头P1、P2、P3、……、P10。将与图2并行地描述图1，图2示出了能够获得图1所示的视频文档的分割的处理步骤。
存在将视频分解为镜头的各种方法，如图2的步骤1所示。在以Thomson Licensing SA的名义于2002年10月28日递交的法国专利申请0213978中具体描述了这样的方法。该专利申请也描述了提取针对每一个镜头的关键(key)图像(图2的步骤2)。可以从每一个镜头中提取一个和多个关键图像，这取决于镜头的运动量，镜头表现出能够以多于一个关键图像为特征的显著运动。
之后，作为其相似性的函数，将关键图像组合在一起(图2的步骤4)。
通过测量图像之间的距离来计算该相似性。测量图像之间的距离基于属性F之间的距离。
作为非限定性说明，F代表从纹理、颜色中所选的图像的特征。作为可选方案，可以采用小波变换的主要系数作为属性。
存在各种计算属性的方法(图2中的步骤3)，并且这些方法是本领域的技术人员所公知的。
作为说明，计算出的距离D可以是欧几里得型距离。
当距离D小于预定阈值ε(例如，其可以固定为视频文档类型的函数)时，将这些图像一起组合为组或“群簇”(图2的步骤5)。然后，这些图像组表现出显著的视觉相似性。
当从同一镜头中提取了多个关键图像时，并且当在组合到群簇中的步骤期间，其并未以相同的群簇为特征时，对其所述的群簇进行合并。
所获得的群簇数量取决于相似性测量的预定阈值ε和用于组合到群簇中的方法。
每一个群簇包括特定数量的镜头中的所有图像。
因此，对于每一个群簇中的每一对图像，计算编码成本。
逐一选择每一个图像，并且相对于其他图像评估与每一个图像相关的编码成本(图2中的步骤6)。
之后，根据这些编码成本，针对每一个群簇来计算最小生成树(图2中的步骤7)。该最小生成树能够找到用于浏览使编码成本最小的群簇中的图像的整个集合的路径。
在用于计算最小生成树的算法中，使用Kruskal算法。
在其他实施例中，还可以使用Prim算法。
在图3中给出了这样的生成树的一个示例，其中的点表示群簇的图像。
群簇Ci包括编号为I1到I7的七个图像。
群簇内同一镜头的图像I1到I7是连续的。
应用于群簇I1到I7的克鲁斯卡尔算法给出了生成树，在图3的右手部分给出。
该生成树给出了必须对图像进行编码以获得最小编码成本(即，允许对视频序列进行最大压缩的编码成本)的次序。
当针对每一个群簇来计算生成树时，按照与生成树兼容的次序对图像进行编码(步骤8，图2)。原始图像的选择是任意的；最有利的选择是采用具有最短在内编码的图像。一旦已经选择了原始图像，则在所述树中按照降序对剩余图像进行排序。
根据该示例，图像I4是将被编码的第一图像。因此，根据编码的在内模式对该图像进行编码，即仅在空间上。
相对于所述树中的在先图像，根据预测模式对后续图像进行编码。相对于图像I7对图像I7进行编码，相对于图像I3以及图像I2对图像I6进行编码。相对于图像12对图像I1进行编码，并且相对于图像I1对图像I5进行编码。
在其他示例中，能够以在内模式对多个图像进行编码。这特别出现在所述群簇包括大量图像的情况下。在这种情况下，对特定图像进行选择，在生成树中有规则地分隔，以便以在内模式来进行编码。
可以设想用于预测编码的多个策略。特别地，在所提出的实施例中，根据符合MPEG-2或MPEG-4标准的编码策略对这些图像进行编码。
一旦已编码，则将图像归档在诸如硬盘等存储介质中，以及群簇和树的结构描述能够重新构造全局视频。
由时标(time lable)来识别每一个图像，所述时标能够在解码期间对图像进行排序并重新构造视频流。
例如，本发明特别适合于其中镜头有规则地返回的节目。特别地，在其中图像有规则地包括展示该传输的新闻记者的镜头的电视播送杂志或新闻报纸的情况下，也是如此。
图4示出了其中实现了本发明的系统。
所述系统包括摄像机11。所述摄像机捕获事件并将视频信息传送到处理单元9。
所述处理单元9适合于：
·将视频文档分解为镜头；
·提取所述镜头的代表图像；
·测量所述代表图像之间的距离；
·将其距离小于预定阈值的图像一起组合为图像组；
·计算每一个图像相对于图像组中的其他图像的相对编码成本；
·计算使每一个图像组的编码成本最小的每一个图像组的最小生成树。
一旦已经这样做，则将图像排序信息传送到编码设备12。所述编码设备12适合于在将其传送到归档单元10(可以是硬盘、DVD等)之前，对视频图像进行编码。

Claims (5)

1.一种压缩视频文档的方法，包括步骤：
-将视频文档分割为镜头(1)；
-提取代表所述镜头的图像(2)；
-测量所述代表图像之间的距离(3，4)；
-将其距离小于预定阈值的图像组合为图像组(5)；
-计算图像组中每一个图像相对于该图像组中的其他图像的相对编码成本(6)；
其特征在于所述方法包括步骤：
-计算使每一个图像组的编码成本最小的每一个图像组的最小生成树(7)；
-通过按照由所述最小生成树所给出的次序来浏览图像，对每一个图像组进行编码(8)。
2.根据权利要求1所述的方法，其特征在于：以帧内模式对最小生成树的第一编码图像进行编码。
3.根据权利要求2所述的方法，其特征在于在最小生成树中相对于在先图像，以预测模式对除了第一编码图像之外的图像进行编码。
4.根据权利要求1所述的方法，其特征在于以帧内模式对最小生成树中分隔的多个图像进行编码。
5.一种压缩文档的设备，包括：
处理单元(9)，所述处理单元(9)用于：
-将视频文档分割为镜头；
-提取代表所述镜头的图像；
-测量所述代表图像之间的距离；
-将其距离小于预定阈值的图像组合为图像组；
-计算图像组中每一个图像相对于该图像组中的其他图像的相对编码成本(6)；
其特征在于：
所述处理单元(9)计算使每一个图像组的编码成本最小的每一个图像组的最小生成树；以及
-所述压缩文档的设备还包括编码器(12)，通过按照由所述最小生成树所给出的次序来浏览图像，对每一个图像组进行编码。
CN2005100764868A 2004-07-01 2005-06-16 视频压缩的设备和方法 Active CN1717033B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0451395A FR2872665A1 (fr) 2004-07-01 2004-07-01 Dispositif et procede de compression video
FR0451395 2004-07-01

Publications (2)

Publication Number Publication Date
CN1717033A CN1717033A (zh) 2006-01-04
CN1717033B true CN1717033B (zh) 2010-04-14

Family

ID=34947062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005100764868A Active CN1717033B (zh) 2004-07-01 2005-06-16 视频压缩的设备和方法

Country Status (7)

Country Link
US (1) US8340176B2 (zh)
EP (1) EP1613096B1 (zh)
JP (1) JP4734047B2 (zh)
KR (1) KR101163774B1 (zh)
CN (1) CN1717033B (zh)
DE (1) DE602005008139D1 (zh)
FR (1) FR2872665A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100754205B1 (ko) * 2006-02-07 2007-09-03 삼성전자주식회사 다시점 동영상 부호화 장치 및 방법
JP4866417B2 (ja) * 2006-03-09 2012-02-01 パイオニア株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP4898589B2 (ja) * 2007-07-26 2012-03-14 株式会社日立製作所 画像圧縮方法、および、画像処理装置
EP2299717A1 (en) * 2009-09-10 2011-03-23 Thomson Licensing Method and apparatus for image encoding using Hold-MBs, and method and apparatus for image decoding using Hold-MBs
CN105409207A (zh) * 2013-07-15 2016-03-16 微软技术许可有限责任公司 基于特征的图像集合压缩
KR102240570B1 (ko) 2014-05-13 2021-04-15 삼성전자주식회사 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2846502B1 (fr) * 2002-10-28 2005-02-11 Thomson Licensing Sa Procede de selection de germes pour le regroupement d'images cles

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0786968B2 (ja) 1987-07-17 1995-09-20 松下電器産業株式会社 超電導磁気ヘッド
DE69609702T2 (de) * 1995-10-25 2001-04-12 Koninkl Philips Electronics Nv Verfahren und system zur kodierung segmentierter bilder sowie entsprechendes dekodierungsverfahren und -system
JPH1023408A (ja) 1996-06-28 1998-01-23 Nippon Telegr & Teleph Corp <Ntt> 画像信号符号化方法
FR2753330B1 (fr) * 1996-09-06 1998-11-27 Thomson Multimedia Sa Procede de quantification pour codage video
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
US6562077B2 (en) * 1997-11-14 2003-05-13 Xerox Corporation Sorting image segments into clusters based on a distance measurement
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2002152740A (ja) 2000-11-16 2002-05-24 Matsushita Electric Ind Co Ltd カラー画像符号化装置、カラー画像符号化方法及び記録媒体
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7265692B2 (en) * 2004-01-29 2007-09-04 Hewlett-Packard Development Company, L.P. Data compression system based on tree models
WO2005076594A1 (en) * 2004-02-06 2005-08-18 Agency For Science, Technology And Research Automatic video event detection and indexing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2846502B1 (fr) * 2002-10-28 2005-02-11 Thomson Licensing Sa Procede de selection de germes pour le regroupement d'images cles

Also Published As

Publication number Publication date
US20060002612A1 (en) 2006-01-05
US8340176B2 (en) 2012-12-25
EP1613096B1 (en) 2008-07-16
JP4734047B2 (ja) 2011-07-27
KR101163774B1 (ko) 2012-07-06
CN1717033A (zh) 2006-01-04
DE602005008139D1 (de) 2008-08-28
KR20060048735A (ko) 2006-05-18
JP2006020330A (ja) 2006-01-19
FR2872665A1 (fr) 2006-01-06
EP1613096A1 (en) 2006-01-04

Similar Documents

Publication Publication Date Title
Duan et al. Compact descriptors for video analysis: The emerging MPEG standard
Duan et al. Compact descriptors for visual search
CN1717033B (zh) 视频压缩的设备和方法
CN103338376B (zh) 一种基于运动矢量的视频隐写方法
CN101841700B (zh) 一种面向h.264压缩比特流的视频水印方法
CN104869425A (zh) 一种基于纹理图像相似性的压缩和解压缩方法
CN104683811A (zh) 一种基于整数dct系数调制的信息隐藏及提取方法
CN102905137B (zh) 超光谱信号的快速差值矢量量化压缩编码方法
CN103020138A (zh) 一种视频检索的方法和装置
Fang et al. 3dac: Learning attribute compression for point clouds
CN102014283A (zh) 一阶差分前缀表示的图像数据无损压缩的编码方法
Makar et al. Compression of image patches for local feature extraction
Chen et al. A new compression scheme for color-quantized images
Zhang et al. Deep network-based image coding for simultaneous compression and retrieval
CN111325807B (zh) 一种基于jpeg图像的加密与特征提取方法
CN111741301B (zh) 基于ambtc压缩编码的再压缩及信息隐藏方法
Li et al. High capacity reversible data hiding for VQ-compressed images based on difference transformation and mapping technique
CN115604475A (zh) 一种多模态信源联合编码方法
Arnia et al. Fast method for joint retrieval and identification of JPEG coded images based on DCT sign
Zargari et al. A fast and efficient compressed domain JPEG2000 image retrieval method
CN104137544B (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
KR102072576B1 (ko) 데이터 인코딩 및 디코딩 장치와 방법
Iida et al. Robust image identification for double-compressed and resized JPEG images
Xing et al. End-edge-cloud collaborative system: A video big data processing and analysis architecture
CN104735459B (zh) 视频局部特征描述子的压缩方法、系统及视频压缩方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: La France

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right