CN101622874A - 对象存档系统和方法 - Google Patents

对象存档系统和方法 Download PDF

Info

Publication number
CN101622874A
CN101622874A CN200880006362A CN200880006362A CN101622874A CN 101622874 A CN101622874 A CN 101622874A CN 200880006362 A CN200880006362 A CN 200880006362A CN 200880006362 A CN200880006362 A CN 200880006362A CN 101622874 A CN101622874 A CN 101622874A
Authority
CN
China
Prior art keywords
video file
computer
model
video
object models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880006362A
Other languages
English (en)
Inventor
C·P·佩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Euclid Discoveries LLC
Original Assignee
Euclid Discoveries LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Euclid Discoveries LLC filed Critical Euclid Discoveries LLC
Publication of CN101622874A publication Critical patent/CN101622874A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4335—Housekeeping operations, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供用于处理和压缩视频的基于个人对象的存档系统和方法。通过分析用户特有的特征，例如与用户相关联的面部、家人和宠物属性，可以确定不变模型，以创建每个用户的个人对象模型适配器。这些个性化对象模型可以使用几何和外观建模技术来创建，并且可以存储于对象模型库中。对象模型可以复用，以处理其它视频流。对象模型可以通过端对端网络在多个用户间共享，或可以存储于服务器上的对象模型库中。在重建已压缩(已编码)视频时，可以访问和使用视频对象模型，以产生质量接近无损压缩的视频。

Description

对象存档系统和方法
相关申请
本申请要求对2007年1月23日提交的美国临时申请No.60/881,982的优先权。本申请与2007年1月23日提交、标题为“Computer Method and Apparatus for Processing Image Data”的美国临时申请No.60/881,966和2006年6月8日提交、标题为“Apparatus AndMethod For Processing Video Data”的美国临时申请No.60/811,890有关。本申请与2006年3月31日提交的美国申请No.11/396,010有关，该美国申请No.11/396,010是于2006年1月20日提交的美国申请第No.11/336,366的部分继续申请，该美国申请No.11/336,366是于2005年11月16日提交的美国申请No.11/280,625的部分继续申请，该美国申请No.11/280,625是于2005年9月20日提交的美国申请No.11/230,686的部分继续申请，该美国申请No.11/230,686是现为美国专利No.7,158,680、于2005年7月28日提交的美国申请No.11/191,562的部分继续申请。通过整体引用将各前述申请结合于此。
背景技术
随着数字视频近来的迅速普及，对视频压缩的需求已经急剧增加。视频压缩减少了存储和传输数字媒体所需的比特数。视频数据包含空间冗余性和时间冗余性，并且可以通过登记(register)帧内(空间)和帧间(时间)的差值来对这些空间和时间相似性进行编码。执行压缩的硬件或软件称为编码解码器(编码器/解码器)。编码解码器是能够对数字信号进行编码和解码的设备或软件。由于数据密集的数字视频应用已经变得无处不在，所以需要更高效的信号编码方式。因此，视频压缩现在已经成为存储和通信技术中的一个中心组成。
遗憾的是，常规视频压缩方案受困于形式上表现为低数据通信速度、大量储存要求和干扰感知效果的诸多低效性。这些阻碍可能给需要容易、高效地操控视频数据而又保持质量(对于人们所具有的对一些形式的视觉信息的先天敏感性而言，这尤为重要)的各种用户带来严重问题。
在视频压缩中通常考虑诸多关键因素，这些因素包括：视频质量和码率、编码和解码算法的计算复杂度、对数据损失和错误的抗扰性以及延时。随着数量越来越多的视频数据充斥因特网，可以明显缓解拥塞或提高质量的技术不仅对于计算机而且对于电视机、蜂窝电话和其它手持设备均代表一种重大突破。
发明内容
提供用于处理视频的系统和方法，以产生较之本领域现有技术方法而言的计算和分析优点。可以处理视频信号，以创建来自视频信号中代表的一个或多个对象的对象模型。可以将对象模型存档。可以使用存档的对象模型作为用于结构、形变、外观和照明建模的对象模型库。当处理压缩视频文件时，可以使用一个或多个已存档对象模型。可以使用一个或多个已存档对象模型以及编码解码器来重建压缩视频文件。对象模型可以用来创建视频信号中表示的一个或多个对象的隐式表示。
可以比较存档中的对象模型，以确定是否有存储于存档中的基本上等效的对象模型。可以通过消除基本上相互等效的冗余对象模型来减小存档的大小。可以组合存档中的相似对象模型。
视频编码解码器可以用来重建压缩视频文件。可以与视频编码解码器分离地存储对象模型。对象模型可以包括在视频编码解码器中或与之捆绑。可以通过将若干对象模型分组来创建定制的编码解码器。可以对定制的编码解码器进行优化，以重建压缩视频文件。
压缩视频文件可以与具有相似特征的其它压缩视频文件的群组相关联。可以对定制的编码解码器进行优化，以重建该群组中的任何压缩视频文件。可以根据关于用户的个人信息来确定压缩视频文件的群组。可以通过分析由用户提供的未压缩视频文件，来确定关于该用户的个人信息。当分析由用户提供的未压缩视频文件时，可以标识用户所提供的未压缩视频文件中描绘的反复出现的对象。反复出现的对象例如可以是用户所提供的未压缩视频文件中标识的特定人脸或动物。可以创建定制对象模型，所述模型是为重建那些反复出现的对象而训练。定制对象可以用来创建用于重建压缩视频文件的定制编码解码器。
压缩视频文件可以从一个用户计算机发送到另一用户计算机。在重建该压缩视频文件时，可以从服务器访问存档对象模型。服务器可以用来维护和挖掘针对多个用户的存档对象模型。服务器可以创建对象模型库。以此方式，可以提供一种视频处理服务，其中，该服务的会员可以在服务器上存储其对象模型，以及从服务器远程访问对象模型以重建其压缩视频文件。
可以在端对端网络中的多个用户计算机之间共享存档对象模型。可以接收来自端对端网络中一个计算机的对压缩视频文件的请求。响应于该请求，可以从端对端网络中的不同用户计算机发送存档对象模型之一。仍响应于该请求，可以从端对端网络中的又一计算机发送另一存档对象模型。进一步响应于请求，可以从端对端网络中的又一用户计算机发送另一存档对象模型或那些模型的子划分。以此方式，可以使用分布式方法来维护和分发存档对象模型。
一个或多个对象模型可以用来控制对压缩视频流的访问。对象模型可以与编码解码器一起用来重建压缩视频文件。在不使用一个或多个对象模型的情况下，不能在用户的计算机上重建和呈现视频文件。通过控制对对象模型的访问，可以控制对压缩视频文件的访问(例如回放访问)。可以使用对象模型作为用以访问视频数据的密钥。编码视频数据的回放操作可以依赖于对象模型。此方法使得在无对象模型访问权时不可读取编码视频数据。以此方式，可以使用对象模型作为一种加密和数字权利管理形式。不同质量的对象模型可以用来提供来自相同视频文件的不同质量水平的解压缩视频。这允许对共同视频文件的差异化解码(例如视频基于所用对象模型和共同视频文件的标准分辨率和高分辨率版本)。
一个或多个对象模型可以包括广告，这些广告在回放时使广告插入到重建的视频流中。例如，在已编码视频的重建(例如回放)期间，模型可以致使提供广告的帧生成到回放视频流中。
可以提供一种用于处理视频的软件系统。编码器可以处理视频信号以创建用于视频信号中代表的一个或多个对象的对象模型。对象库可以存储对象模型。解码器可以在重建编码视频文件时使用编码解码器和来自对象库中的一个或多个存档对象模型。
附图说明
根据对如附图中所示本发明示例实施例的下文更具体描述将清楚前文内容，在这些附图中相似标号在不同的图中通篇地指代相同部分。附图未必按比例绘制，而是强调图示本发明的实施例。
图1是在本发明的实施例中运用的视频压缩(通称为图像处理)系统的框图；
图2是图示了在本发明的实施例中运用的混合空间规格化压缩方法的框图；
图3是图示了优选实施例中用于将对象模型存档的过程的流程图；
图4是图示了本发明的使用客户端-服务器框架的个人视频处理服务的架构示例的示意图；
图5是图示了本发明的对象模型共享的框图；
图6是本发明的实施例可以实施于其中的计算机网络或类似数字处理环境的示意图；
图7是图6的网络的计算机的内部结构的框图。
具体实施方式
本发明的示例实施例描述如下。
创建对象模型
在视频信号数据中，视频的帧被组装成图像序列。视频的主题内容通常是投影到相机的二维成像面上的三维场景。在合成生成的视频情况，“虚拟”相机用于呈现；而在动画情况下，动画器(animator)发挥管理该参考相机帧的作用。每个帧或图像由如下像元(pel)组成，这些像元代表图像传感器对采样信号的响应。采样信号常常对应于通过相机在二维传感器阵列上的部件而采样的一些反射、折射或发射能量(例如电磁、声音等)。连续依次采样将获得时空数据流，其中每帧有两个空间维度，而时间维度对应于帧在视频序列中的顺序。这一过程通常称为“成像”过程。
本发明提供一种可以用来将视频信号数据高效地处理成一个或多个有益表示的手段。本发明对于处理视频信号中的多个经常出现的数据集是高效的。分析视频信号并且提供该数据的一个或多个简洁表示，以促进对其处理和编码。每个新的、较为简洁的数据表示允许减少对许多应用的计算处理、传输带宽和存储要求，这些应用包括但不限于视频信号的编码、压缩、传输、分析、存储和显示。将噪声和信号的其它不需要部分表示为较低优先级，从而进一步处理可以集中于分析和表示视频信号中较高优先级的部分。由此，与先前可能的情况相比，可以更简洁地表示视频信号。并且精度损失集中在视频信号中在感知上不重要的部分。
如通过引用将全部教导结合于此、于2006年1月20日提交的美国申请No.11/336,366和于2007年1月23日提交、标题为“Computer Method and Apparatus for Processing Image Data”的美国申请第()号(代理案号4060-1009-000)中所述，分析视频信号数据并且标识显著组成部分。对时空流的分析揭示了常常为特定对象(例如，面部)的显著组成部分。标识过程指明显著组成部分的存在和重要性，并且选择那些限定的显著组成部分中最重要的一个或多个显著组成部分。这并不限制在当前描述的处理之后或与之并行地对其它较不显著的组成部分进行标识和处理。然后，进一步分析前述显著组成部分，标识可变和不变子组成部分。对不变子组成的标识是这样的过程：对该组成部分的某方面进行建模，由此揭示允许将该组成部分合成至所需精度水平的模型的参数化。
在一个实施例中，将PCA/小波编码技术应用于经过预处理的视频数据，以形成所需压缩视频信号。预处理通过应用主元分析(PCA)/小波编码(压缩)的方式来降低视频信号的复杂度，使效果得以改进。在2006年1月20日提交的美国申请No.11/336,366和于2007年1月23日提交、标题为“Computer Method and Apparatus forProcessing Image Data”的美国申请第()号(代理案号4060-1009-000)中这些共同未决申请中详细地讨论了PCA/小波编码。
图1是实现本发明原理的示例图像处理系统100的框图。源视频信号101输入到预处理器102或以别的方式由预处理器102接收。预处理器102使用带宽消耗或其它标准(如脸部/对象检测器)来确定源视频信号101中的感兴趣组成部分(显著对象)。具体而言，预处理器102确定视频信号中的如下部分，这些部分相对于视频信号101的其它部分而言使用了不成比例的带宽。一种用于进行这一确定的分割器103的方法如下。
分割器103使用像元的导数(derivative)的时间和/或空间差来分析随时间和/或空间的图像梯度。出于一致性(coherence)监测的目的，跟踪和记录视频信号中跨过视频信号的顺序帧而彼此对应的部分。对与这些一致信号组成部分相关联的导数场的有限差进行积分，以产生视频信号中相对于其它部分而言使用不成比例带宽的确定部分(即确定的感兴趣组成部分)。在一个优选实施例中，如果发现一帧中的空间不连续性与后继帧中的空间不连续性相对应，则分析图像梯度的陡峭度或平滑度，以产生唯一的对应性(时间一致性)。另外，还以相同的方式使用此类对应关系的收集来唯一地表征视频帧的离散组成部分的时间一致性。对于陡峭的图像梯度，确定存在边缘。如果存在此类定义空间不连续性的两个边缘，则定义角(corner)。将这些标识的空间不连续性与梯度流相结合，这在跨过视频数据帧的对应像元之间产生运动向量。当运动向量与所标识的空间不连续性相符时，则本发明的分割器103确定：存在感兴趣组成部分(显著对象)。
其它分割技术也适于实施分割器103。
回到图1，一旦预处理器102(分割器103)已经确定了感兴趣组成部分(显著对象)或以别的方式从源视频信号101分割了感兴趣组成部分(显著对象)，规格化器105降低所确定的感兴趣组成部分的复杂度。优选地，规格化器105从确定的兴趣组成部分中去除全局运动和姿态(pose)、全局结构、局部形变、外观和照明的差异。为此，利用在此声明的有关专利申请中先前描述的规格化技术。这使得规格化器105建立了兴趣组成部分的对象模型，例如结构模型107和外观模型108。
结构对象模型107在数学上可以表示为：
SM ( σ ) = Σ x , y [ ( v x , y + Δ t ) + Z ] 方程1
其中σ是显著对象(确定的感兴趣组成部分)而SM()是该对象的结构模型；
vx，y是随时间登记的、对象σ之上的逐段线性正则化网格的2D网格顶点；
Δt是顶点随时间t的改变，其表示视频帧之间的对象缩放(或局部形变)、旋转和平移；并且
Z是全局运动。
根据方程1可以导出全局刚性结构模型、模型的全局运动、姿态和局部导出形变。使用根据运动来估计结构的已知技术，并将其与运动估计相结合，从而确定结构部分(视频帧随时间的感兴趣组成部分)的候选结构。这定义了显著对象在空间中的位置和定向，并由此提供结构模型107和运动模型111。
外观模型108继而表示显著对象未由结构模型107和运动模型111共同建模的特征和方面。在一个实施例中，外观模型108是随时间的结构改变的线性分解，并且是通过从结构模型107去除全局运动和局部形变来定义的。申请人在每个视频帧处、使用结构模型107来取得对象外观，并且重新投影为“规格化姿态”。“规格化姿态”还将称为一个或多个“基本(cardinal)”姿态。重新投影表示对象的规格化版本，并且产生任何外观变化。当给定的对象在视频帧之间旋转或在空间上平移时，外观定位于单个基本姿态(即，平均规格化表示)。外观模型108还考虑基本姿态的基本形变(例如睁眼/闭眼、张嘴/闭嘴等)。因此，基本姿态Pc和基本姿态Pc的基本形变Δc表示外观模型108AM(σ)，
AM ( σ ) = Σ t ( P c + Δ c P c ) 方程2
优选地，外观模型108中的像元基于其与相机投影轴的距离和对相机投影轴的入射角来进行偏置。偏置确定个体像元对模型的最终形成所具有的贡献的相对权重。因此，优选地，可以在所有模型的所有处理中包括这一“采样偏置”。随时间对候选结构(来自结构模型107)的跟踪可以通过来自姿态、运动和形变估计的含意来形成或支持对所有像元的运动的预测。
另外，关于外观和照明建模，在变化的光照条件下跟踪对象是图像处理中持续的挑战之一。在成像处理中，对比度规格化是对像素强度值的改变进行建模的过程，其将像素强度的改变归结于光照/照明的改变，而不归结于其它因素。优选实施例对显著对象在捕获视频的照明条件下的任何改变进行估计(即，建模，在对象上入射的照明)的任意改变。这是通过将来自兰伯特反射线性子空间(LRLS)理论的原理与光学流组合来实现的。根据LRLS理论，当对象固定时——优选地仅允许照明改变——可以通过前九个球面谐波的线性组合来近似反射图像集；因此，图像落在环境“图像”向量空间中与9D线性子空间接近处。此外，用于图像像素(x，y)的反射强度可以近似如下：
I ( x , y ) = Σ i = 0,1,2 j = - i , Σ - i + 1 . . . i - 1 , i l ij b ij ( n ) ,
使用LRLS和光学流，计算期望值以确定照明如何与对象相互作用。这些期望值用以约束可以说明光学流场改变的可能对象运动。当使用LRLS来使用照明建模来描述对象的外观时，仍然有必要允许外观模型处理可能落在照明模型预测以外的任何外观改变。
外观模型108和结构模型107的其它数学标识也是适用的，只要其从相应的原始视频信号明显降低了感兴趣组成部分的复杂度，但维持了感兴趣组成部分的显著性。回到图1，分析器110继而将PCA/小波编码应用于结构对象模型107和外观对象模型108。更一般地，分析器110运用几何数据分析来压缩(编码)与感兴趣组成部分对应的视频数据。所得压缩(编码)视频数据可用于图2的图像处理系统中。特别地，这些对象模型107、108可以存储于图2的编码侧和解码侧232、236。根据结构模型107和外观模型108，可以生成有穷状态机。常规编码232和解码236也可以实施为常规小波视频编码解码方案。
在232和236这两侧，将PCA编码应用于规格化像元数据，这在每侧232、236构建了相同的基向量集。在一个优选实施例中，在图像处理期间对基函数应用PCA/小波，以产生所需的压缩视频数据。小波技术(DWT)变换整个图像和子图像，并且线性地分解外观模型118和结构模型107，继而，经分解的模型被适度截断，以满足所需阈值目标(ala EZT或SPIHT)。由于视频数据的“规格化”特征，这支持可伸缩的视频数据处理，这与现有技术的系统/方法是不同的。
如图2中所示，利用常规视频压缩方法232的独立实例，来处理用于一个或多个对象230、250的未压缩视频流中的每个先前检测的对象实例。此外，从对象230、250的分割获得的非对象202也使用常规视频压缩232来进行压缩。这些独立压缩编码232中每一个的结果是独立的常规编码流234，其中的每一个与每个视频流单独对应。在某个点，可能在在传输之后，可以在解压缩器236处将这些中间编码流234解压缩(重建)为规格化非对象210和多个对象238、258的合成。这些合成像元可以被去规格化240为其去规格化版本222、242、262，以将像元在空间上相对于彼此正确地定位，从而使组合过程270可以将对象和非对象像元组合成全帧272的合成。
数据挖掘对象模型
通过将这些对象模型(例如形变、结构、运动、照明和外观模型)存档，可以确定和复用这些对象模型的持久形式，以处理其它视频流。例如，当从相机导入数字视频时，可以对数字视频进行转码，并且可以访问视频对象存档以确定是否存在任何对象模型匹配。虽然可以在逐帧基础上完成这一点，但是优选地，可以通过将相似项分组在一起，使用批处理来分析视频流的部分或整个视频流。可以用非顺序方式分析帧，并且可以进行统计分析，以确定哪些对象模型提供最好的编码拟合。
图3是图示了将对象模型存档的过程300的流程图。在步骤302，如上文讨论的，标识对象模型。在步骤30，4将对象模型合并到存档或对象模型库中。在步骤306，比较对象模型，并且在步骤308，标识相似的对象模型。在步骤310。可以去除冗余对象模型，并且可以合并相似模型。在步骤312，可以更新指向视频对象模型的指针/标识符。例如可以更新指向编码视频流中所用对象模型的指针，以引用库中相关的、经过更新的对象模型。
以此方式，本存档系统300可以挖掘对象库中的这些对象模型，并且分析对象模型以标识相似对象模型。一旦标识了相似对象模型，系统300可以通过创建可以反复用于处理其它实例的通用对象模型，来利用冗余性。相似性往往基于相似结构、形变、运动、照明和/或外观。
可以按照任意多的方式将对象模型用于后续视频处理。如下文更具体讨论的那样，可以在客户端/服务器框架中使用模型，可以将对象模型与视频编码解码器捆绑在封包中，以便在对编码视频文件进行解码时使用，模型可以与个人视频服务结合使用，并且可以使用分布式系统(例如，端对端网络)来分布模型并且使其可用于多个用户。而且，对模型的处理可以在分布式计算网络中进行。
个人视频处理服务
在对象模型存储于服务器上的示例中，可以提供个人视频处理服务。图4是图示了使用客户端414-服务器410这一框架的个人视频处理服务400的架构示例的框图。在这一示例中，个人视频服务的用户或会员可以使用本发明的软件，以使用基于对象的视频压缩对他们的所有视频文件418进行转码。在转码过程期间，生成对象模型416。对象模型可以作为个人视频服务的部分上传到对象模型库404。当服务的会员将已编码视频文件418发送给另一会员时，文件大小可以充分减小。在另一会员的系统上进行回放期间，可以从服务器410访问相关对象模型404，以处理和呈现编码视频流。
系统400可以分析上传自特定会员的对象模型，并且确定是否存在冗余对象模型。例如，如果成员对描绘相同主题的(诸如，相同面部、相同宠物等)数字视频连续地进行转码，则可能将反复创建相同的对象模型。系统400可以通过创建用户的个人对象模型的高速缓存(例如面部对象模型、宠物对象模型等的高速缓存)来利用这一冗余性。系统还可以通过创建对于该用户而言定制的、个人的编码解码器417来利用这一冗余性。编码解码器417可以与特定于该用户的对象模型416捆绑在一起。
通过让大量会员将他们的模型416上传到服务器410，可以分析模型以标识共同或相似模型。可以跟踪最普遍使用或生成的模型。以这一方式，系统400可以获悉和确定最可能需要什么模型416，并且可以将编码解码器设计为仅包括最重要的对象模型。
如果用户试图利用编码解码器来处理编码视频，并且特定模型尚未与该编码解码器捆绑，则系统可以访问服务器410，以从存档404获得所需模型。编码解码器也可以定期访问服务器410，以利用新的、经过更新的对象模型来更新其本身。
作为又一实施例，已编码视频可以是这样的，即在客户端节点414上可访问视频文件的原始“常规”编码。在这一情况下，处理的优点用于发送视频，而更多“常规”压缩用来将视频存储在硬盘上，以促进对视频的更多常规处理。例如，如果已视频编辑应用希望使用不同格式，则本发明的方法可以主要在视频文件的传输期间使用。
调节编码解码器
可以按照特定的编码视频数据类型来调节编码解码器417。例如，如果视频流具有某些对象的反复出现、贯穿的共同主题或特定样式，则在重建整个编码视频文件时，可以复用对象模型。类似地，可以优化编码解码器317，以处理这些反复出现的对象，例如面部。类似地，如果视频流是具有某些特征的电影，例如特定风格的影片(例如动作片)，则其贯穿该影片可以使用相似的对象模型416。即使数字视频是“黑电影(film noir)”，例如通常的特征是暗色调的黑白视觉样式，在重建电影的整个编码版本时，可以适用和使用特定照明和照明对象模型。这样，可以存在适用于已编码电影的相当大部分的共同对象模型(例如结构和照明模型)。这些模型可以捆绑在一起，以创建定制的编码解码器。
共享对象模型
还可以在任意多个用户之间共享对象模型。对象模型可以存储于服务器上或数据库中，因而在对视频文件进行解码时可以容易地访问它们。可以从一个用户计算机访问另一用户计算机的对象模型。图5是示出了对象模型共享的框图。对象模型可以从服务器504上的对象模型库502进行访问，或可以从其它客户端系统510、520进行访问。相应的对象模型管理器512、522可以管理在每个客户端510、520上处理编码视频文件所需的对象模型514、524。对象模型管理器与版本控制系统或源控制管理系统相似，其中由系统软件来管理正在进行的对象模型514、524开发。对象模型的改变可以通过递增关联编号或字母代码(例如修订本编号或修订水平)并且在历史上与该改变相关联来标识。以这一方式，可以跟踪对象模型514、524以及对象模型的任何改变。对对象模型的这一电子跟踪使系统500能够控制和管理对象模型的各种副本、版本。
除了使用客户端-服务器框架之外，可以使用端对端网络或其它框架来共享和分布对象模型。以这一方式，用户可以从端对端网络中的其它用户下载压缩视频文件和对象模型。例如，如果在从端对端网络中的一个系统下载电影哈里波特的已编码版本，为了提高效率，可以从网络中的其它系统下载相关或那些模型的分割部分。
数字权利管理
部署安全方案以保护数字视频访问权这一过程满长、棘手且昂贵。内容用户想要对数字内容进行无拘束的访问，而无需经历繁琐的认证过程。部署内容开发安全模型的最复杂方面之一是：找到成本收益分析适应所有参与者(即内容用户、内容提供商和软件开发商)的方案。这时，目前可用方案并未提供一种用以限制对数字内容的访问的用户友好的、开发商友好的并且财务上有效的解决方案。
可以使用本发明的对象模型作为一种用以控制对编码数字视频的访问的方式。例如，在没有相关对象模型的情况下，用户将不能回放视频文件。可以使用对象模型作为用以访问视频数据的密钥。对已编码视频数据的回放操作可以依赖于一则辅助信息，即对象模型。这一方式在无对象模型访问权时使编码视频数据不可读。
通过控制对对象模型的访问，可以控制内容的播放访问权。这一方案可以提供一种用以限制对视频内容的访问的用户友好、开发商友好解决方案和高效解决方案。
此外，对象模型可以渐进地对内容进行解锁。利用对象模型的某一版本，编码可以仅解码至某一水平，然后利用渐进地更为完整的对象模型，整个内容将被解锁。初始解锁可以实现对视频的缩略图解锁，从而让用户能够确定他们是否想要全视频。想要标准分辨率版本的用户将获取对象模型的下一递增版本。另外，需要高分辨率或相机质量的用户将下载对象模型的更完整版本。编码和对象模型都是以有助于渐进实现与编码大小和质量相当的视频质量这样的方式来无冗余编码的。
处理环境
图6图示了本发明可以实施于其中的计算机网络或类似数字处理环境600。一个或多个客户端计算机50和一个或多个计算机60提供执行应用程序等的的处理设备、存储设备和输入/输出设备。一个或多个客户端计算机50还可以通过通信网络70链接到包括其它客户端设备/进程50和一个或多个服务器60的其它计算设备。通信网络70可以是远程接入网络、全球网络(例如因特网)、全球计算机汇集、局域网或广域网的部分以及目前使用相应协议(TCP/IP、蓝牙等)来相互通信的网关。其它电子设备/计算机网络架构是适合的。
图7是图6的计算机系统中的计算机(例如客户端处理器/设备50或服务器计算机60)。各计算机50、60包含系统总线79，其中总线是用于计算机或处理系统的部件之间数据传送的一组硬件线路。总线79实质上是连接计算机系统(例如处理器、盘储存器、存储器、输入/输出端口、网络端口等)不同单元的共享管道，该管道实现信息在单元之间的传送。用于将各种输入和输出设备(例如键盘、鼠标、显示器、打印机、扬声器等)连接到计算机50、60的输入/输出(I/O)设备接口82附接到系统总线79。网络接口86允许计算机连接到各种附接到网络(例如图6的网络70)的其它设备。存储器90为用来实施本发明实施例计算机软件指令92和数据94(例如上文讨论的对象模型、编码解码器和对象模型库)的提供易失性存储。盘储存器95为用来实施本发明实施例的计算机软件指令92和94提供非易失性存储。中央处理器单元84还附接到系统总线79并且提供对计算机指令的执行。
在一个实施例中，处理器例程92和94是包括计算机可读介质(例如可拆卸存储介质，例如一个或多个DVD-ROM、CD-ROM、磁盘、磁带、硬驱动等)的计算机程序产品，该计算机可读介质提供用于本发明系统的软件指令的至少一部分。如本领域公知的任何适当软件安装过程可以安装计算机程序产品。在另一实施例中，也可以通过有线、通信和/或无线连接来下载软件指令的至少一部分。在其它实施例中，本发明程序是在传播介质上的传播信号(例如通过全球网络如因特网或其它一个或多个网络传播的无线电波、红外线波、激光波、声波或电波)上实施的计算机程序传播信号产品。这样的承载介质或信号提供用于本发明例程/程序92的软件指令的至少一部分。
在可选实施例中，传播信号是在传播介质上承载的模拟载波或数字信号。例如，传播信号可以是通过全球网络(例如因特网)、电信网络或其它网络传播的数字化信号。在一个实施例中，传播信号是在一段时间内通过传播介质传输的信号，例如在以毫秒、秒、分钟计或更长的时段内通过网络在分组中发送的用于软件应用的指令。在另一实施例中，计算机程序产品的计算机可读介质是如下传播介质，计算机系统可以例如通过接收该传播介质并且识别该传播介质中实施的如上文针对计算机程序传播信号产品描述的传播信号来接收和读取该传播介质。
一般而言，术语“载体介质”或瞬态载体涵盖前述瞬态信号、传播信号、传播介质、存储介质等。
尽管已经参照本发明的优选实施例具体地示出和描述本发明，但是本领域技术人员将理解可以对之进行形式和细节上的各种改变而不脱离由所附权利要求涵盖的本发明范围。
例如，可以在各种计算机架构中实施本发明。图4-7的计算机网络是为了举例说明而不是限制本发明。
本发明可以采用全硬件实施例、全软件实施例或包含硬件和软件单元的实施例的形式。在一个优选实施例，用包括但不限于固件、常驻软件、微码等的软件实施本发明。
另外，本发明可以采用可从如下计算机可用或计算机可读介质获取的计算机程序产品的形式，该介质提供用于由计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的程序代码。出于本说明书的目的，计算机可用或计算机可读介质可以是任何如下装置，该装置可以包含、存储、传达、传播或传送用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。
介质可以是电、磁、光、电磁、红外线或半导体系统(或装置或设备)或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可拆卸计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的一些示例包括光盘-只读存储器(CD-ROM)、光盘-读/写(CD-R/W)和DVD。
适合于存储和/或执行程序代码的数据处理系统将包括通过系统总线直接地或间接地耦合到存储器单元的至少一个处理器。存储器单元可以包括在程序代码的实际执行期间运用的本地存储器、大容量储存器和高速缓存存储器，这些高速缓存存储器提供至少一些程序代码的临时存储以便减少在执行期间从大容量储存器取回代码的次数。
输入/输出或I/O设备(包括但不限于键盘、显示器、指示设备等)可以直接地或通过居间I/O控制器耦合到系统。
网络适配器还可以耦合到系统以使数据处理系统能够变为通过居间专用或公用网络耦合到其它数据处理系统或远程打印机或存储设备。调制解调器、有线调制解调器和以太网卡仅为目前可用网络适配器类型中的少数类型。
另外，在一些实施例中可以具有以下广告特征。
使用对象模型在视频中嵌入广告
对象模型可以用来使包括广告的帧在回放期间插入到视频流中。以这一方式，广告无需修改实际编码视频内容。然而，在编码内容的重建(例如回放)期间，模型可以使提供广告的帧生成到回放视频流中。

Claims (25)

1.一种处理视频的方法，所述方法包括由计算机实施的步骤：
处理多个视频信号，以创建用于在所述视频信号中表示的一个或多个对象的对象模型；
将所述对象模型存档；以及
在处理压缩视频文件时使用一个或多个已存档对象模型。
2.如权利要求1所述的方法，其中将所述对象模型存档还包括由计算机实施的步骤：
比较一个或多个所述已存档对象模型，以确定所述存档中是否存储有基本上等效的对象模型；以及
通过消除冗余的、基本上等效的对象模型，来减小所述存档的大小。
3.如权利要求2所述的方法，其中减小所述存档的大小包括由计算机实施的步骤：
通过将一个或多个对象模型组合为共同对象，来减小所述存档的大小；以及
使用所述共同对象来生成一个或多个减小的原始对象模型。
4.如权利要求1所述的方法，其中将所述对象模型存档还包括由计算机实施的步骤：对相似的一个或多个所述已存档对象模型进行组合。
5.如权利要求1所述的方法，其中将所述对象模型存档还包括由计算机实施的步骤：将对象模型分组，以创建对于重建所述压缩视频文件中的对象而言最优的定制编码解码器。
6.如权利要求1所述的方法，其中所述压缩视频文件与具有相似特征的其它压缩视频文件群组相关联，并且编码解码器被优化为重建所述群组中的压缩视频文件。
7.如权利要求6所述的方法，其中所述压缩视频文件群组基于关于用户的个人信息来确定。
8.如权利要求7所述的方法，其中所述关于用户的个人信息通过分析由所述用户提供的其它视频文件来确定。
9.如权利要求8所述的方法，其中分析由所述用户提供的视频文件还包括由计算机实施的步骤：标识由所述用户提供的所述视频文件中描绘的反复出现的对象，所述反复出现的对象包括由所述用户提供的所述视频文件中标识的人脸或动物。
10.如权利要求8所述的方法，其中由所述用户提供的视频文件使用常规编码过程来编码。
11.如权利要求10所述的方法，其中使用所述常规编码的视频中所包含的信息来确定如何对所述视频进行处理和编码。
12.如权利要求10所述的方法，其中对由所述用户提供的视频文件的处理施加附加约束，以允许对将要重新创建的视频文件进行所述常规编码。
13.如权利要求6所述的方法，其中所述压缩视频文件群组基于所述压缩视频文件中描绘的反复出现的对象来确定。
14.如权利要求5所述的方法，其中所述定制编码解码器用来重建所述压缩视频文件。
15.如权利要求1所述的方法，其中在处理压缩视频文件时使用一个或多个已存档对象模型还包括由计算机实施的步骤：使用所述一个或多个已存档对象模型以及编码解码器来重建所述压缩视频文件。
16.如权利要求1所述的方法，其中在处理压缩视频文件时使用一个或多个已存档对象模型还包括由计算机实施的步骤：
在用户计算机处，从另一用户计算机接收所述压缩视频文件；以及
从服务器访问一个或多个所述已存档对象模型。
17.如权利要求16所述的方法，其中所述服务器与在服务器上为用户维护所述已存档对象模型的视频处理服务结合使用，其中所述视频处理服务为其它用户维护其它已存档对象模型。
18.如权利要求1所述的方法，其中在处理压缩视频文件时使用一个或多个已存档对象模型还包括由计算机实施的步骤：在端对端网络中的多个用户计算机之间共享所述已存档对象模型。
19.如权利要求18所述的方法，其中在端对端网络中的多个用户计算机之间共享所述已存档对象模型还包括由计算机实施的步骤：
从所述端对端网络中的第一用户计算机接收所述压缩视频文件；
响应于请求，从所述端对端网络中的第二用户计算机发送所述已存档对象模型之一；以及
响应于请求，从所述端对端网络中的第三用户计算机发送所述已存档对象模型之一。
20.如权利要求1所述的方法，其中使用一个或多个所述已存档对象模型来控制对所述压缩视频文件的访问。
21.如权利要求1所述的方法，其中一个或多个所述已存档对象模型还包括广告，从而使得在使用一个或多个所述已存档对象模型来处理和重建所述压缩视频文件时，所述广告中的一个或多个被插入到重建后的视频文件中。
22.如权利要求1所述的方法，其中在处理压缩视频文件时使用一个或多个已存档对象模型还包括：基于一个或多个所述已存档对象模型，创建一个或多个对象的隐式表示。
23.如权利要求1所述的方法，其中所述对象模型包括形变模型、结构模型和外观模型。
24.一种用于处理视频的计算机系统，包括：
编码器，其处理视频信号，以创建用于在所述视频信号中表示的一个或多个对象的对象模型；
对象库，其存储所述对象模型；以及
解码器，其访问编码解码器和所述对象库，以便在重建已编码视频文件时使用一个或多个已存档对象模型。
25.一种用于处理视频的计算机系统，包括：
用于处理多个视频信号以创建用于在所述视频信号中表示的一个或多个对象的对象模型的装置；
用于将所述对象模型存档的装置；以及
用于在处理压缩视频文件时使用一个或多个已存档对象模型的装置。
CN200880006362A 2007-01-23 2008-01-04 对象存档系统和方法 Pending CN101622874A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US88198207P 2007-01-23 2007-01-23
US60/881,982 2007-01-23

Publications (1)

Publication Number Publication Date
CN101622874A true CN101622874A (zh) 2010-01-06

Family

ID=39645039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880006362A Pending CN101622874A (zh) 2007-01-23 2008-01-04 对象存档系统和方法

Country Status (7)

Country Link
US (3) US8553782B2 (zh)
EP (1) EP2106663A2 (zh)
JP (1) JP2010517426A (zh)
CN (1) CN101622874A (zh)
CA (1) CA2675957C (zh)
TW (1) TW200839622A (zh)
WO (1) WO2008091484A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501438A (zh) * 2013-09-18 2014-01-08 浙江大学 一种基于主成分分析的内容自适应图像压缩方法
CN108388564A (zh) * 2017-02-03 2018-08-10 百度在线网络技术（北京）有限公司 查询处理方法、装置及其设备
CN111937041A (zh) * 2018-09-26 2020-11-13 谷歌有限责任公司 通过提供几何代理进行视频编码

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
WO2010042486A1 (en) 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
US8572642B2 (en) * 2007-01-10 2013-10-29 Steven Schraga Customized program insertion system
US8243118B2 (en) * 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
JP2010526455A (ja) * 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US8712930B1 (en) 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
US9268996B1 (en) 2011-01-20 2016-02-23 Verint Systems Inc. Evaluation of models generated from objects in video
US8515193B1 (en) 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
WO2013148091A1 (en) * 2012-03-27 2013-10-03 Euclid Discoveries, Llc Video compression repository and model reuse
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9332561B1 (en) * 2015-04-08 2016-05-03 Ringcentral, Inc. Hybrid communications system using peer-to-peer and centralized architecture
US10298925B2 (en) 2017-06-22 2019-05-21 International Business Machines Corporation Multiple image storage compression tree

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH082107B2 (ja) 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
JP2606523B2 (ja) 1992-02-28 1997-05-07 日本ビクター株式会社 予測符号化装置及び復号化装置
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JPH0738873U (ja) 1993-12-27 1995-07-14 日本鋼管継手株式会社 自在管継手
JPH07288789A (ja) 1994-04-15 1995-10-31 Hitachi Ltd 知的符号化装置及び画像通信装置
US5710590A (en) 1994-04-15 1998-01-20 Hitachi, Ltd. Image signal encoding and communicating apparatus using means for extracting particular portions of an object image
KR100235343B1 (ko) 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JP2739444B2 (ja) 1995-03-01 1998-04-15 株式会社エイ・ティ・アール通信システム研究所 ３次元モデルによる動き生成装置
KR0171151B1 (ko) 1995-03-20 1999-03-20 배순훈 곡률 계산 기법을 이용한 이미지 윤곽 근사화 장치
JP2727066B2 (ja) 1995-03-20 1998-03-11 株式会社エイ・ティ・アール通信システム研究所 可塑性物体特徴検出装置
CN1158874C (zh) 1995-09-12 2004-07-21 皇家菲利浦电子有限公司 图像信号的混合波形和基于模型的编码和解码
US6026182A (en) 1995-10-05 2000-02-15 Microsoft Corporation Feature segmentation
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6037988A (en) 1996-03-22 2000-03-14 Microsoft Corp Method for generating sprites for object-based coding sytems using masks and rounding average
US6614847B1 (en) 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
US6088484A (en) * 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US6044168A (en) 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
US6047088A (en) 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US5826165A (en) 1997-01-21 1998-10-20 Hughes Electronics Corporation Advertisement reconciliation system
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
IL122194A0 (en) * 1997-11-13 1998-06-15 Scidel Technologies Ltd Method and apparatus for personalized images inserted into a video stream
US6061400A (en) 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6625316B1 (en) 1998-06-01 2003-09-23 Canon Kabushiki Kaisha Image processing apparatus and method, and image processing system
JP3413720B2 (ja) 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6256423B1 (en) 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US7124065B2 (en) 1998-10-26 2006-10-17 Speech Technology And Applied Research Corporation Determining a tangent space and filtering data onto a manifold
US6546117B1 (en) 1999-06-10 2003-04-08 University Of Washington Video object segmentation using active contour modelling with global relaxation
KR20010108159A (ko) 1999-01-29 2001-12-07 다니구찌 이찌로오, 기타오카 다카시 화상 특징 부호화 방법 및 화상 검색 방법
US6751354B2 (en) 1999-03-11 2004-06-15 Fuji Xerox Co., Ltd Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
US6774917B1 (en) 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
GB9909362D0 (en) 1999-04-23 1999-06-16 Pace Micro Tech Plc Memory database system for encrypted progarmme material
US6307964B1 (en) 1999-06-04 2001-10-23 Mitsubishi Electric Research Laboratories, Inc. Method for ordering image spaces to represent object shapes
US6870843B1 (en) 1999-06-22 2005-03-22 World Multicast.Com, Inc. Self implementing multicast level escalation
US7352386B1 (en) 1999-06-22 2008-04-01 Microsoft Corporation Method and apparatus for recovering a three-dimensional scene from two-dimensional images
KR100611999B1 (ko) 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
JP2001100731A (ja) 1999-09-28 2001-04-13 Toshiba Corp オブジェクト映像表示装置
US6792154B1 (en) 1999-10-07 2004-09-14 World Multicast.com, Inc Video compression system and method using time
US6731813B1 (en) 1999-10-07 2004-05-04 World Multicast.Com, Inc. Self adapting frame intervals
WO2001041451A1 (en) 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
JP3694888B2 (ja) 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6574353B1 (en) 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
US7054539B2 (en) * 2000-02-09 2006-05-30 Canon Kabushiki Kaisha Image processing method and apparatus
WO2001063555A2 (en) 2000-02-24 2001-08-30 Massachusetts Institute Of Technology Image deconvolution techniques for probe scanning apparatus
JP4443722B2 (ja) * 2000-04-25 2010-03-31 富士通株式会社 画像認識装置及び方法
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6795875B2 (en) 2000-07-31 2004-09-21 Microsoft Corporation Arbitrating and servicing polychronous data requests in direct memory access
US8005145B2 (en) 2000-08-11 2011-08-23 Nokia Corporation Method and apparatus for transferring video frame in telecommunication system
FR2814312B1 (fr) 2000-09-07 2003-01-24 France Telecom Procede de segmentation d'une surface image video par objets elementaires
GB2367966B (en) 2000-10-09 2003-01-15 Motorola Inc Method and apparatus for determining regions of interest in images and for image transmission
JP4310916B2 (ja) 2000-11-08 2009-08-12 コニカミノルタホールディングス株式会社 映像表示装置
JP2002182961A (ja) 2000-12-13 2002-06-28 Nec Corp データベースの同期化システムとその同期化の方法
US20040135788A1 (en) 2000-12-22 2004-07-15 Davidson Colin Bruce Image processing system
US20020085633A1 (en) 2001-01-03 2002-07-04 Kim Hyun Mun Method of performing video encoding rate control
US7061483B2 (en) 2001-02-08 2006-06-13 California Institute Of Technology Methods for computing barycentric coordinates generalized to irregular n-gons and applications of the same
US6625310B2 (en) 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7043058B2 (en) 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US20020164068A1 (en) 2001-05-03 2002-11-07 Koninklijke Philips Electronics N.V. Model switching in a communication system
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US6496217B1 (en) 2001-06-12 2002-12-17 Koninklijke Philips Electronics N.V. Video communication system using model-based coding and prioritzation techniques
US7003039B2 (en) 2001-07-18 2006-02-21 Avideh Zakhor Dictionary generation method for video and image compression
US7173925B1 (en) 2001-07-18 2007-02-06 Cisco Technology, Inc. Method and system of control signaling for a wireless access network
US7457359B2 (en) * 2001-09-26 2008-11-25 Mabey Danny L Systems, devices and methods for securely distributing highly-compressed multimedia content
GB2382289B (en) * 2001-09-28 2005-07-06 Canon Kk Method and apparatus for generating models of individuals
EP1309181A1 (en) 2001-11-06 2003-05-07 Thomson Licensing S.A. Device, method and system for multimedia content adaption
US7130446B2 (en) 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030122966A1 (en) * 2001-12-06 2003-07-03 Digeo, Inc. System and method for meta data distribution to customize media content playback
US7673136B2 (en) 2002-02-26 2010-03-02 Stewart Ian A Method for secure multicast repeating on the public Internet
JP2003253190A (ja) 2002-03-06 2003-09-10 Kansai Paint Co Ltd 缶内面用水性塗料組成物
US6950123B2 (en) 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
US7136505B2 (en) 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
KR100491530B1 (ko) * 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
US7505604B2 (en) 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
JP3984191B2 (ja) 2002-07-08 2007-10-03 株式会社東芝 仮想化粧装置及びその方法
US7031499B2 (en) 2002-07-22 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Object recognition system
US6925122B2 (en) 2002-07-25 2005-08-02 National Research Council Method for video-based nose location tracking and hands-free computer input devices based thereon
US7305032B2 (en) 2002-08-02 2007-12-04 Kddi Corporation Image matching device and method for motion pictures
JP2004356747A (ja) 2003-05-27 2004-12-16 Kddi Corp 画像のマッチング方法および装置
KR100455294B1 (ko) 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
AU2003303499A1 (en) 2002-12-26 2004-07-29 The Trustees Of Columbia University In The City Of New York Ordered data compression system and methods
US7003117B2 (en) * 2003-02-05 2006-02-21 Voltage Security, Inc. Identity-based encryption system for secure data distribution
US7606305B1 (en) * 2003-02-24 2009-10-20 Vixs Systems, Inc. Method and system for transcoding video data
FR2852773A1 (fr) 2003-03-20 2004-09-24 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images par decomposition mouvement/texture et codage par ondelettes
US7574406B2 (en) 2003-03-31 2009-08-11 Satyam Computer Services Limited Of Mayfair Centre System and method maximizing video license utilization using billboard services
US7184073B2 (en) 2003-04-11 2007-02-27 Satyam Computer Services Limited Of Mayfair Centre System and method for warning drivers based on road curvature
US7424164B2 (en) 2003-04-21 2008-09-09 Hewlett-Packard Development Company, L.P. Processing a detected eye of an image to provide visual enhancement
US7956889B2 (en) 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
US7415527B2 (en) 2003-06-13 2008-08-19 Satyam Computer Services Limited Of Mayfair Centre System and method for piecewise streaming of video using a dedicated overlay network
US7603022B2 (en) 2003-07-02 2009-10-13 Macrovision Corporation Networked personal video recording system
CA2475189C (en) 2003-07-17 2009-10-06 At&T Corp. Method and apparatus for window matching in delta compressors
US7383180B2 (en) 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
KR20050040712A (ko) 2003-10-28 2005-05-03 삼성전자주식회사 명령어 기반 그래픽 출력 가속 기능이 포함된 2차원그래픽 디코더, 그 그래픽 출력 가속 방법 및 영상 재생장치
AU2003304675A1 (en) 2003-12-04 2005-06-24 Telefonaktiebolaget Lm Ericsson (Publ) Video application node
US7535515B2 (en) 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
US8175412B2 (en) 2004-02-17 2012-05-08 Yeda Research & Development Co. Ltd. Method and apparatus for matching portions of input images
US7447331B2 (en) 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
WO2006002299A2 (en) 2004-06-22 2006-01-05 Sarnoff Corporation Method and apparatus for recognizing 3-d objects
WO2010042486A1 (en) 2008-10-07 2010-04-15 Euclid Discoveries, Llc Feature-based video compression
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US7436981B2 (en) 2005-01-28 2008-10-14 Euclid Discoveries, Llc Apparatus and method for processing video data
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US7457472B2 (en) 2005-03-31 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US7508990B2 (en) 2004-07-30 2009-03-24 Euclid Discoveries, Llc Apparatus and method for processing video data
US7457435B2 (en) 2004-11-17 2008-11-25 Euclid Discoveries, Llc Apparatus and method for processing video data
US7158680B2 (en) 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
US8724891B2 (en) 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
CN101061489B (zh) 2004-09-21 2011-09-07 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
JP2008521347A (ja) 2004-11-17 2008-06-19 ユークリッド・ディスカバリーズ・エルエルシー ビデオデータを処理する装置および方法
US7623676B2 (en) 2004-12-21 2009-11-24 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
WO2006083567A1 (en) 2005-01-28 2006-08-10 Euclid Discoveries, Llc Apparatus and method for processing video data
CA2590869C (en) 2005-03-31 2014-01-21 Euclid Discoveries, Llc Apparatus and method for processing video data
US20060274949A1 (en) 2005-06-02 2006-12-07 Eastman Kodak Company Using photographer identity to classify images
WO2007007257A1 (en) 2005-07-13 2007-01-18 Koninklijke Philips Electronics N.V. Processing method and device with video temporal up-conversion
US7672306B2 (en) 2005-07-18 2010-03-02 Stewart Ian A Method for secure reliable point to multi-point bi-directional communications
WO2007018688A1 (en) 2005-07-22 2007-02-15 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US7689021B2 (en) 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
JP2009507412A (ja) 2005-09-01 2009-02-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ誤り耐性の符号化／復号に関する方法及び装置
JP4654864B2 (ja) 2005-09-30 2011-03-23 パナソニック株式会社 プラズマディスプレイパネルの製造方法
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US20070153025A1 (en) 2005-12-29 2007-07-05 Mitchell Owen R Method, apparatus, and system for encoding and decoding a signal on a viewable portion of a video
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7630522B2 (en) 2006-03-08 2009-12-08 Microsoft Corporation Biometric measurement using interactive display systems
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
CA2654513A1 (en) 2006-06-08 2007-12-21 Euclid Discoveries, Llc Apparatus and method for processing video data
US20080027917A1 (en) 2006-07-31 2008-01-31 Siemens Corporate Research, Inc. Scalable Semantic Image Search
EP2070327B1 (en) 2006-09-30 2019-03-13 InterDigital VC Holdings, Inc. Method and device for encoding and decoding color enhancement layer for video
US8948256B2 (en) 2006-10-13 2015-02-03 Thomson Licensing Reference picture list management syntax for multiple view video coding
EP2105029A2 (en) 2006-12-15 2009-09-30 Thomson Licensing Distortion estimation
JP2010526455A (ja) 2007-01-23 2010-07-29 ユークリッド・ディスカバリーズ・エルエルシー 画像データを処理するコンピュータ方法および装置
US8243118B2 (en) 2007-01-23 2012-08-14 Euclid Discoveries, Llc Systems and methods for providing personal video services
KR101366242B1 (ko) 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
US8036464B2 (en) 2007-09-07 2011-10-11 Satyam Computer Services Limited System and method for automatic segmentation of ASR transcripts
US8065293B2 (en) 2007-10-24 2011-11-22 Microsoft Corporation Self-compacting pattern indexer: storing, indexing and accessing information in a graph-like data structure
US8091109B2 (en) 2007-12-18 2012-01-03 At&T Intellectual Property I, Lp Set-top box-based TV streaming and redirecting
US8140550B2 (en) 2008-08-20 2012-03-20 Satyam Computer Services Limited Of Mayfair Centre System and method for bounded analysis of multimedia using multiple correlations
US8086692B2 (en) 2008-08-27 2011-12-27 Satyam Computer Services Limited System and method for efficient delivery in a multi-source, multi destination network
US8259794B2 (en) 2008-08-27 2012-09-04 Alexander Bronstein Method and system for encoding order and frame type selection optimization
US8065302B2 (en) 2008-08-27 2011-11-22 Satyam Computer Services Limited System and method for annotation aggregation
US8090670B2 (en) 2008-09-19 2012-01-03 Satyam Computer Services Limited System and method for remote usage modeling
US8392942B2 (en) 2008-10-02 2013-03-05 Sony Corporation Multi-coded content substitution
US8386318B2 (en) 2008-12-30 2013-02-26 Satyam Computer Services Ltd. System and method for supporting peer interactions
US8774534B2 (en) 2009-04-08 2014-07-08 Watchitoo, Inc. System and method for image compression
US8068677B2 (en) 2009-08-25 2011-11-29 Satyam Computer Services Limited System and method for hierarchical image processing
US8848802B2 (en) 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
US20110087703A1 (en) 2009-10-09 2011-04-14 Satyam Computer Services Limited Of Mayfair Center System and method for deep annotation and semantic indexing of videos
RU2542946C2 (ru) 2009-11-19 2015-02-27 Нокиа Корпорейшн Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения
US8290038B1 (en) 2009-11-30 2012-10-16 Google Inc. Video coding complexity estimation
WO2011156250A1 (en) 2010-06-07 2011-12-15 Thomson Licensing Learned transform and compressive sensing for video coding
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501438A (zh) * 2013-09-18 2014-01-08 浙江大学 一种基于主成分分析的内容自适应图像压缩方法
CN103501438B (zh) * 2013-09-18 2016-06-29 浙江大学 一种基于主成分分析的内容自适应图像压缩方法
CN108388564A (zh) * 2017-02-03 2018-08-10 百度在线网络技术（北京）有限公司 查询处理方法、装置及其设备
CN111937041A (zh) * 2018-09-26 2020-11-13 谷歌有限责任公司 通过提供几何代理进行视频编码

Also Published As

Publication number Publication date
US20120163446A1 (en) 2012-06-28
TW200839622A (en) 2008-10-01
JP2010517426A (ja) 2010-05-20
WO2008091484A3 (en) 2008-11-13
CA2675957C (en) 2016-02-16
EP2106663A2 (en) 2009-10-07
US8553782B2 (en) 2013-10-08
US9106977B2 (en) 2015-08-11
CA2675957A1 (en) 2008-07-31
US20150181217A1 (en) 2015-06-25
US20100086062A1 (en) 2010-04-08
WO2008091484A2 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
CN101622874A (zh) 对象存档系统和方法
US11205121B2 (en) Efficient encoding and decoding sequences using variational autoencoders
CN101622876B (zh) 用于提供个人视频服务的系统和方法
JP4384813B2 (ja) 時間依存ジオメトリの圧縮
EP3648061A2 (en) Machine learning based video compression
CN101939991A (zh) 用于处理图像数据的计算机方法和装置
CN114598892B (zh) 点云数据编码方法、解码方法、装置、设备及存储介质
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240144583A1 (en) Learned Volumetric Attribute Compression Using Coordinate-Based Networks
US20240242467A1 (en) Video encoding and decoding method, encoder, decoder and storage medium
Matsubara et al. Sc2 benchmark: Supervised compression for split computing
Ahire et al. Animation on the web: a survey
US20230254230A1 (en) Processing a time-varying signal
KR20240025629A (ko) 광학 흐름를 이용한 비디오 압축
JP2023545185A (ja) 生成モデルおよび潜在領域量子化を用いた信号符号化
WO2024217512A1 (en) Method, apparatus, and medium for point cloud processing
US20230306647A1 (en) Geometry filtering for mesh compression
WO2024217510A1 (en) Method, apparatus, and medium for point cloud processing
CN118694982A (zh) 特征图编码方法和装置
Smolic et al. A survey on coding of static and dynamic 3D meshes
CN118798211A (zh) 数字人处理方法、装置、设备、介质及产品
Smolic et al. A survey on coding of static and dynamic 3D meshes
CN117061770A (zh) 一种点云处理方法、装置、设备、存储介质及产品
CN118014019A (zh) 熵约束神经视频表示
CN118842789A (zh) 数据传输方法及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100106