Connect public, paid and private patent data with Google Patents Public Datasets

图像处理方法和系统

Download PDF

Info

Publication number
CN101849416B
CN101849416B CN 200880112669 CN200880112669A CN101849416B CN 101849416 B CN101849416 B CN 101849416B CN 200880112669 CN200880112669 CN 200880112669 CN 200880112669 A CN200880112669 A CN 200880112669A CN 101849416 B CN101849416 B CN 101849416B
Authority
CN
Grant status
Grant
Patent type
Prior art keywords
method
system
processing
images
Prior art date
Application number
CN 200880112669
Other languages
English (en)
Other versions
CN101849416A (zh )
Inventor
S·J·L·雅各布
Original Assignee
Doo技术公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a Uniform Resource Locator [URL] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of content streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network, synchronizing decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television, VOD [Video On Demand]
    • H04N21/60Selective content distribution, e.g. interactive television, VOD [Video On Demand] using Network structure or processes specifically adapted for video distribution between server and client or between remote clients; Control signaling specific to video distribution between clients, server and network components, e.g. to video encoder or decoder; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets

Abstract

可从多个不同来源获得多个图像流。首先缩减图像的颜色深度,随后组合流以形成具有已知格式并且位深度与缩减的位流的位深度之和相同的单一流。从而,可作为单一流处理多个流。在处理之后,通过应用相反的重新排序过程,再次分离所述多个流。

Description

图像处理方法和系统

技术领域

[0001] 本发明涉及图像的处理,更具体地说,涉及多个图像数据流的处理。

背景技术

[0002] 在许多应用中,捕捉多个图像,并且在观看之前,需要处理这多个图像,比如压缩、传送和保存。

[0003] 例如,为了监视生产线,摄像系统可包括各自产生图像流的多个摄像机。另外,在许多360视频应用中,摄像机可包括各自产生图像流的两个鱼眼镜头和/或一个变焦镜头。鱼眼镜头具有广角视场,存在许多变体。典型的鱼眼镜头可用180°半球全圆形成图像。从而,两个鱼眼镜头可背靠背地布置,以捕捉整个环境。变焦镜头可放大环境的所选区域,以更详细地显示所选区域。

[0004] 从而可以产生多个图像数据流,这些图像数据流可以是相同或不同的格式。例如,变焦镜头捕捉的图像可以是高清晰格式。HD分辨率视频的特征在于其宽幅(通常16: 9长宽比)及其高图像清晰度(与通常的帧大小为720X576像素的标准视频清晰度(SD)格式相比,通常的帧大小为1920 X 1080像素和1280 X 720像素)。相反,由安装在适当摄像机上的鱼眼镜头捕捉的图像可以是超高清晰度(XHD)分辨率图像。超高清晰度(XHD)格式获得与高清晰度(HD)格式视`频相比尺寸更大的图像。在许多应用中这是合乎需要的,因为它提高了用户数字放大环境的能力。

[0005] 每个图像通常具有受计算机和处理硬件支持的颜色深度。颜色深度描述用于表现位映射(bitmapped)图像或视频帧缓冲区中的单一像素的颜色的二进制位的数目,有时被称为每像素位数。较高的颜色深度呈现出范围更宽的不同颜色。

[0006] 真彩色具有一千六百七十万种不同的颜色,并且模拟在真实世界中见到的许多颜色。所产生颜色的范围接近人眼能够区分大多数摄影图像的颜色的水平。不过,当图像被处理,或者是黑白图像(它将真彩色局限于256灰度级)或者“纯粹”生成图像时,会出现

一些局限性。

[0007] 通常,在目前的标准中,以24或32位颜色深度捕捉图像。

[0008] 24位真彩色使用8位来表示红色,8位来表示蓝色,和8位来表示绿色。对这三种颜色中的每一种来说,这产生256种色度(shade)。于是,可组合这些色度,从而形成总共16777216 种混合颜色(256X256X256)。

[0009] 32位颜色包含24位颜色和额外的8位,这额外的8位或者作为空的填充空间,或者表示α通道。许多计算机在内部以32位为单位处理数据。于是,使用32位颜色深度是合乎需要的,因为它可以优化速度。不过,这是以增大安装的视频存储器为代价的。

[0010] HD或XHD流都具有已知的数字数据格式。由标准位数(已知的颜色深度)表现的像素构成I和O的位流。在顺序扫描图像行的情况下,可使用逐行扫描,或者例如,在首先扫描奇数行,随后扫描偶数行的情况下,可使用隔行扫描。通常,每一行的扫描是从左到右。通常存在至少一个报头,所述报头由指示在其之后的位流的有关信息的I和O构成。各种数字数据流格式,包括不同数目的报头都是可能的,并且为本领域的技术人员所知。为避免产生疑问,已知的数据格式是任何图像格式(例如,HD或XHD)的任何已知数字格式。

[0011] 图像数据流通常是MPEG 2和4兼容的。

[0012] MPEG-2是由运动图像专家组为数字视频定义的标准。它规定封闭的视频位流的语法。另外,它规定用于对应视频流的后续编码和压缩的语义和方法。不过,实现实际编码处理的方式由编码器设计决定。于是,有利的是,所有MPEG-2兼容设备都是能共同使用的。目前,MPEG-2标准被广泛接受。

[0013] MPEG-2允许对从有限清晰度到全HDTV范围内的四种源格式,或者说“级别”编码,每一种源格式都具有多种位速率。另外,MPEG-2允许不同的“简档(profile)”。每种简档提供一起构成编码系统的一批压缩工具。不同的简档意味着可得到不同的一组压缩工具。

[0014] 包含H.264压缩方案的MPEG-4标准处理覆盖低位速率和高位速率的较高压缩比。它兼容MPEG-2流,并开始成为未来的主流标准。

[0015] 存在许多符合规定的记录格式。例如,HDV是常用的产生HD视频的记录格式。该格式与MPEG-2兼容,对流可以使用MPEG-2压缩。

[0016] 来自MEPG-2视频编码器的输出被称为基本流(换句话说,数据或视频位流)。基本流只包含一种数据,并且是连续的。在源结束之前,它们不会停止。基本流的准确格式将随编解码器或者流中携带的数据而变化。

[0017] 连续的基本位流随后可被送入打包器,打包器把基本流分成具有一定数目字节的分组。这些分组被称为打包基本流(PES)分组。PES通常包含来自单一编码器的仅一种有效载荷数据。每个PES分组从包括唯一分组ID的分组报头开始。报头数据还识别有效载荷的来源,以及排序和定时信息。

[0018] 在MEPG标准内,建立于打包基本流之上的各种其它格式也是可能的。对于一些应用可以引入报头的分级结构。例如,位流可包括总序列头(overall sequence header)、一组图片报头、单个图片报头,和一部分的图片报头。

[0019] 在监视生产线的应用和许多360或其它视频应用中,理想的是同时查看在相同时刻拍摄的图像流。这使用户能够查看真实的环境,例如显示生产线或者360图像,并且可选地显示指定时刻的放大的部分。另外,对许多应用来说,理想的是实时地查看图像流。

[0020] 我们已认识到理想的是以已知格式发送图像流数据,比如MPEG兼容格式的图像流,以致常用的MPEG兼容硬件可用于处理图像流。不过,我们还认识到在数据的传输和处理中,需要保持不同图像数据流之间的同步。

发明内容

[0021] 在权利要求中限定了本发明。

[0022] 按照本发明,提供一种处理表示按帧排列的像素的图像数据的方法,包括:处理两个或者更多个图像数据流,以降低表示所述像素的数据的位深度,从而产生位深度缩减的流;将位深度缩减的流组合成单一流,所述单一流具有至少与所述位深度缩减的流的位深度之和相等的位深度;以已知格式传送所述单一流;和将所述单一流转换回两个或更多个图像数据流。

[0023] 本发明的实施例的优点是能够同时处理,从而同时查看多个图像数据流。例如,如果通过通信链路分别传送两个流,一个流可能在结束时,来自一个流的数据在另一个流之前或之后到达,这从而会引起在显示器上同时显示数据方面的问题。通过组合两个或更多个图像数据流,并利用MPEG-2编码以诸如HD之类的格式将其呈现为单一流,本发明的实施例避免了该问题。可利用常规硬件传送和处理该单一流。由于数据被组合在一起形成单一流,因此保证了来自两个或更多个流的数据同步。

[0024] 因此,本发明的实施例的优点在于可保证在传输期间,表示两个或更多图像流的数据保持同步。这可保证来自一个源的各帧的像素按已知的时间差,或者在与来自另一个源的像素同时到达目的地。例如,就捕捉时间来说,这些帧基本上对应,从而能够实现图像流的同时观看。对许多应用,包括监视生产线和最好实时地查看整个环境(例如,用多台摄像机捕捉)的各种360视频应用来说,这是有益的。

[0025] 本发明的附加好处在于通过缩减颜色深度,在数据的传输之前,带宽被降低。我们认识到缩减的颜色深度可足以满足许多应用,从而按照这种方式降低带宽是可接受的。例如,对于从夜间摄像机拍摄的图像,只需要8位颜色深度(最大256色)。从而,把位深度从所捕捉的24位缩减到8位不会引起成问题的质量损失。

[0026] 从而,图像数据流可被组合成已知格式的单一流。作为结果的流的长度不必比最长的输入流更长。这有利于产生利用已知技术和硬件处理流,尤其是实时处理流的可能性。与通过独立的通信链路传送多个流相比,仅处理一个流还简化传送流的硬件配置。

[0027] 尽管本发明有利于在希望同步的情况下,处理多个视频流,不过本发明也可用在希望作为单一流处理多个图像的各种各样的应用中。

[0028] 优选地,来自合并在一起的各个图像流的图像彼此对应,比如是同时从不同来源捕捉的。

[0029] 通过使用加密密钥控制图像的合并和转换回,可使视频更安全。作为替代地,可以使用查找表把合并的图像转换回它们的原始分离形式。

附图说明

[0030] 下面参考附图,举例说明本发明的一个实施例,其中:

[0031] 图1是本发明的一个实施例的功能组件的示意概观;

[0032] 图2是实施例的编码器装置的示意图;

[0033] 图3是本发明的一个实施例的可选第二级编码的示意图;

[0034] 图4是图解说明该实施例的解码装置的示意图;以及

[0035] 图5是图解说明缩减位流,并把缩减的位流组合成已知格式的单一位流的编码器过程的示意图。

具体实施方式

[0036] 本发明的实施例使多个图像流可以被合并成单一图像流,并作为单一图像流被处理,随后被转换回分离的图像流。在下面的例子中,这些图像由作为视频源的分离图像源捕捉,不过这只是一个例子。

[0037] 待描述的实施例具有三个分离的图像源,以及可选的第四图像源。所有视频源可以是实时的,或者是文件序列 。在本例中,图像源是监视生产线的摄像系统的一部分。两台摄像机配有背对背布置以捕捉整个周围环境(360° )的超广角镜头,比如鱼眼镜头。在本例中,这些摄像机捕捉超高清晰度(XHD)视频,为使用户能够有效地数字放大图像,XHD视频是所希望的。为了避免产生疑问,这里要指出的是XHD包含高于HD的任何清晰度。这种情况下,对于每个图像帧,每个XHD源具有相同数目的像素,因为这两台摄像成像器是相同的,产生相同格式和长宽比的图像。

[0038] 另外,存在配有变焦镜头的第三台摄像机,所述变焦镜头能够进一步放大环境。在本例中,第三台摄像成像器产生高清晰度HD视频。于是,和XHD图像帧一样,每个图像帧具有相同或不同数目的像素。所述摄像系统还可结合第四台HD摄像成像器。

[0039] 应意识到该实施例并不局限于特定数目的视频源,下面说明的技术可以和图像源的许多其它组合一起使用。特别地,尽管实施例尤其可用于处理不同图像格式的图像,不过并不局限于这样的图像。待处理的图像可以是相同的格式,或者各种不同的格式。这些图像格式可以是标准格式或非标准格式。

[0040] 图1表示具有三个图像源和可选的第四图像源1、2、3和4的实施本发明的装置的功能组件。捕捉的数据可以由处理器5处理,处理器5可分别配有内存6和/或存储容量

7。图像流由装置8处理,装置8进行合并图像流的处理。处理器5、内存6、存储器7和装置8的功能组件可以在单一装置中实施。在这样的安排中,图像源1、2、3可以是简单的图像捕捉装置,比如带有适当光学器件和驱动电子器件的CXD或CMOS传感器,处理器5、内存6和存储器7承担把原始图像数据变成图像流的处理。另一方面,图像源1、2、3本身可以是以XHD或HD格式产生图像流的图像摄像机,并且处理器5、内存6和存储器7要进行的处理成型较少。

[0041] 在编码器中,如图2中所示,存在来自具有24位颜色深度的三种视频流,即两个XHD视频流和一个HD视频流。颜色深度缩减器12、13和14把每个图像流的颜色深度从24位减小到8-12位。即,每个像素现在用8-12位表示,可表现的颜色的数目减小。例如,8位颜色深度提供的在 任一时刻显示的颜色的最大数目为256。

[0042] 进行这种缩减的颜色深度缩减器在本领域中众所周知,例如使用取样和量化。存在许多变体。例如,一种缩减颜色深度的简单技术包括把位组合在一起,以将数字0-65536表示成第一位,数字65536-131072由第二位表示,等等。

[0043] 技术人员明白可能的缩减颜色位深度的技术有许多,比如通过用颜色查找表表示颜色,以致表现的颜色更少。这减小了色调的范围,不过在多数应用中不会造成问题。在用于传输的任何压缩技术之前,对原始像素数据进行缩减颜色位深度的处理。

[0044] 在本例中,每个图像流被缩减成相同的颜色深度。不过,情况并非必需如此。

[0045] 8位或更大的颜色深度适合于/足以满足许多应用,包括监视生产线的摄像系统和许多360摄像应用。应意识到颜色深度的其它缩减也适合于或足以满足各种其它应用。

[0046] 流合并器15把颜色深度减小的所述两个XHD视频流和所述HD视频流合并成总颜色深度为16-32位的单一视频流。在图2中,实现所述合并的处理器被称为XHD流合并器,因为这种情况下,合成的视频流的图像格式为XHD。合并的图像流具有已知的数字数据格式,颜色深度至少等于位深度缩减的图像流的位深度的总和。这种情况下,合并的图像流具有32位/像素的最大位深度。优选是标准的24或32位颜色深度。

[0047] 合并图像流的许多组合都是可能的,在后面说明的图5中给出了一个例子。[0048] 在本例中,合并的图像流采用最大的输入流的格式大小-这种情况下是XHD。HD图像中的像素可被重新排列,以适合XHD图像格式。为统一得到的流的颜色深度而需要的任何附加位可以是空填充空间。

[0049] 为了得到组合流的希望的24位或32位颜色深度,可以合并均为8位的三个流(2XXHD和1XHD),以产生一个24位图像流。作为替代地,所述两个XHD流可具有12位并且所述HD流可具有8位,得到总共32位的颜色深度。也可单独组合均为12位的两个XHD流,从而产生作为结果的24位的流。例如,如果XHD流的长度长于HD流的长度,那么这是理想的。在存在四个输入流(2XXHD和2XHD)的情况下,如果被缩减为8位颜色深度的话,那么所有流可被合并,从而产生作为结果的32位颜色深度的流。

[0050] 要意识到合并颜色深度缩减的流以产生已知的单一数字数据流的组合和可能性有很多。特别地,对应于已知格式,产生合并的流的希望的总颜色深度的组合和可能性很多。另外要意识到已知格式以及希望的颜色深度可以变化。

[0051] 图5表示考虑实际的数字数据信息,合并三个图像源24、25和26的一种方式。首先,在27、28和29,每个图像源具有报头和24位的数据帧(即,像素)。在30、31和32,每个数据帧(像素)的位数被缩减为8位,如前所述。在33,来自每个图像源的8位数据帧被级联,从而产生与一个24位“像素”对应的标准格式的24位数据字段。这产生可按标准的已知格式处理的数字结构的数据,当然,24位“像素”并不代表实际图像。如果处理器试图显示组合的单一流,那么它会以随机排列像素的方式显示图像。为了显示三个独立的图像流,如后所述,必须解构或解码所述单一流。

[0052] 要意识到可按照各种其它方式合并位深度缩减的图像流,从而形成已知格式的单一流。例如,除了级联之外,可以从每个图像源的数据帧中取出交替的位,从而产生合并的24位数据帧。这样的方法适合于提高安全性。 [0053] 在本例中,如上所述,通过获得来自一个图像源的第一帧的第一像素,和来自第二个图像源的第一帧的第一像素,并把它们合并在一起(通过级联或以其它方式),可组合每个图像帧具有相同数目的像素的两个XHD流。类似地,使来自一帧的第二像素与另一个图像源的第二像素组合,依次类推。组合流的其它方法也是可能的,并且将被本领域的技术人员想到。

[0054] 如果与XHD流相比,HD流的每图像帧的像素数较少,那么仍然可以使用上面说明的通过级联或以其它方式组合缩减的位像素的技术。当在HD图像帧中不存在留待与XHD流像素组合的像素时,可以使用例如空填充空间。

[0055] 优选地,合并来自彼此对应的三个输入流的图像帧。假定图像在作为单一流的后续传输期间始终保持同步,那么可保证来自一个源的帧的像素与来自另一个源的对应像素同时到达目的地。

[0056] 例如,就监视生产线的摄像系统和许多360摄像应用来说,优选地,在相同时间捕捉的多个图像帧被合并成构成单一图像流的单一图像帧。这使用户能够例如按照捕捉图像流的时间点使图像流同步。有利的是,这使得能够实时地同时查看多个视频源。

[0057] 通过使用相同的摄像机,并对摄像机中的数字信号处理器使用单一的时钟源,以致使摄像机真正同步,可在合并之前使图像流同步。从而,在与来自另一源的第一帧的第一像素完全相同的时间,数字数据流会得到来自一个源的第一图像帧的第一像素。这会简化随后合并图像流的处理,因为数据位流已被同步。

[0058] 不过,更可能的是图像源并不完全同步,因为装置中的数字时钟可能完全不同。在这种情况下,为了在合并之前使图像流同步,需要找出每个数据流内的报头,然后延迟数据流之一,直到使报头对齐为止。从而使缩减位深度和把数据流组合在一起的所有后续数字处理完全同步。

[0059] 不过,应注意的是在这样的优选实施例中,并非必需使来自一个源的帧与在完全相同的时间从另一个源获得的帧合并。由于图像在作为单一流的后续传输期间保持同步,因此轻微的失准是可接受的。例如,可接受的是使来自一个源的帧与来自另一个源的就拍摄时间来说相差几个图像帧的帧合并。TV摄像机一般具有50场/秒的图像帧速率。合并在一起的图像相隔几场或几帧是无关紧要的。只要系统和解码器知道,它能够保证图像在接收器端在正确时间被显示即可。

[0060] 如上所述,表示来自图像源的每个像素的原始24位数据在位深度方面被缩减,与来自其它流的其它缩减的像素组合,随后被封装到选择的已知格式中。通过对诸如16X16模式组之类的像素模式应用颜色缩减和合并,可使所得到的数据与例如MPEG-2或者其它压缩算法兼容。

[0061] 位深度缩减和合并方案可以是固定的或者自适应的。如果所述方案是固定的,那么编码器和解码器都需要预先知道所述方案的安排。另一方面,如果所述方案是可变的或者自适应的,那么所选方案必须被记录,并从编码器传送给解码器。编码方案可作为元数据被保存和传送,所述元数据可被称为“调色板组合图(palette combinationmap) ”。它包含解释像素是如何被缩减了位深度和如何被组合的信息。例如,在图5中所示的方案中,调色板组合图包含查找表,所述查找表解释每个像素从24位被缩减到8位,随后按照第一像素,第二像素,第三像素的顺序,使3个像素中的每一个与来自另一个图像的一帧的对应像素级联。解码器可以使用该查找表或者说“密钥”来重新组装图像流。

[0062] 所使用的方案 可以一次设定后就固定,或者可以是自适应的,如上所述。如果是自适应的,那么所述方案可以偶尔改变,例如每天一次,一天几次,或者可以更频繁地改变,t匕如随着所传送图像的性质的改变而改变。如果所述方案频繁地改变,那么将与图像流数据多路复用地传送调色板组合图,或者用独立通道发送调色板组合图。当这种元数据较小时,应该不存在任何传输问题,从而不存在延迟风险。不过,为了避免要是所述元数据未能到达解码器,从而解码器不能工作的可能性,当不存在从编码器到解码器的元数据传输时,可以使用默认的固定方案。

[0063] 优选地,在XHD流合并器15,保存各个流的颜色深度信息。该信息可保存在由XHD流合并器产生的调色板组合图中,其中颜色深度信息可被嵌入矩阵中。该数据可被加密,以提闻安全性。

[0064] 优选地,还保存关于各个流的附加信息,以致合并的流可被解码。这样的信息可包括初始图像/流的数目,各个流中图像像素的初始位置。该数据可以矩阵的形式嵌入调色板组合图中,还可被加密,以便提高安全性。

[0065] 现在,可以作为已知格式的单一流来处理初始图像流。例如,如果合并的图像的格式大小是标准格式大小的话,这可利用常规硬件来实现。例如,目前就是这样,如果格式大小为HD的话。该格式兼容MPEG-2和4。于是,如果待合并的输入流是HD格式,那么可以使用常规硬件。

[0066] 不过,在本例中,所得到的图像的格式大小为XHD。目前,可利用MEPG压缩实现XHD分辨率视频的压缩、传送和存储,MPEG压缩产生造成传送和存储问题的巨大文件大小和带宽。于是,为了使数据能够被实时压缩以便应用,需要强大的专用处理器和非常高速的网络。这些处理器和网络目前并不广泛可用,经济上也不可行。

[0067] 可以使用按照第二种格式处理以第一种格式获得的图像的方法和系统把组合流转换成低分辨率格式。例如,可以使用其中把像素分成16X16像素的“图案”,随后以HD格式传送的方法。这在图3中被表示成“Tetris”编码器和解码器。这是一种把XHD数据转换成HD数据的编码方案,不过并不是本发明的实施例必不可少的。可以使用其它转换方案,或者甚至可以使数据保持XHD格式。未来,硬件将允许传送和处理XHD,并且将不再需要图3中所示的可选的转换步骤。如此,如果希望的话,可以使用常规的HD编解码器压缩和解压缩合并的数据。数据可以以压缩的形式被传送和/或保存。

[0068] 图2表示用于把由流合并器15产生的XHD合并流转换成HD流的编码器16。图像的有效画面部分被分成每个具有多个像素的图案。这些图案被赋予坐标值,然后利用把图案重新排序的加密密钥被重新格式化成HD格式。该加密密钥可由调色板组合图产生,不过情况并非必需如此。

[0069] 图3表示处理单一的合并流的例子的概述。图3表示把XHD格式重新格式化成HD格式的编码器、得到的HD流,和解码器。通过在密钥的控制下,应用相反的重新排序过程,解码器把图像转换回XHD格式。这种情况下,密钥和HD流一起被发送。该解码器在图4中还被表示成解码器17。

[0070] 优选地,可以存储在调色板组合图中的输入流信息也与单一合并流一起被发送到如图4中所示的解码器。

[0071] 在XHD流分流器18,接收合并的单一流(在本例中为XHD的)。还接收调色板组合图,包括诸如输入流的数目、图像和图像像素在这些流内的位置之类的输入流信息。利用该信息,合并的单一流被分离回在流合并器15合并的独立流,两个XHD流和一个HD流。

[0072] 这些分离的流随后可被发送给颜色深度转换器19、20和21。分离流的颜色深度可被变回初始输入流9、10和11的颜色深度。于是,把8-12位的每个缩减像素变回24-32位。理想的是把位深度变回当前硬件所支持的标准位深度。利用诸如GIF标准所使用的调色板之类的技术,实现这种功能的标准转换器在本领域中是已知的。

[0073] 要意识到由于在处理过程中使用量化和压缩,与输入流相比,来自颜色深度转换器19、20和21的输出流的色彩质量发生变化。不过,发明人意识到轻微的变化对人眼以及对许多应用,尤其是实时工作的那些应用来说并不明显,如此降低的质量是可接受的,所获得的优点胜过色彩质量的降低。

[0074] 现在可在22处渲染输出流,和在23处显示输出流。例如,显示器可以是360视频播放器,在所述360视频播放器,最终用户可摇摄和放大3D世界。

[0075] 所描述的实施例具有能够以具有如下优点:作为已知格式的单一视频流处理、压缩、传送和/或存储可以是不同格式的多个视频流。这简化了处理所需的硬件配置。按照这种方式组合流还意味单一的合并流的长度不必长于最长输入流的长度。对视频流的存储和传送来说这是有益的。另外 ,由于在传输之前,带宽被减小,因此该方法适合于实时应用。该实施例还具有在传送期间,流保持同步(即,在传输期间,组合流的方式不发生变化)的优点。在该实施例中,流被组合得使得在拍摄时间上对应的帧被组合。在所描述的应用中,这是特别有利的,因为它使得能够实时地同时查看整个环境。

[0076] 本领域的技术人员会认识到本发明的应用例子只是用于举例说明,可按照许多其它方式利用本发明。当某一过程要求多个视频源之间的同步在传输和处理期间保持固定时,本发明特别有益。可使图像帧同步,例如使得在相同时刻或者按已知时差捕捉的帧可以一起到达目的地。如果希望进行相关操作,例如在运动分析,立体3D或拼接中,同步可以是有利的。不过,本发明并不局限于这样的应用,可用在希望作为单一流处理多个流的许多应用中。

[0077] 另外要意识到,待合并的视频流的数目和视频流的图像格式可变化。缩减颜色深度并把流合并成已知格式的流的许多组合和方式都是可能的,并且会被本领域的技术人员想到。

[0078] 对所述实施例的各种其它修改也是可能的,并且会被本领域的技术人员想到,而不脱离由附加权利要求限定的本发明`的范围。

Claims (36)

1.一种处理表示按帧排列的像素的图像数据的方法,包括: 处理两个或者更多个图像数据流,以降低表示所述像素的数据的位深度,从而产生位深度缩减的流; 将位深度缩减的流组合成单一流,所述单一流具有等于或大于所述位深度缩减的流的位深度之和的位深度,其中将位深度缩减的流组合成单一流包括组合构成来自位深度缩减的流中的数据帧的像素的位,从而形成单一流中的单一数据帧的像素的位; 以已知格式传送所述单一流;和 将所述单一流转换回两个或更多个图像数据流。
2.按照权利要求1所述的方法,其中将位深度缩减的流组合成单一流包括通过位的级联,组合构成来自缩减位流中的数据帧的像素的位,从而形成单一流中的单一数据帧的像素的位。
3.按照权利要求1或2所述的方法,其中按照控制机制组合所述流。
4.按照权利要求3所述的方法,其中所述控制机制包括关于来自缩减位流的位进入所述单一流中的何处的指令。
5.按照权利要求3所述的方法,其中所述控制机制是调色板组合图。
6.按照权利要求3所述的方法,其中所述控制机制包括加密密钥。
7.按照权利要求3所述的方法,其中所述控制机制是查找表。
8.按照权利要求3所述的方法,其中所述控制机制包括与待处理的图像帧的数目、待组合的图像数据流的数目、和图像像素`在它们之中的位置有关的信息。
9.按照权利要求3所述的方法,还包括将位深度缩减的流至少部分地转换回它们的原始位深度。
10.按照权利要求5所述的方法,其中作为包括调色板组合图的数据文件来处理所述单一流。
11.按照权利要求3所述的方法,其中所述位深度之和是由所需硬件支持的标准位深度。
12.按照权利要求3所述的方法,其中所述位深度之和为24位或32位。
13.按照权利要求3所述的方法,其中组合位深度缩减的流中彼此对应的图像帧。
14.按照权利要求13所述的方法,其中所述图像帧的对应在于像素是在相同的时刻或者按已知时差捕捉的。
15.按照权利要求3所述的方法,其中待处理的流捕获自多于一个的图像源。
16.按照权利要求3所述的方法,其中按相同格式捕获图像数据流。
17.按照权利要求3所述的方法,其中以不同格式捕获图像数据流。
18.按照权利要求3所述的方法,还包括使用填充位形成位深度等于或大于位深度缩减的流的位深度之和的单一流。
19.按照权利要求3所述的方法,其中所述单一流的图像格式等于输入流的最大图像格式。
20.按照权利要求3所述的方法,其中可按照第二格式处理第一格式的单一流。
21.按照权利要求3所述的方法,其中所述图像是视频图像。
22.按照权利要求3所述的方法,其中图像数据被实时处理。
23.一种处理表示按帧排列的像素的图像数据的系统,包括: 用于处理两个或者更多个图像数据流,以降低表示所述像素的数据的位深度,从而产生位深度缩减的流的装置; 用于将位深度缩减的流组合成单一流的装置,所述单一流具有等于或大于所述位深度缩减的流的位深度之和的位深度,其中用于将位深度缩减的流组合成单一流的装置包括组合构成来自位深度缩减的流中的数据帧的像素的位,从而形成单一流中的单一数据帧的像素的位的装置; 用于以已知格式传送所述单一流的装置;和 用于将所述单一流转换回两个或更多个图像数据流的装置。
24.按照权利要求23所述的系统,其中用于将位深度缩减的流组合成单一流的装置包括用于通过位的级联,组合构成来自缩减位流中的数据帧的像素的位,从而形成单一流中的单一数据帧的像素的位的装置。
25.按照权利要求23所述的系统,具有用于提供关于来自缩减位流的位进入所述单一流中何处的控制机制的装置。
26.按照权利要求25所述的系统,其中所述控制机制是调色板组合图。
27.按照权利要求25所述的系统,其中所述控制机制包括加密密钥。
28.按照权利要求25所述的系统,其中所述控制机制是查找表。
29.按照权利要求25-28中任一项所述的系统,其中所述控制机制包括与待处理的图像帧的数目、待组合的图像数据流的数目、和图像像素在它们之中的位置有关的信息。
30.按照权利要求25所述的系统,其中所述位深度之和是由所需硬件支持的标准位深度。
31.按照权利要求25所述的系统,其中所述位深度之和为24位或32位。
32.按照权利要求25所述的系统,其中组合位深度缩减的流中彼此对应的图像帧。
33.按照权利要求32所述的系统,其中所述图像帧的对应在于像素是在相同的时刻或者按已知时差捕捉的。
34.按照权利要求25所述的系统,还包括用于使用填充位形成位深度等于或大于位深度缩减的流的位深度之和的单一流的装置。
35.一种处理表示按帧排列的像素的图像数据以便传输的编码器,包括: 用于处理两个或者更多个图像数据流,以降低表示所述像素的数据的位深度,从而产生位深度缩减的流的装置; 用于将所述位深度缩减的流组合成单一流的装置,所述单一流具有等于或大于所述位深度缩减的流的位深度之和的位深度,其中用于将位深度缩减的流组合成单一流的装置包括组合构成来自位深度缩减的流中的数据帧的像素的位,从而形成单一流中的单一数据帧的像素的位的装置; 用于以已知格式传送所述单一流以便传输的装置。
36.一种用于与权利要求35的编码器一起使用的解码器,包含用于将权利要求35的编码器生成的所述单一流转换 回权利要求35的编码器所处理的所述两个或更多个图像数据流的装置。
CN 200880112669 2007-09-14 2008-01-22 图像处理方法和系统 CN101849416B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
GB0718015.1 2007-09-14
GB0718015A GB0718015D0 (en) 2007-09-14 2007-09-14 Method and system for processing of images
PCT/IB2008/001155 WO2009034424A3 (en) 2007-09-14 2008-01-22 Method and system for processing of images

Publications (2)

Publication Number Publication Date
CN101849416A true CN101849416A (zh) 2010-09-29
CN101849416B true CN101849416B (zh) 2013-07-24

Family

ID=38659014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200880112669 CN101849416B (zh) 2007-09-14 2008-01-22 图像处理方法和系统

Country Status (7)

Country Link
US (1) US20110038408A1 (zh)
JP (1) JP5189167B2 (zh)
CN (1) CN101849416B (zh)
CA (1) CA2699498A1 (zh)
EP (1) EP2193660A2 (zh)
GB (1) GB0718015D0 (zh)
WO (1) WO2009034424A3 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519335A (zh) * 2013-10-02 2015-04-15 惟成科技有限公司 重调原始景深图框的尺寸的方法、装置及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8704903B2 (en) * 2009-12-29 2014-04-22 Cognex Corporation Distributed vision system with multi-phase synchronization
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
WO2016123269A1 (en) * 2015-01-26 2016-08-04 Dartmouth College Image sensor with controllable non-linearity

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954338A2 (en) 1996-07-12 1999-11-10 Genzyme Corporation Cationic amphiphile/dna complexes
EP1827024A1 (en) 2006-02-24 2007-08-29 Sharp Corporation High dynamic range video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5300949A (en) * 1992-10-22 1994-04-05 International Business Machines Corporation Scalable digital video decompressor
DE69309621T2 (de) * 1992-12-11 1997-10-30 Philips Electronics Nv System zum Kombinieren von Videosignalen verschiedener Formate und aus verschiedenen Quellen
US6249545B1 (en) * 1997-10-14 2001-06-19 Adam S. Iga Video compression decompression and transmission
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US6263022B1 (en) * 1999-07-06 2001-07-17 Philips Electronics North America Corp. System and method for fine granular scalable video with selective quality enhancement
US7143432B1 (en) * 1999-10-01 2006-11-28 Vidiator Enterprises Inc. System for transforming streaming video data
US20060244839A1 (en) * 1999-11-10 2006-11-02 Logitech Europe S.A. Method and system for providing multi-media data from various sources to various client applications
US20030172131A1 (en) * 2000-03-24 2003-09-11 Yonghui Ao Method and system for subject video streaming
US6501397B1 (en) * 2000-05-25 2002-12-31 Koninklijke Philips Electronics N.V. Bit-plane dependent signal compression
WO2004045217A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
FR2849565B1 (fr) * 2002-12-31 2005-06-03 Medialive Protection adaptative et progressive d'images fixes codees en ondelettes
KR100925195B1 (ko) * 2003-03-17 2009-11-06 엘지전자 주식회사 대화형 디스크 플레이어의 이미지 데이터 처리장치 및처리방법
US7487273B2 (en) * 2003-09-18 2009-02-03 Genesis Microchip Inc. Data packet based stream transport scheduler wherein transport data link does not include a clock line
US8683024B2 (en) * 2003-11-26 2014-03-25 Riip, Inc. System for video digitization and image correction for use with a computer management system
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP2006339787A (ja) * 2005-05-31 2006-12-14 Oki Comtec Ltd 符号化装置及び復号装置
US8582658B2 (en) * 2007-05-11 2013-11-12 Raritan Americas, Inc. Methods for adaptive video quality enhancement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954338A2 (en) 1996-07-12 1999-11-10 Genzyme Corporation Cationic amphiphile/dna complexes
EP1827024A1 (en) 2006-02-24 2007-08-29 Sharp Corporation High dynamic range video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ERDEM A T ET AL.Compression of 10-bit video using the tools of MPEG-2.《SIGNAL PROCESSSING IMAGE COMMUNICATION》.1995,第7卷(第1期),
MALAK M ET AL.An image database for low bandwidth communication links.《DATA COMPRESSION CONFERENCE,1991》.1991,

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519335A (zh) * 2013-10-02 2015-04-15 惟成科技有限公司 重调原始景深图框的尺寸的方法、装置及系统

Also Published As

Publication number Publication date Type
WO2009034424A2 (en) 2009-03-19 application
CN101849416A (zh) 2010-09-29 application
US20110038408A1 (en) 2011-02-17 application
JP2010539774A (ja) 2010-12-16 application
EP2193660A2 (en) 2010-06-09 application
JP5189167B2 (ja) 2013-04-24 grant
CA2699498A1 (en) 2009-03-19 application
GB0718015D0 (en) 2007-10-24 grant
WO2009034424A3 (en) 2009-05-07 application
GB2452765A (en) 2009-03-18 application

Similar Documents

Publication Publication Date Title
US6055274A (en) Method and apparatus for compressing multi-view video
US7113200B2 (en) Method and system for preparing video communication image for wide screen display
US5502493A (en) Variable length data decoder for use with MPEG encoded video data
US6614483B1 (en) Apparatus and method for compressing image data received from image sensor having bayer pattern
US20080247653A1 (en) Method and apparatus for parallelization of image compression encoders
US20070030911A1 (en) Method and apparatus for skipping pictures
US20030138045A1 (en) Video decoder with scalable architecture
US20060271990A1 (en) Higher picture rate HD encoding and transmission with legacy HD backward compatibility
US20070263937A1 (en) Method and apparatus for serving audiovisual content
US20030215018A1 (en) System and method for transcoding entropy-coded bitstreams
US6404928B1 (en) System for producing a quantized signal
US20050123058A1 (en) System and method for generating multiple synchronized encoded representations of media data
US20050060421A1 (en) System and method for providing immersive visualization at low bandwidth rates
US6256350B1 (en) Method and apparatus for low cost line-based video compression of digital video stream data
US5995146A (en) Multiple video screen display system
US20020034248A1 (en) Apparatus and method for conserving memory in a fine granularity scalability coding system
US7020205B1 (en) Sending progressive video sequences suitable for MPEG and other data formats
US20100067571A1 (en) Low latency high resolution video encoding
US20050053131A1 (en) Video encoding using parallel processors
CN1450816A (zh) 一种立体视频流编码/解码器及其立体视频编解码系统
US20010031002A1 (en) Image encoding apparatus and method of same, image decoding apparatus and method of same, image recording apparatus, and image transmitting apparatus
CN101039417A (zh) 多个分块并行压缩视频数据装置及其压缩方法
US20110292287A1 (en) Systems and methods for multi-stream image processing
JPH06125539A (ja) 画像符号化装置
US20060165172A1 (en) Method for transmitting data without jitter in synchronous Ethernet

Legal Events

Date Code Title Description
C06 Publication
C10 Request of examination as to substance
C14 Granted