CN108881951B - 执行基于条带的压缩的图像处理装置和图像处理方法 - Google Patents

执行基于条带的压缩的图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN108881951B
CN108881951B CN201711462803.9A CN201711462803A CN108881951B CN 108881951 B CN108881951 B CN 108881951B CN 201711462803 A CN201711462803 A CN 201711462803A CN 108881951 B CN108881951 B CN 108881951B
Authority
CN
China
Prior art keywords
frame
slice
image
slices
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711462803.9A
Other languages
English (en)
Other versions
CN108881951A (zh
Inventor
朴丙照
权草绿
金想敏
桑摩雷·马尼
沈珉奎
全圣民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108881951A publication Critical patent/CN108881951A/zh
Application granted granted Critical
Publication of CN108881951B publication Critical patent/CN108881951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种执行基于条带的压缩的图像处理装置和图像处理方法。所述图像处理方法包括：将第一压缩方法应用于包括第一条带至第N条带的第一帧图像的一些条带来产生I条带，其中，N是2或大于2的整数；将第二压缩方法应用于第一帧图像的未被应用第一压缩方法的其他条带来产生多个P条带；并且发送L个包，所述L个包包括针对第一帧图像的产生的I条带和产生的P条带，其中，L是小于N的整数。

Description

执行基于条带的压缩的图像处理装置和图像处理方法
本申请要求于2017年5月10日向韩国知识产权局(KIPO)提交的第10-2017-0058096号韩国专利申请的优先权权益，该韩国专利申请的公开通过引用整体合并于此。
技术领域
各种发明构思涉及一种图像处理装置、系统、方法和/或非暂时计算机可读介质。更具体地，各种示例实施例涉及一种执行基于条带的压缩的图像处理装置、执行基于条带的压缩的图像处理系统、用于执行基于条带的压缩的图像处理方法以及存储用于图像处理方法的计算机可读指令的非暂时性计算机可读介质。
背景技术
通常，成像处理装置对图像进行编码以发送和接收编码图像，从而提高图像发送效率。可以使用各种编解码技术来应用图像压缩，并且可将参照其他区域(例如，先前图像和/或视频帧等)中的图像来压缩图像的帧间预测以及在不参照其他区域中的图像的情况下压缩图像的帧内预测用作图像压缩方法的示例。例如，基于帧单元，通过帧内预测被压缩的帧被称为I帧，通过帧间预测被压缩的帧被称为P帧或B帧。
编码图像通过具有受限带宽的网络被发送到接收器。如上所述，基于压缩方法将帧分类为I帧、P帧和B帧，并且由于需要在不参照先前帧的情况下对I帧进行解压缩，所以与P帧和B帧相比，I帧具有相对较大的大小(或相对大的容量)。然而，在通过具有受限带宽的网络发送具有相对较大容量的I帧的情况下，网络使用量增加，并且传输错误的概率提高。
发明内容
与发明构思相关的各种示例实施例提供了一种图像处理装置、图像处理系统、图像处理方法和/或非暂时性计算机可读介质，其平衡网络的使用量并降低解码错误的概率。
根据本发明构思的一方面，提供了一种图像处理方法，所述方法包括：使用至少一个处理器通过将第一压缩方法应用于包括第一条带至第N条带的第一帧图像中的至少一个条带来产生至少一个I条带，其中，N是2或大于2的整数；使用所述至少一个处理器通过将第二压缩方法应用于第一帧图像的其他条带来产生多个P条带；并且使用所述至少一个处理器向图像接收装置发送L个包，所述L个包包括针对第一帧图像的产生的所述至少一个I条带和产生的P条带，其中，L是小于N的整数。
根据本发明构思的一方面，提供了一种图像处理方法，其中，一个帧图像包括N个条带，其中，N是2或大于2的整数，并且其中，与所述N个条带相关联的I条带在一个周期期间被发送，所述方法包括：使用至少一个处理器在包括在所述周期中的多个帧区间(section)中选择N个帧区间；使用所述至少一个处理器产生与所述N个条带相关联的I条带；使用所述至少一个处理器在选择的N个帧区间中分配产生的I条带；并且使用所述至少一个处理器在选择的N个帧区间中的每一个帧区间中产生包括产生的I条带之一的第一包和包括多个P条带的第二包。
根据本发明构思的另一方面，提供一种图像处理装置，所述图像处理装置包括：存储器，存储有计算机可读指令；至少一个处理器，被配置为执行所述计算机可读指令以进行以下操作：接收第一帧图像，从包括在第一帧图像中的多个条带基于第一压缩方法来产生I条带并且基于第二压缩方法产生多个P条带；在多个包中分配I条带和P条带；基于分配的I条带和分配的P条带来产生所述多个包，其中，所述多个包的数量少于所述条带的数量。
附图说明
发明构思的前述和其它特征将从如附图中示出的发明构思的非限制示例性实施例的更具体的描述中变得显而易见，其中，在附图中，相同的附图标号在全部不同视图中表示相同的部件。附图不一定按比例绘制，而是将重点放在说明发明构思的原理上。在附图中：
图1是示出根据至少一个示例实施例的包括图像处理装置的图像处理系统的框图；
图2是示出根据至少一个示例实施例的图1的图像发送装置的框图；
图3是示出根据至少一个示例实施例的图1的图像接收装置的框图；
图4A和图4B是分别示出根据一些示例实施例的一个帧图像被划分成多个条带的示例和发送帧的示例的示图；
图5是示出传统的图像发送方法的示图；
图6A和图6B是分别示出根据至少一个示例实施例的图像发送方法的示图；
图7A、图7B和图8是示出根据一些示例实施例的各种图像发送方法的示图；
图9和图10是示出根据一些示例实施例的图像处理方法的流程图；
图11和图12是分别示出根据至少一个示例实施例的分别包括已压缩的条带的包的示例的示图；
图13是示出根据一些实施例的以软件实现图像处理方法的示例的框图；
图14是示出根据至少一个示例实施例的设置图像处理模式的图像处理装置的实现示例的框图；
图15和图16是分别示出根据至少一个示例实施例的图像处理装置中的错误恢复操作的示例的示图；
图17和图18是分别示出根据一些示例实施例的选择将被包括在一个包中的条带的示例的示图；
图19A、图19B、图20A和图20B是分别示出根据一些示例实施例的选择将被包括在一个包中的条带的其他示例的示图；
图21是示出根据一些示例实施例的包括图像处理装置的计算系统的框图。
具体实施方式
现在将详细参照各种示例实施例，其示例在附图中被示出，其中，相同的附图标号始终表示相同的元件。在这方面，本示例实施例可以具有不同的形式，并且不应被解释为限于本文所阐述的描述。因此，下面仅通过参照附图描述示例实施例来解释各方面。
图1是示出根据至少一个示例实施例的包括图像处理装置的图像处理系统的框图。在图1中示出的图像处理系统10可以包括作为根据至少一个示例实施例的图像处理装置的图像发送装置100和图像接收装置200。作为另一示例，根据至少一个示例实施例的图像处理装置可以包括发送和接收图像的功能，因此图像处理装置可以与图像处理系统10相应。
图像处理系统10可以与各种系统相应。作为示例，图像发送装置100和图像接收装置200可以经由无线和/或有线网络彼此发送和接收包括图像的信息。在图像处理系统10是无线通信系统的情况下，图像发送装置100和图像接收装置200中的每一个装置可以是诸如智能电话、平板电脑、手持相机、物联网(IoT)装置等的终端，其中，所述终端对图像进行编码并将编码后的图像发送到基站，或对从基站提供(例如，从基站接收)的图像进行解码。作为另一示例，图像处理系统10可以是各种类型的网络系统，例如，互联网广播系统、IPTV系统、互联网、卫星网络、蜂窝网络、无线电网络等。
根据至少一个示例实施例，图像发送装置100可以针对图像执行包括压缩操作的编码操作。作为示例，图像发送装置100可以基于诸如MPEG、H.264/AVC、VP8、HEVC等各种图像格式(例如，图像压缩格式、图像文件格式等)来执行编码操作。作为编码操作的示例，可以对图像(例如，帧图像)的期望(和/或预定)单元执行图像压缩操作，并且可以基于帧间预测和/或帧内预测技术来压缩帧图像。在帧图像基于帧内预测被压缩的情况下，可以在不参照先前帧图像的情况下来压缩当前帧图像，在基于帧间预测来压缩帧图像的情况下，可以参照一个或更多个先前帧图像来压缩当前帧图像。
如上所述，可以使用各种方法来压缩帧图像，并且可以通过基于帧内预测执行的压缩来产生I帧，其中，I帧可以与被用于对另一帧进行解码的参考帧相应。可以基于用于对图像进行压缩的压缩方法来执行对已压缩的图像进行解压缩的操作。作为示例，图像接收装置200可以在不参照另一帧的情况下对I帧进行解码，但是可以参照另一I帧和/或P帧对通过帧间预测被压缩的已压缩的帧图像(例如，P帧)进行解码。图像发送装置100可以以例如视频流的形式将编码图像发送到图像接收装置200，但是示例实施例不限于此。在当与已被发送的P帧相比时I帧具有相对大的大小的情况下，由于发送图像(和/或视频)所需的带宽增加，例如视频流的图像质量可能恶化和/或图像(和/或视频)的发送可能失败。
根据至少一个示例实施例，图像发送装置100可以包括图像产生器110、编码器120和打包器130，但不限于此。另外，图像接收装置200可以包括解包器210、解码器220和渲染器230等。图像产生器110可以包括用于产生原始数据(例如，原始图像数据)的装置，例如相机。然而，根据至少一个其他示例实施例，图像发送装置100可以从外部(例如，外部源，诸如单独的计算机等)接收图像，并将图像发送到编码器120。
编码器120可以基于各种图像标准来执行编码操作。如上所述，编码器120可以基于帧间预测和/或帧内预测来压缩帧图像。此外，编码器120可以将一个帧图像划分为多个区域(例如，条带)，以条带为单元对帧图像执行压缩，并将压缩的条带提供给打包器130。打包器130可以对压缩的条带执行根据各种示例实施例的各种打包操作，并且通过网络将至少一个包发送到图像接收装置200。
同时，图像接收装置200可以通过以相反的顺序执行在图像发送装置100中执行的处理操作来处理图像。例如，解包器210可以从通过网络接收到的包中提取实际信息部分(例如，有效载荷)，并将提取的信息提供给解码器220。解码器220可以通过使用提供的信息执行与用于对条带进行压缩的编码和压缩方法相关联的解码操作来解压缩条带以对帧图像进行解压缩，并将已解压缩的帧图像提供给渲染器230。渲染器230可以使用从解码器220提供的已解压缩的帧图像在屏幕上显示图像。
当对条带单元执行压缩时，在不参照另一帧图像的条带的情况下被压缩的条带可以被称为I条带，并且在参照另一帧图像的条带的情况下被压缩的条带可以被称为P条带或B条带。P条带可以是参照一个或更多个先前帧的条带而被压缩的条带，B条带可以是参照一个或更多个先前帧和前向(例如，将来)帧的条带而被压缩的条带。在下文中，为了简洁起见，将仅描述发送I条带和P条带的示例实施例，但是图像发送装置100可以根据各种示例实施例来发送I条带、P条带和B条带。
图4A和图4B是分别示出根据一些示例实施例的一个帧图像被划分成条带的示例和发送帧的示例的示图。
参照图4A，在诸如以太网环境等的网络中的最大发送单元(MTU)可以被限制为期望的和/或预定的大小(例如，大约1500字节)，并且在除了基于使用的传输协议发送包所需要的与TCP/IP相关的和/或与RTP相关的报头之外的有效载荷可以具有在从大约1200字节到大约1440字节的范围内的大小。可在考虑到网络状态和压缩图像的大小时将一个帧图像划分成条带。作为示例，图4A示出了一个帧图像被划分为第一条带Slice 1(条带1)、第二条带Slice 2(条带2)、第三条带Slice 3(条带3)和第四条带Slice 4(条带4)的示例，但是示例实施例不限于此。
可以以条带为单位对帧图像执行压缩操作，并且可以基于应用于帧图像的压缩方法将第一条带Slice 1至第四条带Slice 4中的每一个条带分类为I条带或P条带。例如，I条带对应于在不参照另一帧图像的条带的情况下被压缩的条带，P条带对应于参考另一帧图像的条带而被压缩的条带。作为示例，可以参照位于先前帧中的相同位置处的条带(I条带和/或P条带)来压缩帧图像的特定条带。例如，在第二条带Slice 2被压缩为P条带的情况下，可以使用一个或更多个先前帧的第二条带对第二条带Slice 2进行压缩或解压缩。
同时，图4B示出了在10FPS(每秒10帧)环境中发送多个帧的示例，但是示例实施例不限于此，并且可以使用不同的FPS设置。I帧可以以期望的和/或预定的间隔被周期性地发送。在图4B中，在一秒内发送的十个帧中的第一帧和第六帧对应于I帧(例如，第一帧和第六帧可以被压缩为I帧)，但是示例实施例不限于此。作为示例，I帧可以在一秒内被发送三次或更多次，或者I帧可以在一秒内仅被发送一次，等等。
同时，可以定义发送I帧的周期(例如，I帧周期)。在图4B中，由于I帧在一秒内被发送两次，所以I帧周期可以大约为0.5秒，然而示例实施例不限于此。如上所述，在一个帧图像包括第一条带Slice 1至第四条带Slice4的情况下，第一条带Slice 1至第四条带Slice4分别被压缩为I条带，并且可被期望和/或需要在I帧周期中至少被发送一次。
参照图1，为了在发送具有相对较大大小的I帧时降低网络的带宽使用量增加和由所述带宽使用量增加所引起的和/或与带宽使用量增加相关联的I帧的发送失败的概率，图像发送装置100可以基于一个帧图像来产生包括I条带的包Packet(I)和包括P条带的包Packet(P)，并将产生的包Packet(I)和Packet(P)发送到图像接收装置200。作为示例，当发送一个帧所用的区间(section)被定义为图4B中的帧区间时，可以在一个帧区间中一起产生包括I条带的包Packet(I)和包括P条带的Packet(P)。例如，在图4A中，第一条带Slice 1可以被压缩为I条带，并且第二条带Slice 2至第四条带Slice4中的每一个条带可以被压缩为P条带。此外，根据至少一个示例实施例，图像发送装置100可以产生包括I条带(例如，Slice 1)和P条带(例如，Slice 2至Slice 4)的包Packet(I&P)。
此外，根据一些示例实施例，第一条带Slice 1至第四条带Slice 4可以分别对应于I条带(例如，被压缩为I条带)，并且可以在一个I帧周期内被发送一次。根据至少一个示例实施例，可以在关于第一条带Slice 1至第四条带Slice 4的一个I帧周期Period内，在彼此不同的帧区间中产生I条带。换言之，第一条带Slice 1可以在第一帧区间中被压缩为I条带，第二条带Slice 2可以在第二帧区间中被压缩为I条带，并且第三条带Slice 3和第四条带Slice 4中的每一个条带可以在从剩余帧区间中选择的几个帧区间中被压缩为I条带。
根据至少一个示例实施例，打包器130可以以各种方式对产生的I条带和产生的P条带进行打包。打包器130可以产生包括一个条带的包或者产生包括两个或更多个条带的包。作为示例，打包器130可以产生包括关于一个帧图像的一个I条带的包Packet(I)，并且产生包括关于该帧图像的剩余条带所产生的多个P条带的包Packet(P)。
根据上述示例实施例，可以改善带宽在特定帧区间中快速增加的现象，并且可以减少图像传输中的错误(例如，传输失败、包丢失、正被发送的包的数据损坏等)。此外，可以控制相对于一个帧图像产生的包的数量。例如，可以减少和/或最小化包的数量，因此可以减少通过网络发送的总信息(例如，数据—包括与所需的包报头相关联的数据)的量(例如，大小)。
图2是示出根据至少一个示例实施例的图1的图像发送装置100的示例的框图。
参照图1和图2，图像发送装置100可以包括条带模块121、压缩模块122和打包器130，但不限于此。根据至少一个示例实施例，条带模块121和压缩模块122可以被包括在图1示出的编码器120中。条带模块121、压缩模块122和打包器130中的每一个可以以硬件被实现。作为另一示例，条带模块121、压缩模块122和打包器130中的每一个可以由硬件和软件的组合(例如，执行计算机可读指令的处理装置)来实现。在图2示出的元件以软件被实现的情况下，存储器(例如，工作存储器)存储使至少一个处理器执行模块的功能的程序，并且打包器130可以被设置在图像发送装置100中，并且处理器(未示出)可以执行存储在存储器中的程序来执行图2示出的元件的功能。
条带模块121接收帧图像Frame，并将帧图像Frame划分成条带Slice。压缩模块122接收条带Slice并以条带为单位来压缩帧图像Frame。压缩模块122可以根据期望的压缩方法向打包器130提供I条带S_I和/或P条带S_P。
打包器130可以产生包括I条带S_I和/或P条带S_P的包Packet。此外，打包器130可以控制包含在每个包Packet中的条带的类型和数量。图2示出的压缩操作和打包操作的功能可以在图像发送装置100中以硬件或硬件和软件的组合来实现。
图3是示出根据至少一个示例实施例的图1的图像接收装置200的示例的框图。
参照图3，图像接收装置200可以包括解包器210、解压缩模块221和帧组合模块222，但不限于此。解压缩模块221和帧组合模块222可以被设置在图1的解码器220中。解包器210可以从包含在包Packet中的有效载荷区域中提取I条带S_I和/或P条带S_P，并将提取的I条带S_I和/或提取的P条带S_P提供给解压缩模块221。解压缩模块221可以通过解压缩操作对条带Slice进行解压缩，并将根据解压缩操作解压缩的条带Slice提供给帧组合模块222。帧组合模块222可以将条带Slice彼此组合以产生原始帧图像帧。
在下文中，将描述根据至少一个示例实施例的图像发送方法。
图5是示出传统的图像发送方法的示图。在图5示出的示图中，横轴是时间轴(或帧轴)，纵轴是用于表示在每一个帧区间中发送的条带的轴。另外，在图5中，基于10FPS来发送图像，每秒发送一个I帧。
参照图5，帧图像可以被划分为多个条带(例如，四个条带)，并且可以通过以条带为单位对帧图像执行压缩操作来产生I条带和P条带。在I帧被发送的帧区间中，从一个帧图像产生四个I条带，并且发送该四个I条带。如图5所示，每个I条带可以具有比P条带的大小大的大小。同时，在P帧被发送的帧区间中，从一个帧图像产生四个P条带，并发送该四个P条带。
在图5所示的传统图像发送方法中，在I帧被发送的帧区间期间，每一个I条带在被包括在单独的包中时被发送，并且带宽使用量迅速增加以便支持四个I条带的发送，即，发送与四个I条带相关联的包含更大数量的数据的四个包。在包括I条带的四个包中，由于带宽使用量的快速增加，所以一个或更多个包不能被发送，并且在这种情况下，关于参考I帧被解压缩的后续P帧的解压缩性能会恶化。
在下文中，将描述根据一些示例实施例的图像处理操作。为了便于说明，术语“条带”可以被用作指示压缩处理之前的条带或压缩处理之后的条带的术语。此外，可以将基于第一方法(例如，帧内预测)压缩的第一条带称为“第一I条带”。此外，可以将基于第二方法(例如，帧间预测)压缩的第二条带称为“第二P条带”。
图6A和图6B是示出根据至少一个示例实施例的图像发送方法的示图。在图6A和6B中，假设I帧周期Period与十个帧相应，并且每个帧被划分为四个条带，但是示例实施例不限于此，可以以各种方式发送图像，而不限于此，并且帧可以被划分为两个或更多个条带。
参照图6A，可以在一个I帧周期中一次产生第一I条带I_Slice 1、第二I条带I_Slice 2、第三I条带I_Slice 3和第四I条带I_Slice 4中的每一个。此外，可以在一个I帧周期Period的不同帧区间中分布并产生第一I条带I_Slice 1至第四I条带I_Slice 4。作为示例，在第一帧区间中产生第一I条带I_Slice 1，在第四帧区间中产生第二I条带I_Slice 2，在第三帧区间中产生第三I条带I_Slice 3，并且在第六帧区间中产生第四I条带I_Slice4。
也就是说，根据上述示例实施例中的至少一个，由于用于表示一个画面的I条带I_Slice 1至I_Slice 4在不同时间(和/或不同的帧区间)被分布并产生，而不是同时被产生，所以在整个帧区间的带宽使用量可以变得均匀，从而可以提高网络占用特性。
同时，如上所述产生的I条带和P条带可以以各种方式被发送。图6B示出了以下示例：当用于表示一个画面的I条带I_Slice 1至I_Slice 4在几个帧区间中被产生并分布时，在第一帧区间、第四帧区间、第六帧区间和第九帧区间中的每一个帧区间中产生一个I条带。另外，为了进一步描述根据至少一个示例实施例产生的包，图6B的示图的纵轴指示被发送的包的数量。
第一I条带I_Slice 1至第四I条带I_Slice 4可以在几个帧区间中被分布并产生，并且可以基于所述分布和所述产生在每个帧区间中以不同的方式执行打包操作。作为示例，在每个帧区间中发送的包的数量可以小于包括在帧图像中的条带的数量。此外，在I条带被发送的帧区间中产生的包的数量可以大于在P条带被发送的帧区间中产生的包的数量。例如，在I条带被发送的第一帧区间中，可以发送包括第一I条带I_Slice 1的包和包括剩余的三个P条带P_Slice的包。此外，在I条带未被发送的帧区间(例如，第二帧区间)中，可以从帧图像产生四个P条带P_Slice，并且可以发送包括四个P条带P_Slice的一个包(例如，单个包)。
然后，在另一I帧周期(例如，第二周期Period 2)期间，可以以与第一周期Period1相同的方式来发送包。根据至少一个示例实施例，在一个I帧周期内I条带被产生的帧区间的位置可以被预先确定并且可以不被改变，或者I条带被产生的帧区间的位置可以随着一个或更多个I帧周期或每个I帧周期来改变。此外，根据至少一个示例实施例，四个P条带P_Slice被包括在I条带未被发送的帧区间中的一个包中，但是四个P条带P_Slice可以在被划分之后被包括在两个或更多个包中。也就是说，可以在P条带P_Slice被发送的帧区间中发送两个或更多个包。
在上述示例实施例中，在一个帧中产生一个I条带，但是示例实施例不限于此。例如，可以考虑和/或基于网络的带宽来产生两个或更多个I条带。在一个帧被划分为N个条带的情况下，可以在一个帧区间中产生小于N个I条带。在一个帧被划分为许多条带(其中，每个条带具有小的尺寸)的情况下，当I条带被分布到帧区间时，可以在一个帧区间中产生两个或更多个I条带。
在这种情况下，如在上述示例实施例中的至少一个中，可以对在一个帧图像中产生的I条带和P条带执行各种打包操作。作为示例，I条带可以被包括在一个帧图像中的一个包中，或者I条带可以分别被包括在一个帧图像中的各自包中。此外，产生的P条带可以被包括在一个或更多个包中。
图7A、图7B和图8是示出根据一些示例实施例的各种图像发送方法的示图。在下面的示例实施例中，假设I帧周期Period与十个帧相应，每个帧被划分为四个条带，并且P条带(例如，形成一个帧的四个P条带)被包括在一个包中，但是如上所述，示例实施例不限于此，并且可以应用各种其他发送方法和/或压缩方法。
当视频流开始时，首先需要发送至少一个参考帧，因此被期望和/或需要表示一个画面(例如，参考帧)的I条带需要尽可能早地被发送。参照图7A，可以在初始I帧周期Period1的一个或更多个初始帧区间中发送用于表示一个画面的第一I条带I1、第二I条带I2、第三I条带I3和第四I条带I4。例如，可以在第一帧区间中发送第一I条带I1和第二I条带I2，并且可以在第二帧区间中发送第三I条带I3和第四I条带I4，但是示例实施例不限于此。
根据至少一个示例实施例，只有第一I条带I1和第二I条带I2可以从帧图像中选择性地被产生并在第一帧区间中被发送。然后，可以在第二帧区间中产生和发送第三I条带I3和第四I条带I4。作为示例，在第二帧区间中，可以参照在第一帧区间中发送的I条带来产生第一P条带和第二P条带P，并与第三I条带I3和第四I条带I4一起被发送。
作为可变示例实施例，可以从第一帧区间中的帧图像产生所有第一I条带I1至第四I条带至I4，并发送全部第一I条带I1至第四I条带至I4。根据图7A示出的示例实施例，首先通过考虑网络的带宽来发送第一I条带I1和第二I条带I2，并且首先被发送的第一I条带I1和第二I条带I2被成功发送到接收装置，而稍后被发送第三I条带I3和第四I条带I4可能无法被成功发送到接收装置。类似地，第三I条带I3和第四I条带I4可以在第二帧区间中在第一I条带I1和第二I条带I2之前被发送。
然后，可以从初始I帧周期Period 1的剩余帧区间中的帧图像分别产生P条带P，并且可以在下一个I帧周期Period 2开始时发送I条带I1至I4。例如，如上述示例实施例，用于表示一个画面的第一I条带I1至第四I条带I4可以在彼此不同的帧区间中被分布和产生。在图7A中，第一I条带I1至第四I条带I4在帧区间中被非连续地分布和产生。例如，第一I条带I1至第四I条带I4可以在第一帧区间、第四帧区间、第六帧区间和第九帧区间中被产生和分布。
同时，图7B示出了可变示例实施例，并且可以在初始I帧周期Period 1的第一帧区间中发送用于表示一个画面的所有第一I条带I1至第四I条带I4，使得当视频流开始时至少一个参考帧以期望的和/或优先的方式被发送。在一个帧区间中发送全部第一I条带I1至第四I条带I4时，可以通过考虑网络的带宽将第一I条带I1至第四I条带I4的压缩率设置为较大的值。在这种情况下，由于第一I条带I1至第四I条带I4中的每一个条带可以在不参考另一个条带的情况下基于通过考虑带宽而设置的压缩比率被压缩，因此可以减少发送失败的概率。
然后，可以分别从初始I帧周期Period 1的剩余帧区间中的帧图像产生P条带P，并且如在前面的示例实施例中的至少一个中所描述的，当下一个I帧周期Period 2开始时，第一I条带I1至第四I条带I4可以在被发送时被分布到帧区间。
同时，参照图8，当第一I条带I1至第四I条带I4在帧区间中被分布和产生时，第一I条带I1至第四I条带I4可以在被发送时被分布到连续的帧区间。在参照图7A和图7B描述的示例实施例中，第一I条带I1至第四I条带I4可以在被发送时根据期望和/或预定的间隔在全部帧区间中被非连续地分布，并且带宽的增加在整个I帧周期可以是均匀的。
此外，根据图8所示的至少一个示例实施例，第一I条带I1至第四I条带I4在被发送时被分布到下一个I帧周期Period 2的四个初始帧区间。在这种情况下，可以尽可能快地发送用于在每个I帧周期中的表示一个画面的第一I条带I1至第四I条带I4。在图8的上述示例实施例中，在连续帧区间中发送全部第一I条带I1至第四I条带I4，然而，可以将第一I条带I1至第四I条带I4的发送定时设置为仅允许第一I条带I1至第四I条带I4中的一部分在连续帧区间中发送。
图9和图10是示出根据一些示例实施例的图像处理方法的流程图。
参照图9，一个帧图像可以被划分为第一条带到第N条带，并且第一I条带至第N I条带被期望和/或需要发送到图像接收装置以在一个I帧周期期间表示一个画面。
在至少一个I帧周期中对帧图像执行压缩操作。作为示例，每个帧图像包括第一条带至第N条带，并且以条带为单位对每个帧图像执行压缩操作。首先，在I帧周期的第一帧区间中针对第一帧图像的条带中的一部分条带通过第一压缩方法产生I条带。详细地，可以针对第一条带来产生I条带(S11)。此外，第一帧图像的第二条带至第N条带可以被压缩为P条带，因此可以针对第二条带至第N条带来产生P条带(S12)。当如上所述产生了I条带和P条带时，通过打包处理来产生包括I条带和P条带的包。作为示例，可以产生包括第一I条带的第一包和包括第二P条带至第N P条带的第二包(S13)。
同时，针对第二条带到第N条带的I条带作为其它条带被分布到其它帧区间并在其它帧区间中被发送以表示一个画面(例如，参考帧)。例如，可以针对第二帧图像的第二条带来产生I条带(S14)，并且可以针对第二帧图像的作为其它条带的第一条带和第三条带至第N条带来产生P条带(S15)。当如上所述针对第二帧图像产生了I条带和P条带时，可以产生包括第二I条带的第一包和包括第一P条带和第三P条带至第N P条带的第二包(S16)。
上述处理还可以在一个I帧周期的另一帧区间中被执行。例如，针对第三条带到第N条带的I条带可以在被发送时被分布到另一帧区间。
参照图10，当视频流开始时，初始I帧周期的初始k个帧区间可被选择为期望地(和/或优先地)发送至少一个参考帧(S21)。由于一个帧图像包括N个条带，所以k个帧区间的数量小于N个条带的数量。为了尽可能快地发送参考帧，可以选择初始I帧周期的一个或两个初始帧区间。
在选择的k个帧区间中，可以从k个帧图像产生N个I条带以表示一个画面(S22)。作为示例，在选择一个帧区间的情况下，可以从第一帧图像产生N个I条带。作为另一示例，在选择两个帧区间的情况下，可以在第一帧图像中产生N/2个I条带，并且可以在第二帧图像中产生剩余的N/2个I条带。根据至少一个示例实施例，在从一个帧图像产生所有N个I条带的情况下，应用于帧图像的压缩比率可以被设置为具有较大的值。
可以对如上所述产生的I条带执行打包操作，并且可以在k个帧区间期间发送N个I条带(S23)。然后，可以从初始I帧周期的剩余帧图像产生P条带，并将P条带发送到图像接收装置(例如，请求和/或接收视频流的装置)。
然后，如上所述，用于表示一个画面的N个I条带可以在下一个I帧周期中在被发送时被分布到帧区间。根据至少一个示例性实施例，当一个I帧周期包括M个帧区间时，可以从下一个I帧周期的M个帧区间选择I条带被发送的N个帧区间(S24)。在这种情况下，“M”可以具有比“N”的值大的值。
在选择的N个帧区间中，可以根据条带单位对每个帧图像执行压缩操作，并且可以通过压缩操作一起产生I条带和P条带(S25)。作为示例，在N个条带中，可以将一个条带压缩为I条带，并且剩余的N-1个条带可以被压缩为P条带。此外，当对选择的N个帧图像执行压缩操作时，可以将在N个帧图像中位于不同位置的条带压缩为I条带。
根据上述示例性实施例，选择的N个帧区间可以与连续的帧区间相应。作为另一示例，选择的N个帧区间可以与非连续的帧区间相应。
同时，可以在下一个I帧周期的剩余帧区间(例如，M-N个帧区间)中产生P条带(S26)。例如，可以从M-N个帧图像中的每一个帧图像产生P条带。
图11和图12是分别示出根据一些示例实施例的分别包括已压缩的条带的包的示例的示图。图11和图12示出了用于发送从一个帧图像产生的I条带和P条带的包。
可以通过考虑MTU的大小来执行打包操作。作为示例，当假设MTU的大小被限制为(例如，被设置为)大约1500字节时，可以通过考虑I条带、P条带和报头来确定被包括在包中的条带的类型和数量。根据上述示例实施例中的至少一个的打包器可以通过将从一个帧图像产生的I条带和P条带分配给比包括在一个帧图像中的条带的数量小的数量个包来执行打包操作。
参照图11，一个帧图像可以被划分为第一条带至第四条带，第一条带至第四条带中的一个条带(例如，第一条带)可以被压缩为I条带I1，并且其他条带(例如，第二条带至第四条带)可以被压缩为P条带P2、P3和P4。此外，I条带I1和P条带P2、P3和P4可以在一个帧区间中一起被发送。
在对I条带I1和P条带P2、P3和P4执行的打包操作中，P条带P2、P3和P4在被发送时可以被包括在一个包中，I条带I1可以在被发送时被包括在另一个包中。可以通过考虑MTU的大小使得报头的大小和条带的大小不超过MTU的大小来执行上述打包操作。
同时，参照图12，I条带和P条带可以一起被包括在一个包中。在根据至少一个示例实施例的第一条带被压缩为I条带I1并且第二条带至第四条带被压缩为P条带P2、P3和P4的情况下，可将根据P条带P2、P3和P4以及I条带I1中的每一个的大小按照不同的方式被压缩的条带包括在一个包中。
例如，在P条带P2、P3和P4中的至少一个P条带的大小、I条带I1的大小和与P条带和I条带相应的报头的大小的总和不超过MTU的大小的情况下，I条带I1和所述至少一个P条带可以被包括在一个包中。换言之，包中所包括的I条带和P条带的数量基于I条带、P条带、包报头的大小和包的最大大小。在图12中，当通过压缩第二条带而获得的P条带P2与其他P条带相比具有相对小的大小，并且I条带I1的大小、P条带P2的大小和与P条带和I条带相应的报头的大小的总和不超过MTU的大小时，可以执行打包操作，使得I条带I1和P条带P2被包括在一个包中。
根据上述打包操作，在图6B至图8示出的各种示例实施例中的示图的一个帧区间(I条带被发送的区间)的包可以被表示为如图12所示。也就是说，可以在包括I条带的包中包括至少一个P条带，并且如稍后描述的，可以在每个帧区间中改变包括在包括I条带的包中的P条带的数量和位置。
图13是示出根据至少一个示例实施例的以软件实现图像处理方法的示例的框图。
参照图13，图像处理装置300可以包括至少一个处理器310和工作存储器320。处理器310可以执行存储在工作存储器320中的程序。工作存储器320可以存储用于根据上述示例实施例中的至少一个的条带化操作、压缩操作以及打包操作等的程序，并且程序可以根据其功能包括条带控制模块321、压缩模块322和包控制模块323等。
作为示例，处理器310可以根据至少一个示例实施例来控制整体图像处理操作。例如，处理器310可以运行条带控制模块321以将帧图像划分成多个条带。此外，处理器310可以运行压缩模块322以对被分割成多个条带的帧图像执行根据上述示例实施例中的至少一个的压缩操作。例如，在与一个帧图像相关联的条带中，可以针对帧图像的一些条带产生I条带，并且可以针对帧图像的其他条带产生P条带。此外，可以将用于表示一个画面的条带分别压缩为不同帧区间中的I条带，并且可以通过执行压缩模块322来选择I条带被产生的帧图像。
此外，处理器310可以执行包控制模块323来控制包产生操作。例如，如上所述，I条带或P条带可以被包括在包中，或者包可以被配置为允许将I条带和P条带一起包括在一个包中，但是示例实施例不限于此。
在图13示出的至少一个示例实施例中，上述示例实施例的功能以与硬件结合的软件来实现，但它们不限于此。例如，图13示出的模块的一个或更多个功能可以以硬件来实现。
图14是示出根据至少一个示例实施例的设置图像处理模式的图像处理装置的实现示例的框图。
参照图14，图像处理装置400可以包括模式设置电路421、编码器422和打包器423等。图像处理装置400可以被设置在图像处理系统20中，并且由图像处理系统20中的至少一个处理器21来控制。例如，模式设置电路421可以响应于处理器21的控制来存储与图像处理相关联的各种设置值，并且可以基于从模式设置电路421提供的设置值来控制编码器422和打包器423中的每一个的操作模式，但是示例实施例不限于此。
根据至少一个示例实施例，编码器422可以基于模式设置电路421的控制来执行包括根据上述示例实施例中的至少一个的压缩操作的编码操作。例如，与一个画面相应的I条带可以被产生为被分布在不同的帧区间中，并且可以基于模式设置电路421的控制来选择I条带被产生的帧区间。此外，可以针对每个帧图像选择I条带被产生的条带位置。
例如，打包器423可以基于模式设置电路421的控制来执行根据上述示例实施例中的至少一个的包产生操作。例如，可以基于模式设置电路421的控制来产生选择性地仅包括I条带或P条带的包或者包括I条带和P条带两者的包，但是示例实施例不限于此。
图14的图像处理系统20可以与各种种类的装置相应。例如，图像处理系统20可以是诸如终端装置、计算装置、智能装置、可穿戴装置、物联网(IoT)装置等的用户装置。作为另一示例，图像处理系统20可以与处理器21和图像处理装置400在芯片中被实现作为编解码器(CODEC)的应用处理器相应。
图15和图16是示出根据至少一个示例实施例的图像处理装置中的错误恢复操作的示例的示图。
当图像接收装置不能接收包或在对接收到的包进行解码时发生解码错误时，图像接收装置可以将信号(例如，错误信号)发送到图像发送装置以进行错误恢复，该信号指示解码错误(诸如在解码处理期间发生的错误和/或在包括将被解码的数据的包的发送/接收期间发生的错误等)已发生在位于特定位置的条带中或与位于特定位置的条带相关。特别地，当由于I帧(或I条带)的正常接收失败而发生解码错误时，在对I帧之后接收的帧(或条带)执行的解码操作中出现错误的概率增加。然而，在上述传统的图像发送的情况下，由于I帧的所有条带被压缩为I条带，所以网络的带宽增加，因此即使I帧被再次发送给图像接收装置，解码错误发生的概率仍然很高。
根据至少一个示例实施例，图像发送装置可以从图像接收装置接收指示在特定条带中发生了解码错误的信号NACK，响应于信号NACK针对所述特定条带产生I条带(例如，重新产生和/或选择先前产生的I条带)，并且将针对所述特定条带的I条带发送(例如，重新发送)到图像接收装置。也就是说，图像发送装置可以响应于信号NACK，将位于帧图像的特定位置处的条带选择性地压缩为I条带。参照图15，假设用于表示一个画面的第一I条带至第四I条带I1至I4在被发送时被分布到帧区间，并且解码错误发生于在第一I帧周期Period 1的一个帧区间Fk中发送的第三I条带I3中，但是示例实施例不限于此。
当被设置在图像接收装置中的解码器510确定在第三I条带I3中发生了解码错误时，解码器510将表示解码错误发生的信号NACK发送到图像发送装置。作为示例，图像发送装置在第二I帧周期Period 2的一个帧区间Fr接收到信号NACK，并且图像发送装置可以在帧区间Fr之后的一个帧区间中将第三条带压缩为I条带I3。
作为示例，可以在第二I帧周期Period 2期间将第一I条带I1至第四I条带I4(例如，多个I条带)分布到帧区间并在帧区间中发送，并且图像发送装置可以在信号NACK被接收的帧区间Fr的下一个帧区间F(r+1)中产生并发送第三I条带I3。根据至少一个示例实施例，在第二I帧周期Period2期间，在信号NACK中标识的I条带(例如，第三I条带I3)可以被另外地产生(例如，被重新产生和/或可以从诸如高速缓存的存储器中选择先前已产生的I条带)并且响应于信号NACK与第一I条带I1至第四I条带I 4被发送的帧区间分开地被发送。也就是说，帧区间F(r+1)与P条带被发送的区间相应，但是图像发送装置可以响应于信号NACK在帧区间F(r+1)中发送第三I条带I3。
尽管图15中未示出，但是在帧区间F(r+1)与一个I条带被发送的帧区间相应的情况下，图像发送装置可以另外地在帧区间F(r+1)之后的帧区间中的I条带未被发送的一个帧区间中发送第三I条带I3。或者换言之，图像发送装置可以在没有其他I条带被调度发送的帧区间中重新发送第三I条带I3。
同时，根据图16示出的至少一个示例实施例，图像发送装置可以响应于指示发生了解码错误的信号NACK来改变第一I条带I1至第四I条带I4的发送顺序。例如，如果被设置在图像接收装置中的解码器520确定在第四I条带I4中发生了解码错误，并将信号NACK发送到图像发送装置，并且图像发送装置在第二I帧周期Period 2的第一帧区间F1接收到信号NACK，则图像发送装置可以在第二I帧周期Period 2的一些帧区间中发送第一I条带I1至第四I条带I4。作为示例，图像发送装置可以在第一帧区间F1、第二帧区间F2、第四帧区间F4和第六帧区间F6中发送第一I条带I1至第四I条带I4。在未发生解码错误的情况下，可以在第二帧区间F2中发送第二I条带I2，但是图像发送装置可以响应于信号NACK将在先前示例中发生解码错误的第四I条带I4(期望地和/或优先地)发送到第二帧区间F2。此外，可以在第四帧区间F4和第六帧区间F6中发送剩余的I条带I 2和I 3。
根据图16示出的至少一个示例实施例，可以在不增加在一个I帧周期中I条带被发送的次数的情况下适当地处理解码错误。也就是说，由于在其它I条带之前发送了发生解码错误的特定I条带，所以可以保持图像接收装置的解码性能、防止恶化和/或减少解码性能的劣化。
图17和图18是示出根据至少一个示例实施例的选择将被包括在一个包中的条带的示例的示图。
参照图17，图像处理装置600可以包括条带化模块610、压缩模块620、打包器630、计算模块640和条带选择模块650等，但不限于此。与上述示例实施例中的至少一个类似，设置在图像处理装置600中的各种模块可以以硬件或者以硬件和软件的组合来实现。此外，计算模块640和条带选择模块650彼此分开设置，但是模块的功能可以在单个模块中实现。
条带化模块610接收帧图像Frame并将帧图像Frame划分成多个条带Slice。如上述示例实施例中的至少一个，压缩模块620产生I条带S_I和P条带S_P。根据至少一个示例实施例，可以在一个帧图像帧Frame中同时产生I条带S_I和P条带S_P。此外，打包器630可以产生包括一个或更多个条带的包，并且I条带S_I和/或P条带S_P可以被包括在该包中。作为另一示例，I条带S_I和P条带S_P可以一起被包括在该包中。
压缩模块620还可以产生与产生的I条带S_I的大小和产生的P条带S_P的大小相关联的信息Info_s，并将产生的信息Info_s提供给计算模块640。计算模块640可以基于信息Info_s来执行计算操作，并将计算的结果Res提供给条带选择模块650。条带选择模块650可以基于计算结果Res来选择将被包括在一个包中的条带，并基于选择的结果将控制信号Ctrl_p提供给打包器630以控制包产生操作。
在下文中，根据至少一个示例实施例，将参照图18来描述根据图17示出的组件的操作的示例。
可以通过压缩模块620对第一条带Slice 1至第四条带Slice 4执行压缩操作。作为压缩操作的结果，第一条带Slice 1至第三条带Slice 3可以被压缩为P条带，第四条带Slice 4可以被压缩为I条带，但是示例实施例不限于此。作为示例，被压缩为P条带的第一条带Slice 1至第三条带Slice3分别具有大约500字节、大约150字节和大约900字节的大小，被压缩为I条带的第四条带Slice 4具有大约1250字节的大小，但是条带大小将基于包括在各个条带中的图像数据和使用的压缩算法而变化。
可以通过计算模块640使用条带的大小来执行计算操作。作为示例，可以基于压缩的第一条带Slice 1至第四条带Slice 4的大小执行排序操作以按大小对条带进行排序，并且可以使用被压缩为具有最大大小的I条带的第四条带Slice 4和由期望和/或预定值限定的MTU的大小来执行计算。例如，可以通过从与MTU的大小相应的大约1500字节减去包的报头大小和第四条带Slice 4的大小来计算针对将被发送的包的剩余大小R。在图18中，可以将剩余大小R计算为大约190字节。
然后，通过使用剩余大小R和其他条带的大小的计算操作确定剩余大小R是否被计算为具有正(+)值。例如，可以从先前计算的大约190字节的剩余大小R中减去具有第二最大值的第三条带Slice 3的大小，并且在这种情况下，剩余大小R被计算为具有负(-)值。通过计算操作，可以选择条带(例如，第二条带Slice 2)，使得剩余大小R被计算为具有正(+)值。
在第四条带Slice 4和第二条带Slice 2被选择之后，通过计算操作确定是否存在当被添加到包时能够允许剩余大小R被计算为具有正(+)值的另一条带。在图18示出的至少一个示例实施例中，剩余的条带太大，并且允许剩余大小R被计算为具有正(+)值的另一条带不存在。
当计算结果Res被提供给条带选择模块650时，条带选择模块650确定第四条带Slice 4和第二条带Slice 2可以被包括在一个包中，并且向打包器630提供指示第四条带Slice 4和第二条带Slice 2可以被包括在一个包中的控制信号ctrl_p。此外，条带选择模块650确定第三条带Slice 3和第一条带Slice 1可以被包括在一个包中并向打包器630提供指示第三条带Slice 3和第一条带Slice 1可以被包括在一个包中的控制信号ctrl_p。打包器630可以产生包括第四条带Slice 4和第二条带Slice2的包和包括第三条带Slice 3和第一条带Slice 1的包。
参照图18示出的包产生结果，每个包可以包括一个或更多个条带和根据应用于该包的协议的各种信息。作为示例，IP报头、UDP(用户数据报协议)报头和RTP(实时协议)报头等被包括在包中，但是示例实施例不应限于此。也就是说，根据其他各种传输协议的报头信息可以被包括在包中。
图19A、图19B、图20A和图20B是示出根据一些示例实施例的选择将被包括在一个包中的条带的其他示例的示图。
参照图19A，作为压缩结果的示例，第二条带Slice 2和第四条带Slice4可以被压缩为I条带，并且第一条带Slice 1和第三条带Slice 3可以被压缩为P条带。此外，作为示例，图19A的(a)示出的第一条带Slice 1、第二条带Slice 2、第三条带Slice 3和第四条带Slice 4分别具有大约160字节、大约420字节、大约120字节和大约520字节的大小。
此外，如在上述示例实施例中的至少一个中，如图19A的(b)所示，可以对第一条带Slice 1至第四条带Slice 4执行排序操作，并且可以使用每个条带的大小以关于第一条带Slice 1至第四条带Slice 4的最大大小开始的大小顺序来执行计算。例如，可以使用MTU的大小(例如，大约1500字节)、报头大小(例如，大约60字节)以及第一条带Slice 1至第四条带Slice 4的大小来执行计算，并且可以计算剩余大小R。例如，如(b)所示，可以通过使用第四条带Slice 4执行的计算来计算剩余大小R，并且可以基于计算出的结果将第四条带Slice 4选择为将被包括在包中的条带。
此外，如(c)所示，可以使用具有第二大大小的第二条带Slice 2来执行计算，并且还可以将第二条带Slice 2选择为将被包括在包中的条带。如(d)所示，可以使用具有第三大大小的第一条带Slice 1来执行计算，并且还可以将第一条带Slice 1选择为将被包括在包中的条带。如(e)所示，可以使用具有最小大小的第三条带Slice 3来执行计算，并且由于可以通过使用第三条带Slice 3的计算结果将剩余大小R计算为具有正(+)值，所以可以进一步将第三条带Slice 3选择为将被包括在包中的条带。因此，可以基于条带的大小和包的大小将全部第一条带Slice 1至第四条带Slice 4包括在一个包中。此外，虽然排序操作和计算操作以最大条带大小到最小条带大小的顺序发生，但是示例实施例不限于此，并且可以使用任何其他顺序。
图19B示出根据至少一个示例实施例的包括第一条带Slice 1至第四条带Slice 4以及IP报头、UDP报头和RTP报头的一个包。
同时，参照图20A，作为压缩结果的示例，第一条带Slice 1可以被压缩为I条带，并且第二条带Slice 2至第四条带Slice 4可以被压缩为P条带。此外，作为示例，图20A的(a)示出的第一条带Slice 1、第二条带Slice2、第三条带Slice 3和第四条带Slice 4分别具有大约1200字节、大约60字节、大约140字节和大约120字节的大小。
与上述示例实施例中的至少一个类似，如图20A的(b)所示，可以对第一条带Slice1至第四条带Slice 4执行排序操作，并且可以使用MTU的大小(例如，大约1500字节)、报头大小(例如，大约60字节)以及第一条带Slice 1至第四条带Slice 4的大小来执行计算。首先，可以使用具有最大尺寸的第一条带Slice 1来执行计算，并且可以基于计算结果将第一条带Slice 1选择为将被包括在包中的条带。
此外，如(c)所示，可以使用具有第二大大小的第三条带Slice 3来执行计算，并且可以进一步将第三条带Slice 3选择为将被包括在包中的条带。然后，可以使用具有第三大大小的第四条带Slice 4执行计算，并且在这种情况下，可以通过使用第四条带Slice 4的计算结果将剩余大小R计算为具有负(-)值。因此，如(d)所示，第四条带Slice 4未被选择为将被包括在与第一条带Slice 1至第三条带Slice 3相同的包中的条带。
同时，可以进一步使用第二条带Slice 2执行计算，并且可以基于计算结果将剩余大小R计算为具有正(+)值。因此，第二条带Slice 2还可以被选择为将被包括在包中的条带。参照图20B所示，IP报头、UDP报头和RTP报头可以与先前选择的第一条带Slice 1至第三条带Slice 3一起被包括在相同的包中。此外，在上述处理中未被选择的第四条带Slice 4可以被包括在单独的包中。
根据至少一个示例实施例，可以通过计算处理来选择条带中的一些条带，并且还可以对未被选择的剩余条带执行上述计算处理，从而选择将被包括在一个包中的条带。在第一条带Slice 1至第四条带Slice 4中的第一条带Slice1和第二条带Slice 2被选择为将被包括在相同包中的条带的情况下，可以使用MTU的大小(例如，大约1500字节)和报头大小(例如，大约60字节)对第三条带Slice 3和第四条带Slice 4再次执行计算操作。然后，当对所有条带完成选择处理时，可以基于选择的结果来产生一个或更多个包。
图21是示出根据至少一个示例实施例的包括图像处理装置的计算系统700的框图。
参照图21，计算系统700可以包括至少一个处理器710、内存装置720，存储装置730、输入/输出(I/O)装置740、电源750和图像传感器760等，但不限于此。尽管图21中未示出，但是计算系统700还可以包括与视频卡、声卡、存储卡、USB装置和/或其他电子装置进行通信的端口。
处理器710可以是以片上系统(SoC)实现的应用处理器。处理器710可以执行特定计算和任务。根据实施例，处理器710可以包括微处理器、中央处理单元(CPU)等。处理器710可以经由地址总线、控制总线和数据总线与内存装置720、存储装置730和I/O装置740进行通信。
内存装置720可以存储计算系统700的操作所需的数据。例如，内存装置720可以由动态随机存取存储器(DRAM)、移动DRAM、静态随机存取存储器(SRAM)、闪存存储器、相变随机存取存储器(PRAM)、铁电随机存取存储器(FRAM)、电阻随机存取存储器(RRAM)和/或磁阻随机存取存储器(MRAM)等来实现。存储装置730可以包括固态驱动器(SSD)、硬盘驱动器(HDD)和/或蓝光/DVD/CD-ROM驱动器。I/O装置740可以包括诸如键盘、小键盘、鼠标、麦克风、相机等的输入装置、以及诸如打印机、显示器、扬声器等的输出装置。电源750可以提供计算系统700的操作所需的操作电压。
根据实施例的执行压缩操作的功能可以由处理器710的编解码(CODEC)模块711来执行，CODEC模块711可以执行根据上述示例实施例中至少一个的图像压缩操作和打包操作。作为示例，CODEC模块711可以接收由图像传感器760产生的帧图像，处理接收到的帧图像以产生I条带和P条带，并将包括产生的I条带和P条带的包发送到外部装置。
虽然已经结合目前被认为是实际的示例实施例描述了本发明构思，但是本领域技术人员应当理解，本发明构思不限于公开的示例实施例，而相反地，旨在覆盖包括在所附权利要求的精神和范围内的各种修改、替换和等同的布置。前面的示例实施例可以独立地或者结合本文包含的任何其他示例实施例来进行解释或使用。因此，公开的主题不应被限于本文所述的任何单个示例实施例，并且上述示例实施例将被认为是说明性的而不是限制性的。因此，本发明构思的范围仅应根据所附权利要求被确定。
如本发明构思领域中常见的，在功能块、单元和/或模块方面描述并附图中示出了各种示例实施例。本领域技术人员将理解，这些块、单元和/或模块通过诸如使用基于半导体的制造技术或其他制造技术形成的逻辑电路、分立组件、微处理器、硬连线电路、存储器元件、布线连接等的电子(或光学)电路被物理地实现。在由微处理器或相似处理装置实现的块、单元和/或模块的情况下，可以使用软件(例如，微代码)对它们进行编程，以执行本文讨论的各种功能，并且可以可选地由固件和/或软件来驱动，从而将微处理器或相似的处理装置转换成专用处理器。此外，每个块、单元和/或模块可以由专用硬件来实现，或被实现为用于执行一些功能的专用硬件和用于执行其它功能的处理器(例如，一个或更多个编程的微处理器和相关联的电路)的组合。此外，在不脱离本发明构思的范围的情况下，实施例的每个块、单元和/或模块可以被物理地分离成两个或更多个交互和单独的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，实施例的块、单元和/或模块可以被物理地组合成更复杂的块、单元和/或模块。

Claims (18)

1.一种图像处理方法，包括：
使用至少一个处理器通过将第一压缩方法应用于包括第一条带至第N条带的第一帧图像的至少一个条带来产生至少一个I条带，其中，N是2或大于2的整数；
使用所述至少一个处理器通过将第二压缩方法应用于第一帧图像的其他条带来产生多个P条带；
使用所述至少一个处理器产生第一包，其中，所述第一包包括从所述多个P条带选择的至少一个P条带以及所述至少一个I条带中的第一个I条带；并且
使用所述至少一个处理器针对第一帧图像向图像接收装置发送L个包，其中，所述L个包包括所述第一包，其中，L是小于N的整数。
2.如权利要求1所述的方法，其中，
第一压缩方法是在不参考先前帧图像的条带的情况下执行的压缩方法；
第二压缩方法是参考一个或更多个先前帧图像的至少一个条带而执行的压缩方法。
3.如权利要求1所述的方法，还包括：
使用所述至少一个处理器从第二帧图像产生一个I条带和N-1个P条带；以及
使用所述至少一个处理器针对第二帧图像向图像接收装置发送M个包，其中，M是小于N的整数，
其中，使用所述至少一个处理器针对第二帧图像向图像接收装置发送M个包的步骤包括：
产生第二帧图像的第一包，其中，第二帧图像的第一包包括第二图像帧的所述一个I条带，
产生第二帧图像的第二包，其中，第二帧图像的第二包包括所述N-1个P条带，并且
将第二帧图像的第一包和第二帧图像的第二包发送到图像接收装置。
4.如权利要求1所述的方法，其中，
从第一帧图像产生一个I条带和N-1个P条带，其中，所述一个I条带是所述第一个I条带；
其中，发送L个包的步骤包括：
产生包括所述一个I条带和选择的所述至少一个P条带的所述第一包，并且产生包括剩余的P条带的第二包，并且
将所述第一包和所述第二包发送到图像接收装置。
5.如权利要求1所述的方法，其中，通过被应用于第一条带的第一压缩方法来产生I条带，并且通过被应用于第二条带至第N条带中的每一个条带的第二压缩方法来产生所述多个P条带。
6.如权利要求5所述的方法，还包括：
使用所述至少一个处理器针对包括第一条带至第N条带的第二帧图像的第二条带产生至少一个I条带；并且
使用所述至少一个处理器针对第二帧图像的第一条带和第三条带至第N条带中的每一个条带产生至少一个P条带。
7.如权利要求1所述的方法，还包括：
使用所述至少一个处理器针对包括第一条带至第N条带的第二帧图像的第一条带至第N条带中的每一个条带产生P条带。
8.如权利要求1所述的方法，还包括：
使用所述至少一个处理器设置I帧周期，其中，在所述I帧周期期间，用于表示一个画面的N个I条带被发送，所述I帧周期包括M个帧区间，其中，M是大于N的整数，所述M个帧区间中的每一个帧区间包括将被发送的帧图像；
使用所述至少一个处理器产生用于表示所述一个画面的N个I条带；并且
使用所述至少一个处理器在所述M个帧区间中分布N个I条带。
9.如权利要求8所述的方法，其中，分布N个I条带的步骤包括：在所述M个帧区间中的N个连续帧区间中分布所述N个I条带。
10.如权利要求8所述的方法，其中，分布N个I条带的步骤包括：在所述M个帧区间中的N个非连续帧区间中分布所述N个I条带。
11.如权利要求1所述的方法，还包括：
使用所述至少一个处理器设置I帧周期，其中，在所述I帧周期期间，用于表示一个画面的N个I条带被发送，所述I帧周期包括M个帧区间，其中，M是大于N的整数，所述M个帧区间中的每一个帧区间包括将被发送的帧图像；
使用所述至少一个处理器从初始I帧周期的初始k个帧图像产生所述N个I条带，其中，k是小于N的整数；并且
使用所述至少一个处理器在与k个帧图像相应的所述M个帧区间期间发送所述N个I条带。
12.如权利要求1所述的方法，其中，产生所述第一包的步骤包括：
使用所述至少一个处理器来执行使用产生的I条带的大小和产生的所述多个P条带的大小进行的计算；并且
使用所述至少一个处理器基于所述计算的结果来选择将被包括在所述第一包中的所述至少一个P条带。
13.如权利要求1所述的方法，还包括：
使用所述至少一个处理器接收指示针对被压缩为I条带的第一条带的解码操作失败的信号；
使用所述至少一个处理器针对随后将被发送的第二帧图像的第一条带产生I条带；
使用所述至少一个处理器针对第二帧图像的剩余条带产生P条带。
14.一种图像处理装置，包括：
存储器，存储有计算机可读指令；
至少一个处理器，被配置为执行所述计算机可读指令以进行以下操作：
接收第一帧图像，
通过将第一压缩方法应用于包括在第一帧图像中的多个条带中的至少一个条带来产生至少一个I条带，
通过将第二压缩方法应用于第一帧图像的其他条带来产生多个P条带，
在多个包中分配所述至少一个I条带和所述多个P条带，其中，所述多个包中的第一包包括从所述多个P条带选择的至少一个P条带以及所述至少一个I条带中的第一个I条带，其中，所述多个包的数量少于所述多个条带的数量。
15.如权利要求14所述的图像处理装置，其中，所述至少一个处理器还被配置为：
从包括在第一帧图像中的N个条带产生一个I条带和N-1个P条带，其中，N是等于或大于2的整数。
16.如权利要求14所述的图像处理装置，其中，所述至少一个处理器被配置为：
接收第二帧图像至第M帧图像；
将第一帧图像至第M帧图像中的每一个帧图像划分为N个条带，其中，N是等于或大于2且小于M的整数；并且
从在第一帧图像至第M帧图像中选择的N个帧图像产生被用于表示一个画面的N个I条带。
17.如权利要求14所述的图像处理装置，其中，所述至少一个处理器被配置为：
在不参考第一帧图像之前的帧图像的条带的情况下对I条带进行压缩；并且
参考第一帧图像之前的至少一个帧图像的条带来对P条带进行压缩。
18.如权利要求14所述的图像处理装置，其中，所述至少一个处理器还被配置为：
从外部源接收包括I条带的第一包和包括P条带的第二包；
从接收到的第一包和第二包提取I条带和P条带；并且
使用提取的I条带和P条带经由解码操作来对帧图像进行解压缩。
CN201711462803.9A 2017-05-10 2017-12-28 执行基于条带的压缩的图像处理装置和图像处理方法 Active CN108881951B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0058096 2017-05-10
KR1020170058096A KR102497216B1 (ko) 2017-05-10 2017-05-10 슬라이스 기반의 압축을 수행하는 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
CN108881951A CN108881951A (zh) 2018-11-23
CN108881951B true CN108881951B (zh) 2022-06-21

Family

ID=64097483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711462803.9A Active CN108881951B (zh) 2017-05-10 2017-12-28 执行基于条带的压缩的图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US10812804B2 (zh)
KR (1) KR102497216B1 (zh)
CN (1) CN108881951B (zh)
SG (1) SG10201803184UA (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109889847A (zh) * 2019-01-18 2019-06-14 昆山优尼电能运动科技有限公司 低延时无线传输编解码系统
CN112788344B (zh) * 2020-12-30 2023-03-21 北京大数据研究院 基于编码单元重组的视频解码方法、装置、系统、介质及终端
CN112788336B (zh) * 2020-12-30 2023-04-14 北京大数据研究院 数据元素的排序还原方法、系统、终端及标记方法
CN112804562B (zh) * 2020-12-30 2022-01-07 北京大学 基于片重组的视频编码方法、装置、终端及介质
CN112822488B (zh) * 2020-12-30 2023-04-07 北京大学 基于块重组的视频编解码系统、方法、装置、终端及介质
US11451770B2 (en) * 2021-01-25 2022-09-20 Dell Products, Lp System and method for video performance optimizations during a video conference session
KR20220124031A (ko) 2021-03-02 2022-09-13 삼성전자주식회사 영상 패킷을 송수신하는 전자 장치 및 이의 동작 방법
US11729099B2 (en) * 2021-07-30 2023-08-15 Avago Technologies International Sales Pte. Limited Scalable E2E network architecture and components to support low latency and high throughput

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416901B1 (ko) * 2013-06-19 2014-07-08 주식회사 케이티 손실된 영상 패킷을 복구하는 방법 및 장치
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0152034B1 (ko) 1994-06-29 1998-10-15 김광호 인트라부호화방법
US7046910B2 (en) 1998-11-20 2006-05-16 General Instrument Corporation Methods and apparatus for transcoding progressive I-slice refreshed MPEG data streams to enable trick play mode features on a television appliance
US6868122B2 (en) * 2001-02-07 2005-03-15 Sun Microsystems, Inc. Distributed intraframe transmission in digital video compression
DE602005011611D1 (de) * 2004-05-13 2009-01-22 Qualcomm Inc Verfahren und vorrichtung zur vergabe von informat
KR100799669B1 (ko) 2006-06-20 2008-01-30 삼성전자주식회사 영상신호 송수신효율 향상을 위한 정보통신방법 및 장치
EP2237562A4 (en) 2007-11-28 2016-12-28 Panasonic Ip Man Co Ltd IMAGE ENCODING METHOD AND IMAGE ENCODING DEVICE
JP5062110B2 (ja) 2008-09-04 2012-10-31 富士通株式会社 映像伝送装置、映像伝送方法および映像伝送プログラム
KR101478243B1 (ko) 2008-10-06 2014-12-31 삼성전자주식회사 영상 통화 서비스에서 전송 자원 할당 방법 및 시스템
US20120106632A1 (en) * 2010-10-28 2012-05-03 Apple Inc. Method and apparatus for error resilient long term referencing block refresh
CN102547375A (zh) 2010-12-23 2012-07-04 上海讯垒网络科技有限公司 一种快速实现预览h.264编码帧的传输方法
US8930649B2 (en) 2011-09-06 2015-01-06 Cleversafe, Inc. Concurrent coding of data streams
CN102413307B (zh) 2011-11-30 2013-11-27 晶门科技（深圳）有限公司 电视视频聊天的自适应码率调整方法及调整装置
CN102665140B (zh) 2012-05-16 2014-04-09 哈尔滨工业大学深圳研究生院 一种avs视频帧的rtp封装方法
US10271067B2 (en) 2013-01-07 2019-04-23 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding of slices in pictures of a video stream using different maximum transform sizes
US20160065980A1 (en) 2013-04-05 2016-03-03 Samsung Electronics Co., Ltd. Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof
US20160100173A1 (en) 2014-10-03 2016-04-07 International Business Machines Corporation Enhanced Video Streaming
US9955159B2 (en) 2014-10-31 2018-04-24 Google Llc Multi-video decoding with input switching
GB2525948B (en) 2014-11-04 2017-01-04 Imagination Tech Ltd Packet loss and bandwidth coordination
US20170105010A1 (en) * 2015-10-09 2017-04-13 Microsoft Technology Licensing, Llc Receiver-side modifications for reduced video latency

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104641638A (zh) * 2012-06-28 2015-05-20 阿克西斯股份公司 使用虚拟帧内帧对视频内容进行编码的系统和方法
KR101416901B1 (ko) * 2013-06-19 2014-07-08 주식회사 케이티 손실된 영상 패킷을 복구하는 방법 및 장치

Also Published As

Publication number Publication date
US20180332293A1 (en) 2018-11-15
KR102497216B1 (ko) 2023-02-07
CN108881951A (zh) 2018-11-23
KR20180123847A (ko) 2018-11-20
US10812804B2 (en) 2020-10-20
SG10201803184UA (en) 2018-12-28

Similar Documents

Publication Publication Date Title
CN108881951B (zh) 执行基于条带的压缩的图像处理装置和图像处理方法
US9049464B2 (en) Multiple description coding with plural combined diversity
US9357248B2 (en) Method and apparatus for adaptive bit rate content delivery
EP2214414A1 (en) Constructing video frames and synchronizing audio data in a media player from data received via a plurality of diverse protocol stack paths
US20150373075A1 (en) Multiple network transport sessions to provide context adaptive video streaming
EP2785068B1 (en) Video image data delivery device, method and system
US20060291475A1 (en) Selective forward error correction
CN106162199B (zh) 带反向信道消息管理的视频处理的方法和系统
KR102385337B1 (ko) 비디오 송신 방법 및 데이터 송신기
WO2014039294A1 (en) Adaptation of encoding and transmission parameters in pictures that follow scene changes
RU2673102C2 (ru) Устройство и способ обработки информации и программа
US9001804B2 (en) Sharing multi description coded content utilizing proximate helpers
EP3138294A1 (en) Content message for video conferencing
RU2668064C2 (ru) Устройство обработки информации, способ обработки информации и программа
US10506283B2 (en) Video decoding and rendering using combined jitter and frame buffer
KR101953580B1 (ko) 영상회의 시스템에서 데이터 송수신 장치 및 방법
CN106131565B (zh) 使用联合抖动-帧缓冲区的视频解码及渲染
EP1501311A1 (en) Moving image transferring system, moving image encoding apparatus, moving image decoding apparatus, and moving image transferring program
JPWO2003092302A1 (ja) 動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラム
KR102428831B1 (ko) 데이터 전송 방법 및 송신기
US11438631B1 (en) Slice based pipelined low latency codec system and method
US10026149B2 (en) Image processing system and image processing method
JP2022531998A (ja) ユーザ・データグラム・プロトコル（ｕｄｐ）を利用するロバストなビデオ送信のためのシステム、デバイス、及び方法
EP3565246B1 (en) Progressive i-slice reference for packet loss resilient video coding
KR20180024217A (ko) 서버 장치, 사용자 단말 장치, 그 제어 방법들 및 스트리밍 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant