CN104662900B - 视频图像编码设备 - Google Patents

视频图像编码设备 Download PDF

Info

Publication number
CN104662900B
CN104662900B CN201380048659.8A CN201380048659A CN104662900B CN 104662900 B CN104662900 B CN 104662900B CN 201380048659 A CN201380048659 A CN 201380048659A CN 104662900 B CN104662900 B CN 104662900B
Authority
CN
China
Prior art keywords
segment
likelihood
character
update area
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380048659.8A
Other languages
English (en)
Other versions
CN104662900A (zh
Inventor
高田巡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN104662900A publication Critical patent/CN104662900A/zh
Application granted granted Critical
Publication of CN104662900B publication Critical patent/CN104662900B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在本发明中:已更新区域编码装置从输入图像信号的帧中检测已更新区域,并对已更新该区域编码;重传候选图块提取装置从屏幕内提取图块,所述图块是不属于当前帧中的已更新区域的部分区域,并且所述图块已经通过被以低于或者等于第一质量的质量进行编码而被传输。字符似然性估计装置,针对由该重传候选图块提取装置所提取的每个图块,计算指示该图块是字符区域的似然性的似然值。按字符似然性顺序内部更新装置按所述似然值的降序从该重传候选图块提取装置所提取的图块中选择图块,并通过以高于该第一质量的第二质量对该图块编码来传输所述图块。

Description

视频图像编码设备
技术领域
本发明涉及运动图像编码设备。更具体地,本发明涉及对计算机屏幕上的视频图像进行编码的运动图像编码设备,运动图像编码方法以及程序。
背景技术
近年来,为了实现防止从计算机终端设备泄露信息以及促进终端上应用的管理,瘦客户端系统(think client system)已经被引入。瘦客户端系统使得服务器设备执行被输入到终端设备的、从终端设备输出的以及在终端设备上显示的所有应用,还使得该服务器设备管理与该执行有关的所有被生成的文件。
在这样的瘦客户端系统中,由该服务器设备执行的应用程序的图形数据通过诸如LAN的网络被传送至客户端终端设备,并在该终端设备的屏幕上显示。因此,当要被处理的图形数据的量增大时,或者当被连接到该服务器设备的终端设备的数量增大时,在该服务器设备上用于将该图形数据传送至终端设备的负荷增加,并且诸如响应时间恶化以及值得考虑的被连接的终端设备的数量的限制的问题出现。
因此,作为与本发明有关的第一相关技术,一种编码并传输矩形区域的图像数据的方法(例如,参看专利文件1)被提出,该矩形区域包含图像中的一个已更新区域。根据该第一相关技术,在图像中的已更新区域只是部分区域的情况下,对整个图像进行编码和传输的需求被消除,而只需要对该部分区域的图像数据进行编码和传输。因此,要被传输的数据的量可以被降低。
在另一方面,当经由通信网络传输和/或接收图像数据时,对该图像数据编码以压缩数据的量是已知的(例如,参看专利文件2)。
当诸如量化的不可逆变换被用于数据压缩中时,在接收侧被解码的图像的质量相比于在传输侧的原始图像的质量可能恶化。此外,在通信路径上发生数据丢失或传输错误等情况下,在接收侧的图像的质量可能恶化。为了阻止上文提及的原因导致的图像恶化传播至随后的帧,设计出了一种在传输视频图像时周期性地插入内部更新(内部刷新)的信号的方法。概括地讲,在内部更新中,一种将一帧划分为多个部分区域(图块)并一点一点地传输的方法被使用,因为对整个帧编码导致码的数量的显著增大。
例如,作为与本发明有关的第三相关技术,提出在传输已更新区域的码之后执行内部更新、同时在可被传输的码的剩余量的范围内在低质量图块之间循环(例如参看专利文件3)。因此,即使当一帧的图形已更新区域的范围大部分变化时,通过改变用于内部更新的目标区域的范围,也有可能获得高图像质量同时充分利用剩余波段。例如,对于没有区别的帧或者其中图形已更新区域的范围小的帧,有可能通过可以被支持在剩余波段中的大多数图块来执行内部更新。此外,通过设计以优先地在被采用低图像质量进行编码的区域的图块中、或者在已经长期未被刷新的图块中循环,有可能缩短该低质量图块在屏幕内维持的时间段。
在另一方面,作为与本发明有关的第四相关技术,提出在经历运动补偿后对已更新区域进行编码作为图像(例如参看专利文件4)。
此外,作为与本发明有关的第五相关技术,提出了对包含字符区域的块以高图像质量进行编码(例如参看专利文件5)。该第五相关技术通过以下来降低字符信息的质量的恶化:对运动图像中的要求锐化的字符区域中的量化系数进行与另一区域中的量化系数分离的更新,从而当该字符区域中的量化系数大于预先确定的阈值时,该字符区域中的量化系数变为等于或小于该阈值。
此外,作为与本发明有关的第六相关技术,提出从帧缓冲器中按宏块读出视频信号,并且当该宏块中白色等级高时,当在相邻块内存在数据时,或者当来自中值滤波器的结果示出连续性时,确定为字幕(字符区域)(例如参看专利文件6)。
专利文件1:日本未审查专利申请公开号2008-085502
专利文件2:日本专利公开号004035475
专利文件3:日本未审查专利申请公开号2010-206753
专利文件4:日本未审查专利申请公开号2009-194627
专利文件5:日本未审查专利申请公开号2002-204459
专利文件6:日本未审查专利申请公开号2005-197879。
在每帧的已输出码的量的上限被固定的情况下,对于其中已更新区域的范围大的帧,难以采用高质量对已更新区域进行编码,因此只能选择采用低质量对已更新区域进行编码。对于采用低质量被编码并传输的区域,内部更新被执行,同时在可以在随后帧中被传输的码的剩余量范围内在低质量图块之间的循环被执行。如在第三相关技术中描述的,在内部更新中,根据图块的质量以及图块未被更新的时间段来选择应当被采用高质量重传的图块。因此,当重传候选图块包括照片区域,该照片区域相比于字符区域为低质量或相比于字符区域在更长时间段内未被刷新时,发生该照片区域被优先选择,并且该字符区域长期被置于低质量的情形。
然而通常,相比于对照片信息,质量等级对字符信息具有更大的影响。这是因为字符信息的含义根据细节的形状的不同而大部分地变化,而照片信息的含义能够单独基于轮廓而被大致理解。
如上文所提及的,作为与本发明有关的第五相关技术,提出对包括字符区域的块以高质量进行编码。因此,有可能将该第五相关技术应用至与本发明有关的第三相关技术,并且当对已更新区域编码时,使得字符区域中的编码质量高于其他区域中的编码质量。然而,在已更新区域为大尺寸并包含高比例的字符区域的情况下,当已更新区域的所有码的量超过每帧可允许的码的量的上限时,不可能在所有字符区域上获得高图像质量。因此,通过上文所提及的相同方式,会发生字符区域长时间被置于低质量的情形,并且视频图像中的字符易读性降低。
发明内容
本发明的一个目的是提供一种运动图像编码设备,该运动图像编码设备解决上文提及的问题,即在运动图像编码设备中,该运动图像编码设备在对已更新区域编码和传输后执行内部更新,同时在能够被传输的码的剩余量的范围内在低质量图块之间循环,视频图像中的字符可读性降低。
作为本发明的第一方面,一种运动图像编码设备具有:
已更新区域编码单元,检测已输入图像信号的帧中的已更新区域,并对所述已更新区域编码;
重传候选图块提取单元,从屏幕内提取不属于当前帧中已更新区域的图块,该图块是被采用等于或小于第一质量的质量编码后被传输的部分区域;
字符似然性估计单元,对于被所述重传候选图块提取单元提取的图块,计算指示该图块为字符区域的似然性的似然值;以及
字符似然性顺序内部更新单元,按照所述似然值的降序,从被该重传候选图块提取单元提取的图块中选择图块,并且采用高于第一质量的第二质量对该图块编码,并传输结果。
此外,作为本发明的第二方面,一种运动图像编码方法包括:
检测已输入图像信号的帧中的已更新区域,并对所述已更新区域编码;
从屏幕内提取不属于当前帧中已更新区域的图块,该图块是被采用等于或小于第一质量的质量编码后被传输的部分区域;
对于被提取的图块,计算指示该图块为字符区域的似然性的似然值;以及
按照该似然值的降序,从被提取的图块中选择图块,并且采用高于第一质量的第二质量对该图块编码并传输结果。
此外,作为本发明的第三方面,一种计算机程序包括指令,用于使得计算机执行为:
已更新区域编码单元,检测已输入图像信号的帧中的已更新区域,并对所述已更新区域编码;
重传候选图块提取单元,从屏幕内提取不属于当前帧中已更新区域的图块,该图块是被采用等于或小于第一质量的质量编码后被传输的部分区域;
字符似然性估计单元,对于被所述重传候选图块提取单元提取的图块,计算指示该图块为字符区域的似然性的似然值;以及
字符似然性顺序内部更新单元,按照该似然值的降序,从被该重传候选图块提取单元提取的图块中选择图块,并且采用高于第一质量的第二质量对该图块编码并传输结果。
根据本发明,能够在短帧周期内增加视频图像中的字符的可读性。
附图说明
图1是根据本发明的一个示例性实施例的视频信号编码设备的框图;
图2是示出由根据本发明的一个示例性实施例的该视频信号编码设备执行的处理的流程的流程图;
图3是示出根据本发明的一个示例性实施例的视频信号编码设备中的已更新图块存储器的状态的示例的视图;
图4是示出在根据本发明的一个示例性实施例的视频信号编码设备中的图块质量存储器的状态的示例的视图;
图5是示出了在根据本发明的一个示例性实施例的视频信号编码设备中的字符似然性存储器的状态的示例的视图;
图6是示出了在根据本发明的一个示例性实施例的视频信号编码设备中的图块质量存储器的状态的另一示例的视图;
图7是示出了在根据本发明的一个示例性实施例的视频信号编码设备中的字符似然性存储器的状态的另一示例的视图。
具体实施方式
接下来,将参照附图具体描述本发明的示例性实施例。
[第一示例性实施例]
参看图1,本发明的第一示例性实施例包括信号输入设备11、数据存储设备12、处于程序控制下的数据处理设备13以及码输出设备14。
[配置描述]
信号输入设备11是用于输入视频信号的设备。例如,信号输入设备11捕获未在附图中示出的计算机的显示屏幕上的彩色视频图像的模拟或数字信号,并将结果存储到数据存储设备12。被捕获的一屏的视频信号被称为帧或屏幕数据。
码输出设备14由诸如磁盘设备的存储设备、通信设备或类似设备配置,该存储设备、通信设备或类似设备存储或者传输被数据处理设备13通过编码获得的码信息。
数据存储设备12包括先前帧存储器121、当前帧存储器122、已更新图块存储器123、图块质量存储器124、字符似然性存储器125、可允许的码量存储器126以及已输出码量计数器127。
先前帧存储器121保持过去被输入的一个或多个帧。
当前帧存储器122保持最近已经被输入的一个帧。
已更新图块存储器123将帧划分为图块,对于作为该划分的结果的图块中的每个图块,保持示出是否在先前帧和当前帧之间检测到差别的数据。其中检测到差别的图块被称为已更新图块。
图块质量存储器124针对每个图块存储指示执行最近的编码所采用的质量的数据。
字符似然性存储器125针对重传候选图块存储指示该图块是字符区域的似然性的似然值。
可允许的码量存储器126存储在当前帧内能够被输出的码的量的上限。
已输出码量计数器127存储已经在当前帧内已输出的码量。
数据处理设备13包括已更新区域检测单元131、已更新区域编码单元132、已更新图块记录单元133、重传候选图块提取单元134、字符似然性估计单元135、字符似然性顺序图块提取单元136、内部更新单元137以及已输出码量初始化单元138。各个单元可以由数据处理设备13执行存储在数据存储设备12中的程序(图中未示出)而实现。
已更新区域检测单元131分别从先前帧存储器121和当前帧存储器122中检索先前帧的数据以及当前帧的数据,在两帧之间比较像素值,并检测像素值存在变化的区域,即已更新区域。此外,已更新区域检测单元131将已更新区域的坐标信息通知给已更新区域编码单元132以及重传候选图块提取单元134。
当被已更新区域检测单元131通知了该已更新区域的该坐标信息时,已更新区域编码单元132从当前帧存储器122中在被通知的坐标处检索像素数据,对该像素数据编码,并将结果输出至码输出设备14。例如,在上文提及的编码中,编码中的质量参数被规定,从而所有已更新区域的码量的总和落入可允许的码量存储器126中被存储的值内。此外,已更新区域编码单元132找到与该已更新区域重叠的图块,并将该图块的坐标通知给已更新图块记录单元133。同时,已更新区域编码单元132将已更新区域的编码中的质量参数通知给已更新图块记录单元133。此外,已更新区域编码单元132使已输出码量计数器127累积在已更新区域的编码中已输出码的量。
作为用于对已更新区域编码的一种方法,例如,可以使用JPEG。作为编码中的质量参数,JPEG的Q参数可以被使用。在JPEG图像中,随着Q参数变小,字符的易读性降低;而随着Q参数变大,字符的可读性升高。
在由已更新区域编码单元132通知已更新图块的坐标信息之后,已更新图块记录单元133重写被存储在已更新图块存储器123中的对应图块的数据,以将该图块改变至已更新状态。此外,当由已更新区域编码单元132通知了已更新图块的质量参数时,已更新图块记录单元133将被通知的质量参数写为在图块质量存储器124中被存储的对应图块的质量值。
重传候选图块提取单元134查阅已更新图块存储器123和图块质量存储器124,并从屏幕中的图块中提取不对应于已更新图块并且具有等于或者小于预定值(例如需要重传的质量)的质量的图块。被提取的该图块作为重传候选图块被通知给字符似然性估计单元135。
对于被重传候选图块提取单元134通知的每个重传候选图块,字符似然性估计单元135计算索引值,即指示该图块是字符区域的似然性的似然值,并将被计算的该似然值写入字符似然性存储器125。例如,字符似然性估计单元135获得每个像素的边缘强度,并将图块中的边缘强度的方差值看作指示该图块是字符区域的似然性的似然值。一般来说,因为具有非常高的边缘强度的像素(字符和背景之间的边界)以及具有非常低的边缘强度的像素(例如单色背景)在字符区域中被混合,边缘强度的方差值取一个大的值。因此,边缘强度的方差值优选作为指示字符区域的似然性的似然值。
字符似然性顺序图块提取单元136查阅字符似然性存储器125,并按似然值的降序提取重传候选图块。被提取的图块作为重传图块被通知给内部更新单元137。
内部更新单元137采用高于预定质量的参数(即采用内部更新质量)对字符似然性顺序图块提取单元136所通知的重传图块进行编码。本文中,假定高于上文提及的需要重传的质量的值被设置为内部更新质量。此外,每次编码重传图块的一个图块时,内部更新单元137将该图块的码量存储至已输出码量计数器127。之后,在码量的累积结果未超过可允许的码量存储器的值的情况下,内部更新单元137将重传图块的码输出至码输出设备14。此外,对于其码已经被输出的重传图块,内部更新单元137采用该内部更新质量的数值重写被存储于图块质量存储器124的相应图块。此外,内部更新单元137从被存储于字符似然性存储器125中的重传候选图块中删除相应图块。
在使用JPEG作为一种用于对已更新区域进行编码的方法以及使用JPEG的Q参数作为质量参数的情况下,经验性地,能够将使得可能确保字符的充分易读性的Q参数作为上文提及的内部更新质量。因此,优选地,能够采用确保高字符可读性的Q参数对已经被采用低Q参数编码的字符区域进行编码,并更新该结果以便早些增加对于用户的字符可读性。
在每次帧处理开始时,已输出码量初始化单元138将已输出码量计数器的值初始化为0。
[操作说明]
参看图1中所示的框图以及图2中所示的流程图,将具体描述本发明的整个示例性实施例的行为。
首先,当帧的处理开始时,已输出码量初始化单元138将已输出码量计数器127的值初始化为0(步骤S101)。
接着,已更新区域检测单元131从先前帧存储器121中检索先前帧的数据,并从当前帧存储器122中检索当前帧的数据,以比较两个帧的像素值,并且检测示出像素值变化的区域,即已更新区域(步骤S102)。之后,已更新区域检测单元131将该已更新区域的坐标信息通知到已更新区域编码单元132以及重传候选图块提取单元134。
接下来,当由已更新区域检测单元131通知已更新区域的坐标信息时,已更新区域编码单元132从当前帧存储器122中检索该坐标处的像素数据,对该像素数据编码,并将结果输出至码输出设备14(步骤S103)。在这一步骤中,已更新区域编码单元132控制用于编码的质量参数,从而在所有已更新区域中的编码量的总和不超过例如被存储在可允许的码量存储器126中的值。此外,已更新区域编码单元132将与已更新区域重叠的图块的图块坐标通知给已更新图块记录单元133,并且同时,将已更新区域的编码中所使用的质量参数通知给已更新图块记录单元133。
接下来,已更新区域编码单元132使得已输出码量计数器127累计已输出码的量(步骤S104)。
接下来,当由已更新区域编码单元132通知已更新图块的坐标信息时,已更新图块记录单元133重写存储于已更新图块存储器123中的相应图块,以便改变至已更新状态(步骤S105)。
图3示出了已更新图块存储器123的状态的示例。已更新图块存储器123是示出帧中的每个图块的更新存在或是不存在的存储器。在图3中,有阴影的图块表示处于已更新状态的图块。
接下来,当由已更新区域编码单元132通知已更新图块的坐标信息以及质量参数时,已更新图块记录单元133将被通知的质量参数重写为被存储于图块质量存储器124中的相应图块的质量值(步骤S106)。
图4示出了图块质量存储器124的状态的示例。图块质量存储器124是示出帧中各个图块的质量值的存储器。图4中的诸如2、3和9等的数值表示各个图块的质量值。本文中,更大的值表示更高的质量值。在图4中,假定当前帧中的已更新区域已经被采用质量值=3进行编码,从而数值3被重写为与当前帧的已更新区域重叠的已更新图块中的质量值(图3中在已更新图块存储器123中的有阴影的图块)。
接下来,重传候选图块提取单元134从已更新区域检测单元131接收已更新区域的坐标信息,并且查阅已更新图块存储器123以及图块质量存储器124,从屏幕内提取不对应于当前帧的已更新区域并且具有等于或小于预定值的质量的已更新图块,作为重传候选图块(步骤S107)。
接下来,重传候选图块提取单元134确定重传候选图块是否被提取(步骤S108),并且在未被提取的情况下(在步骤S108为是),终止帧的处理。在其中被提取的情况下(在步骤S108为否),重传候选图块提取单元将所提取的重传候选图块通知给字符似然性估计单元135。
接下来,对于被重传图块提取单元135通知的每个重传候选图块,字符似然性估计单元135计算指示该图块是字符区域的似然性的似然值,并将该图块是否是重传候选图块以及所计算的似然值写入字符似然性存储器125(步骤S109)。
图5示出了字符似然性存储器125的状态的示例。在这一实例中,图块质量存储器124中具有预定值(本情形下为3)或者低于预定值的值的图块(除已更新图块之外)被提取作为重传候选图块(图5中的有阴影的图块)。此外,针对各个重传候选图块计算的字符似然值(3到8)被一起存储。
接下来,字符似然性顺序图块提取单元136查阅字符似然性存储器125,并提取具有最大字符似然性的重传候选图块作为重传图块(步骤S110)。
在图5中,重传图块被按顺序从具有最大字符似然值(8)的图块中提取。在其中多个图块具有相同字符似然值的情况下,通过任意方法确定重传图块(例如,按浏览顺序出现较早或较晚的一个图块被选择)。本文中,假定按浏览顺序出现较早的一个被选择。
接下来,字符似然性顺序图块提取单元136确定重传图块是否未被提取(即,未留下任何重传候选图块)(步骤S111)。在未被提取的情况下(步骤S111中为是),帧的处理结束。在被提取的情况下(步骤S111中为否),执行步骤S112以及随后的步骤。
接下来,内部更新单元137采用高于预定质量的质量(即采用内部更新质量)的参数对字符似然性顺序图块提取单元136所通知的重传图块进行编码(步骤S112)。
接下来,每次对一个重传图块编码时,内部更新单元137使得已输出码量计数器127累积该图块的码量(步骤S113)。
内部更新单元137确定累积结果是否超出可允许的码量存储器126的值(步骤S114)。在超出的情况下(步骤S114中为是),帧的处理结束。在未超出的情况下(步骤S114中为否),执行步骤115以及之后的步骤。
接下来,内部更新单元137将该重传图块的码输出至码输出设备14(步骤S115)。
最后,对于其码已经被输出的重传图块,内部更新单元137重写被存储于图块质量存储器125中的相应图块,以将其值改变为该内部更新质量的值(例如9)。此外,内部更新单元137从字符似然性存储器125中的重传候选图块中删除该相应图块。在上文提及的处理结束时,处理返回到步骤S110,并且该处理被重复。
因此,图1所示的图块质量存储器124中的被重传的图块被重写,以具有内部更新质量的值(本情况下为9),如图6中的有阴影的图块所示。此外,例如,如图7所示,每次一个图块被重传时,字符似然性存储器125中的与被重传的图块对应的重传候选图块被删除。
因此,根据这一示例性实施例,能够在短的帧周期内增加视频图像中的字符易读性。这是因为,能够按顺序从低质量区域中的对于理解内容重要的字符区域执行内部更新,并增强图像质量。
此外,根据这一示例性实施例,执行表示字符区域的似然性的似然值的计算,以替代对于重传候选图块是否是字符区域的是-否确定。因此,能够通过对于具有较大似然值的重传候选图块,即具有更高的字符区域可能性的重传候选图块,赋予优先级,来按顺序重传。
[其他示例性实施例]
在上文描述的示例性实施例中,已更新图块记录单元133在不做改变的情况下将所通知的质量参数的值写入图块质量存储器124。然而,在本发明的另一个示例性实施例中,当任何质量参数已经针对对应的图块被写入时,已更新图块记录单元133可以写入在所通知的质量参数的值以及已经被写入的质量值之间的较小的值,作为对应图块的质量值。因此,例如,即使图块曾经被采用低质量编码,并且该图块的一部分在其后被采用高质量编码,将该图块包含为其中低质量部分被保留到内部更新候选的图块是可能的。
进一步地,在上文描述的示例性实施例中,每次编码一个图块时,内部更新单元137从剩余的重传候选图块中搜索具有最大字符似然性的图块。然而,在本发明的另一示例性实施例中,内部更新单元137可以首先按字符似然性的降序对重选候选图块排序,并按顺序从被排序的重传候选图块中选择图块。因此,有可能省略上述示例性实施例中描的每次一个图块被编码时被执行的搜索过程。
进一步地,在上述示例性实施例中,字符似然性顺序图块提取单元136逐个提取具有较大字符似然性的图块。然而,只要具有较大字符似然性的图块被优先重传,同样的效果可以通过另一方法获得。因此,例如,在本发明的另一示例性实施例中,字符似然性顺序图块提取单元136可以设置多级阈值,按降序应用这些阈值,并且整体地提取具有超过对应阈值的字符似然性图块。例如,假定对于图5中所示的字符似然性存储器125,字符似然性顺序图块提取单元136按这一顺序使用包括6、3、0的三个阈值。字符似然性顺序图块提取单元136首先选择总共三个图块,包括具有字符似然性8的两个图块以及具有字符似然性7的一个图块,作为具有超过阈值6的字符似然性的图块,并将它们通知给内部更新单元137。相应地,这三个图块首先被变为较高质量并被传输。在下一阶段,字符似然性顺序图块提取单元136选择总共三个图块,包含具有字符似然性5的一个图块以及具有字符似然性4的两个图块,作为具有超过阈值3的字符似然性的图块,并将它们通知给内部更新单元137。因此,具有较高字符似然性的图块被优先处理为高质量,本发明的目的得以实现。
进一步地,在上述示例性实施例中,作为使内部更新单元137确定处理的结束的条件,采用了被累积的码量是否超过可允许的码量。然而,可以使用另一条件。
例如,在本发明的另一个示例性实施例中,通过预先设置(存储)每帧图块的上限数量,内部更新单元137可以采用当前帧中被传输的图块的数量是否等于或小于上文提及的图块的上限数量作为用于结束条件。
替代地,在本发明的另一个示例性实施例中,通过预先设置(存储)用于完成当前帧的处理的目标时间,内部更新单元可以采用当前时间是否在目标时间之前作为用于结束的条件。例如,用于计算从当前帧的处理开始的时间点起的流逝时间的诸如计时器的时钟单元被包括,并且在已更新区域编码单元132对已更新区域进行编码之后,只要该时钟单元记录的时间在目标结束时间之前,内部更新单元137就执行编码处理。
替代地,在本发明的另一示例性实施例中,使用多个条件的任意组合是可能的,例如,累积的码的量是否超过可允许的码量,当前帧中被传输的图块的数量是否等于或小于上文提及的图块的上限数量,以及当前时间是否早于已经被设置的目标时间。
即使采用上文提及的用于结束的条件中的任何一个,在给定条件下,更高字符似然性的图块被优先处理为高质量,本发明的目标得以实现。
本发明基于2012年9月19日提交的2012-205389号日本专利申请,并要求它的优先权,该申请的公开内容整体被通过引用合并于本文中。
工业实用性
本发明可以被用于在屏幕传送类型的瘦客户端系统中在传输波段的限制下,使得视频图像清晰。此外,本发明可以被应用到包括字符和照片图块二者的各种视频图像,例如视频分发类型的数字标示,的分发中。
参考标号描述
11 信号输入设备
12 数据存储设备
13 数据处理设备
14 码输出设备
121 先前帧存储器
122 当前帧存储器
123 已更新图块存储器
124 图块质量存储器
125 字符似然性存储器
126 可允许的码量存储器
127 已输出码量计数器
131 已更新区域检测单元
132 已更新区域编码单元
133 已更新图块记录单元
134 重传候选图块提取单元
135 字符似然性估计单元
136 字符似然性顺序图块提取单元
137 内部更新单元
138 已输出码量初始化单元

Claims (9)

1.一种运动图像编码设备,包括:
已更新区域编码单元,检测已输入图像信号的帧中的已更新区域,并且对所述已更新区域编码;
重传候选图块提取单元,从作为所述帧的局部部分的多个图块中提取不属于当前帧中的所述已更新区域的图块,所述图块在被采用等于或小于第一质量的质量编码后被传输;
字符似然性估计单元,对于被所述重传候选图块提取单元提取的所述图块,计算指示所述图块是字符区域的似然性的似然值;以及
字符似然性顺序内部更新单元,按照所述似然值的降序,从被所述重传候选图块提取单元提取的所述图块中选择所述图块,并且,为了传输,采用高于所述第一质量的第二质量对所述图块编码。
2.根据权利要求1所述的运动图像编码设备,其中所述字符似然性顺序内部更新单元执行所述图块的所述编码,以便所述当前帧中的已输出码的总量不超过码的目标量。
3.根据权利要求1所述的运动图像编码设备,其中所述字符似然性顺序内部更新单元选择预定数量的所述图块或者少于所述预定数量的所述图块。
4.根据权利要求1所述的运动图像编码设备,其中所述字符似然性顺序内部更新单元在其达到结束目标时间时结束所述图块的所述选择和所述编码。
5.根据权利要求1所述的运动图像编码设备,其中所述字符似然性顺序内部更新单元逐个地执行所述图块的所述选择和所述编码。
6.根据权利要求1所述的运动图像编码设备,其中所述字符似然性顺序内部更新单元提取具有超过第一阈值的所述似然值的所有所述图块并且对具有超过第一阈值的所述似然值的所有所述图块编码,并且在之后,提取具有超过第二阈值的所述似然值的所有所述图块,所述第二阈值小于所述第一阈值,并且执行所述编码。
7.根据权利要求1所述的运动图像编码设备,其中所述字符似然值估计单元获取所述帧中的每个像素的边缘强度,并且计算所述图块中的所述边缘强度的方差值作为所述似然值。
8.一种运动图像编码方法,包括:
检测已输入图像信号的帧中的已更新区域,并且对所述已更新区域编码;
从作为所述帧的部分区域的多个图块中提取不属于当前帧中的所述已更新区域的图块,所述图块在被采用等于或小于第一质量的质量编码后被传输;
对于已提取的所述图块,计算指示所述图块是字符区域的似然性的似然值;以及
按照所述似然值的降序,从已提取的所述图块中选择所述图块,并且为了传输,采用高于所述第一质量的第二质量对所述图块编码。
9.一种存储计算机程序的非暂时性计算机可读介质,所述计算机程序包括指令,所述指令用于使得计算机运行为:
已更新区域编码单元,检测已输入图像信号的帧中的已更新区域,并且对所述已更新区域编码;
重传候选图块提取单元,从作为所述帧的部分区域的多个图块中提取不属于当前帧中的所述已更新区域的图块,所述图块在被采用等于或小于第一质量的质量编码后被传输;
字符似然性估计单元,对于被所述重传候选图块提取单元提取的所述图块,计算指示所述图块是字符区域的似然性的似然值;以及
字符似然性顺序内部更新单元,按照所述似然值的降序,从被所述重传候选图块提取单元提取的图块中选择所述图块,并且为了传输,采用高于所述第一质量的第二质量对所述图块编码。
CN201380048659.8A 2012-09-19 2013-07-29 视频图像编码设备 Expired - Fee Related CN104662900B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012205389 2012-09-19
JP2012-205389 2012-09-19
PCT/JP2013/004583 WO2014045507A1 (ja) 2012-09-19 2013-07-29 動画像符号化装置

Publications (2)

Publication Number Publication Date
CN104662900A CN104662900A (zh) 2015-05-27
CN104662900B true CN104662900B (zh) 2018-02-13

Family

ID=50340849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048659.8A Expired - Fee Related CN104662900B (zh) 2012-09-19 2013-07-29 视频图像编码设备

Country Status (4)

Country Link
US (1) US9307245B2 (zh)
JP (1) JP6217643B2 (zh)
CN (1) CN104662900B (zh)
WO (1) WO2014045507A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248671B2 (ja) * 2014-02-10 2017-12-20 富士通株式会社 情報処理装置、方法、プログラム、および情報処理システム
CN105763761A (zh) * 2014-12-16 2016-07-13 广州市动景计算机科技有限公司 一种图片数据传输方法及装置
CN107683605B (zh) * 2015-06-24 2021-12-03 索尼公司 编码装置、解码装置和传输控制方法
US20170105023A1 (en) * 2015-10-08 2017-04-13 Qualcomm Incorporated Signaling of updated video regions
US11044474B2 (en) * 2019-02-18 2021-06-22 Glenfly Technology Co., Ltd. Image compression method and image processing system
JP7234776B2 (ja) * 2019-04-26 2023-03-08 富士通株式会社 受信データ表示プログラム、受信データ表示方法、及び電子機器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204459A (ja) * 2000-12-28 2002-07-19 Toshiba Corp 動画像符号化方法及び装置
JP2008085502A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 画像転送装置、方法およびプログラム
CN101854548A (zh) * 2010-05-25 2010-10-06 南京邮电大学 一种面向无线多媒体传感器网络的视频压缩方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130797A (en) * 1989-02-27 1992-07-14 Mitsubishi Denki Kabushiki Kaisha Digital signal processing system for parallel processing of subsampled data
JP2002051221A (ja) * 2000-08-01 2002-02-15 Canon Inc 画像符号化装置、画像復号化装置、システム、及びその方法並びに記憶媒体
US7450646B2 (en) * 2002-06-04 2008-11-11 Panasonic Corporation Image data transmitting apparatus and method and image data reproducing apparatus and method
JP4035475B2 (ja) 2003-04-16 2008-01-23 キヤノン株式会社 画像処理装置及びその制御方法及びコンピュータプログラム及び記憶媒体
JP2004350009A (ja) * 2003-05-22 2004-12-09 Matsushita Electric Ind Co Ltd 画像復号化装置および方法
JP2005197879A (ja) 2004-01-05 2005-07-21 Victor Co Of Japan Ltd 映像信号符号化装置
KR100537520B1 (ko) * 2004-02-18 2005-12-19 삼성전자주식회사 동영상의 자막 검출 방법 및 장치
JP5003521B2 (ja) 2008-02-14 2012-08-15 日本電気株式会社 動き補償に伴う更新領域検出装置
JP5152044B2 (ja) * 2009-03-06 2013-02-27 日本電気株式会社 画像符号化装置および方法並びにプログラム
JP5524584B2 (ja) * 2009-11-20 2014-06-18 キヤノン株式会社 画像処理装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002204459A (ja) * 2000-12-28 2002-07-19 Toshiba Corp 動画像符号化方法及び装置
JP2008085502A (ja) * 2006-09-26 2008-04-10 Toshiba Corp 画像転送装置、方法およびプログラム
CN101854548A (zh) * 2010-05-25 2010-10-06 南京邮电大学 一种面向无线多媒体传感器网络的视频压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
不规则区域图像编码综述;马义德,等;《计算机应用》;20060630;1351-1353 *

Also Published As

Publication number Publication date
JPWO2014045507A1 (ja) 2016-08-18
JP6217643B2 (ja) 2017-10-25
WO2014045507A1 (ja) 2014-03-27
US20150249824A1 (en) 2015-09-03
CN104662900A (zh) 2015-05-27
US9307245B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
CN104662900B (zh) 视频图像编码设备
CN103650509B (zh) 基于照相机和背景运动的参考帧缓冲区的自适应配置
CN106470323B (zh) 视频数据的存储方法及设备
CN103957341B (zh) 图片传输的方法及其相关设备
CN101883140B (zh) 基于远程显示的编码系统及方法、服务器
CN103636188B (zh) 用于摄影机的编码器监督成像
CN103281526A (zh) 网络图像/视频处理系统
JP6011185B2 (ja) 画像情報処理システム、画像情報処理装置、及びプログラム
GB2560548A (en) Video data processing system
US11290724B2 (en) Inter prediction method and apparatus, and terminal device
CN104104967A (zh) 图像处理设备及图像处理方法
CN109361927B (zh) 图像处理方法及装置
US20200213616A1 (en) Image Prediction Method and Apparatus
US20120281757A1 (en) Scene change detection for video transmission system
JP5152044B2 (ja) 画像符号化装置および方法並びにプログラム
US9183446B2 (en) Image processing apparatus and image processing method
KR101775555B1 (ko) 동영상 패킷 생성 방법 및 그 장치
CN101437161B (zh) 视频数据处理方法和系统
CN113422983B (zh) 数据处理方法、计算机设备和存储介质
CN110636293B (zh) 视频编码、解码方法和装置、存储介质及电子装置
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
CN112118446B (zh) 图像压缩方法及装置
CN112788364B (zh) 码流动态调整装置、方法及计算机可读存储介质
JP6985924B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法
CN110677692A (zh) 视频解码方法及装置、视频编码方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180213

Termination date: 20210729

CF01 Termination of patent right due to non-payment of annual fee