CN102651788A - 图片传输装置、图片传输方法和程序 - Google Patents

图片传输装置、图片传输方法和程序 Download PDF

Info

Publication number
CN102651788A
CN102651788A CN2012100390802A CN201210039080A CN102651788A CN 102651788 A CN102651788 A CN 102651788A CN 2012100390802 A CN2012100390802 A CN 2012100390802A CN 201210039080 A CN201210039080 A CN 201210039080A CN 102651788 A CN102651788 A CN 102651788A
Authority
CN
China
Prior art keywords
scan
image data
picture
code rate
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100390802A
Other languages
English (en)
Inventor
和久田兼作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102651788A publication Critical patent/CN102651788A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种图片传输设备,该图片传输设备包括编码部,该编码部被构造为对要传输的图片数据进行编码;速率获取部,该速率获取部被构造为获取由该编码部进行编码的图片数据的编码速率;以及设定部,该设定部被构造为根据由该速率获取部所获取的该编码速率来设定隔行扫描或逐行扫描,作为要编码的该图片数据的扫描类型。

Description

图片传输装置、图片传输方法和程序
技术领域
本发明涉及图片传输装置、图片传输方法和程序。
背景技术
充当图片数据的视频数据经由因特网之类的网络在多个装置之间互换。位于传输侧上的装置在将该视频数据传输到位于接收侧上的装置之前,对其进行编码。接收装置在通过例如合适的显示装置等进行显示之前对所接收的视频数据进行解码。
至此,传输视频数据的装置通过考虑所使用网络的通信状态来改变其编码速率。在与视频数据的编码进行连接的过程中,日本专利公报No.2005-151280公开了一种根据实际编码速率来改变视频数据的帧速和分辨率的技术。
发明内容
同时,如果编码速率低于一定水平,则可能会干扰到一些作为编码目标的图片数据。例如,逐行扫描图片数据不可能保持其图片质量,并且如果其编码速率下降时,可能会对逐行扫描图片数据造成干扰。
鉴于上述情形进行了本发明,并且本发明提供了一种新型改进的图片传输装置、图片传输方法和程序,其中在抑制图片质量受数据类型干扰的同时,对图片数据进行了合适的编码。
根据本发明的实施例,提供了一种图片传输设备,该图片传输设备包括:编码部,该编码部被构造为对要传输的图片数据进行编码;速率获取部,该速率获取部被构造为获取由该编码部所进行编码的该图片数据的编码速率;以及设定部,该设定部被构造为根据由该速率获取部所获取的编码速率来设定隔行扫描或逐行扫描,作为要编码的图片数据的扫描类型。
优选,该图片传输设备还包括存储部,该存储部被构造为存储使编码速率的大小与隔行扫描图片数据的图片质量和逐行扫描图片数据的图片质量相关联的图表信息,该设定部基于所获取的编码速率和存储在该存储部中的图表信息来设定隔行扫描或逐行扫描。
优选,该存储部可以为该图片数据的不同类别的每一者存储图表信息,并且该设定部可基于所获取的编码速率和与要编码的图片数据的类型相对应的图表信息来设定隔行扫描和逐行扫描。
优选,该图表信息中的隔行扫描图片数据的图片质量和逐行扫描图片数据的图片质量由用户估测值来设定。
优选,如果所获取的编码速率高于预定阈值,则该设定部可设定逐行扫描,并且如果所获取的编码速率低于该预定阈值,则该设定部可设定隔行扫描。
优选,要编码的图片数据是运动图片数据,该图片传输设备还包括图片分析部,该图片分析部被构造为检测该运动图片数据中的场景变化,并且该设定部可根据由该图片分析部检测到场景变化时的编码速率来设定隔行扫描或逐行扫描。
优选,该预定阈值可以是第一阈值,如果所获取的编码速率低于第二阈值且高于第三阈值,其中该第二阈值高于该第一阈值,该第三阈值低于该第一阈值,则该设定部可在场景发生变化时设定隔行扫描或逐行扫描,并且如果所获取的编码速率高于该第二阈值或低于该第三阈值,则该设定部可在场景未发生变化的同时设定隔行扫描或逐行扫描。
优选,如果该图片分析部未检测到场景变化,则该设定部在自对编码速率和该预定阈值进行比较后经过预定的时间周期之后根据该编码速率来设定隔行扫描或逐行扫描。
根据本发明的另一实施例,提供了一种图片传输方法,所述图片传输方法包括:对要传输的图片数据进行编码;获取该图片数据的编码速率;以及根据所获取的编码速率来设定隔行扫描或逐行扫描,作为要编码的图片数据的扫描类型。
根据本发明的其它实施例,提供了一种用于使计算机执行步骤的程序,所述程序包括:对要传输的图片数据进行编码;获取该图片数据的编码速率;以及根据所获取的编码速率来设定隔行扫描或逐行扫描,作为要编码的图片数据的扫描类型。
根据本发明的上述实施例,可以在根据图片数据的类型抑制图片质量受到干扰的同时适当地对图片数据进行编码。
附图说明
通过阅读下面的描述和所附的附图,本发明的其它目的和优点将变得清楚,其中:
图1是示出图片通信系统的构造的概要性视图;
图2是示出图片传输装置的结构的功能性方框图;
图3是质量图表的示例性图表;
图4是包结构的概要示例性视图;
图5是是示出图片接收装置的结构的功能性方框图;
图6是图片传输处理的第一示例的示例性流程图;以及
图7是图片传输处理的第二示例的示例性流程图;
具体实施方式
现在,将参考附图来详细描述本发明的一些优选实施例。贯穿本说明书及其附图,大致具有相同功能性结构的构件用相同的符号来表示,并且将省略掉冗余的描述。
以下面的标题顺序给出解释:
1.图片通信系统的概述;
2.图片传输装置的结构;
3.图片接收装置的结构;
4.图片传输处理;
4-1.第一处理示例;
4-2.第二处理示例;以及
5.结论。
<1.图片通信系统的概述>
下面,通过参考图1来解释图片通信系统的概述。图1示出了图片通信系统1的一般构造。
如图1所示,图片通信系统1包括图片传输装置10、网络12、成像装置14、显示装置18和图片接收装置20。
成像装置14例如可以是摄像机。如此,成像装置14可以对目标进行拍照,以获得诸如静止图像、运动图像等等之类的图片数据。成像装置14将所获得的图像数据馈送给图片传输装置10。
图片传输装置10对成像装置14所供给的图片数据进行编码,生成包括被编码图片数据的包,并且经由网络12将所生成的包传输到图片接收装置20。同样地,图片传输装置10在传输控制协议友好速率控制(Transmission Control Protocol Friendly Rate Control,TFCP)下运作。也就是说,当从图片接收装置20接收包括诸如包丢失率和往返时间(RoundTrip Time,RTT)之类的信息的反馈包时,图片传输装置10基于所接收的反馈包执行包传输控制。下面将描述图片传输装置10的具体结构。
网络12包括到从连接到该网络12的装置所发送的信息的有线或无线链路。例如,网络12可以包括共用线路网络,如因特网、电话线路网络和卫星通信网络;各种局域网络(local area networks,LAN)以及包括以太网(Ethernet)(注册商标)的广域网络(wide area networks,WAN)。
图片接收装置20接收图片传输装置10经由网络12所发送的包,从所接收的包中重构图片数据,对所重构的图片数据进行解码,并且将所解码的图片数据馈送给显示装置18。例如,图片接收装置20可以生成包括有关包丢失率的信息的反馈包,并且经由网络12将该反馈包传输到图片传输装置10。下面,将具体描述图片接收装置20的具体结构。
显示装置18显示图片接收装置20所馈送给的图片数据。显示装置18可以例如是阴极射线管(cathode ray tube,CRT)显示装置、液晶显示(LCD)装置或有机发光二极管(OLED)装置。
如上所述的图片通信系统1允许图片数据的实时通信。因此,可以将图片通信系统1施加到例如视频手机系统或视频会议系统。尽管图1仅示出了一对通信装置(即,图片传输装置10和图片接收装置20),但是图片通信系统1实际上可以包括多个通信装置。
同时,图片通信系统1根据网络12的通信状态来改变被传输到图片接收装置20的图片数据的编码速率。如果其编码速率低于一定水平,则一些要编码的图片数据可能会受到干扰。例如,逐行扫描图片数据可能不会保持其图片质量,并且如果编码速率适当地降低时,其可能会受到干扰。为了解决此问题,根据本发明的图片通信系统1设定了隔行扫描或逐行扫描,作为根据实际编码速率的图片数据的扫描类型,如下面所讨论的。
<2.图片传输装置的结构>
下面,将参考图2来解释图片传输装置10的结构。图2是示出图片传输装置10的一般性结构的功能性方框图。
如图2所示,图片传输装置10包括图片分析部110、速率控制部120(作为速率获取部的示例)、I/P(隔行/逐行)控制部130(作为设定部的示例)、存储部140、编码部150、包处理部160和传输部170。
(图片分析部110)
图片分析部110对成像装置14所供给的图片数据执行图像分析。例如,图片分析部110可以对图片数据进行分析以判定其种类。在进行分析之后,图片分析部110将该图片数据转发给编码部150,并且将该图片数据的种类转发给I/P控制部130。
尽管上面已经描述了图片分析部110在分析图片数据的过程中判定其种类,但是本发明并不限于此。另外,可以通过使用诸如与图片数据或电子节目指南(Electronic Program Guide,EPG)有关的元数据之类的信息来判定图片数据的种类。
根据本实施例,成像装置14所馈送给的图片数据是包括多个场景的运动图像数据(视频数据)。图片分析部110能够检测到该运动图片数据中的场景变化。图片分析部110将与所检测到的场景变化的定时有关的信息供给I/P控制部130。
(速率控制部120)
速率控制部120执行速率控制以抑制包切换网络上的网络延迟和包丢失。例如,在用户数据报协议(User Datagram Protocol,UPD)中,速率控制部120通过TFRC来控制图片数据的编码速率。速率控制部120将所判定的速率供给I/P控制部130。
(I/P控制部130和存储部140)
I/P控制部130根据速率控制部120所供给的编码速率来设定隔行扫描或逐行扫描,作为用于要传输的图片数据的扫描类型。更具体而言,I/P控制部130基于速率控制部120所馈送给的编码速率和存储在存储部140中的质量图表来设定隔行扫描或逐行扫描。也就是说,隔行扫描或逐行扫描被设定为用于基于用户级服务质量(quality of service,QoS),如用户所体验的通信质量,即基于用户体验质量(quality of experience,QoE)所传输的图像数据的扫描类型,如下面所要详细描述的。
存储部140存储各种类别的数据。存储部140存储质量图表,如使编码速率大小与隔行扫描图片数据的图片质量和逐行扫描图片数据的图片质量相关联的图表信息。存储部140存储用于各类图片数据的质量图表。
下面将参考图3来描述存储在存储部140中的质量图表。图3是质量图表的解释性图表视图。质量图表通过预估测产生。该估测通过使用多个不同种类的视频数据项目来执行,并且产生了与所包含类别相对应的多个质量图表。
在此将产生质量图表的具体方法。首先,预备要估测的视频数据,并且以不同的编码速率将其编码成隔行扫描视频数据和逐行扫描视频数据。例如,目标编码速率在5至30Mbps之间的范围内,并且可以5Mbps的间隔将视频数据编码成隔行扫描视频数据和逐行扫描视频数据。接着,将各个视频数据呈递给包含多个应试者(用户)的主观估测或使用了多个估测工具的客观估测。在0至100的规模内使所估测的数值标准化,并且产生如图3所示的质量图表。
接着,解释图3中所示的质量图表。在该质量图表中,估测值0表示视频数据的最差图片质量,并且估测值100表示视频数据的最好图片质量。正如质量图表中所能看见的,当编码速率为15Mbps或更低时,隔行扫描视频数据的图片质量高于逐行扫描视频数据的图片质量。另一方面,当编码速率为20Mbps或更高时,逐行扫描视频数据的图片质量高于隔行扫描视频数据的图片质量。正如所述,逐行扫描图片数据的图片质量和隔行扫描图片数据的图片质量由用户所估测的数值设定。
可从相邻数值中插补未包含在图3质量图表中的编码速率(例如,17Mbps)处的估测值。例如,如果编码速率为17Mbps,则使用15Mbps和20Mbps所实施的线性插值法给出了逐行扫描图片数据的估测值为59.14,隔行扫描图片数据的估测值为67.54。
顺便提及,在产生质量图表过程中所估测的视频数据可包括诸如运动图片、基本上静止的图像(near-still image)、实景图像、动画和计算机图形等各种条件下的视频数据。
下面将通过使用上述质量图表来解释I/P控制部130所实施的控制细节。从与图片分析部所判定的类别相对应的质量图表中,I/P控制部130获得与所获取编码速率相对应的逐行扫描估测值和隔行扫描估测值,并且两种数值进行比较。如果逐行扫描估测值高于隔行扫描估测值,则I/P控制部130设定逐行扫描。如果逐行扫描估测值低于隔行扫描估测值,则I/P控制部130设定隔行扫描。也就是说,I/P控制部130从两个候选者中设定具有更好图片质量的扫描类型。
同样,I/P控制部130在图片分析部110检测到背景变化的同时设定隔行扫描或逐行扫描。通过将设定扫描类型的定时限制到图片数据中的背景发生变化之时,可以在切换扫描类型的情况下抑制图片质量的明显波动。
尽管上面在设定逐行扫描或隔行扫描之前对逐行扫描估测值和隔行扫扫描估测值进行比较的过程中描述了I/P控制部130,但本发明并不限于此。此外,例如,I/P控制部130可依据所获取的编码速率是否高于或低于预定阈值(存储在存储部140中)来设定逐行扫描或隔行扫描。
例如,如果所获取的编码速率高于预定的第一阈值(在预定的第一阈值处,逐行扫描估测值高于隔行扫描估测值),I/P控制部130可设定逐行扫描。如果所获取的编码速率低于预定的第一阈值,I/P控制部130可设定隔行扫描。在这样的情况下,没有必要将质量图表存储在存储部140中,从而使得存储部140的容量可以被有效地利用。此外,由于扫描类型只通过比较编码速率和对应的阈值判定,所以用于执行处理的时间被缩短了。
此外,在比较编码速率的步骤中可以设定多个阈值。例如,可以设定比第一阈值高的第二阈值和比第一阈值低的第三阈值。第二阈值和第三阈值可如下进行使用。
如果所获取的编码速率高于第二阈值或低于第三阈值,则I/P控制部130在不改变背景的同时设定隔行扫描或逐行扫描。具体而言,如果从速率控制部120获取的编码速率高于第二阈值,则即使背景变化的定时尚未到达,I/P控制部130也强制设定逐行扫描。另一方面,如果编码速率低于第三阈值,则即使背景变化的定时已经到达,I/P控制部130也强制设定隔行扫描。这种配置可以快速地设定适于实际编码速率的扫描类型。此外,即使在扫描类型被如上所述地强制设定之后编码速率发生了变化,则编码速率的较大波动也是不十分明显的,使得之后扫描类型被立即切换的可能性很小。
同时,如果所获取的编码速率位于第三与第二阈值之间,则I/P控制部130在背景变化的定时处设定隔行扫描或逐行扫描。当发现编码速率位于第三与第二阈值之间时,该编码速率接近第一阈值,或大约具有随后的波动,从而使扫描类型很可能被频繁地切换。因此,通过如上所述来限制设定扫描类型的定时可抑制扫描类型的频繁切换。
尽管上面在场景变化定时处进行设定(切换)的同时描述了扫描类型,但这并不对本发明构成限制。此外,例如,如果图片分析部110没有检测到场景变化,则I/P控制部130可以在预定的时间周期流逝之后根据实际的编码速率来设定隔行扫描或逐行扫描。这可以消除当在图片数据中没有检测到场景变化时扫描类型相对于编码速率没有发生适当切换的可能性。
(编码部150)
编码部150对图片分析部110所供给的图片数据进行编码。例如,编码方法可以包括JPEG(Joint Photographic Coding Experts Group,联合图像编码专家组)、JPEG2000、动态JPEG、AVC(Advanced Video Coding,高级视频编码)、MPEG-1(Moving Picture Experts Group 1,运动图像专家组1)、MPEG-2或MPEG-4。
编码部150根据I/P控制部130所设定的扫描类型对图片数据进行编码。例如,如果从图片分析部110馈送给的图片数据是逐行扫描数据且如果I/P控制部130设定了逐行扫描,则该图片数据在其扫描类型没有发生变化的情况下被编码。另一方面,如果I/P控制部130设定了隔行扫描,则图片数据的扫描类型在图片数据被编码之前变化为隔行扫描。
(包处理部160)
包处理部160基于编码部150所编码的图片数据生成包,并且将因此所生成的包馈送给传输部170。具体而言,包处理部160通过分割编码部150所编码的图片数据并将TCP(Transmission Control Protocol,传输控制协议)/IP报头附到所分割图片数据的每一者来生成包。此外,包处理部160可通过将UDP(User Datagram Protocol,用户数据报协议)/IP报头附到所分割图片数据的每一者来生成包。报头包括识别各个包的序列号。
为了向图片接收设备20告知I/P转换的定时,包处理部160在包化所编码图片数据的同时,将标识着逐行扫描或隔行扫描的标记附到各个包数据。在此通过擦参考图4来解释由包处理部160所生成的包数据的结构。图4是典型包数据结构的概要性解释视图。如图4所示,包数据除了包括报头和净荷(payload)之外,还包括标记P和标记F。
标记P是标识该包数据是逐行扫描数据还是隔行扫描数据的标记。例如,如果该包数据是逐行扫描数据,则标记P被设定为0;如果该包数据是隔行扫描数据,则该标记被设定为1。标记F是当包数据是隔行扫描数据时标识正在作用的是奇数场还是偶数场。例如,如果正在作用的是偶数场,则标记F被设定为0;如果正在作用的奇数场,则标记F被设定为1。当包数据为逐行扫描数据时,不对标记F进行设定。包处理部160在将标记P和F馈送给传输部170之前将其附到包数据。
(传输部170)
传输部170经由网络12将包处理部160所馈送给的包数据转发给图片接收设备20。
在图片传输设备10的上述功能性结构中,图片分析部110、速率控制部120、I/P控制部130、编码部150和包处理部160由诸如CPU(中央处理单元)或DSP(数字信号处理器)之类的运算处理单元构成。存储部140由诸如闪存之类的非易失性存储器、硬盘驱动器或诸如蓝光光盘驱动器之类的外部存储设备构成。CPU将从ROM(只读存储器)、存储部140或外部存储设备中所检索到的程序装载到RAM(随机存取存储器)中用以执行,从而实现了各种处理(包括下面所讨论的图片传输处理)。上述功能性结构的至少一部分可由植入专用逻辑之类的硬件构成。
<3.图片接收设备的结构>
现在,将参考图5来解释图片接收设备20的结构。图5是示出图片接收设备20的典型结构的功能性框图。
如图5所示,图片接收设备20包括接收部210、包处理部220、解码部230、I/P转换判定部240和I/P转换块250。
接收部210接收从图片传输设备10发送的包。接收部210将所接收到的包转发给包处理部220。
包处理部220重构来自接收部210所供给的包数据的图片数据。也就是说,由于每个包包含所分割的图片数据,所以包处理部220通过组合来自多个包数据的所分割图片数据来重构图片数据。
解码部230对包处理部220所重构的图片数据进行解码。解码部230将所解码的图片数据供给I/P转换判定部240。
基于被附到包数据的标记P(见图4)所给定的数值,I/P转换判定部240判定是否呈递了所解码的图片数据以便进行I/P转换。例如,如果发现标记P被设定为0(即,如果图片数据的扫描类型为逐行扫描),则不需要进行I/P转换,使得I/P转换判定部240将所解码的逐行扫描图片数据馈送给显示设备18。另一方面,如果发现标记P被设定为1(即,如果图片数据的扫描类型为隔行扫描),则需要进行I/P转换,使得I/P转换判定部240将所解码的隔行扫描图片数据提供给I/P转换块250。
I/P转换块250将从I/P转换判定部240馈送给的隔行扫描图片数据转换成逐行扫描数据。I/P转换块250将因此所转换的逐行扫描数据供给显示设备18。
显示设备18实时显示从I/P转换判定部240或从I/P转换块250供给的逐行扫描图片数据。正如所述,可通过利用包含在TV、PC显示监控器、视频卡等等中的I/P转换功能来进行低成本、高质量的分辨率变更处理。
由于I/P转换块250的处理时间,可能在显示被从I/P转换块250发送到显示设备18的图片数据的定时与显示被从I/P转换判定部240馈送给显示设备18的图片数据的定时之间产生差异。在这样的情况下,可通过缓冲从I/P转换判定部240供给的图片数据以推迟显示来消除该显示定时差异。
尽管上面描述了包括在本实施例的图片接收设备20中的I/P转换块250,但是本发明并不限于此。此外,例如,I/P转换块250可被安装在显示设备18中。
<4.图片传输处理>
现在将根据本实施例解释传输图片数据的处理。图片传输处理由执行存储在存储部140中的程序的图片传输设备10的CPU来实现。下面,将讨论图片传输处理的第一和第二示例。
(4-1.第一处理示例)
图6是图片传输处理的第一示例的解释性流程图。当图片传输设备10的图片分析部110被供给了来自成像设备14的图片数据时,开始执行图6中的流程。速率控制部120首先考虑到网络12的通信状态等等获取图片数据的编码速率(步骤S12)。速率控制部120将所获得的编码速率馈送给I/P控制部130。
接着,通过参照存储部140中的质量图表,I/P控制部130获取与速率控制部120所馈送给的编码速率相对应的隔行扫描估测值和逐行扫描估测值(S14)。如果在质量图表中没有发现从速率控制部120发送的编码速率的数值,则I/P控制部130通过上述插值处理获取相应的隔行扫描估测值和逐行扫描估测值。
同时,存储部140具有为不同类别的每一者所存储的质量图表,并且图片分析部110基于其图像分析来判定图片质量的类别。I/P控制部130从存储在存储部140中的多个质量图表中选择与图片分析部110所判定的类别相对应的质量图表。I/P控制部130参照所选择的质量图表来获取相应的隔行扫描估测值和逐行扫描估测值。以此方式,可以实时地、高精度地设定与要传输的图片数据类别相对应的扫描类型。
I/P控制部130接着对所获得的隔行扫描估测值和逐行扫描估测值进行比较(S16)。如果该比较表示逐行扫描估测值高于隔行扫描估测值(步骤S16中的是),则I/P控制部130设定逐行扫描(步骤S18)。
另一方面,如果该比较表示逐行扫描估测值低于隔行扫描估测值(步骤S16中的否),则I/P控制部130设定隔行扫描(步骤S20)。
I/P控制部130将与所设定扫描类型有关的信息供给编码部150。编码部150根据所设定的扫描类型对图片数据进行编码。例如,如果从图片分析部110馈送给的图片数据为逐行扫描数据且I/P控制部130设定了逐行扫描时,编码部150在不改变其扫描类型的情况下对所供给的图片数据进行编码。另一方面,如果I/P控制部130设定了隔行扫描,则编码部150在对图片数据进行编码之前将图片数据的扫描类型切换为隔行扫描。在通过传输部170将所编码的图片数据传输到图片接收设备20之前,通过包处理部160对其进行包化。
根据上述第一处理示例,可以在不抑制图片质量受到的干扰的情况下,适当地对图片数据进行编码。下面详细解释了当成像设备14向图片传输设备10供给逐行扫描图片数据时所发生的事情。
在逐行扫描图片数据的情况下,所包含的编码速率越高,图3所示的图片质量越高。因此,当从成像设备14供给的图片数据为逐行扫描数据时,如果速率控制部120所设定的编码速率很低,则由编码部150所编码的逐行扫描图片数据的图片质量可能受到干扰。相反,根据上述第一处理示例,如果所包含的编码速率很低,但将扫描类型从逐行扫描切换为隔行扫描,使得尽管实际的编码速率很低,图片数据的图片质量不会受到干扰。如果编码速率很高,则接着在保持高图片质量不变的情况下对逐行扫描图片数据进行编码并将其传输到图片接收设备20。
(4-2.第二处理示例)
图7是图片传输处理的第二示例的解释性流程图。当图片传输设备10的图片分析部110被供给了来自成像设备10的图片数据时,开始执行图7中的流程,这与图6中的流程一样。
在上述第一处理示例中,在成像设备14给定图片数据之后,I/P控制部130设定(切换)了图片数据的扫描类型。相反,在第二处理示例中,I/P控制部130只在构成图片数据的视频数据的场景发生变化的定时处设定(切换)图片数据的扫描类型。
在第二处理示例中,图片分析部110首先判定是否到达图片数据的场景发生变化的定时(步骤S32)。如果图片分析部110判定到达了场景变化的定时(步骤S32中的是),则I/P控制部130实施步骤S34至S42,以设定与实际编码速率相对应的图片数据扫描类型。
步骤S34至S42与图6中的步骤S12至S20大致相同。也就是说,I/P控制部130基于所使用的编码速率和质量图表来设定隔行扫描或逐行扫描,作为图片数据的扫描类型。其后,编码部150根据所设定的扫描类型对图片数据进行编码。当以此方式实施时,第二处理示例允许在抑制其图片质量受到干扰的情况下对该图片数据进行适当地编码,正如第一处理示例的情况。
另一方面,如果图片分析部110判定场景变化的定时尚未到达(步骤S32中的否),则I/P控制部130不会切换图片数据的扫描类型。在此情况下,在直至检测到场景变化之时,编码部150也会在相同的扫描类型下对图片数据进行编码。
根据上述第二实施例,可以根据构成图片数据的视频数据的场景发生变化的定时来切换隔行扫描或逐行扫描。也可以避免增加图片数据的扫描类型的切换次数。尤其在相应的隔行扫描估测值与逐行扫描估测值之间(例如,图3的质量图表中的15Mbps与20Mbps之间)的差值很小的编码速率的情况下,由于编码速率的随后波动,扫描类型的切换很有可能频繁地发生。此问题可以通过借助第二处理示例被解决。同样,该处理能够缓和扫描类型被频繁切换时用户所经受的不适感。
在第二处理示例中,描述了如果判定场景变化的定时已经到达,则图片数据的扫描类型被设定为与所使用的编码速率相对应。但是,本发明并不限于此。此外,例如,在选择了与编码速率相对应的图片数据的扫描类型之后,可以判定场景变化的定时是否到达,并且可以在场景变化的定时处将所选择的扫描类型付诸于实践。也就是说,直至场景变化定时到达之时,可以暂停所选择扫描类型的切换。如果在暂停预先选择的扫描类型(例如,隔行扫描)的同时,新选择了不同的扫描类型(例如,逐行扫描),则可以中止暂停状态和扫描类型的切换。换言之,可以在暂停状态之前保持正在作用的扫描类型(例如,逐行扫描)。
<5.结论>
上面所包含的图片传输设备10在根据速率控制部120所供给的编码速率将图片数据的扫描类型经由网络12发送到图片接收设备20时设定了隔行扫描或逐行扫描。这可使得在抑制其图片质量受到干扰的同时对图片数据进行合适地编码。具体而言,当编码速率很低时,将扫描类型从逐行扫描切换到隔行扫描,使得可以避免图片数据的图片质量受到干扰。当编码速率很高时,在保持高图片质量不变的情况下,对逐行扫描图片数据进行编码并将其传输到图片接收设备20。
通过切换图片数据的扫描类型,与以前相比,可以更加柔和地改变图片数据的编码速率。也就是说,编码速率可被配置为降低以便隔行扫描图片数据或升高以便逐行扫描图片数据。这种配置很可能减少网络阻塞的发生。
同样,由于质量图表被用来设定隔行扫描或逐行扫描,所以可以使用用户级别所体验的图片质量。
此外,当在视频数据的场景发生变化的定时处进行隔行扫描或逐行扫描的切换时,可以抑制图片质量因该切换所产生的显著变化。例如,当在场景变化的定时处从逐行扫描切换到隔行扫描时,可以抑制图片质量发生显著的下降。
本领域的技术人员可以理解,在不脱离所附权利要求的范围及其等同范围的前提下,取决于设计要求及其他因素,可以进行各种改变、组合、子组合以及替换。
同样在本说明书中,每个所附流程中所描述的步骤不仅表示基于时间序列的所示出次序中实施的处理,而且还表示可被并行或独立执行地和不必按时间顺序排列的处理。显而易见,实例所在次序中的基于时间次序的处理步骤也可以发生改变。
在本申请包含于2011年2月24日向日本特许厅递交的日本在先专利申请JP2011-038157涉及的主题,在此通过引用将其全部内容包含在本说明书中。

Claims (10)

1.一种图片传输设备,所述图片传输设备包括:
编码部,所述编码部被构造为对要传输的图片数据进行编码;
速率获取部,所述速率获取部被构造为获取由所述编码部进行编码的所述图片数据的编码速率;以及
设定部,所述设定部被构造为根据由所述速率获取部所获取的所述编码速率来设定隔行扫描或逐行扫描,作为要编码的所述图片数据的扫描类型。
2.根据权利要求1所述的图片传输设备,还包括:
存储部,所述存储部被构造为存储使所述编码速率的大小与隔行扫描图片数据的图片质量和逐行扫描图片数据的图片质量相关联的图表信息,
其中所述设定部基于所述所获取的编码速率和存储在所述存储部中的所述图表信息来设定所述隔行扫描或所述逐行扫描。
3.根据权利要求2所述的图片传输设备,其中
所述存储部为所述图片数据的不同类别的每一者存储所述图表信息,以及
所述设定部基于所述所获取的编码速率和与要编码的所述图片数据的类型相对应的所述图表信息来设定所述隔行扫描和所述逐行扫描。
4.根据权利要求2所述的图片传输设备,其中所述图表信息中的所述隔行扫描图片数据的图片质量和所述逐行扫描图片数据的图片质量由用户估测值来设定。
5.根据权利要求1所述的图片传输设备,其中
如果所述所获取的编码速率高于预定阈值,则所述设定部设定所述逐行扫描,并且
如果所述所获取的编码速率低于所述预定阈值,则所述设定部设定所述隔行扫描。
6.根据权利要求5所述的图片传输设备,其中
要编码的所述图片数据是运动图片数据,
所述图片传输设备还包括图片分析部,所述图片分析部被构造为检测所述运动图片数据中的场景变化,以及
所述设定部根据由所述图片分析部检测到所述场景变化时的所述编码速率来设定所述隔行扫描或所述逐行扫描。
7.根据权利要求6所述的图片传输设备,其中
所述预定阈值是第一阈值,
如果所述所获取的编码速率低于第二阈值且高于第三阈值,其中所述第二阈值高于所述第一阈值,所述第三阈值低于所述第一阈值,则所述设定部在所述场景变化时设定所述隔行扫描或所述逐行扫描,并且
如果所述所获取的编码速率高于所述第二阈值或低于所述第三阈值,则所述设定部在场景未发生变化的同时设定所述隔行扫描或所述逐行扫描。
8.根据权利要求6所述的图片传输设备,其中,如果所述图片分析部未检测到场景变化,则所述设定部在自从对所述编码速率和所述预定阈值进行比较后经过预定的时间周期之后根据所述编码速率来设定所述隔行扫描或所述逐行扫描。
9.一种图片传输方法,所述图片传输方法包括:
对要传输的图片数据进行编码;
获取所述图片数据的编码速率;以及
根据所述所获取的编码速率来设定隔行扫描或逐行扫描,作为要编码的所述图片数据的扫描类型。
10.一种用于使计算机执行步骤的程序,所述程序包括:
对要传输的图片数据进行编码;
获取所述图片数据的编码速率;以及
根据所述所获取的编码速率来设定隔行扫描或逐行扫描,作为要编码的所述图片数据的扫描类型。
CN2012100390802A 2011-02-24 2012-02-17 图片传输装置、图片传输方法和程序 Pending CN102651788A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-038157 2011-02-24
JP2011038157A JP2012175613A (ja) 2011-02-24 2011-02-24 画像送信装置、画像送信方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN102651788A true CN102651788A (zh) 2012-08-29

Family

ID=46693680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100390802A Pending CN102651788A (zh) 2011-02-24 2012-02-17 图片传输装置、图片传输方法和程序

Country Status (3)

Country Link
US (1) US20120219052A1 (zh)
JP (1) JP2012175613A (zh)
CN (1) CN102651788A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274972A (zh) * 2012-09-30 2019-01-25 微软技术许可有限责任公司 包括置信度水平和混合内容信息的补充增强信息

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9489659B1 (en) * 2012-04-02 2016-11-08 Cisco Technology, Inc. Progressive sharing during a collaboration session
KR101683409B1 (ko) * 2012-10-10 2016-12-06 지티이 코포레이션 미디어 전송 및 저장을 위한 비디오 주사 포맷의 캡슐화
WO2015132957A1 (ja) * 2014-03-07 2015-09-11 日立マクセル株式会社 映像機器及び映像処理方法
KR102340289B1 (ko) * 2014-08-20 2021-12-17 삼성디스플레이 주식회사 표시 패널의 구동 방법 및 이를 수행하기 위한 표시 장치
CN104837073B (zh) * 2015-05-12 2018-02-09 无锡天脉聚源传媒科技有限公司 一种wmv文件的解码方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061149A (ja) * 1999-08-20 2001-03-06 Kdd Corp フレーム構造/フィールド構造切替式画像符号化装置
JP2001258039A (ja) * 2000-03-14 2001-09-21 Victor Co Of Japan Ltd 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法
CN1441594A (zh) * 2002-02-25 2003-09-10 三星电子株式会社 用于变换扫描格式的装置和方法
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
WO2010007423A2 (en) * 2008-07-14 2010-01-21 Musion Ip Limited Video processing and telepresence system and method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3954656B2 (ja) * 1994-09-29 2007-08-08 ソニー株式会社 画像符号化装置及び方法
WO2000051355A1 (en) * 1999-02-26 2000-08-31 Stmicroelectronics Asia Pacific Pte Ltd Method and apparatus for interlaced/non-interlaced frame determination, repeat-field identification and scene-change detection
JP3859118B2 (ja) * 2000-08-25 2006-12-20 日本ビクター株式会社 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法
JP2003189311A (ja) * 2001-12-19 2003-07-04 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化方法
US6808270B2 (en) * 2002-01-03 2004-10-26 Eastman Kodak Company Closed loop three color alignment for digital projection
JP4534723B2 (ja) * 2004-11-05 2010-09-01 株式会社日立製作所 画像表示装置、画像処理装置および画像処理方法
US8488447B2 (en) * 2006-06-30 2013-07-16 Centurylink Intellectual Property Llc System and method for adjusting code speed in a transmission path during call set-up due to reduced transmission performance
JP4974652B2 (ja) * 2006-11-20 2012-07-11 シャープ株式会社 ストリーミング通信システム
US8027264B2 (en) * 2007-06-01 2011-09-27 Alcatel Lucent Method and apparatus for measuring subjective assessment of digital video impairment
WO2009141011A1 (en) * 2008-05-22 2009-11-26 Telefonaktiebolaget L M Ericsson (Publ) Content adaptive video encoder and coding method
CN102055966B (zh) * 2009-11-04 2013-03-20 腾讯科技(深圳)有限公司 一种媒体文件的压缩方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061149A (ja) * 1999-08-20 2001-03-06 Kdd Corp フレーム構造/フィールド構造切替式画像符号化装置
JP2001258039A (ja) * 2000-03-14 2001-09-21 Victor Co Of Japan Ltd 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
CN1441594A (zh) * 2002-02-25 2003-09-10 三星电子株式会社 用于变换扫描格式的装置和方法
WO2010007423A2 (en) * 2008-07-14 2010-01-21 Musion Ip Limited Video processing and telepresence system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109274972A (zh) * 2012-09-30 2019-01-25 微软技术许可有限责任公司 包括置信度水平和混合内容信息的补充增强信息
US11451795B2 (en) 2012-09-30 2022-09-20 Microsoft Technology Licensing, Llc Supplemental enhancement information including confidence level and mixed content information

Also Published As

Publication number Publication date
US20120219052A1 (en) 2012-08-30
JP2012175613A (ja) 2012-09-10

Similar Documents

Publication Publication Date Title
US11503307B2 (en) System and method for automatic encoder adjustment based on transport data
CN104620595A (zh) 主动式视频帧丢弃
CN102651788A (zh) 图片传输装置、图片传输方法和程序
CN103650509B (zh) 基于照相机和背景运动的参考帧缓冲区的自适应配置
US20090232202A1 (en) Wireless video streaming using single layer coding and prioritized streaming
JP2006319423A (ja) 送信機及び受信機
CN102714728B (zh) 视频图像编码数据的显示方法、设备和通信系统
US20110013701A1 (en) Method and device for reconstructing a sequence of video data after transmission over a network
WO2017214510A1 (en) Transcoding using time stamps
US20090052531A1 (en) Video coding
US20110235709A1 (en) Frame dropping algorithm for fast adaptation of buffered compressed video to network condition changes
AU2021200428C1 (en) System and method for automatic encoder adjustment based on transport data
JP4702443B2 (ja) 通信システム、通信方法、通信装置、およびプログラム
US20120281757A1 (en) Scene change detection for video transmission system
JP2010098441A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
KR20130124348A (ko) 협업 미디어 시스템에서 다수의 단말 디바이스에 대한 콘텐트 분배를 관리하기 위한 방법 및 장치
EP2308215B1 (en) Thinning of packet-switched video data
Hsu et al. Rate control and stream adaptation for scalable video streaming over multiple access networks
Li et al. A joint optimization method of coding and transmission for conversational HD video service
JP2011216986A (ja) 映像送信システム、送信装置及び中継装置
EP3123730B1 (en) Enhanced distortion signaling for mmt assets and isobmff with improved mmt qos descriptor having multiple qoe operating points
EP4369709A1 (en) Methods and systems for quality of experience-centric adaptive bitrate encoding for live video streaming
Koul et al. An N+ 1 redundant GOP based FEC algorithm for improving Streaming Video Quality due to Packet Loss and Delay Jitter
JP2011097621A (ja) 送信機及び受信機
WO2008026023A1 (en) Extending the bit-rate adaptation range using a combination of frame type prioritization and data partitioning such as rddp

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120829