CN102484697A - 显示设备、显示方法和用于执行该显示方法的程序 - Google Patents

显示设备、显示方法和用于执行该显示方法的程序 Download PDF

Info

Publication number
CN102484697A
CN102484697A CN2010800289810A CN201080028981A CN102484697A CN 102484697 A CN102484697 A CN 102484697A CN 2010800289810 A CN2010800289810 A CN 2010800289810A CN 201080028981 A CN201080028981 A CN 201080028981A CN 102484697 A CN102484697 A CN 102484697A
Authority
CN
China
Prior art keywords
video image
display
data
display device
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800289810A
Other languages
English (en)
Other versions
CN102484697B (zh
Inventor
绵贯启子
芥子育雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102484697A publication Critical patent/CN102484697A/zh
Application granted granted Critical
Publication of CN102484697B publication Critical patent/CN102484697B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

当显示多个视频图像时,即使有输入呼叫、输入邮件等中断,也能够在不中断或结束当前正在显示的多个视频图像的情况下继续其再现。外部数据检测部6在检测到诸如输入呼叫的外部数据时向负荷估计部7传送输入的检测到的信号。负荷估计部7在接收到外部数据输入检测到的信号时估计由与外部数据有关的处理施加于显示设备1的所述多个视频图像的显示的负荷的水平。视频图像显示控制部8根据由负荷估计部7估计的负荷水平来确定视频图像的显示质量以控制在视频图像显示部4上显示的视频图像。视频图像显示部4采用由视频图像显示控制部8控制的视频图像质量来显示多个视频图像。

Description

显示设备、显示方法和用于执行该显示方法的程序
技术领域
本发明涉及视频图像缩略图列表的显示,并涉及用于在显示多个视频图像的过程中不对用户加压力的情况下或不向设备施加负荷的情况下显示缩略图列表的显示设备、显示方法和用于执行该显示方法的程序。
背景技术
在视频图像的再现设备(播放器)及记录和再现设备(记录器)或具有经由广播或网络获得的视频图像的记录/再现的功能的PC等中,缩略图显示被频繁地用作用以高效地呈现/管理记录在诸如DVD(数字多功能盘)、BD(蓝光盘)、SD存储卡或HDD(硬盘驱动器)之类的记录介质中的许多视频图像的手段。
缩略图指的是小图像(通常是原始图像的缩小图像),表示代替视频图像而显示的视频图像,并且缩略图显示指的是由多个视频图像的缩略图(代表性的缩小的图像)组成的列表显示形式。缩略图通常是静止图像,然而依照设备的处理能力的改进,其中不通过静止图像而是通过移动图像来显示缩略图的所谓运动图像缩略图也已经被逐渐传播开。在其中显示设备的处理能力足够的情况下,原则上,可以通过运动图像来显示所有缩略图。
专利文献1描述了通过在屏幕上显示的多个视频图像的显示状态方面的差异来估计用户的兴趣程度,并且根据该兴趣程度来确定视频图像的显示质量的优先级。其还描述了通过基于该优先级来改变视频图像的显示规格,减少了与显示处理有关的数据量或视频图像数据的传递量。
在图16中,示出了示出专利文献1的视频图像显示处理系统的示意性结构图。此视频图像显示处理系统包括将视频图像结合到系统中的视频图像输入部301、显示结合的视频图像的显示设备200以及通信网络300,其通过将视频图像输入部301和显示设备200互连来传送各种数据。显示设备200包括发射/接收部201、视频图像显示部204、视频图像显示控制部205、显示状态管理表206以及兴趣程度测量部207。
视频图像显示控制部205将每个显示的视频图像的显示状态数据存储在显示状态管理表206中。兴趣程度测量部207基于显示状态数据来估计每个视频图像的用户的兴趣程度。视频图像显示控制部205改变每个视频图像的显示规格,从而用高显示质量显示其中感受到高兴趣程度的视频图像、并用降低的显示质量来显示其中感受到低兴趣程度的视频图像,以经由网络300从发射/接收部201传递至视频图像输入部301。视频图像输入部301基于改变的显示规格来控制待压缩的输入视频图像数据,并且视频图像数据经由网络300被传送到显示设备200。
也就是说,专利文献1的结构的特征在于,每个视频图像的显示规格被从屏幕上的视频图像的显示状态改变,并且视频图像数据被视频图像输入部301压缩,从而使得减少了与显示处理有关的数据量或视频图像数据的传递量。
专利文献2描述了在视频点播设备中,当在执行视频点播功能的同时执行电话功能时,节目的再现被暂时停止,从而防止节目由于电话功能而不能被观看。其还描述了在结束电话功能之后,解除节目的暂时停止,从而从停止位置重新开始再现。
已知技术文献
专利文献
专利文献1:日本专利申请特许公开No. 6-324662
专利文献2:日本专利申请特许公开No. 7-327221。
发明内容
本发明要解决的问题
采用专利文献2的技术,当观看视频图像时,观看可能被输入呼叫、输入邮件等中断,并且作为用于处理这些中断的方法,可以执行视频图像的观看的中断或结束。然而,存在对在看缩略图显示的同时在电话上与朋友交谈的需求,并且即使接收到输入呼叫,也在不中断或结束视频图像的再现的情况下要求再现。
此外,采用专利文献1的技术,在将显示设备连接到通信网络并经由网络来传送数据的系统中,可以设想在观看视频图像数据的同时,发生视频图像流等的接收,从而使得要在显示设备上显示的视频图像的数目增加。在这种情况下,向设备施加用于处理这些附加视频图像的负荷,因此,具有影响当前正在观看的视频图像的显示的可能性,然而,在专利文献1中,未假设此类情况。
此外,在专利文献1中,虽然在显示设备侧确定视频图像的显示规格,但其被配置为将所述规格经由网络传递至视频图像输入部,并且在将视频图像数据压缩之后,将其经由网络再次传送至显示设备,因此,期望的是,仅在显示设备侧完成处理。
同时,鉴于上述问题设计了本发明,并且本发明提供了即使当输入了与正在观看的视频图像数据不同的外部数据时也能够在不中断或结束当前正在观看的多个缩略图的运动图像显示的情况下继续再现的显示设备、显示方法和用于执行该显示方法的程序。
解决问题的手段
本发明提供了一种用于控制待显示的多个视频图像数据的显示质量的显示设备,包括:数据检测装置,其用于检测与正在显示的视频图像数据不同的数据的输入;负荷估计装置,其用于估计由所述不同的数据对所述显示设备的处理能力所施加的负荷;以及视频图像显示控制装置,其用于在所述负荷超过显示设备的处理能力的情况下改变将在显示设备上显示的多个视频图像的质量,从而使得显示处理能够继续。
在这里,所述不同的数据的特征在于是外部数据,其是除视频图像之外的数据。此显示设备还包括处理延迟装置,其用于在由所述数据检测装置检测到外部数据的接收时将所述外部数据的处理延迟预定时间。
此外,所述不同的数据的特征在于是除正在显示的视频图像数据之外另外显示的不同的视频图像数据。此显示设备还包括处理延迟装置,其用于在由所述数据检测装置检测到所述不同的视频图像数据的接收时将所述外部数据的处理延迟预定时间。
此外,本发明提供了一种用于控制待显示的多个视频图像数据的显示质量的显示设备,包括:视频图像检测装置,其用于检测除显示视频图像数据之外另外显示的视频图像数据;外部数据检测装置,其用于检测作为与所述视频图像数据不同的数据的外部数据的输入;负荷估计装置,其用于估计由所述附加的视频图像数据和/或外部数据对在显示设备上显示的多个视频图像的显示所施加的负荷;以及视频图像显示控制装置,其用于在所述负荷超过显示设备的处理能力的情况下改变将在显示设备上显示的视频图像的质量,从而使得显示处理能够继续。
该显示设备还包括:显示延迟装置,其用于在由所述视频图像检测装置检测到所述附加的视频图像的输入时将所述附加的视频图像的显示延迟预定时间;以及处理延迟装置,其用于在由所述外部数据检测装置检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
此外,本发明的显示设备的特征在于,所述视频图像显示控制装置通过根据由所述负荷估计装置所估计的负荷水平切换为实时再现、缓慢再现或跳跃再现来改变显示质量。
此外,本发明的显示设备的特征在于,所述视频图像显示控制装置通过根据由所述负荷估计装置估计的负荷水平在图像质量劣化的可容许范围内简化解码处理来改变所述显示质量。
此外,在本发明的显示设备中,所述视频图像显示控制装置可以同时切换所有视频图像的显示质量,可以改变除用户对其加以注意的视频图像之外的视频图像的显示质量,或者可以仅针对新添加的视频图像改变显示质量。
此外,本发明的显示设备的特征在于,所述视频图像显示控制装置具有在延迟期间向用户提供关于视频图像的显示质量的变化的通知的功能。
本发明提供了一种用于控制将在显示设备上显示的多个视频图像数据的显示质量的显示方法,包括:数据检测步骤,其检测与正在显示的视频图像数据不同的数据的输入;
负荷估计步骤,其估计由所述不同的数据对显示设备的处理能力所施加的负荷;以及
视频图像显示控制步骤,其在所述负荷超过显示设备的处理能力的情况下改变将在显示设备上显示的多个视频图像的质量,从而使得显示处理能够继续。
在这里,所述不同的数据的特征在于是外部数据,其是除所述视频图像之外的数据。此显示方法还包括处理延迟步骤,该步骤在由所述数据检测步骤检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
此外,所述不同的数据的特征在于是除正在显示的视频图像数据之外另外显示的不同的视频图像数据。此显示方法还包括当在所述数据检测步骤处检测到所述不同的视频图像数据的接收时将所述不同的视频图像数据的处理延迟预定时间的处理延迟步骤。
此外,本发明提供了一种用于控制待显示的多个视频图像数据的显示质量的显示方法,包括:视频图像检测步骤,其检测除显示视频图像数据之外另外显示的视频图像数据;外部数据检测步骤,其检测作为与所述视频图像数据不同的数据的外部数据的输入;负荷估计步骤,其估计由所述附加的视频图像数据和/或外部数据对在显示设备上显示的多个视频图像的显示所施加的负荷;以及视频图像显示控制步骤,其在所述负荷超过显示设备的处理能力的情况下改变将在显示设备上显示的视频图像的质量,从而使得显示处理能够继续。
这种显示方法还包括:显示延迟步骤,其在由所述视频图像检测步骤检测到所述附加的视频图像的输入时,将所述附加的视频图像的显示延迟预定时间;以及处理延迟步骤,其在由所述外部数据检测步骤检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
此外,本发明的显示方法的特征在于,在所述视频图像显示控制步骤处,通过根据由所述负荷估计装置估计的负荷水平切换为实时再现、缓慢再现或跳跃再现来改变显示质量。
此外,本发明的显示方法的特征在于,在所述视频图像显示控制步骤处,通过根据由所述负荷估计装置估计的负荷水平在图像质量劣化的可容许范围内简化解码处理来改变显示质量。
此外,在本发明的显示方法中,在所述视频图像显示控制步骤处,可以同时切换所有视频图像的显示质量,可以改变除用户对其加以注意的视频图像之外的视频图像的显示质量,或者可以仅改变新添加的视频图像的显示质量。
此外,本发明的显示方法的特征在于,在所述视频图像显示控制步骤处,提供了在延迟期间向用户提供关于视频图像的显示质量的变化的通知的功能。
此外,本发明提供了一种用于促使计算机执行所述显示方法的程序。
本发明的效果
根据本发明,即使当接收到诸如输入呼叫等的外部数据时、或者即使当输入了附加的视频图像时,也能够在不中断或结束当前正在观看的多个视频图像的再现的情况下继续再现,并且用户能够在没有任何压力的情况下操作设备。
另外,改变根据外部数据或附加的视频图像的接收状态的显示设备的多个视频图像的显示质量,从而使得可以与设备的处理能力相对应地有效地显示多个视频图像。
此外,实际的外部数据和附加的视频图像的处理被延迟了预定时间,并且同时(在CPU负荷的增加之前),显示设备的视频图像的显示质量被改变,从而使得能够与设备的处理能力相对应地显示多个视频图像。
此外,所述多个视频图像的再现根据由所述视频图像或外部数据对多个视频图像的显示施加的负荷水平而被切换为实时(实际时间)再现、缓慢再现或跳跃再现,从而使得能够与设备的处理能力相对应地显示所述多个视频图像。
附图说明
图1是第一实施例中的显示设备的方框结构图;
图2是示出视频图像显示部中的缩略图显示示例的说明图;
图3是示出第一实施例中的显示设备的处理程序的流程图;
图4是示出显示质量管理表的示例的说明图;
图5是第二实施例中的显示设备的方框结构图;
图6是示出第二实施例中的显示设备的处理程序的流程图;
图7是第三实施例中的显示设备的方框结构图;
图8是示出当添加视频图像时的显示示例的说明图;
图9是示出第三实施例中的显示设备的处理程序的流程图;
图10是第四实施例中的显示设备的方框结构图;
图11是示出第四实施例中的显示设备的处理程序的流程图;
图12是第五实施例中的显示设备的方框结构图;
图13是示出第五实施例中的显示设备的处理程序的流程图;
图14是第六实施例中的显示设备的方框结构图;
图15是示出第六实施例中的显示设备的处理程序的流程图;以及
图16是常规技术(专利文献1)的视频图像信息处理系统的示意性结构图。
具体实施方式
在下文中,将参考附图针对本发明的实施例给予描述。
<第一实施例>
作为实施例,在这里,以被配置为被应用于诸如具有显示设备的移动电话之类的通信设备的显示设备1为例,并给出其说明。本应用的结构在图1中示出。显示设备1包括显示质量控制部2、外部数据输出部3、视频图像显示部4以及视频图像累积部5。显示质量控制部2包括外部数据检测部6、负荷估计部7以及视频图像显示控制部8。基于此图,将针对组成显示设备1的每个部给予说明。
根据本实施例的显示设备1的特征在于具有显示质量控制部(显示质量控制装置)2,从而使得在其中通过运动图像来显示被显示为列表的缩略图的所谓运动图像缩略图显示中,例如,当输入了与显示视频图像数据不同的诸如电话或邮件之类的外部数据时,允许在不中断或结束的情况下继续显示正在屏幕上显示的多个视频图像。下面将针对显示质量控制部2的功能给予详细说明。
(显示质量控制部的功能)
外部数据检测部(外部数据检测装置)6检测诸如输入呼叫或邮件之类的外部数据经由通信功能从网络10到显示设备1的输入。例如,当检测到输入呼叫时,向负荷估计部7传送输入的检测到的信号。
负荷估计部7在接收到外部数据输入检测到的信号时估计由与外部数据有关的处理对多个视频图像的显示所施加的负荷的水平。这时的负荷是从多个视频图像的显示所需的处理量、外部数据的处理量和显示设备1的电池剩余量估计的对显示设备1的CPU(未示出)的总负荷。
视频图像显示控制部(视频图像显示控制装置)8根据由负荷估计部(负荷估计装置)7估计的负荷水平来确定在显示设备1上显示的所有视频图像的显示质量,并控制在视频图像显示部4处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下,包括解码处理)和缩略图在屏幕上的布置。例如,当负荷水平增加时,降低视频图像的帧速率或分辨率,增加压缩率,或简化解码处理。作为用于简化解码处理的方法,包括运动补偿的简化、解块滤波器的省略、跳帧等。在本实施例中,其特征在于视频图像的显示质量根据由负荷估计部7估计的负荷水平被确定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一种,并且对于其中的每一种而言,控制再现处理和所要求的布置。下面将描述其细节。
视频图像显示控制部(视频图像显示控制装置)8还可以仅针对除用户对其加以注意的视频图像之外的视频图像执行显示质量的改变。用户对其加以注意的视频图像是例如光标等被放置在其上面的显示设备1上的视频图像、在显示设备1的屏幕的中心中显示的视频图像、或由用户操作选择的视频图像。
视频图像显示部(视频图像显示装置)4包括例如液晶面板,并采用已经由视频图像显示控制部8确定的视频图像质量和布置将视频图像累积部5的视频图像、或被连接到显示设备1的外部存储器(虽然未示出)中的视频图像、或经由网络10分发的视频图像显示为缩略图。图2是示出其中在显示设备1的视频图像显示部4处显示多个视频图像(缩略图)的示例的示图。在本示例中,显示了四张视频图像11。即使在接收到输入呼叫或邮件时,所述多个视频图像11被继续显示而不消失。
外部数据输出部(外部数据输出装置)3执行已由外部数据检测部6检测到的外部数据的处理,例如诸如输入呼叫的响铃的处理。
在本实施例中,虽然针对缩略图视频图像的显示控制功能给出了说明,但在实际显示设备中,除缩略图视频图像之外,例如,还可以发生一个视频图像的再现或显示三维视频图像或诸如图片等的静止图像,因此,不用说,本实施例的功能还可在此类视频图像显示(再现)期间适用。在这方面,同样适用于其它实施例。
(显示质量控制部的处理流程)
接下来,将描述显示设备1中的处理流程。图3是示出第一实施例中的显示设备1的处理程序的流程图。
假设用户正在用显示设备1浏览作为图2中所示的显示示例的多个视频图像(缩略图)。这时,外部数据检测部6处于检测的备用状态(步骤S1:此后,省略该步骤)。当外部数据检测部6检测到诸如输入呼叫等的外部数据时(S1处的“是”),输入的检测到的信号被传送到负荷估计部7。负荷估计部7在接收到外部数据输入检测到的信号时估计由与所述外部数据有关的处理对显示设备1的多个视频图像的显示所施加的负荷的水平(S2)。视频图像显示控制部8根据由负荷估计部7估计的负荷水平来确定视频图像的显示质量,并控制在视频图像显示部4处显示的视频图像(S3)。视频图像显示部4用由视频图像显示控制部8确定的视频图像质量来显示多个视频图像(S4),并且该处理结束。
(视频图像显示控制)
接下来,将针对视频图像显示控制的方法给予说明。
视频图像显示控制部(视频图像显示控制装置)8根据由负荷估计部(负荷估计装置)7估计的负荷水平来确定视频图像的显示质量,并控制在视频图像显示部处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下,包括解码处理)和缩略图在屏幕上的布置。在这里,将针对下述方法给予说明,在该方法中,根据由负荷估计部7估计的负荷水平来将视频图像的显示质量确定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一种,并且对于其中的每一种而言,控制再现处理和所要求的布置。
假设用户正在用显示设备1浏览作为图2中所示的显示示例的多个视频图像(缩略图)。这时,假设接收到作为外部数据的输入呼叫,要求显示设备1的CPU处理所述多个视频图像11的显示和电话功能这两者。此外,在像移动电话那样由电池来驱动显示设备1的情况下,对CPU的负荷还取决于电池的容量。
然后,负荷估计部7从当前正在显示的多个视频图像的显示所需的处理量、执行所述外部数据所需的处理量和显示设备的电池剩余量来估计施加于显示设备1的CPU的负荷的水平。
视频图像显示控制部(视频图像显示控制装置)8包括如图4中所示的显示质量管理表15,并根据由负荷估计部(负荷估计装置)7估计的负荷水平16将视频图像质量水平17确定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一个。
在这里,“小负荷”是其中对视频再现的影响由于负荷水平小而被判断为小的情况,相应地,不改变到目前为止用户已经浏览的视频图像的质量,并且该视频图像的质量继续是实时(实际时间)再现。“中负荷”是其中对视频再现的影响被判断为中等的情况,并且相应地,到目前为止用户已经浏览的视频图像的质量被控制为缓慢再现,例如1/2速度再现。“大负荷”是其中对视频再现的影响被判断为大的情况,并且在这种情况下,控制到目前为止用户已经浏览的视频图像的质量以执行跳跃再现,例如以仅再现I图片。
请注意,在本实施例中,其被配置为随着负荷水平的增加按照实时再现→缓慢再现→跳跃再现的此顺序来改变视频图像质量,并且这是基于作为观看者对多个视频图像的再现的主观评估实验的结果,按照此顺序导致用户的容忍。请注意,视频图像质量的类型和变化顺序这二者不限于此。
在本实施例中,已经针对在输入与正在被观看的视频图像数据不同的外部数据时的显示控制功能给予了说明,然而,不用说,外部数据的输入的结束(例如挂断电话)也被图1中所示的外部数据检测部6检测到,从而使得在根据图3的流程图的时间点处以最佳视频图像质量来显示视频图像(即,返回到原始显示质量)。在这方面,同样适用于其它实施例。
以这种方式,在第一实施例中,当接收到外部数据时,估计施加于显示设备的处理负荷,并改变视频图像的显示质量,从而使得能够在不中断或结束的情况下继续显示设备上的处理负荷方面的减少以及视频图像的再现。
<第二实施例>
在图5中示出第二实施例的显示设备的结构。显示设备21包括显示质量控制部22、外部数据输出部23、视频图像显示部24以及视频图像累积部25。显示质量控制部22包括外部数据检测部26、负荷估计部27、视频图像显示控制部28和处理延迟部29。
除第一实施例的结构之外,第二实施例中的显示设备21包括处理延迟部29。从而,实际外部数据处理(诸如使电话的铃声响起)被延迟预定时间,并且同时(在CPU负荷增加之前),在显示设备21上显示的视频图像的显示质量被改变,并且从而能够执行与设备的处理能力相对应的多个视频图像的显示。
下面将针对第二实施例中的显示质量控制部22的功能详细地给予说明。
(显示质量控制部的功能)
外部数据检测部(外部数据检测装置)26检测诸如输入呼叫或邮件之类的外部数据经由通信功能到显示设备21的输入。例如,当检测到输入呼叫时,输入的检测到的信号被传送到处理延迟部29和负荷估计部27。
处理延迟部(处理延迟装置)29在接收到外部数据输入检测到的信号时将已经被检测到的外部数据的处理(例如输入呼叫处理(诸如输入呼叫的响铃))延迟预定时间。延迟时间可以是预先设置的,或者可以被延迟直到下面所示的视频图像显示部24上显示视频图像为止。
负荷估计部(负荷估计装置)27在接收到外部数据输入检测到的信号时估计由与外部数据有关的处理施加于多个视频图像的显示的负荷的水平。这时的负荷是从多个视频图像的显示所需的处理量、外部数据的处理量、和显示设备21的电池剩余量估计的对显示设备21的CPU的总负荷。
视频图像显示控制部(视频图像显示控制装置)28根据由负荷估计部(负荷估计装置)27估计的负荷水平来确定视频图像的显示质量,并控制在视频图像显示部24处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下,包括解码处理)和屏幕上的缩略图的布置。例如,当负荷水平增加时,降低视频图像的帧速率或分辨率,增加压缩率,或简化解码处理。作为用于简化解码处理的方法,包括运动补偿的简化、解块滤波器的省略、跳帧等。在本实施例中,其特征在于视频图像的显示质量根据由负荷估计部27估计的负荷水平被确定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一种,并且对于其中的每一种而言,控制再现处理和所要求的布置。其细节与第一实施例相同。
视频图像显示控制部(视频图像显示控制装置)28还可以具有显示定时控制功能,从而使得在将所述处理延迟之后,全部的多个视频图像被同时切换为所述显示质量。
视频图像显示控制部(视频图像显示控制装置)28还可以仅针对除用户对其加以注意的视频图像之外的视频图像执行显示质量的改变。用户对其加以注意的视频图像是例如光标等被放置在其上面的显示设备上的视频图像、在显示设备的屏幕的中心中显示的视频图像、或由用户操作选择的视频图像。
此外,视频图像显示控制部(视频图像显示控制装置)28可以具有用以在处理的延迟期间向用户提供关于视频图像的显示质量方面的变化的通知的功能。例如,在改变显示质量之前,可以采用将被改变的显示质量在视频图像周围显示文本(字符),或者可以显示视频图像效果,诸如用将被改变的显示质量照亮视频图像的框,从而向用户提供通知。
视频图像显示部(视频图像显示装置)24包括例如液晶面板,并采用已经在视频图像显示控制部28中加以确定的视频图像质量和布置将视频图像累积部25的视频图像、或被连接到显示设备21的外部存储器(虽然未示出)中的视频图像、或经由网络30分发的视频图像显示为缩略图。
外部数据输出部(外部数据输出装置)23执行已经被处理延迟部29延迟的外部数据的处理,例如,诸如输入呼叫的响铃之类的处理。
(显示质量控制的处理流程)
接下来将针对第二实施例中的显示设备21中的处理流程给予说明。图6是示出第二实施例中的显示设备21的处理程序的流程图。
假设用户正在用显示设备21浏览作为图2中所示的显示示例的多个视频图像(缩略图)。这时,外部数据检测部26处于检测的备用状态(S11)。当外部数据检测部检测到诸如输入呼叫等的外部数据时(在S11处“是”),输入的检测到的信号被传送到处理延迟部29和负荷估计部27。处理延迟部29在接收到外部数据输入检测到的信号时将输入呼叫处理(诸如输入呼叫的响铃)延迟预定时间(S12)。负荷估计部27在接收到外部数据输入检测到的信号时估计由与外部数据有关的处理施加于显示设备的多个视频图像的显示的负荷的水平(S13)。请注意,在此处理流程中,在使所述处理延迟之后执行负荷水平的估计,然而,可以执行负荷水平的估计,其后,可以使处理延迟,或者替换地,可以同时地执行两个处理。
视频图像显示控制部28根据由负荷估计部27估计的负荷水平来确定视频图像的显示质量并控制在视频图像显示部24上显示的视频图像(S14)。视频图像显示部24采用由视频图像显示控制部28控制的视频图像质量来显示多个视频图像(S15)。在预定时间过去之后,外部数据输出部23执行诸如输入呼叫处理(诸如输入呼叫的响铃)之类的外部数据的处理(S16),并且该处理结束。
请注意,在本处理流程中,将S12处的处理延迟设置为预定时间,并且S16处的处理执行是在预定时间过去之后。然而,可以不设置S12处的处理延迟的时间,并且虽然图6中未示出,但可以在S13处根据由负荷估计部27估计的负荷水平来确定延迟时间,或者替换地,可以提供用于判断是否完成S15处的视频图像显示的流程,并且该过程可以在视频图像显示完成时转移到S16处的处理执行。
按照这种方式,在第二实施例中,提供外部数据的处理延迟部29,并且由此,输入呼叫处理等(诸如输入呼叫的响铃)被延迟预定时间,并且同时(在CPU负荷增加之前),改变显示设备的视频图像的显示质量,从而使得能够与设备的处理能力相对应地显示多个视频图像。
<第三实施例>
在下文中,作为实施例,将给出用于被配置为被应用于诸如具有显示设备的移动电话之类的通信设备的显示设备31的说明作为示例。本申请的结构在图7中示出,并且基于附图,将针对组成显示设备31的每个部给予说明。
显示设备31包括显示质量控制部32、视频图像显示部34以及视频图像累积部35。显示质量控制部32包括视频图像检测部36、负荷估计部37和视频图像显示控制部38。
在第三实施例中,如图7中所示,除了结合在显示设备31中的视频图像累积部35之外,能够从视频服务器41向显示设备31分发多个视频图像,并且其目的是控制何时从视频图像累积部35和/或视频服务器41向当前在其上面显示视频图像的显示设备31添加视频图像数据,从而使得当前显示的视频图像或待添加的视频图像的显示质量被改变,以便不超过显示设备31的显示处理能力。请注意,虽然图7中未示出,但可以在其中结合被连接到显示设备31的外部存储器中的视频图像。
(显示质量控制部的功能)
视频图像检测部(视频图像检测装置)36检测来自视频图像累积部35或经由网络40来自视频服务器41的视频图像数据的输入,并向负荷估计部37传送所检测到的信号。
负荷估计部(负荷估计装置)37在接收到视频图像输入检测到的信号时估计由与附加的视频图像的显示有关的处理对当前正在显示的视频图像的显示施加的负荷的水平。这时的负荷是从当前视频图像的显示所需的处理量、附加的视频图像的显示所需的处理量和显示设备31的电池剩余量估计的对显示设备31的CPU的总负荷。例如,在当显示三个视频图像时接收到不同的三个视频图像的情况下,从用于全部的六个视频图像的再现处理所需的处理量、显示设备31的电池剩余量等来估计显示设备31的CPU的负荷水平。请注意,所述多个视频图像的显示所需的处理量取决于在屏幕上显示的视频图像的张数、每个视频图像的尺寸、帧速率的数目、分辨率等。
视频图像显示控制部(视频图像显示控制装置)38根据由负荷估计部(负荷估计装置)37估计的负荷水平来确定所有视频图像(当前正在显示的视频图像和将要添加的视频图像)的显示质量,并控制在视频图像显示部处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下,包括解码处理)和屏幕上的缩略图的布置。例如,当负荷水平增加时,降低所有视频图像的帧速率或分辨率,增加压缩率,或简化解码处理。作为用于简化解码处理的方法,包括运动补偿的简化、解块滤波器的省略、跳帧等。在第三实施例中,如同第一实施例一样,提供了如图4中所示的显示质量管理表15,并且根据由负荷估计部37估计的负荷水平16将视频图像质量水平17确定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一种。
在这里,“小负荷”是对视频再现的影响由于负荷水平小(像One Seg等的低质量视频图像)而被判断为小的情况,相应地,不改变到目前为止用户已经浏览的视频图像的质量,并且其继续被实时(实际时间)再现。“中负荷”是对视频再现的影响被判断为中等的情况,相应地,到目前为止用户已经浏览的视频图像的质量被控制为缓慢再现,例如1/2速度再现,从而使得负荷被减到1/2。“大负荷”是对视频再现的影响被判断为大的情况,像高像素/高帧速率视频图像,并且在这种情况下,控制到目前为止用户已经浏览的视频图像的质量以执行跳跃再现,例如以仅再现I图片,从而使得负荷被降至几十分之一。
视频图像显示控制部(视频图像显示控制装置)38还可以具有用以仅对除用户对其加以注意的视频图像之外的视频图像执行显示质量改变的功能。用户对其加以注意的视频图像是例如光标等被放置在其上面的显示设备31上的视频图像、在显示设备的屏幕的中心中显示的视频图像、或由用户操作选择的视频图像。
此外,视频图像显示控制部(视频图像显示控制装置)38可以具有用以仅对附加视频图像执行显示质量改变的功能。例如,如图8A中所示,在视频图像显示部34上显示三个视频图像45。在添加至视频图像45、添加三个视频图像46而变成图8B的情况下,假设下面的三个是附加视频图像46,仅改变所述下面的三个视频图像46的显示质量。
视频图像显示部(视频图像显示装置)34包括例如液晶面板,并采用已经在视频图像显示控制部38中被确定的视频图像质量和布置将所有视频图像(当前正在显示的视频图像和附加视频图像)显示为缩略图。
(显示质量控制部的处理流程)
将在图9的流程图中针对关于当如图8中所示地再现三个视频图像时该三个视频图像被视频图像检测部检测到的情况的显示设备31的处理给予说明。
假设用户正在用显示设备31浏览类似于图8A中所示的显示示例的三个视频图像。这时,当视频图像检测部36检测到经由网络40进行的三个视频图像数据的分发时(S21处的“是”),向负荷估计部37传送检测信号。负荷估计部37在接收到视频图像检测到信号时估计由与包括三个当前视频图像和三个附加视频图像的总共六个视频图像的再现有关的处理施加于显示设备31中的视频图像的显示的负荷的水平(S22)。
视频图像显示控制部38根据由负荷估计部37估计的负荷水平来确定视频图像的显示质量和布置,并控制在视频图像显示部34上显示的视频图像(S23)。这里,当负荷水平被确定为例如“中”时,显示质量变成“缓慢再现”,并且所述布置例如是如图8B的显示示例中所示的布置。视频图像显示部34采用由视频图像显示控制部38控制的视频图像质量和布置来显示六个视频图像(S24),并且该处理结束。
在本流程中,图8B的显示示例中的所有视频图像45和46变成以缓慢再现来加以执行。请注意,在本实施例中,将视频图像质量描述为“实时(实际时间)再现”、“缓慢再现”和“跳跃再现”,然而,不限于此。当负荷水平增加时,可以降低所有视频图像的帧速率或分辨率,可以增加压缩率,或者可以按比例缩小视频图像的尺寸。此外,如上所述,可以仅针对除用户对其加以注意的一个之外的视频图像和附加视频图像执行视频图像质量的改变。
请注意,在本实施例中,虽然已经针对当输入与当前正在观看的视频图像不同的视频图像时的显示控制功能给予了说明,但不用说,由于正在显示的多个视频图像的一部分的结束等引起的视频图像的数目的减小(例如,从作为图8B的显示示例的六个视频图像到作为图8A的显示示例的三个视频图像的减小)也被图7中所示的视频图像检测部36检测到,从而使得在根据图9的流程图的时间点处采用最佳视频图像质量显示视频图像。在这方面,同样适用于其它实施例。
用此处理,在由于待显示的视频图像的增加而导致预期到与设备的处理能力有关的负荷的增加的情况下,改变当前显示的视频图像和待添加的视频图像的显示质量,并因此能够在不中断或结束多个视频图像的情况下继续显示。
<第四实施例>
在图10中示出第四实施例中的显示设备的结构。显示设备51包括显示质量控制部52、视频图像显示部54以及视频图像累积部55。显示质量控制部52包括视频图像检测部56、负荷估计部57、视频图像显示控制部38和显示延迟部59。
如图10中所示,除第三实施例的结构之外,第四实施例包括显示延迟部(显示延迟装置)59。从而,当检测到经由网络从视频服务器分发的视频图像数据或来自视频图像累积部55的视频图像数据时,将视频图像的显示延迟预定时间,并且同时,估计由于视频图像的数目的增加而导致施加于显示设备51的CPU的负荷,并控制视频图像显示的质量和布置,并且因此能够在即使待显示的视频图像的数目增加也不中断或结束视频图像再现的情况下继续显示。
在下文中,基于图10,将针对组成显示设备51的每个部给予说明。
(显示质量控制部的功能)
视频图像检测部(视频图像检测装置)56检测来自视频图像累积部或经由网络来自视频服务器的视频图像数据的输入,并向负荷估计部57和显示延迟部59传送检测信号。显示延迟部(显示延迟装置)59在接收到视频图像输入检测到的信号时将所检测到的视频图像的处理、即视频图像的显示(再现)延迟预定时间。
负荷估计部(负荷估计装置)57在接收到视频图像输入检测到的信号时估计由与视频图像有关的处理施加于当前正在显示的多个视频图像的显示的负荷的水平。这时的负荷是由当前视频图像的显示所需的处理量、与附加视频图像的显示有关的处理量和与视频图像数据有关的处理量、以及显示设备51的电池剩余量估计的对显示设备51的CPU的总负荷。例如,在当显示三个视频图像时接收到不同的三个视频图像的情况下,从用于全部的六个视频图像的再现处理所需的处理量、显示设备51的电池剩余量等来估计CPU的负荷水平。请注意,多个视频图像的显示所需的处理量取决于在屏幕上显示的视频图像的张数、每个视频图像的尺寸、帧速率的数目、分辨率等。
视频图像显示控制部(视频图像显示控制装置)58根据由负荷估计部(负荷估计装置)57估计的负荷水平来确定所有视频图像(当前正在显示的视频图像和待添加的视频图像)的显示质量,并控制在视频图像显示部54处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下,包括解码处理)以及屏幕上的缩略图的布置。例如,当负荷水平增加时,降低所有视频图像的帧速率或分辨率,增加压缩率,或简化解码处理。作为用于简化解码处理的方法,包括运动补偿的简化、解块滤波器的省略、跳帧等。如同第一实施例一样,提供了如图4中所示的显示质量管理表,并根据由负荷估计部(负荷估计装置)估计的负荷水平、针对视频图像质量水平作出决定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一种。
视频图像显示控制部(视频图像显示控制装置)58可以具有显示定时控制功能,从而使得在将显示延迟之后全部的多个视频图像被同时切换为所述显示质量。
视频图像显示控制部(视频图像显示控制装置)58还可以仅针对除用户对其加以注意的视频图像之外的视频图像执行显示质量的改变。用户对其加以注意的视频图像是例如光标等被放置在其上面的显示设备51上的视频图像、在显示设备51的屏幕的中心中显示的视频图像、或由用户操作选择的视频图像。
视频图像显示控制部(视频图像显示控制装置)58还可以具有用以仅针对附加视频图像执行显示质量的改变的功能。
另外,视频图像显示控制部(视频图像显示控制装置)58可以具有用以在显示的延迟期间向用户提供关于视频图像的显示质量的改变的通知的功能。
视频图像显示部(视频图像显示装置)54包括例如液晶面板,并在预定(延迟)时间之后采用已经在视频图像显示控制部58中确定的视频图像质量和布置将经由网络分发的视频图像和当前正在显示的视频显示为缩略图。
(显示质量控制的处理流程)
将在图11的流程图中针对关于当再现三个视频图像时该三个视频图像被视频图像检测部56检测到的情况的显示设备51的处理给予说明。
假设用户正在用显示设备51浏览类似于图8A中所示的显示示例的三个视频图像。这时,当视频图像检测部56检测到由视频服务器61经由网络60进行的三个视频图像数据的分发时(在S31处的“是”),向负荷估计部57和显示延迟部59传送输入的检测到的信号。显示延迟部49在接收到视频图像输入检测到的信号时将视频图像的显示延迟预定时间(S32)。负荷估计部57在接收到视频图像输入检测到的信号时估计由与包括三个当前视频图像和三个添加的视频图像的全部六个视频图像的再现有关的处理对显示设备51中的视频图像的显示所施加的负荷的水平(S33)。请注意,在该处理流程中,在将显示延迟之后执行负荷水平的估计,然而,可以在估计负荷水平之后将显示延迟,或者可以同时地执行那些处理。
视频图像显示控制部58根据由负荷估计部57估计的负荷水平来确定视频图像的显示质量和布置,并控制在视频图像显示部34上显示的视频图像(S34)。在这里,当负荷水平被确定为例如“中”时,显示质量变成“缓慢再现”,并且布置例如是如图8B的显示示例中所示的布置。视频图像显示部54在预定时间过去之后采用由视频图像显示控制部确定的视频图像质量和布置来显示所述六个视频图像(S35),并且该处理结束。
请注意,在本处理流程中,将S32处的显示延迟设置为预定时间,并且在预定时间过去之后执行S35处的显示执行。然而,在不设置S32处的处理延迟的时间的情况下,虽然图11中未示出,但可以根据由负荷估计部57估计的负荷水平在S33处确定延迟时间,或者替换地,可以提供用于判断是否确定S34处的视频图像质量的流程,并且当确定视频图像质量时,该过程可以转移到S35处的显示执行。
以这种方式,在第四实施例中,提供用于附加的视频图像的显示延迟部59,并从而将从网络分发的视频图像或选自视频图像累积部55的视频图像的显示延迟预定时间,并同时(在CPU负荷增加之前),改变视频图像的显示质量,并从而能够执行与设备的处理能力相对应的多个视频图像的显示,从而使得视频图像的显示能够在没有中断或结束的情况下继续。
<第五实施例>
在下文中,将通过使用附图针对本发明的实施例给予说明。作为实施例,如同第一和第二实施例一样,基于被配置为被应用于诸如移动电话之类的通信设备的显示设备71(图12),将针对每个部给予说明。
显示设备71包括显示质量控制部72、外部数据输出部73、视频图像显示部74以及视频图像累积部75。显示质量控制部72包括外部数据检测部76、视频图像检测部86、负荷估计部77和视频图像显示控制部78。
在第五实施例中,第一实施例和第三实施例共存,并且其使得可以处理诸如输入呼叫或邮件之类的外部数据、以及被结合在显示设备71中的视频图像累积部75的视频图像和经由网络分发的视频图像两者。
从而,当除诸如输入呼叫之类的外部数据之外,在一个屏幕上显示多个视频图像时,即使当从视频图像累积部75或经由网络80从视频服务器81接收到视频图像数据时,也能够在不中断或结束视频图像的再现的情况下继续所述视频图像的显示。
显示质量控制部72中的负荷估计部77估计与在第一实施例中所述的外部数据和在第二实施例中所述的视频图像的处理这二者有关的负荷,并且视频图像显示控制部78控制何时输入诸如输入呼叫之类的外部数据和/或从视频图像累积部75和/或视频服务器81向当前正在显示的视频图像添加视频图像数据,从而使得在屏幕上显示的视频图像的显示质量改变,从而不超过显示设备71的处理能力,并使得能够在不中断或结束多个视频图像的再现的情况下继续显示所述多个视频图像。
(显示质量控制部的功能)
外部数据检测部(外部数据检测装置)76检测经由通信功能到显示设备71的诸如输入呼叫或邮件之类的外部数据的输入,并向负荷估计部77传送检测信号。视频图像检测部(视频图像检测装置)86检测经由网络从视频图像累积部75和视频服务器81的多个视频图像的分发,并向负荷估计部77传送检测信号。负荷估计部(负荷估计装置)77在接收到外部数据和/或视频图像数据的输入的检测到的信号时估计由与所述外部数据和/或视频图像数据有关的处理对当前正在显示的多个视频图像的显示所施加的负荷的水平。这时的负荷是从当前的视频图像的显示所需的处理量、与所述外部数据和/或视频图像数据有关的处理量、和显示设备71的电池剩余量估计的对显示设备71的CPU的总负荷。
视频图像显示控制部(视频图像显示控制装置)78根据由负荷估计部(负荷估计装置)77估计的负荷水平来确定所有视频图像(当前正在显示的视频图像和待添加的视频图像)的显示质量,并控制在视频图像显示部74处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下包括解码处理)和屏幕上的缩略图的布置。例如,当负荷水平增加时,降低所有视频图像的帧速率或分辨率,增加压缩率,或简化解码处理。作为用于简化解码处理的方法,包括运动补偿的简化、解块滤波器的省略、跳帧等。在第五实施例中,如同第一实施例一样,提供了如图4中所示的显示质量管理表15,并且根据由负荷估计部(负荷估计装置)77估计的负荷水平16将视频图像质量水平17确定为实时(实际时间)再现、缓慢再现或跳跃再现中的任何一种。其细节与上述实施例相同。
视频图像显示控制部(视频图像显示控制装置)78还可以具有用以仅针对除用户对其加以注意的视频图像之外的视频图像执行显示质量的改变的功能。此外,视频图像显示控制部(视频图像显示控制装置)78可以具有用以仅针对附加视频图像执行显示质量的改变的功能。
视频图像显示部(视频图像显示装置)74包括例如液晶面板,并采用已经在视频图像显示控制部中确定的视频图像质量和布置将当前正在显示的视频图像和附加视频图像显示为缩略图。
外部数据输出部(外部数据输出装置)73执行外部数据的处理(例如,在输入呼叫处理的情况下的响铃等)。
(显示质量控制的处理流程)
将在图13的流程图中针对第五实施例中的显示设备71的处理流程给予说明。
假设用户正在用显示设备71浏览类似于图8A中所示的显示示例的三个视频图像。这时,当视频图像数据检测部86检测到经由网络80进行的所述三个视频图像数据的分发时,向负荷估计部77传送输入的检测到的信号。另一方面,当外部数据检测部76检测到诸如输入呼叫之类的外部数据时,向负荷估计部77传送输入的检测到的信号。也就是说,当视频图像数据检测部86和/或外部数据检测部76检测到视频图像数据和/或外部数据时,向负荷估计部77传送输入的检测到的信号(S41处的“是”)。
负荷估计部77估计由包括三个当前视频图像和三个添加的视频图像的总共六个视频图像的再现和外部数据的处理对显示设备71中的视频图像的显示施加的负荷的水平(S42)。视频图像显示控制部78根据由负荷估计部77估计的负荷水平来确定视频图像的显示质量和布置,并控制在视频图像显示部74上显示的视频图像(S43)。在这里,当负荷水平被确定为例如“大”时,显示质量变成“跳跃再现”,并且布置例如是如图8B的显示示例中所示的布置。视频图像显示部74采用由视频图像显示控制部78确定的视频图像质量和布置来显示所述六个视频图像(S44),并且该处理结束。
采用此处理,在由于待显示的视频图像的增加和具有电话呼叫而导致预测到与设备的处理能力有关的负荷的增加的情况下,当前正在显示的视频图像和待添加的视频图像的显示质量被改变,以便不超过显示设备71的处理能力,并使得能够在不中断或结束多个视频图像的再现的情况下继续显示该多个视频图像。
<第六实施例>
在图14中示出第六实施例中的显示设备91的结构。显示设备91包括显示质量控制部92、外部数据输出部93、视频图像显示部94、以及视频图像累积部95。显示质量控制部92包括外部数据检测部96、视频图像检测部106、处理延迟部99、显示延迟部109、负荷估计部97和视频图像显示控制部98。
在第六实施例中,如图14中所示,其特征在于除第五实施例的结构之外,在显示质量控制部92中提供了显示延迟部(显示延迟装置)109和处理延迟部(处理延迟装置)99。从而,在在屏幕上显示多个视频图像时,当经由网络100从视频图像累积部95或视频服务器101接收到视频图像时,添加诸如输入呼叫之类的外部数据,外部数据的处理和视频图像的显示被延迟预定时间,并且同时,估计施加于设备的CPU的负荷,并且控制视频图像显示的质量和布置,并且从而能够在不中断或结束视频图像的再现的情况下继续所述视频图像的显示。
在下文中,基于图14,将针对组成显示设备91的每个部给予说明。
(显示质量控制部的功能)
外部数据检测部(外部数据检测装置)96检测诸如输入呼叫或邮件之类的外部数据经由通信功能到显示设备91的输入。例如,当检测到输入呼叫时,向处理延迟部99和负荷估计部97传送输入的检测到的信号。视频图像检测部(视频图像检测装置)106检测经由网络从视频图像累积部95或从视频服务器101的视频图像数据的分发,并向显示延迟部109和负荷估计部97传送检测信号。
处理延迟部(处理延迟装置)99在接收到外部数据输入检测到的信号时将所述外部数据的处理延迟(诸如在输入呼叫的情况下响铃)预定时间。显示延迟部(显示延迟装置)109在接收到视频图像接收信号时将视频图像的处理延迟预定时间。视频图像的处理是例如所分发的视频图像的再现处理。
负荷估计部(负荷估计装置)97在接收到外部数据和/或视频图像输入检测到的信号时估计由与外部数据和/或视频图像数据有关的处理对当前正在显示的多个视频图像的显示施加的负荷的水平。这时的负荷是从当前视频图像的显示所需的处理量、与外部数据和/或视频图像数据有关的处理量、和显示设备91的电池剩余量估计的对显示设备91的CPU的总负荷。
视频图像显示控制部(视频图像显示控制装置)98根据由负荷估计部(负荷估计装置)97估计的负荷水平来确定所有视频图像(当前正在显示的视频图像和待添加的视频图像)的显示质量,并控制在视频图像显示部94处的屏幕上显示的每个缩略图视频图像的再现(在已编码数据的情况下包括解码处理)和屏幕上的缩略图的布置。例如,当负荷水平增加时,降低所有视频图像的帧速率或分辨率,增加压缩率,或简化解码处理。作为用于简化解码处理的方法,包括运动补偿的简化、解块滤波器的省略、跳帧等。其细节与上述实施例相同。
视频图像显示控制部(视频图像显示控制装置)98还可以具有显示定时控制功能,从而使得在预定时间过去(延迟)之后,全部的多个视频图像被同时切换为所述显示质量。
视频图像显示控制部(视频图像显示控制装置)98还可以仅针对除用户对其加以注意的视频图像之外的视频图像执行显示质量的改变。
视频图像显示控制部(视频图像显示控制装置)98还可以具有用以仅针对附加视频图像执行显示质量的改变的功能。
另外,视频图像显示控制部(视频图像显示控制装置)98可以具有用以在显示的延迟期间向用户提供关于视频图像的显示质量方面的改变的通知的功能。
视频图像显示部(视频图像显示装置)94包括例如液晶面板,并采用已经在视频图像显示控制部中确定的视频图像质量和布置将所有视频图像显示为缩略图。
外部数据输出部(外部数据输出装置)93执行已经在处理延迟部99中被延迟的外部数据的处理(例如,诸如在输入呼叫处理的情况下的响铃之类的处理)。
(显示质量控制的处理流程)
将在图15的流程图中针对第六实施例中的显示设备91的处理流程给予说明。
假设用户正在用显示设备91浏览类似于图8A中所示的显示示例的三个视频图像。这时,当视频图像检测部106检测到经由网络100从视频图像累加部95或从视频服务器101的三个视频图像数据的分发时,向显示延迟部109和负荷估计部97传送输入的检测到的信号(S51处的视频图像数据)。另一方面,当外部数据检测部96检测到外部数据时(诸如在输入呼叫中),向处理延迟部99和负荷估计部97传送输入的检测到的信号(S51处的外部数据)。也就是说,视频图像检测部106和/或外部数据检测部96检测视频图像数据和/或外部数据,向负荷估计部97传送所述输入的检测到的信号。
显示延迟部109在接收到视频图像输入检测到的信号时将该视频图像的显示延迟预定时间(S52)。处理延迟部99在接收到外部数据输入检测到的信号时将数据的处理(诸如响铃)延迟预定时间(S53)。负荷估计部97在接收到外部数据和/或视频图像输入检测到的信号时估计由包括三个当前视频图像和三个添加的视频图像的总共六个视频图像的再现的处理和外部数据的处理对显示设备91中的视频图像的显示施加的负荷的水平(S54)。请注意,在该处理流程中,按照显示延迟、处理延迟和负荷水平的估计的顺序来执行处理,然而,可以将处理顺序互换,或者可以同时地执行两个或三个处理。
视频图像显示控制部98根据由负荷估计部97估计的负荷水平来确定视频图像的显示质量和布置,并控制在视频图像显示部94上显示的视频图像(S55)。在这里,当负荷水平被确定为例如“大”时,显示质量变成“跳跃再现”,并且所述布置例如是如在图8B的显示示例中所示的布置。视频图像显示部94在预定时间过去之后采用由视频图像显示控制部98确定的视频图像质量和布置来显示所述六个视频图像(S56)。在预定时间过去之后,外部数据输出部93执行诸如输入呼叫处理之类的外部数据的处理(诸如响铃)(S57),并且该处理结束。
以这种方式,在第六实施例中,提供了显示延迟部和处理延迟部,并且在由于待显示的视频图像的增加和具有电话呼叫等导致的CPU负荷的增加之前控制所述多个视频图像的质量和布置,从而使得其可以在不中断或结束的情况下继续视频图像的显示。
此外,能够由计算机来实现根据上述每个实施例的显示质量控制部的功能。在这种情况下,提供了其中描述该功能性处理内容的程序。通过在计算机中执行该程序,然后在计算机上实现上述处理。能够将其中描述处理内容的程序记录在计算机可读记录介质中。
数字的解释
1、21、31、51、71、91             显示设备
2、22、32、52、72、92             显示质量控制部
3、23、73、93                            外部数据输出部
4、24、34、54、74、94             视频图像显示部
5、25、35、55、75、95             视频图像累积部
6、26、76、96                            外部数据检测部
7、27、37、57、77、97             负荷估计部
8、28、38、58、78、98             视频图像显示控制部
10、30、40、60、80、100        网络
15                                                  显示质量管理表
29、99                                          处理延迟部
41、61、81、101                         视频服务器
59、109                                        显示延迟部
36、56、86、106                        视频图像检测部

Claims (27)

1.一种用于控制待显示的多个视频图像数据的显示质量的显示设备,包括:
数据检测装置,其用于检测与正在显示的视频图像数据不同的数据的输入;
负荷估计装置,其用于估计由所述不同的数据对所述显示设备的处理能力施加的负荷;以及
视频图像显示控制装置,其用于在所述负荷超过所述显示设备的所述处理能力的情况下改变将在所述显示设备上显示的多个视频图像的质量,从而使得能够继续显示处理。
2.根据权利要求1所述的显示设备,其中,所述不同的数据是外部数据,该外部数据是除所述视频图像之外的数据。
3.根据权利要求2所述的显示设备,还包括处理延迟装置,其用于在由所述数据检测装置检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
4.根据权利要求1所述的显示设备,其中,所述不同的数据是除所述显示视频图像数据之外被另外显示的不同的视频图像数据。
5.根据权利要求4所述的显示设备,还包括处理延迟装置,其用于在由所述数据检测装置检测到所述不同的视频图像数据的接收时将所述不同的视频图像数据的处理延迟预定时间。
6.一种用于控制待显示的多个视频图像数据的显示质量的显示设备,包括:
视频图像检测装置,其用于检测除显示视频图像数据之外被另外显示的视频图像数据;
外部数据检测装置,其用于检测外部数据的输入,所述外部数据是与所述视频图像数据不同的数据;
负荷估计装置,其用于估计由所述附加的视频图像数据和/或所述外部数据对在所述显示设备上显示的多个视频图像的显示所施加的负荷;以及
视频图像显示控制装置,其用于在所述负荷超过所述显示设备的所述处理能力的情况下改变待显示的视频图像的质量,从而使得能够继续显示处理。
7.根据权利要求6所述的显示设备,还包括:
显示延迟装置,其用于在由所述视频图像检测装置检测到所述附加的视频图像的输入时将所述附加的视频图像的显示延迟预定时间;以及
处理延迟装置,其用于在由所述外部数据检测装置检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
8.根据权利要求1至7中的任一项所述的显示设备,其中,所述视频图像显示控制装置通过根据由所述负荷估计装置估计的负荷水平切换为实时再现、缓慢再现、或跳跃再现来改变所述显示质量。
9.根据权利要求1至7中的任一项所述的显示设备,其中,所述视频图像显示控制装置通过根据由所述负荷估计装置估计的负荷水平在图像质量劣化的可容许范围内简化解码处理来改变所述显示质量。
10.根据权利要求1至9中的任一项所述的显示设备,其中,所述视频图像显示控制装置同时切换所有视频图像的显示质量。
11.根据权利要求1至9中的任一项所述的显示设备,其中,所述视频图像显示控制装置改变除用户对其加以注意的视频图像之外的视频图像的显示质量。
12.根据权利要求1至9中的任一项所述的显示设备,其中,所述视频图像显示控制装置仅针对新添加的视频图像改变显示质量。
13.根据权利要求3、5或7所述的显示设备,其中,所述视频图像显示控制装置具有用以在延迟期间向用户提供关于视频图像的显示质量方面的改变的通知的功能。
14.一种用于控制将在显示设备上显示的多个视频图像数据的显示质量的显示方法,包括:
数据检测步骤,其检测与正在显示的视频图像数据不同的数据的输入;
负荷估计步骤,其估计由所述不同的数据对所述显示设备的处理能力施加的负荷;以及
视频图像显示控制步骤,其在所述负荷超过所述显示设备的所述处理能力的情况下改变将在所述显示设备上显示的多个视频图像的质量,从而使得能够继续显示处理。
15.根据权利要求14所述的显示方法,其中,所述不同的数据是外部数据,所述外部数据是除所述视频图像之外的数据。
16.根据权利要求15所述的显示方法,还包括处理延迟步骤,其当在所述数据检测步骤处检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
17.根据权利要求14所述的显示方法,其中,所述不同的数据是除显示视频图像数据之外被另外显示的不同的视频图像数据。
18.根据权利要求17所述的显示方法,还包括处理延迟步骤,其当在所述数据检测步骤处检测到所述不同的视频图像数据的接收时将所述不同的视频图像数据的处理延迟预定时间。
19.一种用于控制待显示的多个视频图像数据的显示质量的显示方法,包括:
视频图像检测步骤,其检测除显示视频图像数据之外被另外显示的视频图像数据;
外部数据检测步骤,其检测与所述视频图像数据不同的外部数据的输入;
负荷估计步骤,其估计由所述附加的视频图像数据和/或所述外部数据对在所述显示设备上显示的多个视频图像的显示所施加的负荷;以及
视频图像显示控制步骤,其在所述负荷超过所述显示设备的所述处理能力的情况下改变待显示的视频图像的质量,从而使得能够继续显示处理。
20.根据权利要求19所述的显示方法,还包括:
显示延迟步骤,其在由所述视频图像检测步骤检测到所述附加的视频图像的输入时,将所述附加的视频图像的显示延迟预定时间;以及
处理延迟步骤,其当在所述外部数据检测步骤处检测到所述外部数据的接收时将所述外部数据的处理延迟预定时间。
21.根据权利要求14至20中的任一项所述的显示方法,其中,在所述视频图像显示控制步骤处,通过根据由所述负荷估计装置估计的负荷水平切换为实时再现、缓慢再现、或跳跃再现来改变所述显示质量。
22.根据权利要求14至20中的任一项所述的显示设备,其中,在所述视频图像显示控制步骤处,通过根据由所述负荷估计装置估计的负荷水平在图像质量劣化的可容许范围内简化解码处理来改变所述显示质量。
23.根据权利要求14至21中的任一项所述的显示方法,其中,在所述视频图像显示控制步骤处,同时切换所有视频图像的显示质量。
24.根据权利要求14至21中的任一项所述的显示方法,其中,在所述视频图像显示控制步骤处,针对除用户对其加以注意的视频图像之外的视频图像改变显示质量。
25.根据权利要求14至21中的任一项所述的显示方法,其中,在所述视频图像显示控制步骤处,仅针对新添加的视频图像改变显示质量。
26.根据权利要求16、18或20所述的显示方法,其中,在所述视频图像显示控制步骤处,提供了用以在延迟期间向用户提供关于视频图像的显示质量方面的改变的通知的功能。
27.一种用于促使计算机执行根据权利要求14至26所述的显示方法的程序。
CN201080028981.0A 2009-04-28 2010-04-26 显示设备和显示方法 Expired - Fee Related CN102484697B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-109096 2009-04-28
JP2009109096 2009-04-28
PCT/JP2010/057354 WO2010125999A1 (ja) 2009-04-28 2010-04-26 表示装置、表示方法及びそれを実行するためのプログラム

Publications (2)

Publication Number Publication Date
CN102484697A true CN102484697A (zh) 2012-05-30
CN102484697B CN102484697B (zh) 2015-07-08

Family

ID=43032147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080028981.0A Expired - Fee Related CN102484697B (zh) 2009-04-28 2010-04-26 显示设备和显示方法

Country Status (4)

Country Link
US (1) US20120044254A1 (zh)
JP (1) JP5133454B2 (zh)
CN (1) CN102484697B (zh)
WO (1) WO2010125999A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813114A (zh) * 2012-11-12 2014-05-21 索尼公司 信息处理装置、通信系统以及信息处理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8928678B2 (en) 2012-08-02 2015-01-06 Intel Corporation Media workload scheduler
JP2014072662A (ja) * 2012-09-28 2014-04-21 Toshiba Corp 通信制御方法
US20140192207A1 (en) * 2013-01-07 2014-07-10 Jinsong Ji Method and apparatus to measure video characteristics locally or remotely

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244382A (ja) * 2004-02-25 2005-09-08 Sanyo Electric Co Ltd サムネイル画像生成装置
JP2005269508A (ja) * 2004-03-22 2005-09-29 Casio Comput Co Ltd 通信端末装置および通信端末処理プログラム
JP2007243569A (ja) * 2006-03-08 2007-09-20 Casio Hitachi Mobile Communications Co Ltd コンテンツ処理装置および割込み制御プログラム
JP2007288559A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 再生方法および再生装置
CN101102573A (zh) * 2004-01-27 2008-01-09 京瓷株式会社 移动终端、控制移动电话终端的方法及移动电话终端
CN101123702A (zh) * 2006-08-10 2008-02-13 三星电子株式会社 图像显示设备及其控制方法
CN101146204A (zh) * 2006-09-12 2008-03-19 腾讯科技(深圳)有限公司 即时通信视频质量调节方法及装置
JP2008245131A (ja) * 2007-03-28 2008-10-09 Toshiba Corp 動画像復号化装置及び動画像復号化方法
CN101325054A (zh) * 2007-06-13 2008-12-17 三星电子株式会社 用于显示视频信号的显示系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7272295B1 (en) * 1999-11-10 2007-09-18 Thomson Licensing Commercial skip and chapter delineation feature on recordable media
US20020030843A1 (en) * 2000-02-02 2002-03-14 Tuli Raja Singh Portable high speed internet access device
JP3665615B2 (ja) * 2002-01-30 2005-06-29 株式会社東芝 外部記憶装置及び外部記憶装置におけるバッテリ残量通知方法
US7694318B2 (en) * 2003-03-07 2010-04-06 Technology, Patents & Licensing, Inc. Video detection and insertion
JP4405419B2 (ja) * 2005-03-31 2010-01-27 株式会社東芝 画面送信装置
JP2007013315A (ja) * 2005-06-28 2007-01-18 Toshiba Corp 情報処理装置および動画像再生方法
JP5058462B2 (ja) * 2005-07-28 2012-10-24 京セラ株式会社 表示装置及び表示制御方法
JP5289733B2 (ja) * 2006-07-13 2013-09-11 オリンパスイメージング株式会社 燃料電池を用いた携帯端末機器及び携帯端末機器用の燃料電池システム
JP2008107780A (ja) * 2006-09-29 2008-05-08 Matsushita Electric Ind Co Ltd 信号伝達回路,表示データ処理装置,および表示装置
KR101410696B1 (ko) * 2007-09-11 2014-06-24 삼성전자주식회사 높은 슬루율과 안정성을 갖는 연산 증폭기와 이의 동작 방법
US8249423B2 (en) * 2008-05-08 2012-08-21 Sony Ericsson Mobile Communications Ab Electronic devices and methods that insert addressable chapter marks relative to advertising content in video streams
US8989036B2 (en) * 2010-03-23 2015-03-24 Telefonaktiebolaget L M Ericsson (Publ) Uplink load prediction using kalman filters

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102573A (zh) * 2004-01-27 2008-01-09 京瓷株式会社 移动终端、控制移动电话终端的方法及移动电话终端
JP2005244382A (ja) * 2004-02-25 2005-09-08 Sanyo Electric Co Ltd サムネイル画像生成装置
JP2005269508A (ja) * 2004-03-22 2005-09-29 Casio Comput Co Ltd 通信端末装置および通信端末処理プログラム
JP2007243569A (ja) * 2006-03-08 2007-09-20 Casio Hitachi Mobile Communications Co Ltd コンテンツ処理装置および割込み制御プログラム
JP2007288559A (ja) * 2006-04-18 2007-11-01 Matsushita Electric Ind Co Ltd 再生方法および再生装置
CN101123702A (zh) * 2006-08-10 2008-02-13 三星电子株式会社 图像显示设备及其控制方法
CN101146204A (zh) * 2006-09-12 2008-03-19 腾讯科技(深圳)有限公司 即时通信视频质量调节方法及装置
JP2008245131A (ja) * 2007-03-28 2008-10-09 Toshiba Corp 動画像復号化装置及び動画像復号化方法
CN101325054A (zh) * 2007-06-13 2008-12-17 三星电子株式会社 用于显示视频信号的显示系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103813114A (zh) * 2012-11-12 2014-05-21 索尼公司 信息处理装置、通信系统以及信息处理方法
CN103813114B (zh) * 2012-11-12 2017-11-07 索尼公司 信息处理装置、通信系统以及信息处理方法

Also Published As

Publication number Publication date
WO2010125999A1 (ja) 2010-11-04
JPWO2010125999A1 (ja) 2012-11-01
US20120044254A1 (en) 2012-02-23
CN102484697B (zh) 2015-07-08
JP5133454B2 (ja) 2013-01-30

Similar Documents

Publication Publication Date Title
CN112087633B (zh) 视频解码方法、装置及存储介质
CN101360203B (zh) 数字电视广告数据预存方法、装置及系统
CN101232611B (zh) 图像处理设备及其方法
CN110149539A (zh) 多媒体文件播放方法、装置、电子设备和存储介质
CN103369128A (zh) 同时显示多个运动图像缩略图的图像再现装置及方法
CN102484697B (zh) 显示设备和显示方法
CN101527797A (zh) 模式转换方法以及利用此方法的显示装置
EP2629514B1 (en) Video playback device and video playback method
CN103839533A (zh) 一种移动终端图像的显示方法和移动终端
CN113703643A (zh) 内容显示方法、装置、设备及介质
WO2022272135A1 (en) Systems and methods for providing optimized time scales and accurate presentation time stamps
CN101779458B (zh) 视频配送装置以及视频配送程序
CN109547851A (zh) 视频播放方法、装置及电子设备
KR102139331B1 (ko) 영상 콘텐츠 재생을 위한 장치, 서버 및 방법
WO2008044881A1 (en) Image board and display method using dual codec
CN113596583A (zh) 视频流子弹时间数据处理方法及装置
US20220167056A1 (en) Information Processing Terminal, Information Processing Method, And Program
US20080134253A1 (en) Data upload and broadcast system
KR101844931B1 (ko) 분할 디스플레이를 위한 데이터 관리 장치, 시스템 및 방법과 그 기록 매체
CN115190340A (zh) 直播数据的传输方法、直播设备和介质
JP2007074176A (ja) ストリーム・データのタイム・シフト装置,その制御方法およびその制御プログラム
CN101252655B (zh) 再现具有子屏幕画面数据的运动画面数据的方法和设备
CN101743744B (zh) 用于回放内容项的方法和设备
KR101505730B1 (ko) 어플리케이션 실행 단말기 및 그 제어방법과 이를 위한 기록 매체
KR20070073329A (ko) 개선된 성능을 가지는 모바일용 미디어 플레이어 구동 방법및 그 방법을 기록한 기록 매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

Termination date: 20170426