CN109155868B - 图像显示设备、帧传输间隔控制方法和图像显示系统 - Google Patents

图像显示设备、帧传输间隔控制方法和图像显示系统 Download PDF

Info

Publication number
CN109155868B
CN109155868B CN201680085686.6A CN201680085686A CN109155868B CN 109155868 B CN109155868 B CN 109155868B CN 201680085686 A CN201680085686 A CN 201680085686A CN 109155868 B CN109155868 B CN 109155868B
Authority
CN
China
Prior art keywords
transmission
image
frame
interval
required time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085686.6A
Other languages
English (en)
Other versions
CN109155868A (zh
Inventor
石井荣作
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Publication of CN109155868A publication Critical patent/CN109155868A/zh
Application granted granted Critical
Publication of CN109155868B publication Critical patent/CN109155868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2385—Channel allocation; Bandwidth allocation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

图像显示设备(1)经由网络(100)可通信地连接到多个图像传输设备(21到2n)。通信设备(11)将传输请求传输到图像传输设备(21到2n)中的每一个并且接收包括由每一个图像传输设备响应于该传输请求而传输的差异数据的帧。显示设备(141)同时显示基于在从每一个图像传输设备接收到的帧中包含的差异数据的图像。测量单元(121)针对每一个图像传输设备测量是从传输请求的传输的开始直到帧的接收的开始为止需要的时间的第一需要时间间隔和是从帧的接收的开始直到帧的接收的完成为止需要的时间的第二需要时间间隔。控制单元使传输请求以预定传输间隔被发送到图像传输设备中的每一个，使测量单元(121)测量第一需要时间间隔和第二需要时间间隔，并且基于测量结果来改变传输请求的传输间隔。

Description

图像显示设备、帧传输间隔控制方法和图像显示系统
技术领域
本发明涉及显示从多个图像传输设备接收到的图像数据的图像显示设备、在该图像显示设备中执行的帧传输间隔控制方法并且涉及提供有该图像显示设备的图像显示系统。
背景技术
已经提出了具有多个图像传输设备和可通信地连接到这些图像传输设备的图像显示设备的图像显示系统，在该图像显示系统中，该图像显示设备显示已经从每一个图像传输设备传输的图像数据。专利文献1描述这种图像显示系统的相关技术。
该图像显示设备提供有显示单元，在该显示单元中，显示屏幕被划分成与图像传输设备中的每一个对应的多个分开的显示区域，并且从每一个图像传输设备接收到的图像数据被显示在对应分开的显示区域。该图像显示设备向每一个图像传输设备传输图像数据的传输请求，并且根据该传输请求，每一个图像传输设备向图像显示设备传输图像数据。该图像显示设备在接收到一帧部分的图像数据时向图像传输设备传输下一帧的图像数据的传输请求。
上述图像显示系统被用在例如会议中。在例如会议的使用形式中，多个参与者通常经由网络诸如LAN(局域网)将信息处理终端(图像传输设备)诸如他们自己的笔记本式个人计算机或者移动终端连接到投影仪(图像显示设备)。每一个信息处理终端根据来自投影仪的传输请求来将在他们自己的终端上显示的图像的数据传输到投影仪。在一些情况中，该信息处理终端的处理能力(CPU处理速度)对于每一个参与者不同。
然而，因为每一个图像传输设备在上述图像显示系统中同时发送图像数据到图像显示设备，所以对网络带宽施加了压力，其结果是通信速度降低。特别地，在诸如会议的使用模式中使用具有相对窄带宽的网络由于通过每一个图像传输设备同时传输图像数据而导致对该网络带宽施加了极限压力。这里，该网络带宽指示每单位时间传输的数据量。
在专利文献2中描述的方法是一种防止网络的通信速度的降低的方法。在该方法中，图像传输设备针对在时间序列中在屏幕上显示的图像比较时间上连续的两幅图像，提取其中变化发生的部分，即图像的差异，并且向图像显示设备传输其中差异数据被压缩的压缩数据。如果该方法被应用在上述图像显示系统中，则由每一个图像传输设备传输的每单帧传输的数据量可以被减少，借此，由于对网络带宽的压力而导致发生的通信速度的降低可以被减轻。该图像传输设备能够累积指示时间上连续的多幅图像之间的差异的数据并且然后根据传输请求来压缩并且传输所累积的差异数据。
然而，在上述情况中，差异的数量根据在图像传输设备中显示的图像的变化的范围和内容来改变，并且连同该变化，被传输到该图像显示设备的压缩数据的传输的数量也改变。当所传输的压缩数据的数量改变时，每单帧的数据传输时间也改变，其结果是在图像显示设备的屏幕上的分开的显示区域的图像更新变得无规律。因此，在图像显示设备的屏幕上的分开的显示区域中显示的图像的更新不再与在图像显示设备上显示的图像的变化同步，并且当查看图像传输设备侧的显示图像和图像显示设备侧的显示图像时，图像传输设备的用户将因此感知到不正常显示。
为了抑制该不正常显示，图像显示设备以固定传输间隔将传输请求传输到每一个图像传输设备，使得来自每一个图像传输设备的压缩数据可以在固定时段被接收。
相关技术文献
专利文献
专利文献1：日本未审查专利申请公开No.2008-152625
专利文献2：日本未审查专利申请公开No.2005-339256
发明内容
然而，被配置为使得图像显示设备以固定时间间隔将传输请求传输到每一个图像传输设备并且每一个图像传输设备根据传输请求向图像显示设备传输压缩数据(差异)的图像显示系统具有如下所示的问题。
传输请求的传输间隔是固定的，并且因此，每一个图像显示设备的帧的传输间隔也是固定的。因此，其差异在图像传输设备中是小的图像的连续显示导致其中每单帧传输的压缩数据的数量降低并且帧的传输间隔对于已经传输的数据的数量来说变得太大的状态(太少帧的状态)。在该情况中，与其中网络带宽被使用到最大化的情况相比，图像显示设备的分开的显示区域的图像的更新频率降低。
另一方面，在一些情况中，如果其差异是大的图像被显示在图像传输设备中，则导致每单帧传输的压缩数据的数量增加并且压缩数据由于图像差异的大小而不能在单帧的间隔中被传输的状态(其中帧是太快的状态)。在该情况中，被称为其中压缩数据不能被平稳传输的丢帧的现象出现。
更进一步，相同图像在图像传输设备上的连续显示导致其中帧发生由于图像之间的差异的缺乏而未发送其压缩数据并且因此帧的传输间隔变得太大的状态。在该情况中，图像显示设备在固定时段接收压缩数据时遇到困难。
每一个图像传输设备能够获得上述“太少帧的状态”、“太快的帧的状态”和“太多帧的状态”中的任一个。因此，在实现网络带宽的最大使用而没有浪费以在固定时段平稳传输压缩数据的过程中遇到问题。
本发明的目标在于提供一种图像显示设备、帧传输间隔控制方法和图像显示系统，其能够实现网络带宽的最大利用而没有浪费以便在固定时段平稳传输压缩数据。
根据用于实现上述目标的本发明的一个方面，提供一种图像显示设备，其经由网络可通信地连接到多个图像传输设备，所述多个图像传输设备中的每一个传输指示时间上连续显示的图像之间的差异的差异数据，所述图像显示设备包括：
通信单元，其将传输请求传输到所述多个图像传输设备中的每一个并且接收包括由每一个图像传输设备根据所述传输请求传输的所述差异数据的帧；
显示单元，其显示基于在从所述图像传输设备中的每一个接收到的所述帧中包含的所述差异数据的图像；
测量单元，其针对图像传输设备中的每一个测量从传输请求的传输的开始直到所述帧的接收的开始为止需要的第一需要时间间隔和从所述帧的接收的开始直到所述帧的接收的结束为止需要的第二需要时间间隔；以及
控制单元，其控制所述通信单元的传输请求的传输操作；
其中，所述控制单元使所述传输请求以已经提前设置的传输间隔从所述通信单元传输到图像传输设备中的每一个，使所述测量单元针对图像传输设备中的每一个执行第一需要时间间隔和第二需要时间间隔的测量，并且基于测量的结果来改变传输请求的传输间隔。
根据本发明的另一个方面，提供了一种图像显示系统，其包括：
上述图像显示设备；以及
经由网络可通信地连接到图像显示设备的多个图像传输设备。
根据本发明的另一个方面，一种由图像显示设备执行的帧传输间隔控制方法，所述图像显示设备将传输请求传输到多个图像传输设备中的每一个(多个图像传输设备中的每一个传输指示时间上连续显示的图像之间的差异的差异数据)，接收包括每一个图像传输设备根据传输请求传输的差异数据的帧，并且显示基于在接收到的帧中包含的差异数据的图像，所述帧传输间隔控制方法包括：
以提前设置的传输间隔将所述传输请求传输到图像传输设备中的每一个；针对每一个图像传输设备，测量从传输请求的传输的开始直到帧的接收的开始为止的第一需要时间间隔和从帧的接收的开始直到帧的接收的结束为止的第二需要时间间隔；并且基于测量的结果来改变传输请求的传输间隔。
附图说明
图1是示出根据本发明的示例性实施例的图像显示设备的配置的框图。
图2A是示出图像显示单元的显示区域的划分的示例的示意图。
图2B是示出图像显示单元的显示区域的划分的另一个示例的示意图。
图2C是示出图像显示单元的显示区域的划分的又一个示例的示意图。
图2D是示出图像显示单元的显示区域的划分的又一个示例的示意图。
图3A是适当的帧传输间隔的传输的状态的示例的示意图。
图3B是其中帧的数量是不足的帧传输的状态的示例的示意图。
图3C是其中帧是太快的帧传输的状态的示例的示意图。
图3D是其中帧的数量是过多的帧传输的状态的示例的示意图。
图4是示出当每单位时间的帧的数量被离散改变时针对每一个帧数指示帧传输间隔的表格。
图5是用于描述计算图像更新的频率的过程的流程图。
图6是示出图像更新频率运算单元的配置的框图。
具体实施方式
接下来参考附图描述本发明的示例性实施例。
图1是示出根据本发明的示例性实施例的图像显示设备的配置的框图。参考图1，图像显示设备1包括通信设备11、数据处理设备12、存储设备13和图像输出设备14。
通信设备11经由网络100可通信地连接到多个图像传输设备21-2n并且提供有数据接收单元111和数据传输单元112。数据接收单元111 从图像传输设备21-2n中的每一个接收数据(包括压缩图像数据)。数据传输单元112向图像传输设备21-2n中的每一个传输数据(包括传输请求)。
根据传输请求，图像传输设备21-2n中的每一个向图像显示设备1 传输包括指示在时间序列中在屏幕上显示的图像之间的差异的差异数据的帧。差异数据可以由如在专利文献2中所述的图像压缩实现。可以识别图像传输设备的识别信息被附加到帧。
数据处理设备12包括帧间隔测量单元121、图像数据处理单元 122、图像更新频率运算单元123以及图像更新响应单元124。存储设备13提供有帧间隔数据存储存储器131、视频存储器132以及图像更新频率数据存储存储器133。图像输出设备14提供有图像显示单元141。
帧间隔测量单元121测量从传输请求的传输的开始直到帧的接收的开始为止所需要的第一需要时间间隔和从帧的接收的开始直到帧的接收的开始直到图像传输设备21-2n中的每一个的接收的结束为止所需要的第二需要时间间隔(帧的传输时间)作为帧间隔数据。图像数据处理单元122、图像更新频率运算单元123和图像更新响应单元124也可以被称为控制单元。
该控制单元使传输请求以已经提前设置的传输间隔从数据传输单元112发送到每一个图像传输单元并且使帧间隔测量单元121在规定周期内针对每一个图像传输设备执行帧间隔数据的测量。这里，控制单元可以通过检测到在图像显示设备1的控制台(未示出)中已经实施了预定输入操作或者通过检测到已经到达了预定时间来使测量帧间隔数据的操作开始。控制单元然后基于测量结果来获得帧的传输状态并且根据传输状态来改变由数据传输单元112传输的传输请求的传输间隔。
更具体地，数据接收单元111从图像传输设备21-2n中的每一个接收压缩图像数据并且将接收到的压缩图像数据供给帧间隔测量单元 121。帧间隔测量单元121针对每一个图像传输设备21-2n产生包括第一需要时间间隔和第二需要时间间隔的测量结果的帧间隔数据并且将创建的帧间隔数据写入到帧间隔数据存储存储器131。帧间隔测量单元 121然后将压缩图像数据从数据接收单元111转移到图像数据处理单元122。
图像更新频率运算单元123针对图像传输设备21-2n中的每一个从帧间隔数据存储存储器131定期地读取帧间隔数据并且执行用于根据网络100的使用状态来调整图像更新频率的计算过程。图像更新频率运算单元123针对图像传输设备21-2n中的每一个将从计算过程获得的图像更新频率数据写入到图像更新频率数据存储存储器133。
图像更新响应单元124针对图像传输设备21-2n中的每一个从图像更新频率数据存储存储器133读取图像更新频率数据。图像更新响应单元124然后针对图像传输设备21-2n中的每一个使数据传输单元112 基于图像更新频率数据来传输下一个图像数据的传输请求。
与图像传输设备21-2n中的每一个对应的显示存储器区域在视频存储器132中被分配。已经实施了必要的处理(诸如对图像传输设备21-2n中的每一个的压缩图像数据的解码)的图像数据处理单元122将该数据写入到视频存储器132的对应显示存储器区域。
图像显示单元141从视频存储器132连续地读取图像数据并且显示图像。图像显示单元141可以显示图像传输设备21-2n中的每一个的图像。当连接到图像显示设备1的图像传输设备的数量是一个时，图像显示单元141的显示区域未被划分。当连接到图像显示单元1的图像传输设备的数量是两个或更多个时，图像显示单元141的显示区域根据图像传输设备的数量来划分。换言之，图像显示单元141的显示区域根据图像传输设备21-2n中的每一个而被划分成多个分开的显示区域。图像传输设备21-2n到分开的显示区域的分配可以视情况来设置。
图2A至图2D给出了图像显示单元141的显示区域的划分的示例的示例表示。
图2A示出当连接到图像显示设备1的图像传输设备的数量是一个时的未划分状态。在图2B中，针对其中连接到图像显示设备1的图像传输设备的数量是两个的情况，图像显示单元141的显示区域被划分成第一和第二分开的显示区域(两个划分)。第一和第二分开的显示区域的面积是相同的。
在图2C中，针对其中连接到图像显示设备1的图像传输设备的数量是三个的情况，图像显示单元141的显示区域被划分成第一到第三分开的显示区域(三个划分)。第一和第二分开的显示区域的面积是相同的。第三分开的区域的面积大于第一和第二分开的显示区域中的任一个的面积。换言之，在第三分开的显示区域中显示的图像数据的分辨率高于在第一和第二分开的显示区域中显示的图像数据的分辨率。
在图2D中，针对其中连接到图像显示设备1的图像传输设备的数量是四个的情况，图像显示单元141的显示区域被划分成第一到第四分开的显示区域(四个划分)。第一到第四分开的显示区域的面积均是相同的。
图像显示设备1可以被应用到例如投影仪、显示设备或者监视器。
接下来描述关于图像显示设备1的操作的细节。
通常，当示出图像的差异的差异数据被压缩并且被传输时，变化发生在每单帧的数据传输时间中。进一步地，各种帧传输状态发生在图像显示设备1和图像传输设备21-2n中的每一个之间。图像显示设备 1根据针对图像传输设备21-2n中的每一个的帧传输状态通过控制传输请求到图像传输设备的传输时序来调整从图像传输设备传输的帧(差异数据)的传输间隔(差异数据传输间隔)。
首先简要描述帧传输的状态和确定该状态的方法。
帧传输间隔T和每秒传输的帧的数量F具有由以下公式1示出的关系。
T＝1/F,F＝1/T (公式1)
其中图像更新频率是适当的状态或者其中图像更新频率可以被增加的状态由以下公式2给出。这里，TM指示在单位时间间隔内的最大帧传输时间(第二需要时间间隔)“s”，并且TD指示在单位时间间隔内从传输请求的传输的开始直到帧的接收的开始为止所需要的第一需要时间间隔的最长时间间隔。
TD+TM<T (公式2)
其中图像更新频率必须被降低的状态由以下公式(3)给出。
TD+TM>T,TD<T (公式3)
其中图像更新频率是低并且尽管减小了图像更新频率但未出现问题的状态由以下公式(4)给出。
TD+TM>T,TD>T (公式4)
上面示出的公式1至4被用于确定状态是“其中帧传输间隔是适当的传输状态”、“其中帧的数量是不足的帧传输状态”、“其中帧是太快的帧传输状态”以及“其中帧的数量由于低屏幕更新频率而是过多的帧传输状态”中的任一个。
图3A示出其中帧传输间隔是适当的传输状态的示例。图3B示出其中帧的数量是不足的帧传输状态的示例。图3C示出其中帧是太快的帧传输状态的示例。图3D示出其中帧的数量由于图像传输设备的低屏幕更新频率而是过多的帧传输状态的示例。
在图3A至图3D中，T指示帧传输间隔(对应于传输请求的传输间隔)。帧传输间隔T是在图像显示设备1和图像传输设备21-2n中的每一个之间单独设置的值。这里，例如，T1-Tn＝0.066[s]被设置为初始值。进一步地，更新帧传输间隔T1至Tn的周期被设置为5[s]。图像显示设备1在5[s]的周期期间根据帧传输状态来调整每一个帧传输间隔 (传输请求的传输间隔)T1至Tn的值。
在图3A中示出的“其中帧传输间隔是适当的传输状态”是其中网络100的带宽被用到最大量的理想帧传输状态。“其中帧传输间隔是适当的传输状态”是满足在上述公式2中示出的关系的状态，此外是其中由以下公式5给出的帧传输间隔TN匹配当前帧传输间隔T的状态。
Fn<1/(TD+TM)≤Fn+1,TN＝1/Fn (公式5)
这里，Fn是基于图4中示出的表格计算的每秒的传输帧的数量。在图4中示出的表格中，数量F0至F12被设置，并且针对数量F0至F12中的每一个记录每秒的传输帧的数量和帧传输间隔的值。数量F0的传输帧的数量是最小值，并且传输帧的数量随着该数量而离散地增加。在图4的示例中，数量F0是“1”，并且该数量从数量F2到数量F5按“1”增加并且从数量F6到数量F8按“2”增加。对于数量F9，该增加是“3”，并且对于数量F10是“5”，对于数量F11是“4”并且对于数量F12是“6”。
在其中帧传输间隔是适当的上述传输状态中，帧传输间隔(传输请求的传输间隔)不需要改变。因此，图像显示设备1针对每一个帧传输间隔T(＝0.066[s])向所有图像传输设备21-2n发送传输请求。
在图3B中示出的“其中帧的数量是不足的传输状态”是满足上述公式2的状态，此外是其中由上述公式5给出的帧传输间隔TN小于当前帧传输间隔T的状态。在这种情况中，图像显示设备1将传输请求的传输间隔调整为帧传输间隔TN。
在图3C中示出的“其中帧是太快的帧传输状态”是满足上述公式 3的状态。在这种情况中，图像显示设备1确定丢帧现象在图像传输设备中已经发生一次或者多次并且将传输请求的传输间隔调整为由上述公式5给出的帧传输间隔TN。
在图3D中示出的“其中图像传输设备的屏幕更新频率是低的帧传输状态”是满足上述公式4的状态。在这种情况中，图像显示设备1 能够确定来自其中图像更新频率是低的图像传输设备的图像以适当时序被显示。此外，图像显示设备1可以将传输请求的传输间隔调整为由上述公式5给出的帧传输间隔TN。然而，尽管当相同屏幕更新频率是连续时不存在视觉效果，但是当来自图像传输设备的屏幕更新频率增加时帧传输间隔有时不能立即跟上该变化，并且因此优选不改变帧传输间隔。
使用引起诸如图4中示出的每秒的图像传输帧的数量F的离散变化的表格可以防止帧传输间隔T的频繁变化。然而，本发明不限于该形式。只要可以根据帧传输状态来调整传输请求的传输间隔，就可以使用任何类型的表格。
接下来描述图像更新频率运算单元123的操作。
图5是用于描述图像更新频率运算单元123的图像更新频率运算过程的流程图。在该示例中，图像更新频率运算单元123计算针对每一个固定时间间隔的图像更新频率。
图像更新频率运算单元123确定是否已经到达用于重新计算帧传输间隔(步骤A1)的时间。
如果已经到达用于重新计算帧传输间隔的时间，则图像更新频率运算单元123将计数器设置为i＝1(步骤A2)。这里，计数器指定图像传输设备21-2n的连接，并且例如，“i＝1”指示与图像传输设备21的连接。
接下来，图像更新频率运算单元123从帧间隔数据存储存储器131 读取连接i的帧间隔数据(当前帧传输间隔T、最大帧传输时间TM以及传输请求/帧传输开始最大时间间隔TD)(步骤A3)。接下来，图像更新频率运算单元123基于读取的连接i的帧间隔数据来确定连接i 的帧传输状态属于在图3A至图3D中示出的帧传输状态中的哪个，并且然后计算连接i的新的帧传输间隔TN(步骤A4)。
接下来，图像更新频率运算单元123确定新的帧传输间隔TN是否不同于原始帧传输间隔T(步骤A5)。如果帧传输间隔TN不同于帧传输间隔T，则图像更新频率运算单元123将帧传输间隔TN写入到图像更新频率数据存储存储器133作为连接i的新的帧传输间隔(步骤A6)。图像更新频率运算单元123然后按1增加计数器的值i(步骤A7)。如果在步骤A5中确定帧传输间隔TN匹配帧传输间隔T，则步骤A7的过程被执行而不实施步骤A6的过程。
最后，图像更新频率运算单元123确定计数器的值i是否已经超过连接的数量(步骤A8)。如果计数器的值i已经超过连接的数量，则图像更新频率运算单元123确定处理已经针对所有图像传输设备被执行并且再次执行步骤A1。如果计数器的值i未超过连接的数量，则图像更新频率运算单元123确定仍然存在对其未执行操作的图像传输设备并且执行步骤A3。
接下来描述图像更新频率运算单元123的实际配置。
图6是示出图像更新频率运算单元123的配置的框图。参照图6，图像更新频率运算单元123包括函数运算单元1231-123n。提供与相应图像传输设备21-2n对应的函数运算单元1231-123n。
函数运算单元123n把帧传输间隔Tn、最大帧传输时间TMn以及传输请求/帧传输开始最大时间间隔TDn中的每一个作为输入，并且基于这些输入值，使用函数fn计算帧传输间隔TNn。函数fn区分开在图3A 至图3D中示出的帧传输状态。其他函数运算单元1231-123n-1与函数运算单元123n具有相同配置。
当前帧传输间隔T1,T2,…,Tn通过图像更新频率运算单元123的单个运算处理操作(在图5中示出的步骤A2至步骤A8的处理)由新的帧传输间隔TN1,TN2,…,TNn替换。
根据上述本发明示例性实施例的图像显示设备，展示以下行动和效果。
最佳帧传输间隔针对图像传输设备21-2n中的每一个根据帧传输状态来单独确定，并且传输请求的传输间隔被调整为这些最佳帧传输间隔。因此，网络100的带宽的效用可以被最大化而没有浪费，并且差异数据可以在固定时段被平稳传输。
进一步地，在图像显示设备的屏幕上的分开的显示区域中显示的图像的更新可以与在图像传输设备上的显示的图像的变化同步。因此，当观察在图像传输设备侧上的显示图像和在图像显示设备侧上的显示图像时可以抑制不正常显示的任何感知。
当具有窄带宽的网络100被用在诸如会议的使用模式中并且每一个参与者的信息处理终端的处理能力不同时，其中对于具有高处理能力的信息处理终端而言数据传输的数量增加而具有较低处理能力的信息处理终端的帧传输间隔改变的情况将发生。根据本发明示例性实施例的图像显示设备，通过针对每一个单独信息处理终端重复执行在图5 中示出的计算过程，每一个信息处理终端的帧传输间隔集中于最佳间隔。
例如，在图像更新频率运算单元123的单个计算过程操作中，甚至在其中仅特定图像传输设备k的帧传输间隔Tk由新的帧传输间隔TNk替换并且其他图像传输设备的帧传输间隔保持不变的情况中，在之前操作中改变的图像传输设备k的帧传输间隔Tk的影响在图像更新频率运算单元123的随后操作中将应用于其它图像传输设备的帧传输间隔的操作。因此，根据帧传输状态将所有图像传输设备的帧传输间隔自动调整为最佳帧传输间隔。
在本发明示例性实施例的图像显示设备中，上述配置和操作可以视情况而修改。
例如，当图像显示设备1的显示屏幕的分开的显示区域的面积比不同时，图像显示设备1的控制单元可以使指示符合分开的显示区域的面积比的分辨率的信息与传输请求一起从数据传输单元112被传输到每一个图像传输设备。在这种情况中，每一个图像传输设备传输符合与传输请求一起被接收的分辨率的图像的差异数据。
更具体地，在图2C中示出的三个划分的示例中，在第三分开的显示区域中显示的图像数据的分辨率高于在第一和第二分开的显示区域中的每一个中显示的图像数据的分辨率。控制单元向与第三分开的显示区域对应的图像传输设备传输附加了指示比针对与第一和第二分开的显示区域对应的图像传输设备更高分辨率的信息的传输请求，由此能够符合分开的显示区域的面积比地调整数据传输间隔。
此外，本发明可以采用在以下补充注释1-6中描述的形式但是不限于这些形式。
[补充注释1]
一种图像显示设备，其经由网络可通信地连接到多个图像传输设备，多个图像传输设备中的每一个传输指示时间上连续显示的图像之间的差异的差异数据，所述图像显示设备包括：
通信单元，其将传输请求传输到多个图像传输设备中的每一个并且接收包括由每一个图像传输设备根据所述传输请求传输的差异数据的帧；
显示单元，其显示基于在从图像传输设备中的每一个中接收到的帧中包含的差异数据的图像；
测量单元，其针对图像传输设备中的每一个测量从所述传输请求的传输的开始直到所述帧的接收的开始为止需要的第一需要时间间隔和从所述帧的接收的开始直到所述帧的接收的结束为止需要的第二需要时间间隔；以及
控制单元，其控制所述通信单元的所述传输请求的传输操作；
其中，所述控制单元使所述传输请求以已经提前设置的传输间隔从所述通信单元传输到所述图像传输设备中的每一个，使所述测量单元针对所述图像传输设备中的每一个执行第一需要时间间隔和第二需要时间间隔的测量，并且基于测量的结果来改变所述传输请求的传输间隔。
[补充注释2]
在如补充注释1中描述的所述图像显示设备中，所述控制单元使所述测量单元针对所述图像传输设备中的每一个在预定时段内执行第一需要时间间隔和第二需要时间间隔的测量，并且然后将传输请求的传输间隔设置为基于由通过把第一需要时间间隔和第二需要时间间隔中的每一个的测量值的最大值相加而获得的值的倒数指示的每单位时间的帧的数量计算的最佳帧传输间隔。
[补充注释3]
在补充注释1或2中描述的所述图像显示设备还包括：
当每单位时间的帧的数量离散改变时针对帧的数量中的每一个指示帧传输间隔的表格；
并且所述控制单元参考所述表格来确定所述最佳帧传输间隔。
[补充注释4]
在补充注释1至3中的任一个中描述的所述图像显示设备中：
所述显示单元提供有显示屏幕，所述显示屏幕被分成与多个图像传输设备中的每一个对应的多个分开的显示区域；并且基于在从所述图像传输设备中的每一个中接收到的帧中包含的差异数据的图像被显示在对应分开的显示区域中；并且
所述控制单元使指示符合显示屏幕的分开的显示区域的面积比的分辨率的信息与所述传输请求一起从所述通信单元被传输到每一个图像传输设备。
[补充注释5]
一种图像显示系统，包括：
在补充注释1至4中的任一个中描述的所述图像显示设备；以及
经由网络可通信地连接到所述图像显示设备的多个图像传输设备。
[补充注释6]
一种由图像显示设备执行的帧传输间隔控制方法，所述图像显示设备将传输请求传输到多个图像传输设备中的每一个(多个图像传输设备中的每一个传输指示时间上连续显示的图像之间的差异的差异数据)，接收包括每一个图像传输设备根据传输请求传输的差异数据的帧，并且显示基于在接收到的帧中包含的差异数据的图像，所述帧传输间隔控制方法包括：
以提前设置的传输间隔将所述传输请求传输到所述图像传输设备中的每一个；针对每一个图像传输设备，测量从所述传输请求的传输的开始直到帧的接收的开始为止的第一需要时间间隔和从所述帧的接收的开始直到所述帧的接收的结束为止的第二需要时间间隔；并且基于测量的结果来改变传输请求的传输间隔。
1 图像显示设备
11 通信设备
12 数据处理设备
13 存储设备
14 图像输出设备
21-2n 图像传输设备
121 帧间隔测量单元
122 图像数据处理单元
123 图像更新频率运算单元
124 图像更新响应单元
131 帧间隔数据存储存储器
132 视频存储器
133 图像更新频率数据存储存储器
141 图像显示单元

Claims (5)

1.一种图像显示设备，所述图像显示设备经由网络可通信地连接到多个图像传输设备，每一个所述多个图像传输设备传输指示时间上连续显示的图像之间的差异的差异数据，所述图像显示设备包括：
通信单元，所述通信单元将传输请求传输到所述多个图像传输设备中的每一个，并且接收包括由每一个图像传输设备根据所述传输请求传输的所述差异数据的帧；
显示单元，所述显示单元显示基于在从所述图像传输设备中的每一个接收到的所述帧中包含的所述差异数据的图像；
测量单元，所述测量单元针对所述图像传输设备中的每一个，测量从所述传输请求的传输的开始直到所述帧的接收的开始为止需要的第一需要时间间隔和从所述帧的接收的开始直到所述帧的接收的结束为止需要的第二需要时间间隔；以及
控制单元，所述控制单元控制所述通信单元的所述传输请求的传输操作；
其中，所述控制单元使所述传输请求以已经提前设置的传输间隔从所述通信单元传输到所述图像传输设备中的每一个，使所述测量单元针对所述图像传输设备中的每一个执行所述第一需要时间间隔和所述第二需要时间间隔的测量，并且基于所述测量的结果来改变所述传输请求的传输间隔，
并且其中，所述控制单元使所述测量单元针对所述图像传输设备中的每一个在预定时段期间执行所述第一需要时间间隔和所述第二需要时间间隔的测量，然后将所述传输请求的传输间隔设置为最佳帧传输间隔，所述最佳帧传输间隔是通过把所述第一需要时间间隔和所述第二需要时间间隔中的每一个的测量值的最大值相加而获得的值的倒数指示的每单位时间的帧的数量计算的。
2.根据权利要求1所述的图像显示设备，还包括：
当每单位时间的帧的数量离散改变时针对帧的数量中的每一个指示帧传输间隔的表格；并且
所述控制单元参考所述表格来确定所述最佳帧传输间隔。
3.根据权利要求1所述的图像显示设备，其中：
所述显示单元被提供有显示屏幕；所述显示屏幕被分成与所述多个图像传输设备中的每一个对应的多个分开的显示区域；并且基于在从所述图像传输设备中的每一个接收到的所述帧中包含的差异数据的图像被显示在对应的分开的显示区域中；并且
所述控制单元使指示符合所述显示屏幕的所述分开的显示区域的面积比的分辨率的信息与所述传输请求一起从所述通信单元被传输到每一个图像传输设备。
4.一种图像显示系统，包括：
根据权利要求1所述的图像显示设备；以及
经由网络可通信地连接到所述图像显示设备的所述多个图像传输设备。
5.一种由图像显示设备执行的帧传输间隔控制方法，所述图像显示设备将传输请求传输到多个图像传输设备中的每一个，每一个图像传输设备传输指示时间上连续显示的图像之间的差异的差异数据，所述图像显示设备接收包括每一个图像传输设备根据所述传输请求传输的所述差异数据的帧，并且显示基于在接收到的所述帧中包含的所述差异数据的图像，所述方法包括：
以提前设置的传输间隔将所述传输请求传输到所述图像传输设备中的每一个；针对每一个所述图像传输设备，测量从所述传输请求的传输的开始直到所述帧的接收的开始为止的第一需要时间间隔和从所述帧的接收的开始直到所述帧的接收的结束为止的第二需要时间间隔；并且基于所述测量的结果来改变所述传输请求的传输间隔，以及
针对所述图像传输设备中的每一个在预定时段期间执行所述第一需要时间间隔和所述第二需要时间间隔的测量，然后将所述传输请求的传输间隔设置为最佳帧传输间隔，所述最佳帧传输间隔是通过把所述第一需要时间间隔和所述第二需要时间间隔中的每一个的测量值的最大值相加而获得的值的倒数指示的每单位时间的帧的数量计算的。
CN201680085686.6A 2016-05-16 2016-05-16 图像显示设备、帧传输间隔控制方法和图像显示系统 Active CN109155868B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/064458 WO2017199284A1 (ja) 2016-05-16 2016-05-16 画像表示装置、フレーム伝送間隔制御方法および画像表示システム

Publications (2)

Publication Number Publication Date
CN109155868A CN109155868A (zh) 2019-01-04
CN109155868B true CN109155868B (zh) 2021-03-09

Family

ID=60324899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085686.6A Active CN109155868B (zh) 2016-05-16 2016-05-16 图像显示设备、帧传输间隔控制方法和图像显示系统

Country Status (4)

Country Link
US (1) US10412341B2 (zh)
JP (1) JP6737477B2 (zh)
CN (1) CN109155868B (zh)
WO (1) WO2017199284A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113473229B (zh) * 2021-06-25 2022-04-12 荣耀终端有限公司 一种动态调节丢帧阈值的方法及相关设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3750846B2 (ja) * 2000-12-22 2006-03-01 日本ビクター株式会社 映像信号記録方法、及び映像信号記録装置
EP1724960A4 (en) * 2004-03-10 2008-03-05 Mitsubishi Electric Corp DATA RECEIVING DEVICE AND DATA RECEIVING METHOD
JP4205634B2 (ja) * 2004-05-27 2009-01-07 Ｎｅｃディスプレイソリューションズ株式会社 画像送信装置で使用される方法、およびプログラム
KR20080053794A (ko) * 2006-12-11 2008-06-16 주식회사 비씨엔커뮤니케이션 통신 네트워크에서의 동영상 콘텐츠 서비스 시스템 및 방법
JP4633042B2 (ja) 2006-12-19 2011-02-16 Ｎｅｃディスプレイソリューションズ株式会社 画像表示装置および画像データ処理方法
JP4345828B2 (ja) * 2007-03-09 2009-10-14 日本電気株式会社 プロキシサーバ及びプロキシ制御プログラム
CN101834841B (zh) * 2009-03-09 2012-11-14 北京元丰旺科技发展有限责任公司 一种信息传输方法
JP5678743B2 (ja) * 2011-03-14 2015-03-04 富士通株式会社 情報処理装置、画像送信プログラム、画像送信方法および画像表示方法
US9131498B2 (en) * 2012-09-12 2015-09-08 Futurewei Technologies, Inc. System and method for adaptive transmission time interval (TTI) structure
CN104426636A (zh) * 2013-09-11 2015-03-18 松下电器产业株式会社 通信控制装置及通信控制方法
CN104796214B (zh) * 2014-01-22 2019-03-26 中兴通讯股份有限公司 光突发传送网节点时隙同步的训练方法、节点设备和网络
CN104918133B (zh) * 2014-03-12 2018-07-10 北京视联动力国际信息技术有限公司 一种视联网中视频流的播放方法和装置

Also Published As

Publication number Publication date
WO2017199284A1 (ja) 2017-11-23
US20190215480A1 (en) 2019-07-11
JPWO2017199284A1 (ja) 2019-03-14
CN109155868A (zh) 2019-01-04
US10412341B2 (en) 2019-09-10
JP6737477B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
JP4405419B2 (ja) 画面送信装置
US8405773B2 (en) Video communication quality estimation apparatus, method, and program
US20140002625A1 (en) Image processing device
JP2008234389A (ja) カラー画像データ転送システムおよびそれに使用されるクライアント
CN108600675B (zh) 通道路数扩展方法、设备、网络录像机及存储介质
CN109561336A (zh) 分布式显示同步方法、装置及系统
US11646001B2 (en) Display device, data processor, data processing method, driving method, storage medium, and electronic device
CN108206960B (zh) 图像传输过程中图像压缩率调整方法及移动终端
US20080019439A1 (en) Apparatus and method for low distortion display in a portable communication terminal
CN109155868B (zh) 图像显示设备、帧传输间隔控制方法和图像显示系统
WO2024169650A1 (zh) 投屏帧率获取方法、装置、计算机设备以及存储介质
US9026584B2 (en) Server device, communication method, and program product for processing the transfer of screen changes
US8760574B2 (en) Image processing methods and systems for frame rate conversion
US10178145B2 (en) Method for adjusting a data stream to be transmitted to a resource load
CN107896311B (zh) 一种视频补偿的方法及设备
CN110830678A (zh) 一种多通道视频信号同步输出方法、装置、系统及介质
CN109269628B (zh) 监测马达振动的方法、终端设备以及计算机可读存储介质
EP1906673A1 (en) Method, system and terminal for negotiating to correct the gamma characteristic
US9532040B2 (en) Virtual viewpoint interval determination sections apparatus and method
CN113055749A (zh) 一种基于5g传输视频的分辨率自动切换系统
US20050154778A1 (en) System and method for controlling a transmission of image data to a display device
CN112463095A (zh) 一种多信号窗口同步开窗显示方法及装置
JP2011234288A (ja) 通信装置、通信方法および通信プログラム
US20210185151A1 (en) Compensating for interruptions in a wireless connection
CN109889802A (zh) 梯形矫正的方法、装置、电子设备、移动终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant