CN108141639A - 通信系统、发送装置、接收装置、通信系统控制方法和程序 - Google Patents

通信系统、发送装置、接收装置、通信系统控制方法和程序 Download PDF

Info

Publication number
CN108141639A
CN108141639A CN201680057697.3A CN201680057697A CN108141639A CN 108141639 A CN108141639 A CN 108141639A CN 201680057697 A CN201680057697 A CN 201680057697A CN 108141639 A CN108141639 A CN 108141639A
Authority
CN
China
Prior art keywords
unit
data
transmitting element
sent
reception device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680057697.3A
Other languages
English (en)
Other versions
CN108141639B (zh
Inventor
大西克嘉
宫崎良雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN108141639A publication Critical patent/CN108141639A/zh
Application granted granted Critical
Publication of CN108141639B publication Critical patent/CN108141639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

提供了一种通信系统、一种发送装置、一种接收装置、一种通信系统控制方法以及一种程序，其允许根据直到由发送装置生成的数据可供接收装置使用为止的时间量来选择适当通信路径。第一发送单元(68a)将编码的数据发送到第一接收单元。第二发送单元(68b)将编码的数据发送到第二接收单元。第一发送单元(68a)比第二发送单元(68b)具有更高的最大可能发送速率。发送预处理执行单元(66)以比在由第一发送单元(68a)进行发送之时的压缩率更高的压缩率在第二发送单元(68b)进行发送之时对数据进行编码。发送控制单元(72)基于从生成数据起到当该数据可供HMD(14)使用时的时间量来控制HMD(14)使用哪个数据——由第一接收单元接收到的数据或由第二接收单元接收到的数据。

Description

通信系统、发送装置、接收装置、通信系统控制方法和程序
技术领域
本发明涉及一种通信系统、一种发送装置、一种接收装置、一种通信系统控制方法以及一种程序。
背景技术
在各发送单元之间或各接收单元之间进行切换以在具有多个发送单元的发送装置或具有多个接收单元的接收装置中根据用于无线通信的无线电波状况来处理通信的技术是已知的。
发明内容
[技术问题]
近年来，通过无线通信发送和接收视频一直处于研究中。例如，当前研究的是将描述由执行游戏程序的游戏装置生成的游戏玩乐(play)状态的视频无线地发送到头戴式显示器(HMD)并且在HMD上显示该视频。
当出于该目的而使用无线通信时，重要的是，缩短直到由发送装置所生成的数据可供接收装置使用为止的时间量(时延)，以减少玩家在操作期间感受到的不适的感觉。具体地说，重要的是，缩短直到由游戏装置所生成的视频被显示在HMD上为止的时间量。为此，出于以上目的，优选地根据时延来选择适当通信路径，以参与无线通信。
然而，在现有技术中，没有根据时延来进行通信路径的选择。为此，不能认为现有技术可以出于以上目的而胜任地处理无线通信。
鉴于前述情况，本发明的目的是提供一种通信系统、一种发送装置、一种接收装置、一种通信系统控制方法以及一种程序，其允许根据直到由所述发送装置所生成的数据可供所述接收装置使用为止的时间量来选择适当通信路径。
[问题的解决方案]
为了解决以上目的，根据本发明的通信系统包括发送装置以及接收装置。所述发送装置包括生成单元、编码单元、第一发送单元以及第二发送单元。所述生成单元生成数据。所述编码单元对所述数据进行编码。所述第一发送单元可以与所述接收装置进行通信。所述第二发送单元可以与所述接收装置进行通信。所述接收装置包括第一接收单元、第二接收单元以及解码单元。所述第一接收单元可以与所述第一发送单元进行通信。所述第二接收单元可以与所述第二发送单元进行通信。所述解码单元对所编码的数据进行解码。所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元。所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元。所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率。与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码。所述通信系统还包括：控制单元，其基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来控制所述接收装置使用哪个数据——由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据。
在本发明的一种模式下，所述控制单元基于所述从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来控制由所述第一发送单元进行的发送还是由所述第二发送单元进行的发送发生。
在该模式下，所述通信系统还包括：计数标识单元，其标识在由所述第二发送单元进行的发送不发生而由所述第一发送单元进行的发送发生时所述从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量超过给定时间段的次数。当所述次数达到给定的计数时，所述控制单元执行控制，使得此后由所述第二发送单元进行的发送发生，而非由所述第一发送单元进行的发送发生。
此外，所述发送装置包括所述控制单元，并且所述接收装置还包括指令单元，其基于所述从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来指令所述发送装置关于由所述第一发送单元进行的发送还是由所述第二发送单元进行的发送应当发生，以及当从所述接收装置接收到所述指令时，所述控制单元执行控制，使得此后由所述第一发送单元进行的发送或由所述第二发送单元进行的发送根据指令而发生。
此外，在通信质量在由所述第二发送单元进行的发送期间下降到给定质量或更小的情况下，所述编码单元增加由所述生成单元生成的数据的压缩率。
此外，在本发明的模式下，所述编码单元包括第一编码单元以及与所述第一编码单元分离的第二编码单元。所述第一编码单元在所述第一发送单元进行的发送之时对所述数据进行编码，以及所述第二编码单元在所述第二发送单元进行的发送之时对所述数据进行编码。由所述第二编码单元进行的编码的压缩率比由所述第一编码单元进行的编码的压缩率更高。
此外，根据本发明的发送装置包括生成单元、编码单元、第一发送单元以及第二发送单元。所述生成单元生成数据。所述编码单元对所述数据进行编码。所述第一发送单元可以与接收装置进行通信。所述第二发送单元可以与所述接收装置进行通信。所述发送装置可以与包括第一接收单元、第二接收单元以及解码单元的所述接收装置进行通信。所述第一接收单元可以与所述第一发送单元进行通信。所述第二接收单元可以与所述第二发送单元进行通信。所述解码单元对所编码的数据进行解码。所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元。所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元。所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率。与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码。所述发送装置还包括：控制单元，其基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来控制所述接收装置使用哪个数据——由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据。
此外，根据本发明的接收装置可以与包括生成单元、编码单元、第一发送单元以及第二发送单元的发送装置进行通信。所述生成单元生成数据。所述编码单元对所述数据进行编码。所述第一发送单元可以与所述接收装置进行通信。所述第二发送单元可以与所述接收装置进行通信。所述接收装置包括第一接收单元、第二接收单元以及解码单元。所述第一接收单元可以与所述第一发送单元进行通信。所述第二接收单元可以与所述第二发送单元进行通信。所述解码单元对所编码的数据进行解码。所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元。所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元。所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率。与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码。所述接收装置还包括：控制单元，其基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来控制所述接收装置使用哪个数据——由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据。
此外，根据本发明的通信系统控制方法是一种包括发送装置以及接收装置的通信系统的控制方法。所述发送装置包括生成单元、编码单元、第一发送单元以及第二发送单元。所述生成单元生成数据。所述编码单元对所述数据进行编码。所述第一发送单元可以与所述接收装置进行通信。所述第二发送单元可以与所述接收装置进行通信。所述接收装置包括第一接收单元、第二接收单元以及解码单元。所述第一接收单元可以与所述第一发送单元进行通信。所述第二接收单元可以与所述第二发送单元进行通信。所述解码单元对所编码的数据进行解码。所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元。所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元。所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率。与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码。所述通信系统控制方法包括步骤：基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来控制所述接收装置使用哪个数据——由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据。
此外，根据本发明的程序使得控制通信系统的计算机执行例程。所述通信系统包括发送装置以及接收装置。所述发送装置包括生成单元、编码单元、第一发送单元以及第二发送单元。所述生成单元生成数据。所述编码单元对所述数据进行编码。所述第一发送单元可以与所述接收装置进行通信。所述第二发送单元可以与所述接收装置进行通信。所述接收装置包括第一接收单元、第二接收单元以及解码单元。所述第一接收单元可以与所述第一发送单元进行通信。所述第二接收单元可以与所述第二发送单元进行通信。所述解码单元对所编码的数据进行解码。所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元。所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元。所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率。与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码。所述程序使得所述计算机执行例程：基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量来控制所述接收装置使用哪个数据——由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据。
附图说明
图1是示出根据本发明实施例的图像显示系统的总体配置的示例的示图。
图2是示出根据本发明实施例的头戴式显示器的配置示例的示图。
图3是示意性示出部分视频的发送的示例的解释图。
图4是示出根据本发明实施例的娱乐装置中所实现的功能的示例的功能框图。
图5是示出根据本发明实施例的头戴式显示器中所实现的功能的示例的功能框图。
图6是示出根据本发明实施例的娱乐装置所执行的处理流程的示例的流程图。
图7A是示出根据本发明实施例的头戴式显示器所执行的处理流程的示例的流程图。
图7B是示出根据本发明实施例的头戴式显示器所执行的处理流程的示例的流程图。
具体实施方式
以下将参照附图给出本发明实施例的描述。
图1是示出根据本发明实施例的图像显示系统10的总体配置的示例的示图。
如图1所示，根据本实施例的图像显示系统10包括娱乐装置12、头戴式显示器(HMD)14以及控制器16。
根据本实施例的娱乐装置12是计算机(例如游戏控制台、数字多功能盘(DVD)播放器以及蓝光(注册商标)播放器)。在本实施例中，由娱乐装置12所生成的视频被发送到并且显示在HMD 14上。
如图1所示，根据本实施例的娱乐装置12包括控制单元20、存储单元22、第一通信单元24a、第二通信单元24b、控制器通信单元26、第一编码器单元28a、第二编码器单元28b以及切换控制电路30。
控制单元20是程序控制式设备(例如中央处理单元(CPU))，并且根据存储单元22中所存储的程序来执行各种信息处理任务。根据本实施例的控制单元20还包括GPU(图形处理单元)，其基于从CPU提供的图形命令和数据而在帧缓冲器中绘制图像。
存储单元22例如是存储元件(例如只读存储器(ROM)和随机存取存储器(RAM)、硬盘驱动器等)。存储单元22存储由控制单元20等执行的程序。此外，根据本实施例的存储单元22具有为GPU绘制图像所预留的帧缓冲区域。
第一通信单元24a和第二通信单元24b例如是用于与HMD 14交换数据的通信接口。根据本实施例的娱乐装置12通过第一通信单元24a或第二通信单元24b的方式与HMD 14进行通信。
在本实施例中，用于由第一通信单元24a处理的通信的通信标准与用于由第二通信单元24b处理的通信的通信标准不同。例如，第一通信单元24a参与60GHz带中的通信，而第二通信单元24b参与5GHz带中的通信。
60GHz带中的通信提供比5GHz带中的通信更高的最大可能发送速率。此外，60GHz带中的通信具有比5GHz带中的通信更高的直线传播性能和更短的可能通信距离。在本实施例中，可能的是，根据用于无线通信的无线电波状况关于与HMD 14的通信在第一通信单元24a与第二通信单元24b之间进行切换。此外，在本实施例中，可能的是，通过使用公知自适应调制和编码技术自适应地改变第一通信单元24a和第二通信单元24b的调制方案和编码方案。
控制器通信单元26例如是以有线方式或无线方式与控制器16进行通信的通信接口。
第一编码器单元28a和第二编码器单元28b例如是硬件编码器，其对例如由控制单元20所生成的视频的内容数据或例如存储单元22中所存储的视频的内容数据进行编码。应注意，在本实施例中，第一编码器单元28a和第二编码器单元28b是分离的。此外，第一编码器单元28a和第二编码器单元28b可以压缩内容数据。在本实施例中，第二编码器单元28b所提供的压缩率比第一编码器单元28a所提供的压缩率更高。
此外，在本实施例中，由第一编码器单元28a所编码的数据被第一通信单元24a发送到HMD 14，并且由第二编码器单元28b所编码的数据被第二通信单元24b发送到HMD 14。
切换控制电路30是在第一编码器单元28a与第二编码器单元28b之间进行切换以对内容数据进行编码的电路。
图2是示出根据本实施例的HMD 14的配置示例的示图。
如图2所示，根据本实施例的HMD 14包括控制单元40、存储单元42、第一通信单元44a、第二通信单元44b、第一解码器单元46a、第二解码器单元46b、切换控制电路48、切换电路50以及输出单元52。
控制单元40是程序控制式设备(例如CPU)，并且根据存储单元42中所存储的程序来执行各种信息处理任务。根据本实施例的控制单元40还包括GPU(图形处理单元)，其基于从CPU提供的图形命令和数据而在帧缓冲器中绘制图像。
存储单元42例如是存储元件(例如ROM和RAM)。存储单元42存储由控制单元40等执行的程序。此外，根据本实施例的存储单元42具有为GPU绘制图像所预留的帧缓冲区域。
第一通信单元44a和第二通信单元44b例如是用于与娱乐装置12交换数据的通信接口。根据本实施例的HMD 14通过第一通信单元44a或第二通信单元44b的方式与娱乐装置12进行通信。
在本实施例中，用于由第一通信单元44a处理的通信的通信标准与用于由第二通信单元44b处理的通信的通信标准不同。例如，第一通信单元44a参与60GHz带中的通信，而第二通信单元44b参与5GHz带中的通信。
如上所述，60GHz带中的通信提供比5GHz带中的通信更高的最大可能发送速率。此外，60GHz带中的通信具有比5GHz带中的通信更高的直线传播性能和更短的可能通信距离。在本实施例中，根据用于无线通信的无线电波状况关于与娱乐装置12的通信在第一通信单元44a与第二通信单元44b之间进行切换。此外，在本实施例中，可能的是，通过使用公知自适应调制和编码技术自适应地改变第一通信单元44a和第二通信单元44b的调制方案和编码方案。
在本实施例中，当娱乐装置12和HMD 14进行通信时，发生60GHz带中的第一通信单元24a与第一通信单元44a之间的通信或5GHz带中的第二通信单元24b与第二通信单元44b之间的通信。
第一编码器单元46a和第二编码器单元46b例如是硬件编码器，其对从娱乐装置12接收到的内容数据进行编码。在本实施例中，第一编码器单元46a对第一通信单元44a接收到的内容数据进行解码，并且第二编码器单元46b对第二通信单元44b接收到的内容数据进行解码。在此，当接收到的内容数据是受压缩的数据时，第一编码器单元46a和第二编码器单元46b对受压缩的数据进行解压。
切换控制电路48例如是在第一编码器单元46a与第二编码器单元46b进行切换以用于对内容数据进行解码的电路。
切换电路50是在输出单元52上显示第一解码器单元46a所解码的数据所表示的视频还是第二解码器单元46b所解码的数据所表示的视频之间进行切换的电路。
输出单元52例如是显示信息作为输出并且产生音频作为输出的设备。输出单元52包括例如在HMD 14前面布置的显示单元(例如液晶显示器或有机电致发光(EL)显示器)以及在HMD 14的左边和右边布置的音频输出单元(例如耳机或扬声器)。输出单元52例如显示由娱乐装置12所生成的视频，并且输出由娱乐装置12所生成的数据所表示的音频。此外，根据本实施例的显示单元可以例如通过显示用于左眼的图像和用于右眼的图像来显示三维(3D)图像。应注意，显示单元可以是不能显示3D图像而仅能够显示二维(2D)图像的显示单元。
图1所示的控制器16是用于进行对娱乐装置12的操作输入的操作输入设备。用户可以通过按压方向键和按钮并且倾斜控制器16上可用的操作杆而通过控制器16进行各种操作输入。于是，在本实施例中，控制器16输出与对娱乐装置12的操作输入关联的输入数据。根据本实施例的控制器16可以通过有线方式或无线方式与娱乐装置12的控制器通信单元26进行通信。
在本实施例中，例如，娱乐装置12执行在娱乐装置12中安装的游戏程序。然后，由娱乐装置12根据游戏的玩乐状态所生成的视频被显示在HMD14的输出单元52上。该视频在下文中将被称为玩乐视频。玩乐视频包括例如以给定帧率(例如1/60秒间隔)显示的多个帧图像。
以下将重点描述玩乐在根据本实施例的图像显示系统10中的HMD 14的输出单元52上显示玩乐视频的情况。
在本实施例中，例如，玩乐视频以作为该玩乐视频的部分的部分视频为单位从娱乐装置12被发送到HWD 14。应注意，构成玩乐视频的多个部分视频在大小方面可以是相同或不同的。
图3是示意性示出部分视频的发送的示例的解释图。以下将参照图3描述部分视频的发送的示例。
在本实施例中，部分视频数据被划分成适合于编码的大小的多个分组，并且对多个所划分的分组执行诸如编码、数据传输以及堆叠之类的发送预处理(pre-transmissionprocesses)。下文中，通过划分由娱乐装置12生成的部分视频数据而生成的n个分组将被称为第一分组、第二分组、第三分组等等，直到第n分组。
受过发送预处理的多个分组成功地从娱乐装置12发送到HMD 14。
在接收到多个分组之后，HMD 14对多个分组执行诸如数据传输、堆叠以及解码之类的接收后处理(post-reception processes)。作为执行接收后处理的结果，由娱乐装置12生成的部分视频数据可供HMD 14使用。在本实施例中，由如上所述的可供使用的部分视频数据所表示的视频被显示在HMD14的输出单元52上。
由可供HMD 14使用的部分视频数据表示的视频的细节与由娱乐装置12生成的部分视频的细节相同。然而，不需要可供HMD 14使用的部分视频数据与由娱乐装置12所生成的部分视频数据相同。例如，如果部分视频数据在娱乐装置12中在编码期间被不可逆地压缩，则可供HMD 14使用的部分视频数据不完全与由娱乐装置12生成的部分视频数据相同。
下文中，发送预处理所需的时间将被称为发送预处理执行时间ta，如图3所示。此外，从娱乐装置12发送第一分组到HMD 14接收第一分组的时间将被称为第一分组发送时间tb。此外，从HMD 14接收第一分组到接收第二分组、第三分组等等直到第n分组的时间将被称为数据接收时间tc。此外，第一分组发送时间tb与数据接收时间tc之和将被称为无线时延wl。此外，接收后处理所需的时间将被称为接收后处理执行时间td。此外，发送预处理执行时间ta、无线时延wl以及接收后处理执行时间td之和将被称为系统时延sl。也就是说，从娱乐装置12生成部分视频数据到当数据可供HMD 14使用时的时间等于系统时延sl。
在如本实施例中的通过无线通信的玩乐视频通信中，重要的是，缩短系统时延sl，以减少玩家在游戏操作期间感受到的不适的感觉。例如，要求系统时延sl是给定的时间th_sl或更小(例如1/2垂直同步(VSYNC)或更小)。
在此，例如，数据编码压缩率越高，编码和解码所需的时间就越长。这样导致长的发送预处理执行时间和长的接收后处理执行时间td。另一方面，数据编码压缩率越高，发送数据所需的时间就越短。为此，数据编码压缩率越高，无线时延wl就越短。
此外，60GHz带中的通信提供比5GHz带中的通信更高的最大可能发送速率。在有利的通信状况下，因此，很有可能的是，在60GHz带中的通信中，系统时延sl保持在给定的时间th_sl或更小，甚至无需增加编码压缩率。
然而，60GHz带中的通信具有比5GHz带中的通信更高的直线传播性能和更短的可能通信距离。为此，在娱乐装置12与HMD 14之间出现障碍时，或如果在娱乐装置12与HMD 14之间存在长距离，则这可能导致增加的重试计数。因此，取决于通信状况，在60GHz带中的通信中，系统时延sl可以不保持在给定的时间th_sl或更小。
因此，诸如压缩率和通信状况之类的各种情况影响系统时延sl。于是，在通过无线通信的玩乐视频通信中，例如，根据以上系统时延sl来优选地选择适当通信路径，从而将系统时延sl保持为例如给定的时间th_sl或更小。然而，在现有技术中，通信路径的选择并没有根据系统时延sl来进行。
在本实施例中，基于以上系统时延sl来控制HMD 14使用何种数据：由第一通信单元44a接收到的数据或由第二通信单元44b接收到的数据。根据本实施例，因此，根据以上系统时延sl来选择适当通信路径。
以下将关注于根据系统时延sl来选择通信路径而给出根据本实施例的图像显示系统10的功能以及根据本实施例的图像显示系统10所执行的处理的描述。应注意，根据本实施例的图像显示系统10用作通信系统，其通信路径根据系统时延sl来控制。
图4是示出根据本实施例的娱乐装置12中所实现的功能的示例的功能框图。应注意，在根据本实施例的娱乐装置12中无需实现图4中所描述的所有功能，并且可以实现除了图4中所描述的功能之外的功能。
如图4所示，根据本实施例的娱乐装置12在功能上包括例如视频生成单元60、部分视频数据生成单元62、部分视频数据划分单元64、发送预处理执行单元66、发送单元68、指令接收单元70以及发送控制单元72。此外，发送预处理执行单元66包括第一发送预处理执行单元66a以及第二发送预处理执行单元66b。此外，发送单元68包括第一发送单元68a以及第二发送单元68b。视频生成单元60、部分视频数据生成单元62以及部分视频数据划分单元64主要实现为控制单元20。第一发送预处理执行单元66a主要实现为第一通信单元24a以及第一编码器单元28a。第二发送预处理执行单元66b主要实现为第二通信单元24b以及第二编码器单元28b。第一发送单元68a主要实现为第一通信单元24a。第二发送单元68b主要实现为第二通信单元24b。指令接收单元70主要实现为第一通信单元24a以及第二通信单元24b。发送控制单元72主要实现为控制单元20以及切换控制电路30。根据本实施例的娱乐装置12用作发送装置，其通信路径根据系统时延sl来控制。
以上功能可以实现为控制单元20执行包括用于以上功能的指令的程序的结果。该程序例如经由计算机可读信息存储介质(例如光盘、磁盘、磁带、磁光盘和闪存)提供给娱乐装置12。替代地，程序经由互联网等提供给娱乐装置12。
图5是示出根据本发明实施例的头戴式显示器14中所实现的功能的示例的功能框图。应注意，在根据本实施例的HMD 14中无需实现图5中所描述的所有功能，并且可以实现除了图5中所描述的功能之外的功能。
如图5所示，根据本实施例的HMD 14在功能上包括例如接收单元74、接收后处理执行单元76、时延测量单元78、计数标识单元80、接收控制单元82、指令发送单元84以及输出控制单元86。此外，接收单元74包括第一接收单元74a以及第二接收单元74b。此外，接收后处理执行单元76包括第一接收后处理执行单元76a以及第二接收后处理执行单元76b。第一接收单元74a主要实现为第一通信单元44a。第二接收单元74b主要实现为第二通信单元44b。第一接收后处理执行单元76a主要实现为第一通信单元44a以及第一解码器单元46a。第二接收后处理执行单元76b主要实现为第二通信单元44b以及第二解码器单元46b。时延测量单元78以及计数标识单元80主要实现为控制单元40。接收控制单元82主要实现为控制单元40、切换控制电路48以及切换电路50。指令发送单元84主要实现为第一通信单元44a以及第二通信单元44b。输出控制单元86主要实现为控制单元40以及输出单元52。根据本实施例的HMD 14用作接收装置，其通信路径根据系统时延sl来控制。
以上功能可以实现为控制单元40执行包括用于以上功能的指令的程序的结果。该程序例如经由计算机可读信息存储介质(例如光盘、磁盘、磁带、磁光盘和闪存)提供给HMD14。替代地，程序经由互联网等提供给HMD 14。
在本实施例中，视频生成单元60例如生成视频，诸如上面所描述的玩乐视频。
部分视频数据生成单元62例如生成部分视频数据——在本实施例中，视频生成单元60所生成的视频的部分。
在本实施例中，部分视频数据划分单元64例如划分由部分视频数据生成单元62所生成的部分视频数据。部分视频数据划分单元64例如生成n个分组(即第一分组、第二分组、第三分组等等直到第n分组)。
在本实施例中，发送预处理执行单元66例如对由视频生成单元60所生成的数据执行上面的发送预处理。在本实施例中，发送预处理执行单元66例如对由部分视频数据划分单元64所生成的每个分组执行上面的发送预处理。发送预处理包括上述编码处理。此外，编码处理可以包括压缩处理。
在本实施例中，发送单元68例如将受过编码或发送预处理执行单元66进行的其它发送预处理的数据发送到接收单元74。
在本实施例中，指令接收单元70例如从HMD 14的指令发送单元84接收指令：由第一发送单元68a进行发送，或者由第二发送单元68b进行发送。
在本实施例中，发送控制单元72例如控制基于系统时延sl发生由第一发送单元68a进行的发送还是发生由第二发送单元68b进行的发送。当指令接收单元70从HMD 14接收到上面的指令时，发送控制单元72可以执行控制，使得此后根据指令发生由第一发送单元68a进行的发送或由第二发送单元68b进行的发送。
此外，在本实施例中，发送控制单元72保存发送单元标识数据，该发送单元标识数据管理是由第一发送单元68a进行的发送发生还是由第二发送单元68b进行的发送发生。例如，当由第一发送单元68a进行的发送发生时，发送单元标识数据值被设置为“1”，而当由第二发送单元68b进行的发送发生时，发送单元标识数据值被设置为“2”。应注意，当发送单元标识数据值被设置为“1”时，发送控制单元72可以执行控制，使得第二通信单元24b暂停。此外，当发送单元标识数据值被设置为“2”时，发送控制单元72可以执行控制，使得第一通信单元24a暂停。
此外，我们假设，例如，当由第二发送单元68b进行的发送不发生而由第一发送单元68a进行的发送发生时，系统时延sl超过给定的时间th_sl的次数达到给定的计数。在此情况下，例如，发送控制单元72可以执行控制，使得此后发生由第二发送单元68b进行的发送，而非由第一发送单元68a进行的发送。
此外，在本实施例中，发送控制单元72保存MCS(调制和编码方案)值(索引编号)，其指示对于通信所使用的调制方案和编码方案。应注意，MCS值与调制方案和编码方案的组合之间的对应性取决于通信标准而变化。为此，与用于由第一发送单元68a进行的60GHz带中的通信的特定MCS值关联的调制方案和编码方案不同于与用于由第二发送单元68b进行的5GHz带中的通信的特定MCS值关联的调制方案和编码方案。
在本实施例中，例如，当发送控制单元72执行控制使得由第一发送单元68a进行的发送发生时，第一发送单元68a发送分组。此外，当发送控制单元72执行控制使得由第二发送单元68b进行的发送发生时，第二发送单元68b发送分组。
此外，在本实施例中，例如，当由第二发送单元68b进行的发送发生时，发送预处理执行单元66以比第一发送单元68a进行的发送更高的压缩率对数据进行编码。在本实施例中，例如，当发送控制单元72执行控制使得由第一发送单元68a进行的发送发生时，第一发送预处理执行单元66a执行发送预处理。此外，当发送控制单元72执行控制使得由第二发送单元68b进行的发送发生时，第二发送预处理执行单元66b执行发送预处理。此外，在本实施例中，第二发送预处理执行单元66b的编码压缩率比第一发送预处理执行单元66a进行的编码压缩率更高。
此外，如果通信质量在第二发送单元68b进行的发送期间下降到给定质量或更小，则发送预处理执行单元66可以提高视频生成单元60所生成的数据的压缩率。这样确保与帧图像关联的更小的数据量，将降级的通信质量所产生的系统时延sl的增加保持为最小。
在本实施例中，接收单元74接收例如从发送单元68发送的数据。
在本实施例中，接收后处理执行单元76对接收单元74接收到的数据执行例如上面的接收后处理。
在本实施例中，时延测量单元78测量例如上述系统时延sl。在本实施例中，我们假设，例如，系统时钟在娱乐装置12与HMD 14之间是同步的。于是，发送预处理执行单元66将表示上面发送预处理的执行开始的时间戳的数据附接到上面n个分组中的每一个。这样使得例如对于时延测量单元78可能的是，测量从由表示附接到n个分组的时间戳的数据所指示的时间到当对于n个分组的接收后处理结束时的时间的时间量作为系统时延sl。
计数标识单元80标识系统时延sl超过给定的时间th_sl的次数。在本实施例中，我们假设计数标识单元80保存指示系统时延sl超过给定的时间th_sl的次数的关于时延的计数数据。用于关于时延的计数数据值c的初始值是0。于是，如果系统时延sl超过给定的时间th_sl，则计数标识单元80将所述关于时延的计数数据值c增加1。
在本实施例中，接收控制单元82例如基于系统时延sl来控制HMD 14使用何种数据——由第一通信单元74a接收到的数据或由第二通信单元74b接收到的数据。
此外，在本实施例中，接收控制单元82保存接收单元标识数据，该接收单元标识数据管理HMD 14使用由第一接收单元74a接收到的数据还是由第二接收单元74b接收到的数据。例如，当HMD 14使用由第一接收单元74a接收到的数据时，接收单元标识数据值被设置为“1”，而当HMD 14使用由第二接收单元74b接收到的数据时，接收单元标识数据值被设置为“2”。应注意，当接收单元标识数据值被设置为“1”时，接收控制单元82可以执行控制，使得第二通信单元44b暂停。此外，当接收单元标识数据值被设置为“2”时，接收控制单元82可以执行控制，使得第一通信单元44a暂停。
此外，在本实施例中，接收控制单元82保存MCS值(索引编号)，其指示对于通信所使用的调制方案和编码方案。应注意，如上所述，与用于由第一接收单元74a进行的60GHz带中的通信的特定MCS值关联的调制方案和编码方案不同于与用于由第二接收单元74b进行的5GHz带中的通信的特定MCS值关联的调制方案和编码方案。
在本实施例中，例如，当接收控制单元82执行控制使得HMD 14使用由第一接收单元74a接收到的数据时，第一接收单元74a接收数据。此外，当接收控制单元82执行控制使得HMD 14使用由第二接收单元74b接收到的数据时，第二接收单元74b接收数据。
在本实施例中，例如，当接收控制单元82执行控制使得HMD 14使用由第一接收单元74a接收到的数据时，第一接收后处理执行单元76a执行接收后处理。此外，当接收控制单元82执行控制使得HMD 14使用由第二接收单元74b接收到的数据时，第二接收后处理执行单元76b执行接收后处理。
应注意，在本实施例中，当发送控制单元72执行控制使得由第一发送单元68a进行的发送发生时，作为结果，HMD 14使用由第一接收单元74a接收到的数据。此外，当发送控制单元72执行控制使得由第二发送单元68b进行的发送发生时，作为结果，HMD 14使用由第二接收单元74b接收到的数据。为此，可以认为发送控制单元72用作控制单元，其基于系统时延sl来控制HMD 14使用何种数据——由第一通信单元74a接收到的数据或由第二通信单元74b接收到的数据。
指令发送单元84基于系统时延sl指令所述娱乐装置12关于应当发生由第一发送单元68a进行的发送还是由第二发送单元68b进行的发送。在本实施例中，例如，指令发送单元84将关于基于系统时延sl应当发生由第一发送单元68a进行的发送还是由第二发送单元68b进行的发送的指令发送到指令接收单元70。
输出控制单元86执行控制，使得已受过由接收后处理执行单元76进行的接收后处理的数据被输出。在本实施例中，例如，输出控制单元86将由已受过接收后处理的数据所表示的视频显示在输出单元52上作为输出。
以下将给出根据本实施例的图像显示系统10所执行的处理流程的示例的描述。
应注意，我们假设，在以下所给出的描述中，如上所述，根据本实施例，系统时钟在娱乐装置12与HMD 14之间是同步的。
此外，我们假设，根据本实施例的娱乐装置12通过使用公知技术根据用于无线通信的无线电波状况关于与HMD 14的通信而在第一通信单元24a与第二通信单元24b之间进行切换。我们还假设，根据本实施例的HMD 14通过使用公知技术根据用于无线通信的无线电波状况关于与娱乐装置12进行通信而在第一通信单元44a与第二通信单元44b之间进行切换。
此外，作为前提，我们假设，根据本实施例的娱乐装置12通过使用公知自适应调制和编码技术根据用于无线通信的无线电波状况自适应地改变第一通信单元24a和第二通信单元24b的调制方案和编码方案。此外，我们假设，根据本实施例的HMD 14通过使用公知自适应调制和编码技术根据用于无线通信的无线电波状况自适应地改变第一通信单元44a和第二通信单元44b的调制方案和编码方案。
此外，我们假设，单载波方案中的通信发生在60GHz带中的通信中。在5GHz带中的通信中，符合802.11ac标准的4x 4MIMO(多输入多输出)通信发生在80MHz带宽中。此外，我们假设，在本实施例中的自适应调制编码中，调制方案和编码方案随着MCS(调制和编码方案)值(索引编号)的改变而改变。
将参照图6中所描述的流程图给出根据本实施例的娱乐装置12所执行的分组发送处理流程的第一示例的描述。
首先，部分视频数据生成单元62生成部分视频数据，即由视频生成单元60所生成的视频的部分(S101)。然后，部分视频数据划分单元64通过划分S101中所描述的过程中所生成的部分视频数据来生成多个分组(第一分组至第n分组)(S102)。然后，发送控制单元72确认所保存的发送单元标识数据值(S103)。
当在S103中所描述的过程中确认的值为“1”时，第一发送预处理执行单元66a对S102中所描述的过程中所生成的分组执行发送预处理(S104)。然后，第一发送单元68a将受过S104中所描述的过程中的发送预处理的多个分组发送到HMD 14(S105)。
当在S103中所描述的过程中确认的值为“2”时，第二发送预处理执行单元66b对S102中所描述的过程中所生成的分组执行发送预处理(S106)。然后，第二发送单元68b将受过S106中所描述的过程中的发送预处理的多个分组发送到HMD 14(S107)。
当S105中所描述的过程或S107中所描述的过程结束时，控制返回到S101中所描述的过程，并且此后从S101到S107的过程将重复。
应注意，S104中所描述的过程包括如上所述的编码。此外，编码处理可以包括压缩处理。此外，如上所述，S104中所描述的过程还包括以下过程：将表示上面的发送预处理的执行开始时的时间戳的数据附接到S102中所描述的过程中所生成的上面n个分组中的每一个。
将参照图7A和图7B中的流程图给出根据本实施例的HMD 14响应于以上所描述的S105和S107中所描述的过程中所发送的多个分组的接收而执行的过程流程的下一示例的描述。
首先，接收控制单元82确认所保存的接收单元标识数据值(S201)。当S201中所描述的过程中确认的值为“1”时，第一接收后处理执行单元76a对由第一接收单元74a接收到的分组执行接收后处理(S202)。当S201中所描述的过程中确认的值为“2”时，第二接收后处理执行单元76b对由第二接收单元74b接收到的分组执行接收后处理(S203)。
然后，在S202或S203中所描述的过程结束之后，输出控制单元86将由受到S203中所描述的过程中的接收后处理的数据所表示的玩乐视频显示在输出单元52上(S204)。
然后，时延测量单元78基于受过S202或S203中所描述的过程中的接收后处理的数据而标识上述系统时延sl(S205)。
然后，计数标识单元80确认S205中所描述的过程中所标识的系统时延sl是否超过给定的时间th_sl(S206)。然后，当确认所标识的系统时延sl超过给定的时间th_sl(S206：Y)时，计数标识单元80将所保存的关于时延的计数数据值c增加1(S207)。
当确认所标识的系统时延sl不超过给定的时间th_sl(S206：N)时，或当S207中所描述的过程结束时，接收控制单元82确认所保存的接收单元标识数据值(S208)。
当确认接收单元标识数据值为“1”时，接收控制单元82确认所保存的MCS值(S209)。当所确认的MCS值不小于8(等同于不小于2310Mbps)时，本过程示例中所描述的过程终止。
当所确认的MCS值不小于4并且不大于7(等同于不小于1155Mbps并且不大于1925Mbps)时，接收控制单元82确认计数标识单元80所保存的关于时延的计数数据值c是否等于给定的阈值th_c或更大(S210)。
当所保存的关于时延的计数数据值c不是等于给定的阈值th_c或更大(S210：N)时，本过程示例中所描述的过程终止。当所保存的关于时延的计数数据值c等于给定的阈值th_c或更大(S210：Y)时，计数标识单元80将所保存的关于时延的计数数据值c改变为0(S211)。
在S211中所描述的过程结束之后，或当S209中所描述的过程中所确认的MCS值为3(等同于962.5Mbps)时，接收控制单元82将所保存的接收单元标识数据值改变为“2”(S212)。应注意，接收控制单元82可以在S212中所描述的过程中激活第二通信单元44b并且暂停第一通信单元44a。然后，指令发送单元84将用于使得由第二发送单元68b进行的发送发生的指令发送到娱乐装置12(S213)，由此终止本过程示例中所描述的过程。
当在S208中所描述的过程中确认接收单元标识数据值为“2”时，接收控制单元82确认所保存的MCS值(S214)。当所确认的MCS值不大于7(等同于不大于1560Mbps)时，接收控制单元82确认计数标识单元80所保存的关于时延的计数数据值c是否等于给定的阈值th_c或更大(S215)。
当所保存的关于时延的计数数据值c等于给定的阈值th_c或更大(S215：Y)时，计数标识单元80将所保存的关于时延的计数数据值c改变为0(S216)，并且接收控制单元82将所保存的MCS值c减少1(S217)。然后，指令发送单元84将用于将MCS值减少1的指令发送到娱乐装置12(S218)。在此情况下，此后通信将使用由减少的MCS值所指示的调制方案和编码方案来发生。
当确认S215中所描述的过程所保存的关于时延的计数数据值c不是等于给定的阈值th_c或更大(S215：N)时，接收控制单元82确认所保存的MCS值是否为4(等同于780Mbps)(S219)。当S218中所描述的过程结束时，接收控制单元82还确认所保存的MCS值是否为4(等同于780Mbps)(S219)。
当确认所保存的MCS值不为4(S219：N)时，本过程示例中所描述的过程终止。当确认所保存的MCS值为4(S219：Y)时，确认表示通信质量(例如信噪比(S/N比)和接收强度)的索引值i是否小于给定的阈值th_i(S220)。在此，例如，可以使用通过将给定的缓冲值添加到当自适应调制编码中MCS值从4改变为3时的索引值上所获得的值。当确认值i不小于阈值th_i(S220：N)时，本过程示例中所描述的过程终止。当确认值i小于阈值th_i(S220：Y)时，指令发送单元84将用于对第二发送预处理执行单元66b的编码压缩率增加给定量的指令发送到娱乐装置12(S221)。
当S214中所描述的过程所确认的MCS值不小于8(等同于不小于1560Mbps)时，接收控制单元82将所保存的接收单元标识数据值改变为“1”(S222)。应注意，接收控制单元82可以在S222中所描述的过程中激活第一通信单元44a并且暂停第二通信单元44b。然后，指令发送单元84将用于使得由第一发送单元68a进行的发送发生的指令发送到娱乐装置12(S223)，由此终止本过程示例中所描述的过程。
我们假设，娱乐装置12的指令接收单元70接收用于使得由第二发送单元68b进行的发送发生的指令(其为上述S213中所描述的过程中所发送的指令)。在此情况下，发送控制单元72将所保存的发送单元标识数据值改变为“2”。在此，发送控制单元72可以激活第二通信单元24b并且暂停第一通信单元24a。
我们假设，娱乐装置12的指令接收单元70接收用于将MCS值减少1的指令(其为上述S218中所描述的过程中所发送的指令)。在此情况下，发送控制单元72将所保存的MCS值减少1。在此情况下，此后通信将使用由减少的MCS值所指示的调制方案和编码方案来发生。
我们假设，娱乐装置12的指令接收单元70接收用于对第二发送预处理执行单元66b的编码压缩率增加给定量的指令(其为上述S221中所描述的过程中所发送的指令)。在此情况下，发送控制单元72将第二发送预处理执行单元66b的编码压缩率增加给定量。
我们假设，娱乐装置12的指令接收单元70接收用于使得由第一发送单元68a进行的发送发生的指令(其为上述S223中所描述的过程中所发送的指令)。在此情况下，发送控制单元72将所保存的发送单元标识数据值改变为“2”。在此，发送控制单元72可以激活第一通信单元24a并且暂停第二通信单元24b。
应注意，在图7A和图7B中所描述的过程示例中，当接收控制单元82如例如S212和S213中所描述的那样改变所保存的接收单元标识数据值时，计数标识单元80可以将所保存的关于时延的计数数据值c改变为0。此外，当根据用于无线通信的无线电波状况关于与HMD14的通信在第一通信单元24a与第二通信单元24b之间进行切换时，计数标识单元80可以将所保存的关于时延的计数数据值c改变为0。此外，当根据用于无线通信的无线电波状况关于与娱乐装置12的通信在第一通信单元44a与第二通信单元44b之间进行切换时，计数标识单元80可以将所保存的关于时延的计数数据值c改变为0。
应注意，本发明不限于上述实施例。
例如，特定数据可以首先由第一编码器单元28a编码，接着由第一通信单元24a发送到HMD 14，并且数据的副本可以首先由第二编码器单元28b编码，接着由第二通信单元24b发送到HMD 14。在此，第二编码器单元28b进行的编码的压缩率可以比第一编码器单元28a进行的编码的压缩率更高。然后，HMD 14从接收到的这两份数据选择具有较短系统时延sl的数据，并且将由所选择的数据表示的视频显示在输出单元52上。例如，HMD 14可以执行控制，使得由首先接收到的数据所表示的视频显示在输出单元52上。在此情况下，也可以认为根据系统时延sl来选择通信路径。此外，例如，在通常发生5GHz带中的通信的情况下，也可以在有利通信状况下发生60GHz带中的通信。
此外，基于过去所测量的值的给定值例如可以用作指示用于计算系统时延sl的编码和解码时间的值。
此外，例如，娱乐装置12可以包括单个编码器单元，而非第一编码器单元28a和第二编码器单元28b。于是，当第一通信单元24a进行的通信和第二通信单元24b进行的通信发生时，单个编码器单元可以处理数据编码。在此，单个编码器单元可以以比在由所述第一通信单元24a进行通信之时的压缩率更高的压缩率在由所述第二通信单元24b进行通信之时对所述数据进行编码。
此外，由第一编码器单元28a和第二编码器单元28b(硬件的部件)所实现的功能可以实现为由控制单元20所执行的程序(软件)。
此外，本发明的应用范围不限于如上所述的将玩乐视频显示在HMD 14的输出单元52上的情况。例如，本发明可以应用于将存储单元22中所存储的内容(例如电影)显示在HMD14的输出单元52上的情况。此外，本发明的应用范围不限于视频数据。例如，本发明可以应用于从HMD 14的输出单元52输出由娱乐装置12生成的音频数据所表示的音频的情况。
此外，例如，娱乐装置12和HMD 14所共享的作用不限于以上所描述的作用。例如，HMD 14可以实现图4所示的一些或所有功能。替代地，娱乐装置12可以实现图5所示的一些或所有功能。
此外，以上所描述的特定字符串和数字以及附图中的特定字符串和数字是说明性的，并且本发明不限于这些字符串和数字。

Claims (10)

1.一种通信系统，包括：
发送装置；以及接收装置；
所述发送装置包括：
生成单元，适于生成数据，
编码单元，适于对所述数据进行编码，
第一发送单元，能够与所述接收装置进行通信，以及
第二发送单元，能够与所述接收装置进行通信，
所述接收装置包括：
第一接收单元，能够与所述第一发送单元进行通信，
第二接收单元，能够与所述第二发送单元进行通信，以及
解码单元，适于对所编码的数据进行解码，
其中，
所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元，
所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元，
所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率，以及
与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码，
所述通信系统还包括：
控制单元，适于基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，控制所述接收装置使用由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据中的哪个数据。
2.如权利要求1所述的通信系统，其中，
所述控制单元基于所述从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，控制由所述第一发送单元进行的发送还是由所述第二发送单元进行的发送发生。
3.如权利要求2所述的通信系统，还包括：
计数标识单元，适于标识在由所述第二发送单元进行的发送不发生而由所述第一发送单元进行的发送发生时，所述从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量超过给定时间段的次数，其中，
当所述次数达到给定的计数时，所述控制单元执行控制，使得此后由所述第二发送单元进行的发送发生，而非由所述第一发送单元进行的发送发生。
4.如权利要求2或3所述的通信系统，其中，
所述发送装置包括所述控制单元，
所述接收装置还包括指令单元，适于基于所述从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，指令所述发送装置关于由所述第一发送单元进行的发送还是由所述第二发送单元进行的发送应当发生，以及
当从所述接收装置接收到所述指令时，所述控制单元执行控制，使得此后由所述第一发送单元进行的发送或由所述第二发送单元进行的发送根据指令而发生。
5.如权利要求2至4中的任一项所述的通信系统，其中，
在通信质量在由所述第二发送单元进行的发送期间下降到给定质量或更小的情况下，所述编码单元增加由所述生成单元生成的数据的压缩率。
6.如权利要求1至5中的任一项所述的通信系统，其中，
所述编码单元包括第一编码单元以及与所述第一编码单元分离的第二编码单元，
所述第一编码单元在所述第一发送单元进行发送之时对所述数据进行编码，
所述第二编码单元在所述第二发送单元进行发送之时对所述数据进行编码，以及
由所述第二编码单元进行的编码的压缩率比由所述第一编码单元进行的编码的压缩率更高。
7.一种发送装置，包括：
生成单元，适于生成数据；
编码单元，适于对所述数据进行编码；
第一发送单元，能够与接收装置进行通信；以及
第二发送单元，能够与所述接收装置进行通信，所述发送装置能够与所述接收装置进行通信，
所述接收装置包括：
第一接收单元，能够与所述第一发送单元进行通信，
第二接收单元，能够与所述第二发送单元进行通信，以及
解码单元，适于对所编码的数据进行解码，
其中，
所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元，
所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元，
所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率，以及
与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码，
所述发送装置还包括：
控制单元，适于基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，控制所述接收装置使用由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据中的哪个数据。
8.一种能够与发送装置进行通信的接收装置，所述发送装置包括：
生成单元，适于生成数据，编码单元，适于对所述数据进行编码，第一发送单元，能够与所述接收装置进行通信，以及第二发送单元，能够与所述接收装置进行通信，
所述接收装置包括：
第一接收单元，能够与所述第一发送单元进行通信；
第二接收单元，能够与所述第二发送单元进行通信；以及
解码单元，适于对所编码的数据进行解码，
其中，
所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元，
所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元，
所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率，以及
与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码，
所述接收装置还包括：
控制单元，适于基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，控制所述接收装置使用由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据中的哪个数据。
9.一种通信系统控制方法，所述通信系统包括：
发送装置以及接收装置，所述发送装置包括：
生成单元，适于生成数据，
编码单元，适于对所述数据进行编码，
第一发送单元，能够与所述接收装置进行通信，以及
第二发送单元，能够与所述接收装置进行通信，
所述接收装置包括：
第一接收单元，能够与所述第一发送单元进行通信，
第二接收单元，能够与所述第二发送单元进行通信，以及
解码单元，适于对所编码的数据进行解码，其中，
所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元，
所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元，
所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率，以及
与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码，
所述通信系统控制方法包括步骤：
基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，控制所述接收装置使用由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据中的哪个数据。
10.一种用于使得控制通信系统的计算机执行例程的程序，所述通信系统包括：
发送装置以及接收装置，所述发送装置包括：
生成单元，适于生成数据，
编码单元，适于对所述数据进行编码，
第一发送单元，能够与所述接收装置进行通信，以及
第二发送单元，能够与所述接收装置进行通信，
所述接收装置包括：
第一接收单元，能够与所述第一发送单元进行通信，
第二接收单元，能够与所述第二发送单元进行通信，以及
解码单元，适于对所编码的数据进行解码，
其中，
所述第一发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第一接收单元，
所述第二发送单元将由所述生成单元生成的并且由所述编码单元编码的数据发送到所述第二接收单元，
所述第一发送单元比所述第二发送单元具有更高的最大可能发送速率，以及
与在由所述第一发送单元进行发送之时的压缩率相比，所述编码单元在由所述第二发送单元进行发送之时以更高的压缩率对所述数据进行编码，
所述程序使得所述计算机执行例程：
基于从所述生成单元生成所述数据起到当所述数据可供所述接收装置使用时的时间量，控制所述接收装置使用由所述第一接收单元接收到的数据或由所述第二接收单元接收到的数据中的哪个数据。
CN201680057697.3A 2015-10-06 2016-10-04 通信系统、发送装置、接收装置和通信系统控制方法 Active CN108141639B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-198735 2015-10-06
JP2015198735 2015-10-06
PCT/JP2016/079494 WO2017061428A1 (ja) 2015-10-06 2016-10-04 通信システム、送信装置、受信装置、通信システムの制御方法及びプログラム

Publications (2)

Publication Number Publication Date
CN108141639A true CN108141639A (zh) 2018-06-08
CN108141639B CN108141639B (zh) 2021-07-27

Family

ID=58487755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057697.3A Active CN108141639B (zh) 2015-10-06 2016-10-04 通信系统、发送装置、接收装置和通信系统控制方法

Country Status (6)

Country Link
US (1) US11265595B2 (zh)
EP (1) EP3343934B1 (zh)
JP (2) JP6714010B2 (zh)
KR (1) KR102037161B1 (zh)
CN (1) CN108141639B (zh)
WO (1) WO2017061428A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7077914B2 (ja) * 2018-10-24 2022-05-31 日本電信電話株式会社 無線ｌａｎ通信品質推定方法、無線ｌａｎ通信品質推定システム、情報収集装置および無線ｌａｎ通信品質推定装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187367A (ja) * 1997-12-19 1999-07-09 Nec Corp 映像送信装置，映像受信装置及びこれらを用いた映像伝送システム
CN1469655A (zh) * 2002-06-20 2004-01-21 株式会社Ntt都科摩 在无线通讯中使用最佳路径选择门限实现路径选择的方案
CN101432991A (zh) * 2006-04-29 2009-05-13 汤姆森特许公司 基于互连网协议的无线网络中利用错位播放的多播会话的无缝切换
CN102428484A (zh) * 2009-03-23 2012-04-25 生命力有限公司 使用多个编码格式进行多流视频压缩的系统和方法
US20120173668A1 (en) * 2009-09-11 2012-07-05 Shinsuke Ogata Content transmitting apparatus, content receiving apparatus, content transmission program, content reception program, content transmitting method, and content receiving method
CN102811367A (zh) * 2011-05-31 2012-12-05 美国博通公司 基于预测的无线信道状态的自适应视频编码
WO2015033762A1 (ja) * 2013-09-05 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
JP2003087209A (ja) * 2001-09-06 2003-03-20 Matsushita Electric Ind Co Ltd デジタル放送表示装置
JP2003309541A (ja) 2002-04-15 2003-10-31 Sony Corp データ転送システム、データ転送装置及びデータ転送方法、並びにコンピュータ・プログラム
JP2003348548A (ja) * 2002-05-23 2003-12-05 Nippon Telegr & Teleph Corp <Ntt> ストリーム配信システムと方法およびストリーム受信装置
EP1844612B1 (en) 2005-02-04 2017-05-10 Barco NV Method and device for image and video transmission over low-bandwidth and high-latency transmission channels
JP4616121B2 (ja) * 2005-08-10 2011-01-19 株式会社日立製作所 ディジタル放送受信装置
FR2895629A1 (fr) * 2005-12-22 2007-06-29 France Telecom Procede et systeme de distribution de contenus numeriques
JP2008252390A (ja) 2007-03-29 2008-10-16 Sharp Corp 放送受信装置、放送受信方法、プログラムおよびその記録媒体
JP2009021935A (ja) 2007-07-13 2009-01-29 Sharp Corp 無線送受信システム、無線送受信方法、送受信装置およびプログラム
JP2010062630A (ja) * 2008-09-01 2010-03-18 Pioneer Electronic Corp 放送信号切換装置、放送信号切換方法、放送信号切換プログラム、及び記録媒体
EP2211224A1 (en) 2009-01-27 2010-07-28 Thomson Licensing SA Head-mounted display and operating method thereof
US8141784B2 (en) * 2009-09-25 2012-03-27 Hand Held Products, Inc. Encoded information reading terminal with user-configurable multi-protocol wireless communication interface
JP2012186701A (ja) * 2011-03-07 2012-09-27 Ricoh Co Ltd 無線通信端末
US20120309321A1 (en) * 2011-05-31 2012-12-06 Broadcom Corporation Synchronized calibration for wireless communication devices
KR20130011994A (ko) 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
EP2761869A4 (en) * 2011-09-30 2015-03-18 Intel Corp ADAPTIVE WIRELESS ADAPTIVE WIRELESS CHANNEL-BASED ENCODING SOFTWARE BASED ACCOUNT
JP5996252B2 (ja) 2012-04-25 2016-09-21 シャープ株式会社 無線通信機器、および無線システム
EP2680527A1 (en) 2012-06-28 2014-01-01 Alcatel-Lucent Adaptive streaming aware node, encoder and client enabling smooth quality transition
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187367A (ja) * 1997-12-19 1999-07-09 Nec Corp 映像送信装置，映像受信装置及びこれらを用いた映像伝送システム
CN1469655A (zh) * 2002-06-20 2004-01-21 株式会社Ntt都科摩 在无线通讯中使用最佳路径选择门限实现路径选择的方案
CN101432991A (zh) * 2006-04-29 2009-05-13 汤姆森特许公司 基于互连网协议的无线网络中利用错位播放的多播会话的无缝切换
CN102428484A (zh) * 2009-03-23 2012-04-25 生命力有限公司 使用多个编码格式进行多流视频压缩的系统和方法
US20120173668A1 (en) * 2009-09-11 2012-07-05 Shinsuke Ogata Content transmitting apparatus, content receiving apparatus, content transmission program, content reception program, content transmitting method, and content receiving method
CN102811367A (zh) * 2011-05-31 2012-12-05 美国博通公司 基于预测的无线信道状态的自适应视频编码
WO2015033762A1 (ja) * 2013-09-05 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
EP3343934B1 (en) 2021-03-10
KR20180043828A (ko) 2018-04-30
WO2017061428A1 (ja) 2017-04-13
EP3343934A1 (en) 2018-07-04
JP6714010B2 (ja) 2020-06-24
US20180255349A1 (en) 2018-09-06
JPWO2017061428A1 (ja) 2018-03-29
KR102037161B1 (ko) 2019-10-29
CN108141639B (zh) 2021-07-27
US11265595B2 (en) 2022-03-01
JP6752312B2 (ja) 2020-09-09
EP3343934A4 (en) 2019-03-27
JP2019118108A (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
TWI379287B (en) Method, audio coder and apparatus for encoding c input audio
TW201926992A (zh) 用於數位實境之影像壓縮
JP2020524420A (ja) コンピュータ媒介式の現実アプリケーションにおける送信器と受信器との間の通信を最適化する方法、装置およびシステム
CN104956683A (zh) 用于流式传输视频的自适应降噪引擎
JP2012521718A5 (zh)
EP1908056A1 (en) Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US20210275908A1 (en) Adapting encoder resource allocation based on scene engagement information
CN110012290A (zh) 对图像的片段进行排序以用于编码和发送至显示设备
CN105407225A (zh) 一种数据传输方法及蓝牙设备
US10499479B1 (en) Bandwidth optimization for streaming lighting effects
CN102893612A (zh) 实感效果处理系统和方法
CN108141639A (zh) 通信系统、发送装置、接收装置、通信系统控制方法和程序
CN109076258A (zh) 接收装置、发送装置、控制方法、发送方法和程序
CN105472831B (zh) 一种光驱动芯片控制发光器件的方法及其光驱动芯片
CN113747160A (zh) 视频编码配置方法、装置、设备及计算机可读存储介质
CN105376641B (zh) 一种将音视频文件流化的装置和方法
CN106612462A (zh) 快进快退的处理方法及终端
CN108184163A (zh) 一种视频播放方法、存储介质及播放器
TWI531962B (zh) 音樂播放系統
US20160271495A1 (en) Method and system of creating and encoding video game screen images for transmission over a network
CN104853224B (zh) 一种视频数据处理方法及装置
CN108881188A (zh) 多媒体数据的发送、接收方法及其装置以及播放设备
US20230164330A1 (en) Data codec method and apparatus
WO2021044974A1 (ja) 送信装置、受信装置、送信方法、受信方法及びプログラム
EP3998604A1 (en) Audio processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant