CN107431829B - 信息处理装置,通信系统,信息处理方法以及非暂态计算机可读介质 - Google Patents

信息处理装置,通信系统,信息处理方法以及非暂态计算机可读介质 Download PDF

Info

Publication number
CN107431829B
CN107431829B CN201680013780.0A CN201680013780A CN107431829B CN 107431829 B CN107431829 B CN 107431829B CN 201680013780 A CN201680013780 A CN 201680013780A CN 107431829 B CN107431829 B CN 107431829B
Authority
CN
China
Prior art keywords
information processing
processing apparatus
sound data
pes
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680013780.0A
Other languages
English (en)
Other versions
CN107431829A (zh
Inventor
山浦智也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107431829A publication Critical patent/CN107431829A/zh
Application granted granted Critical
Publication of CN107431829B publication Critical patent/CN107431829B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

提供了一种信息处理装置,包括电路系统,所述电路系统被配置为使用运动图像专家组(MPEG)2‑传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号;并且执行控制,以引起在分组化基本流(PES)分组中的PES有效载荷中包含的数据的减少,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES分组的PES报头部分中包含的呈现时间戳(PTS),所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的传输(TS)分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述。

Description

信息处理装置,通信系统,信息处理方法以及非暂态计算机可 读介质
技术领域
本公开涉及信息处理装置。更具体而言,本公开涉及能够使用无线通信交换信息的信息处理装置、通信系统、信息处理方法以及使计算机执行该方法的程序。
背景技术
近年来,使用无线局域网(LAN)执行无线通信的信息处理装置已被广泛使用。作为这种无线LAN,例如,由电气和电子工程师学会(IEEE)802.11代表的无线LAN已被广泛使用。
而且,作为无线视听(AV)传输通信,例如,已经提出了无线保真(Wi-Fi)CERTIFIEDMiracast(例如,参见PTL 1)。
[引用列表]
[专利文献]
[PTL 1]
JP 2014-96074A
发明内容
[技术问题]
在上述相关技术中,可以根据Wi-Fi CERTIFIED Miracast的规范在两个信息处理装置之间执行实时影像传输。例如,可以在接收侧的信息处理装置的显示器上显示基于从发送侧的信息处理装置发送的影像数据的影像。
在这里,假设在接收侧的信息处理装置的显示器上显示多个具有声音的影像。还假设将至少一个影像设置为主影像,其余影像设置为子影像,仅主影像的声音被输出。在这种情况下,取决于影像的显示形式,影像的声音被不同地处理,并且因此重要的是适当地处理在装置之间交换的声音数据。
鉴于上述情况,期望适当地处理声音数据。
[解决问题]
本技术的第一实施例涉及信息处理装置、其信息处理方法以及存储使计算机执行该方法的程序的非暂态计算机可读介质,所述信息处理设备包括:电路系统,被配置为使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号;以及执行控制,以引起在分组化基本流(PES)分组中的PES有效载荷中包含的数据的减少,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES分组的PES报头部分中包含的呈现时间戳(PTS),所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的传输(TS)分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述。
在第一实施例中,控制器可以基于第一触发向所述另一个信息处理装置作出请求。以这种方式,本公开的实施例发挥(exert)基于第一触发向另一个信息处理装置作出请求的效果。
在第一实施例中,控制器可以在向所述另一个信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。以这种方式,本公开的实施例发挥如下效果:当向另一个信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
在第一实施例中,控制器可以执行控制,以在接收声音数据量被减少的MPEG2-TS复用信号的同时基于第二触发请求所述另一个信息处理装置恢复原始声音数据量并且在所述请求之后在对从所述另一个信息处理装置接收的MPEG2-TS复用信号执行解复用时,提取包含在PES有效载荷中的声音数据。以这种方式,本公开的实施例发挥以下效果:在接收声音数据量被减少的MPEG2-TS复用信号的同时基于第二触发请求另一个信息处理装置恢复原始声音数据量并且在所述请求之后在对从另一个信息处理装置接收的MPEG2-TS复用信号执行解复用时,提取包含在PES有效载荷中的声音数据。
在第一实施例中,第一触发和第二触发可以由用户操作引起。以这种方式,本公开的实施例发挥以下效果:使用由用户操作引起的第一触发和第二触发。
在第一实施例中,第一触发可以是通过检测到用户离开信息处理装置周围的区域或用户的移动而引起的。以这种方式,本公开的实施例发挥以下效果:使用通过检测到用户离开信息处理装置周围的区域或用户的移动而引起的第一触发。
在第一实施例中,控制器可以保留在作出所述请求之前输出的声音的音量设定值,请求所述另一个信息处理装置恢复原始声音数据量,并且在请求之后在提取包含在PES有效载荷中的声音数据的定时设置所保留的音量设定值。以这种方式,本公开的实施例发挥如下效果:保留在作出请求之前输出的声音的音量设定值,请求另一个信息处理装置恢复原始声音数据量,并且在所述请求之后在提取包含在PES有效载荷中的声音数据的定时设置所保留的音量设定值。
本技术的第二实施例涉及信息处理装置,其信息处理方法以及存储使计算机执行该方法的程序的非暂态计算机可读介质,所述信息处理装置包括:电路系统,被配置为使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号;以及执行控制,以基于来自所述另一个信息处理装置的请求,在不改变分组标识符(PID)的情况下减少在分组化基本流(PES)分组中的PES有效载荷数据量,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组存储在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述。
在第二实施例中,控制器可以执行控制,以在被所述另一个信息处理装置请求减少声音数据量时,通过使PES有效载荷数据量基本为零或完全为零来减少数据量。以这种方式,本公开的实施例发挥以下效果:在被另一个信息处理装置请求减少声音数据量时,通过使PES有效载荷数据量基本为零或完全为零来减少数据量。
在第二实施例中,控制器可以执行控制,以在复用之后在发送用于影像信号发送的PES分组和通过第一声音数据减少来减少了数据量的用于声音信号发送的PES分组的同时被所述另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。以这种方式,本发明的实施例发挥以下效果:在复用之后在发送用于影像信号发送的PES分组和通过第一声音数据减少来减少了数据量的用于声音信号发送的PES分组的同时被另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
在第二实施例中,控制器可以执行控制,以在被所述另一个信息处理装置请求使用除第一声音数据减少之外的声音数据减少来减少声音数据量时,执行第二声音数据减少,并且在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组,在第二声音数据减少中不包括在PMT中的指定声音数据的PID的信息,不生成携带声音数据的PES分组。以这种方式,本公开的实施例发挥以下效果:在被另一个信息处理装置请求使用除第一声音数据减少之外的声音数据减少来减少声音数据量时,执行第二声音数据减少,并且在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组,在第二声音数据减少中不包括在PMT中的指定声音数据的PID的信息,不生成携带声音数据的PES分组。
在第二实施例中,控制器可以执行控制,以在执行第二声音数据减少之后在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组的同时,被所述另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据且指定声音数据发送的PID包括在PMT中,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。以这种方式,本发明的实施例发挥以下效果:在执行第二声音数据减少之后在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组的同时,被另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据且指定声音数据发送的PID包括在PMT中,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
本技术的第三实施例是通信系统、其信息处理方法以及使计算机执行所述方法的程序,所述通信系统包括:第一信息处理装置,被配置为使用MPEG2-TS向第二信息处理装置无线地发送复用的影像信号和声音信号,基于来自所述第二信息处理装置的请求,在不改变PID的情况下减少在PES分组中的PES有效载荷数据量,执行第一声音数据减少,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组存储在由指定声音数据发送的PID指定的TS分组中,所述PID在PMT中被描述,在所述第一声音数据减少中生成在PES报头部分中包含PTS的PES分组;以及第二信息处理装置,被配置为,在请求第一信息处理装置减少声音数据量同时使用MPEG2-TS从第一信息处理装置接收复用的影像信号和声音信号并在请求之后对从第一信息处理装置接收的MPEG2-TS复用信号执行解复用时,丢弃PES分组中的PES有效载荷中包含的数据并提取包含在所述PES报头部分中的PTS,所述PES分组存储在由PMT中描述的指定声音数据发送的PID指定的TS分组中。以这种方式,本公开的实施例发挥以下效果:第一信息处理装置基于来自第二信息处理装置的请求,在不改变PID的情况下减少在PES分组中的PES有效载荷数据量,执行第一声音数据减少,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组存储在由指定声音数据发送的PID指定的TS分组中,所述PID在PMT中被描述,在所述第一声音数据减少中生成在PES报头部分中包含PTS的PES分组,并且第二信息处理装置在请求第一信息处理装置减少声音数据量并在请求之后对从第一信息处理装置接收的MPEG2-TS复用信号执行解复用时,丢弃PES分组中的PES有效载荷中包含的数据并提取包含在PES报头部分中的PTS,所述PES分组存储在由PMT中描述的指定声音数据发送的PID指定的TS分组中。
[发明的有益效果]
本公开的实施例发挥适当地处理声音数据的优异效果。本文描述的效果不一定是限制性的,并且本公开中描述的任何效果都可以发挥。
附图说明
图1是图示根据本公开的第一实施例的通信系统10的配置示例的图。
图2是图示根据本公开的实施例的信息处理装置100的功能配置示例的框图。
图3是图示作为本公开的实施例的基础的源设备50和宿(sink)设备60的通信处理示例的顺序图。
图4是图示作为本公开的实施例的基础的源设备50和宿设备60的通信处理示例的顺序图。
图5是图示作为本公开的实施例的基础的源设备50和宿设备60的通信处理示例的顺序图。
图6是图示作为本公开的实施例的基础的在源设备50和宿设备60之间交换的RTSP消息的示例的图。
图7是图示作为本公开的实施例的基础的源设备50和宿设备60之间交换的RTSP消息的示例的图。
图8是图示根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。
图9是图示根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。
图10是图示根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。
图11图示根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。
图12是图示在根据本公开的第一实施例的信息处理装置100中,从声音输出单元150输出的声音信息和显示在显示器140上的屏幕的转换示例的图。
图13是图示在根据本公开的第一实施例的信息处理装置100和信息处理装置200之间交换的信息的转换示例的图。
图14是图示由根据本公开的第一实施例的信息处理装置100进行的接收处理的处理过程的示例的流程图。
图15是图示由根据本公开的第一实施例的信息处理装置200进行的接收处理的处理过程的示例的流程图。
图16是图示根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图17是图示根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图18是图示根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图19是图示在根据本公开的第二实施例的信息处理装置100中,从声音输出单元150输出的声音信息和显示在显示器140上的屏幕的转换示例的图。
图20是图示在根据本公开的第二实施例的信息处理装置100和信息处理装置200之间交换的信息的转换示例的图。
图21是图示由根据本公开的第二实施例的信息处理装置100进行的接收处理的处理过程的示例的流程图。
图22是图示由根据本公开的第二实施例的信息处理装置200进行的发送处理的处理过程的示例的流程图。
图23是图示根据本公开的第二实施例的源设备50和宿设备60的通信处理示例的顺序图。
图24是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图25是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图26是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图27是图示在根据本公开的第三实施例的信息处理装置100中从声音输出单元150输出的声音信息和显示在显示器140上的屏幕的转换示例的图。
图28是图示在根据本公开的第三实施例的信息处理装置100和信息处理装置200之间交换的信息的转换示例的图。
图29是图示由根据本公开的第三实施例的信息处理装置100进行的接收处理的处理过程的示例的流程图。
图30是图示由根据本公开的第三实施例的信息处理装置100进行的接收处理的处理过程的示例的流程图。
图31是图示智能电话的示意性配置的示例的框图。
图32是图示汽车导航设备的示意性配置的示例的框图。
图33是图示无线接入点的示意性配置的示例的框图。
具体实施方式
在下文中,将对本公开的优选实施例(以下称为实施例)进行描述。描述按照以下次序给出。
1.第一实施例(其中在流式传输期间请求减少音频数据的示例)
2.第二实施例(其中在流式传输开始时减少了音频数据的示例,其中请求使用第二声音数据减少方法的示例)
3.第三实施例(其中宿设备检测人的运动或存在并且基于检测结果请求减少音频数据的示例)
4.应用示例
<1.第一实施例>
“通信系统的配置示例”
图1是图示根据本公开的第一实施例的通信系统10的配置示例的图。
通信系统10包括信息处理装置100、信息处理装置200和信息处理装置210。
信息处理装置100、信息处理装置200和信息处理装置210具有无线通信功能,并且是能够通过使用无线通信彼此连接来发送和接收各种种类信息的信息处理装置。而且,这些信息处理装置是支持使得能够进行对等(P2P)连接的IEEE 802.11的规范的信息处理装置。即,这些信息处理装置形成通信组并且可以直接彼此通信,而无需插入任何接入点。在这种情况下,可以在制造期间确定或不确定充当组所有者的信息处理装置和充当客户端的信息处理装置。当它们在制造期间未被确定时,充当组所有者的信息处理装置和充当客户端的信息处理装置可以通过多个信息处理装置之间的协商来确定。例如,当信息处理装置100和信息处理装置200形成通信组时,信息处理装置100可以直接向信息处理装置200发送数据(例如,运动图像内容)。在这种情况下,信息处理装置100和200使用无线通信彼此连接,并且存储在信息处理装置100中的运动图像内容可以在信息处理装置200上显示。要指出的是,Wi-Fi Direct已知为用于信息处理装置之间的直接通信的通信标准的示例。
信息处理装置100是例如记录或显示运动图像内容的影像观看设备(例如,具有内置硬盘的电视接收器)。例如,信息处理装置100可以从广播站11接收广播波,并且在显示器140上基于广播波显示影像21。而且,信息处理装置100可以基于从信息处理装置200发送的影像内容来在显示器140上显示影像22。例如,信息处理装置100还可以基于从信息处理装置210发送的影像内容来在显示器140上显示影像23。
信息处理装置200例如是便携式信息处理装置(例如,具有呼叫功能和数据通信功能的智能手机)。信息处理装置210是例如执行各种种类的信息处理的信息处理装置(例如,平板电脑终端、笔记本型个人计算机(PC))。
要指出的是,信息处理装置100、信息处理装置200和信息处理装置210可以通过使用无线通信连接到接入点(未示出)来发送和接收各种信息。在这里,接入点是例如支持IEEE 802.11a、11b、11g、11n的无线LAN标准的接入点。即,路由器和接入点(例如,其中接入点嵌在路由器中的产品)实现由IEEE 802.11a、11b、11g和11n标准化的无线LAN。
要指出的是,图1中所示的信息处理装置是示例,并且该实施例还可以应用于另一个信息处理装置。该实施例可以应用于例如具有无线通信功能的成像设备(例如,数字静止相机、数字摄像机(例如,相机整合类型记录器))以及具有带无线通信功能的显示器的声音输出设备(例如,具有显示面板的便携式音乐播放器)。该实施例还可以应用于例如具有无线通信功能的显示设备(例如,数字相框),以及具有无线通信功能的电子书显示设备。而且,该实施例可以应用于例如具有无线通信功能的另一个信息处理装置。具有无线通信功能的信息处理装置包括例如针对家用的影像处理设备(数字多用途盘(DVD)记录器、视频卡座(video desk)等)、个人数字助理(PDA)、家用游戏机、家庭电气设备、便携式影像处理设备,便携式游戏机等。该实施例还可以应用于能够通过提供具有无线通信功能的无线通信装备(例如,不具有无线通信功能的个人计算机)来执行无线通信的信息处理装置。
“信息处理装置的配置示例”
图2是示出根据本公开的实施例的信息处理装置100的功能配置示例的框图。要指出的是,信息处理装置200和信息处理装置210的功能配置与信息处理装置100的功能配置基本相同,因此在这里省略其解释。
信息处理装置100包括通信单元110、天线114、传感器120、操作接收单元130、显示器140、声音输出单元150、存储器160和控制器170。通信单元110包括数据处理单元111、发送处理单元112和无线接口单元113。
数据处理单元111基于控制器170的控制处理各种数据。例如,在发送操作中,数据处理单元111根据来自上层的请求形成各种数据帧和数据分组,并将它们提供给发送处理单元112。例如,在接收操作中,数据处理单元111处理并分析从发送处理单元112提供的各种数据帧和数据分组。
发送处理单元112基于控制器170的控制来执行各种种类的发送处理。例如,在发送操作中,发送处理单元112执行将用于各种数据报头、帧校验序列(FCS)等的错误检测码添加到例如由数据处理单元111生成的分组的处理。然后,发送处理单元112将处理后的数据提供给无线接口单元113。例如,在接收操作中,发送处理单元112分析添加到从无线接口单元113提供的各种数据帧的报头。然后,一旦发送处理单元112基于错误检测码确认数据帧没有任何错误,它就将所述各种数据帧提供给数据处理单元111。
无线接口单元113是通过连接到另一个信息处理装置来发送和接收各种种类的信息的接口。例如,在发送操作中,无线接口单元113基于从发送处理单元112接收的数据在载波的频带中生成调制信号,并且通过天线114发送所生成的调制信号作为无线信号。而且,在接收操作中,无线接口单元113将由天线114接收的无线信号下变换(down-convert)为位串,由此对各种数据帧进行解码。
而且,通信单元110例如使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号。通信单元110使用MPEG2-TS将复用的影像信号和声音信号无线地发送到另一个信息处理装置。
传感器120是检测人的存在、人的移动或手势(例如,人挥动手的动作,或人执行某个操作的动作)等的传感器,并且将检测到的信息提供给控制器170。在这里,作为传感器120,例如可以使用对被摄体进行成像、生成影像数据以及对影像数据执行各种图像识别的图像传感器。作为传感器120,例如可以使用利用红外线获取各种种类的信息的红外传感器。而且,作为传感器120,可以使用利用红外线、超声波、可见光等来检测人(例如,接近信息处理装置100的人)的存在的人传感器。这些传感器中的一个可以被用作传感器120,或者它们中的多个可以被组合并用作传感器120。还可以使用另外的传感器。
操作接收单元130是接收用户的操作输入的操作接收单元,并且根据接收到的操作输入向控制器170输出操作信息。作为操作接收单元130,可以使用鼠标、键盘、触摸面板、按钮、麦克风、开关或控制杆。操作接收单元130还接收用于向另一个信息处理装置发送和从另一个信息处理装置接收各种数据的操作。
显示器140是基于控制器170的控制显示各种种类的信息(影像信息、字符信息,时间信息等)的显示器。显示器140显示例如从另一个信息处理装置发送的影像(例如,图1中所示的影像)。要指出的是,作为显示器140,例如可以使用诸如有机电致发光(EL)面板和液晶显示器(LCD)面板之类的显示面板。要指出的是,操作接收单元130和显示器140可以使用触摸面板一体地构成,所述触摸面板使得用户能够通过将手指放在显示器表面上或靠近显示器表面来执行对其的操作输入。
声音输出单元150是基于控制器170的控制输出各种种类的声音信息的声音输出单元(例如,扬声器)。
存储器160充当用于由控制器170进行数据处理的工作区域,并且充当存储各种种类的数据的存储介质。存储器160存储包含在要发送到作为连接伙伴的信息处理装置的数据中的各种种类的信息。作为存储器160,例如可以使用诸如非易失性存储器、磁盘、光盘和磁光(MO)盘之类的记录介质。要指出的是,作为非易失性存储器,例如可以使用电可擦除可编程只读存储器(EEPROM)或可擦除可编程ROM(EPROM)。作为磁盘,例如可以使用硬盘或盘式磁盘。作为光盘,例如可以使用压缩光盘(CD)、可记录数字多用途盘(DVD-R)、蓝光盘(BD)(注册商标))。
控制器170基于存储在存储器160中的控制程序来控制信息处理装置100的每个单元。例如,控制器170控制数据处理单元111、发送处理单元112和无线接口单元113中的每一个的接收操作和发送操作。例如,控制器170执行例如确定所使用频率、命令控制消息的形成或发送、以及解释控制消息的操作。要指出的是,控制消息通知诸如信标、信标接收响应、探测请求和探测响应之类的信息。如上所述,信息处理装置100可以接收广播波并基于广播波在显示器140上显示影像。因此,控制器170可以通过广播接收单元(未示出)获得广播波并且基于影像在显示器140上显示广播波。
“Wi-Fi CERTIFIED Miracast release-1”
由Wi-Fi联盟制定的Wi-Fi CERTIFIED Miracast release-1将在此介绍。
图3至图5是图示作为本公开的实施例的基础的源设备50和宿设备60的通信处理示例的顺序图。
图6和图7是图示作为本公开的实施例的基础的在源设备50和宿设备60之间交换的RTSP消息的示例的图。在图6和图7中,RTSP消息的名称在消息ID的区段中指示。而且,RTSP消息是请求还是响应是在req/res(方向)的区段中指示的。此外,从源设备到宿设备的RTSP消息由(src->snk)指示,并且从宿设备到源设备的RTSP消息由(snk->src)指示。
图3和图4指示通过Wi-Fi CERTIFIED Miracast从设备发现到AV流式传输开始的流程。图5图示了在图3和图4中所示的处理中,从AV格式的确定到由RTSP进行的AV流式传输开始的流控制的流程。
在这里,在Wi-Fi Direct中,多个设备检测彼此的存在(设备发现、服务发现)。然后,在选择彼此连接的设备之后,使用Wi-Fi保护设置(WPS)来执行所选设备之间的设备认证,从而在它们之间建立直接连接。而且,在Wi-Fi Direct中,多个设备确定它们是充当组所有者还是充当客户端,并且形成通信组。
在图3和图4所示的通信处理示例中,省略了分组发送和接收的一部分。例如,如上所述,用于使用WPS的分组交换在初始连接中是必要的,并且分组交换在认证请求/响应等的发送和接收等中也是必要的。但是,图3和图4省略了这种分组交换的图示,并且仅示出了第二次或更晚的连接。
要指出的是,虽然图3和图4示出了源设备50和宿设备60之间的通信处理示例,这同样适用于其它设备之间的通信处理。
首先,在源设备50和宿设备60之间执行设备发现(71)。例如,源设备50发送探测请求(响应请求信号)并从宿设备60接收与所述探测请求相对应的探测响应(响应信号)。以这种方式,源设备50和宿设备60可以发现彼此的存在。而且,设备发现允许获取设备名称、种类(TV、PC、智能电话等)、伙伴的源支持设备/宿支持设备等。
随后,在源设备50和宿设备60之间执行服务发现(72)。例如,源设备50发送用于询问由在设备发现中发现的宿设备60支持的服务的服务发现查询。然后,源设备50从宿设备60接收服务发现响应,由此获得由宿设备60支持的服务。即,源设备50可以通过服务发现获得由伙伴执行的服务、伙伴的详细的可用能力等。由伙伴执行的服务包括例如服务、协议(数字生活网络联盟(DLNA)、数字媒体渲染器(DMR)等))。
然后,用户执行选择要连接的伙伴的操作(连接伙伴选择操作)(73)。连接伙伴选择操作可以仅发生在源设备50和宿设备60中的一个当中。例如,在源设备50的显示器上显示连接伙伴选择屏幕,并且宿设备60在连接伙伴选择屏幕上通过用户操作被选择作为连接伙伴。
在用户执行连接伙伴选择操作(73)之后,在源设备50和宿设备60之间执行组所有者协商(74)。图3和图4图示了其中,作为组所有者协商的结果,源设备50变为组所有者75并且宿设备60变为客户端76的示例。
接下来,在源设备50和宿设备60之间执行各种种类的处理(77至81),由此建立直接连接。即,顺序地执行关联(第二层(L2)链路建立)(77)、安全链路建立(78)和IP地址指派(79)。而且,顺序地执行TCP连接建立(80)和由RTSP执行的流控制(81)。
然后,以MPEG2-TSAV将数据从源设备50发送到宿设备60(82)。
以这种方式,在Wi-Fi CERTIFIED Miracast release-1中,AV数据流式传输可以从源设备50到宿设备60实时地进行。但是,在这种标准中,音频数据是否要从宿设备60发送到源设备50不能被指定。
而且,在具有相对大显示器的宿设备(信息处理装置100)的情况下,如图1中所示,例如,多个屏幕可以被显示在显示器上。在这种情况下,考虑到多个屏幕中的一个屏幕的声音被输出。例如,可以进行布置,使得由用户指定为主屏幕的内容的声音被输出,并且未被指定为主屏幕的内容的声音不输出。
而且,在这种情况下,未被指定为主屏幕的影像数据和音频数据(子屏幕)也使用Wi-Fi CERTIFIED Miracast发送,这指示出发送了不要输出的音频数据。在这种情况下,不要输出的音频数据的发送可以挤出(press)无线区段的频带。
而且,不要输出的音频数据的发送可能将源设备50的功耗增加到多于必需。此外,不要输出的音频数据的接收还可能将宿设备60的功耗增加到多于必需。
然后,本公开的实施例描述了其中在源设备50和宿设备60之间交换的音频数据被适当地处理的示例。要指出的是,在本公开的实施例中,输出声音的屏幕被称为主屏幕,并且不输出声音的屏幕被称为子屏幕。而且,主屏幕和子屏幕可以基于显示器大小或显示位置来定义。
“RTSP消息的配置示例”
图8是图示在根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。图8图示了当在RTSP中定义新参数(WFD-audio-stream-control)时通过增强的巴科斯范式(backus-naur form,ABNF)语法进行定义的示例。
图9是图示在根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。图9图示了RTSP M3请求和RTSP M3响应的配置示例。在图9中,由点线矩形401至404包围的信息与图6中所示的示例不同。
图10和图11是图示在根据本公开的第一实施例的信息处理装置之间交换的信息的示例的图。图10和图11图示了新定义的RTSP M110请求和RTSP M110响应的配置示例。
在这里,特定功能指示在本公开的每个实施例中运用的每个功能。例如,本公开的第一实施例描述了一个示例,其中特定功能是减少要发送到宿设备的流中的音频数据量并基于来自宿设备的请求将该流发送到宿设备。
例如,当源设备(信息处理装置200)能适应于特定功能时,源设备(信息处理装置200)发送包含wfd_audio_stream_control(图9中示出的点线矩形402)的RTSP M3请求消息。以这种方式,源设备(信息处理装置200)示出源设备能适应于针对宿设备(信息处理装置100)的特定功能,并且询问宿设备(信息处理装置100)是否能适应于该特定功能。
在这里,不能适应于特定功能的宿设备在RTSP M3响应消息中发送“无”的响应。因此,在接收到这种响应之后,源设备(信息处理装置200)不使用该特定功能。
而且,能适应于该特定功能的宿设备(信息处理装置100)将能适应位设置为1,并在RTSP M3响应消息中将其发送到源设备(信息处理装置200)。
在这里,在图9中所示的虚线矩形404中,wfd_audio_stream_control的值(C)由十六进制数指示。这个值是十进制数12,以及4位二进制数1100。这指示出wfd_audio_stream_control的值(C)与在图8中所示的位位置B3处的(重新)包括音频以及在位位置B2处的减少音频相对应。
而且,当在宿设备(信息处理装置100)中触发音频数据的减少时,宿设备(信息处理装置100)例如向源设备发送指示这种事实的消息。宿设备(信息处理装置100)发送图10中所示的RTSP M110请求消息(由点线矩形405包围的信息指定)。
以这种方式,宿设备可以请求源设备基于第一触发来减少音频数据。在这里,第一触发可以由用户操作(例如,主屏幕和子屏幕之间的切换操作)引起。
而且,已经接收到图10中所示的RTSP M110请求消息的源设备在图10中所示的RTSP M110响应消息中发送OK。随后,源设备减少要发送到宿设备的流中的音频数据量,并根据来自宿设备的命令将该流发送到宿设备。
在这里将解释减少音频数据的方法。
例如,源设备可以执行第一声音数据减少,使得在由PID指定的TS分组中存储的PES分组中PES有效载荷数据量减少,而不改变在PMT中描述的指定声音数据发送的PID,并且在PES报头部分中几乎定期地生成包含PTS的PES分组。源设备复用并发送用于其中数据量被减少的声音信号发送的PES分组和用于影像信号发送的PES分组。在这种情况下,源设备可以通过使PES有效载荷数据量基本为零或完全为零来减少数据量。
在这种情况下,数据可以不包含任何PES有效载荷,或者数据可以包含填充字节而不包含实际音频数据。
而且,优选的是将PES分组生成周期设置为大约100毫秒。因此,即使是与音频时钟同步地再现视频的宿设备也可以再现音频时钟并以适当的时钟同步并再现视频,同时防止时钟的自由运行(free run)。
而且,当宿设备对MPEG2-TS复用信号执行解复用时,例如,宿设备丢弃包含在PES有效载荷中的数据,并提取包含在PES分组中的PES报头部分中的PTS,所述PES分组存储在由在PMT中描述的指定声音数据发送的PID指定的TS分组中。
以这种方式,本公开的第一实施例描述了使用保留PTS的第一声音数据减少方法作为音频数据减少方法的示例。
而且,当宿设备(信息处理装置100)中重新包括音频数据被触发时,宿设备(信息处理装置100)例如向源设备发送指示这种事实的消息。宿设备(信息处理装置100)发送例如图11中所示的RTSP M110请求消息(由点线矩形406包围的信息指定)。
而且,已经接收到图11中所示的RTSP M110请求消息的源设备在图11中所示的RTSP M110响应消息中发送OK。随后,源设备恢复要发送到宿设备的流中的原始音频数据量,并且根据来自宿设备的命令将该流发送到宿设备。
以这种方式,宿设备的控制器可以在接收音频数据量减少的MPEG2-TS复用信号的同时基于第二触发请求源设备恢复原始音频数据量。在这里,例如,第二触发可以由用户操作(例如,主屏幕和子屏幕之间的切换操作)引起。
而且,当在对用于声音信号发送的PES分组(其中数据量通过第一声音数据减少而被减少)和用于影像信号发送的PES分组进行复用之后发送它们的同时由宿设备请求恢复原始声音数据量时,例如,源设备的控制器执行控制以将正常声音数据存储在PES有效载荷中,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
当在请求之后对从源设备接收的MPEG2-TS复用信号执行解复用时,宿设备的控制器执行控制,以提取包含在PES有效载荷中的声音数据。
主屏幕显示切换示例
下面将描述,当在宿设备上显示源设备的屏幕时,宿设备接收广播波并且基于所述广播波新显示屏幕的示例。
图12是图示在根据本公开的第一实施例的信息处理装置100中从声音输出单元150输出的声音信息和显示在显示器140上的屏幕的转换示例的图。
图13是图示在根据本公开的第一实施例的信息处理装置100和信息处理装置200之间交换的信息的转换示例的图。图13图示了与图12相对应的信息交换的示例。
图12A图示了从信息处理装置100输出来自信息处理装置200的影像和影像的声音的情况的示例。即,图12A图示了其中使用Wi-Fi CERTIFIED Miracast从信息处理装置200向信息处理装置100执行流式传输(图13中所示的311、312)的示例,在该示例中包括了音频设置。在这种情况下,从声音输出单元150输出来自信息处理装置200的影像的声音301。
图12B图示了在图12A中所示的状态下,用户通过这种用户操作(图13中所示的313)执行用于接收广播波并基于所述广播波在显示器140上显示影像的设置的情况的示例。而且,假定,通过用户操作,用户还执行用于同时在显示器140上显示来自信息处理装置200的影像306和基于广播波的影像305的两个屏幕的设置。此外,通过这种用户操作,假定用户将基于广播波的影像305设置为主屏幕。
在这种情况下,信息处理装置100将RTSP M110请求消息(图10所示)发送到信息处理装置200,并请求减少音频数据(图13中所示的314、315)。而且,信息处理装置200在对信息处理装置100的RTSP M110响应消息(图10中所示)中发送OK(图13中所示的316、317)。
随后,信息处理装置200将音频数据被减少的流发送到信息处理装置100(图13中所示的318、319)。在这种情况下,不输出来自信息处理装置200的影像306的声音,如图12B中所示。即,当基于广播波的影像305被设置为主屏幕时,不输出来自信息处理装置200的影像306的声音。然后,从声音输出单元150输出基于广播波的影像305的声音302。
图12C图示了在图12B中所示的状态下,通过用户操作(图13中所示的320),基于广播波的影像307被设置为子屏幕并且来自信息处理装置200的影像308被设置为主屏幕的情况的示例。
在这种情况下,信息处理装置100向信息处理装置200发送RTSP M110请求消息(图11中所示),并请求添加音频数据(图13中所示的321、322)。而且,信息处理装置200在对信息处理装置100的RTSP M110响应消息(图11中所示)中发送OK(图13中所示的323、324)。
随后,信息处理装置200将包含音频数据的流发送到信息处理装置100(图13中所示的325、326)。在这种情况下,不输出基于广播波的影像307的声音,如图12C中所示。而且,从声音输出单元150输出来自信息处理装置200的影像308的声音303。
在这里,如图12A中所示,当来自信息处理装置200的影像作为主影像显示在显示器140上时,从声音输出单元150输出该影像的声音301。在这种情况下,假设观看该影像的用户根据声音301的声压来调整从声音输出单元150输出的声音301的音量设定值(音量)。然后,当从声音输出单元150输出的声音301的音量设定值被调整后,信息处理装置100的控制器170将调整后的值存储在存储器160中。
而且,如图12B中所示,当基于广播波的影像305作为主影像显示在显示器140上时,从声音输出单元150输出影像305的声音302。而且,在这种情况下,假设观看影像305的用户在正在接收广播波的同时根据声音302的声压来调整从声音输出单元150输出的声音302的音量设定值(音量)。
如图12C中所示,当来自信息处理装置200的影像308被设置为主影像时,信息处理装置100的控制器170设置与存储在存储器160中的值相对应的音量。即,当来自信息处理装置200的影像308被设置为主影像时,信息处理装置100的控制器170在输出基于广播波的影像305的声音302的同时丢弃设置的音量设定值(音量),并且复位当来自信息处理装置200的影像被设置为主影像时使用的音量。
以这种方式,信息处理装置100的控制器170在存储器160中存储在向源设备作出请求之前输出的声音的音量设定值。然后,信息处理装置100的控制器170请求源设备恢复原始声音数据量,并且例如可以在所述请求之后提取包含在PES有效载荷中的声音数据的定时设置存储在存储器160中的音量设定值。
以这种方式,例如,当切换主屏幕时,可以防止用户不想要的音量的输出。
“宿设备的操作示例”
图14是图示根据本公开的第一实施例的信息处理装置100的接收处理的处理过程的示例的流程图。图14图示了源设备和宿设备都适应于特定功能的情况的示例。
首先,信息处理装置100的控制器170执行开始Wi-Fi CERTIFIED Miracast的处理(步骤S801)。
然后,控制器170开始Wi-Fi CERTIFIED Miracast的会话(步骤S802)。在这种情况下交换的流包含音频数据。
接下来,控制器170执行例如接收、解码和再现包含音频数据的流的处理(步骤S803)。以这种方式,在显示器140上显示基于包含在接收到的流中的影像数据的影像,并且从声音输出单元150输出基于包含在接收到的流中的音频数据的声音。
随后,控制器170确定在显示器140上显示的影像中是否存在不需要音频数据的影像(基于接收到的流的影像)(步骤S804)。例如,如图12A和图12B中所示,当用于接收广播波并将其显示为主屏幕的用户操作时,确定来自源设备的音频数据是不必要的(步骤S804)。
当不存在不需要音频数据的影像时(步骤S804),操作返回到步骤S803。当存在不需要音频数据的影像时(步骤S804),控制器170向发送与不需要音频数据的影像相对应的流的源设备发送用于请求减少音频数据的消息(步骤S805)。例如,控制器170发送图10中所示的RTSP M110请求消息。
在发送所述消息之后,通信单元110从源设备接收对所述消息的响应(步骤S806)。源设备在例如图10中所示的RTSP M110响应消息中发送OK。
在接收到对用于请求减少音频数据的消息的响应之后(步骤S806),控制器170执行例如接收、解码和再现音频数据被减少的流的处理(步骤S807)。在这种情况下,在显示器140上显示基于包含在接收到的流中的影像数据的影像。但是,接收到的流不包含音频数据,并且因此没有声音被输出。
随后,控制器170确定在显示器140上显示的影像中是否存在需要音频数据的影像(基于接收到的流的影像)(步骤S808)。例如,如图12B和图12C中所示,当执行用于显示来自源设备影像作为主屏幕的用户操作时,确定来自源设备的音频数据是必要的(步骤S808)。
当不存在需要音频数据的影像(基于接收到的流的影像)时(步骤S808),操作返回到步骤S807。当存在需要音频数据的影像时(步骤S808),控制器170向发送与需要音频数据的影像相对应的流的源设备发送用于请求添加音频数据的消息(步骤S809)。例如,控制器170发送图11中所示的RTSP M110请求消息。
在发送所述消息之后,通信单元110从源设备接收对所述消息的响应(步骤S810)。例如,源设备在图11中所示的RTSP M110响应消息中发送OK。
在接收到用于请求添加音频数据的消息的响应之后(步骤S810),控制器170确定是否命令了接收处理的完成(步骤S811)。当没有命令接收处理的完成时(步骤S811),操作返回到步骤S803,并且控制器170执行例如接收、解码和再现包含音频数据的流的处理(步骤S803)。相反,当已经命令了接收处理的完成时(步骤S811),接收处理的操作结束。要指出的是,步骤S803和S807是权利要求中描述的通信的示例。要指出的是,步骤S805至S807是权利要求中描述的控制的示例。
“源设备的操作示例”
图15是图示由根据本公开的第一实施例的信息处理装置200进行的发送处理的处理过程的示例的流程图。图15图示了源设备和宿设备都适应于特定功能的情况的示例。
首先,信息处理装置200的控制器(与图2的控制器170相对应)执行开始Wi-FiCERTIFIED Miracast的处理(步骤S821)。
然后,信息处理装置200的控制器开始Wi-Fi CERTIFIED Miracast的会话(步骤S822)。在这种情况下交换的流包含音频数据。
接下来,信息处理装置200的控制器生成包含音频数据的流,并将生成的流发送到宿设备(步骤S823)。以这种方式,将基于包含在所发送的流中的影像数据的影像显示在宿设备的显示器上,并且基于包含在接收到的流中的音频数据的声音从宿设备的声音输出单元被输出。
随后,信息处理装置200的控制器确定是否已经从宿设备接收到用于请求减少音频数据的消息(步骤S824)。例如,信息处理装置200的控制器确定图10中所示的RTSP M110请求消息是否已经接收到。当没有从宿设备接收到所述消息时(步骤S824),操作返回到步骤S823。
当从宿设备接收到所述消息时(步骤S824),信息处理装置200的控制器向宿设备发送对所述消息的响应(步骤S825)。例如,信息处理装置200在图10中所示的RTSP M110响应消息中发送OK。
接下来,信息处理装置200的控制器生成音频数据被减少的流,并将生成的流发送到宿设备(步骤S826)。在这种情况下,基于接收到的流中包含的影像数据的影像被显示在宿设备的显示器上。但是,没有声音输出。
随后,信息处理装置200的控制器确定是否已经从宿设备接收到用于请求添加音频数据的消息(步骤S827)。例如,信息处理装置200的控制器确定图11中所示的RTSP M110请求消息是否已经接收到。当没有从宿设备接收到所述消息时(步骤S827),操作返回到步骤S826。
当从宿设备接收到所述消息时(步骤S827),信息处理装置200的控制器向宿设备发送对所述消息的响应(步骤S828)。例如,信息处理装置200在图11中所示的RTSP M110响应消息中发送OK。
接下来,信息处理装置200的控制器确定是否命令了发送处理的完成(步骤S829)。当没有命令发送处理的完成时(步骤S829),操作返回到步骤S823。相反,当已经命令了发送处理的完成时(步骤S829),发送处理的操作完成。要指出的是,步骤S823和S826是权利要求中描述的通信的示例。而且,步骤S826是权利要求中描述的控制的示例。
<2.第二实施例>
本公开的第二实施例描述了使用Wi-Fi CERTIFIED Miracast在流式传输开始时减少音频数据的示例。而且,本公开的第二实施例描述了其中要求使用除本公开的第一实施例中描述的声音数据减少方法之外的声音数据减少方法(第二声音数据减少方法)的示例。即,在本公开的第二实施例中,可以指定减少音频数据的方法。因此,在本公开的第二实施例中,将进一步的扩展引入到新提供的RTSP参数的结构中。
要指出的是,本公开的第二实施例中的信息处理装置的配置与图1等中所示的信息处理装置100、200的配置基本相同。因此,与本公开的第一实施例共同的元件用与本公开的第一实施例相同的标号表示,并且部分省略对这些元件的描述。
“RTSP消息的配置示例”
图16是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。图16图示了向新提供的RTSP参数的结构引入进一步扩展的情况的示例。
图17是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。图17图示了RTSP M3请求和RTSP M3响应的配置示例。在图中,由点线矩形411至414包围的信息与图6中所示的示例不同。
图18是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。图18图示了新定义的RTSP M110请求和RTSP M110响应的配置示例。
例如,当源设备(信息处理装置200)能适应于特定功能时,源设备(信息处理装置200)发送包括wfd_audio_stream_control(图17中示出的点线矩形412)的RTSP M3请求消息。以这种方式,源设备(信息处理装置200)示出源设备能适应于对宿设备(信息处理装置100)的特定功能,并且询问宿设备(信息处理装置100)是否能适应于该特定功能。
在这里,不能适应于特定功能的宿设备在RTSP M3响应消息中发送“无”的响应。因此,在接收到这种响应之后,源设备(信息处理装置200)不使用该特定功能。
而且,能适应于该特定功能的宿设备(信息处理装置100)将能适应位设置为1,并在RTSP M3响应消息中将其发送到源设备(信息处理装置200)。
在这里,在图17中所示的点线矩形414中,wfd_audio_stream_control的值(F)由十六进制数表示。这个值是十进制数15,以及4位二进制数1111。这指示出wfd_audio_stream_control的值(F)与图16中所示的位位置B3至B1中的任何一个对应并且从流式传输的开始请求音频数据的减少。即,指示出wfd_audio_stream_control的值(F)与在图16中所示的位位置B3处的(重新)包括音频以及在位位置B2处的减少音频对应。而且,指示出wfd_audio_stream_control的值(F)与在位位置B处的使用不同于减少音频的减少方法的音频数据减少相对应,并且从流式传输的开始请求音频数据的减少。
即,图17图示了从流式传输开始请求减少音频数据的RTSP M3响应消息的示例。已经接收到RTSP M3响应消息的源设备使用宿设备适应的任何数据减少方法来减少数据,并然后将该流发送到宿设备。例如,可以使用与本公开的第一实施例(第一声音数据减少方法)相同的减少方法。
而且,当触发音频数据的重新包括时,宿设备例如发送新提供的RTSP M110请求消息(在图11中所示)。接收到RTSP M110请求消息的源设备在RTSP M110响应消息(图11中所示)中发送OK。然后,源设备恢复原始音频数据量,并根据来自宿设备的命令进行发送。要指出的是,RTSP M110请求消息和RTSP M110响应消息的配置与图11中相同,并且因此省略其详细说明。
在这里,假设用户操作宿设备,以将基于广播波的影像设置为主屏幕,并将来自源设备的影像设置为子屏幕。在这种情况下,宿设备可以确定来自源设备的影像的音频数据已经变得不必要。因此,利用这种操作作为触发,宿设备请求源设备减少音频数据。在这种情况下,假定宿设备被设计和实现为使得即使在没有音频PTS的情况下也能平滑地显示来自源设备的影像。因此,宿设备可以指定另一种减少方法(例如,其中不发送音频PES分组的减少方法,以进一步减少数据量)。
图18图示了在这种情况下发送的RTSP M110请求和RTSP M110响应的配置示例。
已经接收到图18中所示的RTSP M110请求消息的源设备在RTSP M110响应消息中发送OK。然后,源设备通过第二声音数据减少方法来减少关于在发送这种OK之后发送的流的数据,并且在不对用于音频数据的PES分组进行复用的情况下,发送除了用于音频数据的PES分组以外的数据。在这里,第二声音数据减少方法是不包括指定音频数据的PID的信息,在流中不生成携带音频数据的PES分组的减少方法。
以这种方式,源设备执行第二声音数据减少,其中不包括指定音频数据的PID的信息,不生成携带音频数据的PES分组,并且可以在不复用用于声音信号发送的PES分组的情况下,发送用于影像信号发送的PES分组。
宿设备接收通过第二声音数据减少方法减少音频数据的流,并解码包含在接收到的流中的视频数据。
假设在该状态下用户取消两个屏幕并且仅指定来自源设备的影像的显示。在这种情况下,宿设备可以确定来自源设备的影像的音频数据已经变得必要。因此,利用这种操作作为触发,宿设备请求源设备在RTSP M110请求消息中恢复原始音频数据。
在这种情况下发送的RTSP M110请求和RTSP M110响应的配置示例与图11中相同。
源设备在图11中所示的RTSP M110响应中发送OK之后发送包括音频数据的流。即,源设备在流中包括PMT中的指定音频数据的PID的信息,并且使用由PID指定的TS分组生成携带音频数据的PES分组。然后,源设备复用生成的携带音频数据的PES分组和携带视频数据的PES分组,并将结果发送给宿设备。
以这种方式,当在第二声音数据减少之后,在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组的同时,由宿设备请求恢复原始声音数据量时,源设备将指定声音数据发送的PID包括在PMT中,将正常声音数据存储在PES有效载荷中,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
例如,宿设备接收包含音频数据的流,对包含在接收到的流中的视频数据和音频数据执行解复用,并且解码和再现所述数据。
“主屏幕显示切换示例”
下面将描述其中当在宿设备上显示基于广播波的屏幕时,宿设备新显示来自源设备的影像的情况的示例。
图19是图示在根据本公开的第二实施例的信息处理装置100中从声音输出单元150输出的声音信息和显示在显示器140上的屏幕的转换示例的图。
图20是图示在本公开的第二实施例的信息处理装置100和信息处理装置200之间交换的信息的转换示例的图。图20图示了与图19相对应的信息交换的示例。
图19A图示了其中广播波被接收并且基于广播波的影像和影像的声音从信息处理装置100输出的情况的示例。
图19B图示了其中在图19A所示的状态下,流从信息处理装置200向信息处理装置100的发送已经通过信息处理装置200的用户操作使用Wi-Fi CERTIFIED Miracast开始的情况的示例。
在这种情况下,信息处理装置100的控制器170使用Wi-Fi CERTIFIED Miracast检测连接。然后,信息处理装置100的控制器170自动地将在一个屏幕上显示的基于广播波的影像设置为主屏幕并且将从信息处理装置200新添加的影像设置为子屏幕。以这种方式,信息处理装置100的控制器170可以确定来自信息处理装置200的影像被设置为子屏幕(图20中所示的331)。
而且,利用这种确定作为触发,信息处理装置100的控制器170请求信息处理装置200减少音频数据并发送它。在这种情况下,信息处理装置100在作为对接收到的RTSP M3请求消息的响应的RTSP M3响应消息中,将控制位图的最低有效位B0设置为1(在图17中示出),并且将所述消息发送到信息处理装置200,由此请求音频数据的减少(图20中所示的332、333)。在这个时候,信息处理装置100的控制器170未指定减少方法。因此,信息处理装置200可以自动或手动地确定减小方法。然后,信息处理装置200将音频数据被减小的流发送到信息处理装置100(图20中所示的334、335)。
图19C图示了在图19B中所示的状态下通过用户操作(图20所示的336)基于广播波的影像327被设置为子屏幕并且来自信息处理装置200的影像328被设置为的主屏幕的情况的示例。
在这种情况下,信息处理装置100向信息处理装置200发送RTSP M110请求消息(图11中所示),并请求音频数据的添加(图20中所示的337、338)。而且,信息处理装置200在向信息处理装置100发送的RTSP M110响应消息(图11中所示)中发送OK(图20中所示的339、340)。
随后,信息处理装置200向信息处理装置100发送包含音频数据的流(图20中所示的341、342)。在这种情况下,如图19C中所示,不输出基于广播波的影像327的声音。而且,从声音输出单元150输出来自信息处理装置200的影像328的声音323。
在这里,当来自信息处理装置200的影像328的声音323开始从声音输出单元150输出时,如果声音323的音量与基于广播波的影像的声音323的音量相同,那么会突然输出大声音。然后,当来自信息处理装置200的影像328的声音323开始从声音输出单元150输出时,可以复位小于基于广播波的影像的声音322的音量设定值(音量)。
而且,假设在图19中所示的状态下,通过用户操作(图20中所示的343),基于广播波的影像327被设置为主屏幕并且来自信息处理装置200的影像328被设置为子屏幕。
在这种情况下,信息处理装置100向信息处理装置200发送RTSP M110请求消息(图18中所示),并请求减少音频数据(图20中所示的344、345)。在这里,假设其中不包括音频PES分组的方法(第二声音数据减少方法)被指定为用于减少音频数据的方法。
而且,信息处理装置200在向信息处理装置100发送的RTSP M110响应消息(图18所示)中发送OK(图20中所示的346、347)。
随后,信息处理装置200将其中音频数据被减少的流发送到信息处理装置100(图20中所示的348、349)。
“宿设备的操作示例”
图21是图示由根据本公开的第二实施例的信息处理装置100进行的接收处理的处理过程的示例的流程图。图21图示了源设备和宿设备二者都适应于特定功能的情况的示例。
首先,信息处理装置100的控制器170确定是否发生了Wi-Fi CERTIFIED Miracast的开始触发(步骤S831)。在没有发生开始触发的情况下(步骤S831),继续进行监视。
在发生了开始触发的情况下(步骤S831),控制器170在开始时确定音频数据是否是必要的(步骤S832)。在开始时音频数据不是必要的情况下(步骤S832),控制器170向开始发送流的源设备发送用于请求减少音频数据的消息(步骤S833)。例如,当发送图17中所示的RTSP M3响应消息作为对图17中所示的接收到的RTSP M3请求消息的响应时,控制器170将控制位图的最低有效位B0设置为1,并且请求音频数据的减少。
然后,控制器170开始Wi-Fi CERTIFIED Miracast的会话(步骤S834)。在这种情况下交换的流不包含音频数据。
接下来,控制器170例如执行接收、解码和再现其中音频数据被减少的流的处理(步骤S835)。在这种情况下,在显示器140上显示基于包含在接收到的流中的影像数据的影像。但是,接收到的流不包含音频数据,并且因此没有声音被输出。
接下来,控制器170确定在显示器140上显示的影像(基于接收的流的影像)是否需要音频数据(步骤S836)。当不需要音频数据的时(步骤S836),操作返回到步骤S835。
当音频数据是必要的时(步骤S836),控制器170向发送流的源设备发送请求添加音频数据的消息(步骤S837)。例如,控制器170发送图11中所示的RTSP M110请求消息。
在发送所述消息之后,通信单元110从源设备接收对所述消息的响应(步骤S838)。源设备在图11中所示的RTSP M110响应消息中发送OK。
同时,当开始时音频数据是必要的时(步骤S832),控制器170向开始发送流的源设备发送请求包括音频数据的消息(步骤S839)。例如,控制器170发送图6中所示的RTSP M3响应消息。
然后,控制器170开始Wi-Fi CERTIFIED Miracast的会话(步骤S840)。在这种情况下交换的流包含音频数据。
接下来,控制器170例如执行接收、解码和再现包含音频数据的流的处理(步骤S841)。在这种情况下,在显示器140上显示基于包含在接收到的流中的影像数据的影像,并且从声音输出单元150输出基于包含在接收到的流中的音频数据的声音。
随后,控制器170确定显示器140上显示的影像(基于接收到的流的影像)是否不需要音频数据(步骤S842)。当音频数据是必要的时(步骤S842),操作返回步骤S841。
当音频数据是不必要的时(步骤S842),控制器170确定音频数据减少方法(步骤S843)。例如,控制器170可以基于所连接的源设备的数量、源设备的性能、周围的通信环境等来确定音频数据减少方法。
例如,当确定第一方法(第一声音数据减少方法)时(步骤S843),控制器170向发送流的源设备发送用于请求减少音频数据的消息(步骤S844)。例如,控制器170发送图10中所示的RTSP M110请求消息。
在发送所述消息之后,通信单元110从源设备接收对所述消息的响应(步骤S845)。例如,源设备在图10中所示的RTSP M110响应消息中发送OK。
例如,当确定第二方法(第二声音数据减少方法)时(步骤S843),控制器170向发送流的源设备发送用于请求删除音频数据的消息(步骤S846)。例如,控制器170发送图18中所示的RTSP M110请求消息。
在发送所述消息之后,通信单元110从源设备接收对所述消息的响应(步骤S847)。源设备在图18中所示的RTSP M110响应消息中发送OK。
接下来,控制器170例如执行接收、解码和再现其中删除了音频数据的流的处理(步骤S848)。在这种情况下,在显示器140上显示基于包含在接收到的流中的影像数据的影像。但是,接收到的流不包含音频数据,并且因此没有声音被输出。
接下来,控制器170确定在显示器140上显示的影像(基于接收到的流的影像)是否需要音频数据(步骤S849)。当音频数据是不必要的时(步骤S849),操作返回步骤S848。当音频数据是必要的时(步骤S849),操作返回到步骤S837。
以这种方式,控制器170可以在向源设备作出请求时,指定第一声音数据减少方法和第二声音数据减少方法中的一个,在所述第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在所述第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
“源设备的操作示例”
图22是图示由根据本公开的第二实施例的信息处理装置200进行的发送处理的处理过程的示例的流程图。图22图示了源设备和宿设备二者都适应于特定功能的情况的示例。
首先,信息处理装置200的控制器确定是否发生了Wi-Fi CERTIFIED Miracast的开始触发(步骤S851)。在没有发生开始触发的情况下(步骤S851),继续进行监视。
在发生了开始触发的情况下(步骤S851),信息处理装置200的控制器确定接收到的RTSP M3响应消息是否指定音频数据是不必要的(步骤S852)。
当指定音频数据是不必要的时(步骤S852),信息处理装置200的控制器开始Wi-FiCERTIFIED Miracast的会话(步骤S853)。在这种情况下交换的流不包含音频数据。
接下来,信息处理装置200的控制器生成音频数据被减少的流,并将生成的流发送到宿设备(步骤S854)。在这种情况下,基于接收到的流中所包含的影像数据的影像被显示在宿设备的显示器上。但是,没有声音输出。
随后,信息处理装置200的控制器确定是否已经从宿设备接收到用于请求添加音频数据的消息(步骤S855)。例如,信息处理装置200的控制器确定图11中所示的RTSP M110请求消息11是否已经接收到。当还没有从宿设备接收到消息时(步骤S855),操作返回到步骤S854。
当从宿设备接收到所述消息时(步骤S855),信息处理装置200的控制器向宿设备发送对所述消息的响应(步骤S856)。例如,信息处理装置200在图11中所示的RTSP M110响应消息中发送OK。
当指定音频数据是必要的时(步骤S852),信息处理装置200的控制器开始Wi-FiCERTIFIED Miracast的会话(步骤S857)。在这种情况下交换的流包含音频数据。
接下来,信息处理装置200的控制器生成包含音频数据的流,并将生成的流发送到宿设备(步骤S858)。以这种方式,基于包含在所发送的流中的影像数据的影像被显示在宿设备的显示器上,并且从宿设备的声音输出单元输出基于包含在所发送的流中的音频数据的声音。
随后,信息处理装置200的控制器确定是否已经从宿设备接收到用于请求减少音频数据的消息(步骤S859)。例如,信息处理装置200的控制器确定图10或图18中所示的RTSPM110请求消息10是否已经接收到。当尚未从宿设备接收到所述消息时(步骤S859),操作返回步骤S858。
当已经从宿设备接收到所述消息时(步骤S859),信息处理装置200的控制器确认由所述消息指定的音频数据减少方法(步骤S860)。然后,当减少方法是第一方法时(图10中所示的RTSP M110请求消息的情况)(步骤S860),信息处理装置200的控制器向宿设备发送对所述消息的响应(步骤S861)。例如,信息处理装置200的控制器在图10中所示的RTSPM110响应消息中发送OK。
而且,当减少方法是第二方法时(图18中所示的RTSP M110请求消息的情况)(步骤S860),信息处理装置200的控制器确定信息处理装置200是否适应于第二方法(步骤S862)。然后,当信息处理装置200不适应于第二方法时(步骤S862),操作前进到步骤S861。
当信息处理装置200适应于第二方法时(步骤S862),信息处理装置200的控制器向宿设备发送对所述消息的响应(步骤S863)。例如,信息处理装置200在图18中所示的RTSPM110响应消息中发送OK。
接下来,信息处理装置200的控制器生成其中删除了音频数据的流,并将生成的流发送到宿设备(步骤S864)。在这种情况下,基于接收到的流中所包含的影像数据的影像被显示在宿设备的显示器上。但是,没有声音输出。
随后,信息处理装置200的控制器确定是否已经从宿设备接收到用于请求添加音频数据的消息(步骤S865)。当尚未从宿设备接收到消息时(步骤S865),操作返回步骤S864。相反,当从宿设备接收到消息时(步骤S865),操作前进到步骤S856。
“使用另一个消息的示例”
上面已经描述了其中尽可能多地避免添加到Wi-Fi CERTIFIED Miracastrelease-1的RTSP消息交换顺序的改变的示例。即,上面已经描述了在不包括任何音频数据的情况下用于开始的请求被包含在M3GET_PARAMETER响应中的示例。
下面将描述其中可以改变RTSP消息交换顺序的情况,诸如在后续标准或自己的实现中。例如,定义了M3R请求/响应消息和M4R请求/响应消息。这些是通过反转M3请求/响应消息和M4请求/响应消息的方向而获得的。然后,使用M3R请求/响应消息或M4R请求/响应消息来执行源设备和宿设备之间的能力通知、参数设置等。
图23是图示根据本公开的第二实施例的源设备50和宿设备60的通信处理示例的顺序图。要指出的是,图23图示了在图5中所示的示例中添加新定义的RTSP消息。即,添加了RTSP M3R请求、RTSP M3R响应、RTSP M4R请求和RTSP M4R响应。
在这里,M3GET_PARAMETER和M4SET_PARAMETER用于将来自源设备的请求发送到宿设备。图23图示了当新定义反向消息时RTSP消息的顺序图。
如图23中所示,宿设备60使用M3R请求消息来询问源设备50的适应能力(例如,源设备50是否适应于音频数据减少)(501)。源设备50使用对M3R请求消息的响应(M3R响应消息)向信宿设备60通知源设备50的适应能力(502)。
而且,宿设备60使用M4R请求消息进行设置,使得源设备50在不包括音频数据的情况下发送流(503)。源设备50使用对M4R请求消息的响应(M4R响应消息)向宿设备60通知OK(504)。
图24至图26是图示在根据本公开的第二实施例的信息处理装置之间交换的信息的示例的图。
图24图示了当在新定义的RTSP消息中使用wfd_audio_stream_control时的位的定义示例。在这个示例中,宿设备60可以明确地在SET_PARAMETER中通知源设备50不包含音频的事实。因此,在图16中所示的示例中,可以省略最低有效位(位位置B0处)的“初始音频关断”。
图25图示了RTSP M3R请求、RTSP M3R响应、RTSP M4R请求和RTSP M4R响应的配置示例。
接下来,将参考图25描述具体消息的配置示例。
宿设备60在RTSP M3R请求消息中包括wfd_audio_stream_control(图25中所示的点线矩形420),并将该消息发送到源设备50(图23中所示的501)。因此,宿设备60可以询问源设备50是否适应于特定功能。
响应于该询问,源设备50向宿设备60发送RTSP M3R响应消息,并且向宿设备60通知源设备50适应于特定功能的事实(图23中所示的502)。这个示例描述了其中源设备50适应于(重新)包括音频数据的功能、减少音频数据的功能以及通过另一种方法减少音频数据的功能中的所有功能的情况。因此,源设备50以二进制数设置1110,按照十六进制数的“E(图25中的点线矩形421)”,并发送响应(图23中所示的502)。
随后,宿设备60向源设备50发送RTSP M4R请求消息,并进行设置(SET),使得源设备50减少音频数据并发送它(图23中所示的503)。在这个示例中,RTSP M3R响应消息确认源设备50具有通过另一种方法减少音频数据的功能。因此,宿设备60仅将图24中所示的位位置B1设置为1,并且可以指定在不包括任何音频数据的情况下进行发送。响应于此,源设备50在向宿设备60发送的RTSP M4R响应消息(图25所示)中发送OK(图23中所示的504)。
以这种方式,宿设备60仅将图24中所示的位位置B1设置为1。因此,二进制数的0010和十六进制数的“2(图25中的点线矩形422)”被用作RTSP参数设定值。
然后,源设备50设置用于发送RTSP M4请求的格式。在这种情况下,源设备50可以执行如上所述的包括音频格式的设置,或者执行不包括音频格式的设置。图26图示了在不包括音频格式的情况下执行设置的示例。
图26图示了RTSP M4请求和RTSP M4响应的配置示例。
在这里,假设从一开始就指定没有音频数据的发送,选择其中不包括音频基本流的方法作为音频模块减少方法,并且在不包括音频格式的任何信息的情况下发送RTSP M4请求消息。在这种情况下,当宿设备60接下来使用RTSP M110请求消息请求源设备50添加音频时,源设备50需要使用RTSP M110响应消息通知宿设备60OK,并且进一步添加用于指定音频格式的参数,并使用RTSP M4请求消息发送它。在这种情况下使用的RTSP M4请求消息的配置示例与图7中所示的示例相同,并且因此在这里省略其解释。
<3.第三实施例>
本公开的第三实施例描述了其中宿设备检测到人的移动或存在,并且基于所述检测结果请求减少音频数据的示例。
要指出的是,本公开的第三实施例中的信息处理装置的配置与图1等中所示的信息处理装置100、200的配置基本相同。因此,与本公开的第一实施例共同的元件用与本公开的第一实施例相同的标号表示,并且省略对这些元件的描述。
“主屏幕显示切换示例”
下面首先描述当在宿设备上显示源设备的屏幕时,基于用户是否正在观看屏幕来控制声音的输出的情况的示例。
图27是图示在根据本公开的第三实施例的信息处理装置100中从声音输出单元150输出的声音信息和显示在显示器140上的屏幕的转换示例的图。
图28是图示在根据本公开的第三实施例的信息处理装置100和信息处理装置200之间交换的信息的转换示例的图。图28图示了与图27对应的信息交换的示例。
图27A图示了其中从信息处理装置100输出来自信息处理装置200的影像和影像的声音的情况的示例。即,图27A图示了其中包括了音频的设置,使用Wi-Fi CERTIFIEDMiracast从信息处理装置200向信息处理装置100执行流式传输的示例(图28中所示的361、362)。在这种情况下,从声音输出单元150输出来自信息处理装置200的影像的声音351。
图27B图示了在图27A中所示的状态下,确定用户没有正在观看显示器140上显示的屏幕的情况的示例(图28中所示的363)。
例如,可以通过传感器120检测人的存在或人的移动。而且,信息处理装置100的控制器170可以基于传感器120的检测结果来确定用户是否正在观看显示器140的屏幕。然后,当确定用户没有正在观看显示器140的屏幕达特定的一段时间时,信息处理装置100的控制器170关闭从声音输出单元150输出的声音。
在这种情况下,信息处理装置100向信息处理装置200发送RTSP M110请求消息(图10中所示),并请求减少音频数据(图28中所示的364、365)。信息处理装置200在向信息处理装置100发送的RTSP M110响应消息(图10所示)中发送OK(图28中所示的366、367)。
随后,信息处理装置200将其中音频数据被减少的流发送到信息处理装置100(图28中所示的368、369)。在这种情况下,如图27B中所示,不输出来自信息处理装置200的影像的声音。
而且,在这种情况下,信息处理装置100的控制器170可以在显示器140上显示指示“在确定后没有观看者之后声音已经被删除”的通知信息,如图27B中所示。而且,信息处理装置100的控制器170例如可以通过输出警告声来引起用户的注意。当在输出这种通知或警告声之后的给定时间内,用户执行一些种类的动作(例如,挥手的动作)或者观察到来自传感器120的给定反应时,例如,信息处理装置100可以不请求音频数据的减少。
而且,当确定用户没有观看显示器140的屏幕达特定的一段时间时,信息处理装置100的控制器170可以逐渐减小从声音输出单元150输出的声音的音量设定值(音量值)。在这种情况下,信息处理装置100的控制器170可以在从声音输出单元150输出的声音的音量设定值(音量值)充分减小之后请求减少音频数据。
而且,当确定用户没有观看显示器140的屏幕达特定的一段时间时,信息处理装置100的控制器170可以向信息处理装置200发送用于降低功耗的请求。例如,信息处理装置100的控制器170可以例如向信息处理装置200发送用于降低影像的分辨率或降低刷新率的请求。
图27C图示了在图27B中所示的状态下已经检测到正在观看显示在显示器140上的屏幕的用户的情况的示例(图28中所示的370)。例如,假设已经观看图27B中所示的消息的用户返回到信息处理装置100的侧面。而且,在用户执行给定动作(例如,挥手的动作等)的条件下可以检测用户的存在。
在这种情况下,信息处理装置100向信息处理装置200发送RTSP M110请求消息(图11中所示),并请求添加音频数据(图28中所示的371、372)。信息处理装置200在向信息处理装置100发送的RTSP M110响应消息(图11所示)中发送OK(图28中所示的373、374)。
随后,信息处理装置200向信息处理装置100发送包含音频数据的流(图28中所示的375、376)。在这种情况下,如图27C中所示,从声音输出单元150输出来自信息处理装置200的影像的声音352。
以这种方式,除了用于请求减少音频数据的触发之外,本公开的第三实施例基本上与本公开的第一实施例相同。
“宿设备的操作示例”
图29和图30是示出由根据本公开的第三实施例的信息处理装置100进行的接收处理的处理过程的示例的流程图。图29和图30图示了其中源设备和宿设备二者都适应于特定功能的情况的示例。而且,图29和图30中所示的处理过程(步骤S871、S872、S874、S884至S886、S888至S890)与图14中所示的处理过程(步骤S801至S803、S805至S807、S809至S811)相对应。因此,部分地省略其描述。
而且,图29中所示的点线矩形601与图14中的用于确定音频数据是否必要的确定处理相对应(步骤S808)。而且,图30中所示的点线矩形602与图14中的用于确定音频数据是否不必要的确定处理相对应(步骤S804)。
在开始Wi-Fi CERTIFIED Miracast的会话(步骤S872)之后,控制器170复位第一定时器(步骤S873)。在这里,第一定时器是用于确定是否要输出用于用户的通知信息的定时器。接下来,控制器170例如执行接收、解码和再现包含音频数据的流的处理(步骤S874)。
随后,控制器170确定传感器120是否检测到用户的存在或移动(步骤S875)。当检测到用户的存在或移动时(步骤S875),操作返回到步骤S873。
当没有检测到用户的存在或移动时(步骤S875),控制器170增加第一定时器的值(步骤S876)。然后,控制器170确定第一定时器是否超过上限值(步骤S877)。当第一定时器未超过上限值时(步骤S877),操作返回步骤S874。
当第一定时器超过上限值时(步骤S877),控制器170复位第二定时器(步骤S878)。在这里,第二定时器是用于确定要向源设备请求减少音频数据的定时器。然后,控制器170为用户输出(例如,显示或声音输出)通知信息(步骤S879)。
随后,控制器170确定传感器120是否检测到用户的存在或移动(步骤S880)。当检测到用户的存在或移动时(步骤S880),控制器170复位第二定时器(步骤S881),并且操作返回步骤S873。
当没有检测到用户的存在或移动时(步骤S880),控制器170增加第二定时器的值(步骤S882)。然后,控制器170确定第二定时器是否超过上限值(步骤S883)。当第二定时器未超过上限值时(步骤S883),操作返回步骤S879。当第二定时器超过上限值时(步骤S883),操作前进到步骤S884。
而且,控制器170确定传感器120是否检测到用户的存在或移动(步骤S887)。当检测到用户的存在或移动时(步骤S887),操作前进到步骤S888。相反,当没有检测到用户的存在或移动时(步骤S887),操作返回到步骤S886。
以这种方式,用于请求源设备减少音频数据并发送数据的触发(第一触发),可以是由检测到用户在信息处理装置100周围的存在或用户的移动引起的触发。
要指出的是,源设备的操作示例与图15中的相同,并且因此这里省略其描述。
如上所述,在本公开的实施例中,在使用MPEG2-TS的发送方法中,在所连接的宿设备通知音频数据是不必要的事实时,源设备减少音频数据并发送数据。例如,源设备可以减少存储在PES分组的有效载荷中的音频数据,并且在不改变PID的情况下发送数据。以这种方式,源设备可以根据来自所连接的宿设备的请求适当地调整音频基本流的数据量。
因此,在本公开的实施例中,当音频是不必要的时,可以减少无线区段所需的数据量,这可以防止冲突或拥塞。而且,有可能降低源设备和宿设备这两者的功耗。
而且,当宿设备在音频主设备(master)中操作时,可以执行基于PTS的同步再现。
能够在音频再现时钟的自由运行中再现视频的宿设备,在甚至不包括PTS的情况下,可以请求源设备执行发送。以这种方式,可以通过进一步减少数据量并降低源设备和宿设备这两者的功耗来避免冲突或拥塞。
而且,可以与主屏幕和子屏幕的切换操作(例如,用户操作)、诸如添加显示屏幕之类的自动移动或用户是否正在观看屏幕相关联地添加和减少音频数据。在这种情况下,不需要执行用于添加和减少音频数据的复杂的用户操作。
要指出的是,本公开的第一和第二实施例描述了其中在宿设备上同时显示基于广播波的影像和来自源设备的影像的情况的示例。但是,当来自两个或更多个源设备的影像同时在宿设备上显示时,或者当来自一个源设备的多个影像被同时显示在宿设备上时,本公开的第一和第二实施例也可以类似地应用。而且,本公开的第三实施例描述了其中来自一个源设备的影像被显示在宿设备上的情况的示例。但是,当来自两个或更多个源设备的影像同时显示在宿设备上时,本公开的第三实施例也可以类似地应用。
<4.应用示例>
根据本公开的技术可以应用于各种产品。例如,信息处理装置100、200和210可以被实现为移动终端(诸如智能电话、平板PC(个人计算机)、笔记本电脑、便携式游戏终端或数码相机之类)、固定型终端(诸如电视接收器、打印机、数字扫描仪或网络储存装置之类)、或车载终端(诸如汽车导航设备之类)。此外,信息处理装置100、200和210可以被实现为执行M2M(机器对机器)通信的终端(还被称为MTC(机器型通信)终端),诸如智能仪表、自动售货机、远程控制监控设备或POS(销售点)终端之类。此外,信息处理装置100、200和210可以是安装在这种终端中的无线通信模块(例如,由一个管芯配置的集成电路模块)。
另一方面,例如,信息处理装置100、200和210可以被实现为具有路由器功能或不具有路由器功能的无线LAN接入点(也称为无线基站)。信息处理装置100、200和210可以被实现为移动无线LAN路由器。信息处理装置100、200和210还可以是安装在设备上的无线通信模块(例如,用一个管芯配置的集成电路模块)。
“4-1.第一应用示例”
图31是示出可以应用本公开的技术的智能手机900的示意性配置的示例的框图。智能手机900包括处理器901、存储器902、存储装置903、外部连接接口904、相机906、传感器907、麦克风908、输入设备909、显示设备910、扬声器911、无线通信接口913、天线开关914、天线915、总线917、电池918和辅助控制器919。
处理器901可以是例如CPU(中央处理单元)或SoC(片上系统),并且控制智能电话900的应用层和其它层的功能。存储器902包括RAM(随机存取存储器)和ROM(只读存储器),并且存储由处理器901执行的程序和数据。存储装置903可以包括诸如半导体存储器或硬盘之类的存储介质。外部连接接口904是用于将诸如存储卡或USB(通用串行总线)设备之类的外部附接设备连接到智能电话900的接口。
相机906具有图像传感器,例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体),以生成捕获的影像。传感器907可以包括传感器组,包括例如定位传感器、陀螺仪传感器、地磁传感器、加速度传感器等。麦克风908将输入到智能手机900的声音转换成音频信号。输入设备909包括例如检测显示设备910的屏幕、小键盘、键盘、按钮、开关等上的触摸的触摸传感器,以接收来自用户的操作或信息输入。显示设备910具有屏幕(诸如液晶显示器(LCD)或有机发光二极管(OLED)显示器之类),以显示智能电话900的输出影像。扬声器911将从智能电话900输出的音频信号转换为声音。
无线通信接口913支持IEEE 802.11a、11b、11g、11n、11ac和11ad的一个或多个无线LAN标准,以执行无线LAN通信。无线通信接口913可以按基础设施模式经由无线LAN接入点与另一个设备进行通信。此外,无线通信接口913可以按直接通信模式(诸如自组织(adhoc)模式或Wi-Fi Direct(注册商标)之类)与另一个设备直接通信。Wi-Fi Direct与自组织模式不同,并且因此两个终端之一作为接入点操作。但是,通信直接在终端之间进行。无线通信接口913通常可以包括基带处理器、RF(射频)电路、功率放大器等。无线通信接口913可以是其上集成了存储有通信控制程序的存储器、执行所述程序的处理器和相关电路的单芯片模块。除了无线LAN方案之外,无线通信接口913还可以支持另外种类的无线通信方案(诸如蜂窝通信方案、短距离无线通信方案或接近无线通信方案之类)。天线开关914针对包括在无线通信接口913中的多个电路(例如,用于不同无线通信方案的电路)切换天线915的连接目的地。天线915具有单个或多个天线元件(例如,构成MIMO天线的多个天线元件),并且被用于从无线通信接口913发送和接收无线信号。
要指出的是,智能手机900可以包括多个天线(例如,用于无线LAN的天线或用于接近无线通信方案的天线等),而不限于图31的示例。在这种情况下,可以从智能手机900的配置中省略天线开关914。
总线917将处理器901、存储器902、存储装置903、外部连接接口904、相机906、传感器907、麦克风908、输入设备909、显示设备910、扬声器911、无线通信接口913和辅助控制器919彼此连接。通过部分地由图中虚线指示的电源线,电池918向图31中所示的智能电话900的每个块供给电力。辅助控制器919使得例如智能手机900的所需最小功能在睡眠模式下操作。
在图31中所示的智能电话900中,参考图2描述的控制单元170可以安装在无线通信接口913中。至少一些功能可以安装在处理器901或辅助控制器919上。
要指出的是,当处理器901执行在应用级别处的接入点的功能时,智能电话900可以充当无线接入点(软件AP)。此外,无线通信接口913可以具有无线接入点的功能。
“4-2.第二应用示例”
图32是示出能够应用本公开的技术的汽车导航设备920的示意性配置的示例的框图。汽车导航设备920包括处理器921、存储器922、GPS(全球定位系统)模块924、传感器925、数据接口926、内容播放器927、存储介质接口928、输入设备929、显示设备930、扬声器931、无线通信接口933、天线开关934、天线935和电池938。
处理器921可以是例如控制导航功能以及汽车导航设备920的其它功能的CPU或SoC。存储器922包括存储由处理器921执行的程序和数据的RAM和ROM。
GPS模块924使用从GPS卫星接收的GPS信号来测量汽车导航设备920的位置(例如,纬度、经度和高度)。传感器925可以包括传感器组,包括例如陀螺仪传感器、地磁传感器、气动传感器等。数据接口926经由例如未示出的终端连接到车载网络941,以获取在车辆侧生成的数据(诸如汽车速度数据之类)。
内容播放器927再现插入到存储介质接口928中的存储介质(例如,CD或DVD)中所存储的内容。输入设备929包括例如检测显示器设备930的屏幕、按钮、开关等上的触摸的触摸传感器,以接收来自用户的操纵或信息输入。显示设备930具有诸如LCD或OLED显示器之类的屏幕,以显示导航功能的图像或再现的内容。扬声器931输出导航功能或再现内容的声音。
无线通信接口933支持IEEE 802.11a、11b、11g、11n、11ac和11ad的一个或多个无线LAN标准,以执行无线LAN通信。无线通信接口933可以按基础设施模式经由无线LAN接入点与另一个设备通信。此外,无线通信接口933可以按直接通信模式(诸如自组织模式或Wi-Fi Direct之类)与另一个设备通信。无线通信接口933通常可以具有基带处理器、RF电路、功率放大器等。无线通信接口933可以是其上集成了存储有通信控制程序的存储器、执行所述程序的处理器和相关电路的单芯片模块。除了无线LAN方案之外,无线通信接口933可以支持另外类型的无线通信方案(诸如短距离无线通信方案、接近无线通信方案或蜂窝通信方案之类)。天线开关934针对包括在无线通信接口933中的多个电路切换天线935的连接目的地。天线935具有单个或多个天线元件,并且被用于从无线通信接口933发送和接收无线信号。
要指出的是,汽车导航设备920可以包括多个天线,而不限于图32的示例。在这种情况下,可以从汽车导航设备920的配置中省略天线开关934。
通过部分地由图中虚线指示的电源线,电池938向图32中所示的汽车导航设备920的各个块供给电力。此外,电池938蓄积从车辆供给的电力。
在图32中所示的汽车导航设备920中,参考图2描述的控制单元170可以安装在无线通信接口933中。至少一些功能可以安装在处理器921上。
无线通信接口933可以充当上述信息处理装置100、200和210,以向登上车辆的用户所具有的终端提供无线连接。
本公开的技术可以被实现为包括上述汽车导航设备920、车载网络941和车辆侧模块942中的一个或多个块的车载系统(或车辆)940。车辆侧模块942生成车辆侧数据(诸如车辆速度、引擎转速或故障信息之类),并将生成的数据输出到车载网络941。
“4.3.第三应用示例”
图33是示出与可以对其应用本公开的技术的信息处理装置通信的无线接入点950的示意性配置的示例的框图。无线接入点950包括控制器951、存储器952、输入设备954、显示设备955、网络接口957、无线通信接口963、天线开关964和天线965。
控制器951可以是例如CPU或数字信号处理器(DSP),并且操作无线接入点950的因特网协议(IP)层和更高层的各种功能(例如,访问限制、路由、加密、防火墙和日志管理)。存储器952包括RAM和ROM,并且存储由控制器951执行的程序和各种种类的控制数据(例如,终端列表、路由表、加密密钥、安全设置和日志)。
输入设备954例如包括按钮或开关,并且从用户接收操纵。显示设备955包括LED灯并且显示无线接入点950的操作状态。
网络接口957是将无线接入点950连接到有线通信网络958的有线通信接口。网络接口957可以包括多个连接终端。有线通信网络958可以是LAN(诸如以太网(注册商标)之类),或者可以是广域网(WAN)。
无线通信接口963支持IEEE 802.11a、11b、11g、11n、11ac和11ad中的一个或多个无线LAN标准,以提供到作为接入点的附近终端的无线连接。无线通信接口963通常可以包括基带处理器、RF电路和功率放大器。无线通信接口963可以是其中集成了存储通信控制程序的存储器、执行所述程序的处理器和相关电路的单芯片模块。天线开关964在包括在无线通信接口963中的多个电路之间切换天线965的连接目的地。天线965包括一个天线元件或多个天线元件,并且被用来通过无线通信接口963发送和接收无线信号。
在图33中所示的无线接入点950中,参考图2描述的控制单元170可以安装在无线通信接口963中。至少一些功能可以安装在控制器951上。
而且,上述实施例示出了用于实现本技术的一个示例,并且在权利要求的范围中的实施例中的内容(matter)和指定这些内容的技术分别具有对应关系。类似地,指定在权利要求的范围中的内容的技术和在本技术的实施例中的内容(对其附加了相同的名称)分别具有对应关系。但是,本技术不限于该实施例,并且在不背离本技术的精神的情况下可以通过以各种方式修改实施例来实现。
而且,上面的实施例中所描述的处理过程可以被识别为具有一系列过程的方法,或者可以被识别为用于使计算机执行一系列过程的程序或者其上记录有所述程序的非暂态计算机可读记录介质。作为记录介质,例如,可以使用计算机盘(CD)、小型盘(MD)、数字多用途盘(DVD)、存储卡和蓝光(R)盘等。
在本说明书中描述的效果仅仅是示例,其效果不受限制,并且可以存在其它效果。
此外,本技术也可以如下配置。
(1)一种信息处理装置,包括:
电路系统,被配置为
使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号;以及
执行控制,以引起在分组化基本流(PES)分组中的PES有效载荷中包含的数据的减少,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES分组的PES报头部分中包含的呈现时间戳(PTS),所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的传输(TS)分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述。
(2)根据(1)所述的信息处理装置,其中所述电路系统基于第一触发向所述另一个信息处理装置作出请求。
(3)根据(1)所述的信息处理装置,其中所述电路系统在向所述另一个信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
(4)根据(1)所述的信息处理装置,其中所述电路系统基于第一触发向所述另一个信息处理装置作出减少声音数据量的请求,并且其中所述电路系统执行控制,以在接收声音数据量被减少的MPEG2-TS复用信号的同时基于第二触发请求所述另一个信息处理装置恢复原始声音数据量之后,提取包含在PES有效载荷中的声音数据,以解复用从所述另一个信息处理装置接收的MPEG2-TS复用信号。
(5)根据(4)所述的信息处理装置,其中第一触发和第二触发是由用户操作引起的。
(6)根据(2)所述的信息处理装置,其中第一触发是通过检测到用户离开所述信息处理装置周围的区域或用户的移动而引起的。
(7)根据(1)所述的信息处理装置,其中所述电路系统保留在作出所述请求之前输出的声音的音量设定值,请求所述另一个信息处理装置恢复原始声音数据量,并且在恢复原始声音数据量的请求之后在提取包含在PES有效载荷中的声音数据的定时,设置所保留的音量设定值。
(8)根据(1)所述的信息处理装置,其中所述电路系统请求所述另一个信息处理装置恢复原始声音数据量,并且在恢复原始声音数据量的请求之后在从所述另一个信息处理装置提取包含在PES有效载荷中的声音数据时调整音量。
(9)一种信息处理装置,包括:
电路系统,被配置为
使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号;以及
执行控制,以基于来自所述另一个信息处理装置的请求,在不改变分组标识符(PID)的情况下减少在分组化基本流(PES)分组中的PES有效载荷数据量,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组存储在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述。
(10)根据(9)所述的信息处理装置,其中所述电路系统执行控制,以在被所述另一个信息处理装置请求减少声音数据量时,通过使PES有效载荷数据量基本为零或完全为零来减少数据量。
(11)根据(9)所述的信息处理装置,其中所述电路系统执行控制,以在复用之后在发送用于影像信号发送的PES分组和数据量被减少的用于声音信号发送的PES分组的同时被所述另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
(12)根据(9)所述的信息处理装置,其中所述电路系统执行控制,以在被所述另一个信息处理装置请求使用除第一声音数据减少之外的声音数据减少来减少声音数据量时,执行第二声音数据减少,并且在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组,在第一声音数据减少中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少中不包括在PMT中的指定声音数据的PID的信息,不生成携带声音数据的PES分组。
(13)根据(12)所述的信息处理装置,其中所述电路系统执行控制,以在执行第二声音数据减少之后在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组的同时,被所述另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据且指定声音数据发送的PID包括在PMT中,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
(14)一种通信系统,包括:
第一信息处理装置,具有电路系统,所述电路系统被配置为使用运动图像专家组(MPEG)2-传输流(TS)向第二信息处理装置发送复用的影像信号和声音信号,基于来自所述第二信息处理装置的请求,在不改变分组标识符(PID)的情况下减少在分组化基本流(PES)分组中的PES有效载荷数据量,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组存储在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述;以及
第二信息处理装置,具有电路系统,所述电路系统被配置为引起在PES分组中的PES有效载荷中包含的数据的减少,并且在向另一个信息处理装置发送减少声音数据量的请求之后,提取在PES报头部分中包含的PTS,所述PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在PMT中被描述。
(15)一种由信息处理装置实现的信息处理方法,包括:
由所述信息处理装置的电路系统执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号;以及
由所述信息处理装置的电路系统执行控制,以引起在分组化基本流(PES)分组中的PES有效载荷中包含的数据的减少,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES报头部分中包含的PTS,所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的TS分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述。
(16)一种信息处理方法,包括:
由所述信息处理装置的电路系统执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号;以及
由所述信息处理装置的电路系统执行控制,以基于来自所述另一个信息处理装置的请求,在不改变分组标识符(PID)的情况下减少在分组化基本流(PES)分组中的PES有效载荷数据量,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组存储在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述。
(17)一种存储程序的非暂态计算机可读介质,所述程序当由信息处理装置执行时,使所述信息处理装置执行方法,包括:
执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号;以及
执行控制,以引起在分组化基本流(PES)分组中的PES有效载荷中包含的数据的减少,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES报头部分中包含的PTS,所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的TS分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述。
(18)一种存储程序的非暂态计算机可读介质,所述程序当由信息处理装置执行时,使所述信息处理装置执行方法,包括:
执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号;以及
执行控制,以基于来自所述另一个信息处理装置的请求,在不改变分组标识符(PID)的情况下减少在分组化基本流(PES)分组中的PES有效载荷数据量,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述。
本领域技术人员应当理解的是,取决于设计要求和其它因素,可以发生各种修改、组合、子组合和替代,只要它们在所附权利要求或其等同物的范围内即可。
[标号列表]
10 通信系统
11 广播站
50 源设备
60 宿设备
100、200、210 信息处理装置
110 通信单元
111 数据处理单元
112 发送处理单元
113 无线接口单元
114 天线
120 传感器
130 操作接收单元
140 显示器
150 声音输出单元
160 存储器
170 控制器
900 智能手机
901 处理器
902 存储器
903 存储装置
904 外部连接接口
906 相机
907 传感器
908 麦克风
909 输入设备
910 显示设备
911 扬声器
913 无线通信接口
914 天线开关
915 天线
917 总线
918 电池
919 辅助控制器
920 汽车导航设备
921 处理器
922 存储器
924 GPS模块
925 传感器
926 数据接口
927 内容播放器
928 存储介质接口
929 输入设备
930 显示设备
931 扬声器
933 无线通信接口
934 天线开关
935 天线
938 电池
941 车载网络
942 车辆侧模块
950 无线接入点
951 控制器
952 存储器
954 输入设备
955 显示设备
957 网络接口
958 有线通信网络
963 无线通信接口
964 天线开关
965 天线

Claims (16)

1.一种信息处理装置,包括:
电路系统,被配置为
使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号;
向所述另一个信息处理装置发送消息以请求所述另一个信息处理装置减少声音数据量;以及
执行控制,以基于所述消息控制所述另一个信息处理装置停止输出在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷中包含的数据,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES分组的PES报头部分中包含的呈现时间戳(PTS),所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的传输(TS)分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述,
其中所述电路系统在向所述另一个信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
2.如权利要求1所述的信息处理装置,其中所述电路系统基于第一触发向所述另一个信息处理装置作出请求。
3.如权利要求1所述的信息处理装置,其中所述电路系统基于第一触发向所述另一个信息处理装置作出减少声音数据量的请求,并且其中所述电路系统执行控制,以在接收声音数据量被减少的MPEG2-TS复用信号的同时基于第二触发请求所述另一个信息处理装置恢复原始声音数据量之后,提取包含在PES有效载荷中的声音数据,以解复用从所述另一个信息处理装置接收的MPEG2-TS复用信号。
4.如权利要求3所述的信息处理装置,其中第一触发和第二触发是由用户操作引起的。
5.如权利要求2所述的信息处理装置,其中第一触发是通过检测到用户离开所述信息处理装置周围的区域或用户的移动而引起的。
6.如权利要求1所述的信息处理装置,其中所述电路系统保留在作出所述请求之前输出的声音的音量设定值,请求所述另一个信息处理装置恢复原始声音数据量,并且在恢复原始声音数据量的请求之后在提取包含在PES有效载荷中的声音数据的定时,设置所保留的音量设定值。
7.如权利要求1所述的信息处理装置,其中所述电路系统请求所述另一个信息处理装置恢复原始声音数据量,并且在恢复原始声音数据量的请求之后在从所述另一个信息处理装置提取包含在PES有效载荷中的声音数据时调整音量。
8.一种信息处理装置,包括:
电路系统,被配置为
使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号;
接收来自所述另一个信息处理装置的消息,所述消息请求所述信息处理装置减少声音数据量;以及
执行控制,以基于所述消息,在不改变分组标识符(PID)的情况下停止向在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷输出数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述用于声音信号发送的PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述,
其中所述电路系统执行控制,以在被所述另一个信息处理装置请求使用除第一声音数据减少之外的声音数据减少来减少声音数据量时,执行第二声音数据减少,并且在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组,在第一声音数据减少中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少中不包括在PMT中的指定声音数据的PID的信息,不生成携带声音数据的PES分组。
9.如权利要求8所述的信息处理装置,其中所述电路系统执行控制,以在被所述另一个信息处理装置请求减少声音数据量时,通过使PES有效载荷数据量基本为零或完全为零来减少数据量。
10.如权利要求8所述的信息处理装置,其中所述电路系统执行控制,以在复用之后在发送用于影像信号发送的PES分组和数据量被减少的用于声音信号发送的PES分组的同时被所述另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
11.如权利要求8所述的信息处理装置,其中所述电路系统执行控制,以在执行第二声音数据减少之后在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组的同时,被所述另一个信息处理装置请求恢复原始声音数据量时,在PES有效载荷中存储正常声音数据且指定声音数据发送的PID包括在PMT中,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组。
12.一种通信系统,包括:
第一信息处理装置,具有电路系统,所述电路系统被配置为使用运动图像专家组(MPEG)2-传输流(TS)向第二信息处理装置发送复用的影像信号和声音信号,接收来自第二信息处理装置的消息,所述消息请求第一信息处理装置减少声音数据量,以及基于所述消息,在不改变分组标识符(PID)的情况下停止向在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷输出数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述用于声音信号发送的PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述;以及
第二信息处理装置,具有电路系统,所述电路系统被配置为向第一信息处理装置发送消息以请求第一信息处理装置减少声音数据量,基于所述消息控制第一信息处理装置停止输出在用于声音信号发送的PES分组中的PES有效载荷中包含的数据,并且在发送请求第一信息处理装置减少声音数据量的所述消息之后,提取在PES报头部分中包含的PTS,所述用于声音信号发送的PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在PMT中被描述,
其中,第一信息处理装置在向第二信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
13.一种由信息处理装置实现的信息处理方法,包括:
由所述信息处理装置的电路系统执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号,并向所述另一个信息处理装置发送消息以请求所述另一个信息处理装置减少声音数据量;以及
由所述信息处理装置的电路系统执行控制,以基于所述消息控制所述另一个信息处理装置停止输出在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷中包含的数据,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES报头部分中包含的PTS,所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的TS分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述,
其中所述信息处理装置的电路系统在向所述另一个信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
14.一种信息处理方法,包括:
由信息处理装置的电路系统执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号,并接收来自所述另一个信息处理装置的消息,所述消息请求所述信息处理装置减少声音数据量;以及
由所述信息处理装置的电路系统执行控制,以基于所述消息,在不改变分组标识符(PID)的情况下停止向在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷输出数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述用于声音信号发送的PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述,
其中所述信息处理装置的所述电路系统执行控制,以在被所述另一个信息处理装置请求使用除第一声音数据减少之外的声音数据减少来减少声音数据量时,执行第二声音数据减少,并且在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组,在第一声音数据减少中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少中不包括在PMT中的指定声音数据的PID的信息,不生成携带声音数据的PES分组。
15.一种存储程序的非暂态计算机可读介质,所述程序当由信息处理装置执行时,使所述信息处理装置执行方法,所述方法包括:
执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)从另一个信息处理装置接收复用的影像信号和声音信号,并向所述另一个信息处理装置发送消息以请求所述另一个信息处理装置减少声音数据量;以及
执行控制,以基于所述消息控制所述另一个信息处理装置停止输出在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷中包含的数据,并且在请求所述另一个信息处理装置减少声音数据量之后提取在PES报头部分中包含的PTS,所述PES分组被打包在由指定声音数据发送的分组标识符(PID)指定的TS分组中,所述分组标识符(PID)在节目映射表(PMT)中被描述,
其中在向所述另一个信息处理装置作出请求时,指定第一声音数据减少方法和第二声音数据减少方法之一,在第一声音数据减少方法中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少方法中生成并发送不包含携带声音数据的PES分组的MPEG2-TS复用信号。
16.一种存储程序的非暂态计算机可读介质,所述程序当由信息处理装置执行时,使所述信息处理装置执行方法,所述方法包括:
执行通信,以使用运动图像专家组(MPEG)2-传输流(TS)向另一个信息处理装置发送复用的影像信号和声音信号,并接收来自所述另一个信息处理装置的消息,所述消息请求所述信息处理装置减少声音数据量;以及
执行控制,以基于所述消息,在不改变分组标识符(PID)的情况下停止向在用于声音信号发送的分组化基本流(PES)分组中的PES有效载荷输出数据,并且复用并发送用于声音信号发送的PES分组和用于影像信号发送的PES分组,在所述用于声音信号发送的PES分组中数据量被减少,所述用于声音信号发送的PES分组被打包在由指定声音数据发送的PID指定的TS分组中,所述PID在节目映射表(PMT)中被描述,
其中所述方法进一步执行控制,以在被所述另一个信息处理装置请求使用除第一声音数据减少之外的声音数据减少来减少声音数据量时,执行第二声音数据减少,并且在不复用用于声音信号发送的PES分组的情况下发送用于影像信号发送的PES分组,在第一声音数据减少中生成并发送包含携带声音数据的PES分组的MPEG2-TS复用信号,在第二声音数据减少中不包括在PMT中的指定声音数据的PID的信息,不生成携带声音数据的PES分组。
CN201680013780.0A 2015-03-12 2016-03-02 信息处理装置,通信系统,信息处理方法以及非暂态计算机可读介质 Expired - Fee Related CN107431829B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-049332 2015-03-12
JP2015049332A JP6520242B2 (ja) 2015-03-12 2015-03-12 情報処理装置、通信システム、情報処理方法およびプログラム
PCT/JP2016/001133 WO2016143304A1 (en) 2015-03-12 2016-03-02 Information processing apparatus, communication system, information processing method and non-transitory computer readable medium

Publications (2)

Publication Number Publication Date
CN107431829A CN107431829A (zh) 2017-12-01
CN107431829B true CN107431829B (zh) 2021-05-07

Family

ID=55697405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013780.0A Expired - Fee Related CN107431829B (zh) 2015-03-12 2016-03-02 信息处理装置,通信系统,信息处理方法以及非暂态计算机可读介质

Country Status (10)

Country Link
US (1) US10477268B2 (zh)
EP (1) EP3269145B1 (zh)
JP (1) JP6520242B2 (zh)
CN (1) CN107431829B (zh)
ES (1) ES2807827T3 (zh)
MX (1) MX371488B (zh)
RU (1) RU2718117C2 (zh)
SG (1) SG11201707143XA (zh)
TW (1) TWI686067B (zh)
WO (1) WO2016143304A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020016810A (ja) * 2018-07-27 2020-01-30 セイコーエプソン株式会社 表示システムの制御方法、表示システムおよび表示装置
CN110798731A (zh) * 2019-11-15 2020-02-14 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质
EP3823292B1 (en) * 2019-11-15 2024-01-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288115A (zh) * 2005-10-13 2008-10-15 Lg电子株式会社 用于处理信号的方法和装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177515A (ja) * 1997-12-10 1999-07-02 Sony Corp データ符号化装置、データ多重化装置及びデータ符号化多重化装置
US6968567B1 (en) * 1999-04-15 2005-11-22 Sedna Patent Services, Llc Latency reduction in providing interactive program guide
JP4200630B2 (ja) * 2000-03-17 2008-12-24 ソニー株式会社 映像記録再生装置及び映像記録再生方法
CA2419609C (en) * 2000-09-01 2011-11-29 Ncube Corporation Dynamic quality adjustment based on changing streaming constraints
JP2002176434A (ja) * 2000-12-06 2002-06-21 Hitachi Kokusai Electric Inc 映像・音声データ伝送方式
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Av同期システム
JP2007028212A (ja) * 2005-07-15 2007-02-01 Canon Inc 再生装置及び再生方法
US20090300231A1 (en) * 2005-12-20 2009-12-03 Matsushita Electric Industrial Co., Ltd. Data output device, equipment control device, and multimedia delivery system
JP2007259037A (ja) * 2006-03-23 2007-10-04 Seiko Epson Corp テレビ
WO2008047054A2 (fr) * 2006-10-18 2008-04-24 France Telecom Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias
US20100061466A1 (en) 2007-03-26 2010-03-11 Shinya Gozen Digital broadcast transmitting apparatus, digital broadcast receiving apparatus, and digital broadcast transmitting/receiving system
JP2009111955A (ja) * 2007-11-01 2009-05-21 Panasonic Corp ストリーム再生装置
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
JP5874197B2 (ja) * 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
US9743119B2 (en) * 2012-04-24 2017-08-22 Skreens Entertainment Technologies, Inc. Video display system
WO2015031802A1 (en) * 2013-08-30 2015-03-05 Skreens Entertainment Technologies, Inc. Video display system
RU2015111194A (ru) * 2012-08-28 2016-10-20 Конинклейке Филипс Н.В. Устройство пересылки звука и соответствующий способ
JP5929719B2 (ja) 2012-11-12 2016-06-08 ソニー株式会社 情報処理装置、通信システムおよび情報処理方法
KR20160026866A (ko) 2013-06-28 2016-03-09 엘지전자 주식회사 직접 통신 시스템에서 디바이스 탐색 방법 및 이를 위한 장치
US9819604B2 (en) * 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
JP6400280B2 (ja) * 2013-08-12 2018-10-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システムおよび情報処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101288115A (zh) * 2005-10-13 2008-10-15 Lg电子株式会社 用于处理信号的方法和装置

Also Published As

Publication number Publication date
EP3269145B1 (en) 2020-06-24
JP2016171428A (ja) 2016-09-23
RU2017131104A3 (zh) 2019-06-04
TWI686067B (zh) 2020-02-21
RU2017131104A (ru) 2019-03-05
MX371488B (es) 2020-01-31
EP3269145A1 (en) 2018-01-17
US20180048933A1 (en) 2018-02-15
ES2807827T3 (es) 2021-02-24
US10477268B2 (en) 2019-11-12
SG11201707143XA (en) 2017-09-28
JP6520242B2 (ja) 2019-05-29
CN107431829A (zh) 2017-12-01
TW201703482A (zh) 2017-01-16
RU2718117C2 (ru) 2020-03-30
WO2016143304A1 (en) 2016-09-15
MX2017011378A (es) 2018-01-25

Similar Documents

Publication Publication Date Title
JP6897566B2 (ja) 装置及び方法
JP6729372B2 (ja) 情報処理装置および情報処理方法
US9948993B2 (en) Information processing apparatus and information processing method
US10575047B2 (en) Decoding apparatus, decoding method, encoding apparatus, and encoding method
JP6750608B2 (ja) 情報処理装置、情報処理方法およびプログラム
US10841165B2 (en) Information processing apparatus, and information processing method that change data transmission roles of different devices
WO2015045525A1 (ja) 情報処理装置、通信方法およびプログラム
US10034047B2 (en) Method and apparatus for outputting supplementary content from WFD
EP3226590B1 (en) Information processing device, information processing method, and program
CN107431829B (zh) 信息处理装置,通信系统,信息处理方法以及非暂态计算机可读介质
TW201742388A (zh) 資訊處理裝置、通訊系統、資訊處理方法及程式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210507

CF01 Termination of patent right due to non-payment of annual fee