JP2016171428A - 情報処理装置、通信システム、情報処理方法およびプログラム - Google Patents

情報処理装置、通信システム、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2016171428A
JP2016171428A JP2015049332A JP2015049332A JP2016171428A JP 2016171428 A JP2016171428 A JP 2016171428A JP 2015049332 A JP2015049332 A JP 2015049332A JP 2015049332 A JP2015049332 A JP 2015049332A JP 2016171428 A JP2016171428 A JP 2016171428A
Authority
JP
Japan
Prior art keywords
information processing
processing apparatus
audio data
pes
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015049332A
Other languages
English (en)
Other versions
JP6520242B2 (ja
JP2016171428A5 (ja
Inventor
山浦 智也
Tomoya Yamaura
智也 山浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015049332A priority Critical patent/JP6520242B2/ja
Priority to TW105106170A priority patent/TWI686067B/zh
Priority to MX2017011378A priority patent/MX371488B/es
Priority to ES16715115T priority patent/ES2807827T3/es
Priority to RU2017131104A priority patent/RU2718117C2/ru
Priority to US15/554,485 priority patent/US10477268B2/en
Priority to SG11201707143XA priority patent/SG11201707143XA/en
Priority to CN201680013780.0A priority patent/CN107431829B/zh
Priority to PCT/JP2016/001133 priority patent/WO2016143304A1/en
Priority to EP16715115.8A priority patent/EP3269145B1/en
Publication of JP2016171428A publication Critical patent/JP2016171428A/ja
Publication of JP2016171428A5 publication Critical patent/JP2016171428A5/ja
Application granted granted Critical
Publication of JP6520242B2 publication Critical patent/JP6520242B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • H04N21/2335Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

【課題】音声データを適切に扱う情報処理装置、通信システム、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置100は、通信部及び制御部を具備する。通信部110は、MPEG2−TSを用いて多重化された画像信号及び音声信号を他の情報処理装置から受信する。制御部170は、音声データ量を削減するように他の情報処理装置に依頼を行う。また、制御部は、その依頼後に他の情報処理装置から受信するMPEG2−TS多重信号について第1の音声データ削減方法が適用された音声データの多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出すように制御する。【選択図】図2

Description

本技術は、情報処理装置に関する。詳しくは、無線通信を利用して情報のやりとりを行う情報処理装置、通信システムおよび情報処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
近年、無線LAN(Local Area Network)を利用して無線通信を行う情報処理装置が広く普及している。この無線LANとして、例えば、IEEE(Institute of Electrical and Electronics Engineers)802.11に代表される無線LANが広く普及している。
また、例えば、無線AV(Audio Visual)伝送通信として、Wi−Fi(Wireless Fidelity) CERTIFIED Miracastが提案されている(例えば、特許文献1参照。)。
特開2014−96074号公報
上述の従来技術によれば、Wi−Fi CERTIFIED Miracast仕様に従って、2つの情報処理装置間においてリアルタイム画像伝送を行うことができる。例えば、送信側の情報処理装置から送信された画像データに基づく画像を、受信側の情報処理装置の表示部に表示させることができる。
ここで、受信側の情報処理装置の表示部に、音声が付随する複数の画像を表示する場合を想定する。また、少なくとも1つの画像をメイン画像とし、他をサブ画像として、メイン画像に付随する音声のみを出力する場合を想定する。この場合には、画像の表示態様に応じて、画像に付随する音声の扱いが異なるため、装置間でやりとりされる音声データを適切に扱うことが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、音声データを適切に扱うことを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、MPEG(Moving Picture Experts Group)2−TS(Transport Stream)を用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信部と、音声データ量を削減するように上記他の情報処理装置に依頼を行い、当該依頼後に上記他の情報処理装置から受信するMPEG2−TS多重信号について第1の音声データ削減方法が適用された音声データの多重分離を行う場合に、PMT(program map table)に記載される音声データ伝送を指定するPID(packet identifier)で指定されるTS(Transport) packetに格納されるPES(packetized elementary stream) packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTS(presentation time stamp)を取り出すように制御する制御部とを具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、音声データ量を削減するように他の情報処理装置に依頼を行い、その依頼後に他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出すという作用をもたらす。
また、この第1の側面において、上記制御部は、第1のトリガに基づいて上記他の情報処理装置に上記依頼を行うようにしてもよい。これにより、第1のトリガに基づいて他の情報処理装置に依頼を行うという作用をもたらす。
また、この第1の側面において、上記制御部は、上記他の情報処理装置に上記依頼を行う場合に、上記音声データを運ぶPES packetを含むMPEG2−TS多重信号を生成して送信する上記第1の音声データ削減方法と、上記音声データを運ぶPES packetを含まないMPEG2−TS多重信号を生成して送信する第2の音声データ削減方法との何れかを指定するようにしてもよい。これにより、他の情報処理装置に依頼を行う場合に、音声データを運ぶPES packetを含むMPEG2−TS多重信号を生成して送信する第1の音声データ削減方法と、音声データを運ぶPES packetを含まないMPEG2−TS多重信号を生成して送信する第2の音声データ削減方法との何れかを指定するという作用をもたらす。
また、この第1の側面において、上記制御部は、上記音声データ量が削減されたMPEG2−TS多重信号を受信している際に、第2のトリガに基づいて、上記音声データ量を元に戻すように上記他の情報処理装置に依頼を行い、当該依頼後に上記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、上記PESのPayloadに含まれる音声データを取り出すように制御するようにしてもよい。これにより、音声データ量が削減されたMPEG2−TS多重信号を受信している際に、第2のトリガに基づいて、音声データ量を元に戻すように他の情報処理装置に依頼を行い、その依頼後に他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PESのPayloadに含まれる音声データを取り出すという作用をもたらす。
また、この第1の側面において、上記第1のトリガおよび上記第2のトリガは、ユーザ操作に起因するようにしてもよい。これにより、ユーザ操作に起因する第1のトリガおよび第2のトリガを用いるという作用をもたらす。
また、この第1の側面において、上記第1のトリガは、上記情報処理装置の周囲に存在するユーザまたはユーザの動きを検出したことに起因するようにしてもよい。これにより、情報処理装置の周囲に存在するユーザまたはユーザの動きを検出したことに起因する第1のトリガを用いるという作用をもたらす。
また、この第1の側面において、上記制御部は、上記依頼を行う前に出力されていた音声の音量設定値を保持しておき、上記音声データ量を元に戻すように上記他の情報処理装置に依頼を行い、当該依頼後に上記PESのPayloadに含まれる音声データを取り出すタイミングで上記保持された音量設定値を設定するようにしてもよい。これにより、依頼を行う前に出力されていた音声の音量設定値を保持しておき、音声データ量を元に戻すように他の情報処理装置に依頼を行い、その依頼後にPESのPayloadに含まれる音声データを取り出すタイミングで、その保持された音量設定値を設定するという作用をもたらす。
また、本技術の第2の側面は、MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信部と、上記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、上記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、上記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御を行う制御部とを具備する情報処理装置およびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信するという作用をもたらす。
また、この第2の側面において、上記制御部は、上記他の情報処理装置から音声データ量を削減するように依頼された際に、上記PESのPayloadのデータ量を略ゼロ、または、完全にゼロにすることにより、当該データ量を削減する制御を行うようにしてもよい。これにより、他の情報処理装置から音声データ量を削減するように依頼された際に、PESのPayloadのデータ量を略ゼロ、または、完全にゼロにすることにより、データ量を削減するという作用をもたらす。
また、この第2の側面において、上記制御部は、上記第1の音声データ削減によりデータ量が削減された音声信号伝送用のPES packetと上記画像信号伝送用のPES packetとを多重して送信している場合に、上記他の情報処理装置から音声データ量を元に戻すように依頼されたときには、上記PES Payloadに通常の音声データを格納し、上記音声信号伝送用のPES packetと上記画像信号伝送用のPES packetとを多重して送信する制御を行うようにしてもよい。これにより、第1の音声データ削減によりデータ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信している場合に、他の情報処理装置から音声データ量を元に戻すように依頼されたときには、PES Payloadに通常の音声データを格納し、音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信するという作用をもたらす。
また、この第2の側面において、上記制御部は、上記他の情報処理装置から音声データ量を削減するように依頼された際に、上記第1の音声データ削減以外の音声データ削減を用いることを依頼された場合には、上記PMTに音声データを指定する上記PIDの情報を含めず、音声データを運ぶPES packetを生成しない第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに、画像信号伝送用のPES packetを送信する制御を行うようにしてもよい。これにより、他の情報処理装置から音声データ量を削減するように依頼された際に、第1の音声データ削減以外の音声データ削減を用いることを依頼された場合には、PMTに音声データを指定するPIDの情報を含めず、音声データを運ぶPES packetを生成しない第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに、画像信号伝送用のPES packetを送信するという作用をもたらす。
また、この第2の側面において、上記第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに画像信号伝送用のPES packetを送信している場合に、上記他の情報処理装置から音声データ量を元に戻すように依頼されたときには、上記PMTに音声データ伝送を指定する上記PIDを含め、上記PES Payloadに通常の音声データを格納し、上記音声信号伝送用のPES packetと上記画像信号伝送用のPES packetとを多重して送信する制御を行うようにしてもよい。これにより、第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに画像信号伝送用のPES packetを送信している場合に、他の情報処理装置から音声データ量を元に戻すように依頼されたときには、PMTに音声データ伝送を指定するPIDを含め、PES Payloadに通常の音声データを格納し、音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信するという作用をもたらす。
また、本技術の第3の側面は、MPEG2−TSを用いて多重化された画像信号および音声信号を第2の情報処理装置に無線伝送し、上記第2の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、上記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、上記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する第1の情報処理装置と、MPEG2−TSを用いて多重化された画像信号および音声信号を上記第1の情報処理装置から受信している場合に、音声データ量を削減するように上記第1の情報処理装置に依頼を行い、当該依頼後に上記第1の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出す第2の情報処理装置とを具備する通信システムおよびその情報処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第1の情報処理装置は、第2の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信し、第2の情報処理装置は、音声データ量を削減するように第1の情報処理装置に依頼を行い、その依頼後に第1の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出すという作用をもたらす。
本技術によれば、音声データを適切に扱うことができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施の形態における通信システム10の構成例を示す図である。 本技術の実施の形態における情報処理装置100の機能構成例を示すブロック図である。 本技術の基礎となるソース機器50およびシンク機器60の通信処理例を示すシーケンスチャートである。 本技術の基礎となるソース機器50およびシンク機器60の通信処理例を示すシーケンスチャートである。 本技術の基礎となるソース機器50およびシンク機器60の通信処理例を示すシーケンスチャートである。 本技術の基礎となるソース機器50およびシンク機器60間でやりとりされるRTSP messageの例を示す図である。 本技術の基礎となるソース機器50およびシンク機器60間でやりとりされるRTSP messageの例を示す図である。 本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第1の実施の形態における情報処理装置100の表示部140に表示される画面と音声出力部150から出力される音声情報との遷移例を示す図である。 本技術の第1の実施の形態における情報処理装置100および情報処理装置200間でやりとりされる情報の遷移例を示す図である。 本技術の第1の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。 本技術の第1の実施の形態における情報処理装置200による送信処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第2の実施の形態における情報処理装置100の表示部140に表示される画面と音声出力部150から出力される音声情報との遷移例を示す図である。 本技術の第2の実施の形態における情報処理装置100および情報処理装置200間でやりとりされる情報の遷移例を示す図である。 本技術の第2の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態における情報処理装置200による送信処理の処理手順の一例を示すフローチャートである。 本技術の第2の実施の形態におけるソース機器50およびシンク機器60の通信処理例を示すシーケンスチャートである。 本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。 本技術の第3の実施の形態における情報処理装置100の表示部140に表示される画面と音声出力部150から出力される音声情報との遷移例を示す図である。 本技術の第3の実施の形態における情報処理装置100および情報処理装置200間でやりとりされる情報の遷移例を示す図である。 本技術の第3の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。 本技術の第3の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。 スマートフォンの概略的な構成の一例を示すブロック図である。 カーナビゲーション装置の概略的な構成の一例を示すブロック図である。 無線アクセスポイントの概略的な構成の一例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(ストリーム中にaudioデータの削減を依頼する例)
2.第2の実施の形態(ストリームの開始の段階でaudioデータを削減する例、第2音声データ削減方法を用いるように依頼する例)
3.第3の実施の形態(シンク機器が人の動きや存在を検出して、その検出結果に基づいてaudioデータの削減を依頼する例)
4.応用例
<1.第1の実施の形態>
[通信システムの構成例]
図1は、本技術の第1の実施の形態における通信システム10の構成例を示す図である。
通信システム10は、情報処理装置100と、情報処理装置200と、情報処理装置210とを備える。
情報処理装置100、情報処理装置200および情報処理装置210は、無線通信機能を備え、無線通信を利用して互いに接続して各種情報を送受信することが可能な情報処理装置である。また、これらの各情報処理装置は、P2P(Peer to Peer)接続を可能とするIEEE(Institute of Electrical and Electronics Engineers)802.11仕様に準拠した情報処理装置である。すなわち、これらの各情報処理装置は、通信グループを形成し、アクセスポイントを介することなく直接通信することができる。この場合に、どの情報処理装置が親機として動作し、どの情報処理装置機器が子機として動作するかについては、各情報処理装置の製造時に決定するようにしてもよく、その製造時に決定しなくてもよい。また、製造時に決定しない場合には、複数の情報処理装置間で、どの情報処理装置が親機として動作し、どの情報処理装置機器が子機として動作するかを、ネゴシエーションにより決定することができる。例えば、情報処理装置100および情報処理装置200が通信グループを形成する場合には、情報処理装置100が情報処理装置200にデータ(例えば、動画コンテンツ)を直接送信することができる。この場合には、無線通信を利用して互いに接続して、情報処理装置100に記憶されている動画コンテンツを情報処理装置200に表示させることができる。なお、情報処理装置同士が直接通信するための通信規格の一例として、Wi−Fiダイレクト(Direct)が知られている。
情報処理装置100は、例えば、動画コンテンツを記録または表示させる映像視聴装置(例えば、ハードディスク内蔵型テレビジョン)である。例えば、情報処理装置100は、放送局11からの放送波を受信して放送波に基づく画像21を表示部140に表示することができる。また、情報処理装置100は、例えば、情報処理装置200から送信された画像コンテンツに基づく画像22を表示部140に表示することができる。また、情報処理装置100は、例えば、情報処理装置210から送信された画像コンテンツに基づく画像23を表示部140に表示することができる。
また、情報処理装置200は、例えば、携帯型情報処理装置(例えば、通話機能およびデータ通信機能を備えるスマートフォン)である。また、情報処理装置210は、例えば、各種情報処理を行う情報処理装置(例えば、タブレット端末、ノート型PC(Personal Computer))である。
なお、情報処理装置100、情報処理装置200および情報処理装置210は、無線通信を利用してアクセスポイント(図示せず)に接続して各種情報を送受信することができる。ここで、アクセスポイントは、例えば、IEEE802.11a/b/g/n等の無線LAN方式に対応するアクセスポイントである。すなわち、ルータおよびアクセスポイント(例えば、ルータにアクセスポイントを内蔵した製品)により、IEEE802.11a/b/g/nにより規格化された無線LANが実現される。
なお、図1に示す情報処理装置は一例であり、他の情報処理装置についても適用することができる。例えば、無線通信機能を備える撮像装置(例えば、デジタルスチルカメラ、デジタルビデオカメラ(例えば、カメラ一体型レコーダ))、無線通信機能および表示部を備える音声出力装置(例えば、表示パネルを備える携帯型ミュージックプレーヤー)に適用することができる。また、例えば、無線通信機能を備える表示装置(例えば、デジタルフォトフレーム)、無線通信機能を備える電子書籍表示装置に適用することができる。また、例えば、無線通信機能を備える他の情報処理装置に適用することができる。無線通信機能を備える情報処理装置は、例えば、家庭用映像処理装置(DVDレコーダ、ビデオデッキ等)、PDA(Personal Digital Assistants)、家庭用ゲーム機器、家電機器、携帯用映像処理装置、携帯用ゲーム機器等である。また、例えば、無線通信機能を備える無線通信機器を装着することにより、無線通信を行うことが可能な情報処理装置(例えば、無線通信機能を備えていないパーソナルコンピュータ)についても適用することができる。
[情報処理装置の構成例]
図2は、本技術の実施の形態における情報処理装置100の機能構成例を示すブロック図である。なお、情報処理装置200および情報処理装置210の機能構成(無線通信に関する機能構成)については、情報処理装置100と略同様であるため、ここでの説明を省略する。
情報処理装置100は、通信部110と、アンテナ114と、センサ120と、操作受付部130と、表示部140と、音声出力部150と、メモリ160と、制御部170とを備える。また、通信部110は、データ処理部111と、伝送処理部112と、無線インターフェース部113とを備える。
データ処理部111は、制御部170の制御に基づいて、各種データを処理するものである。例えば、送信動作を行う場合には、データ処理部111は、上位レイヤからの要求に応じて各種データフレーム、データパケットを作成して伝送処理部112に供給する。また、例えば、受信動作を行う場合には、データ処理部111は、伝送処理部112から供給される各種データフレーム、データパケットを処理して解析する。
伝送処理部112は、制御部170の制御に基づいて、各種伝送処理を行うものである。例えば、送信動作を行う場合には、伝送処理部112は、データ処理部111により生成されたパケットに対して各種データヘッダやFCS(Frame Check Sequence)等の誤り検出符号の付加等の処理を行う。そして、伝送処理部112は、その処理後のデータを無線インターフェース部113に供給する。また、例えば、受信動作を行う場合には、伝送処理部112は、無線インターフェース部113から供給される各種データフレームに付加されているヘッダを解析する。そして、伝送処理部112は、誤り検出符号に基づいてデータフレームに誤りがないことを確認すると、各種データフレームをデータ処理部111に供給する。
無線インターフェース部113は、他の情報処理装置と接続して各種情報を送受信するためのインターフェースである。例えば、送信動作を行う場合には、無線インターフェース部113は、伝送処理部112から受け取ったデータから搬送波の周波数帯の変調信号を生成し、この生成された変調信号をアンテナ114から無線信号として送信させる。また、例えば、受信動作を行う場合には、無線インターフェース部113は、アンテナ114により受信された無線信号をダウンコンバージョンし、ビット列に変換することにより各種データフレームを復号する。
また、例えば、通信部110は、MPEG(Moving Picture Experts Group)2−TS(Transport Stream)を用いて多重化された画像信号および音声信号を他の情報処理装置から受信する。また、例えば、通信部110は、MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する。
センサ120は、人の存在、人の動き、ジェスチャー(例えば、手を振る人の動作、何らかの操作を行う人の動作)等を検出するセンサであり、検出された各情報を制御部170に供給する。ここで、センサ120として、例えば、被写体を撮像して画像データを生成し、その画像データについて各種画像認識を行うイメージセンサを用いることができる。また、センサ120として、例えば、赤外線を利用して各種情報を取得する赤外線センサを用いることができる。また、センサ120として、赤外線、超音波、可視光等を用いて、人間の存在(例えば、情報処理装置100に近接する人間)を検知する人感センサを用いることができる。また、これらのうちの1つをセンサ120として用いるようにしてもよく、これらのうちの複数を組み合わせてセンサ120として用いるようにしてもよい。また、他のセンサを用いるようにしてもよい。
操作受付部130は、ユーザにより操作された操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作情報を制御部170に出力する。操作受付部130として、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ、レバーを用いることができる。また、操作受付部130は、他の情報処理装置との間で各種データの送受信を行うための操作を受け付ける。
表示部140は、制御部170の制御に基づいて、各種情報(画像情報、文字情報、時刻情報等)を表示する表示部である。表示部140は、例えば、他の情報処理装置から送信された画像(例えば、図1に示す画面)を表示する。なお、表示部140として、例えば、有機EL(Electro Luminescence)パネル、LCD(Liquid Crystal Display)パネル等の表示パネルを用いることができる。なお、操作受付部130および表示部140については、使用者がその指を表示面に接触または近接することにより操作入力を行うことが可能なタッチパネルを用いて一体で構成することができる。
音声出力部150は、制御部170の制御に基づいて各種音声情報を出力する音声出力部(例えば、スピーカ)である。
メモリ160は、制御部170によるデータ処理の作業領域としての役割や、各種データを保持する記憶媒体としての機能を有する。また、メモリ160には、接続相手の情報処理装置に送信するデータに含める各種情報が記録される。メモリ160として、例えば、不揮発性メモリ、磁気ディスク、光ディスク、MO(Magneto Optical)ディスク等の記憶媒体を用いることができる。なお、不揮発性メモリとして、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable ROM)を用いることができる。また、磁気ディスクとして、例えば、ハードディスク、円盤型磁性体ディスクを用いることができる。また、光ディスクとして、例えば、CD(Compact Disc)、DVD−R(Digital Versatile Disc Recordable)、BD(Blu-Ray Disc(登録商標))を用いることができる。
制御部170は、メモリ160に記憶されている制御プログラムに基づいて、情報処理装置100の各部を制御するものである。例えば、制御部170は、データ処理部111、伝送処理部112および無線インターフェース部113の各々の受信動作および送信動作を制御する。例えば、制御部170は、利用周波数の決定、制御メッセージの作成や送信命令、制御メッセージの解釈等の動作を行う。なお、制御メッセージは、例えば、ビーコン、ビーコンの受信応答、プローブリクエスト(Probe request)、プローブレスポンス(Probe response)等の報知情報である。また、上述したように、情報処理装置100は、放送波を受信して放送波に基づく画像を表示部140に表示することができる。このため、制御部170は、放送受信部(図示せず)を経由して放送波を取得し、その放送波に基づく画像を表示部140に表示させることができる。
[Wi−Fi CERTIFIED Miracast release−1]
ここで、Wi−Fi Allianceによって策定されたWi−Fi CERTIFIED Miracast release−1について説明する。
図3乃至図5は、本技術の基礎となるソース機器50およびシンク機器60の通信処理例を示すシーケンスチャートである。
図6および図7は、本技術の基礎となるソース機器50およびシンク機器60間でやりとりされるRTSP messageの例を示す図である。図6および図7では、Message IDの欄にRTSP messageの名称を示す。また、req/res(direction)の欄に、RTSP messageがRequestなのかResponseなのかを示すとともに、ソース機器からシンク機器へのRTSP messageを(src→snk)で示し、シンク機器からソース機器へのRTSP messageを(snk→src)で示す。
図3および図4では、Wi−Fi CERTIFIED Miracastによる機器発見からAVストリーム伝送開始までの流れを示す。また、図5では、図3および図4に示す各処理のうち、RTSPによるAVフォーマットの決定からAVストリーム伝送開始までのストリーム制御の流れを示す。
ここで、Wi−Fi Directでは、複数の機器が互いの存在を検出する(Device Discovery、Service Discovery)。そして、接続機器選択を行うと、その選択された機器間において、WPS(Wi-Fi Protected Setup)で機器認証を行うことによりダイレクト接続を確立する。また、Wi−Fi Directでは、複数の機器が親機(Group Owner)または子機(Client)の何れとしての役割を担うかを決定して通信グループを形成する。
ただし、図3および図4に示す通信処理例では、一部のパケット送受信については省略して示す。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、Authentication Request/Responseのやり取り等においてもパケット交換が必要となる。しかしながら、図3および図4では、これらのパケット交換についての図示を省略し、2回目以降の接続についてのみを示す。
なお、図3および図4では、ソース機器50およびシンク機器60間における通信処理例を示すが、他の機器間における通信処理についても同様である。
最初に、ソース機器50およびシンク機器60間においてDevice Discoveryが行われる(71)。例えば、ソース機器50は、Probe request(応答要求信号)を送信し、このProbe requestに対するProbe response(応答信号)をシンク機器60から受信する。これにより、ソース機器50およびシンク機器60は、互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名、種類(TV、PC、スマートフォン等)、ソース対応機器/シンク対応機器等を取得することができる。
続いて、ソース機器50およびシンク機器60間においてService Discoveryが行われる(72)。例えば、ソース機器50は、Device Discoveryで発見したシンク機器60が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、ソース機器50は、Service Discovery Responseをシンク機器60から受信することにより、シンク機器60が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービス、相手が使用可能な詳細能力等を取得することができる。相手が実行可能なサービスは、例えば、service、protocol(DLNA(Digital Living Network Alliance) DMR(Digital Media Renderer)等)である。
続いて、ユーザにより接続相手の選択操作(接続相手選択操作)が行われる(73)。この接続相手選択操作は、ソース機器50およびシンク機器60の何れか一方のみに発生することもある。例えば、ソース機器50の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手としてシンク機器60がユーザ操作により選択される。
ユーザにより接続相手選択操作が行われると(73)、ソース機器50およびシンク機器60間においてGroup Owner Negotiationが行われる(74)。図3および図4では、Group Owner Negotiationの結果により、ソース機器50がグループオーナー(Group Owner)75になり、シンク機器60がクライアント(Client)76になる例を示す。
続いて、ソース機器50およびシンク機器60間において、各処理(77乃至81)が行われることにより、ダイレクト接続が確立される。すなわち、Association(L2(第2層) link確立)(77)、Secure link確立(78)、IP Address Assignment(79)が順次行われる。また、TCP接続確立(80)、RTSPによるストリーム制御(81)が順次行われる。
そして、ソース機器50からシンク機器60へのMPEG2−TSによるAVデータ伝送が行われる(82)。
このように、Wi−Fi CERTIFIED Miracast release−1では、リアルタイムでソース機器50からシンク機器60にAVデータをストリームすることができる。しかしながら、この規格においては、シンク機器60側からソース機器50側に対してaudioデータを送信するか否かを指定することはできない。
また、例えば、図1に示すように、比較的大型の表示部を備えるシンク機器(情報処理装置100)の場合には、その表示部に複数の画面表示が行われることがある。この場合には、複数の画面のうちの1つの画面に付随する音声を出力することが考えられる。例えば、ユーザがメイン画面として指定したコンテンツに付随する音声を出力し、メイン画面として指定されなかったコンテンツに付随する音声を出力しないようにすることができる。
このような場合でも、メイン画面として指定されなかった画像データおよびaudioデータ(サブ画面)についても、Wi−Fi CERTIFIED Miracastを用いて送信されるため、出力されないaudioデータを送信することになる。この場合には、出力されないaudioデータの送信により、無線区間の帯域を圧迫してしまうおそれがある。
また、出力されないaudioデータを送信することにより、ソース機器50の消費電力が必要以上に大きくなってしまうおそれがある。また、出力されないaudioデータを受信することにより、シンク機器60の消費電力も必要以上に大きくなってしまうおそれがある。
そこで、本技術の実施の形態では、ソース機器50およびシンク機器60間でやりとりされるaudioデータを適切に扱う例を示す。なお、本技術の実施の形態では、音声出力をする画面をメイン画面と称し、音声出力をしない画面をサブ画面と称する。また、表示サイズや表示位置を基準にメイン画面およびサブ画面を定義するようにしてもよい。
[RTSP messageの構成例]
図8は、本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。図8では、新しいparameter(WFD−audio−stream−control)をRTSPに定義する場合におけるABNF(Augmented Backus-Naur form)シンタックスによる定義の一例を示す。
図9は、本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。図9では、RTSP M3 RequestおよびRTSP M3 Responseの構成例を示す。図9において、点線の矩形401乃至404で囲む情報が、図6に示す例と異なる。
図10および図11は、本技術の第1の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。図10および図11では、新たに定義するRTSP M110 RequestおよびRTSP M110 Responseの構成例を示す。
ここで、特定機能は、本技術の各実施の形態で示す各機能を意味するものとする。例えば、本技術の第1の実施の形態では、シンク機器からの依頼に基づいて、シンク機器に送信すべきストリームにおけるaudioデータ量を削減し、そのストリームをシンク機器に送信する機能を特定機能とする例を示す。
例えば、ソース機器(情報処理装置200)が、特定機能に対応する場合には、ソース機器(情報処理装置200)は、RTSP M3 request messageにwfd_audio_stream_control(図9に示す点線の矩形402)を含めて送信する。これにより、ソース機器(情報処理装置200)は、自装置が特定機能に対応していることをシンク機器(情報処理装置100)に示すとともに、シンク機器(情報処理装置100)が特定機能に対応するか否かを問い合わせる。
ここで、特定機能に対応していないシンク機器は、RTSP M3 Response messageにおいて「none」を返信する。このため、その返信を受信した以降は、ソース機器(情報処理装置200)は、特定機能を使用しないようにする。
また、特定機能に対応するシンク機器(情報処理装置100)は、対応可能なbitを1に設定し、RTSP M3 Response messageによりソース機器(情報処理装置200)に送信する。
ここで、図9に示す点線の矩形404において、WFD_audio_stream_controlの値(c)を16進数で示す。この値は、10進法では12であり、4bitの2進数では1100である。このため、WFD_audio_stream_controlの値(c)は、図8に示すビット位置B3の(re−)include audioと、ビット位置B2のreduce audioとに対応することを示す。
また、シンク機器(情報処理装置100)において、Audioデータの削減がトリガされた場合には、例えば、シンク機器(情報処理装置100)は、その旨を示すメッセージをソース機器に送信する。例えば、図10に示すRTSP M110 Request message(点線の矩形405で囲む情報により指定)を送信する。
このように、シンク機器は、第1のトリガに基づいて、ソース機器にAudioデータの削減の依頼を行うことができる。ここで、第1のトリガは、例えば、ユーザ操作(例えば、メイン画面、サブ画面の切替操作)に起因するものとすることができる。
また、図10に示すRTSP M110 Request messageを受信したソース機器は、図10に示すRTSP M110 Response message内でOKを送信する。続いて、ソース機器は、シンク機器からの指示に従って、シンク機器に送信すべきストリームにおけるaudioデータ量を削減し、そのストリームをシンク機器に送信する。
ここで、audioデータの削減方法について説明する。
例えば、ソース機器は、PMT(program map table)に記載される音声データ伝送を指定するPIDは変えずに、PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを概ね周期的に生成するようにして第1の音声データ削減を行うことができる。そして、ソース機器は、データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する。この場合に、ソース機器は、PESのPayloadのデータ量を略ゼロ、または、完全にゼロにすることにより、データ量を削減することができる。
この場合に、PES Payloadをデータに全く含まないようにしてもよく、stuffing byteを含みつつも、実際のaudioデータを含まないようにしてもよい。
また、PES packet発生の周期としては、100msec程度に設定することが好ましい。これにより、audio clockに同期してvideoの再生を行うようなシンク機器であっても、audio clockの再生を行うことができ、clockはfreerunにならず、適切にclock同期が取れたvideo再生を行うことができる。
また、例えば、シンク機器は、MPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出すようにする。
このように、本技術の第1の実施の形態では、audioデータの削減方法として、PTSを残す第1の音声データ削減方法を用いる例を示す。
また、シンク機器(情報処理装置100)において、Audioデータを再度含めるようにトリガされた場合には、例えば、シンク機器(情報処理装置100)は、その旨を示すメッセージをソース機器に送信する。例えば、図11に示すRTSP M110 Request message(点線の矩形406で囲む情報により指定)を送信する。
また、図11に示すRTSP M110 Request messageを受信したソース機器は、図11に示すRTSP M110 Response message内でOKを送信する。続いて、ソース機器は、シンク機器からの指示に従って、シンク機器に送信すべきストリームにおけるaudioデータ量を元に戻して、そのストリームをシンク機器に送信する。
このように、シンク機器の制御部は、音声データ量が削減されたMPEG2−TS多重信号を受信している際に、第2のトリガに基づいて、音声データ量を元に戻すようにソース機器に依頼を行うことができる。ここで、第2のトリガは、例えば、ユーザ操作(例えば、メイン画面、サブ画面の切替操作)に起因するものとすることができる。
また、例えば、ソース機器の制御部は、第1の音声データ削減によりデータ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信している場合に、シンク機器から音声データ量を元に戻すように依頼されたときには、PES Payloadに通常の音声データを格納し、音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御を行う。
また、シンク機器の制御部は、その依頼後にソース機器から受信するMPEG2−TS多重信号について多重分離を行う場合に、PESのPayloadに含まれる音声データを取り出すように制御する。
[メイン画面の表示切替例]
次に、ソース機器の画面がシンク機器に表示されている場合に、シンク機器が放送波を受信して放送波に基づく画面を新たに表示する場合の例を示す。
図12は、本技術の第1の実施の形態における情報処理装置100の表示部140に表示される画面と音声出力部150から出力される音声情報との遷移例を示す図である。
図13は、本技術の第1の実施の形態における情報処理装置100および情報処理装置200間でやりとりされる情報の遷移例を示す図である。図13には、図12に対応する情報のやりとりの例を示す。
図12のaには、情報処理装置200からの画像およびこれに付随する音声が情報処理装置100から出力されている場合の例を示す。すなわち、Wi−Fi CERTIFIED Miracastを用いて、情報処理装置200から情報処理装置100に、audio有の設定によりストリームの送信が行われている場合(図13に示す311、312)の例を示す。この場合には、情報処理装置200からの画像に付随する音声301が音声出力部150から出力される。
図12のbには、図12のaに示す状態で、ユーザ操作により、放送波を受信して放送波に基づく画像を表示部140に表示させる設定がされた場合(図13に示す313)の例を示す。また、そのユーザ操作により、情報処理装置200からの画像306と、放送波に基づく画像305との2画面が同時に表示部140に表示される設定もされたものとする。また、そのユーザ操作により、放送波に基づく画像305をメイン画面とする設定がされたものとする。
この場合には、情報処理装置100は、RTSP M110 Request message(図10に示す)を情報処理装置200に送信してaudioデータの削減を依頼する(図13に示す314、315)。また、情報処理装置200は、RTSP M110 Response message内でOK(図10に示す)を情報処理装置100に送信する(図13に示す316、317)。
続いて、情報処理装置200は、audioデータが削減されたストリームを情報処理装置100に送信する(図13に示す318、319)。この場合には、図12のbに示すように、情報処理装置200からの画像306に付随する音声が出力されない。すなわち、放送波に基づく画像305をメイン画面とする設定がされた場合には、情報処理装置200からの画像306に付随する音声が出力されない。そして、放送波に基づく画像305に付随する音声302が音声出力部150から出力される。
図12のcには、図12のbに示す状態で、ユーザ操作により、放送波に基づく画像305をサブ画面とし、情報処理装置200からの画像308をメイン画面とする設定がされた場合(図13に示す320)の例を示す。
この場合には、情報処理装置100は、RTSP M110 Request message(図11に示す)を情報処理装置200に送信してaudioデータの追加を依頼する(図13に示す321、322)。また、情報処理装置200は、情報処理装置100にRTSP M110 Response message内でOK(図11に示す)を送信する(図13に示す323、324)。
続いて、情報処理装置200は、audioデータを含むストリームを情報処理装置100に送信する(図13に示す325、326)。この場合には、図12のcに示すように、放送波に基づく画像307に付随する音声が出力されない。また、情報処理装置200からの画像308に付随する音声303が音声出力部150から出力される。
ここで、図12のaに示すように、情報処理装置200からの画像がメイン画像として表示部140に表示されている場合には、その画像に付随する音声301が音声出力部150から出力される。この場合に、画像を視聴しているユーザは、音声301の音圧に応じて、音声出力部150から出力される音声301の音量設定値(volume)を調整することが想定される。そこで、情報処理装置100の制御部170は、音声出力部150から出力される音声301の音量設定値が調整された場合には、その調整後の値をメモリ160に保持させる。
また、図12のbに示すように、放送波に基づく画像305がメイン画像として表示部140に表示されている場合には、画像305に付随する音声302が音声出力部150から出力される。この場合にも、画像305を視聴しているユーザは、その放送波の受信中に、音声302の音圧に応じて、音声出力部150から出力される音声302の音量設定値(volume)を調整することが想定される。
そして、図12のcに示すように、情報処理装置200からの画像308をメイン画像とする設定がされた場合に、情報処理装置100の制御部170は、メモリ160に保持されている値に対応する音量を設定する。すなわち、情報処理装置200からの画像308をメイン画像とする設定がされた場合に、情報処理装置100の制御部170は、放送波に基づく画像305に付随する音声302の出力中に設定された音量設定値(volume)を破棄し、情報処理装置200からの画像をメイン画像とする設定がされていた際の音量を再設定する。
このように、情報処理装置100の制御部170は、ソース機器への依頼を行う前に出力されていた音声の音量設定値をメモリ160に保持しておく。そして、例えば、情報処理装置100の制御部170は、音声データ量を元に戻すようにソース機器に依頼を行い、その依頼後にPESのPayloadに含まれる音声データを取り出すタイミングで、メモリ160に保持された音量設定値を設定することができる。
これにより、例えば、メイン画面を切り替える際に、その切替時にユーザが意図しない音量が出力されることを防止することができる。
[シンク機器の動作例]
図14は、本技術の第1の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。図14では、ソース機器およびシンク機器の双方が特定機能に対応している場合の例を示す。
最初に、情報処理装置100の制御部170は、Wi−Fi CERTIFIED Miracastの開始処理を行う(ステップS801)。
続いて、制御部170は、Wi−Fi CERTIFIED Miracastのセッションを開始する(ステップS802)。この場合にやりとりされるストリームにはaudioデータが含まれる。
続いて、制御部170は、audioデータを含むストリームの受信、復号、再生等の処理を行う(ステップS803)。これにより、受信したストリームに含まれる画像データに基づく画像が表示部140に表示され、受信したストリームに含まれるaudioデータに基づく音声が音声出力部150から出力される。
続いて、制御部170は、表示部140に表示されている画像(受信したストリームに基づく画像)のうち、audioデータが不要である画像が存在するか否かを判断する(ステップS804)。例えば、図12のaおよびbに示すように、放送波を受信してメイン画面として表示するユーザ操作が行われた場合には、ソース機器からのaudioデータが不要であると判断される(ステップS804)。
audioデータが不要である画像が存在しない場合には(ステップS804)、ステップS803に戻る。audioデータが不要である画像が存在する場合には(ステップS804)、制御部170は、そのaudioデータが不要である画像に対応するストリームを送信しているソース機器に、audioデータの削減を依頼するためのメッセージを送信する(ステップS805)。例えば、図10に示すRTSP M110 Request messageを送信する。
そのメッセージを送信した後に、通信部110は、そのメッセージに対する返信をソース機器から受信する(ステップS806)。ソース機器は、例えば、図10に示すRTSP M110 Response message内でOKを送信する。
audioデータの削減を依頼するためのメッセージを受信した後に(ステップS806)、制御部170は、audioデータが削減されたストリームの受信、復号、再生等の処理を行う(ステップS807)。この場合には、受信したストリームに含まれる画像データに基づく画像が表示部140に表示されるが、受信したストリームにはaudioデータが含まれないため、音声は出力されない。
続いて、制御部170は、表示部140に表示されている画像(受信したストリームに基づく画像)のうち、audioデータが必要となる画像が存在するか否かを判断する(ステップS808)。例えば、図12のbおよびcに示すように、ソース機器からの画像をメイン画面として表示するユーザ操作が行われた場合には、ソース機器からのaudioデータが必要であると判断される(ステップS808)。
audioデータが必要となる画像(受信したストリームに基づく画像)が存在しない場合には(ステップS808)、ステップS807に戻る。audioデータが必要となる画像が存在する場合には(ステップS808)、制御部170は、そのaudioデータが必要となる画像に対応するストリームを送信しているソース機器に、audioデータの追加を依頼するためのメッセージを送信する(ステップS809)。例えば、図11に示すRTSP M110 Request messageを送信する。
そのメッセージを送信した後に、通信部110は、そのメッセージに対する返信をソース機器から受信する(ステップS810)。ソース機器は、例えば、図11に示すRTSP M110 Response message内でOKを送信する。
audioデータの追加を依頼するためのメッセージに対する返信を受信した後に(ステップS810)、制御部170は、受信処理の終了が指示されたか否かを判断する(ステップS811)。そして、受信処理の終了が指示されていない場合には(ステップS811)、ステップS803に戻り、制御部170は、audioデータを含むストリームの受信、復号、再生等の処理を行う(ステップS803)。一方、受信処理の終了が指示された場合には(ステップS811)、受信処理の動作を終了する。なお、ステップS803、S807は、特許請求の範囲に記載の通信手順の一例である。また、ステップS805乃至S807は、特許請求の範囲に記載の制御手順の一例である。
[ソース機器の動作例]
図15は、本技術の第1の実施の形態における情報処理装置200による送信処理の処理手順の一例を示すフローチャートである。図15では、ソース機器およびシンク機器の双方が特定機能に対応している場合の例を示す。
最初に、情報処理装置200の制御部(図2に示す制御部170に相当)は、Wi−Fi CERTIFIED Miracastの開始処理を行う(ステップS821)。
続いて、情報処理装置200の制御部は、Wi−Fi CERTIFIED Miracastのセッションを開始する(ステップS822)。この場合にやりとりされるストリームにはaudioデータが含まれる。
続いて、情報処理装置200の制御部は、audioデータを含むストリームを生成し、その生成されたストリームをシンク機器に送信する(ステップS823)。これにより、送信したストリームに含まれる画像データに基づく画像がシンク機器の表示部に表示され、受信したストリームに含まれるaudioデータに基づく音声がシンク機器の音声出力部から出力される。
続いて、情報処理装置200の制御部は、audioデータの削減を依頼するためのメッセージをシンク機器から受信したか否かを判断する(ステップS824)。例えば、図10に示すRTSP M110 Request messageを受信したか否かを判断する。そのメッセージをシンク機器から受信していない場合には(ステップS824)、ステップS823に戻る。
そのメッセージをシンク機器から受信した場合には(ステップS824)、情報処理装置200の制御部は、そのメッセージに対する返信をシンク機器に送信する(ステップS825)。情報処理装置200は、例えば、図10に示すRTSP M110 Response message内でOKを送信する。
続いて、情報処理装置200の制御部は、audioデータが削減されたストリームを生成し、その生成されたストリームをシンク機器に送信する(ステップS826)。この場合には、受信したストリームに含まれる画像データに基づく画像がシンク機器の表示部に表示されるが、音声は出力されない。
続いて、情報処理装置200の制御部は、audioデータの追加を依頼するためのメッセージをシンク機器から受信したか否かを判断する(ステップS827)。例えば、図11に示すRTSP M110 Request messageを受信したか否かを判断する。そのメッセージをシンク機器から受信していない場合には(ステップS827)、ステップS826に戻る。
そのメッセージをシンク機器から受信した場合には(ステップS827)、情報処理装置200の制御部は、そのメッセージに対する返信をシンク機器に送信する(ステップS828)。情報処理装置200は、例えば、図11に示すRTSP M110 Response message内でOKを送信する。
続いて、情報処理装置200の制御部は、送信処理の終了が指示されたか否かを判断する(ステップS829)。そして、送信処理の終了が指示されていない場合には(ステップS829)、ステップS823に戻る。一方、送信処理の終了が指示された場合には(ステップS829)、送信処理の動作を終了する。なお、ステップS823、S826は、特許請求の範囲に記載の通信手順の一例である。また、ステップS826は、特許請求の範囲に記載の制御手順の一例である。
<2.第2の実施の形態>
本技術の第2の実施の形態では、Wi−Fi CERTIFIED Miracastを用いたストリームの開始の段階でaudioデータを削減する例を示す。また、本技術の第2の実施の形態では、本技術の第1の実施の形態で示した音声データ削減方法以外の音声データ削減方法(第2音声データ削減方法)を用いるように依頼する例を示す。すなわち、本技術の第2の実施の形態では、audioデータを削減する削減方法を指定することができる。このため、本技術の第2の実施の形態では、新設するRTSP parameterの構造に更なる拡張を導入する。
なお、本技術の第2の実施の形態における情報処理装置の構成については、図1等に示す情報処理装置100、200と略同一である。このため、本技術の第1の実施の形態と共通する部分については、本技術の第1の実施の形態と同一の符号を付してこれらの説明の一部を省略する。
[RTSP messageの構成例]
図16は、本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。図16では、新設するRTSP parameterの構造に更なる拡張を導入する場合の一例を示す。
図17は、本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。図17では、RTSP M3 RequestおよびRTSP M3 Responseの構成例を示す。図17において、点線の矩形411乃至414で囲む情報が、図6に示す例と異なる。
図18は、本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。図18では、新たに定義するRTSP M110 RequestおよびRTSP M110 Responseの構成例を示す。
例えば、ソース機器(情報処理装置200)が、特定機能に対応する場合には、ソース機器(情報処理装置200)は、RTSP M3 request messageにwfd_audio_stream_control(図17に示す点線の矩形412)を含めて送信する。これにより、ソース機器(情報処理装置200)は、自装置が特定機能に対応していることをシンク機器(情報処理装置100)に示すとともに、シンク機器(情報処理装置100)が特定機能に対応するか否かを問い合わせる。
ここで、特定機能に対応していないシンク機器は、RTSP M3 Response messageにおいて「none」を返信する。このため、その返信を受信した以降は、ソース機器(情報処理装置200)は、特定機能を使用しないようにする。
また、特定機能に対応するシンク機器(情報処理装置100)は、対応可能なbitを1に設定し、RTSP M3 Response messageによりソース機器(情報処理装置200)に送信する。
ここで、図17に示す点線の矩形414において、WFD_audio_stream_controlの値(F)を16進数で示す。この値は、10進法では15であり、4bitの2進数では1111である。このため、WFD_audio_stream_controlの値(F)は、図16に示すビット位置B3乃至B1の何れにも対応することと、ストリーム開始時点からaudioデータを削減するように依頼していることを示す。すなわち、図16に示すビット位置B3の(re−)include audioと、ビット位置B2のreduce audioとに対応することを示す。また、ビット位置B1で、reduce audioとは異な削減方法を用いたaudioデータ量削減に対応していることを示し、かつ、ビット位置B0(最下位ビット)で、ストリームの開始時点からaudioデータを削減するように依頼することを示す。
すなわち、図17では、ストリームの開始時点からaudioデータを削減することを要求するRTSP M3 Response messageの一例を示す。このRTSP M3 Response messageを受信したソース機器は、シンク機器が対応しているデータ削減方法の何れかでデータを削減してからストリームをシンク機器に送信する。例えば、本技術の第1の実施の形態と同一の削減方法(第1の音声データ削減方法)を用いることができる。
また、Audioデータを再度含めるようにトリガされた場合には、シンク機器は、例えば、新設したRTSP M110 Request message(図11に示す)を送信する。RTSP M110 Request messageを受信したソース機器は、RTSP M110 Response message内でOK(図11に示す)を送信する。そして、ソース機器は、シンク機器からの指示に従ってaudioデータ量を元に戻して送信する。なお、RTSP M110 Request messageおよびRTSP M110 Response messageの構成については、図11と同一であるため、ここでの詳細な説明を省略する。
ここで、ユーザがシンク機器を操作して、放送波に基づく画像をメイン画面とし、ソース機器からの画像をサブ画面に設定する場合を想定する。この場合には、シンク機器は、ソース機器からの画像に付随するaudioデータが不要になったと判断することができる。このため、シンク機器は、その操作をトリガとして、ソース機器に対してaudioデータ削減を依頼する。この場合に、シンク機器は、audio PTSが無くても、ソース機器からの画像をスムーズに表示させることができるように設計・実装されているものとする。このため、シンク機器は、他の削減方法(例えば、データ量をさらに削減するためにaudio PES packetを全く送らない削減方法)を指定することができる。
この場合に送信されるRTSP M110 RequestおよびRTSP M110 Responseの構成例を図18に示す。
図18に示すRTSP M110 Request messageを受信したソース機器は、RTSP M110 Response messageでOKを送信する。そして、ソース機器は、そのOKの送信以降に送信されるストリームについて第2の音声データ削減方法を用いてデータ削減を行い、audioデータ用のPES packetを全く多重せずにそれ以外のデータを送信する。ここで、第2の音声データ削減方法は、ストリームにおいて、PMTにaudioデータを指定するPIDの情報を含めず、audioデータを運ぶPES packetを全く生成しない削減方法である。
このように、ソース機器は、PMTに音声データを指定するPIDの情報を含めず、音声データを運ぶPES packetを生成しない第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに、画像信号伝送用のPES packetを送信することができる。
シンク機器は、第2の音声データ削減方法によりaudioデータが削減されたストリームを受信し、その受信したストリームに含まれるvideoデータを復号する。
この状態で、ユーザが2画面を解除してソース機器からの画像のみを表示するように指定する場合を想定する。この場合には、ソース機器からの画像に付随するaudioデータが必要になったと判断することができる。このため、シンク機器は、その操作をトリガとして、ソース機器に対してaudioデータを元に戻すようにRTSP M110 Request massageにより依頼を出す。
この場合に送信されるRTSP M110 RequestおよびRTSP M110 Responseの構成例については、図11と同様である。
ソース機器は、図11に示すRTSP M110 Response内でOKを送信した以降に送信されるストリームについては、audioデータを含めて送信する。すなわち、ソース機器は、ストリームにおいてPMTにaudioデータを指定するPIDの情報を含み、そのPIDで指定されるTS packetを用いてaudioデータを運ぶPES packetを生成する。そして、ソース機器は、その生成されたaudioデータを運ぶPES packetと、videoデータを運ぶPES packetとを多重化してシンク機器に送信する。
このように、ソース機器は、第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに画像信号伝送用のPES packetを送信している場合に、シンク機器から音声データ量を元に戻すように依頼されたときには、PMTに音声データ伝送を指定するPIDを含め、PES Payloadに通常の音声データを格納し、音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信することができる。
シンク機器は、audioデータを含むストリームを受信し、その受信したストリームに含まれるvideoデータおよびaudioデータを多重分離し、復号、再生等を行う。
[メイン画面の表示切替例]
次に、放送波に基づく画面がシンク機器に表示されている場合に、シンク機器がソース機器からの画像を新たに表示する場合の例を示す。
図19は、本技術の第2の実施の形態における情報処理装置100の表示部140に表示される画面と音声出力部150から出力される音声情報との遷移例を示す図である。
図20は、本技術の第2の実施の形態における情報処理装置100および情報処理装置200間でやりとりされる情報の遷移例を示す図である。図20には、図19に対応する情報のやりとりの例を示す。
図19のaには、放送波を受信して放送波に基づく画像およびこれに付随する音声が情報処理装置100から出力されている場合の例を示す。
図19のbには、図19のaに示す状態で、ユーザによる情報処理装置200の操作により、Wi−Fi CERTIFIED Miracastを用いて、情報処理装置200から情報処理装置100へのストリームの送信が開始された場合の例を示す。
この場合には、情報処理装置100の制御部170は、Wi−Fi CERTIFIED Miracastを用いた接続を検出する。そして、情報処理装置100の制御部170は、1画面で表示していた放送波に基づく画像をメイン画面とし、新規に追加された情報処理装置200からの画像をサブ画面とする設定を自動で行う。このように、情報処理装置100の制御部170は、情報処理装置200からの画像をサブ画面にすると決定することができる(図20に示す331)。
また、情報処理装置100の制御部170は、その決定をトリガにして、audioデータを削減して送信するように情報処理装置200に依頼する。この場合には、情報処理装置100は、受信したRTSP M3 Request messageに対する応答であるRTSP M3 Response message内においてcontrol−bitmapの最下位ビットB0を1に設定して(図17に示す)情報処理装置200に送信することにより、audioデータの削減を依頼する(図20に示す332、333)。この時点では、情報処理装置100の制御部170は、削減方法を指定しない。このため、情報処理装置200は、削減方法を自動または手動で決定することができる。そして、情報処理装置200は、audioデータが削減されたストリームを情報処理装置100に送信する(図20に示す334、335)。
図19のcには、図19のbに示す状態で、ユーザ操作により、放送波に基づく画像327をサブ画面とし、情報処理装置200からの画像328をメイン画面とする設定がされた場合(図20に示す336)の例を示す。
この場合には、情報処理装置100は、RTSP M110 Request message(図11に示す)を情報処理装置200に送信してaudioデータの追加を依頼する(図20に示す337、338)。また、情報処理装置200は、情報処理装置100にRTSP M110 Response message内でOK(図11に示す)を送信する(図20に示す339、340)。
続いて、情報処理装置200は、audioデータを含むストリームを情報処理装置100に送信する(図20に示す341、342)。この場合には、図19のcに示すように、放送波に基づく画像327に付随する音声が出力されない。また、情報処理装置200からの画像328に付随する音声323が音声出力部150から出力される。
ここで、情報処理装置200からの画像328に付随する音声323の音声出力部150からの出力を開始する場合に、放送波に基づく画像に付随する音声322と同一の音量とすると、突然大きな音が出力されてしまう可能性もある。そこで、情報処理装置200からの画像328に付随する音声323の音声出力部150からの出力を開始する場合に、放送波に基づく画像に付随する音声322よりも小さめの音量設定値(volume)に再設定するようにしてもよい。
また、図19のcに示す状態で、ユーザ操作により、放送波に基づく画像327をメイン画面とし、情報処理装置200からの画像328をサブ画面とする設定がされた場合(図20に示す343)を想定する。
この場合には、情報処理装置100は、RTSP M110 Request message(図18に示す)を情報処理装置200に送信してaudioデータの削減を依頼する(図20に示す344、345)。ここでは、audioデータを削減する削減方法として、audio PES packetを含まない方法(第2の音声データ削減方法)を指定する場合を想定する。
また、情報処理装置200は、情報処理装置100にRTSP M110 Response message内でOK(図18に示す)を送信する(図20に示す346、347)。
続いて、情報処理装置200は、audioデータが削減されたストリームを情報処理装置100に送信する(図20に示す348、349)。
[シンク機器の動作例]
図21は、本技術の第2の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。図21では、ソース機器およびシンク機器の双方が特定機能に対応している場合の例を示す。
最初に、情報処理装置100の制御部170は、Wi−Fi CERTIFIED Miracastの開始トリガが生じたか否かを判断する(ステップS831)。開始トリガが生じていない場合には(ステップS831)、監視を継続して行う。
開始トリガが生じた場合には(ステップS831)、制御部170は、開始時点にaudioデータが必要であるか否かを判断する(ステップS832)。開始時点にaudioデータが不要である場合には(ステップS832)、制御部170は、ストリームの送信を開始するソース機器に、audioデータの削減を依頼するためのメッセージを送信する(ステップS833)。例えば、受信した図17に示すRTSP M3 Request messageに対する応答として、図17に示すRTSP M3 Response messageを送信する際にcontrol−bitmapの最下位ビットB0を1に設定してaudioデータの削減を依頼する。
続いて、制御部170は、Wi−Fi CERTIFIED Miracastのセッションを開始する(ステップS834)。この場合にやりとりされるストリームにはaudioデータが含まれない。
続いて、制御部170は、audioデータが削減されたストリームの受信、復号、再生等の処理を行う(ステップS835)。この場合には、受信したストリームに含まれる画像データに基づく画像が表示部140に表示されるが、受信したストリームにはaudioデータが含まれないため、音声は出力されない。
続いて、制御部170は、表示部140に表示されている画像(受信したストリームに基づく画像)について、audioデータが必要であるか否かを判断する(ステップS836)。audioデータが不要である場合には(ステップS836)、ステップS835に戻る。
audioデータが必要である場合には(ステップS836)、制御部170は、ストリームを送信しているソース機器に、audioデータの追加を依頼するためのメッセージを送信する(ステップS837)。例えば、図11に示すRTSP M110 Request messageを送信する。
そのメッセージを送信した後に、通信部110は、そのメッセージに対する返信をソース機器から受信する(ステップS838)。ソース機器は、例えば、図11に示すRTSP M110 Response message内でOKを送信する。
また、開始時点にaudioデータが必要である場合には(ステップS832)、制御部170は、ストリームの送信を開始するソース機器に、audioデータの包含を依頼するためのメッセージを送信する(ステップS839)。例えば、図6に示すRTSP M3 Response messageを送信する。
続いて、制御部170は、Wi−Fi CERTIFIED Miracastのセッションを開始する(ステップS840)。この場合にやりとりされるストリームにはaudioデータが含まれる。
続いて、制御部170は、audioデータを含むストリームの受信、復号、再生等の処理を行う(ステップS841)。この場合には、受信したストリームに含まれる画像データに基づく画像が表示部140に表示され、受信したストリームに含まれるaudioデータに基づく音声が音声出力部150から出力される。
続いて、制御部170は、表示部140に表示されている画像(受信したストリームに基づく画像)について、audioデータが不要であるか否かを判断する(ステップS842)。audioデータが必要である場合には(ステップS842)、ステップS841に戻る。
audioデータが不要である場合には(ステップS842)、制御部170は、audioデータの削減方法を決定する(ステップS843)。例えば、制御部170は、接続されているソース機器の数、ソース機器の性能、周囲の通信環境等に基づいて、audioデータの削減方法を決定することができる。
例えば、第1の方法(第1の音声データ削減方法)が決定された場合には(ステップS843)、制御部170は、ストリームを送信しているソース機器に、audioデータの削減を依頼するためのメッセージを送信する(ステップS844)。例えば、図10に示すRTSP M110 Request messageを送信する。
そのメッセージを送信した後に、通信部110は、そのメッセージに対する返信をソース機器から受信する(ステップS845)。ソース機器は、例えば、図10に示すRTSP M110 Response message内でOKを送信する。
例えば、第2の方法(第2の音声データ削減方法)が決定された場合には(ステップS843)、制御部170は、ストリームを送信しているソース機器に、audioデータの削除を依頼するためのメッセージを送信する(ステップS846)。例えば、図18に示すRTSP M110 Request messageを送信する。
そのメッセージを送信した後に、通信部110は、そのメッセージに対する返信をソース機器から受信する(ステップS847)。ソース機器は、例えば、図18に示すRTSP M110 Response message内でOKを送信する。
続いて、制御部170は、audioデータが削除されたストリームの受信、復号、再生等の処理を行う(ステップS848)。この場合には、受信したストリームに含まれる画像データに基づく画像が表示部140に表示されるが、受信したストリームにはaudioデータが含まれないため、音声は出力されない。
続いて、制御部170は、表示部140に表示されている画像(受信したストリームに基づく画像)について、audioデータが必要であるか否かを判断する(ステップS849)。audioデータが不要である場合には(ステップS849)、ステップS848に戻る。audioデータが必要である場合には(ステップS849)、ステップS837に戻る。
このように、制御部170は、ソース機器に依頼を行う場合に、音声データを運ぶPES packetを含むMPEG2−TS多重信号を生成して送信する第1の音声データ削減方法と、音声データを運ぶPES packetを含まないMPEG2−TS多重信号を生成して送信する第2の音声データ削減方法との何れかを指定することができる。
[ソース機器の動作例]
図22は、本技術の第2の実施の形態における情報処理装置200による送信処理の処理手順の一例を示すフローチャートである。図22では、ソース機器およびシンク機器の双方が特定機能に対応している場合の例を示す。
最初に、情報処理装置200の制御部は、Wi−Fi CERTIFIED Miracastの開始トリガが生じたか否かを判断する(ステップS851)。開始トリガが生じていない場合には(ステップS851)、監視を継続して行う。
開始トリガが生じた場合には(ステップS851)、情報処理装置200の制御部は、受信したRTSP M3 Response messageにおいて、audioデータが不要と指定されているか否かを判断する(ステップS852)。
audioデータが不要と指定されている場合には(ステップS852)、情報処理装置200の制御部は、Wi−Fi CERTIFIED Miracastのセッションを開始する(ステップS853)。この場合にやりとりされるストリームにはaudioデータが含まれない。
続いて、情報処理装置200の制御部は、audioデータが削減されたストリームを生成し、その生成されたストリームをシンク機器に送信する(ステップS854)。この場合には、受信したストリームに含まれる画像データに基づく画像がシンク機器の表示部に表示されるが、音声は出力されない。
続いて、情報処理装置200の制御部は、audioデータの追加を依頼するためのメッセージをシンク機器から受信したか否かを判断する(ステップS855)。例えば、図11に示すRTSP M110 Request messageを受信したか否かを判断する。そのメッセージをシンク機器から受信していない場合には(ステップS855)、ステップS854に戻る。
そのメッセージをシンク機器から受信した場合には(ステップS855)、情報処理装置200の制御部は、そのメッセージに対する返信をシンク機器に送信する(ステップS856)。情報処理装置200は、例えば、図11に示すRTSP M110 Response message内でOKを送信する。
audioデータが必要と指定されている場合には(ステップS852)、情報処理装置200の制御部は、Wi−Fi CERTIFIED Miracastのセッションを開始する(ステップS857)。この場合にやりとりされるストリームにはaudioデータが含まれる。
続いて、情報処理装置200の制御部は、audioデータを含むストリームを生成し、その生成されたストリームをシンク機器に送信する(ステップS858)。これにより、送信したストリームに含まれる画像データに基づく画像がシンク機器の表示部に表示され、受信したストリームに含まれるaudioデータに基づく音声がシンク機器の音声出力部から出力される。
続いて、情報処理装置200の制御部は、audioデータの削減を依頼するためのメッセージをシンク機器から受信したか否かを判断する(ステップS859)。例えば、図10、または、図18に示すRTSP M110 Request messageを受信したか否かを判断する。そのメッセージをシンク機器から受信していない場合には(ステップS859)、ステップS858に戻る。
そのメッセージをシンク機器から受信した場合には(ステップS859)、情報処理装置200の制御部は、そのメッセージにおいて指定されたaudioデータの削減方法を確認する(ステップS860)。そして、その削減方法が第1の方法である場合(図10に示すRTSP M110 Request messageの場合)には(ステップS860)、情報処理装置200の制御部は、そのメッセージに対する返信をシンク機器に送信する(ステップS861)。情報処理装置200の制御部は、例えば、図10に示すRTSP M110 Response message内でOKを送信する。
また、その削減方法が第2の方法である場合(図18に示すRTSP M110 Request messageの場合)には(ステップS860)、情報処理装置200の制御部は、自装置が第2の方法に対応するか否かを判断する(ステップS862)。そして、自装置が第2の方法に対応していない場合には(ステップS862)、ステップS861に進む。
また、自装置が第2の方法に対応する場合には(ステップS862)、情報処理装置200の制御部は、そのメッセージに対する返信をシンク機器に送信する(ステップS863)。情報処理装置200は、例えば、図18に示すRTSP M110 Response message内でOKを送信する。
続いて、情報処理装置200の制御部は、audioデータが削除されたストリームを生成し、その生成されたストリームをシンク機器に送信する(ステップS864)。この場合には、受信したストリームに含まれる画像データに基づく画像がシンク機器の表示部に表示されるが、音声は出力されない。
続いて、情報処理装置200の制御部は、audioデータの追加を依頼するためのメッセージをシンク機器から受信したか否かを判断する(ステップS865)。そのメッセージをシンク機器から受信していない場合には(ステップS865)、ステップS864に戻る。一方、そのメッセージをシンク機器から受信した場合には(ステップS865)、ステップS856に進む。
[他のmessageを用いる例]
以上では、Wi−Fi CERTIFIED Miracast release−1のRTSP message交換のシーケンスに可能な限り変更を入れないようにする例を示した。すなわち、M3 GET_PARAMETER Responseに、audioデータを入れずに開始する旨の依頼を入れる例を示した。
ここでは、後継規格や独自実装等のように、RTSP message交換のシーケンスを変更することが可能である場合の例を示す。例えば、M3R Request/Rresponse message、M4R Request/Response messageを定義する。これらは、M3 Request/Response message、M4 Request/Response messageの向きを逆にしたものである。そして、M3R Request/Rresponse messageやM4R Request/Response messageを用いてソース機器およびシンク機器間のcapability告知、パラメータ設定等を行う。
図23は、本技術の第2の実施の形態におけるソース機器50およびシンク機器60の通信処理例を示すシーケンスチャートである。なお、図23は、図5に示す例において、新たに定義したRTSP messageを追加したものである。すなわち、RTSP M3R Request、RTSP M3R Response、RTSP M4R Request、RTSP M4R Responseを追加したものである。
ここで、M3 GET_PARAMETER、M4 SET_PARAMETERは、ソース機器からシンク機器に対してRequestを出すものである。図23では、その逆向きのメッセージを新たに定義した場合のRTSP messageのシーケンスチャートを示す。
図23に示すように、シンク機器60は、M3R Request messageを用いて、ソース機器50の対応能力(例えば、audioデータ削減に対応するか否か)を問い合わせる(501)。また、ソース機器50は、M3R Request messageに対する応答(M3R Response message)を用いて、シンク機器60に自装置の対応能力を通知する(502)。
また、シンク機器60は、M4R Request messageを用いて、ソース機器50にAudioデータを含めずにストリーム送信を行うように設定する(503)。また、ソース機器50は、M4R Request messageに対する応答(M4R Response message)を用いて、シンク機器60に了解の意を通知する(504)。
図24乃至図26は、本技術の第2の実施の形態における各情報処理装置間でやりとりされる情報の一例を示す図である。
図24には、新たに定義したRTSP messageにおいて、wfd_audio_stream_controlを用いる場合のbitの定義例を示す。この例では、SET_PARAMETERでaudioを含めないことをシンク機器60からソース機器50に明示的に伝えられることができる。このため、図16に示す例において、最下位ビット(ビット位置B0)の「Initial audio−off」を省略することができる。
図25には、RTSP M3R Request、RTSP M3R Response、RTSP M4R RequestおよびRTSP M4R Responseの構成例を示す。
次に、図25を参照して具体的なmessageに構成例について説明する。
シンク機器60は、RTSP M3R Request messageにwfd_audio_stream_control(図25に示す点線の矩形420)を入れてソース機器50に送信する(図23に示す501)。これにより、シンク機器60は、ソース機器50が特定機能に対応するか否かを問い合わせることができる。
ソース機器50は、それに対して、RTSP M3R Response messageをシンク機器60に返信し、ソース機器50が特定機能に対応することを通知する(図23に示す502)。この例では、ソース機器50は、Audioデータを(再度)含める機能、Audioデータを削減する機能、他の手法でaudioデータを削減する機能の全てに対応する例を示す。このため、ソース機器50は、2進数で1110、16進数で「E(図25の点線の矩形421)」を設定して送り返す(図23に示す502)。
続いて、シンク機器60は、RTSP M4R Request messageをソース機器50に送信し、Audioデータを削減して送信するようにSETする(図23に示す503)。この例では、RTSP M3R Response messageにより、ソース機器50が他の手法でaudioデータを削減する機能を備えることを確認できている。このため、シンク機器60は、図24に示すビット位置B1のみを1に設定し、audioデータを全く含まないようにして送信するように指定することができる。これに対してソース機器50は、シンク機器60にRTSP M4R Response message内でOK(図25に示す)を送信する(図23に示す504)。
このように、シンク機器60は、図24に示すビット位置B1のみを1に設定するため、2進数で0010、16進数で「2(図25の点線の矩形422)」をRTSP parameterの設定値として用いる。
続いて、ソース機器50は、RTSP M4 Requestを送信して用いるformatを設定する。この場合に、上述したように、audio formatを含めて設定するようにしてもよく、audio formatを含めずに設定してもよい。audio formatを含めずに設定する例を図26に示す。
図26には、RTSP M4 RequestおよびRTSP M4 Responseの構成例を示す。
ここで、最初からaudioデータを含めずに送信することを指定し、かつ、audio削減方法としてaudioのelementary streamを全く含まない方法を選択し、かつ、RTSP M4 Request messageにaudio formatの情報を含めずに送信する場合を想定する。この場合に、ソース機器50は、次にシンク機器60からRTSP M110 Request messageを用いて、audioを追加するように指定されたときには、RTSP M110 Response messageを用いて承諾したことを伝える以外に、RTSP M4 Request messageを用いて、audio formatを指定するパラメータを追加して送信する必要がある。この場合に用いられるRTSP M4 Request messageの構成例は、図7に示す例と同一であるため、ここでの説明を省略する。
<3.第3の実施の形態>
本技術の第3の実施の形態では、シンク機器が人の動きや存在を検出して、その検出結果に基づいてaudioデータの削減を依頼する例を示す。
なお、本技術の第3の実施の形態における情報処理装置の構成については、図1等に示す情報処理装置100、200と略同一である。このため、本技術の第1の実施の形態と共通する部分については、本技術の第1の実施の形態と同一の符号を付してこれらの説明の一部を省略する。
[メイン画面の表示切替例]
最初に、ソース機器の画面がシンク機器に表示されている場合に、その画面をユーザが見ているか否かに基づいて音声の出力を制御する場合の例を示す。
図27は、本技術の第3の実施の形態における情報処理装置100の表示部140に表示される画面と音声出力部150から出力される音声情報との遷移例を示す図である。
図28は、本技術の第3の実施の形態における情報処理装置100および情報処理装置200間でやりとりされる情報の遷移例を示す図である。図28には、図27に対応する情報のやりとりの例を示す。
図27のaには、情報処理装置200からの画像およびこれに付随する音声が情報処理装置100から出力されている場合の例を示す。すなわち、Wi−Fi CERTIFIED Miracastを用いて、情報処理装置200から情報処理装置100に、audio有の設定によりストリームの送信が行われている場合(図28に示す361、362)の例を示す。この場合には、情報処理装置200からの画像に付随する音声351が音声出力部150から出力される。
図27のbには、図27のaに示す状態で、表示部140に表示されている画面をユーザが見ていないと判断された場合(図28に示す363)の例を示す。
例えば、センサ120により人の存在や、人の動きを検出することができる。また、情報処理装置100の制御部170は、センサ120による検出結果に基づいて、ユーザが表示部140の画面を見ているか否かを判断することができる。そして、情報処理装置100の制御部170は、一定期間、ユーザが表示部140の画面を見ていないと判断した場合には、音声出力部150からの音声出力をオフする。
この場合には、情報処理装置100は、RTSP M110 Request message(図10に示す)を情報処理装置200に送信してaudioデータの削減を依頼する(図28に示す364、365)。また、情報処理装置200は、RTSP M110 Response message内でOK(図10に示す)を情報処理装置100に送信する(図28に示す366、367)。
続いて、情報処理装置100は、audioデータが削減されたストリームを情報処理装置200に送信する(図28に示す368、369)。この場合には、図27のbに示すように、情報処理装置200からの画像に付随する音声が出力されない。
また、この場合には、図27のbに示すように、情報処理装置100の制御部170は、表示部140に「見ている人がいないと判断したので音声を消去した」旨の通知情報を表示することができる。また、情報処理装置100の制御部170は、警告音を出力する等してユーザの注意を喚起するようにしてもよい。この通知情報の出力や警告音の出力等をした後に、所定時間以内にユーザが何らかの行為(例えば、手を振る動作)をした場合や、センサ120により所定の反応があった場合には、audioデータの削減の依頼をしないようにしてもよい。
また、情報処理装置100の制御部170は、一定期間、ユーザが表示部140の画面を見ていないと判断した場合には、音声出力部150から出力される音声の音量設定値(volume値)を徐々に下げていくようにしてもよい。この場合には、情報処理装置100の制御部170は、音声出力部150から出力される音声の音量設定値(volume値)が十分に小さくなってから、audioデータの削減を依頼するようにしてもよい。
また、情報処理装置100の制御部170は、一定期間、ユーザが表示部140の画面を見ていないと判断した場合には、低消費電力化を図るための依頼を情報処理装置200に送信するようにしてもよい。例えば、情報処理装置100の制御部170は、画像の解像度(resolution)を下げる、refresh rateを下げる等の依頼を情報処理装置200に送信することができる。
図27のcには、図27のbに示す状態で、表示部140に表示されている画面を見るユーザが検出された場合(図28に示す370)の例を示す。例えば、図27のbに示すメッセージを見たユーザが情報処理装置100側に戻ってくることが想定される。また、ユーザが所定の動作(例えば、手を振る等の動作)を行うことを条件に、ユーザの存在を検出するようにしてもよい。
この場合には、情報処理装置100は、RTSP M110 Request message(図11に示す)を情報処理装置200に送信してaudioデータの追加を依頼する(図28に示す371、372)。また、情報処理装置200は、情報処理装置100にRTSP M110 Response message内でOK(図11に示す)を送信する(図28に示す373、374)。
続いて、情報処理装置100は、audioデータを含むストリームを情報処理装置200に送信する(図28に示す375、376)。この場合には、図27のcに示すように、情報処理装置200からの画像に付随する音声352が音声出力部150から出力される。
このように、本技術の第3の実施の形態は、Audioデータの削減を依頼するトリガが本技術の第1の実施の形態とは異なるが、他の点については、本技術の第1の実施の形態と略同様である。
[シンク機器の動作例]
図29および図30は、本技術の第3の実施の形態における情報処理装置100による受信処理の処理手順の一例を示すフローチャートである。図29および図30では、ソース機器およびシンク機器の双方が特定機能に対応している場合の例を示す。また、図29および図30に示す各処理手順(ステップS871、S872、S874、S884乃至S886、S888乃至S890)は、図14に示す各処理手順(ステップS801乃至S803、S805乃至S807、S809乃至S811)に対応する。このため、これらの説明の一部を省略する。
また、図29に示す点線の矩形601は、図14におけるaudioデータが必要であるか否かを判断する判断処理(ステップS808)に相当する。また、図30に示す点線の矩形602は、図14におけるaudioデータが不要であるか否かを判断する判断処理(ステップS804)に相当する。
Wi−Fi CERTIFIED Miracastのセッションを開始した後に(ステップS872)、制御部170は、第1のタイマをリセットする(ステップS873)。ここで、第1のタイマは、ユーザへの通知情報を出力するか否かを判断する際に用いられるタイマである。続いて、制御部170は、audioデータを含むストリームの受信、復号、再生等の処理を行う(ステップS874)。
続いて、制御部170は、センサ120によりユーザの存在や動きが検出されたか否かを判断する(ステップS875)。ユーザの存在や動きが検出された場合には(ステップS875)、ステップS873に戻る。
ユーザの存在や動きが検出されない場合には(ステップS875)、制御部170は、第1のタイマをインクリメントする(ステップS876)。そして、制御部170は、第1のタイマが上限値を超えたか否かを判断する(ステップS877)。第1のタイマが上限値を超えていない場合には(ステップS877)、ステップS874に戻る。
第1のタイマが上限値を超えた場合には(ステップS877)、制御部170は、第2のタイマをリセットする(ステップS878)。ここで、第2のタイマは、ソース機器にaudioデータの削減を依頼するか否かを判断する際に用いられるタイマである。続いて、制御部170は、ユーザへの通知情報を出力(例えば、表示、音声出力)する(ステップS879)。
続いて、制御部170は、センサ120によりユーザの存在や動きが検出されたか否かを判断する(ステップS880)。ユーザの存在や動きが検出された場合には(ステップS880)、制御部170は、第2のタイマをリセットして(ステップS881)、ステップS873に戻る。
ユーザの存在や動きが検出されない場合には(ステップS880)、制御部170は、第2のタイマをインクリメントする(ステップS882)。そして、制御部170は、第2のタイマが上限値を超えたか否かを判断する(ステップS883)。第2のタイマが上限値を超えていない場合には(ステップS883)、ステップS879に戻る。第2のタイマが上限値を超えた場合には(ステップS883)、ステップS884に進む。
また、制御部170は、センサ120によりユーザの存在や動きが検出されたか否かを判断する(ステップS887)。ユーザの存在や動きが検出された場合には(ステップS887)、ステップS888に進む。一方、ユーザの存在や動きが検出されない場合には(ステップS887)、ステップS886に戻る。
このように、audioデータを削減してデータを送信する依頼をソース機器にするトリガ(第1のトリガ)を、情報処理装置100の周囲に存在するユーザまたはユーザの動きを検出したことに起因するトリガとすることができる。
なお、ソース機器の動作例については、図15と同様であるため、ここでの説明を省略する。
このように、本技術の実施の形態では、MPEG2−TS用いた伝送方法において、接続されたシンク機器からaudioデータが不要であることを通知された場合に、ソース機器は、audioデータを削減してデータを送信する。例えば、ソース機器は、PIDは変更せずに、PES packetのPayloadに格納されるaudioデータを削減してデータを送信することができる。これにより、接続されたシンク機器からの依頼に応じて、ソース機器は、Audio elementaryストリームのデータ量を適切に調節することができる。
このように、本技術の実施の形態によれば、audioが不要なときには、無線区間に必要となるデータ量を削減することができ、衝突や混雑を回避することができる。また、ソース機器およびシンク機器の双方の消費電力を削減することができる。
また、シンク機器がAudio masterで動作するときには、PTSに基づいて同期再生を行うことが可能となる。
また、Audioの再生クロックに対してfreerunでvideoを再生可能な状態にあるシンク機器の場合には、PTSも含めないようにして送信するようにソース機器に依頼を出すことができる。これにより、一層のデータ量削減による衝突や混雑の回避、ソース機器およびシンク機器の双方の消費電力を削減することができる。
また、メイン画面およびサブ画面の切り替え操作(例えば、ユーザ操作)や、表示画面の追加等の自動的な動き、あるいはユーザが画面を見ているかどうかに連動してaudioデータの追加および削減を行うことができる。この場合には、audioデータの追加および削減のための煩雑なユーザ操作を行う必要がない。
なお、本技術の第1および第2の実施の形態では、放送波に基づく画像とソース機器からの画像とを同時にシンク機器に表示する場合の例を示す。ただし、2台以上のソース機器からの画像を同時にシンク機器に表示する場合、または、1台のソース機器からの複数の画像を同時にシンク機器に表示する場合についても同様に、本技術の第1および第2の実施の形態を適用することができる。また、本技術の第3の実施の形態では、1台のソース機器からの画像をシンク機器に表示する場合の例を示す。ただし、2台以上のソース機器からの画像を同時にシンク機器に表示する場合についても同様に、本技術の第3の実施の形態を適用することができる。
<4.応用例>
本開示に係る技術は、様々な製品へ応用可能である。例えば、情報処理装置100、200、210は、スマートフォン、タブレットPC(Personal Computer)、ノートPC、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。また、情報処理装置100、200、210は、スマートメータ、自動販売機、遠隔監視装置又はPOS(Point Of Sale)端末などの、M2M(Machine To Machine)通信を行う端末(MTC(Machine Type Communication)端末ともいう)として実現されてもよい。さらに、情報処理装置100、200、210は、これら端末に搭載される無線通信モジュール(例えば、1つのダイで構成される集積回路モジュール)であってもよい。
一方、例えば、情報処理装置100、200、210は、ルータ機能を有し又はルータ機能を有しない無線LANアクセスポイント(無線基地局ともいう)として実現されてもよい。また、情報処理装置100、200、210は、モバイル無線LANルータとして実現されてもよい。さらに、情報処理装置100、200、210は、これら装置に搭載される無線通信モジュール(例えば、1つのダイで構成される集積回路モジュール)であってもよい。
[4−1.第1の応用例]
図31は、本開示に係る技術が適用され得るスマートフォン900の概略的な構成の一例を示すブロック図である。スマートフォン900は、プロセッサ901、メモリ902、ストレージ903、外部接続インタフェース904、カメラ906、センサ907、マイクロフォン908、入力デバイス909、表示デバイス910、スピーカ911、無線通信インタフェース913、アンテナスイッチ914、アンテナ915、バス917、バッテリー918及び補助コントローラ919を備える。
プロセッサ901は、例えばCPU(Central Processing Unit)又はSoC(System on Chip)であってよく、スマートフォン900のアプリケーションレイヤ及びその他のレイヤの機能を制御する。メモリ902は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ903は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。外部接続インタフェース904は、メモリーカード又はUSB(Universal Serial Bus)デバイスなどの外付けデバイスをスマートフォン900へ接続するためのインタフェースである。
カメラ906は、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有し、撮像画像を生成する。センサ907は、例えば、測位センサ、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。マイクロフォン908は、スマートフォン900へ入力される音声を音声信号へ変換する。入力デバイス909は、例えば、表示デバイス910の画面上へのタッチを検出するタッチセンサ、キーパッド、キーボード、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス910は、液晶ディスプレイ(LCD)又は有機発光ダイオード(OLED)ディスプレイなどの画面を有し、スマートフォン900の出力画像を表示する。スピーカ911は、スマートフォン900から出力される音声信号を音声に変換する。
無線通信インタフェース913は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、無線通信を実行する。無線通信インタフェース913は、インフラストラクチャーモードにおいては、他の装置と無線LANアクセスポイントを介して通信し得る。また、無線通信インタフェース913は、アドホックモード又はWi−Fi Direct等のダイレクト通信モードにおいては、他の装置と直接的に通信し得る。なお、Wi−Fi Directでは、アドホックモードとは異なり2つの端末の一方がアクセスポイントとして動作するが、通信はそれら端末間で直接的に行われる。無線通信インタフェース913は、典型的には、ベースバンドプロセッサ、RF(Radio Frequency)回路及びパワーアンプなどを含み得る。無線通信インタフェース913は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース913は、無線LAN方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ914は、無線通信インタフェース913に含まれる複数の回路(例えば、異なる無線通信方式のための回路)の間でアンテナ915の接続先を切り替える。アンテナ915は、単一の又は複数のアンテナ素子(例えば、MIMOアンテナを構成する複数のアンテナ素子)を有し、無線通信インタフェース913による無線信号の送信及び受信のために使用される。
なお、図31の例に限定されず、スマートフォン900は、複数のアンテナ(例えば、無線LAN用のアンテナ及び近接無線通信方式用のアンテナ、など)を備えてもよい。その場合に、アンテナスイッチ914は、スマートフォン900の構成から省略されてもよい。
バス917は、プロセッサ901、メモリ902、ストレージ903、外部接続インタフェース904、カメラ906、センサ907、マイクロフォン908、入力デバイス909、表示デバイス910、スピーカ911、無線通信インタフェース913及び補助コントローラ919を互いに接続する。バッテリー918は、図中に破線で部分的に示した給電ラインを介して、図31に示したスマートフォン900の各ブロックへ電力を供給する。補助コントローラ919は、例えば、スリープモードにおいて、スマートフォン900の必要最低限の機能を動作させる。
図31に示したスマートフォン900において、図2を用いて説明した制御部170は、無線通信インタフェース913において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ901又は補助コントローラ919において実装されてもよい。
なお、スマートフォン900は、プロセッサ901がアプリケーションレベルでアクセスポイント機能を実行することにより、無線アクセスポイント(ソフトウェアAP)として動作してもよい。また、無線通信インタフェース913が無線アクセスポイント機能を有していてもよい。
[4−2.第2の応用例]
図32は、本開示に係る技術が適用され得るカーナビゲーション装置920の概略的な構成の一例を示すブロック図である。カーナビゲーション装置920は、プロセッサ921、メモリ922、GPS(Global Positioning System)モジュール924、センサ925、データインタフェース926、コンテンツプレーヤ927、記憶媒体インタフェース928、入力デバイス929、表示デバイス930、スピーカ931、無線通信インタフェース933、アンテナスイッチ934、アンテナ935及びバッテリー938を備える。
プロセッサ921は、例えばCPU又はSoCであってよく、カーナビゲーション装置920のナビゲーション機能及びその他の機能を制御する。メモリ922は、RAM及びROMを含み、プロセッサ921により実行されるプログラム及びデータを記憶する。
GPSモジュール924は、GPS衛星から受信されるGPS信号を用いて、カーナビゲーション装置920の位置(例えば、緯度、経度及び高度)を測定する。センサ925は、例えば、ジャイロセンサ、地磁気センサ及び気圧センサなどのセンサ群を含み得る。データインタフェース926は、例えば、図示しない端子を介して車載ネットワーク941に接続され、車速データなどの車両側で生成されるデータを取得する。
コンテンツプレーヤ927は、記憶媒体インタフェース928に挿入される記憶媒体(例えば、CD又はDVD)に記憶されているコンテンツを再生する。入力デバイス929は、例えば、表示デバイス930の画面上へのタッチを検出するタッチセンサ、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス930は、LCD又はOLEDディスプレイなどの画面を有し、ナビゲーション機能又は再生されるコンテンツの画像を表示する。スピーカ931は、ナビゲーション機能又は再生されるコンテンツの音声を出力する。
無線通信インタフェース933は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、無線通信を実行する。無線通信インタフェース933は、インフラストラクチャーモードにおいては、他の装置と無線LANアクセスポイントを介して通信し得る。また、無線通信インタフェース933は、アドホックモード又はWi−Fi Direct等のダイレクト通信モードにおいては、他の装置と直接的に通信し得る。無線通信インタフェース933は、典型的には、ベースバンドプロセッサ、RF回路及びパワーアンプなどを含み得る。無線通信インタフェース933は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース933は、無線LAN方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ934は、無線通信インタフェース933に含まれる複数の回路の間でアンテナ935の接続先を切り替える。アンテナ935は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース933による無線信号の送信及び受信のために使用される。
なお、図32の例に限定されず、カーナビゲーション装置920は、複数のアンテナを備えてもよい。その場合に、アンテナスイッチ934は、カーナビゲーション装置920の構成から省略されてもよい。
バッテリー938は、図中に破線で部分的に示した給電ラインを介して、図32に示したカーナビゲーション装置920の各ブロックへ電力を供給する。また、バッテリー938は、車両側から給電される電力を蓄積する。
図32に示したカーナビゲーション装置920において、図2を用いて説明した制御部170は、無線通信インタフェース933において実装されてもよい。また、これら機能の少なくとも一部は、プロセッサ921において実装されてもよい。
また、無線通信インタフェース933は、上述した情報処理装置100、200、210として動作し、車両に乗るユーザが有する端末に無線接続を提供してもよい。
また、本開示に係る技術は、上述したカーナビゲーション装置920の1つ以上のブロックと、車載ネットワーク941と、車両側モジュール942とを含む車載システム(又は車両)940として実現されてもよい。車両側モジュール942は、車速、エンジン回転数又は故障情報などの車両側データを生成し、生成したデータを車載ネットワーク941へ出力する。
[4−3.第3の応用例]
図33は、本開示に係る技術が適用され得る情報処理装置と通信を行う無線アクセスポイント950の概略的な構成の一例を示すブロック図である。無線アクセスポイント950は、コントローラ951、メモリ952、入力デバイス954、表示デバイス955、ネットワークインタフェース957、無線通信インタフェース963、アンテナスイッチ964及びアンテナ965を備える。
コントローラ951は、例えばCPU又はDSP(Digital Signal Processor)であってよく、無線アクセスポイント950のIP(Internet Protocol)レイヤ及びより上位のレイヤの様々な機能(例えば、アクセス制限、ルーティング、暗号化、ファイアウォール及びログ管理など)を動作させる。メモリ952は、RAM及びROMを含み、コントローラ951により実行されるプログラム、及び様々な制御データ(例えば、端末リスト、ルーティングテーブル、暗号鍵、セキュリティ設定及びログなど)を記憶する。
入力デバイス954は、例えば、ボタン又はスイッチなどを含み、ユーザからの操作を受け付ける。表示デバイス955は、LEDランプなどを含み、無線アクセスポイント950の動作ステータスを表示する。
ネットワークインタフェース957は、無線アクセスポイント950が有線通信ネットワーク958に接続するための有線通信インタフェースである。ネットワークインタフェース957は、複数の接続端子を有してもよい。有線通信ネットワーク958は、イーサネット(登録商標)などのLANであってもよく、又はWAN(Wide Area Network)であってもよい。
無線通信インタフェース963は、IEEE802.11a、11b、11g、11n、11ac及び11adなどの無線LAN標準のうちの1つ以上をサポートし、近傍の端末へアクセスポイントとして無線接続を提供する。無線通信インタフェース963は、典型的には、ベースバンドプロセッサ、RF回路及びパワーアンプなどを含み得る。無線通信インタフェース963は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。アンテナスイッチ964は、無線通信インタフェース963に含まれる複数の回路の間でアンテナ965の接続先を切り替える。アンテナ965は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース963による無線信号の送信及び受信のために使用される。
図33に示した無線アクセスポイント950において、図2を用いて説明した制御部170は、無線通信インタフェース963において実装されてもよい。また、これら機能の少なくとも一部は、コントローラ951において実装されてもよい。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
(1)
MPEG(Moving Picture Experts Group)2−TS(Transport Stream)を用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信部と、
音声データ量を削減するように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について第1の音声データ削減方法が適用された音声データの多重分離を行う場合に、PMT(program map table)に記載される音声データ伝送を指定するPID(packet identifier)で指定されるTS(Transport) packetに格納されるPES(packetized elementary stream) packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTS(presentation time stamp)を取り出すように制御する制御部と
を具備する情報処理装置。
(2)
前記制御部は、第1のトリガに基づいて前記他の情報処理装置に前記依頼を行う前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記他の情報処理装置に前記依頼を行う場合に、前記音声データを運ぶPES packetを含むMPEG2−TS多重信号を生成して送信する前記第1の音声データ削減方法と、前記音声データを運ぶPES packetを含まないMPEG2−TS多重信号を生成して送信する第2の音声データ削減方法との何れかを指定する前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、前記音声データ量が削減されたMPEG2−TS多重信号を受信している際に、第2のトリガに基づいて、前記音声データ量を元に戻すように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、前記PESのPayloadに含まれる音声データを取り出すように制御する前記(1)から(3)のいずれかに記載の情報処理装置。
(5)
前記第1のトリガおよび前記第2のトリガは、ユーザ操作に起因する前記(4)に記載の情報処理装置。
(6)
前記第1のトリガは、前記情報処理装置の周囲に存在するユーザまたはユーザの動きを検出したことに起因する前記(2)に記載の情報処理装置。
(7)
前記制御部は、前記依頼を行う前に出力されていた音声の音量設定値を保持しておき、前記音声データ量を元に戻すように前記他の情報処理装置に依頼を行い、当該依頼後に前記PESのPayloadに含まれる音声データを取り出すタイミングで前記保持された音量設定値を設定する前記(1)から(6)のいずれかに記載の情報処理装置。
(8)
MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信部と、
前記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御を行う制御部と
を具備する情報処理装置。
(9)
前記制御部は、前記他の情報処理装置から音声データ量を削減するように依頼された際に、前記PESのPayloadのデータ量を略ゼロ、または、完全にゼロにすることにより、当該データ量を削減する制御を行う前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記第1の音声データ削減によりデータ量が削減された音声信号伝送用のPES packetと前記画像信号伝送用のPES packetとを多重して送信している場合に、前記他の情報処理装置から音声データ量を元に戻すように依頼されたときには、前記PES Payloadに通常の音声データを格納し、前記音声信号伝送用のPES packetと前記画像信号伝送用のPES packetとを多重して送信する制御を行う前記(8)または(9)に記載の情報処理装置。
(11)
前記制御部は、前記他の情報処理装置から音声データ量を削減するように依頼された際に、前記第1の音声データ削減以外の音声データ削減を用いることを依頼された場合には、前記PMTに音声データを指定する前記PIDの情報を含めず、音声データを運ぶPES packetを生成しない第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに、画像信号伝送用のPES packetを送信する制御を行う前記(8)に記載の情報処理装置。
(12)
前記第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに画像信号伝送用のPES packetを送信している場合に、前記他の情報処理装置から音声データ量を元に戻すように依頼されたときには、前記PMTに音声データ伝送を指定する前記PIDを含め、前記PES Payloadに通常の音声データを格納し、前記音声信号伝送用のPES packetと前記画像信号伝送用のPES packetとを多重して送信する制御を行う前記(11)に記載の情報処理装置。
(13)
MPEG2−TSを用いて多重化された画像信号および音声信号を第2の情報処理装置に無線伝送し、前記第2の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する第1の情報処理装置と、
MPEG2−TSを用いて多重化された画像信号および音声信号を前記第1の情報処理装置から受信している場合に、音声データ量を削減するように前記第1の情報処理装置に依頼を行い、当該依頼後に前記第1の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出す第2の情報処理装置と
を具備する通信システム。
(14)
MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信手順と、
音声データ量を削減するように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出す制御手順と
を具備する情報処理方法。
(15)
MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信手順と、
前記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御手順と
を具備する情報処理方法。
(16)
MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信手順と、
音声データ量を削減するように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出す制御手順と
をコンピュータに実行させるプログラム。
(17)
MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信手順と、
前記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御手順と
をコンピュータに実行させるプログラム。
10 通信システム
11 放送局
50 ソース機器
60 シンク機器
100、200、210 情報処理装置
110 通信部
111 データ処理部
112 伝送処理部
113 無線インターフェース部
114 アンテナ
120 センサ
130 操作受付部
140 表示部
150 音声出力部
160 メモリ
170 制御部
900 スマートフォン
901 プロセッサ
902 メモリ
903 ストレージ
904 外部接続インタフェース
906 カメラ
907 センサ
908 マイクロフォン
909 入力デバイス
910 表示デバイス
911 スピーカ
913 無線通信インタフェース
914 アンテナスイッチ
915 アンテナ
917 バス
918 バッテリー
919 補助コントローラ
920 カーナビゲーション装置
921 プロセッサ
922 メモリ
924 GPSモジュール
925 センサ
926 データインタフェース
927 コンテンツプレーヤ
928 記憶媒体インタフェース
929 入力デバイス
930 表示デバイス
931 スピーカ
933 無線通信インタフェース
934 アンテナスイッチ
935 アンテナ
938 バッテリー
941 車載ネットワーク
942 車両側モジュール
950 無線アクセスポイント
951 コントローラ
952 メモリ
954 入力デバイス
955 表示デバイス
957 ネットワークインタフェース
958 有線通信ネットワーク
963 無線通信インタフェース
964 アンテナスイッチ
965 アンテナ

Claims (17)

  1. MPEG(Moving Picture Experts Group)2−TS(Transport Stream)を用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信部と、
    音声データ量を削減するように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について第1の音声データ削減方法が適用された音声データの多重分離を行う場合に、PMT(program map table)に記載される音声データ伝送を指定するPID(packet identifier)で指定されるTS(Transport) packetに格納されるPES(packetized elementary stream) packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTS(presentation time stamp)を取り出すように制御する制御部と
    を具備する情報処理装置。
  2. 前記制御部は、第1のトリガに基づいて前記他の情報処理装置に前記依頼を行う請求項1記載の情報処理装置。
  3. 前記制御部は、前記他の情報処理装置に前記依頼を行う場合に、前記音声データを運ぶPES packetを含むMPEG2−TS多重信号を生成して送信する前記第1の音声データ削減方法と、前記音声データを運ぶPES packetを含まないMPEG2−TS多重信号を生成して送信する第2の音声データ削減方法との何れかを指定する請求項1記載の情報処理装置。
  4. 前記制御部は、前記音声データ量が削減されたMPEG2−TS多重信号を受信している際に、第2のトリガに基づいて、前記音声データ量を元に戻すように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、前記PESのPayloadに含まれる音声データを取り出すように制御する請求項1記載の情報処理装置。
  5. 前記第1のトリガおよび前記第2のトリガは、ユーザ操作に起因する請求項4記載の情報処理装置。
  6. 前記第1のトリガは、前記情報処理装置の周囲に存在するユーザまたはユーザの動きを検出したことに起因する請求項2記載の情報処理装置。
  7. 前記制御部は、前記依頼を行う前に出力されていた音声の音量設定値を保持しておき、前記音声データ量を元に戻すように前記他の情報処理装置に依頼を行い、当該依頼後に前記PESのPayloadに含まれる音声データを取り出すタイミングで前記保持された音量設定値を設定する請求項1記載の情報処理装置。
  8. MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信部と、
    前記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御を行う制御部と
    を具備する情報処理装置。
  9. 前記制御部は、前記他の情報処理装置から音声データ量を削減するように依頼された際に、前記PESのPayloadのデータ量を略ゼロ、または、完全にゼロにすることにより、当該データ量を削減する制御を行う請求項8記載の情報処理装置。
  10. 前記制御部は、前記第1の音声データ削減によりデータ量が削減された音声信号伝送用のPES packetと前記画像信号伝送用のPES packetとを多重して送信している場合に、前記他の情報処理装置から音声データ量を元に戻すように依頼されたときには、前記PES Payloadに通常の音声データを格納し、前記音声信号伝送用のPES packetと前記画像信号伝送用のPES packetとを多重して送信する制御を行う請求項8記載の情報処理装置。
  11. 前記制御部は、前記他の情報処理装置から音声データ量を削減するように依頼された際に、前記第1の音声データ削減以外の音声データ削減を用いることを依頼された場合には、前記PMTに音声データを指定する前記PIDの情報を含めず、音声データを運ぶPES packetを生成しない第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに、画像信号伝送用のPES packetを送信する制御を行う請求項8記載の情報処理装置。
  12. 前記第2の音声データ削減を行い、音声信号伝送用のPES packetを多重せずに画像信号伝送用のPES packetを送信している場合に、前記他の情報処理装置から音声データ量を元に戻すように依頼されたときには、前記PMTに音声データ伝送を指定する前記PIDを含め、前記PES Payloadに通常の音声データを格納し、前記音声信号伝送用のPES packetと前記画像信号伝送用のPES packetとを多重して送信する制御を行う請求項11記載の情報処理装置。
  13. MPEG2−TSを用いて多重化された画像信号および音声信号を第2の情報処理装置に無線伝送し、前記第2の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する第1の情報処理装置と、
    MPEG2−TSを用いて多重化された画像信号および音声信号を前記第1の情報処理装置から受信している場合に、音声データ量を削減するように前記第1の情報処理装置に依頼を行い、当該依頼後に前記第1の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMTに記載される音声データ伝送を指定するPIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTSを取り出す第2の情報処理装置と
    を具備する通信システム。
  14. MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信手順と、
    音声データ量を削減するように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMT(program map table)に記載される音声データ伝送を指定するPID(packet identifier)で指定されるTS(Transport) packetに格納されるPES(packetized elementary stream) packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTS(presentation time stamp)を取り出す制御手順と
    を具備する情報処理方法。
  15. MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信手順と、
    前記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御手順と
    を具備する情報処理方法。
  16. MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置から受信する通信手順と、
    音声データ量を削減するように前記他の情報処理装置に依頼を行い、当該依頼後に前記他の情報処理装置から受信するMPEG2−TS多重信号について多重分離を行う場合に、PMT(program map table)に記載される音声データ伝送を指定するPID(packet identifier)で指定されるTS(Transport) packetに格納されるPES(packetized elementary stream) packetのうち、PESのPayloadに含まれるデータを廃棄し、かつ、PES header部分に含まれるPTS(presentation time stamp)を取り出す制御手順と
    をコンピュータに実行させるプログラム。
  17. MPEG2−TSを用いて多重化された画像信号および音声信号を他の情報処理装置に無線伝送する通信手順と、
    前記他の情報処理装置からの依頼に基づいて、PMTに記載される音声データ伝送を指定するPIDは変えずに、前記PIDで指定されるTS packetに格納されるPES packetのうち、PESのPayloadのデータ量を削減し、かつ、PES header部分にPTSを含むPES packetを生成する第1の音声データ削減を行い、前記データ量が削減された音声信号伝送用のPES packetと画像信号伝送用のPES packetとを多重して送信する制御手順と
    をコンピュータに実行させるプログラム。
JP2015049332A 2015-03-12 2015-03-12 情報処理装置、通信システム、情報処理方法およびプログラム Expired - Fee Related JP6520242B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2015049332A JP6520242B2 (ja) 2015-03-12 2015-03-12 情報処理装置、通信システム、情報処理方法およびプログラム
TW105106170A TWI686067B (zh) 2015-03-12 2016-03-01 資訊處理設備、通訊系統、資訊處理方法、及程式
EP16715115.8A EP3269145B1 (en) 2015-03-12 2016-03-02 Information processing apparatus, communication system, information processing method and non-transitory computer readable medium
RU2017131104A RU2718117C2 (ru) 2015-03-12 2016-03-02 Устройство обработки информации, система связи, способ обработки информации и энергонезависимый считываемый компьютером носитель информации
US15/554,485 US10477268B2 (en) 2015-03-12 2016-03-02 Information processing apparatus, communication system, information processing method and non-transitory computer readable medium
SG11201707143XA SG11201707143XA (en) 2015-03-12 2016-03-02 Information processing apparatus, communication system, information processing method and non-transitory computer readable medium
MX2017011378A MX371488B (es) 2015-03-12 2016-03-02 Aparato de procesamiento de informacion, sistema de comunicaciones, metodo de procesamiento de informacion y medio legible por computadora no transitorio.
PCT/JP2016/001133 WO2016143304A1 (en) 2015-03-12 2016-03-02 Information processing apparatus, communication system, information processing method and non-transitory computer readable medium
ES16715115T ES2807827T3 (es) 2015-03-12 2016-03-02 Aparato de procesamiento de información, sistema de comunicación, método de procesamiento de información y medio legible por ordenador no transitorio
CN201680013780.0A CN107431829B (zh) 2015-03-12 2016-03-02 信息处理装置,通信系统,信息处理方法以及非暂态计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015049332A JP6520242B2 (ja) 2015-03-12 2015-03-12 情報処理装置、通信システム、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2016171428A true JP2016171428A (ja) 2016-09-23
JP2016171428A5 JP2016171428A5 (ja) 2017-02-23
JP6520242B2 JP6520242B2 (ja) 2019-05-29

Family

ID=55697405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015049332A Expired - Fee Related JP6520242B2 (ja) 2015-03-12 2015-03-12 情報処理装置、通信システム、情報処理方法およびプログラム

Country Status (10)

Country Link
US (1) US10477268B2 (ja)
EP (1) EP3269145B1 (ja)
JP (1) JP6520242B2 (ja)
CN (1) CN107431829B (ja)
ES (1) ES2807827T3 (ja)
MX (1) MX371488B (ja)
RU (1) RU2718117C2 (ja)
SG (1) SG11201707143XA (ja)
TW (1) TWI686067B (ja)
WO (1) WO2016143304A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020016810A (ja) * 2018-07-27 2020-01-30 セイコーエプソン株式会社 表示システムの制御方法、表示システムおよび表示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798731A (zh) * 2019-11-15 2020-02-14 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质
KR20210059177A (ko) 2019-11-15 2021-05-25 삼성전자주식회사 전자장치 및 그 제어방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177515A (ja) * 1997-12-10 1999-07-02 Sony Corp データ符号化装置、データ多重化装置及びデータ符号化多重化装置
JP2001266502A (ja) * 2000-03-17 2001-09-28 Sony Corp データ記録再生装置
JP2002176434A (ja) * 2000-12-06 2002-06-21 Hitachi Kokusai Electric Inc 映像・音声データ伝送方式
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Av同期システム
JP2007028212A (ja) * 2005-07-15 2007-02-01 Canon Inc 再生装置及び再生方法
JP2007259037A (ja) * 2006-03-23 2007-10-04 Seiko Epson Corp テレビ
WO2008047054A2 (fr) * 2006-10-18 2008-04-24 France Telecom Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias
JP2009111955A (ja) * 2007-11-01 2009-05-21 Panasonic Corp ストリーム再生装置
JP2011250476A (ja) * 2000-09-01 2011-12-08 Ncube Corp ストリーミング制約の変更に基づく動的品質調整
JP2012248979A (ja) * 2011-05-26 2012-12-13 Sony Corp 表示装置および方法、並びにプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968567B1 (en) * 1999-04-15 2005-11-22 Sedna Patent Services, Llc Latency reduction in providing interactive program guide
CN101310328A (zh) * 2005-10-13 2008-11-19 Lg电子株式会社 用于处理信号的方法和装置
WO2007072680A1 (ja) * 2005-12-20 2007-06-28 Matsushita Electric Industrial Co., Ltd. データ出力装置、機器制御装置およびマルチメディア配信システム
JP5119239B2 (ja) 2007-03-26 2013-01-16 パナソニック株式会社 デジタル放送受信装置
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
US9743119B2 (en) * 2012-04-24 2017-08-22 Skreens Entertainment Technologies, Inc. Video display system
WO2015031802A1 (en) * 2013-08-30 2015-03-05 Skreens Entertainment Technologies, Inc. Video display system
JP6509116B2 (ja) * 2012-08-28 2019-05-08 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. オーディオ転送デバイス及び対応する方法
JP5929719B2 (ja) 2012-11-12 2016-06-08 ソニー株式会社 情報処理装置、通信システムおよび情報処理方法
CN105340330B (zh) 2013-06-28 2019-07-26 Lg电子株式会社 用于在直接通信系统中搜索装置的方法及使用该方法的装置
US9819604B2 (en) * 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
JP6400280B2 (ja) * 2013-08-12 2018-10-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理システムおよび情報処理装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177515A (ja) * 1997-12-10 1999-07-02 Sony Corp データ符号化装置、データ多重化装置及びデータ符号化多重化装置
JP2001266502A (ja) * 2000-03-17 2001-09-28 Sony Corp データ記録再生装置
JP2011250476A (ja) * 2000-09-01 2011-12-08 Ncube Corp ストリーミング制約の変更に基づく動的品質調整
JP2002176434A (ja) * 2000-12-06 2002-06-21 Hitachi Kokusai Electric Inc 映像・音声データ伝送方式
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Av同期システム
JP2007028212A (ja) * 2005-07-15 2007-02-01 Canon Inc 再生装置及び再生方法
JP2007259037A (ja) * 2006-03-23 2007-10-04 Seiko Epson Corp テレビ
WO2008047054A2 (fr) * 2006-10-18 2008-04-24 France Telecom Procedes et dispositifs pour optimiser les ressources necessaires a la presentation de contenus multimedias
JP2009111955A (ja) * 2007-11-01 2009-05-21 Panasonic Corp ストリーム再生装置
JP2012248979A (ja) * 2011-05-26 2012-12-13 Sony Corp 表示装置および方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020016810A (ja) * 2018-07-27 2020-01-30 セイコーエプソン株式会社 表示システムの制御方法、表示システムおよび表示装置

Also Published As

Publication number Publication date
JP6520242B2 (ja) 2019-05-29
ES2807827T3 (es) 2021-02-24
US20180048933A1 (en) 2018-02-15
SG11201707143XA (en) 2017-09-28
MX2017011378A (es) 2018-01-25
TWI686067B (zh) 2020-02-21
RU2017131104A (ru) 2019-03-05
EP3269145A1 (en) 2018-01-17
RU2718117C2 (ru) 2020-03-30
CN107431829B (zh) 2021-05-07
MX371488B (es) 2020-01-31
CN107431829A (zh) 2017-12-01
TW201703482A (zh) 2017-01-16
EP3269145B1 (en) 2020-06-24
RU2017131104A3 (ja) 2019-06-04
US10477268B2 (en) 2019-11-12
WO2016143304A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6394677B2 (ja) 無線通信装置、通信システムおよび通信方法
JP6729372B2 (ja) 情報処理装置および情報処理方法
JP6897566B2 (ja) 装置及び方法
JP6750608B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015151962A1 (ja) 情報処理装置および情報処理方法
JP7037358B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015045525A1 (ja) 情報処理装置、通信方法およびプログラム
JP6620759B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016117194A1 (ja) 情報処理装置、通信システム、情報処理方法およびプログラム
JP6520242B2 (ja) 情報処理装置、通信システム、情報処理方法およびプログラム
JP6583291B2 (ja) 情報処理装置および情報処理方法
JP2009182524A (ja) 通信システムおよび通信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190415

R151 Written notification of patent or utility model registration

Ref document number: 6520242

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees