WO2015111289A1 - Decoding device, decoding method, encoding device, and encoding method - Google Patents

Decoding device, decoding method, encoding device, and encoding method Download PDF

Info

Publication number
WO2015111289A1
WO2015111289A1 PCT/JP2014/080362 JP2014080362W WO2015111289A1 WO 2015111289 A1 WO2015111289 A1 WO 2015111289A1 JP 2014080362 W JP2014080362 W JP 2014080362W WO 2015111289 A1 WO2015111289 A1 WO 2015111289A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
content
decoding
unit
capability
Prior art date
Application number
PCT/JP2014/080362
Other languages
French (fr)
Japanese (ja)
Inventor
吉村　司
英輝 石見
翔 天野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to AU2014379859A priority Critical patent/AU2014379859B2/en
Priority to CN201480073193.1A priority patent/CN105917658B/en
Priority to EP14880364.6A priority patent/EP3099080B1/en
Priority to JP2015558742A priority patent/JP6402723B2/en
Priority to US15/111,241 priority patent/US10575047B2/en
Publication of WO2015111289A1 publication Critical patent/WO2015111289A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227—Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Abstract

[Problem] To enable the appropriate replaying of content received from a plurality of source apparatuses in a sync apparatus without exceeding the decoding ability of the sync apparatus. [Solution] Provided is a decoding device provided with: a wireless communication unit that establishes a wireless connection between a plurality of encoding devices; a decoding unit that decodes content respectively received from the plurality of encoding devices via the wireless communication unit; a replaying unit that replays the plurality of content decoded by the decoding unit; and a control unit that controls encoding conditions for the content in the plurality of encoding devices in a manner such that the demanded decoding ability demanded by the set of content replayed by the replaying unit does not exceed the actual decoding ability of the decoding unit.

Description

復号装置、復号方法、符号化装置及び符号化方法Decoding device, decoding method, encoding device, and encoding method
　本開示は、復号装置、復号方法、符号化装置及び符号化方法に関する。 The present disclosure relates to a decoding device, a decoding method, an encoding device, and an encoding method.
　今日、様々な種類の電子機器が、マルチメディアコンテンツを符号化して伝送し、又は復号して再生する能力を有している。符号化されたコンテンツは、マルチメディアネットワーク上で伝送され、当該コンテンツを受信した機器により再生される。マルチメディアネットワークは、従来はＨＤＭＩ（High-Definition　Multimedia　Interface）などの有線通信技術を用いて形成されることが多かった。しかし、近年の無線通信技術の急速な発展の結果として、例えば無線ＬＡＮ（Local　Area　Network）などの無線通信ネットワークをマルチメディアコンテンツを伝送するために活用することも可能となった。 Today, various types of electronic devices have the ability to encode and transmit multimedia content or to decode and reproduce it. The encoded content is transmitted over the multimedia network and is played back by the device that has received the content. Conventionally, a multimedia network has often been formed using a wired communication technology such as HDMI (High-Definition Multimedia Interface). However, as a result of the rapid development of wireless communication technology in recent years, it has become possible to utilize a wireless communication network such as a wireless local area network (LAN) for transmitting multimedia contents.
　コンテンツを必要に応じて符号化してネットワークへ送出する機器は、一般に、ソース機器と呼ばれる。対照的に、ソース機器からコンテンツを受信して再生する機器は、シンク機器と呼ばれる。シンク機器がコンテンツを成功裏に再生するためには、シンク機器の能力及び通信環境などの条件に適合する形で符号化されたコンテンツを、ソース機器がネットワークへ送出することが重要である。そこで、特許文献１は、ソース機器に相当するコンテンツサーバがシンク機器に相当する端末の能力に合わせてコンテンツを符号化する際の符号化条件を制御する手法を提案している。 A device that encodes content as needed and sends it to a network is generally called a source device. In contrast, a device that receives and plays back content from a source device is called a sink device. In order for the sink device to successfully reproduce the content, it is important that the source device sends the content encoded in a form that conforms to conditions such as the capability of the sink device and the communication environment to the network. Therefore, Patent Document 1 proposes a method for controlling an encoding condition when a content server corresponding to a source device encodes content in accordance with the capability of a terminal corresponding to a sink device.
　非特許文献１は、Ｗｉ－Ｆｉアライアンスにより策定されたＷｉ－Ｆｉディスプレイの技術仕様書である。Ｗｉ－Ｆｉディスプレイは、Wi-Fi　CERTIFIED　MIRACAST（登録商標）とも呼ばれる。Ｗｉ－Ｆｉディスプレイは、アクセスポイントを介することなく無線ＬＡＮ機器同士で無線通信ネットワークを形成するためのＷｉ－Ｆｉダイレクトを基盤技術として採用し、高精細な映像コンテンツをソース機器からシンク機器へ伝送するためのプロトコルを定義する。非特許文献１において定義された機器間のメッセージングは、ＲＴＳＰ（Real　Time　Streaming　Protocol）に基づいている。例えば、ソース機器は、ＲＴＳＰのＭ３メッセージを用いてシンク機器の能力を問合せ、ＲＴＳＰのＭ４メッセージを用いてシンク機器の動作を設定することができる。 Non-Patent Document 1 is a technical specification of a Wi-Fi display formulated by the Wi-Fi Alliance. The Wi-Fi display is also called Wi-Fi CERTIFIED MIRACAST (registered trademark). The Wi-Fi display uses Wi-Fi Direct as a basic technology to form a wireless communication network between wireless LAN devices without going through an access point, and transmits high-definition video content from the source device to the sink device. Define a protocol for The messaging between devices defined in Non-Patent Document 1 is based on RTSP (Real Time Streaming Protocol). For example, the source device can inquire about the capability of the sink device using the RTSP M3 message, and can set the operation of the sink device using the RTSP M4 message.
特開２００９－２６０８１８号公報JP 2009-260818 A
　しかしながら、１つのシンク機器が異なるソース機器からそれぞれ受信される複数のコンテンツを再生しようとする場面において、コンテンツの符号化及び復号の条件をソース機器がマスタとなって制御する既存の手法は、不都合を生じさせる。例えば、あるソース機器がシンク機器によりサポートされる符号化方式でコンテンツを符号化してシンク機器へ送信したものとする。これと同時に、他のソース機器もまた同じ符号化方式で別のコンテンツを符号化してシンク機器へ送信し得る。しかし、その符号化方式でコンテンツを復号することのできる回路をシンク機器が１つしか有しなければ、シンク機器は、２つのソース機器から受信されるコンテンツを同時に再生することができない。こうした問題は、ハードウェアではなくソフトウェアで復号処理が実装されるケースにも存在する。 However, in a situation where one sink device tries to reproduce a plurality of contents received from different source devices, the existing method in which the source device controls the content encoding and decoding conditions as a master is inconvenient. Give rise to For example, it is assumed that a certain source device encodes content using an encoding method supported by the sink device and transmits the encoded content to the sink device. At the same time, another source device can also encode another content with the same encoding method and transmit it to the sink device. However, if the sink device has only one circuit that can decode the content by the encoding method, the sink device cannot simultaneously reproduce the content received from the two source devices. Such a problem also exists in the case where the decoding process is implemented not by hardware but by software.
　従って、複数のソース機器が存在することを前提として、コンテンツの符号化又は復号の条件をシンク機器において適切に制御することを可能とする仕組みが提供されることが望ましい。 Therefore, it is desirable to provide a mechanism that allows the sink device to appropriately control the content encoding or decoding conditions on the assumption that there are a plurality of source devices.
　本開示によれば、複数の符号化装置との間で無線接続を確立する無線通信部と、前記複数の符号化装置から前記無線通信部を介して受信されるコンテンツをそれぞれ復号する復号部と、前記復号部により復号される複数のコンテンツを再生する再生部と、前記再生部により再生されるコンテンツのセットにより要求される要求復号能力が前記復号部の実復号能力を超過しないように、前記複数の符号化装置におけるコンテンツの符号化条件を制御する制御部と、を備える復号装置が提供される。 According to the present disclosure, a wireless communication unit that establishes wireless connection with a plurality of encoding devices, and a decoding unit that respectively decodes content received from the plurality of encoding devices via the wireless communication unit, A reproduction unit that reproduces a plurality of contents decoded by the decoding unit, and a request decoding capability required by a set of content reproduced by the reproduction unit does not exceed an actual decoding capability of the decoding unit. There is provided a decoding device including a control unit that controls an encoding condition of content in a plurality of encoding devices.
　また、本開示によれば、復号装置により、複数の符号化装置から無線接続を介して受信されるコンテンツをそれぞれ復号することと、復号される複数のコンテンツを再生することと、再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置により、前記複数の符号化装置におけるコンテンツの符号化条件を制御することと、を含む復号方法が提供される。 Further, according to the present disclosure, the decoding device respectively decodes content received from a plurality of encoding devices via a wireless connection, reproduces a plurality of decoded content, and reproduced content. A decoding method comprising: controlling a content encoding condition in the plurality of encoding devices by the decoding device so that a requested decoding capability required by the set of the plurality of sets does not exceed an actual decoding capability of the decoding device. Is provided.
　また、本開示によれば、複数の装置から受信されるコンテンツをそれぞれ復号して再生する復号装置との間で無線接続を確立する無線通信部と、前記無線通信部を介して前記復号装置へ送信すべきコンテンツを符号化する符号化部と、前記復号装置により再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置から受信される制御メッセージに基づいて、前記符号化部におけるコンテンツの符号化条件を制御する制御部と、を備える符号化装置が提供される。 In addition, according to the present disclosure, a wireless communication unit that establishes a wireless connection with a decoding device that decodes and reproduces content received from a plurality of devices, and the decoding device via the wireless communication unit An encoding unit that encodes content to be transmitted, and a request decoding capability required by a set of content reproduced by the decoding device is received from the decoding device so as not to exceed the actual decoding capability of the decoding device. And a control unit that controls an encoding condition of the content in the encoding unit based on the control message.
　また、本開示によれば、複数の装置から受信されるコンテンツをそれぞれ復号して再生する復号装置へ無線接続を介してコンテンツを送信する符号化装置により、前記復号装置へ送信すべきコンテンツを符号化することと、前記復号装置により再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置から受信される制御メッセージに基づいて、前記符号化装置におけるコンテンツの符号化条件を制御することと、を含む符号化方法が提供される。 Further, according to the present disclosure, the content to be transmitted to the decoding device is encoded by the encoding device that transmits the content via a wireless connection to the decoding device that decodes and reproduces the content received from each of the plurality of devices. And based on a control message received from the decoding device, so that the requested decoding capability required by the set of content reproduced by the decoding device does not exceed the actual decoding capability of the decoding device, An encoding method including: controlling an encoding condition of content in an encoding device.
　本開示に係る技術によれば、シンク機器の復号能力を超過することなく、複数のソース機器から受信されるコンテンツをシンク機器において適切に再生することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。 According to the technique according to the present disclosure, it is possible to appropriately reproduce content received from a plurality of source devices on the sink device without exceeding the decoding capability of the sink device.
Note that the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
一実施形態に係るコンテンツ再生システムの概要について説明するための説明図である。It is explanatory drawing for demonstrating the outline | summary of the content reproduction system which concerns on one Embodiment. 一実施形態に係るシンク機器の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the sink device which concerns on one Embodiment. シンク機器の復号部の詳細な構成の第１の例を示すブロック図である。It is a block diagram which shows the 1st example of a detailed structure of the decoding part of a sink device. シンク機器の復号部の詳細な構成の第２の例を示すブロック図である。It is a block diagram which shows the 2nd example of a detailed structure of the decoding part of a sink device. シンク機器の映像再生部により出力される表示画像の構成の第１の例を示す説明図である。It is explanatory drawing which shows the 1st example of a structure of the display image output by the video reproduction part of a sink apparatus. シンク機器の映像再生部により出力される表示画像の構成の第２の例を示す説明図である。It is explanatory drawing which shows the 2nd example of a structure of the display image output by the video reproduction part of a sink device. シンク機器の映像再生部により出力される表示画像の構成の第３の例を示す説明図である。It is explanatory drawing which shows the 3rd example of a structure of the display image output by the video reproduction part of a sink device. 一実施形態に係るソース機器の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the source device which concerns on one Embodiment. 一実施形態に係るシンク機器により実行されるコンテンツ再生処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the content reproduction process performed by the sink device concerning one Embodiment. コンテンツ再生セットを更新するための更新処理の詳細な流れの一例を示すフローチャートである。It is a flowchart which shows an example of the detailed flow of the update process for updating a content reproduction set. 一実施形態に係るソース機器により実行されるコンテンツ送信処理の流れの一例を示すフローチャートである。It is a flowchart which shows an example of the flow of the content transmission process performed by the source device which concerns on one Embodiment. 符号化条件の制御に関連する例示的な第１の制御シナリオについて説明するための説明図である。It is explanatory drawing for demonstrating the example 1st control scenario relevant to control of an encoding condition. 符号化条件の制御に関連する例示的な第２の制御シナリオについて説明するための説明図である。It is explanatory drawing for demonstrating the 2nd example control scenario relevant to control of an encoding condition. 符号化条件の制御に関連する例示的な第３の制御シナリオについて説明するための説明図である。It is explanatory drawing for demonstrating the example 3rd control scenario relevant to control of an encoding condition. 符号化条件の制御に関連する例示的な第４の制御シナリオについて説明するための説明図である。It is explanatory drawing for demonstrating the example 4th control scenario relevant to control of an encoding condition. 符号化条件の制御に関連する例示的な第５の制御シナリオについて説明するための説明図である。It is explanatory drawing for demonstrating the example 5th control scenario relevant to control of an encoding condition. Ｗｉ－Ｆｉディスプレイにおける機器間のメッセージングの流れを概略的に示すシーケンス図である。It is a sequence diagram which shows roughly the flow of the messaging between the apparatuses in a Wi-Fi display. 図１４の能力交渉（Capability　Negotiation）手続における既存のメッセージングの流れの一例を示すシーケンス図である。FIG. 15 is a sequence diagram showing an example of an existing messaging flow in the capability negotiation procedure of FIG. 14. 第１の手法に従って拡張されたシンク機器とソース機器との間のメッセージングの流れの一例を示すシーケンス図である。It is a sequence diagram which shows an example of the flow of the messaging between the sink device extended according to the 1st method, and a source device. 第１の手法に従って拡張されたシンク機器とソース機器との間のメッセージングの流れの他の例を示すシーケンス図である。It is a sequence diagram which shows the other example of the flow of the messaging between the sink device extended according to the 1st method, and a source device. サービスが中断される場合のメッセージングの流れの一例を示すシーケンス図である。It is a sequence diagram which shows an example of the flow of messaging when a service is interrupted. 第２の手法に従って拡張されたシンク機器とソース機器との間のメッセージングの流れの一例を示すシーケンス図である。It is a sequence diagram which shows an example of the flow of messaging between the sink device extended according to the 2nd technique, and a source device. スマートフォンの概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a smart phone. カーナビゲーション装置の概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a car navigation apparatus.
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
　また、以下の順序で説明を行う。
　　１．システムの概要
　　２．シンク機器の構成例
　　３．ソース機器の構成例
　　４．処理の流れ
　　　４－１．シンク側の処理
　　　４－２．ソース側の処理
　　５．制御シナリオ
　　６．メッセージングシーケンス（Ｗｉ－Ｆｉディスプレイの例）
　　　６－１．概略的な流れ
　　　６－２．既存の能力交渉手続
　　　６－３．拡張されたメッセージングシーケンス（第１の手法）
　　　６－４．拡張されたメッセージングシーケンス（第２の手法）
　　７．応用例
　　８．まとめ The description will be given in the following order.
1. 1. System overview 2. Configuration example of sink device 3. Configuration example of source device Flow of processing 4-1. Processing on the sink side 4-2. 4. Processing on the source side Control scenario Messaging sequence (example of Wi-Fi display)
6-1. Schematic flow 6-2. Existing capacity negotiation procedures 6-3. Extended messaging sequence (first approach)
6-4. Extended messaging sequence (second approach)
7). Application example 8. Summary
　＜１．システムの概要＞
　図１は、一実施形態に係るコンテンツ再生システム１の概要について説明するための説明図である。コンテンツ再生システム１は、シンク機器１００、ソース機器２００ａ、ソース機器２００ｂ、ソース機器２００ｃ及びソース機器２００ｄを含む。シンク機器１００は、ソース機器２００ａ、ソース機器２００ｂ、ソース機器２００ｃ及びソース機器２００ｄとの間でそれぞれ無線接続を確立する。 <1. System overview>
FIG. 1 is an explanatory diagram for explaining an overview of a content reproduction system 1 according to an embodiment. The content reproduction system 1 includes a sink device 100, a source device 200a, a source device 200b, a source device 200c, and a source device 200d. The sink device 100 establishes a wireless connection with each of the source device 200a, the source device 200b, the source device 200c, and the source device 200d.
　シンク機器は、ソース機器から受信されるコンテンツを復号し、復号したコンテンツを再生する装置である。図１の例では、シンク機器１００は、デジタルテレビジョン装置である。ソース機器は、コンテンツを必要に応じて符号化し、符号化したコンテンツをシンク機器へ送信する装置である。コンテンツ再生システム１において、ソース機器からシンク機器へ送信されるコンテンツは、典型的には、映像コンテンツ及び音声コンテンツの少なくとも一方を含む。図１の例では、ソース機器２００ａは、“ＤＶＣ１”という識別子を有するデジタルビデオカメラである。ソース機器２００ｂは、“ＳＭＰ１”という識別子を有するスマートフォンである。ソース機器２００ｃは、“ＶＤＲ１”という識別子を有するコンテンツレコーダである。ソース機器２００ｄは、“ＴＢＬ１”という識別子を有するタブレットＰＣ（Personal　Computer）である。なお、本開示に係る技術は、図示された例に限定されず、例えば、デスクトップＰＣ、ラップトップＰＣ、ＰＤＡ（Personal　Digital　Assistant）、携帯電話、ゲーム機器、ウェアラブルデバイス又はストレージデバイスなどの、任意の種類のシンク機器及びソース機器に適用可能である。本明細書の以下の説明において、ソース機器２００ａ、ソース機器２００ｂ、ソース機器２００ｃ及びソース機器２００ｄを互いに区別する必要の無い場合には、これらをソース機器２００と総称する。 The sink device is a device that decrypts the content received from the source device and reproduces the decrypted content. In the example of FIG. 1, the sink device 100 is a digital television device. The source device is a device that encodes content as necessary and transmits the encoded content to the sink device. In the content reproduction system 1, the content transmitted from the source device to the sink device typically includes at least one of video content and audio content. In the example of FIG. 1, the source device 200a is a digital video camera having an identifier “DVC1”. The source device 200b is a smartphone having an identifier “SMP1”. The source device 200c is a content recorder having an identifier “VDR1”. The source device 200d is a tablet PC (Personal Computer) having an identifier “TBL1”. The technology according to the present disclosure is not limited to the illustrated example. For example, any technology such as a desktop PC, a laptop PC, a PDA (Personal Digital Assistant), a mobile phone, a game device, a wearable device, or a storage device may be used. Applicable to various types of sink devices and source devices. In the following description of this specification, when it is not necessary to distinguish the source device 200a, the source device 200b, the source device 200c, and the source device 200d from each other, these are collectively referred to as the source device 200.
　シンク機器１００とソース機器２００との間の無線接続は、例えば、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ又は１１ａｄなどの無線ＬＡＮ（Local　Area　Network）方式、ＵＷＢ（Ultra　Wideband）若しくはＺｉｇｂｅｅなどの無線ＰＡＮ（Personal　Area　Network）方式、又はＩＥＥＥ８０２．１６などの無線ＭＡＮ（Metropolitan　Area　Network）方式といった、任意の種類の無線通信方式に従って形成されてよい。また、シンク機器１００とソース機器２００との間に、無線アクセスポイントなどの中間的な機器が介在してもしなくてもよい。なお、以下の説明では、一例として、シンク機器１００とソース機器２００とが無線ＬＡＮ方式で接続され、無線ＬＡＮ接続上でＷｉ－Ｆｉディスプレイのメッセージング仕様に従ってコンテンツが伝送されるものとする。この場合、無線ＬＡＮ接続は、Ｗｉ－Ｆｉダイレクトを用いて、又はＴＤＬＳ（Tunneled　Direct　Link　Setup）と呼ばれる接続プロトコルを用いて、シンク機器１００とソース機器２００との間で確立され得る。さらに、シンク機器１００とソース機器２００との間で、ユーザ入力情報を交換するための制御チャネルが形成されてもよい。当該制御チャネルは、例えば、ＴＣＰ／ＩＰ（Transmission　Control　Protocol/Internet　Protocol）ベースのＵＩＢＣ（User　Input　Back　Channel）であってもよい。なお、Ｗｉ－Ｆｉディスプレイの代わりに、例えば、ＶＮＣ（Virtual　Network　Computing）などの他のリモートデスクトップアプリケーションを用いて、コンテンツが伝送されてもよい。 The wireless connection between the sink device 100 and the source device 200 is, for example, a wireless LAN (Local Area Network) system such as IEEE802.11a, 11b, 11g, 11n, 11ac, or 11ad, UWB (Ultra Wideband), or Zigbee. It may be formed according to any type of wireless communication method such as a wireless PAN (Personal Area Network) method or a wireless MAN (Metropolitan Area Network) method such as IEEE 802.16. Further, an intermediate device such as a wireless access point may or may not be interposed between the sink device 100 and the source device 200. In the following description, as an example, it is assumed that the sink device 100 and the source device 200 are connected by a wireless LAN system, and content is transmitted according to the Wi-Fi display messaging specification over the wireless LAN connection. In this case, the wireless LAN connection can be established between the sink device 100 and the source device 200 using Wi-Fi Direct or using a connection protocol called TDLS (Tunneled Direct Link Setup). Furthermore, a control channel for exchanging user input information may be formed between the sink device 100 and the source device 200. The control channel may be, for example, a TCP / IP (Transmission Control Protocol / Internet Protocol) -based UIBC (User Input Back Channel). Note that the content may be transmitted using another remote desktop application such as VNC (Virtual Network Computing) instead of the Wi-Fi display.
　ソース機器２００は、例えば、カメラで被写体を撮影することにより取得される映像コンテンツ又はマイクロフォンで実世界の音声を集音することにより取得される音声コンテンツを、シンク機器へ提供してもよい。また、ソース機器２００は、リモートデバイスからネットワークを介して受信されるコンテンツを、シンク機器へ提供してもよい。また、ソース機器２００は、ストレージデバイス（例えば、ハードディスクドライブ）から読み出されるコンテンツを、シンク機器へ提供してもよい。一方、本実施形態において、シンク機器１００は、複数のソース機器２００からコンテンツを並列的に受信し、受信したコンテンツを必要に応じて復号してそれぞれ再生する。 The source device 200 may provide, for example, video content acquired by shooting a subject with a camera or audio content acquired by collecting real-world audio with a microphone to the sink device. Further, the source device 200 may provide content received from the remote device via the network to the sink device. Further, the source device 200 may provide content read from the storage device (for example, a hard disk drive) to the sink device. On the other hand, in the present embodiment, the sink device 100 receives content from a plurality of source devices 200 in parallel, decodes the received content as necessary, and reproduces the content.
　既存の手法では、通常、コンテンツの符号化及び復号の条件は、主にソース機器により制御される。しかし、シンク機器１００が異なるソース機器２００からそれぞれ受信される複数のコンテンツを再生しようとする場面では、そのようなソース側での制御は不都合を生じさせる。例えば、ソース機器２００ａがシンク機器１００によりサポートされる符号化方式でコンテンツを符号化して、符号化したコンテンツをシンク機器１００へ送信したものとする。これと同時に、ソース機器２００ｂ、２００ｃ又は２００ｄもまた、同じ符号化方式で別のコンテンツを符号化して、符号化したコンテンツをシンク機器１００へ送信し得る。しかし、その符号化方式でコンテンツを復号することのできる回路を１つしかシンク機器１００が有しなければ（又はその符号化方式で２つのコンテンツを並列的に復号可能なプロセッサ性能をシンク機器１００が有しなければ）、シンク機器は、それらソース機器から受信されるコンテンツを同時に再生することができない。このような不都合を解消し又は軽減するために、複数のソース機器が存在することを前提として、コンテンツの符号化又は復号の条件をシンク機器において制御することを可能とする仕組みが実現されることが望ましい。そうした仕組みに関連する実施形態について、次節より詳細に説明する。 In existing methods, the content encoding and decoding conditions are usually controlled mainly by the source device. However, when the sink device 100 tries to reproduce a plurality of contents received from different source devices 200, such control on the source side causes inconvenience. For example, it is assumed that the source device 200a encodes content using an encoding method supported by the sink device 100, and transmits the encoded content to the sink device 100. At the same time, the source device 200b, 200c, or 200d can also encode another content using the same encoding method, and transmit the encoded content to the sink device 100. However, if the sink device 100 has only one circuit that can decode the content by the encoding method (or the sink device 100 has a processor performance capable of decoding two contents in parallel by the encoding method). If not, the sink device cannot play back the content received from these source devices at the same time. In order to eliminate or alleviate such inconvenience, a mechanism is realized that enables the sink device to control the content encoding or decoding conditions on the premise that there are a plurality of source devices. Is desirable. Embodiments related to such a mechanism will be described in detail in the next section.
　＜２．シンク機器の構成例＞
　図２は、一実施形態に係るシンク機器１００の構成の一例を示すブロック図である。図２を参照すると、シンク機器１００は、無線通信部１１０、ストリーム取得部１２０、復号部１３０、映像再生部１４０、音声再生部１５０、再生制御部１６０、記憶部１７０及びユーザインタフェース部１８０を備える。 <2. Configuration example of sink device>
FIG. 2 is a block diagram illustrating an example of the configuration of the sink device 100 according to an embodiment. Referring to FIG. 2, the sink device 100 includes a wireless communication unit 110, a stream acquisition unit 120, a decoding unit 130, a video playback unit 140, an audio playback unit 150, a playback control unit 160, a storage unit 170, and a user interface unit 180. .
　　　（１）無線通信部
　無線通信部１１０は、シンク機器１００による他の装置との間の無線通信を仲介する無線インタフェースである。本実施形態において、無線通信部１１０は、複数のソース機器（コンテンツを符号化する符号化装置）２００との間で無線接続を確立する。そして、無線通信部１１０は、無線接続上でソース機器２００により送信されるコンテンツデータを含む無線信号を、アンテナを介して受信する。無線通信部１１０は、コンテンツデータを含む受信信号をストリーム取得部１２０へ出力する。また、無線通信部１１０は、ソース機器２００との間で、制御メッセージを含む無線信号をも送受信し得る。ソース機器２００へ送信される制御メッセージは、後に説明する再生制御部１６０により生成される。また、ソース機器２００から受信される制御メッセージは、再生制御部１６０により解釈される。 (1) Wireless Communication Unit The wireless communication unit 110 is a wireless interface that mediates wireless communication between the sink device 100 and other devices. In the present embodiment, the wireless communication unit 110 establishes a wireless connection with a plurality of source devices (encoding devices that encode content) 200. Then, the wireless communication unit 110 receives a wireless signal including content data transmitted by the source device 200 via a wireless connection via an antenna. The wireless communication unit 110 outputs a reception signal including content data to the stream acquisition unit 120. In addition, the wireless communication unit 110 can transmit and receive a wireless signal including a control message to and from the source device 200. The control message transmitted to the source device 200 is generated by the reproduction control unit 160 described later. Further, the control message received from the source device 200 is interpreted by the playback control unit 160.
　無線通信部１１０は、伝送レートの互いに異なる複数の周波数チャネルを並列的に又は選択的に使用可能であってもよい。複数の周波数チャネルとは、例えば、２．４ＧＨｚ、５ＧＨｚ及び６０ＧＨｚの伝送レートをそれぞれ有するチャネルであってもよい。無線通信部１１０は、後に説明する再生制御部１６０による割当てに従って、各ソース機器２００からのコンテンツの受信のために使用すべき周波数チャネルを切り替え得る。典型的には、高ビットレートのコンテンツ（例えば、マルチフレームのメインウィンドウに表示されるコンテンツ）は伝送レートの高いチャネルで伝送され、低ビットレートのコンテンツ（例えば、マルチフレームのサブウィンドウに表示されるコンテンツ）は伝送レートの低いチャネルで伝送され得る。無線通信部１１０は、各周波数チャネルの接続品質を測定し、測定結果を示す品質指標（例えば、受信信号強度又はＳＮＲ（Signal-to-Noise　Ratio）など）を再生制御部１６０へ出力してもよい。 The wireless communication unit 110 may be able to use a plurality of frequency channels having different transmission rates in parallel or selectively. The plurality of frequency channels may be channels having transmission rates of 2.4 GHz, 5 GHz, and 60 GHz, respectively. The radio communication unit 110 can switch the frequency channel to be used for receiving content from each source device 200 according to the assignment by the reproduction control unit 160 described later. Typically, high bit rate content (eg, content displayed in a multi-frame main window) is transmitted on a channel with a high transmission rate and low bit rate content (eg, displayed in a multi-frame sub-window). Content) can be transmitted on a channel with a low transmission rate. The wireless communication unit 110 measures the connection quality of each frequency channel and outputs a quality index (for example, received signal strength or SNR (Signal-to-Noise Ratio)) indicating the measurement result to the reproduction control unit 160. Good.
　　　（２）ストリーム取得部
　ストリーム取得部１２０は、無線通信部１１０から入力される受信信号から、再生すべきコンテンツ（例えば、映像コンテンツ又は音声コンテンツ）のビットストリームを取得する。そして、ストリーム取得部１２０は、再生すべきコンテンツについて取得したビットストリームを、復号部１３０へ出力する。 (2) Stream Acquisition Unit The stream acquisition unit 120 acquires a bit stream of content to be reproduced (for example, video content or audio content) from the received signal input from the wireless communication unit 110. Then, the stream acquisition unit 120 outputs the bit stream acquired for the content to be reproduced to the decoding unit 130.
　ストリーム取得部１２０は、各ストリームについて無線接続の接続品質を評価するための品質指標（例えばＢＥＲ（Bit　Error　Rate）又はＰＥＲ（Packet　Error　Rate）など）を測定し、当該品質指標を再生制御部１６０へ出力してもよい。 The stream acquisition unit 120 measures a quality index (for example, BER (Bit Error Rate) or PER (Packet Error Rate)) for evaluating the connection quality of the wireless connection for each stream, and uses the quality index as the playback control unit 160. May be output.
　　　（３）復号部
　復号部１３０は、１つ以上のソース機器２００から受信されるコンテンツのビットストリームから、コンテンツをそれぞれ復号する。復号部１３０は、映像コンテンツを復号した場合には、復号した映像コンテンツを映像再生部１４０へ出力する。また、復号部１３０は、音声コンテンツを復号した場合には、復号した音声コンテンツを音声再生部１５０へ出力する。復号部１３０は、複数のコンテンツを並列的に復号することができる。コンテンツが圧縮符号化されている場合には、復号部１３０における復号処理を通じて、当該コンテンツは伸長される。 (3) Decoding Unit The decoding unit 130 decodes each content from the bit stream of the content received from one or more source devices 200. When the video content is decoded, the decoding unit 130 outputs the decoded video content to the video reproduction unit 140. In addition, when the audio content is decoded, the decoding unit 130 outputs the decoded audio content to the audio reproduction unit 150. The decryption unit 130 can decrypt a plurality of contents in parallel. When the content is compression-encoded, the content is expanded through the decoding process in the decoding unit 130.
　図３Ａは、シンク機器１００の復号部１３０の詳細な構成の第１の例を示すブロック図である。第１の例において、復号部１３０は、第１の映像復号回路１３１、第２の映像復号回路１３２、第３の映像復号回路１３３及び音声復号回路１３６を有する。第１の映像復号回路１３１は、例えば、ビデオコーデックとしてＨ．２６５／ＨＥＶＣをサポートする復号回路である。第２の映像復号回路１３２及び第３の映像復号回路１３３は、例えば、ビデオコーデックとしてＨ．２６４／ＡＶＣをサポートする復号回路である。音声復号回路１３６は、ＡＡＣ、ＭＰ３又はＬＰＣＭなどのオーディオコーデックをサポートする復号回路である。第１の例において、復号部１３０の実復号能力は、これら復号回路の全体としての能力（capabilities）に相当する。実復号能力は、復号回路の数、並びに各復号回路によりサポートされるコーデック種別、解像度、レート（フレームレート又はサンプリングレートなど）及び品質レベル（ビット深度又は量子化ステップなど）のうち少なくとも１つにより表現され得る。 FIG. 3A is a block diagram illustrating a first example of a detailed configuration of the decoding unit 130 of the sink device 100. In the first example, the decoding unit 130 includes a first video decoding circuit 131, a second video decoding circuit 132, a third video decoding circuit 133, and an audio decoding circuit 136. The first video decoding circuit 131 is, for example, H.264 as a video codec. It is a decoding circuit that supports H.265 / HEVC. The second video decoding circuit 132 and the third video decoding circuit 133 are, for example, H.264 as a video codec. This is a decoding circuit that supports H.264 / AVC. The audio decoding circuit 136 is a decoding circuit that supports an audio codec such as AAC, MP3, or LPCM. In the first example, the actual decoding capability of the decoding unit 130 corresponds to the overall capabilities of these decoding circuits. The actual decoding capability depends on at least one of the number of decoding circuits and the codec type, resolution, rate (such as frame rate or sampling rate) and quality level (such as bit depth or quantization step) supported by each decoding circuit. Can be expressed.
　図３Ｂは、シンク機器１００の復号部１３０の詳細な構成の第２の例を示すブロック図である。第２の例において、復号部１３０は、プロセッサにより構成され、当該プロセッサはメモリ（図示せず）から読み込まれるソフトウェアモジュールを実行する。復号部１３０により実行されるソフトウェアモジュールは、例えば、映像復号モジュール１３４及び音声復号モジュール１３７を含む。映像復号モジュール１３４は、ビデオコーデックとしてＨ．２６５／ＨＥＶＣ及びＨ．２６４／ＡＶＣをサポートし得る。音声復号モジュール１３７は、オーディオコーデックとしてＡＡＣ、ＭＰ３又はＬＰＣＭなどをサポートし得る。第２の例において、復号部１３０の実復号能力は、プロセッサ性能に依存する。コンテンツを復号するために要求されるプロセッサ性能は、復号されるコンテンツのコーデック種別、解像度、レート及び品質レベルなどの復号条件に依存し得る。 FIG. 3B is a block diagram illustrating a second example of a detailed configuration of the decoding unit 130 of the sink device 100. In the second example, the decoding unit 130 is configured by a processor, and the processor executes a software module read from a memory (not shown). The software modules executed by the decoding unit 130 include a video decoding module 134 and an audio decoding module 137, for example. The video decoding module 134 is an H.264 video codec. H.265 / HEVC and H.264. H.264 / AVC may be supported. The audio decoding module 137 may support AAC, MP3, LPCM, or the like as an audio codec. In the second example, the actual decoding capability of the decoding unit 130 depends on the processor performance. The processor performance required to decode the content may depend on decoding conditions such as the codec type, resolution, rate, and quality level of the content to be decoded.
　なお、復号部１３０の構成は、上述した例に限定されない。復号部１３０は、より多くの又はより少ない復号回路を有していてもよい。また、復号部１３０は、ハードウェアとしての復号回路、並びに映像復号用及び音声復号用のソフトウェアモジュールを実行するプロセッサ、の双方を有していてもよい。また、復号部１３０は、上で例示したものとは異なるコーデック種別をサポートしていてもよい。 Note that the configuration of the decoding unit 130 is not limited to the above-described example. The decoding unit 130 may have more or fewer decoding circuits. Further, the decoding unit 130 may include both a decoding circuit as hardware and a processor that executes software modules for video decoding and audio decoding. Further, the decoding unit 130 may support a codec type different from that exemplified above.
　　　（４）映像再生部
　映像再生部１４０及び音声再生部１５０は、復号部１３０により復号される複数のコンテンツを再生するために使用される。映像再生部１４０は、復号部１３０により復号される映像コンテンツの各フレームをディスプレイへ順次出力する。複数の映像コンテンツが並列的に復号される場合、映像再生部１４０は、例えば、それら映像コンテンツのフレームを１つの画像へマージ（又はブレンディング）し、マルチフレームの表示画像をディスプレイへ出力し得る。 (4) Video Reproducing Unit The video reproducing unit 140 and the audio reproducing unit 150 are used for reproducing a plurality of contents decoded by the decoding unit 130. The video reproduction unit 140 sequentially outputs each frame of the video content decoded by the decoding unit 130 to the display. When a plurality of video contents are decoded in parallel, the video playback unit 140 may, for example, merge (or blend) the frames of the video contents into one image and output a multi-frame display image to the display.
　図４Ａは、シンク機器１００の映像再生部１４０によりディスプレイへ出力される表示画像の構成の第１の例を示す説明図である。図４Ａを参照すると、表示画像１４２は、メインウィンドウ１４５ａ、サブウィンドウ１４５ｂ、サブウィンドウ１４５ｃ及び待機機器用ウィンドウ１４６を含む。メインウィンドウ１４５ａは、ユーザ入力に基づいて選択され得るメインコンテンツを表示するためのウィンドウである。サブウィンドウ１４５ｂ及びサブウィンドウ１４５ｃは、メインコンテンツと並列的に復号され得るサブコンテンツをそれぞれ表示するためのウィンドウである。メインコンテンツ及びサブコンテンツは、コンテンツ再生セットを構成する。待機機器用ウィンドウ１４６は、再生中のコンテンツをシンク機器１００へ提供していないものの、シンク機器１００との間の無線接続がその時点で維持されているソース機器２００のリスト（以下、待機リストという）を表示するためのウィンドウである。図４Ａの例では、メインウィンドウ１４５ａにソース機器２００ａから受信されたコンテンツが、サブウィンドウ１４５ｂにソース機器２００ｂから受信されたコンテンツが、サブウィンドウ１４５ｃにソース機器２００ｃから受信されたコンテンツがそれぞれ表示されている。一方、ソース機器２００ｄからのコンテンツは再生されておらず、ソース機器２００ｄのアイコン（及び当該機器を識別する識別子）が待機機器用ウィンドウ１４６に表示されている。 FIG. 4A is an explanatory diagram illustrating a first example of a configuration of a display image output to the display by the video reproduction unit 140 of the sink device 100. FIG. Referring to FIG. 4A, the display image 142 includes a main window 145a, a sub window 145b, a sub window 145c, and a standby device window 146. The main window 145a is a window for displaying main content that can be selected based on user input. The sub window 145b and the sub window 145c are windows for displaying sub contents that can be decoded in parallel with the main content. The main content and the sub content constitute a content reproduction set. The standby device window 146 is a list of source devices 200 (hereinafter referred to as a standby list) in which wireless connection with the sink device 100 is maintained at that time, although the content being played back is not provided to the sink device 100. ) Is a window for displaying. In the example of FIG. 4A, the content received from the source device 200a is displayed in the main window 145a, the content received from the source device 200b is displayed in the subwindow 145b, and the content received from the source device 200c is displayed in the subwindow 145c. . On the other hand, the content from the source device 200d is not reproduced, and the icon of the source device 200d (and an identifier for identifying the device) is displayed in the standby device window 146.
　図４Ｂは、シンク機器１００の映像再生部１４０によりディスプレイへ出力される表示画像の構成の第２の例を示す説明図である。図４Ｂを参照すると、第１のディスプレイへ出力される表示画像１４３ａ及び第２のディスプレイへ出力される表示画像１４３ｂが示されている。表示画像１４３ａは、メインウィンドウ１４５ａを含む。表示画像１４３ｂは、サブウィンドウ１４５ｂ、サブウィンドウ１４５ｃ及び待機機器用ウィンドウ１４６を含む。このように、映像再生部１４０は、複数のディスプレイへ別個の表示画像を出力可能であってもよい。また、これら表示画像の各々は、どういった数の及びどういった種類のウィンドウを含んでいてもよい。 FIG. 4B is an explanatory diagram illustrating a second example of a configuration of a display image output to the display by the video reproduction unit 140 of the sink device 100. Referring to FIG. 4B, a display image 143a output to the first display and a display image 143b output to the second display are shown. The display image 143a includes a main window 145a. The display image 143b includes a sub window 145b, a sub window 145c, and a standby device window 146. Thus, the video reproduction unit 140 may be able to output separate display images to a plurality of displays. Each of these display images may include any number and type of windows.
　図４Ｃは、シンク機器１００の映像再生部１４０によりディスプレイへ出力される表示画像の構成の第３の例を示す説明図である。図４Ｃを参照すると、表示画像１４４は、メインウィンドウ１４５ａ、サブウィンドウ１４５ｂ及びサブウィンドウ１４５ｃを含む一方、図４Ａ及び図４Ｂに示したような待機機器用ウィンドウ１４６を含まない。このように、待機機器用ウィンドウ（又は待機リスト）を表示することは必須ではない。 FIG. 4C is an explanatory diagram illustrating a third example of a configuration of a display image output to the display by the video reproduction unit 140 of the sink device 100. Referring to FIG. 4C, the display image 144 includes a main window 145a, a sub window 145b, and a sub window 145c, but does not include the standby device window 146 as illustrated in FIGS. 4A and 4B. Thus, it is not essential to display the standby device window (or standby list).
　なお、ディスプレイは、シンク機器１００と一体的に構成されてもよく、又は交換可能な方式でシンク機器１００に接続されてもよい。映像再生部１４０は、所望のウィンドウ構成と出力先のディスプレイの仕様とに合わせて、再生される映像コンテンツの表示属性（例えば、フレームサイズなど）を調整し得る。ディスプレイとして、モニタ又はプロジェクタが利用されてもよい。 The display may be configured integrally with the sink device 100, or may be connected to the sink device 100 in a replaceable manner. The video playback unit 140 can adjust the display attributes (eg, frame size) of the video content to be played in accordance with the desired window configuration and the specifications of the output destination display. A monitor or projector may be used as the display.
　　　（５）音声再生部
　音声再生部１５０は、復号部１３０により復号される音声コンテンツの音声信号をスピーカへ順次出力する。音声再生部１５０により再生されるコンテンツは、メインコンテンツ若しくはサブコンテンツである映像コンテンツに付随する音声コンテンツであってもよく、又は映像コンテンツとは関連しない別個の音声コンテンツであってもよい。 (5) Audio Reproducing Unit The audio reproducing unit 150 sequentially outputs the audio signal of the audio content decoded by the decoding unit 130 to the speaker. The content played back by the audio playback unit 150 may be audio content associated with video content that is main content or sub-content, or may be separate audio content not related to the video content.
　　　（６）再生制御部
　再生制御部１６０は、映像再生部１４０及び音声再生部１５０により再生されるコンテンツのセット（コンテンツ再生セット）により要求される要求復号能力が復号部１３０の実復号能力を超過しないように、それらコンテンツの送信元の複数のソース機器２００におけるコンテンツの符号化条件を制御する。コンテンツ再生セットは、典型的には、ユーザインタフェース部１８０を介して取得されるユーザ入力に基づいて、生成され及び更新され得る。再生制御部１６０は、最初に生成され又は更新された最新のコンテンツ再生セットについて要求復号能力を決定し、決定した要求復号能力を復号部１３０の実復号能力と比較する。要求復号能力が実復号能力を超過しない場合には、再生制御部１６０は、コンテンツ再生セット及びその符号化条件をそのまま維持し得る。要求復号能力が実復号能力を超過する場合、再生制御部１６０は、要求復号能力を引き下げるために、少なくとも１つのソース機器２００における符号化条件を変更する。 (6) Playback Control Unit The playback control unit 160 has the requested decoding capability required by the content set (content playback set) played by the video playback unit 140 and the audio playback unit 150 exceeds the actual decoding capability of the decoding unit 130. In such a case, the content encoding conditions in the plurality of source devices 200 that are the transmission sources of the content are controlled. A content playback set may typically be generated and updated based on user input obtained via the user interface unit 180. The playback control unit 160 determines the requested decoding capability for the latest content playback set that is initially generated or updated, and compares the determined requested decoding capability with the actual decoding capability of the decoding unit 130. When the requested decoding capability does not exceed the actual decoding capability, the playback control unit 160 can maintain the content playback set and its encoding conditions as they are. When the requested decoding capability exceeds the actual decoding capability, the reproduction control unit 160 changes the encoding condition in at least one source device 200 in order to lower the requested decoding capability.
　ソース機器２００における符号化条件を適切に決定することを可能とするために、再生制御部１６０は、ソース機器２００の各々の符号化能力（encoding　capabilities）を予め把握する。より具体的には、再生制御部１６０は、無線通信部１１０を介してソース機器２００の各々へ能力問合せメッセージを送信することにより、各ソース機器２００から符号化能力情報を収集し、収集した符号化能力情報を記憶部１７０に記憶させる。そして、再生制御部１６０は、収集したソース機器２００の各々の符号化能力情報により許容される範囲内で、ソース機器２００における符号化条件を決定する。 In order to make it possible to appropriately determine the encoding conditions in the source device 200, the reproduction control unit 160 grasps in advance the encoding capabilities of the source device 200. More specifically, the playback control unit 160 collects encoding capability information from each source device 200 by transmitting a capability inquiry message to each of the source devices 200 via the wireless communication unit 110, and collects the collected code Information is stored in the storage unit 170. Then, the reproduction control unit 160 determines the encoding condition in the source device 200 within a range allowed by the collected encoding capability information of the source device 200.
　例えば、非特許文献１において定義されたＷｉ－Ｆｉディスプレイの仕様は、ソース機器からシンク機器へ復号能力情報を問合せるためのメッセージを定義している一方で、シンク機器からソース機器へ符号化能力を問合せるためのメッセージを定義していない。これは、既存の手法において、通常、コンテンツの符号化及び復号の条件が、主にソース機器により制御されるためである。これに対し、本実施形態では、後に詳しく説明するように、シンク機器１００からソース機器２００へ符号化能力を問合せるための能力問合せメッセージが導入される。それにより、シンク機器１００がマスタとして複数のソース機器２００における符号化条件を統合的に制御することが可能となる。 For example, the Wi-Fi display specification defined in Non-Patent Document 1 defines a message for inquiring decoding capability information from the source device to the sink device, while the encoding capability from the sink device to the source device is defined. A message to query is not defined. This is because, in existing methods, the content encoding and decoding conditions are usually controlled mainly by the source device. On the other hand, in this embodiment, as will be described in detail later, a capability inquiry message for inquiring the encoding capability from the sink device 100 to the source device 200 is introduced. Thereby, the sink device 100 can control the encoding conditions in the plurality of source devices 200 as a master.
　符号化条件は、各ソース機器２００において使用されるコーデック種別、解像度、レート及び品質レベルのうち少なくとも１つに関する条件であってよい。例えば、再生制御部１６０は、Ｈ．２６５／ＨＥＶＣをサポートする復号回路が要求に対して不足している一方で、Ｈ．２６４／ＡＶＣをサポートする復号回路に空きがある場合に、Ｈ．２６５／ＨＥＶＣでコンテンツを符号化しているソース機器２００の符号化条件をＨ．２６４／ＡＶＣに変更し得る。また、再生制御部１６０は、復号部１３０のプロセッサ性能が要求に対して不足している場合に、より低い解像度、より低いレート又はより低い品質レベルでコンテンツを符号化することをソース機器２００に要求し得る。それにより、要求復号能力を実復号能力に適合させることができる。こうした符号化条件の変更は、ソース機器２００が変更後の符号化条件でコンテンツを符号化し又は送信する能力を有していることを符号化能力情報が示している場合に許容される。 The encoding condition may be a condition related to at least one of the codec type, resolution, rate, and quality level used in each source device 200. For example, the playback controller 160 may While decoding circuits supporting H.265 / HEVC are lacking in demand, H.264 / AVC, when there is a vacancy in the decoding circuit. The encoding condition of the source device 200 that encodes the content with H.265 / HEVC is H.265. It can be changed to H.264 / AVC. In addition, when the processor performance of the decoding unit 130 is insufficient for the request, the reproduction control unit 160 informs the source device 200 to encode the content at a lower resolution, a lower rate, or a lower quality level. Can be requested. Thereby, the required decoding capability can be adapted to the actual decoding capability. Such a change in the encoding condition is allowed when the encoding capability information indicates that the source device 200 has the ability to encode or transmit the content with the changed encoding condition.
　コーデック種別は、圧縮符号化方式のみならず、無圧縮方式を含んでもよい。無圧縮方式での伝送は、伝送されるコンテンツが高ビットレートとなるために伝送レートの高い無線接続上でしか行われないものの、圧縮符号化方式と比較するとエンコーダ及びデコーダへほとんど負荷を与えない。そこで、再生制御部１６０は、符号化能力情報によって許容される限りにおいて、要求復号能力が実復号能力を超過する場合に、特定のコーデック種別でコンテンツを符号化しているソース機器２００に、当該コンテンツを圧縮符号化することなく送信することを要求してもよい。再生制御部１６０は、割当てられる周波数チャネルの伝送レート又は接続品質に応じて、ソース機器２００に適用すべきコーデック種別を圧縮符号化方式と無圧縮方式との間で切り替えてもよい。 The codec type may include not only the compression encoding method but also the non-compression method. Although transmission in the uncompressed format is performed only on a wireless connection with a high transmission rate because the content to be transmitted has a high bit rate, there is almost no load on the encoder and decoder compared with the compression encoding method. . Therefore, as long as the requested decoding capability exceeds the actual decoding capability as long as permitted by the encoding capability information, the playback control unit 160 sends the content to the source device 200 that encodes the content with a specific codec type. May be requested to be transmitted without compression encoding. The playback control unit 160 may switch the codec type to be applied to the source device 200 between the compression coding method and the non-compression method according to the transmission rate or connection quality of the allocated frequency channel.
　再生制御部１６０は、符号化条件の変更（再生の開始又は停止を含む）を決定すると、決定した符号化条件を設定するためのメッセージを、無線通信部１１０を介して、変更に関与するソース機器２００へ送信する。上述したＷｉ－Ｆｉディスプレイの仕様はシンク機器からソース機器へ符号化条件の設定を求めるメッセージを定義していないのとは対照的に、本実施形態では、シンク機器１００からソース機器２００へ符号化条件の設定を求める設定要求メッセージが導入される。 When the reproduction control unit 160 determines the change of the encoding condition (including the start or stop of the reproduction), the reproduction control unit 160 sends a message for setting the determined encoding condition via the wireless communication unit 110 to the source involved in the change. Transmit to device 200. In contrast to the Wi-Fi display specification described above, which does not define a message for setting the encoding condition from the sink device to the source device, in this embodiment, encoding from the sink device 100 to the source device 200 is performed. A setting request message for setting conditions is introduced.
　補助的な制御として、再生制御部１６０は、各ソース機器２００との間の無線接続の接続品質に基づいて、各ソース機器２００における符号化条件を制御してもよい。例えば、再生制御部１６０は、無線通信部１１０又はストリーム取得部１２０から入力される品質指標をモニタリングする。そして、再生制御部１６０は、あるソース機器２００について接続品質が劣化していることが検出された場合、当該ソース機器２００から受信しているコンテンツの解像度、レート又は品質レベルを引き下げる。それにより、コンテンツのビットレートが低減されるため、品質の劣化した無線接続上でコンテンツデータがロスするリスクを軽減することができる。 As an auxiliary control, the reproduction control unit 160 may control the encoding condition in each source device 200 based on the connection quality of the wireless connection with each source device 200. For example, the playback control unit 160 monitors a quality index input from the wireless communication unit 110 or the stream acquisition unit 120. Then, when it is detected that the connection quality has deteriorated for a certain source device 200, the playback control unit 160 reduces the resolution, rate, or quality level of the content received from the source device 200. As a result, the bit rate of the content is reduced, so that the risk of loss of content data over a wireless connection with degraded quality can be reduced.
　また、再生制御部１６０は、各ソース機器２００の電源状態に基づいて、各ソース機器２００における符号化条件を制御してもよい。例えば、再生制御部１６０は、コンテンツ再生セットからいずれかのコンテンツを除外すべき状況において、バッテリ駆動している（又はバッテリ残量の少ない）ソース機器２００からのコンテンツを優先的に除外してもよい。また、再生制御部１６０は、バッテリ駆動しているソース機器２００からのコンテンツについて、その解像度、レート又は品質レベルを優先的に引き下げてもよい。再生制御部１６０は、バッテリ駆動しているソース機器２００について、コンテンツの復号及び再符号化（又はトランスコード）が不要となるようにコーデック種別を決定してもよい。それにより、要求復号能力の引き下げと共に、システム全体としてのバッテリ消費を抑制することができる。 Further, the reproduction control unit 160 may control the encoding condition in each source device 200 based on the power supply state of each source device 200. For example, in a situation where any content is to be excluded from the content playback set, the playback control unit 160 may preferentially exclude content from the source device 200 that is battery-driven (or has a low remaining battery level). Good. Further, the playback control unit 160 may preferentially lower the resolution, rate, or quality level of content from the source device 200 that is battery-driven. The playback control unit 160 may determine the codec type of the source device 200 that is battery-driven so that content decoding and re-encoding (or transcoding) are not required. Thereby, the consumption of the battery as a whole system can be suppressed while the request decoding capability is lowered.
　また、各ソース機器２００は、事前のメッセージ交換手続を通じて、シンク機器１００へ優先すべき符号化条件を特定する優先条件情報を提供してもよい。当該優先条件情報は、記憶部１７０により記憶され、再生制御部１６０が各ソース機器２００における符号化条件を決定する際に参照され得る。こうした優先条件情報に基づいて符号化条件を制御することにより、例えば省電力化又は処理負荷の低減といった個々の機器についての制約又は（例えばユーザ設定に基づく）要件を、制御に反映させることが可能となる。 Further, each source device 200 may provide priority condition information for specifying the encoding condition to be prioritized to the sink device 100 through a prior message exchange procedure. The priority condition information is stored in the storage unit 170, and can be referred to when the reproduction control unit 160 determines the encoding condition in each source device 200. By controlling the coding conditions based on such priority condition information, it is possible to reflect restrictions or requirements (for example, based on user settings) on individual devices such as power saving or reduction of processing load in the control. It becomes.
　また、再生制御部１６０は、ソース機器２００における符号化条件に応じて、ソース機器２００との間の無線接続の周波数チャネルをさらに制御してもよい。例えば、再生制御部１６０は、あるソース機器２００から受信すべきコンテンツのビットレートが高くなることが符号化条件から認識される場合に、当該ソース機器２００との間の無線接続に、より伝送レートの高い（又はより接続品質の良好な）周波数チャネルを割当てる。また、再生制御部１６０は、あるコンテンツについて想定されるビットレートよりも割当て可能な周波数チャネルの伝送レートが低い場合には、当該コンテンツの解像度、レート又は品質レベルを引き下げてもよい。それにより、コンテンツの安定的な伝送を確保することができる。 Also, the playback control unit 160 may further control the frequency channel of the wireless connection with the source device 200 according to the encoding condition in the source device 200. For example, when it is recognized from the encoding condition that the bit rate of the content to be received from a certain source device 200 is increased, the playback control unit 160 uses a higher transmission rate for the wireless connection with the source device 200. A frequency channel having a higher frequency (or better connection quality) is allocated. Further, when the transmission rate of the frequency channel that can be allocated is lower than the bit rate assumed for a certain content, the playback control unit 160 may lower the resolution, rate, or quality level of the content. Thereby, stable transmission of content can be ensured.
　再生制御部１６０は、ソース機器２００との間のメッセージの交換をも制御し得る。ソース機器２００へ送信されるメッセージは、ソース機器２００における符号化条件を制御するための、上述した能力問合せメッセージ及び設定要求メッセージを含み得る。ソース機器２００から受信されるメッセージは、上述した能力問合せメッセージ及び設定要求メッセージに対するソース機器２００からの応答メッセージを含み得る。さらに、再生制御部１６０は、コンテンツの再生に関連するコマンド（例えば、再生開始、再生停止、早送り及び巻き戻しなど）を含む制御メッセージを、機器間の制御チャネルを介して送受信してもよい。再生制御部１６０は、そうしたコマンドの検出に応じて、映像再生部１４０及び音声再生部１５０の動作を制御し得る。 The playback control unit 160 can also control the exchange of messages with the source device 200. The message transmitted to the source device 200 may include the above-described capability inquiry message and setting request message for controlling the encoding condition in the source device 200. The message received from the source device 200 may include a response message from the source device 200 in response to the capability inquiry message and the setting request message described above. Furthermore, the playback control unit 160 may transmit and receive a control message including commands related to content playback (for example, playback start, playback stop, fast forward, rewind, etc.) via a control channel between devices. The playback control unit 160 can control the operations of the video playback unit 140 and the audio playback unit 150 in response to detection of such a command.
　　　（７）記憶部
　記憶部１７０は、シンク機器１００におけるコンテンツの復号及び再生を制御するためのプログラム及びデータを記憶し得る。記憶部１７０は、例えば、複数のソース機器２００から収集される符号化能力情報、及び上述した優先条件情報を記憶し得る。また、記憶部１７０は、復号部１３０の実復号能力を示す実復号能力情報を記憶し得る。実復号能力情報は、予め固定的に定義されてもよい。その代わりに、再生制御部１６０は、復号部１３０に掛かる負荷を継続的にモニタリングして復号部１３０の実復号能力を動的に再計算し、実復号能力情報を更新してもよい。例えば、復号処理がソフトウェアで実装される場合には、ソフトウェアを実行するプロセッサが他の処理をも実行する可能性があるため、復号処理のために利用可能なプロセッサ性能を動的に再計算することが有益である。 (7) Storage Unit The storage unit 170 can store a program and data for controlling content decryption and reproduction in the sink device 100. The storage unit 170 can store, for example, encoding capability information collected from a plurality of source devices 200 and the above-described priority condition information. In addition, the storage unit 170 can store actual decoding capability information indicating the actual decoding capability of the decoding unit 130. The actual decoding capability information may be fixedly defined in advance. Instead, the playback control unit 160 may continuously monitor the load applied to the decoding unit 130, dynamically recalculate the actual decoding capability of the decoding unit 130, and update the actual decoding capability information. For example, if the decoding process is implemented in software, the processor that executes the software may also execute other processes, so the processor performance available for the decoding process is dynamically recalculated. It is beneficial.
　　　（８）ユーザインタフェース部
　ユーザインタフェース部１８０は、シンク機器１００の入力デバイス（図示せず）を介して、ユーザ入力を受け付ける。シンク機器１００は、例えば、リモートコントローラ、タッチパネル、キーボード、マウス、ボタン又はスイッチなどの固有のハードウェアにおいて生成される入力信号を、ユーザ入力として受け付けてもよい。また、シンク機器１００は、マイクロフォンを通じて取得される音声コマンド、カメラを通じて取得されるジェスチャコマンド、又はセンサを通じて取得されるセンサコマンドを、ユーザ入力として受け付けてもよい。ユーザインタフェース部１８０は、受け付けたユーザ入力を再生制御部１６０へ出力する。 (8) User Interface Unit The user interface unit 180 receives user input via an input device (not shown) of the sink device 100. For example, the sink device 100 may accept an input signal generated in specific hardware such as a remote controller, a touch panel, a keyboard, a mouse, a button, or a switch as a user input. Further, the sink device 100 may accept a voice command acquired through a microphone, a gesture command acquired through a camera, or a sensor command acquired through a sensor as a user input. The user interface unit 180 outputs the received user input to the reproduction control unit 160.
　＜３．ソース機器の構成例＞
　図５は、一実施形態に係るソース機器２００の構成の一例を示すブロック図である。図５を参照すると、ソース機器２００は、無線通信部２１０、記憶部２２０、コンテンツ取得部２３０、符号化部２４０、ストリーム送信部２５０、符号化制御部２６０及びユーザインタフェース部２７０を備える。 <3. Source device configuration example>
FIG. 5 is a block diagram illustrating an example of the configuration of the source device 200 according to an embodiment. Referring to FIG. 5, the source device 200 includes a wireless communication unit 210, a storage unit 220, a content acquisition unit 230, an encoding unit 240, a stream transmission unit 250, an encoding control unit 260, and a user interface unit 270.
　　　（１）無線通信部
　無線通信部２１０は、ソース機器２００による他の装置との間の無線通信を仲介する無線インタフェースである。本実施形態において、無線通信部２１０は、シンク機器１００との間で無線接続を確立する。上述したように、シンク機器１００は、複数のソース機器から受信されるコンテンツをそれぞれ復号して再生する復号装置である。無線通信部１１０は、ストリーム送信部２５０により生成されるコンテンツデータを含む無線信号を、アンテナを介して無線接続上でシンク機器１００へ送信する。また、無線通信部２１０は、シンク機器１００との間で、制御メッセージを含む無線信号をも送受信し得る。シンク機器１００へ送信される制御メッセージは、後に説明する符号化制御部２６０により生成される。また、シンク機器１００から受信される制御メッセージは、符号化制御部２６０により解釈される。 (1) Wireless Communication Unit The wireless communication unit 210 is a wireless interface that mediates wireless communication between the source device 200 and other devices. In the present embodiment, the wireless communication unit 210 establishes a wireless connection with the sink device 100. As described above, the sink device 100 is a decoding device that decodes and plays back content received from a plurality of source devices. The wireless communication unit 110 transmits a wireless signal including the content data generated by the stream transmission unit 250 to the sink device 100 over the wireless connection via the antenna. Further, the wireless communication unit 210 can also transmit and receive a wireless signal including a control message to and from the sink device 100. The control message transmitted to the sink device 100 is generated by the encoding control unit 260 described later. Further, the control message received from the sink device 100 is interpreted by the encoding control unit 260.
　　　（２）記憶部
　記憶部２２０は、ソース機器２００におけるコンテンツの符号化及び送信を制御するためのプログラム及びデータを記憶し得る。記憶部２２０は、例えば、ソース機器２００自身の符号化能力を示す符号化能力情報を予め記憶する。符号化能力情報は、例えば、符号化部２４０によりサポートされるコーデック種別、解像度、レート及び品質レベルのうち少なくとも１つを示し得る。符号化条件は、この符号化能力情報により示される符号化能力の範囲内で指定され得る。また、記憶部２２０は、ソース機器２００において優先されることが望ましい符号化条件（優先条件）を特定する優先条件情報を記憶してもよい。優先条件は、ユーザにより設定され、又は符号化制御部２６０により動的に指定され得る。 (2) Storage Unit The storage unit 220 can store a program and data for controlling the encoding and transmission of content in the source device 200. For example, the storage unit 220 stores in advance encoding capability information indicating the encoding capability of the source device 200 itself. The encoding capability information may indicate at least one of codec type, resolution, rate, and quality level supported by the encoding unit 240, for example. The encoding condition can be specified within the range of the encoding capability indicated by the encoding capability information. Further, the storage unit 220 may store priority condition information for specifying an encoding condition (priority condition) that is preferably prioritized in the source device 200. The priority condition can be set by the user or dynamically specified by the encoding control unit 260.
　記憶部２２０は、さらに、シンク機器１００へ提供され得る任意の種類のコンテンツを記憶してもよい。例えば、記憶部２２０は、カメラで撮影した映像とマイクロフォンで集音した音声とを含むコンテンツ、放送局から受信され及び記録されるコンテンツ、コンテンツサーバからダウンロードされるコンテンツ、周辺機器から読み込まれるコンテンツ、又は何らかのユーザアプリケーションにより生成されるコンテンツを記憶し得る。 The storage unit 220 may further store any type of content that can be provided to the sink device 100. For example, the storage unit 220 includes content including video captured by a camera and audio collected by a microphone, content received and recorded from a broadcasting station, content downloaded from a content server, content read from a peripheral device, Or it may store content generated by some user application.
　　　（３）コンテンツ取得部
　コンテンツ取得部２３０は、シンク機器１００へ提供すべきコンテンツを記憶部２２０又は他のデータソースから取得し、取得したコンテンツを符号化部２４０へ出力する。他のデータソースとは、例えば、ソース機器２００のカメラ及びマイクロフォン、又はソース機器２００によりアクセス可能なリモードデバイス（例えば、コンテンツサーバ又はマイクロフォン付きのＷｅｂカメラなど）を含み得る。シンク機器１００へどのコンテンツを提供すべきかは、ユーザインタフェース部２７０により検出されるユーザ入力によって、又はシンク機器１００から受信される制御メッセージによって指定され得る。コンテンツ取得部２３０は、取得したコンテンツがシンク機器１００から指示された符号化条件とは異なるコーデック種別で符号化されている場合には、当該コンテンツを一旦復号した後に符号化部２４０へ出力してもよい。 (3) Content Acquisition Unit The content acquisition unit 230 acquires content to be provided to the sink device 100 from the storage unit 220 or another data source, and outputs the acquired content to the encoding unit 240. Other data sources may include, for example, a camera and microphone of the source device 200, or a remode device (eg, a content server or a web camera with a microphone) accessible by the source device 200. Which content is to be provided to the sink device 100 can be specified by a user input detected by the user interface unit 270 or by a control message received from the sink device 100. When the acquired content is encoded with a codec type different from the encoding condition instructed from the sink device 100, the content acquisition unit 230 once decodes the content and outputs the decoded content to the encoding unit 240. Also good.
　　　（４）符号化部
　符号化部２４０は、コンテンツ取得部２３０から入力される、シンク機器１００へ送信すべきコンテンツを符号化し、コンテンツのビットストリームを生成する。そして、符号化部２４０は、生成したビットストリームをストリーム送信部２５０へ出力する。符号化部２４０におけるコンテンツの符号化条件は、シンク機器１００から受信される制御メッセージに基づいて、符号化制御部２６０により制御される。例えば、映像コンテンツについての符号化条件は、使用されるビデオコーデックのコーデック種別、解像度、フレームレート及び画質レベルを含み得る。音声コンテンツについての符号化条件は、使用されるオーディオコーデックのコーデック種別、サンプリングレート及び音質レベルを含み得る。符号化部２４０は、コンテンツを圧縮符号化しないことが指示された場合には、コンテンツを圧縮することなく、無圧縮フォーマットでコンテンツのビットストリームを生成してもよい。 (4) Encoding Unit The encoding unit 240 encodes content to be transmitted to the sink device 100 input from the content acquisition unit 230, and generates a content bitstream. Then, the encoding unit 240 outputs the generated bit stream to the stream transmission unit 250. The encoding condition of the content in the encoding unit 240 is controlled by the encoding control unit 260 based on the control message received from the sink device 100. For example, the encoding conditions for video content may include the codec type, resolution, frame rate, and image quality level of the video codec used. The coding conditions for audio content can include the codec type, sampling rate, and sound quality level of the audio codec used. When instructed not to compress and encode the content, the encoding unit 240 may generate a bitstream of the content in an uncompressed format without compressing the content.
　符号化部２４０は、ハードウェアとしての１つ以上の符号化回路を有していてもよい。また、符号化部２４０は、映像符号化用及び音声符号化用のソフトウェアモジュールを実行可能なプロセッサを有していてもよい。また、符号化部２４０は、ハードウェアとしての符号化回路及びソフトウェアモジュールを実行可能なプロセッサの双方を有していてもよい。符号化部２４０は、任意のコーデック種別をサポートし得る。 The encoding unit 240 may have one or more encoding circuits as hardware. The encoding unit 240 may include a processor that can execute software modules for video encoding and audio encoding. The encoding unit 240 may include both an encoding circuit as hardware and a processor capable of executing software modules. The encoding unit 240 can support any codec type.
　　　（５）ストリーム送信部
　ストリーム送信部２５０は、符号化部２４０から入力される符号化されたコンテンツのビットストリームを、無線通信部２１０を介してシンク機器１００へ送信する。ストリーム送信部２５０は、映像コンテンツのストリーム及び音声コンテンツのストリームを多重化することによりマルチメディアストリームを生成し、生成したマルチメディアストリームを送信してもよい。 (5) Stream Transmission Unit The stream transmission unit 250 transmits the bit stream of the encoded content input from the encoding unit 240 to the sink device 100 via the wireless communication unit 210. The stream transmission unit 250 may generate a multimedia stream by multiplexing the video content stream and the audio content stream, and may transmit the generated multimedia stream.
　　　（６）符号化制御部
　符号化制御部２６０は、シンク機器１００から受信される制御メッセージに基づいて、符号化部２４０におけるコンテンツの符号化条件を制御する。シンク機器１００から受信される制御メッセージは、シンク機器１００により再生されるコンテンツのセットにより要求される要求復号能力がシンク機器１００の実復号能力を超過しないように決定された符号化条件を指定する。例えば、符号化制御部２６０は、シンク機器１００により指定されたコーデック種別、解像度、フレームレート及び画質レベルで、映像コンテンツを符号化部２４０に符号化させてもよい。また、符号化制御部２６０は、シンク機器１００により指定されたコーデック種別、サンプリングレート及び音質レベルで、音声コンテンツを符号化部２４０に符号化させてもよい。 (6) Encoding Control Unit The encoding control unit 260 controls the content encoding conditions in the encoding unit 240 based on the control message received from the sink device 100. The control message received from the sink device 100 specifies an encoding condition determined so that the requested decoding capability required by the set of content reproduced by the sink device 100 does not exceed the actual decoding capability of the sink device 100. . For example, the encoding control unit 260 may cause the encoding unit 240 to encode the video content with the codec type, resolution, frame rate, and image quality level specified by the sink device 100. Also, the encoding control unit 260 may cause the encoding unit 240 to encode the audio content with the codec type, sampling rate, and sound quality level specified by the sink device 100.
　符号化部２４０における符号化条件をシンク機器１００が適切に決定することを可能とするために、符号化制御部２６０は、符号化部２４０の符号化能力を示す符号化能力情報を、無線通信部２１０を介してシンク機器１００へ送信する。例えば、符号化制御部２６０は、シンク機器１００から受信される能力問合せメッセージへの応答として、符号化能力情報をシンク機器１００へ送信してもよい。既存の手法では、ソース機器がシンク機器へ復号能力を問合せ、その結果に基づいて主にソース機器がコンテンツの符号化及び復号の条件を決定していた。これに対し、本実施形態では、シンク機器１００からソース機器２００へ符号化能力を問合せるための能力問合せメッセージと、当該能力問合せメッセージへの応答としてソース機器２００からシンク機器１００へ返送される、符号化能力情報を含む応答メッセージとが導入される。それにより、シンク機器１００がマスタとして複数のソース機器２００における符号化条件を統合的に制御することが可能となる。 In order to enable the sink device 100 to appropriately determine the encoding condition in the encoding unit 240, the encoding control unit 260 transmits the encoding capability information indicating the encoding capability of the encoding unit 240 to the wireless communication. The data is transmitted to the sink device 100 via the unit 210. For example, the encoding control unit 260 may transmit the encoding capability information to the sink device 100 as a response to the capability inquiry message received from the sink device 100. In the existing method, the source device inquires the sink device about the decoding capability, and the source device mainly determines the content encoding and decoding conditions based on the result. In contrast, in the present embodiment, a capability inquiry message for inquiring the encoding capability from the sink device 100 to the source device 200, and a code returned from the source device 200 to the sink device 100 as a response to the capability inquiry message. A response message including the ability information. Thereby, the sink device 100 can control the encoding conditions in the plurality of source devices 200 as a master.
　シンク機器１００から受信され得る別の制御メッセージは、シンク機器１００へ送信された符号化能力情報により示される範囲内の符号化条件を指定する。当該制御メッセージは、上で説明した、シンク機器１００からソース機器２００へ符号化条件の設定を求める設定要求メッセージであってよい。符号化能力情報が許容する場合には、設定要求メッセージは、コーデック種別として無圧縮方式を指定してもよい。コーデック種別として無圧縮方式が指定されると、符号化制御部２６０は、コンテンツを圧縮することなく無圧縮フォーマットでコンテンツのビットストリームを生成することを、符号化部２４０に指示し得る。符号化制御部２６０は、コンテンツ取得部２３０により取得されるコンテンツが設定要求メッセージにおいて指定されたコーデック種別で既に符号化されている場合には、当該コンテンツの復号及び再符号化（又はトランスコード）をスキップさせてもよい。 Another control message that can be received from the sink device 100 specifies an encoding condition within the range indicated by the encoding capability information transmitted to the sink device 100. The control message may be a setting request message for requesting setting of an encoding condition from the sink device 100 to the source device 200 described above. If the coding capability information permits, the setting request message may specify a non-compression method as the codec type. When the non-compression method is designated as the codec type, the encoding control unit 260 may instruct the encoding unit 240 to generate a content bitstream in an uncompressed format without compressing the content. When the content acquired by the content acquisition unit 230 has already been encoded with the codec type specified in the setting request message, the encoding control unit 260 decodes and re-encodes (or transcodes) the content. May be skipped.
　また、符号化制御部２６０は、ソース機器２００の電源状態（例えば、バッテリ駆動しているか若しくは電源に接続されているか、又はバッテリ残量など）をシンク機器１００へ通知してもよい。この場合、シンク機器１００は、ソース機器２００の電源状態にさらに基づいて、例えばバッテリ駆動しているソース機器２００におけるバッテリ消費を抑制するために、ソース機器２００における符号化条件を制御し得る。 Also, the encoding control unit 260 may notify the sink device 100 of the power state of the source device 200 (for example, whether it is battery-operated or connected to the power source, or the remaining battery level). In this case, the sink device 100 can control the encoding condition in the source device 200 in order to suppress battery consumption in the source device 200 that is battery-driven, for example, based on the power state of the source device 200.
　また、符号化制御部２６０は、上述したように、事前のメッセージ交換手続を通じて、シンク機器１００へ優先すべき符号化条件を特定する優先条件情報を送信してもよい。優先条件情報は、例えば省電力化又は処理負荷の低減といった個々の機器についての制約又は要件に基づいて定義され、シンク機器１００がソース機器２００における符号化条件を決定する際に参照され得る。 Also, as described above, the encoding control unit 260 may transmit priority condition information for specifying an encoding condition to be prioritized to the sink device 100 through a prior message exchange procedure. The priority condition information is defined based on restrictions or requirements for individual devices such as power saving or processing load reduction, and can be referred to when the sink device 100 determines the coding conditions in the source device 200.
　また、符号化制御部２６０は、シンク機器１００からの制御に従って、シンク機器１００との間の無線接続の周波数チャネルをさらに制御してもよい。例えば、シンク機器１００へ送信すべきコンテンツのビットレートが高くなることが認識される場合には、シンク機器１００との間の無線接続に、より伝送レートの高い（又はより接続品質の良好な）周波数チャネルが割当てられる。符号化制御部２６０は、シンク機器１００により割当てられた周波数チャネルを使用することを、無線通信部２１０に指示し得る。符号化制御部２６０は、シンク機器１００との間の無線接続の接続品質を評価するための品質指標（例えばＢＥＲ又はＰＥＲなど）を測定し、当該品質指標をシンク機器１００へ送信してもよい。 Further, the encoding control unit 260 may further control the frequency channel of the wireless connection with the sink device 100 according to the control from the sink device 100. For example, when it is recognized that the bit rate of content to be transmitted to the sink device 100 is increased, the wireless connection with the sink device 100 has a higher transmission rate (or better connection quality). A frequency channel is assigned. The encoding control unit 260 can instruct the wireless communication unit 210 to use the frequency channel allocated by the sink device 100. The encoding control unit 260 may measure a quality index (for example, BER or PER) for evaluating the connection quality of the wireless connection with the sink device 100, and transmit the quality index to the sink device 100. .
　符号化制御部２６０は、シンク機器１００との間のメッセージの交換をも制御し得る。シンク機器１００から受信されるメッセージは、ソース機器２００における符号化条件を制御するための、上述した能力問合せメッセージ及び設定要求メッセージを含み得る。シンク機器１００へ送信されるメッセージは、上述した能力問合せメッセージ及び設定要求メッセージに対する応答メッセージを含み得る。さらに、符号化制御部２６０は、ユーザインタフェース部２７０においてコンテンツの再生に関連するユーザ入力が検出された場合には、検出されたユーザ入力に対応するコマンドを含む制御メッセージを、機器間の制御チャネルを介してシンク機器１００へ送信してもよい。 The encoding control unit 260 can also control the exchange of messages with the sink device 100. The message received from the sink device 100 may include the above-described capability inquiry message and setting request message for controlling the encoding condition in the source device 200. The message transmitted to the sink device 100 can include a response message to the above-described capability inquiry message and setting request message. Further, when a user input related to content reproduction is detected in the user interface unit 270, the encoding control unit 260 transmits a control message including a command corresponding to the detected user input to a control channel between devices. It may be transmitted to the sink device 100 via
　例えばソース機器２００が待機機器として選択された場合には、コンテンツの再生停止を指示する制御メッセージが無線通信部２１０により受信され得る。この場合、符号化制御部２６０は、ソース機器２００の動作モードをスタンバイモードへ移行させ、スタンバイモードの期間中にソース機器２００の各部への電力供給を部分的に停止してもよい。スタンバイモードにおいて、無線通信部２１０は、例えば間欠的に動作し、周期的なアクティブ期間においてシンク機器１００からの制御メッセージを受信し得る。即ち、シンク機器１００とソース機器２００との間の無線接続は、スタンバイモードの期間中にも維持され得る。符号化制御部２６０は、スタンバイモードの期間中にコンテンツの再生開始を指示する制御メッセージが受信されると、ソース機器２００の動作モードをアクティブモードへ復帰させ得る。 For example, when the source device 200 is selected as a standby device, the wireless communication unit 210 can receive a control message instructing to stop playback of content. In this case, the encoding control unit 260 may shift the operation mode of the source device 200 to the standby mode and partially stop the power supply to each unit of the source device 200 during the standby mode. In the standby mode, the wireless communication unit 210 operates intermittently, for example, and can receive a control message from the sink device 100 during a periodic active period. That is, the wireless connection between the sink device 100 and the source device 200 can be maintained even during the standby mode. The encoding control unit 260 may return the operation mode of the source device 200 to the active mode when a control message instructing the start of content playback is received during the standby mode.
　　　（７）ユーザインタフェース部
　ユーザインタフェース部２７０は、ソース機器２００の入力デバイス（図示せず）を介して、ユーザ入力を受け付ける。ソース機器２００は、例えば、リモートコントローラ、タッチパネル、キーボード、マウス、ボタン又はスイッチなどの固有のハードウェアにおいて生成される入力信号を、ユーザ入力として受け付けてもよい。また、ソース機器２００は、マイクロフォンを通じて取得される音声コマンド、カメラを通じて取得されるジェスチャコマンド、又はセンサを通じて取得されるセンサコマンドを、ユーザ入力として受け付けてもよい。ユーザインタフェース部２７０は、受け付けたユーザ入力を符号化制御部２６０へ出力する。 (7) User Interface Unit The user interface unit 270 accepts user input via an input device (not shown) of the source device 200. For example, the source device 200 may accept an input signal generated in specific hardware such as a remote controller, a touch panel, a keyboard, a mouse, a button, or a switch as a user input. In addition, the source device 200 may accept a voice command acquired through a microphone, a gesture command acquired through a camera, or a sensor command acquired through a sensor as a user input. The user interface unit 270 outputs the received user input to the encoding control unit 260.
　図５に示してはいないものの、ソース機器２００もまた、映像再生部及び音声再生部を有していてもよい。 Although not shown in FIG. 5, the source device 200 may also include a video playback unit and an audio playback unit.
　＜４．処理の流れ＞
　　［４－１．シンク側の処理］
　　　（１）コンテンツ再生処理
　図６は、本実施形態に係るシンク機器１００により実行されるコンテンツ再生処理の流れの一例を示すフローチャートである。 <4. Flow of processing>
[4-1. Processing on the sink side]
(1) Content Reproduction Processing FIG. 6 is a flowchart showing an example of the flow of content reproduction processing executed by the sink device 100 according to this embodiment.
　図６を参照すると、まず、シンク機器１００の再生制御部１６０は、シンク機器１００の各部を初期化する（ステップＳ１００）。次に、再生制御部１６０は、無線通信部１１０からシンク機器１００の周囲へ探索信号をブロードキャストすることにより、又はソース機器２００からブロードキャストされる探索信号を検出することにより、周囲に存在する１つ以上のソース機器２００を発見する（ステップＳ１０５）。次に、再生制御部１６０は、発見したソース機器２００へ、無線通信部１１０から能力問合せメッセージを送信する（ステップＳ１１０）。その後、再生制御部１６０は、能力問合せメッセージへの応答としてソース機器２００から返送される符号化能力情報を受信する（ステップＳ１２０）。そして、再生制御部１６０は、コンテンツを提供可能なソース機器２００との間の無線接続を確立する（ステップＳ１３０）。なお、ステップＳ１０５～Ｓ１３０の処理は、以下に説明するコンテンツ再生制御が実行されている間にも、継続的に繰り返されてよい。シンク機器１００は、新たなソース機器２００が発見される都度、発見されたソース機器２００との間の無線接続を確立し得る。 Referring to FIG. 6, first, the reproduction control unit 160 of the sink device 100 initializes each unit of the sink device 100 (step S100). Next, the playback control unit 160 broadcasts a search signal from the wireless communication unit 110 to the surroundings of the sink device 100 or detects a search signal broadcast from the source device 200, so that one of the surroundings is present. The above source device 200 is found (step S105). Next, the reproduction control unit 160 transmits a capability inquiry message from the wireless communication unit 110 to the discovered source device 200 (step S110). Thereafter, the playback control unit 160 receives the encoding capability information returned from the source device 200 as a response to the capability inquiry message (step S120). Then, the playback control unit 160 establishes a wireless connection with the source device 200 that can provide the content (step S130). Note that the processing in steps S105 to S130 may be repeated continuously while the content reproduction control described below is being executed. Each time a new source device 200 is discovered, the sink device 100 can establish a wireless connection with the discovered source device 200.
　その後、例えばユーザ入力に応じて、コンテンツの再生がトリガされる。まず、再生制御部１６０は、コンテンツ再生セットを更新するかを判定する（ステップＳ１３５）。例えば、再生制御部１６０は、ユーザによりメインコンテンツ又はサブコンテンツとして指定されたコンテンツを、コンテンツ再生セットに追加する。コンテンツ再生セットを更新するためのステップＳ１４０における更新処理について、後により詳細に説明する。ここでの更新処理を通じて再生すべきコンテンツの符号化条件が変更された場合、再生制御部１６０は、符号化条件に変更のあるソース機器２００へ、設定要求メッセージを送信することにより、符号化条件の設定を要求する（ステップＳ１６０）。 Then, for example, content playback is triggered according to user input. First, the playback control unit 160 determines whether to update the content playback set (step S135). For example, the playback control unit 160 adds content designated as main content or sub-content by the user to the content playback set. The update process in step S140 for updating the content reproduction set will be described in detail later. When the encoding condition of the content to be reproduced is changed through the update process here, the reproduction control unit 160 transmits the setting request message to the source device 200 whose encoding condition is changed, thereby encoding the encoding condition. Is requested (step S160).
　そして、コンテンツの提供が開始されると、無線通信部１１０は、複数のソース機器２００から、コンテンツ再生セットに含まれるコンテンツをそれぞれ受信する（ステップＳ１７０）。各コンテンツのビットストリームは、ストリーム取得部１２０によって受信信号から抽出され得る。次に、復号部１３０は、受信されたコンテンツのビットストリームから、メインコンテンツ及びサブコンテンツをそれぞれ復号する（ステップＳ１７２）。次に、映像再生部１４０は、復号された映像コンテンツのフレームをマルチフレームの表示画像へブレンディングする（ステップＳ１７４）。また、映像再生部１４０は、待機機器として選択されたソース機器２００が存在する場合に、待機機器のアイコン（又はテキスト）を、表示画像に表示される待機リストに追加する（ステップＳ１７６）。そして、映像再生部１４０は、マルチフレームの映像をディスプレイに表示させる（ステップＳ１７８）。また。音声再生部１５０は、復号された音声コンテンツの音声をスピーカへ出力する（ステップＳ１８０）。 Then, when the provision of content is started, the wireless communication unit 110 receives content included in the content reproduction set from the plurality of source devices 200 (step S170). The bit stream of each content can be extracted from the received signal by the stream acquisition unit 120. Next, the decryption unit 130 decrypts the main content and the sub-content from the received content bitstream (step S172). Next, the video playback unit 140 blends the decoded video content frame into a multi-frame display image (step S174). In addition, when the source device 200 selected as the standby device exists, the video reproduction unit 140 adds the standby device icon (or text) to the standby list displayed on the display image (step S176). Then, the video reproduction unit 140 displays the multi-frame video on the display (step S178). Also. The audio reproducing unit 150 outputs the audio of the decoded audio content to the speaker (Step S180).
　上述したコンテンツ再生処理の間、再生制御部１６０は、コンテンツ再生セットの更新に関連する制御トリガをモニタリングする（ステップＳ１９０）。ここでの制御トリガは、例えば、コンテンツ再生セットの更新を指示するユーザ入力の検出、復号部１３０に掛かる負荷の上昇、及び無線接続の接続品質の劣化、のうちの１つ以上を含み得る。制御トリガが検出されない場合には、上述したステップＳ１４０及びＳ１６０の処理はスキップされ、ソース機器２００からのコンテンツの受信、復号及び再生が繰り返される。制御トリガが検出された場合、次に説明するコンテンツ再生セットを更新するための更新処理が実行され得る。 During the content reproduction process described above, the reproduction control unit 160 monitors a control trigger related to the update of the content reproduction set (step S190). The control trigger here may include, for example, one or more of detection of user input instructing update of the content reproduction set, increase in load applied to the decoding unit 130, and deterioration of connection quality of the wireless connection. When the control trigger is not detected, the processes of steps S140 and S160 described above are skipped, and reception, decoding, and reproduction of content from the source device 200 are repeated. When the control trigger is detected, an update process for updating the content reproduction set described below can be executed.
　　　（２）再生セット更新処理
　図７は、図６のステップＳ１４０に相当するコンテンツ再生セットを更新するための更新処理の詳細な流れの一例を示すフローチャートである。 (2) Playback Set Update Processing FIG. 7 is a flowchart showing an example of a detailed flow of update processing for updating the content playback set corresponding to step S140 in FIG.
　図７に示した更新処理は、ユーザ入力の内容に依存して分岐する。例えば、メインコンテンツがユーザにより指定された場合（ステップＳ１４１）、再生制御部１６０は、指定されたコンテンツをメインコンテンツに設定する（ステップＳ１４２）。また、サブコンテンツがユーザにより指定された場合（ステップＳ１４３）、再生制御部１６０は、指定されたコンテンツをサブコンテンツに設定する（ステップＳ１４４）。また、待機機器がユーザにより指定された場合（ステップＳ１４５）、再生制御部１６０は、指定されソース機器２００を待機機器に設定する（ステップＳ１４６）。 7 The update process shown in FIG. 7 branches depending on the contents of the user input. For example, when the main content is designated by the user (step S141), the reproduction control unit 160 sets the designated content as the main content (step S142). When the sub content is designated by the user (step S143), the reproduction control unit 160 sets the designated content as the sub content (step S144). When the standby device is designated by the user (step S145), the playback control unit 160 sets the designated source device 200 as the standby device (step S146).
　次に、再生制御部１６０は、再生セットの要求復号能力を判定する（ステップＳ１４８）。例えば、映像コンテンツについての要求復号能力は、再生される映像コンテンツのコーデック種別、解像度、フレームレート及び画質レベルに依存し得る。音声コンテンツについての要求復号能力は、再生される音声コンテンツのコーデック種別、サンプリングレート及び音質レベルに依存し得る。要求復号能力は、必要とされる復号回路の数、又は必要とされるプロセッサ性能によって表現されてもよい。 Next, the playback control unit 160 determines the required decoding capability of the playback set (step S148). For example, the required decoding capability for video content may depend on the codec type, resolution, frame rate, and image quality level of the video content being played back. The required decoding capability for audio content may depend on the codec type, sampling rate, and sound quality level of the audio content being played back. The required decoding capability may be expressed by the number of decoding circuits required or the required processor performance.
　次に、再生制御部１６０は、判定した要求復号能力が復号部１３０の実復号能力を超過するか否かを判定する（ステップＳ１４８）。要求復号能力が復号部１３０の実復号能力を超過する場合、再生制御部１６０は、コンテンツ再生セットの符号化条件を変更して、要求復号能力を引き下げる（ステップＳ１４９）。ここでの符号化条件の変更は、各ソース機器２００から取得される符号化能力情報により許容される範囲内で、例えば、以下のアイテムａ１）～ａ９）のうちの１つ以上を含んでよい。
　　ａ１）メインコンテンツのサブコンテンツへの変更
　　ａ２）メインコンテンツの再生停止（待機機器への変更）
　　ａ３）サブコンテンツの再生停止（待機機器への変更）
　　ａ４）コーデック種別の変更（軽量な圧縮符号化方式又は無圧縮方式への変更）
　　ａ５）映像コンテンツの解像度の引き下げ、
　　ａ６）映像コンテンツのフレームレートの引き下げ
　　ａ７）映像コンテンツの画質レベルの引き下げ
　　ａ８）音声コンテンツのサンプリングレートの引き下げ
　　ａ９）音声コンテンツの音質レベルの引き下げ
その後、再生制御部１６０は、要求復号能力の判定、及び判定した要求復号能力と実復号能力との比較を再度実行する。 Next, the playback control unit 160 determines whether or not the determined requested decoding capability exceeds the actual decoding capability of the decoding unit 130 (step S148). When the requested decoding capability exceeds the actual decoding capability of the decoding unit 130, the reproduction control unit 160 changes the encoding condition of the content reproduction set and lowers the requested decoding capability (step S149). The change of the encoding condition here may include, for example, one or more of the following items a1) to a9) within a range allowed by the encoding capability information acquired from each source device 200. .
a1) Change of main content to sub-content a2) Stop playback of main content (change to standby device)
a3) Stop playback of sub-contents (change to standby device)
a4) Change of codec type (change to lightweight compression encoding method or non-compression method)
a5) Reducing the resolution of video content,
a6) Reducing the frame rate of video content a7) Reducing the image quality level of video content a8) Reducing the sampling rate of audio content a9) Reducing the sound quality level of audio content After that, the playback control unit 160 determines the required decoding capability, Then, the comparison between the determined requested decoding capability and the actual decoding capability is executed again.
　要求復号能力が復号部１３０の実復号能力を超過しない場合において、実復号能力に余剰分が存在するとき（ステップＳ１５０）、再生制御部１６０は、実復号能力を超過しない範囲で符号化条件を変更して、要求復号能力を引き上げてもよい（ステップＳ１５１）。ここでの符号化条件の変更は、各ソース機器２００から取得される符号化能力情報により許容される範囲内で、例えば、以下のアイテムｂ１）～ｂ９）のうちの１つ以上を含んでよい。
　　ｂ１）サブコンテンツのメインコンテンツへの変更
　　ｂ２）待機機器からのメインコンテンツの再生開始
　　ｂ３）待機機器からのサブコンテンツの再生開始
　　ｂ４）コーデック種別の変更
　　ｂ５）映像コンテンツの解像度の引き上げ、
　　ｂ６）映像コンテンツのフレームレートの引き上げ
　　ｂ７）映像コンテンツの画質レベルの引き上げ
　　ｂ８）音声コンテンツのサンプリングレートの引き上げ
　　ｂ９）音声コンテンツの音質レベルの引き上げ
その後、再生制御部１６０は、要求復号能力の判定、及び判定した要求復号能力と実復号能力との比較を再度実行する。 When the requested decoding capability does not exceed the actual decoding capability of the decoding unit 130 and there is a surplus in the actual decoding capability (step S150), the reproduction control unit 160 sets the encoding condition within a range not exceeding the actual decoding capability. It may be changed to increase the request decoding capability (step S151). The change of the encoding condition here may include, for example, one or more of the following items b1) to b9) within a range allowed by the encoding capability information acquired from each source device 200. .
b1) Change of sub-content to main content b2) Start of playback of main content from standby device b3) Start of playback of sub-content from standby device b4) Change of codec type b5) Increase in resolution of video content,
b6) Increasing the frame rate of the video content b7) Increasing the image content level of the video content b8) Increasing the sampling rate of the audio content b9) Raising the sound quality level of the audio content After that, the playback control unit 160 determines the required decoding capability, Then, the comparison between the determined requested decoding capability and the actual decoding capability is executed again.
　要求復号能力が復号部１３０の実復号能力を超過せず、実復号能力の余剰分の活用も求められない場合、処理はステップＳ１５２へ進む。ここで、再生制御部１６０は、接続品質の劣化した無線接続が存在するかを判定する（ステップＳ１５２）。例えば、ある無線接続の伝送レートが搬送すべきコンテンツのビットレートを下回る場合、その無線接続の接続品質は劣化していると判定され得る。接続品質の劣化した無線接続が存在する場合、再生制御部１６０は、符号化条件を変更して、対応するコンテンツのビットレートを引き下げる（ステップＳ１５３）。なお、無線接続の接続品質に応じた符号化条件の変更は、必ずしも実行されなくてもよく、又は送信側のソース機器２００において実行されてもよい。 If the requested decoding capability does not exceed the actual decoding capability of the decoding unit 130 and the surplus utilization of the actual decoding capability is not required, the process proceeds to step S152. Here, the reproduction control unit 160 determines whether there is a wireless connection with deteriorated connection quality (step S152). For example, if the transmission rate of a certain wireless connection is lower than the bit rate of the content to be conveyed, it can be determined that the connection quality of that wireless connection has deteriorated. When there is a wireless connection with deteriorated connection quality, the playback control unit 160 changes the encoding condition and lowers the bit rate of the corresponding content (step S153). Note that the change of the encoding condition according to the connection quality of the wireless connection may not necessarily be executed, or may be executed in the source device 200 on the transmission side.
　　［４－２．ソース側の処理］
　図８は、本実施形態に係るソース機器２００により実行されるコンテンツ送信処理の流れの一例を示すフローチャートである。 [4-2. Source side processing]
FIG. 8 is a flowchart showing an example of the flow of content transmission processing executed by the source device 200 according to this embodiment.
　図８を参照すると、まず、ソース機器２００の符号化制御部２６０は、ソース機器２００の各部を初期化する（ステップＳ２００）。次に、符号化制御部２６０は、シンク機器１００からブロードキャストされる探索信号を検出し又は無線通信部２１０から探索信号をブロードキャストすることにより、シンク機器１００を発見する（ステップＳ２０５）。次に、符号化制御部２６０は、無線通信部２１０を介してシンク機器１００から能力問合せメッセージを受信する（ステップＳ２１０）。すると、符号化制御部２６０は、能力問合せメッセージへの応答として、符号化能力情報を含む応答メッセージをシンク機器１００へ送信する（ステップＳ２２０）。そして、符号化制御部２６０は、シンク機器１００との間の無線接続を確立する（ステップＳ２３０）。 Referring to FIG. 8, first, the encoding control unit 260 of the source device 200 initializes each unit of the source device 200 (step S200). Next, the coding control unit 260 detects the sink device 100 by detecting the search signal broadcast from the sink device 100 or broadcasting the search signal from the wireless communication unit 210 (step S205). Next, the encoding control unit 260 receives a capability inquiry message from the sink device 100 via the wireless communication unit 210 (step S210). Then, the encoding control unit 260 transmits a response message including the encoding capability information to the sink device 100 as a response to the capability inquiry message (step S220). Then, the encoding control unit 260 establishes a wireless connection with the sink device 100 (step S230).
　その後、符号化制御部２６０は、シンク機器１００から符号化条件の設定が要求されると（ステップＳ２３５）、コンテンツを符号化するための符号化条件をその要求に従って設定する（ステップＳ２４０）。符号化条件は、例えば、シンク機器１００から受信される設定要求メッセージに記述される。 Thereafter, when the sink device 100 requests the setting of the encoding condition (step S235), the encoding control unit 260 sets the encoding condition for encoding the content according to the request (step S240). The encoding condition is described in a setting request message received from the sink device 100, for example.
　そして、例えばシンク機器１００からの要求に応じて、コンテンツの送信がトリガされる（ステップＳ２５０）。まず、コンテンツ取得部２３０は、シンク機器１００へ送信すべきコンテンツを、記憶部２２０又は他のデータソースから取得する（ステップＳ２５２）。次に、符号化部２４０は、符号化制御部２６０により設定された符号化条件に従って、コンテンツ取得部２３０から入力されるコンテンツを符号化する（ステップＳ２５４）。次に、ストリーム送信部２５０は、符号化部２４０から入力される符号化されたコンテンツのビットストリームを、無線通信部２１０を介してシンク機器１００へ送信する（ステップＳ２５６）。 Then, for example, in response to a request from the sink device 100, content transmission is triggered (step S250). First, the content acquisition unit 230 acquires content to be transmitted to the sink device 100 from the storage unit 220 or another data source (step S252). Next, the encoding unit 240 encodes the content input from the content acquisition unit 230 in accordance with the encoding condition set by the encoding control unit 260 (step S254). Next, the stream transmission unit 250 transmits the bit stream of the encoded content input from the encoding unit 240 to the sink device 100 via the wireless communication unit 210 (step S256).
　上述したコンテンツ送信処理の間、符号化制御部２６０は、制御トリガをモニタリングする。ここでの制御トリガは、例えば、シンク機器１００からの設定要求メッセージの受信及びユーザインタフェース部２７０におけるユーザ入力の検出を含み得る。制御トリガが符号化条件の変更を要求している場合、符号化制御部２６０は、上述したステップＳ２４０において、要求に従って符号化条件を再度設定し得る。制御トリガが検出されない場合には、コンテンツの取得、符号化及び送信が繰り返される。なお、コンテンツの取得、符号化及び送信は、ソース機器２００が待機機器として選択されている間は、スキップされる。 During the content transmission process described above, the encoding control unit 260 monitors a control trigger. The control trigger here may include, for example, reception of a setting request message from the sink device 100 and detection of a user input in the user interface unit 270. When the control trigger requests the change of the encoding condition, the encoding control unit 260 can set the encoding condition again according to the request in step S240 described above. If no control trigger is detected, content acquisition, encoding and transmission are repeated. Note that content acquisition, encoding, and transmission are skipped while the source device 200 is selected as a standby device.
　＜５．制御シナリオ＞
　本節では、コンテンツ再生システム１における符号化条件の制御に関連するいくつかの制御シナリオについて、図面を用いて説明する。 <5. Control scenario>
In this section, some control scenarios related to control of encoding conditions in the content reproduction system 1 will be described with reference to the drawings.
　　　（１）第１の制御シナリオ
　図９は、符号化条件の制御に関連する例示的な第１の制御シナリオについて説明するための説明図である。図９の上部には、コンテンツ再生セットＲＬ１０と、対応する表示画像とが示されている。コンテンツ再生セットＲＬ１０は、ソース機器２００ａ（識別子“ＤＶＣ１”）からのメインコンテンツと、ソース機器２００ｂ（識別子“ＳＭＰ１”）及びソース機器２００ｃ（識別子“ＶＤＲ１”）からの２つのサブコンテンツとを含む。ソース機器２００ｄ（識別子“ＴＢＬ１”）は、待機機器である。表示画像のメインウィンドウ１４５ａには、ソース機器２００ａから受信されるコンテンツが表示されている。サブウィンドウ１４５ｂには、ソース機器２００ｂから受信されるコンテンツが表示されている。サブウィンドウ１４５ｃには、ソース機器２００ｃから受信されるコンテンツが表示されている。待機機器用ウィンドウ１４６には、待機機器であるソース機器２００ｄのアイコンが表示されている。 (1) First Control Scenario FIG. 9 is an explanatory diagram for describing an exemplary first control scenario related to control of encoding conditions. In the upper part of FIG. 9, the content reproduction set RL10 and the corresponding display image are shown. The content playback set RL10 includes main content from the source device 200a (identifier “DVC1”) and two sub-contents from the source device 200b (identifier “SMP1”) and the source device 200c (identifier “VDR1”). The source device 200d (identifier “TBL1”) is a standby device. Content received from the source device 200a is displayed in the main window 145a of the display image. Content received from the source device 200b is displayed in the sub window 145b. Content received from the source device 200c is displayed in the sub window 145c. In the standby device window 146, an icon of the source device 200d that is a standby device is displayed.
　ここで、ソース機器２００ｄからのコンテンツをメインウィンドウ１４５ａに表示させることを、例えばユーザが画面に表示されるＧＵＩ（Graphical　User　Interface）を介して指示したものとする。すると、シンク機器１００の再生制御部１６０は、コンテンツ再生セットＲＬ１０をコンテンツ再生セットＲＬ１１に更新する。コンテンツ再生セットＲＬ１１において、ソース機器２００ｄ（識別子“ＴＢＬ１”）からのコンテンツがメインコンテンツに設定されている。しかし、例えば復号部１３０は映像コンテンツを復号することのできる復号回路を３つしか有していないため、コンテンツ再生セットＲＬ１１の要求復号能力は、復号部１３０の実復号能力を超過する。 Here, for example, it is assumed that the user instructs to display the content from the source device 200d on the main window 145a via a GUI (Graphical User Interface) displayed on the screen. Then, the playback control unit 160 of the sink device 100 updates the content playback set RL10 to the content playback set RL11. In the content reproduction set RL11, the content from the source device 200d (identifier “TBL1”) is set as the main content. However, for example, since the decoding unit 130 has only three decoding circuits that can decode video content, the requested decoding capability of the content reproduction set RL11 exceeds the actual decoding capability of the decoding unit 130.
　そこで、再生制御部１６０は、例えば、コンテンツ再生セットＲＬ１１をコンテンツ再生セットＲＬ１２に更新する。コンテンツ再生セットＲＬ１２において、ソース機器２００ａ（識別子“ＤＶＣ１”）からのコンテンツは再生対象から除外され、ソース機器２００ａは待機機器に変更されている。結果として、コンテンツ再生セットＲＬ１２の要求復号能力は、復号部１３０の実復号能力を超過しない。図９の下部には、コンテンツ再生セットＲＬ１２に対応する表示画像が示されている。メインウィンドウ１４５ａには、ソース機器２００ｄ（識別子“ＴＢＬ１”）から受信されるコンテンツが表示されている。一方、待機機器用ウィンドウ１４６には、待機機器に変更されたソース機器２００ａのアイコンが表示されている。無線通信部１１０とソース機器２００ａとの間の無線接続は、このようにソース機器２００ａがアイコン化された後にも維持される。それにより、ソース機器２００ａからのコンテンツが再度再生される場合の、再生開始までの遅延時間（例えば、無線接続のセットアップに要する時間）を短縮することができる。 Therefore, the playback control unit 160 updates the content playback set RL11 to the content playback set RL12, for example. In the content playback set RL12, content from the source device 200a (identifier “DVC1”) is excluded from the playback target, and the source device 200a is changed to a standby device. As a result, the requested decryption capability of the content reproduction set RL12 does not exceed the actual decryption capability of the decryption unit 130. In the lower part of FIG. 9, a display image corresponding to the content reproduction set RL12 is shown. Content received from the source device 200d (identifier “TBL1”) is displayed in the main window 145a. On the other hand, the standby device window 146 displays an icon of the source device 200a changed to the standby device. The wireless connection between the wireless communication unit 110 and the source device 200a is maintained even after the source device 200a is iconified in this way. Thereby, when the content from the source device 200a is reproduced again, the delay time until the reproduction is started (for example, the time required for setting up the wireless connection) can be shortened.
　　　（２）第２の制御シナリオ
　図１０は、符号化条件の制御に関連する例示的な第２の制御シナリオについて説明するための説明図である。図１０の上部には、コンテンツ再生セットＲＬ２０と、対応する表示画像とが示されている。コンテンツ再生セットＲＬ２０は、ソース機器２００ａ（識別子“ＤＶＣ１”）からのメインコンテンツと、ソース機器２００ｂ（識別子“ＳＭＰ１”）及びソース機器２００ｃ（識別子“ＶＤＲ１”）からの２つのサブコンテンツとを含む。ソース機器２００ｄ（識別子“ＴＢＬ１”）は、待機機器である。表示画像のメインウィンドウ１４５ａには、ソース機器２００ａから受信されるコンテンツが表示されている。サブウィンドウ１４５ｂには、ソース機器２００ｂから受信されるコンテンツが表示されている。サブウィンドウ１４５ｃには、ソース機器２００ｃから受信されるコンテンツが表示されている。待機機器用ウィンドウ１４６には、待機機器であるソース機器２００ｄのアイコンが表示されている。 (2) Second Control Scenario FIG. 10 is an explanatory diagram for describing an exemplary second control scenario related to control of encoding conditions. In the upper part of FIG. 10, the content reproduction set RL20 and the corresponding display image are shown. The content reproduction set RL20 includes main content from the source device 200a (identifier “DVC1”) and two sub-contents from the source device 200b (identifier “SMP1”) and the source device 200c (identifier “VDR1”). The source device 200d (identifier “TBL1”) is a standby device. Content received from the source device 200a is displayed in the main window 145a of the display image. Content received from the source device 200b is displayed in the sub window 145b. Content received from the source device 200c is displayed in the sub window 145c. In the standby device window 146, an icon of the source device 200d that is a standby device is displayed.
　ここで、ソース機器２００ｂからのコンテンツをメインウィンドウ１４５ａに表示させることを、例えばユーザがソース機器２００ｂのユーザインタフェースを介して指示したものとする。すると、シンク機器１００の再生制御部１６０は、コンテンツ再生セットＲＬ２０をコンテンツ再生セットＲＬ２１に更新する。コンテンツ再生セットＲＬ２１において、ソース機器２００ｂ（識別子“ＳＭＰ１”）からのコンテンツがメインコンテンツに設定されている。しかし、高い解像度の求められる２つのメインコンテンツを同時に復号しようとすると、要求復号能力が、復号部１３０のプロセッサの実復号能力を超過する。一例として、メインコンテンツの受信及び復号、サブコンテンツの受信及び復号、並びに無線接続の維持には、それぞれ５０％、２０％及び２％のプロセッサ性能を要するものとする。この場合、２つのメインコンテンツを並列的に復号すれば、要求復号能力は１００％に達し、プロセッサ性能は不足し得る。要求復号能力は、符号化条件に関連付けてこのように簡易的に計算されてもよい。 Here, for example, it is assumed that the user instructs to display the content from the source device 200b on the main window 145a via the user interface of the source device 200b. Then, the playback control unit 160 of the sink device 100 updates the content playback set RL20 to the content playback set RL21. In the content reproduction set RL21, the content from the source device 200b (identifier “SMP1”) is set as the main content. However, if two main contents requiring high resolution are to be decoded simultaneously, the required decoding capability exceeds the actual decoding capability of the processor of the decoding unit 130. As an example, it is assumed that 50%, 20%, and 2% of processor performance are required for receiving and decoding main content, receiving and decoding sub-contents, and maintaining a wireless connection, respectively. In this case, if the two main contents are decoded in parallel, the required decoding capability reaches 100% and the processor performance may be insufficient. The required decoding capability may be simply calculated in this way in association with the encoding condition.
　そこで、再生制御部１６０は、例えば、コンテンツ再生セットＲＬ２１をコンテンツ再生セットＲＬ２２に更新する。コンテンツ再生セットＲＬ２２において、ソース機器２００ａ（識別子“ＤＶＣ１”）からのコンテンツはサブコンテンツに変更されている。結果として、コンテンツ再生セットＲＬ２２の要求復号能力は、復号部１３０の実復号能力を超過しない。図１０の下部には、コンテンツ再生セットＲＬ２２に対応する表示画像が示されている。メインウィンドウ１４５ａには、ソース機器２００ｂ（識別子“ＳＭＰ１”）から受信されるコンテンツが表示されている。一方、サブウィンドウ１４５ｂには、ソース機器２００ａ（識別子“ＤＶＣ１”）から受信されるコンテンツが表示されている。 Therefore, for example, the reproduction control unit 160 updates the content reproduction set RL21 to the content reproduction set RL22. In the content reproduction set RL22, the content from the source device 200a (identifier “DVC1”) is changed to a sub-content. As a result, the requested decryption capability of the content reproduction set RL22 does not exceed the actual decryption capability of the decryption unit 130. In the lower part of FIG. 10, a display image corresponding to the content reproduction set RL22 is shown. In the main window 145a, content received from the source device 200b (identifier “SMP1”) is displayed. On the other hand, the content received from the source device 200a (identifier “DVC1”) is displayed in the sub window 145b.
　　　（３）第３の制御シナリオ
　図１１は、符号化条件の制御に関連する例示的な第３の制御シナリオについて説明するための説明図である。図１１の上部には、コンテンツ再生セットＲＬ３０と、対応する表示画像とが示されている。コンテンツ再生セットＲＬ３０は、ソース機器２００ａ（識別子“ＤＶＣ１”）からのメインコンテンツと、ソース機器２００ｂ（識別子“ＳＭＰ１”）及びソース機器２００ｃ（識別子“ＶＤＲ１”）からの２つのサブコンテンツとを含む。ソース機器２００ｄ（識別子“ＴＢＬ１”）は、待機機器である。表示画像のメインウィンドウ１４５ａには、ソース機器２００ａから受信されるコンテンツが表示されている。サブウィンドウ１４５ｂには、ソース機器２００ｂから受信されるコンテンツが表示されている。サブウィンドウ１４５ｃには、ソース機器２００ｃから受信されるコンテンツが表示されている。待機機器用ウィンドウ１４６には、待機機器であるソース機器２００ｄのアイコンが表示されている。 (3) Third Control Scenario FIG. 11 is an explanatory diagram for describing an exemplary third control scenario related to the control of the encoding condition. In the upper part of FIG. 11, a content reproduction set RL30 and a corresponding display image are shown. The content reproduction set RL30 includes main content from the source device 200a (identifier “DVC1”) and two sub-contents from the source device 200b (identifier “SMP1”) and the source device 200c (identifier “VDR1”). The source device 200d (identifier “TBL1”) is a standby device. Content received from the source device 200a is displayed in the main window 145a of the display image. Content received from the source device 200b is displayed in the sub window 145b. Content received from the source device 200c is displayed in the sub window 145c. In the standby device window 146, an icon of the source device 200d that is a standby device is displayed.
　ここで、ソース機器２００ｄからのコンテンツをサブウィンドウ１４５ｂ又は１４５ｃに表示させることを、例えばユーザが画面に表示されるＧＵＩを介して指示したものとする。すると、シンク機器１００の再生制御部１６０は、コンテンツ再生セットＲＬ３０をコンテンツ再生セットＲＬ３１に更新する。コンテンツ再生セットＲＬ３１において、ソース機器２００ｄ（識別子“ＴＢＬ１”）からのコンテンツがサブコンテンツに設定されている。しかし、１つのメインコンテンツと３つのサブコンテンツとを既定の解像度で同時に復号しようとすると、要求復号能力が、復号部１３０のプロセッサの実復号能力を超過する。 Here, for example, it is assumed that the user instructs to display the content from the source device 200d on the sub-window 145b or 145c via a GUI displayed on the screen. Then, the playback control unit 160 of the sink device 100 updates the content playback set RL30 to the content playback set RL31. In the content reproduction set RL31, the content from the source device 200d (identifier “TBL1”) is set as the sub-content. However, if one main content and three sub-contents are simultaneously decoded at a predetermined resolution, the requested decoding capability exceeds the actual decoding capability of the processor of the decoding unit 130.
　そこで、再生制御部１６０は、例えば、コンテンツ再生セットＲＬ３１をコンテンツ再生セットＲＬ３２に更新する。コンテンツ再生セットＲＬ３２において、ソース機器２００ｂ（識別子“ＳＭＰ１”）及びソース機器２００ｃ（識別子“ＶＤＲ１”）からのサブコンテンツの解像度が、低解像度（ＬＤ）に変更されている。結果として、コンテンツ再生セットＲＬ３２の要求復号能力は、復号部１３０の実復号能力を超過しない。図１１の下部には、コンテンツ再生セットＲＬ３２に対応する表示画像が示されている。サブウィンドウ１４５ｂ及び１４５ｃのウィンドウサイズは縮小され、これらウィンドウはそれぞれ低解像度のサブコンテンツを表示している。また、新たなサブウィンドウ１４５ｄが追加され、サブウィンドウ１４５ｄはソース機器２００ｄ（識別子“ＴＢＬ１”）から受信されるコンテンツを表示している。このように、表示画像のウィンドウ構成（ウィンドウの数及びサイズなど）は、コンテンツ再生セットの符号化条件に追随して動的に変更されてもよい。 Therefore, for example, the reproduction control unit 160 updates the content reproduction set RL31 to the content reproduction set RL32. In the content reproduction set RL32, the resolution of the sub content from the source device 200b (identifier “SMP1”) and the source device 200c (identifier “VDR1”) is changed to low resolution (LD). As a result, the requested decryption capability of the content reproduction set RL32 does not exceed the actual decryption capability of the decryption unit 130. A display image corresponding to the content reproduction set RL32 is shown in the lower part of FIG. The window sizes of the sub-windows 145b and 145c are reduced, and each of these windows displays low-resolution sub-contents. In addition, a new subwindow 145d is added, and the subwindow 145d displays content received from the source device 200d (identifier “TBL1”). As described above, the window configuration (the number and size of windows) of the display image may be dynamically changed following the encoding condition of the content reproduction set.
　　　（４）第４の制御シナリオ
　図１２は、符号化条件の制御に関連する例示的な第４の制御シナリオについて説明するための説明図である。図１２の上部には、コンテンツ再生セットＲＬ４０と、対応する表示画像とが示されている。コンテンツ再生セットＲＬ４０は、ソース機器２００ａ（識別子“ＤＶＣ１”）からのメインコンテンツと、ソース機器２００ｂ（識別子“ＳＭＰ１”）及びソース機器２００ｃ（識別子“ＶＤＲ１”）からの２つのサブコンテンツとを含む。ソース機器２００ｄ（識別子“ＴＢＬ１”）は、待機機器である。メインコンテンツは、ソース機器２００ａにおいてＨ．２６５／ＨＥＶＣで符号化される。２つのサブコンテンツは、ソース機器２００ｂ及び２００ｃにおいてＨ．２６４／ＡＶＣで符号化される。 (4) Fourth Control Scenario FIG. 12 is an explanatory diagram for describing an exemplary fourth control scenario related to the control of the encoding condition. In the upper part of FIG. 12, the content reproduction set RL40 and the corresponding display image are shown. The content reproduction set RL40 includes main content from the source device 200a (identifier “DVC1”) and two sub-contents from the source device 200b (identifier “SMP1”) and the source device 200c (identifier “VDR1”). The source device 200d (identifier “TBL1”) is a standby device. The main content is H.264 on the source device 200a. It is encoded with H.265 / HEVC. The two sub-contents are stored in the source device 200b and 200c in the H.264 format. It is encoded by H.264 / AVC.
　ここで、ソース機器２００ｄからのコンテンツをメインウィンドウ１４５ａに表示させることを、例えばユーザが画面に表示されるＧＵＩを介して指示したものとする。すると、シンク機器１００の再生制御部１６０は、コンテンツ再生セットＲＬ４０をコンテンツ再生セットＲＬ４１に更新する。コンテンツ再生セットＲＬ４１において、ソース機器２００ｄ（識別子“ＴＢＬ１”）からのコンテンツがメインコンテンツに設定されている。しかし、例えば復号部１３０は映像コンテンツを復号することのできる復号回路を３つしか有していないため、コンテンツ再生セットＲＬ４１の要求復号能力は、復号部１３０の実復号能力を超過する。 Here, for example, it is assumed that the user instructs to display the content from the source device 200d on the main window 145a via a GUI displayed on the screen. Then, the playback control unit 160 of the sink device 100 updates the content playback set RL40 to the content playback set RL41. In the content reproduction set RL41, content from the source device 200d (identifier “TBL1”) is set as the main content. However, for example, since the decoding unit 130 has only three decoding circuits that can decode video content, the requested decoding capability of the content reproduction set RL41 exceeds the actual decoding capability of the decoding unit 130.
　そこで、再生制御部１６０は、コンテンツ再生セットＲＬ４１をさらにコンテンツ再生セットＲＬ４２に更新する。コンテンツ再生セットＲＬ４２において、ソース機器２００ａ（識別子“ＤＶＣ１”）からのコンテンツがサブコンテンツに設定され、ソース機器２００ｃ（識別子“ＶＤＲ１”）からのコンテンツが再生対象から除外されている。ソース機器２００ｄ（識別子“ＴＢＬ１”）からのメインコンテンツは、Ｈ．２６５／ＨＥＶＣで符号化される。しかし、例えば復号部１３０はＨ．２６５／ＨＥＶＣで映像コンテンツを復号することのできる復号回路を１つしか有していないため、コンテンツ再生セットＲＬ４２の要求復号能力は、依然として復号部１３０の実復号能力を超過する。 Therefore, the playback control unit 160 further updates the content playback set RL41 to the content playback set RL42. In the content playback set RL42, content from the source device 200a (identifier “DVC1”) is set as sub-content, and content from the source device 200c (identifier “VDR1”) is excluded from playback targets. The main content from the source device 200d (identifier “TBL1”) is H.264. It is encoded with H.265 / HEVC. However, for example, the decoding unit 130 is H.264. Since only one decoding circuit capable of decoding video content with H.265 / HEVC is provided, the requested decoding capability of the content reproduction set RL42 still exceeds the actual decoding capability of the decoding unit 130.
　そこで、再生制御部１６０は、例えば、コンテンツ再生セットＲＬ４２をさらにコンテンツ再生セットＲＬ４３に更新する。コンテンツ再生セットＲＬ４３において、ソース機器２００ｄ（識別子“ＴＢＬ１”）からのメインコンテンツは、Ｈ．２６４／ＡＶＣで符号化される。結果として、コンテンツ再生セットＲＬ４３の要求復号能力は、復号部１３０の実復号能力を超過しない。いずれのソース機器のコーデック種別を変更すべきかは、例えば、各ソース機器から予め収集される符号化能力情報に基づいて決定されてよい。図１２の制御シナリオにおいて、ソース機器２００ｄからのメインコンテンツのためのコーデック種別がＨ．２６４／ＡＶＣに変更された理由は、例えば、ソース機器２００ｄがＨ．２６５／ＨＥＶＣ及びＨ．２６４／ＡＶＣの双方をサポートする一方で、ソース機器２００ａがＨ．２６５／ＨＥＶＣのみをサポートしていることであってよい。 Therefore, for example, the reproduction control unit 160 further updates the content reproduction set RL42 to the content reproduction set RL43. In the content reproduction set RL43, the main content from the source device 200d (identifier “TBL1”) is H.264. It is encoded by H.264 / AVC. As a result, the requested decryption capability of the content reproduction set RL43 does not exceed the actual decryption capability of the decryption unit 130. Which source device codec type should be changed may be determined based on, for example, encoding capability information collected in advance from each source device. In the control scenario of FIG. 12, the codec type for the main content from the source device 200d is H.264. The reason for changing to H.264 / AVC is, for example, that the source device 200d is H.264. H.265 / HEVC and H.264. H.264 / AVC is supported, while the source device 200a is H.264. It may be that only H.265 / HEVC is supported.
　　　（５）第５の制御シナリオ
　図１３は、符号化条件の制御に関連する例示的な第５の制御シナリオについて説明するための説明図である。図１３の上部には、コンテンツ再生セットＲＬ５０と、対応する表示画像とが示されている。コンテンツ再生セットＲＬ５０は、ソース機器２００ａ（識別子“ＤＶＣ１”）からのメインコンテンツと、ソース機器２００ｂ（識別子“ＳＭＰ１”）及びソース機器２００ｃ（識別子“ＶＤＲ１”）からの２つのサブコンテンツとを含む。ソース機器２００ｄ（識別子“ＴＢＬ１”）は、待機機器である。 (5) Fifth Control Scenario FIG. 13 is an explanatory diagram for explaining an exemplary fifth control scenario related to the control of the encoding condition. In the upper part of FIG. 13, the content reproduction set RL50 and the corresponding display image are shown. The content reproduction set RL50 includes main content from the source device 200a (identifier “DVC1”) and two sub-contents from the source device 200b (identifier “SMP1”) and the source device 200c (identifier “VDR1”). The source device 200d (identifier “TBL1”) is a standby device.
　ここで、ソース機器２００ｄからのコンテンツをメインウィンドウ１４５ａに表示させることを、例えばユーザが画面に表示されるＧＵＩを介して指示したものとする。すると、シンク機器１００の再生制御部１６０は、コンテンツ再生セットＲＬ５０をコンテンツ再生セットＲＬ５１に更新する。コンテンツ再生セットＲＬ５１において、ソース機器２００ｄ（識別子“ＴＢＬ１”）からのコンテンツがメインコンテンツに設定されている。しかし、例えば復号部１３０は映像コンテンツを復号することのできる復号回路を３つしか有さず、メインコンテンツのための既定のビデオコーデックであるＨ．２６５／ＨＥＶＣでコンテンツ復号可能な復号回路は１つしか存在しないため、コンテンツ再生セットＲＬ５１の要求復号能力は、復号部１３０の実復号能力を超過する。 Here, for example, it is assumed that the user instructs to display the content from the source device 200d on the main window 145a via a GUI displayed on the screen. Then, the playback control unit 160 of the sink device 100 updates the content playback set RL50 to the content playback set RL51. In the content reproduction set RL51, the content from the source device 200d (identifier “TBL1”) is set as the main content. However, for example, the decoding unit 130 has only three decoding circuits capable of decoding video content, and is a default video codec for main content. Since there is only one decryption circuit capable of decrypting content by H.265 / HEVC, the requested decryption capability of the content reproduction set RL51 exceeds the actual decryption capability of the decryption unit 130.
　そこで、再生制御部１６０は、例えば、コンテンツ再生セットＲＬ５１をコンテンツ再生セットＲＬ５２に更新する。コンテンツ再生セットＲＬ５２において、ソース機器２００ａ（識別子“ＤＶＣ１”）からのコンテンツはサブコンテンツに変更され、当該コンテンツのコーデック種別は無圧縮（ＮＣ）方式に変更されている。この場合、ソース機器２００ａは、コンテンツを圧縮符号化することなくシンク機器１００へ送信する。シンク機器１００の復号部１３０は、ソース機器２００ａから受信されるサブコンテンツを伸長するための復号処理を実行しなくてよい。結果として、コンテンツ再生セットＲＬ５２の要求復号能力は、復号部１３０の実復号能力を超過しない。図１３の下部には、コンテンツ再生セットＲＬ５２に対応する表示画像が示されている。当該表示画像において、新たなサブウィンドウ１４５ｅが追加され、サブウィンドウ１４５ｅはソース機器２００ａ（識別子“ＤＶＣ１”）から受信されるコンテンツを表示している。 Therefore, for example, the reproduction control unit 160 updates the content reproduction set RL51 to the content reproduction set RL52. In the content reproduction set RL52, the content from the source device 200a (identifier “DVC1”) is changed to a sub-content, and the codec type of the content is changed to an uncompressed (NC) system. In this case, the source device 200a transmits the content to the sink device 100 without compression encoding. The decoding unit 130 of the sink device 100 does not have to execute a decoding process for expanding the sub-content received from the source device 200a. As a result, the requested decryption capability of the content reproduction set RL52 does not exceed the actual decryption capability of the decryption unit 130. In the lower part of FIG. 13, a display image corresponding to the content reproduction set RL52 is shown. In the display image, a new subwindow 145e is added, and the subwindow 145e displays the content received from the source device 200a (identifier “DVC1”).
　＜６．メッセージングシーケンス（Ｗｉ－Ｆｉディスプレイの例）＞
　本節では、コンテンツ再生システム１におけるシンク機器１００とソース機器２００との間のメッセージングシーケンスのいくつかの例を図面を用いて説明する。なお、ここでは、限定ではなく一例として、メッセージングシーケンスはＷｉ－Ｆｉディスプレイの仕様に従うものとし、但し、そのシーケンスは本開示に係る技術の実現のために部分的に拡張され得る。 <6. Messaging sequence (example of Wi-Fi display)>
In this section, some examples of messaging sequences between the sink device 100 and the source device 200 in the content reproduction system 1 will be described with reference to the drawings. Here, by way of example and not limitation, the messaging sequence conforms to the specification of the Wi-Fi display, but the sequence may be partially extended to realize the technology according to the present disclosure.
　　［６－１．概略的な流れ］
　図１４は、Ｗｉ－Ｆｉディスプレイにおける機器間のメッセージングの流れを概略的に示すシーケンス図である。なお、図中では、説明の簡明さのために、１つのソース機器と１つのシンク機器のみが示される。しかし、実際には、複数のソース機器と１つのシンク機器とが、本節で説明される手続に従ってメッセージを交換し得る。 [6-1. Schematic flow]
FIG. 14 is a sequence diagram schematically showing a flow of messaging between devices in the Wi-Fi display. In the figure, only one source device and one sink device are shown for the sake of simplicity. In practice, however, multiple source devices and a single sink device may exchange messages according to the procedure described in this section.
　図１４を参照すると、まず、シンク機器１００とソース機器２００との間で、デバイスディスカバリ手続（WFD　Device　Discovery）が実行される（ステップＳ１０）。デバイスディスカバリ手続において、少なくとも一方の機器が探索信号を送信し、当該探索信号を受信した他方の機器が応答信号を返送する。それにより、シンク機器１００とソース機器２００とが、互いの存在を認識する。 Referring to FIG. 14, first, a device discovery procedure (WFD Device Discovery) is executed between the sink device 100 and the source device 200 (step S10). In the device discovery procedure, at least one device transmits a search signal, and the other device that has received the search signal returns a response signal. Thereby, the sink device 100 and the source device 200 recognize each other's existence.
　次に、シンク機器１００とソース機器２００との間で、サービスディスカバリ手続（WFD　Service　Discovery）が実行される（ステップＳ１５）。なお、サービスディスカバリ手続は任意的（optional）であり、シーケンスから省略されてもよい。サービスディスカバリ手続において、少なくとも一方の機器がサービス問合せ信号を送信し、当該サービス問合せ信号を受信した他方の機器がサービス応答信号を返送する。後に詳細に説明する第２の手法では、このサービスディスカバリ手続の中で、ソース機器２００の符号化能力情報がシンク機器１００へ提供される。 Next, a service discovery procedure (WFD Service Discovery) is executed between the sink device 100 and the source device 200 (step S15). Note that the service discovery procedure is optional and may be omitted from the sequence. In the service discovery procedure, at least one device transmits a service inquiry signal, and the other device that has received the service inquiry signal returns a service response signal. In the second method described in detail later, the coding capability information of the source device 200 is provided to the sink device 100 in the service discovery procedure.
　次に、シンク機器１００において、発見された機器の中から接続すべきソース機器２００が選択される（ステップＳ２０ａ）。ここでの機器の選択は、ユーザ入力に従って行われてもよく、又は予め記憶されるローカルポリシーに従って行われてもよい。同様に、ソース機器２００においても、接続すべきシンク機器１００が選択されてもよい（ステップＳ２０ｂ）。 Next, in the sink device 100, the source device 200 to be connected is selected from the discovered devices (step S20a). The device selection here may be performed according to a user input or may be performed according to a local policy stored in advance. Similarly, in the source device 200, the sink device 100 to be connected may be selected (step S20b).
　次に、シンク機器１００とソース機器２００との間で、接続セットアップ手続（WFD　Connection　Setup）が実行される（ステップＳ２５）。それにより、機器間のＴＣＰ接続が確立される。典型的には、シンク機器１００がＴＣＰクライアントとして接続セットアップ手続を開始し、ソース機器２００はＴＣＰサーバとして動作する。 Next, a connection setup procedure (WFD Connection Setup) is executed between the sink device 100 and the source device 200 (step S25). Thereby, a TCP connection between the devices is established. Typically, the sink device 100 starts a connection setup procedure as a TCP client, and the source device 200 operates as a TCP server.
　次に、シンク機器１００とソース機器２００との間で、能力交渉手続（WFD　Capability　Negotiation）が実行される（ステップＳ３０）。後に詳細に説明する第１の手法では、この能力交渉手続の中で、ソース機器２００の符号化能力情報がシンク機器１００へ提供される。能力交渉手続は、ＲＴＳＰ（Real　Time　Streaming　Protocol）のＭ１、Ｍ２、Ｍ３及びＭ４メッセージ、又はそれらの拡張を用いて実装され得る。 Next, a capability negotiation procedure (WFD Capability Negotiation) is executed between the sink device 100 and the source device 200 (step S30). In the first method described in detail later, the coding capability information of the source device 200 is provided to the sink device 100 in this capability negotiation procedure. The capability negotiation procedure may be implemented using RT1, M1, M2, M3 and M4 messages of Real Time Streaming Protocol (RTSP), or extensions thereof.
　次に、シンク機器１００とソース機器２００との間で、セッション確立手続（WFD　Session　Establishment）が実行される（ステップＳ５０）。それにより、機器間のサービスセッションが確立される。セッション確立手続は、ＲＴＳＰのＭ５、Ｍ６及びＭ７メッセージを用いて実装され得る。 Next, a session establishment procedure (WFD Session Establishment) is executed between the sink device 100 and the source device 200 (step S50). Thereby, a service session between the devices is established. The session establishment procedure may be implemented using RTSP M5, M6 and M7 messages.
　次に、シンク機器１００とソース機器２００との間で、ＵＩＢＣセットアップ手続が実行される（ステップＳ６０）。なお、ＵＩＢＣセットアップ手続は任意的であり、シーケンスから省略されてもよい。ＵＩＢＣセットアップ手続により、機器間でユーザ入力情報を伝送するための制御チャネルが確立される。ＵＩＢＣセットアップ手続は、ＲＴＳＰのＭ３及びＭ４メッセージ、又はＭ１４及びＭ１５メッセージを用いて実装され得る。 Next, a UIBC setup procedure is executed between the sink device 100 and the source device 200 (step S60). Note that the UIBC setup procedure is optional and may be omitted from the sequence. The UIBC setup procedure establishes a control channel for transmitting user input information between devices. The UIBC setup procedure may be implemented using RTSP M3 and M4 messages, or M14 and M15 messages.
　次に、シンク機器１００とソース機器２００との間で、コンテンツ保護セットアップ手続が実行される（ステップＳ６５）。なお、コンテンツ保護セットアップ手続は任意的であり、シーケンスから省略されてもよい。コンテンツ保護セットアップ手続により、例えばＨＤＣＰ（High-bandwidth　Digital　Content　Protection）技術によってコンテンツを保護することが可能となる。 Next, a content protection setup procedure is executed between the sink device 100 and the source device 200 (step S65). Note that the content protection setup procedure is optional and may be omitted from the sequence. With the content protection setup procedure, for example, content can be protected by HDCP (High-bandwidth Digital Content Protection) technology.
　その後、ソース機器２００からシンク機器１００へのコンテンツのストリーミングが実行される（ステップＳ７０）。ここでのストリーミングは、例えば、図８のステップＳ２５２～Ｓ２５６及び図６のステップＳ１７０～Ｓ１８０の処理に相当し得る。ストリーミングの最中に何らかの制御トリガが検出された場合（ステップＳ７５）、シンク機器１００は、検出された制御トリガに応じた制御を実行する（ステップＳ８０）。例えば、コンテンツ再生セットの更新及びそれに伴う新たな符号化条件のソース機器２００への指示が、ここで行われてよい。 Thereafter, streaming of content from the source device 200 to the sink device 100 is executed (step S70). The streaming here can correspond to, for example, the processing of steps S252 to S256 in FIG. 8 and steps S170 to S180 in FIG. If any control trigger is detected during streaming (step S75), the sink device 100 executes control according to the detected control trigger (step S80). For example, the content reproduction set may be updated and an instruction to the source device 200 for a new encoding condition associated therewith may be performed here.
　次に、ソース機器２００が待機機器として選択された場合には、シンク機器１００とソース機器２００との間で、スタンバイ移行手続（WFD　Source/Sink　standby）が実行され得る（ステップＳ９０）。サービスが終了される場合には、シンク機器１００とソース機器２００との間で、セッション切断手続（WFD　Session　Teardown）が実行され得る（ステップＳ９５）。 Next, when the source device 200 is selected as a standby device, a standby transition procedure (WFD Source / Sink standby) may be executed between the sink device 100 and the source device 200 (step S90). When the service is terminated, a session disconnection procedure (WFD Session Teardown) can be executed between the sink device 100 and the source device 200 (step S95).
　　［６－２．既存の能力交渉手続］
　図１５は、図１４の能力交渉手続における既存のメッセージングの流れの一例を示すシーケンス図である。非特許文献１によれば、Ｗｉ－Ｆｉディスプレイでは、能力交渉手続（WFD　Capability　Negotiation）は、ＲＴＳＰのＭ１、Ｍ２、Ｍ３及びＭ４メッセージを用いて実装される。 [6-2. Existing capacity negotiation procedures]
FIG. 15 is a sequence diagram showing an example of an existing messaging flow in the capability negotiation procedure of FIG. According to Non-Patent Document 1, in the Wi-Fi display, the capability negotiation procedure (WFD Capability Negotiation) is implemented using the M1, M2, M3, and M4 messages of RTSP.
　まず、ソース機器は、シンク機器によりサポートされるメソッドを問合せるために、Ｍ１リクエストメッセージ（M1-RTSP　OPTIONS　Request）をシンク機器へ送信する（ステップＳ３１ａ）。シンク機器は、Ｍ１リクエストメッセージへの応答として、Ｍ１レスポンスメッセージ（M1-RTSP　OPTIONS　Response）を返送する（ステップＳ３１ｂ）。 First, the source device transmits an M1 request message (M1-RTSP OPTIONS Request) to the sink device in order to query a method supported by the sink device (step S31a). The sink device returns an M1 response message (M1-RTSP OPTIONS Response) as a response to the M1 request message (step S31b).
　次に、シンク機器は、ソース機器によりサポートされるメソッドを問合せるために、Ｍ２リクエストメッセージ（M2-RTSP　OPTIONS　Request）をソース機器へ送信する（ステップＳ３３ａ）。ソース機器は、Ｍ２リクエストメッセージへの応答として、Ｍ２レスポンスメッセージ（M2-RTSP　OPTIONS　Response）を返送する（ステップＳ３３ｂ）。 Next, the sink device transmits an M2 request message (M2-RTSP OPTIONS Request) to the source device in order to query a method supported by the source device (step S33a). The source device returns an M2 response message (M2-RTSP OPTIONS Response) as a response to the M2 request message (step S33b).
　次に、ソース機器は、シンク機器の復号能力を示すパラメータを取得するために、Ｍ３リクエストメッセージ（M3-RTSP　GET_PARAMETER　Request）をシンク機器へ送信する（ステップＳ３５ａ）。シンク機器は、Ｍ３リクエストメッセージへの応答として、Ｍ３レスポンスメッセージ（M3-RTSP　Response）を返送する（ステップＳ３５ｂ）。 Next, the source device transmits an M3 request message (M3-RTSP GET_PARAMETER Request) to the sink device in order to acquire a parameter indicating the decoding capability of the sink device (step S35a). The sink device returns an M3 response message (M3-RTSP Response) as a response to the M3 request message (step S35b).
　次に、ソース機器は、シンク機器へ復号条件の設定を指示するために、Ｍ４リクエストメッセージ（M4-RTSP　SET_PARAMETER　Request）をシンク機器へ送信する（ステップＳ３７ａ）。シンク機器は、Ｍ４リクエストメッセージへの応答として、Ｍ４レスポンスメッセージ（M4-RTSP　Response）を返送する（ステップＳ３７ｂ）。 Next, the source device transmits an M4 request message (M4-RTSP SET_PARAMETER Request) to the sink device to instruct the sink device to set the decoding conditions (step S37a). The sink device returns an M4 response message (M4-RTSP Response) as a response to the M4 request message (step S37b).
　このように、既存のメッセージングシーケンスでは、ソース機器がコンテンツの符号化及び復号の条件を制御するマスタとしての役割を有し、シンク機器はソース機器からの指示に従って復号条件を設定する。これに対し、本実施形態では、シンク機器１００がコンテンツの符号化及び復号の条件を制御するマスタとしての役割を有する。そのための拡張されたメッセージングシーケンスの２つの例を、以下に説明する。 As described above, in the existing messaging sequence, the source device has a role as a master for controlling the encoding and decoding conditions of the content, and the sink device sets the decoding conditions according to the instruction from the source device. On the other hand, in the present embodiment, the sink device 100 has a role as a master that controls conditions for encoding and decoding contents. Two examples of extended messaging sequences for this are described below.
　　［６－３．拡張されたメッセージングシーケンス（第１の手法）］
　　　（１）基本的な流れ
　図１６は、第１の手法に従って拡張されたシンク機器とソース機器との間のメッセージングの流れの一例を示すシーケンス図である。第１の手法では、ＲＴＳＰのパラメータ取得用メッセージであるＭ３リクエストメッセージが拡張され、シンク機器１００からソース機器２００へ符号化能力情報を問合せるための能力問合せメッセージとして利用される。また、ＲＴＳＰのパラメータ設定用メッセージであるＭ４リクエストメッセージが拡張され、シンク機器１００によってソース機器２００の符号化条件を設定するための設定要求メッセージとして利用される。 [6-3. Extended messaging sequence (first approach)]
(1) Basic Flow FIG. 16 is a sequence diagram illustrating an example of a flow of messaging between a sink device and a source device extended according to the first technique. In the first method, the M3 request message, which is an RTSP parameter acquisition message, is expanded and used as a capability inquiry message for inquiring encoding capability information from the sink device 100 to the source device 200. Further, the M4 request message, which is an RTSP parameter setting message, is expanded and used as a setting request message for setting the encoding condition of the source device 200 by the sink device 100.
　図１６のステップＳ３１ａ～Ｓ３３ｂは、図１５を用いて説明したものと同様である。シンク機器１００は、ソース機器２００の符号化能力情報を取得するために、拡張されたＭ３リクエストメッセージ（M3'-RTSP　GET_PARAMETER　Request）をソース機器２００へ送信する（ステップＳ３６ａ）。拡張されたＭ３リクエストメッセージは、上述した能力問合せメッセージに相当する。ソース機器２００は、自身の符号化能力情報を含む拡張されたＭ３レスポンスメッセージ（M3'-RTSP　Response）を、シンク機器１００へ返送する（ステップＳ３６ｂ）。シンク機器１００は、このようにソース機器２００から収集される符号化能力情報を用いて、ソース機器２００に適用すべき符号化条件を決定し得る。拡張されたＭ３レスポンスメッセージは、ソース機器２００の優先条件情報を追加的に含んでもよい。 Steps S31a to S33b in FIG. 16 are the same as those described with reference to FIG. The sink device 100 transmits an extended M3 request message (M3′-RTSP GET_PARAMETER Request) to the source device 200 in order to acquire the coding capability information of the source device 200 (step S36a). The extended M3 request message corresponds to the above-described capability inquiry message. The source device 200 returns an extended M3 response message (M3′-RTSP Response) including its own coding capability information to the sink device 100 (step S36b). The sink device 100 can determine the encoding condition to be applied to the source device 200 using the encoding capability information collected from the source device 200 in this way. The extended M3 response message may additionally include the priority condition information of the source device 200.
　符号化条件が決定されると、シンク機器１００は、ソース機器２００へ符号化条件の設定を指示するために、拡張されたＭ４リクエストメッセージ（M4'-RTSP　SET_PARAMETER　Request）をソース機器２００へ送信する（ステップＳ３８ａ）。拡張されたＭ４リクエストメッセージは、ソース機器２００がコンテンツを符号化する際に使用すべき符号化条件を指定する、上述した設定要求メッセージに相当する。ソース機器２００は、拡張されたＭ４リクエストメッセージへの応答として、拡張されたＭ４レスポンスメッセージ（M4'-RTSP　Response）を返送する（ステップＳ３８ｂ）。 When the encoding condition is determined, the sink device 100 transmits an extended M4 request message (M4′-RTSP SET_PARAMETER Request) to the source device 200 in order to instruct the source device 200 to set the encoding condition. (Step S38a). The extended M4 request message corresponds to the above-described setting request message that specifies an encoding condition to be used when the source device 200 encodes content. The source device 200 returns an extended M4 response message (M4′-RTSP Response) as a response to the extended M4 request message (step S38b).
　　　（２）変形例
　図１７は、第１の手法に従って拡張されたシンク機器とソース機器との間のメッセージングの流れの他の例を示すシーケンス図である。図１７の例では、シンク機器１００からソース機器２００へ能力問合せメッセージ、即ち拡張されたＭ３リクエストメッセージが送信される前に、図１５を用いて説明した既存のメッセージングの流れに従って、ソース機器２００からシンク機器１００へ（拡張されていない）Ｍ４リクエストメッセージが送信される（ステップＳ３７ａ）。シンク機器１００は、このＭ４リクエストメッセージへの応答として、指示されたパラメータの設定を拒否することを示すＭ４レスポンスメッセージ（M4-RTSP　Response　(NG)）を返送する（ステップＳ３７ｂ）。その後、シンク機器１００とソース機器２００との間で、図１６を用いて説明した通りに、拡張されたＭ３リクエスト／レスポンスメッセージ及び拡張されたＭ４リクエスト／レスポンスメッセージが交換される。なお、シンク機器１００は、ステップＳ３７ａにおいて指示されたパラメータが、ソース機器２００に設定すべき符号化条件に適合している場合には、指示された当該パラメータの設定を受け入れてもよい。その場合、ステップＳ３７ｂにおいて、指示されたパラメータの設定を受け入れることを示すＭ４レスポンスメッセージが返送され得る。 (2) Modified Example FIG. 17 is a sequence diagram illustrating another example of the flow of messaging between the sink device and the source device extended according to the first technique. In the example of FIG. 17, before the capability inquiry message, that is, the extended M3 request message is transmitted from the sink device 100 to the source device 200, the source device 200 follows the existing messaging flow described with reference to FIG. An M4 request message (not expanded) is transmitted to the sink device 100 (step S37a). As a response to the M4 request message, the sink device 100 returns an M4 response message (M4-RTSP Response (NG)) indicating that setting of the instructed parameter is rejected (step S37b). Thereafter, as described with reference to FIG. 16, the extended M3 request / response message and the extended M4 request / response message are exchanged between the sink device 100 and the source device 200. Note that the sink device 100 may accept the setting of the instructed parameter when the parameter instructed in step S37a matches the encoding condition to be set in the source device 200. In that case, in step S37b, an M4 response message indicating acceptance of the setting of the instructed parameter may be returned.
　図１８は、サービスが中断される場合のメッセージングの流れの一例を示すシーケンス図である。図１８のステップＳ３１ａ～Ｓ３６ｂは、図１６を用いて説明したものと同様である。シンク機器１００は、ソース機器２００の符号化能力情報を取得するために、拡張されたＭ３リクエストメッセージをソース機器２００へ送信する（ステップＳ３６ａ）。ソース機器２００は、自身の符号化能力情報を含む拡張されたＭ３レスポンスメッセージを、シンク機器１００へ返送する（ステップＳ３６ｂ）。このように収集される符号化能力情報を用いてシンク機器１００がソース機器２００に適用すべき符号化条件を判定した結果、シンク機器１００は、ソース機器２００からのサービスの提供を停止することを決定したものとする。この場合、シンク機器１００は、Ｍ８リクエストメッセージ（M8-RTSP　TEARDOWN　Request）をソース機器２００へ送信することにより、サービスの停止をソース機器２００へ通知する（ステップＳ３９ａ）。ソース機器２００は、Ｍ８レスポンスメッセージ（M8-RTSP　Response）を返送する（ステップＳ３９ｂ）。 FIG. 18 is a sequence diagram showing an example of the flow of messaging when the service is interrupted. Steps S31a to S36b in FIG. 18 are the same as those described with reference to FIG. The sink device 100 transmits the extended M3 request message to the source device 200 in order to acquire the coding capability information of the source device 200 (step S36a). The source device 200 returns an extended M3 response message including its own coding capability information to the sink device 100 (step S36b). As a result of determining the encoding condition that the sink device 100 should apply to the source device 200 using the encoding capability information collected in this way, the sink device 100 stops providing the service from the source device 200. It shall be decided. In this case, the sink device 100 sends a M8 request message (M8-RTSP TEARDOWN Request) to the source device 200 to notify the source device 200 of the service stop (step S39a). The source device 200 returns an M8 response message (M8-RTSP Response) (step S39b).
　　［６－４．拡張されたメッセージングシーケンス（第２の手法）］
　図１９は、第２の手法に従って拡張されたシンク機器とソース機器との間のメッセージングの流れの一例を示すシーケンス図である。第２の手法では、Ｗｉ－Ｆｉダイレクトのサービスディスカバリリクエストメッセージが拡張され、シンク機器１００からソース機器２００へ符号化能力情報を問合せるための能力問合せメッセージとして利用される。符号化条件情報は、サービスディスカバリレスポンスメッセージに含められる。 [6-4. Extended messaging sequence (second approach)]
FIG. 19 is a sequence diagram illustrating an example of a messaging flow between a sink device and a source device extended according to the second technique. In the second method, the Wi-Fi Direct service discovery request message is extended and used as a capability inquiry message for inquiring coding capability information from the sink device 100 to the source device 200. The encoding condition information is included in the service discovery response message.
　図１９を参照すると、図１４に示したサービスディスカバリ手続が詳細化されており、シンク機器１００は、拡張されたサービスディスカバリリクエストメッセージをソース機器２００へ送信する（ステップＳ１５ａ）。拡張されたサービスディスカバリリクエストメッセージは、上述した能力問合せメッセージに相当する。ソース機器２００は、サービスディスカバリリクエストメッセージへの応答として、拡張されたサービスディスカバリレスポンスメッセージをシンク機器１００へ返送する（ステップＳ１５ｂ）。シンク機器１００は、このようにソース機器２００から収集される符号化能力情報を用いて、ソース機器２００に適用すべき符号化条件を決定し得る。拡張されたサービスディスカバリレスポンスメッセージは、ソース機器２００の優先条件情報を追加的に含んでもよい。 Referring to FIG. 19, the service discovery procedure shown in FIG. 14 is detailed, and the sink device 100 transmits an extended service discovery request message to the source device 200 (step S15a). The extended service discovery request message corresponds to the above-described capability inquiry message. The source device 200 returns the extended service discovery response message to the sink device 100 as a response to the service discovery request message (step S15b). The sink device 100 can determine the encoding condition to be applied to the source device 200 using the encoding capability information collected from the source device 200 in this way. The extended service discovery response message may additionally include the priority condition information of the source device 200.
　その後、ソース機器２００は、シンク機器１００の復号能力を示すパラメータを取得するために、（拡張されていない）Ｍ３リクエストメッセージをシンク機器１００へ送信する（ステップＳ３５ａ）。シンク機器１００は、Ｍ３リクエストメッセージへの応答として、Ｍ３レスポンスメッセージを返送する（ステップＳ３５ｂ）。このとき、シンク機器１００は、ソース機器２００について決定した所要の符号化条件に対応するパラメータのみを、Ｍ３レスポンスメッセージに含める。それにより、シンク機器１００が決定した符号化条件をソース機器２００に使用させることができる。 Thereafter, the source device 200 transmits an M3 request message (not expanded) to the sink device 100 in order to acquire a parameter indicating the decoding capability of the sink device 100 (step S35a). The sink device 100 returns an M3 response message as a response to the M3 request message (step S35b). At this time, the sink device 100 includes only the parameter corresponding to the required encoding condition determined for the source device 200 in the M3 response message. Thereby, the source device 200 can use the encoding condition determined by the sink device 100.
　＜７．応用例＞
　本開示に係る技術は、様々な製品へ応用可能である。例えば、シンク機器１００及びソース機器２００は、スマートフォン、タブレットＰＣ、ノートＰＣ、携帯型ゲーム端末若しくはデジタルカメラなどのモバイル端末、テレビジョン受像機、プリンタ、デジタルスキャナ若しくはネットワークストレージなどの固定端末、又はカーナビゲーション装置などの車載端末として実現されてもよい。また、これら端末に搭載される制御モジュール（例えば、１つのダイで構成される集積回路モジュール）が提供されてもよい。 <7. Application example>
The technology according to the present disclosure can be applied to various products. For example, the sink device 100 and the source device 200 are a smartphone, a tablet PC, a notebook PC, a mobile terminal such as a portable game terminal or a digital camera, a fixed terminal such as a television receiver, a printer, a digital scanner, or a network storage, or a car You may implement | achieve as vehicle-mounted terminals, such as a navigation apparatus. In addition, a control module (for example, an integrated circuit module including one die) mounted on these terminals may be provided.
　　［７－１．第１の応用例］
　図２０は、本開示に係る技術が適用され得るスマートフォン９００の概略的な構成の一例を示すブロック図である。スマートフォン９００は、プロセッサ９０１、メモリ９０２、ストレージ９０３、外部接続インタフェース９０４、カメラ９０６、センサ９０７、マイクロフォン９０８、入力デバイス９０９、表示デバイス９１０、スピーカ９１１、無線通信インタフェース９１３、アンテナスイッチ９１４、アンテナ９１５、バス９１７、バッテリー９１８及び補助コントローラ９１９を備える。 [7-1. First application example]
FIG. 20 is a block diagram illustrating an example of a schematic configuration of a smartphone 900 to which the technology according to the present disclosure may be applied. The smartphone 900 includes a processor 901, a memory 902, a storage 903, an external connection interface 904, a camera 906, a sensor 907, a microphone 908, an input device 909, a display device 910, a speaker 911, a wireless communication interface 913, an antenna switch 914, an antenna 915, A bus 917, a battery 918, and an auxiliary controller 919 are provided.
　プロセッサ９０１は、例えばＣＰＵ（Central　Processing　Unit）又はＳｏＣ（System　on　Chip）であってよく、スマートフォン９００のアプリケーションレイヤ及びその他のレイヤの機能を制御する。メモリ９０２は、ＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０３は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。外部接続インタフェース９０４は、メモリーカード又はＵＳＢ（Universal　Serial　Bus）デバイスなどの外付けデバイスをスマートフォン９００へ接続するためのインタフェースである。 The processor 901 may be, for example, a CPU (Central Processing Unit) or a SoC (System on Chip), and controls the functions of the application layer and other layers of the smartphone 900. The memory 902 includes a RAM (Random Access Memory) and a ROM (Read Only Memory), and stores programs and data executed by the processor 901. The storage 903 can include a storage medium such as a semiconductor memory or a hard disk. The external connection interface 904 is an interface for connecting an external device such as a memory card or a USB (Universal Serial Bus) device to the smartphone 900.
　カメラ９０６は、例えば、ＣＣＤ（Charge　Coupled　Device）又はＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）などの撮像素子を有し、撮像画像を生成する。センサ９０７は、例えば、測位センサ、ジャイロセンサ、地磁気センサ及び加速度センサなどのセンサ群を含み得る。マイクロフォン９０８は、スマートフォン９００へ入力される音声を音声信号へ変換する。入力デバイス９０９は、例えば、表示デバイス９１０の画面上へのタッチを検出するタッチセンサ、キーパッド、キーボード、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス９１０は、液晶ディスプレイ（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの画面を有し、スマートフォン９００の出力画像を表示する。スピーカ９１１は、スマートフォン９００から出力される音声信号を音声に変換する。 The camera 906 includes, for example, an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and generates a captured image. The sensor 907 may include a sensor group such as a positioning sensor, a gyro sensor, a geomagnetic sensor, and an acceleration sensor. The microphone 908 converts sound input to the smartphone 900 into an audio signal. The input device 909 includes, for example, a touch sensor that detects a touch on the screen of the display device 910, a keypad, a keyboard, a button, or a switch, and receives an operation or information input from a user. The display device 910 has a screen such as a liquid crystal display (LCD) or an organic light emitting diode (OLED) display, and displays an output image of the smartphone 900. The speaker 911 converts an audio signal output from the smartphone 900 into audio.
　無線通信インタフェース９１３は、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ及び１１ａｄなどの無線ＬＡＮ標準のうちの１つ以上をサポートし、無線通信を実行する。無線通信インタフェース９１３は、インフラストラクチャーモードにおいては、他の装置と無線ＬＡＮアクセスポイントを介して通信し得る。また、無線通信インタフェース９１３は、アドホックモードにおいては、他の装置と直接的に通信し得る。なお、Ｗｉ－Ｆｉダイレクトでは、アドホックモードとは異なり２つの端末の一方がアクセスポイントとして動作するが、通信はそれら端末間で直接的に行われる。無線通信インタフェース９１３は、典型的には、ベースバンドプロセッサ、ＲＦ（Radio　Frequency）回路及びパワーアンプなどを含み得る。無線通信インタフェース９１３は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース９１３は、無線ＬＡＮ方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ９１４は、無線通信インタフェース９１３に含まれる複数の回路（例えば、異なる無線通信方式のための回路）の間でアンテナ９１５の接続先を切り替える。アンテナ９１５は、単一の又は複数のアンテナ素子（例えば、ＭＩＭＯアンテナを構成する複数のアンテナ素子）を有し、無線通信インタフェース９１３による無線信号の送信及び受信のために使用される。 The wireless communication interface 913 supports one or more wireless LAN standards such as IEEE802.11a, 11b, 11g, 11n, 11ac, and 11ad, and performs wireless communication. The wireless communication interface 913 can communicate with other devices via a wireless LAN access point in the infrastructure mode. The wireless communication interface 913 can directly communicate with other devices in the ad hoc mode. In Wi-Fi Direct, unlike the ad hoc mode, one of the two terminals operates as an access point, but communication is performed directly between the terminals. The wireless communication interface 913 can typically include a baseband processor, an RF (Radio Frequency) circuit, a power amplifier, and the like. The wireless communication interface 913 may be a one-chip module in which a memory that stores a communication control program, a processor that executes the program, and related circuits are integrated. The wireless communication interface 913 may support other types of wireless communication methods such as a short-range wireless communication method, a proximity wireless communication method, or a cellular communication method in addition to the wireless LAN method. The antenna switch 914 switches the connection destination of the antenna 915 among a plurality of circuits (for example, circuits for different wireless communication schemes) included in the wireless communication interface 913. The antenna 915 includes a single antenna element or a plurality of antenna elements (for example, a plurality of antenna elements constituting a MIMO antenna), and is used for transmission and reception of radio signals by the radio communication interface 913.
　なお、図２０の例に限定されず、スマートフォン９００は、複数のアンテナ（例えば、無線ＬＡＮ用のアンテナ及び近接無線通信方式用のアンテナ、など）を備えてもよい。その場合に、アンテナスイッチ９１４は、スマートフォン９００の構成から省略されてもよい。 Note that the smartphone 900 is not limited to the example of FIG. 20, and may include a plurality of antennas (for example, an antenna for a wireless LAN and an antenna for a proximity wireless communication method). In that case, the antenna switch 914 may be omitted from the configuration of the smartphone 900.
　バス９１７は、プロセッサ９０１、メモリ９０２、ストレージ９０３、外部接続インタフェース９０４、カメラ９０６、センサ９０７、マイクロフォン９０８、入力デバイス９０９、表示デバイス９１０、スピーカ９１１、無線通信インタフェース９１３及び補助コントローラ９１９を互いに接続する。バッテリー９１８は、図中に破線で部分的に示した給電ラインを介して、図２０に示したスマートフォン９００の各ブロックへ電力を供給する。補助コントローラ９１９は、例えば、スリープモードにおいて、スマートフォン９００の必要最低限の機能を動作させる。 The bus 917 connects the processor 901, memory 902, storage 903, external connection interface 904, camera 906, sensor 907, microphone 908, input device 909, display device 910, speaker 911, wireless communication interface 913, and auxiliary controller 919 to each other. . The battery 918 supplies power to each block of the smartphone 900 illustrated in FIG. 20 through a power supply line partially illustrated by a broken line in the drawing. For example, the auxiliary controller 919 operates the minimum necessary functions of the smartphone 900 in the sleep mode.
　図２０に示したスマートフォン９００において、シンク機器１００の再生制御機能又はソース機器２００の符号化制御機能は、プロセッサ９０１又は補助コントローラ９１９において実装され得る。例えば、プロセッサ９０１がスマートフォン９００の実復号能力を超過しないように外部のソース機器からのコンテンツの受信を制御することで、スマートフォン９００における複数のコンテンツの再生を円滑に実行することが可能となる。 In the smartphone 900 shown in FIG. 20, the playback control function of the sink device 100 or the encoding control function of the source device 200 can be implemented in the processor 901 or the auxiliary controller 919. For example, by controlling the reception of content from an external source device so that the processor 901 does not exceed the actual decoding capability of the smartphone 900, it is possible to smoothly reproduce a plurality of contents on the smartphone 900.
　　［７－２．第２の応用例］
　図２１は、本開示に係る技術が適用され得るカーナビゲーション装置９２０の概略的な構成の一例を示すブロック図である。カーナビゲーション装置９２０は、プロセッサ９２１、メモリ９２２、ＧＰＳ（Global　Positioning　System）モジュール９２４、センサ９２５、データインタフェース９２６、コンテンツプレーヤ９２７、記憶媒体インタフェース９２８、入力デバイス９２９、表示デバイス９３０、スピーカ９３１、無線通信インタフェース９３３、アンテナスイッチ９３４、アンテナ９３５及びバッテリー９３８を備える。 [7-2. Second application example]
FIG. 21 is a block diagram illustrating an example of a schematic configuration of a car navigation device 920 to which the technology according to the present disclosure can be applied. The car navigation device 920 includes a processor 921, a memory 922, a GPS (Global Positioning System) module 924, a sensor 925, a data interface 926, a content player 927, a storage medium interface 928, an input device 929, a display device 930, a speaker 931, and wireless communication. An interface 933, an antenna switch 934, an antenna 935, and a battery 938 are provided.
　プロセッサ９２１は、例えばＣＰＵ又はＳｏＣであってよく、カーナビゲーション装置９２０のナビゲーション機能及びその他の機能を制御する。メモリ９２２は、ＲＡＭ及びＲＯＭを含み、プロセッサ９２１により実行されるプログラム及びデータを記憶する。 The processor 921 may be a CPU or SoC, for example, and controls the navigation function and other functions of the car navigation device 920. The memory 922 includes RAM and ROM, and stores programs and data executed by the processor 921.
　ＧＰＳモジュール９２４は、ＧＰＳ衛星から受信されるＧＰＳ信号を用いて、カーナビゲーション装置９２０の位置（例えば、緯度、経度及び高度）を測定する。センサ９２５は、例えば、ジャイロセンサ、地磁気センサ及び気圧センサなどのセンサ群を含み得る。データインタフェース９２６は、例えば、図示しない端子を介して車載ネットワーク９４１に接続され、車速データなどの車両側で生成されるデータを取得する。 The GPS module 924 measures the position (for example, latitude, longitude, and altitude) of the car navigation device 920 using GPS signals received from GPS satellites. The sensor 925 may include a sensor group such as a gyro sensor, a geomagnetic sensor, and an atmospheric pressure sensor. The data interface 926 is connected to the in-vehicle network 941 through a terminal (not shown), for example, and acquires data generated on the vehicle side such as vehicle speed data.
　コンテンツプレーヤ９２７は、記憶媒体インタフェース９２８に挿入される記憶媒体（例えば、ＣＤ又はＤＶＤ）に記憶されているコンテンツを再生する。入力デバイス９２９は、例えば、表示デバイス９３０の画面上へのタッチを検出するタッチセンサ、ボタン又はスイッチなどを含み、ユーザからの操作又は情報入力を受け付ける。表示デバイス９３０は、ＬＣＤ又はＯＬＥＤディスプレイなどの画面を有し、ナビゲーション機能又は再生されるコンテンツの画像を表示する。スピーカ９３１は、ナビゲーション機能又は再生されるコンテンツの音声を出力する。 The content player 927 reproduces content stored in a storage medium (for example, CD or DVD) inserted into the storage medium interface 928. The input device 929 includes, for example, a touch sensor, a button, or a switch that detects a touch on the screen of the display device 930, and receives an operation or information input from the user. The display device 930 has a screen such as an LCD or an OLED display, and displays a navigation function or an image of content to be reproduced. The speaker 931 outputs the navigation function or the audio of the content to be played back.
　無線通信インタフェース９３３は、ＩＥＥＥ８０２．１１ａ、１１ｂ、１１ｇ、１１ｎ、１１ａｃ及び１１ａｄなどの無線ＬＡＮ標準のうちの１つ以上をサポートし、無線通信を実行する。無線通信インタフェース９３３は、インフラストラクチャーモードにおいては、他の装置と無線ＬＡＮアクセスポイントを介して通信し得る。また、無線通信インタフェース９３３は、アドホックモード又はＷｉ－Ｆｉダイレクトにおいては、他の装置と直接的に通信し得る。無線通信インタフェース９３３は、典型的には、ベースバンドプロセッサ、ＲＦ回路及びパワーアンプなどを含み得る。無線通信インタフェース９３３は、通信制御プログラムを記憶するメモリ、当該プログラムを実行するプロセッサ及び関連する回路を集積したワンチップのモジュールであってもよい。無線通信インタフェース９３３は、無線ＬＡＮ方式に加えて、近距離無線通信方式、近接無線通信方式又はセルラ通信方式などの他の種類の無線通信方式をサポートしてもよい。アンテナスイッチ９３４は、無線通信インタフェース９３３に含まれる複数の回路の間でアンテナ９３５の接続先を切り替える。アンテナ９３５は、単一の又は複数のアンテナ素子を有し、無線通信インタフェース９３３による無線信号の送信及び受信のために使用される。 The wireless communication interface 933 supports one or more wireless LAN standards such as IEEE802.11a, 11b, 11g, 11n, 11ac, and 11ad, and executes wireless communication. The wireless communication interface 933 can communicate with other devices via a wireless LAN access point in the infrastructure mode. The wireless communication interface 933 can directly communicate with other devices in the ad hoc mode or Wi-Fi direct. The wireless communication interface 933 may typically include a baseband processor, an RF circuit, a power amplifier, and the like. The wireless communication interface 933 may be a one-chip module in which a memory that stores a communication control program, a processor that executes the program, and related circuits are integrated. In addition to the wireless LAN system, the wireless communication interface 933 may support other types of wireless communication systems such as a short-range wireless communication system, a proximity wireless communication system, or a cellular communication system. The antenna switch 934 switches the connection destination of the antenna 935 among a plurality of circuits included in the wireless communication interface 933. The antenna 935 includes a single antenna element or a plurality of antenna elements, and is used for transmission and reception of a radio signal by the radio communication interface 933.
　なお、図２１の例に限定されず、カーナビゲーション装置９２０は、複数のアンテナを備えてもよい。その場合に、アンテナスイッチ９３４は、カーナビゲーション装置９２０の構成から省略されてもよい。 Note that the car navigation device 920 is not limited to the example of FIG. 21, and may include a plurality of antennas. In that case, the antenna switch 934 may be omitted from the configuration of the car navigation device 920.
　バッテリー９３８は、図中に破線で部分的に示した給電ラインを介して、図２１に示したカーナビゲーション装置９２０の各ブロックへ電力を供給する。また、バッテリー９３８は、車両側から給電される電力を蓄積する。 The battery 938 supplies power to each block of the car navigation device 920 shown in FIG. 21 via a power supply line partially shown by broken lines in the drawing. Further, the battery 938 stores electric power supplied from the vehicle side.
　図２１に示したカーナビゲーション装置９２０において、シンク機器１００の再生制御機能又はソース機器２００の符号化制御機能は、プロセッサ９２１において実装され得る。例えば、プロセッサ９２１がカーナビゲーション装置９２０の実復号能力を超過しないように外部のソース機器からのコンテンツの受信を制御することで、カーナビゲーション装置９２０における複数のコンテンツの再生を円滑に実行することが可能となる。 21, the playback control function of the sink device 100 or the encoding control function of the source device 200 can be implemented in the processor 921 in the car navigation device 920 shown in FIG. For example, by controlling the reception of content from an external source device so that the processor 921 does not exceed the actual decoding capability of the car navigation device 920, playback of a plurality of content in the car navigation device 920 can be performed smoothly. It becomes possible.
　また、本開示に係る技術は、上述したカーナビゲーション装置９２０の１つ以上のブロックと、車載ネットワーク９４１と、車両側モジュール９４２とを含む車載システム（又は車両）９４０として実現されてもよい。車両側モジュール９４２は、車速、エンジン回転数又は故障情報などの車両側データを生成し、生成したデータを車載ネットワーク９４１へ出力する。 Also, the technology according to the present disclosure may be realized as an in-vehicle system (or vehicle) 940 including one or more blocks of the car navigation device 920 described above, an in-vehicle network 941, and a vehicle side module 942. The vehicle-side module 942 generates vehicle-side data such as vehicle speed, engine speed, or failure information, and outputs the generated data to the in-vehicle network 941.
　＜８．まとめ＞
　ここまで、図１～図２１を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、シンク機器（復号装置）が複数のソース機器（符号化装置）から無線接続を介して受信されるコンテンツを復号して再生する状況において、再生されるコンテンツのセットにより要求される要求復号能力がシンク機器の実復号能力を超過しないように、シンク機器によって、複数のソース機器におけるコンテンツの符号化条件が制御される。よって、シンク機器の能力に応じて、複数のソース機器について符号化条件を適切にコーディネートし、最適な条件で複数のコンテンツを再生することが可能となる。 <8. Summary>
So far, the embodiments of the technology according to the present disclosure have been described in detail with reference to FIGS. 1 to 21. According to the above-described embodiment, in a situation where a sink device (decoding device) decodes and plays back content received via a wireless connection from a plurality of source devices (encoding devices), the set of content to be played back The content encoding conditions in the plurality of source devices are controlled by the sink device so that the requested decoding capability required does not exceed the actual decoding capability of the sink device. Therefore, according to the capability of the sink device, it is possible to appropriately coordinate the encoding conditions for a plurality of source devices and reproduce a plurality of contents under the optimum conditions.
　また、上述した実施形態によれば、各ソース機器からシンク機器へ各ソース機器の符号化能力情報が収集され、シンク機器は、収集した符号化能力情報に基づいて各シンク機器の符号化条件を決定し得る。かかる構成によれば、既存の手法とは異なり、コンテンツの符号化及び復号の条件を中心的に制御するマスタとしての役割を、シンク機器が果たすことが可能となる。例えば、ユーザは、コンテンツの再生に関連するユーザ入力をシンク機器に与えるだけで、シンク機器の復号能力の不足を回避しつつ所望の形態で複数のコンテンツを並列的に体験することができる。 Further, according to the above-described embodiment, the encoding capability information of each source device is collected from each source device to the sink device, and the sink device sets the encoding condition of each sink device based on the collected encoding capability information. Can be determined. According to such a configuration, unlike the existing method, the sink device can play a role as a master that mainly controls the encoding and decoding conditions of the content. For example, the user can experience a plurality of contents in parallel in a desired form while avoiding a lack of the decoding capability of the sink device only by giving a user input related to content reproduction to the sink device.
　また、上述した実施形態によれば、各ソース機器からシンク機器へ符号化能力情報を収集するための仕組みは、既存のプロトコルをわずかに拡張するだけで実現され得る。第１の手法において、例えば、ＲＴＳＰのパラメータ取得用メッセージが拡張され、シンク機器からソース機器へ符号化能力情報を問合せるための能力問合せメッセージとして利用され得る。第２の手法において、Ｗｉ－Ｆｉダイレクトのサービスディスカバリリクエストメッセージが拡張され、シンク機器からソース機器へ符号化能力情報を問合せるための能力問合せメッセージとして利用され得る。このような拡張が利用される場合には、より少ないコストで本開示に係る技術を実現することが可能であり、既存のプロトコルとの互換性を確保することも容易である。 Further, according to the above-described embodiment, the mechanism for collecting the coding capability information from each source device to the sink device can be realized by slightly extending an existing protocol. In the first method, for example, an RTSP parameter acquisition message is extended and can be used as a capability inquiry message for inquiring encoding capability information from a sink device to a source device. In the second method, the Wi-Fi Direct service discovery request message can be extended and used as a capability inquiry message for inquiring encoding capability information from the sink device to the source device. When such an extension is used, the technology according to the present disclosure can be realized at a lower cost, and it is easy to ensure compatibility with existing protocols.
　なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。 Note that a series of control processing by each device described in this specification may be realized using any of software, hardware, and a combination of software and hardware. For example, the program constituting the software is stored in advance in a storage medium (non-transitory medium) provided inside or outside each device. Each program is read into a RAM at the time of execution, for example, and executed by a processor such as a CPU.
　また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。 In addition, the processes described using the flowcharts and sequence diagrams in this specification do not necessarily have to be executed in the order shown. Some processing steps may be performed in parallel. Further, additional processing steps may be employed, and some processing steps may be omitted.
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 The preferred embodiments of the present disclosure have been described in detail above with reference to the accompanying drawings, but the technical scope of the present disclosure is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that it belongs to the technical scope of the present disclosure.
　また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。 In addition, the effects described in the present specification are merely illustrative or illustrative, and are not limited. That is, the technology according to the present disclosure can exhibit other effects that are apparent to those skilled in the art from the description of the present specification, together with the above effects or instead of the above effects.
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　複数の符号化装置との間で無線接続を確立する無線通信部と、
　前記複数の符号化装置から前記無線通信部を介して受信されるコンテンツをそれぞれ復号する復号部と、
　前記復号部により復号される複数のコンテンツを再生する再生部と、
　前記再生部により再生されるコンテンツのセットにより要求される要求復号能力が前記復号部の実復号能力を超過しないように、前記複数の符号化装置におけるコンテンツの符号化条件を制御する制御部と、
　を備える復号装置。
（２）
　前記制御部は、前記無線通信部を介して各符号化装置から受信される当該符号化装置の符号化能力情報に基づいて、各符号化装置における前記符号化条件を決定する、前記（１）に記載の復号装置。
（３）
　前記制御部は、前記無線通信部を介して各符号化装置へ能力問合せメッセージを送信することにより、各符号化装置から前記符号化能力情報を収集する、前記（２）に記載の復号装置。
（４）
　前記能力問合せメッセージは、シンク機器からソース機器へ前記符号化能力情報を問合せるために拡張された、ＲＴＳＰ（Real　Time　Streaming　Protocol）のパラメータ取得用メッセージである、前記（３）に記載の復号装置。
（５）
　前記制御部は、シンク機器によってソース機器の前記符号化条件を設定するために拡張された、ＲＴＳＰのパラメータ設定用メッセージを各符号化装置へ送信することにより、各符号化装置における前記符号化条件を制御する、前記（４）に記載の復号装置。
（６）
　前記能力問合せメッセージは、Ｗｉ－Ｆｉダイレクトのサービスディスカバリリクエストメッセージである、前記（３）に記載の復号装置。
（７）
　前記要求復号能力及び前記実復号能力は、サポートされるコーデック種別、解像度、レート及び品質レベル、復号回路の数、並びにプロセッサ性能のうち少なくとも１つにより表現される、前記（１）～（６）のいずれか１項に記載の復号装置。
（８）
　前記符号化条件は、各符号化装置において使用されるコーデック種別、解像度、レート及び品質レベルのうち少なくとも１つに関する条件である、前記（１）～（７）のいずれか１項に記載の復号装置。
（９）
　前記制御部は、前記要求復号能力が前記実復号能力を超過する場合に、少なくとも１つのコンテンツを圧縮符号化することなく送信することを、当該少なくとも１つのコンテンツを有する前記符号化装置へ要求する、前記（１）～（８）のいずれか１項に記載の復号装置
（１０）
　前記制御部は、各符号化装置との間の前記無線接続の接続品質にさらに基づいて、各符号化装置における前記符号化条件を制御する、前記（１）～（９）のいずれか１項に記載の復号装置。
（１１）
　前記制御部は、各符号化装置の電源状態にさらに基づいて、各符号化装置における前記符号化条件を制御する、前記（１）～（１０）のいずれか１項に記載の復号装置。
（１２）
　前記制御部は、各符号化装置から受信される、優先すべき符号化条件を特定する優先条件情報にさらに基づいて、各符号化装置における前記符号化条件を制御する、前記（１）～（１１）のいずれか１項に記載の復号装置。
（１３）
　前記制御部は、前記複数の符号化装置における前記符号化条件に応じて、当該複数の符号化装置との間の前記無線接続の周波数チャネルをさらに制御する、前記（１）～（１２）のいずれか１項に記載の復号装置。
（１４）
　前記制御部は、前記再生されるコンテンツの前記セットの更新を指示するユーザ入力が検出された場合に、更新後の前記セットについての前記要求復号能力を前記実復号能力と比較する、前記（１）～（１３）のいずれか１項に記載の復号装置。
（１５）
　前記制御部は、前記復号部に掛かる負荷に基づいて動的に計算される前記実復号能力を、前記要求復号能力と比較する、前記（１）～（１４）のいずれか１項に記載の復号装置。
（１６）
　前記制御部は、前記再生部により再生される前記複数のコンテンツを表示する画面に、前記要求復号能力に前記実復号能力を超過させないために前記セットから除外したコンテンツを有する符号化装置のリストを表示させる、前記（１）～（１５）のいずれか１項に記載の復号装置。
（１７）
　前記制御部は、前記リスト内の前記符号化装置と前記無線通信部との間の前記無線接続を維持する、前記（１６）に記載の復号装置。
（１８）
　復号装置により、複数の符号化装置から無線接続を介して受信されるコンテンツをそれぞれ復号することと、
　復号される複数のコンテンツを再生することと、
　再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置により、前記複数の符号化装置におけるコンテンツの符号化条件を制御することと、
　を含む復号方法。
（１９）
　複数の装置から受信されるコンテンツをそれぞれ復号して再生する復号装置との間で無線接続を確立する無線通信部と、
　前記無線通信部を介して前記復号装置へ送信すべきコンテンツを符号化する符号化部と、
　前記復号装置により再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置から受信される制御メッセージに基づいて、前記符号化部におけるコンテンツの符号化条件を制御する制御部と、
　を備える符号化装置。
（２０）
　複数の装置から受信されるコンテンツをそれぞれ復号して再生する復号装置へ無線接続を介してコンテンツを送信する符号化装置により、前記復号装置へ送信すべきコンテンツを符号化することと、
　前記復号装置により再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置から受信される制御メッセージに基づいて、前記符号化装置におけるコンテンツの符号化条件を制御することと、
　を含む符号化方法。 The following configurations also belong to the technical scope of the present disclosure.
(1)
A wireless communication unit for establishing a wireless connection with a plurality of encoding devices;
A decoding unit that respectively decodes content received from the plurality of encoding devices via the wireless communication unit;
A reproducing unit for reproducing a plurality of contents decoded by the decoding unit;
A control unit that controls the encoding conditions of the content in the plurality of encoding devices so that the requested decoding capability required by the set of content reproduced by the reproducing unit does not exceed the actual decoding capability of the decoding unit;
A decoding device comprising:
(2)
The control unit determines the encoding condition in each encoding device based on encoding capability information of the encoding device received from each encoding device via the wireless communication unit, (1) The decoding device according to 1.
(3)
The decoding device according to (2), wherein the control unit collects the coding capability information from each coding device by transmitting a capability inquiry message to each coding device via the wireless communication unit.
(4)
The decoding apparatus according to (3), wherein the capability inquiry message is an RTSP (Real Time Streaming Protocol) parameter acquisition message extended to inquire the encoding capability information from a sink device to a source device.
(5)
The control unit transmits the RTSP parameter setting message extended to set the coding condition of the source device by the sink device to each coding device, thereby the coding condition in each coding device. The decoding device according to (4), wherein:
(6)
The decoding device according to (3), wherein the capability inquiry message is a Wi-Fi Direct service discovery request message.
(7)
The requested decoding capability and the actual decoding capability are expressed by at least one of a supported codec type, resolution, rate and quality level, number of decoding circuits, and processor performance, (1) to (6) The decoding device according to any one of the above.
(8)
The decoding according to any one of (1) to (7), wherein the encoding condition is a condition regarding at least one of a codec type, a resolution, a rate, and a quality level used in each encoding device. apparatus.
(9)
The control unit requests the encoding device having the at least one content to transmit without compressing and encoding at least one content when the requested decoding capability exceeds the actual decoding capability. The decoding device (10) according to any one of (1) to (8)
The control unit controls the encoding condition in each encoding device based further on connection quality of the wireless connection with each encoding device, any one of (1) to (9) The decoding device according to 1.
(11)
The decoding device according to any one of (1) to (10), wherein the control unit controls the encoding condition in each encoding device based further on a power state of each encoding device.
(12)
The control unit controls the encoding condition in each encoding device based on priority condition information specifying the encoding condition to be prioritized received from each encoding device. The decoding device according to any one of 11).
(13)
The control unit further controls the frequency channel of the wireless connection with the plurality of encoding devices in accordance with the encoding conditions in the plurality of encoding devices, (1) to (12) The decoding device according to any one of claims.
(14)
The control unit compares the requested decoding capability for the updated set with the actual decoding capability when a user input instructing to update the set of the content to be reproduced is detected. The decoding device according to any one of (13) to (13).
(15)
The control unit according to any one of (1) to (14), wherein the control unit compares the actual decoding capability dynamically calculated based on a load applied to the decoding unit with the requested decoding capability. Decoding device.
(16)
The control unit displays a list of encoding devices having content excluded from the set in order to prevent the requested decoding capability from exceeding the actual decoding capability on a screen displaying the plurality of contents reproduced by the reproducing unit. The decoding device according to any one of (1) to (15), which is displayed.
(17)
The decoding unit according to (16), wherein the control unit maintains the wireless connection between the encoding device in the list and the wireless communication unit.
(18)
Respectively decoding content received via a wireless connection from a plurality of encoding devices by a decoding device;
Playing multiple content to be decrypted,
Controlling the content encoding conditions in the plurality of encoding devices by the decoding device so that the requested decoding capability required by the set of content to be played does not exceed the actual decoding capability of the decoding device;
A decoding method including:
(19)
A wireless communication unit that establishes a wireless connection with a decryption device that decrypts and reproduces content received from a plurality of devices;
An encoding unit that encodes content to be transmitted to the decoding device via the wireless communication unit;
Content in the encoding unit based on a control message received from the decoding device so that the requested decoding capability required by the set of content reproduced by the decoding device does not exceed the actual decoding capability of the decoding device A control unit for controlling the encoding conditions of
An encoding device comprising:
(20)
Encoding the content to be transmitted to the decoding device by an encoding device that transmits the content via a wireless connection to a decoding device that respectively decodes and reproduces the content received from a plurality of devices;
Content in the encoding device based on a control message received from the decoding device so that the requested decoding capability required by the set of content reproduced by the decoding device does not exceed the actual decoding capability of the decoding device Controlling the encoding conditions of
An encoding method including:
　１　　　　コンテンツ再生システム
　１００　　復号装置（シンク機器）
　１１０　　無線通信部
　１２０　　ストリーム取得部
　１３０　　復号部
　１４０　　映像再生部
　１５０　　音声再生部
　１６０　　再生制御部
　１７０　　記憶部
　１８０　　ユーザインタフェース部
　２００　　符号化装置（ソース機器）
　２１０　　無線通信部
　２２０　　記憶部
　２３０　　コンテンツ取得部
　２４０　　符号化部
　２５０　　ストリーム送信部
　２６０　　符号化制御部
　２７０　　ユーザインタフェース部 1 Content playback system 100 Decoding device (sink device)
DESCRIPTION OF SYMBOLS 110 Wireless communication part 120 Stream acquisition part 130 Decoding part 140 Video reproduction part 150 Audio | voice reproduction part 160 Playback control part 170 Storage part 180 User interface part 200 Encoding apparatus (source device)
210 wireless communication unit 220 storage unit 230 content acquisition unit 240 encoding unit 250 stream transmission unit 260 encoding control unit 270 user interface unit

Claims (20)

  1. 　複数の符号化装置との間で無線接続を確立する無線通信部と、
    　前記複数の符号化装置から前記無線通信部を介して受信されるコンテンツをそれぞれ復号する復号部と、
    　前記復号部により復号される複数のコンテンツを再生する再生部と、
    　前記再生部により再生されるコンテンツのセットにより要求される要求復号能力が前記復号部の実復号能力を超過しないように、前記複数の符号化装置におけるコンテンツの符号化条件を制御する制御部と、
    　を備える復号装置。     A wireless communication unit for establishing a wireless connection with a plurality of encoding devices;
    A decoding unit that respectively decodes content received from the plurality of encoding devices via the wireless communication unit;
    A reproducing unit for reproducing a plurality of contents decoded by the decoding unit;
    A control unit that controls the encoding conditions of the content in the plurality of encoding devices so that the requested decoding capability required by the set of content reproduced by the reproducing unit does not exceed the actual decoding capability of the decoding unit;
    A decoding device comprising:
  2. 　前記制御部は、前記無線通信部を介して各符号化装置から受信される当該符号化装置の符号化能力情報に基づいて、各符号化装置における前記符号化条件を決定する、請求項１に記載の復号装置。 The said control part determines the said encoding conditions in each encoding apparatus based on the encoding capability information of the said encoding apparatus received from each encoding apparatus via the said radio | wireless communication part. The decoding device described.
  3. 　前記制御部は、前記無線通信部を介して各符号化装置へ能力問合せメッセージを送信することにより、各符号化装置から前記符号化能力情報を収集する、請求項２に記載の復号装置。 The decoding device according to claim 2, wherein the control unit collects the coding capability information from each coding device by transmitting a capability inquiry message to each coding device via the wireless communication unit.
  4. 　前記能力問合せメッセージは、シンク機器からソース機器へ前記符号化能力情報を問合せるために拡張された、ＲＴＳＰ（Real　Time　Streaming　Protocol）のパラメータ取得用メッセージである、請求項３に記載の復号装置。 The decoding device according to claim 3, wherein the capability inquiry message is an RTSP (Real Time Streaming Protocol) parameter acquisition message extended to inquire the encoding capability information from the sink device to the source device.
  5. 　前記制御部は、シンク機器によってソース機器の前記符号化条件を設定するために拡張された、ＲＴＳＰのパラメータ設定用メッセージを各符号化装置へ送信することにより、各符号化装置における前記符号化条件を制御する、請求項４に記載の復号装置。 The control unit transmits the RTSP parameter setting message extended to set the coding condition of the source device by the sink device to each coding device, thereby the coding condition in each coding device. The decoding device according to claim 4, which controls
  6. 　前記能力問合せメッセージは、Ｗｉ－Ｆｉダイレクトのサービスディスカバリリクエストメッセージである、請求項３に記載の復号装置。 The decoding device according to claim 3, wherein the capability inquiry message is a Wi-Fi Direct service discovery request message.
  7. 　前記要求復号能力及び前記実復号能力は、サポートされるコーデック種別、解像度、レート及び品質レベル、復号回路の数、並びにプロセッサ性能のうち少なくとも１つにより表現される、請求項１に記載の復号装置。 The decoding apparatus according to claim 1, wherein the requested decoding capability and the actual decoding capability are expressed by at least one of supported codec types, resolutions, rates and quality levels, the number of decoding circuits, and processor performance. .
  8. 　前記符号化条件は、各符号化装置において使用されるコーデック種別、解像度、レート及び品質レベルのうち少なくとも１つに関する条件である、請求項１に記載の復号装置。 The decoding apparatus according to claim 1, wherein the encoding condition is a condition related to at least one of a codec type, a resolution, a rate, and a quality level used in each encoding apparatus.
  9. 　前記制御部は、前記要求復号能力が前記実復号能力を超過する場合に、少なくとも１つのコンテンツを圧縮符号化することなく送信することを、当該少なくとも１つのコンテンツを有する前記符号化装置へ要求する、請求項１に記載の復号装置。 The control unit requests the encoding device having the at least one content to transmit without compressing and encoding at least one content when the requested decoding capability exceeds the actual decoding capability. The decoding device according to claim 1.
  10. 　前記制御部は、各符号化装置との間の前記無線接続の接続品質にさらに基づいて、各符号化装置における前記符号化条件を制御する、請求項１に記載の復号装置。 The decoding device according to claim 1, wherein the control unit controls the encoding condition in each encoding device based further on a connection quality of the wireless connection with each encoding device.
  11. 　前記制御部は、各符号化装置の電源状態にさらに基づいて、各符号化装置における前記符号化条件を制御する、請求項１に記載の復号装置。 The decoding device according to claim 1, wherein the control unit controls the encoding condition in each encoding device based further on a power state of each encoding device.
  12. 　前記制御部は、各符号化装置から受信される、優先すべき符号化条件を特定する優先条件情報にさらに基づいて、各符号化装置における前記符号化条件を制御する、請求項１に記載の復号装置。 2. The control unit according to claim 1, wherein the control unit controls the encoding condition in each encoding device based further on priority condition information specifying the encoding condition to be prioritized received from each encoding device. 3. Decoding device.
  13. 　前記制御部は、前記複数の符号化装置における前記符号化条件に応じて、当該複数の符号化装置との間の前記無線接続の周波数チャネルをさらに制御する、請求項１に記載の復号装置。 The decoding device according to claim 1, wherein the control unit further controls the frequency channel of the wireless connection with the plurality of encoding devices according to the encoding conditions in the plurality of encoding devices.
  14. 　前記制御部は、前記再生されるコンテンツの前記セットの更新を指示するユーザ入力が検出された場合に、更新後の前記セットについての前記要求復号能力を前記実復号能力と比較する、請求項１に記載の復号装置。 The said control part compares the said request | requirement decoding capability about the said set after an update with the said actual decoding capability, when the user input which instruct | indicates the update of the said set of the said content to reproduce | regenerate is detected The decoding device according to 1.
  15. 　前記制御部は、前記復号部に掛かる負荷に基づいて動的に計算される前記実復号能力を、前記要求復号能力と比較する、請求項１に記載の復号装置。 The decoding device according to claim 1, wherein the control unit compares the actual decoding capability dynamically calculated based on a load applied to the decoding unit with the requested decoding capability.
  16. 　前記制御部は、前記再生部により再生される前記複数のコンテンツを表示する画面に、前記要求復号能力に前記実復号能力を超過させないために前記セットから除外したコンテンツを有する符号化装置のリストを表示させる、請求項１に記載の復号装置。 The control unit displays a list of encoding devices having content excluded from the set in order to prevent the requested decoding capability from exceeding the actual decoding capability on a screen displaying the plurality of contents reproduced by the reproducing unit. The decoding device according to claim 1, which is displayed.
  17. 　前記制御部は、前記リスト内の前記符号化装置と前記無線通信部との間の前記無線接続を維持する、請求項１６に記載の復号装置。 The decoding device according to claim 16, wherein the control unit maintains the wireless connection between the encoding device in the list and the wireless communication unit.
  18. 　復号装置により、複数の符号化装置から無線接続を介して受信されるコンテンツをそれぞれ復号することと、
    　復号される複数のコンテンツを再生することと、
    　再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置により、前記複数の符号化装置におけるコンテンツの符号化条件を制御することと、
    　を含む復号方法。     Respectively decoding content received via a wireless connection from a plurality of encoding devices by a decoding device;
    Playing multiple content to be decrypted,
    Controlling the content encoding conditions in the plurality of encoding devices by the decoding device so that the requested decoding capability required by the set of content to be played does not exceed the actual decoding capability of the decoding device;
    A decoding method including:
  19. 　複数の装置から受信されるコンテンツをそれぞれ復号して再生する復号装置との間で無線接続を確立する無線通信部と、
    　前記無線通信部を介して前記復号装置へ送信すべきコンテンツを符号化する符号化部と、
    　前記復号装置により再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置から受信される制御メッセージに基づいて、前記符号化部におけるコンテンツの符号化条件を制御する制御部と、
    　を備える符号化装置。     A wireless communication unit that establishes a wireless connection with a decryption device that decrypts and reproduces content received from a plurality of devices;
    An encoding unit that encodes content to be transmitted to the decoding device via the wireless communication unit;
    Content in the encoding unit based on a control message received from the decoding device so that the requested decoding capability required by the set of content reproduced by the decoding device does not exceed the actual decoding capability of the decoding device A control unit for controlling the encoding conditions of
    An encoding device comprising:
  20. 　複数の装置から受信されるコンテンツをそれぞれ復号して再生する復号装置へ無線接続を介してコンテンツを送信する符号化装置により、前記復号装置へ送信すべきコンテンツを符号化することと、
    　前記復号装置により再生されるコンテンツのセットにより要求される要求復号能力が前記復号装置の実復号能力を超過しないように、前記復号装置から受信される制御メッセージに基づいて、前記符号化装置におけるコンテンツの符号化条件を制御することと、
    　を含む符号化方法。     Encoding the content to be transmitted to the decoding device by an encoding device that transmits the content via a wireless connection to a decoding device that respectively decodes and reproduces the content received from a plurality of devices;
    Content in the encoding device based on a control message received from the decoding device so that the requested decoding capability required by the set of content reproduced by the decoding device does not exceed the actual decoding capability of the decoding device Controlling the encoding conditions of
    An encoding method including:
PCT/JP2014/080362 2014-01-23 2014-11-17 Decoding device, decoding method, encoding device, and encoding method WO2015111289A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2014379859A AU2014379859B2 (en) 2014-01-23 2014-11-17 Decoding device, decoding method, encoding device, and encoding method
CN201480073193.1A CN105917658B (en) 2014-01-23 2014-11-17 Decoding apparatus, decoding method, encoding apparatus, and encoding method
EP14880364.6A EP3099080B1 (en) 2014-01-23 2014-11-17 Decoding device, decoding method, encoding device, and encoding method
JP2015558742A JP6402723B2 (en) 2014-01-23 2014-11-17 Decoding device, decoding method, encoding device, and encoding method
US15/111,241 US10575047B2 (en) 2014-01-23 2014-11-17 Decoding apparatus, decoding method, encoding apparatus, and encoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014010280 2014-01-23
JP2014-010280 2014-01-23

Publications (1)

Publication Number Publication Date
WO2015111289A1 true WO2015111289A1 (en) 2015-07-30

Family

ID=53681111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/080362 WO2015111289A1 (en) 2014-01-23 2014-11-17 Decoding device, decoding method, encoding device, and encoding method

Country Status (6)

Country Link
US (1) US10575047B2 (en)
EP (1) EP3099080B1 (en)
JP (1) JP6402723B2 (en)
CN (1) CN105917658B (en)
AU (1) AU2014379859B2 (en)
WO (1) WO2015111289A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170064376A1 (en) * 2015-08-30 2017-03-02 Gaylord Yu Changing HDMI Content in a Tiled Window
KR20180087697A (en) * 2017-01-25 2018-08-02 한화에어로스페이스 주식회사 Camera and profile managing method thereof
US10387000B2 (en) 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
JP2020169551A (en) * 2018-01-22 2020-10-15 株式会社ユピテル System, control method, program, and the like
WO2021075514A1 (en) * 2019-10-16 2021-04-22 ファミリーイナダ株式会社 Control system and control method

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6144338B2 (en) * 2013-04-26 2017-06-07 日立マクセル株式会社 Projection display device
US10430031B2 (en) * 2015-08-30 2019-10-01 EVA Automation, Inc. Displaying HDMI content in a tiled window
US20180278947A1 (en) * 2017-03-24 2018-09-27 Seiko Epson Corporation Display device, communication device, method of controlling display device, and method of controlling communication device
US20190090252A1 (en) * 2017-09-20 2019-03-21 Lg Electronics Inc. Method and apparatus for reusing p2p connection in wireless communication system
US10820375B2 (en) * 2017-11-07 2020-10-27 Lg Electronics Inc. Method and apparatus for turning on Wi-Fi infrastructure using BLE interface in wireless communication system
US10698498B2 (en) * 2017-11-30 2020-06-30 Komodo OpenLab Inc. Configurable device switching mechanism that enables seamless interactions with multiple devices
US10897491B2 (en) * 2017-12-28 2021-01-19 Intel Corporation Content provision based on usage analytics for multiple display receiver devices
JP7154833B2 (en) 2018-06-20 2022-10-18 キヤノン株式会社 Communication device, communication method and program
JP7118764B2 (en) * 2018-06-20 2022-08-16 キヤノン株式会社 Communication device, control method and program
JP7188175B2 (en) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 DISPLAY SYSTEM CONTROL METHOD, DISPLAY SYSTEM AND DISPLAY DEVICE
CN113542795B (en) * 2020-04-21 2023-04-18 腾讯科技（深圳）有限公司 Video processing method and device, electronic equipment and computer readable storage medium
KR20220003812A (en) * 2020-07-02 2022-01-11 삼성전자주식회사 Electronic device for transmitting pre-processed content using a filter based on status of call channel and method for the same
US11924464B2 (en) 2021-09-20 2024-03-05 Qualcomm Incorporated Processing video data picture size change request and notification messages
WO2023044214A1 (en) * 2021-09-20 2023-03-23 Qualcomm Incorporated Processing video data picture size change request and notification messages

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001204001A (en) * 1999-10-29 2001-07-27 Matsushita Electric Ind Co Ltd Moving picture distribution system, reproduction terminal and distributor
JP2003235041A (en) * 1996-08-07 2003-08-22 Matsushita Electric Ind Co Ltd Real time picture encoding apparatus
JP2003308277A (en) * 2002-04-17 2003-10-31 Sony Corp Terminal device, data transmitting device, and system and method for transmitting and receiving data
JP2005348207A (en) * 2004-06-04 2005-12-15 Sony Corp Encoding apparatus, and program
JP2009260818A (en) 2008-04-18 2009-11-05 Nec Corp Server apparatus, content distribution method, and program

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000270330A (en) * 1999-03-18 2000-09-29 Fujitsu Ltd System and method for video image distribution
US20030031371A1 (en) * 2001-08-02 2003-02-13 Shinichi Kato Image encoding apparatus and image decoding apparatus
JP2006165935A (en) * 2004-12-07 2006-06-22 Nec Corp Device and method for converting control information
JP4563456B2 (en) * 2005-08-12 2010-10-13 富士通株式会社 Transmitting apparatus, encoding apparatus, and decoding apparatus
US7747798B2 (en) * 2006-01-31 2010-06-29 Viewcast.Com, Inc. Portable media encoder
JP5193026B2 (en) * 2006-03-07 2013-05-08 日本電気株式会社 Video distribution system and conversion device
JP2009055228A (en) * 2007-08-24 2009-03-12 Sony Corp Wireless communication system, wireless communication apparatus, and wireless communication method
GB0716966D0 (en) * 2007-08-31 2007-10-10 Fujitsu Ltd Wireless communication systems
US8902996B2 (en) * 2008-02-26 2014-12-02 Richwave Technology Corp. Adaptive wireless video transmission systems and methods
CN101999250B (en) * 2008-04-18 2013-09-18 日本电信电话株式会社 Wireless terminal device, method of controlling wireless terminal device, and control program of wireless terminal device
WO2010079790A1 (en) * 2009-01-08 2010-07-15 日本電気株式会社 Distribution system, method, and conversion device
US8695053B2 (en) * 2009-09-10 2014-04-08 Jeffrey Huang Apparatus and method for multimedia data reception, processing, routing, storage, and access using a web / cloud-computing synchronization of personal multimedia data
JP5916624B2 (en) * 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション Scalable decoding and streaming with adaptive complexity for multi-layered video systems
US9143825B2 (en) * 2010-11-22 2015-09-22 Sling Media Pvt. Ltd. Systems, methods and devices to reduce change latency in placeshifted media streams using predictive secondary streaming
CN202210851U (en) * 2011-02-12 2012-05-02 北京华夏电通科技股份有限公司 Control device for standard-definition/ high-definition audio video coder and decoder
US9560133B2 (en) * 2011-06-06 2017-01-31 International Business Machines Corporation Acquiring multi-media content
EP2761869A4 (en) 2011-09-30 2015-03-18 Intel Corp Software based wireless channel-aware adaptive video bit rate encoding
US20130195119A1 (en) * 2011-10-14 2013-08-01 Qualcomm Incorporated Feedback channel for wireless display devices
CN102547214B (en) * 2012-02-22 2013-05-29 腾讯科技（深圳）有限公司 Video coding method for multi-user video communication and terminal
TWI625960B (en) * 2012-10-11 2018-06-01 皇家飛利浦有限公司 Host device, client device and method for wireless docking in a dynamic environment for multiple clients
US9521197B2 (en) * 2012-12-05 2016-12-13 International Business Machines Corporation Utilizing data object storage tracking in a dispersed storage network
JP6202712B2 (en) * 2013-02-07 2017-09-27 日本放送協会 Receiving apparatus and program
US9716737B2 (en) * 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
US9699500B2 (en) * 2013-12-13 2017-07-04 Qualcomm Incorporated Session management and control procedures for supporting multiple groups of sink devices in a peer-to-peer wireless display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003235041A (en) * 1996-08-07 2003-08-22 Matsushita Electric Ind Co Ltd Real time picture encoding apparatus
JP2001204001A (en) * 1999-10-29 2001-07-27 Matsushita Electric Ind Co Ltd Moving picture distribution system, reproduction terminal and distributor
JP2003308277A (en) * 2002-04-17 2003-10-31 Sony Corp Terminal device, data transmitting device, and system and method for transmitting and receiving data
JP2005348207A (en) * 2004-06-04 2005-12-15 Sony Corp Encoding apparatus, and program
JP2009260818A (en) 2008-04-18 2009-11-05 Nec Corp Server apparatus, content distribution method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Wi-Fi Display Technical Specification Version 1.0.0", WI-FI DISPLAY TECHNICAL TASK GROUP, 24 August 2012 (2012-08-24)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170064376A1 (en) * 2015-08-30 2017-03-02 Gaylord Yu Changing HDMI Content in a Tiled Window
US10387000B2 (en) 2015-08-30 2019-08-20 EVA Automation, Inc. Changing HDMI content in a tiled window
KR20180087697A (en) * 2017-01-25 2018-08-02 한화에어로스페이스 주식회사 Camera and profile managing method thereof
KR102586963B1 (en) * 2017-01-25 2023-10-10 한화비전 주식회사 Camera and profile managing method thereof
JP2020169551A (en) * 2018-01-22 2020-10-15 株式会社ユピテル System, control method, program, and the like
JP7193871B2 (en) 2018-01-22 2022-12-21 株式会社ユピテル System, control method, program, etc.
WO2021075514A1 (en) * 2019-10-16 2021-04-22 ファミリーイナダ株式会社 Control system and control method
JP7474481B2 (en) 2019-10-16 2024-04-25 ファミリーイナダ株式会社 Control system and control method

Also Published As

Publication number Publication date
US20160337689A1 (en) 2016-11-17
CN105917658A (en) 2016-08-31
AU2014379859A1 (en) 2016-04-28
EP3099080A1 (en) 2016-11-30
JPWO2015111289A1 (en) 2017-03-23
AU2014379859B2 (en) 2017-10-12
EP3099080B1 (en) 2018-08-22
EP3099080A4 (en) 2017-07-19
JP6402723B2 (en) 2018-10-10
CN105917658B (en) 2020-04-07
US10575047B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
JP6402723B2 (en) Decoding device, decoding method, encoding device, and encoding method
JP6406249B2 (en) Information processing apparatus and information processing method
US10805672B2 (en) Information processing device, information processing system, and information processing method
JP6729372B2 (en) Information processing apparatus and information processing method
US9948993B2 (en) Information processing apparatus and information processing method
JP6750608B2 (en) Information processing apparatus, information processing method, and program
US9992805B2 (en) Apparatus for displaying images and driving method thereof, mobile terminal and driving method thereof
US10841165B2 (en) Information processing apparatus, and information processing method that change data transmission roles of different devices
US10085068B2 (en) Information processing apparatus and information processing method
TWI684101B (en) Information processing device, information processing method and non-transitory computer-readable recording medium
WO2017018042A1 (en) Information processing device, information processing method, and source apparatus
JP2009159277A (en) Wireless communication device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14880364

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015558742

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2014379859

Country of ref document: AU

Date of ref document: 20141117

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014880364

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15111241

Country of ref document: US

Ref document number: 2014880364

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016016516

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112016016516

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160715