JP2017040768A - コンテンツ送信装置 - Google Patents

コンテンツ送信装置 Download PDF

Info

Publication number
JP2017040768A
JP2017040768A JP2015162184A JP2015162184A JP2017040768A JP 2017040768 A JP2017040768 A JP 2017040768A JP 2015162184 A JP2015162184 A JP 2015162184A JP 2015162184 A JP2015162184 A JP 2015162184A JP 2017040768 A JP2017040768 A JP 2017040768A
Authority
JP
Japan
Prior art keywords
content
data
basic component
client device
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015162184A
Other languages
English (en)
Inventor
治 小原
Osamu Obara
治 小原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2015162184A priority Critical patent/JP2017040768A/ja
Priority to PCT/JP2016/073063 priority patent/WO2017030017A1/ja
Publication of JP2017040768A publication Critical patent/JP2017040768A/ja
Priority to US15/894,045 priority patent/US10531160B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6375Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4398Processing of audio elementary streams involving reformatting operations of audio signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding

Abstract

【課題】ユーザ毎の環境に応じて可能な限り高品質なコンテンツを送信しながら、コンテンツ送信の遅延を防止できるコンテンツ送信装置を提供する。
【解決手段】送信部は、通信条件に応じて、前記コンテンツの基本成分を送信するか、前記コンテンツの基本成分及び拡張成分を合わせて送信するかの判断を行う。通信条件は、例えば送信先のクライアント装置の台数である。クライアント装置は、基本成分のみでもコンテンツを再生する。送信部は、受信部が再送要求を受信すると、その再送要求に対応するコンテンツの基本成分のみを再送する。すなわち、送信部は、再送時に拡張成分を送信しないので、再送するデータのサイズを抑える。

【選択図】図3

Description

本発明は、クライアント装置へコンテンツを送信するコンテンツ送信装置に関する。
特許文献1には、ネットワークを介して映像データを送信するコンテンツ送信装置と、送信された映像データを再生する複数のクライアント装置(テレビ)とが開示されている。
特開2012−256994号公報
しかしながら、従来技術のコンテンツ送信装置では、例えばネットワーク帯域が比較的に狭いユーザの環境においては、コンテンツ送信に遅延が生じる場合がある。その結果、クライアント装置は、例えば、コンテンツを途切れることなく再生することができなくなる。
一方で、コンテンツ送信装置が低容量のコンテンツ(例えばビットレートの低いコンテンツ)を送信すれば、クライアント装置は、ネットワーク帯域が狭い環境においても当該コンテンツを途切れることなく再生することができる。しかし、コンテンツ送信装置がビットレートの低いコンテンツを送信することで、全てのクライアント装置において再生されるコンテンツの品質が低下することになる。その結果、ネットワーク帯域が比較的広い環境においても低品質のコンテンツしか再生できないことになる。
そこで、本発明の目的は、ユーザ毎の環境に応じて可能な限り高品質なコンテンツを送信しながら、コンテンツ送信の遅延を防止できるコンテンツ送信装置を提供することにある。
本発明のコンテンツ送信装置は、コンテンツを基本成分と拡張成分に分けて圧縮する圧縮部と、クライアント装置へコンテンツを送信する送信部と、コンテンツの再送要求を受信する受信部と、を備える。そして、送信部は、通信条件に応じて、前記コンテンツの基本成分を送信するか、前記コンテンツの基本成分及び拡張成分を合わせて送信するかの判断を行う。
例えば、音声圧縮コーデックであるWavPackコーデックは、音声データを基本成分及び拡張成分に分けて2つの圧縮データを生成する。基本成分のみの圧縮データを用いるだけでも音声の再生は可能である。基本成分と拡張成分の両方の圧縮データを用いれば、高品質な音声データ再生が可能となる。
通信条件は、例えば、送信先のクライアント装置の台数に係る条件、及び、送信先のクライアント装置のネットワーク接続態様に係る条件である。これら通信条件は、それぞれ、ユーザの環境のネットワーク帯域に影響を与える条件である。例えば、コンテンツ送信に利用できるネットワーク帯域は、クライアント装置の台数が増加すると、狭くなる。
コンテンツ送信装置は、ユーザの環境のネットワーク帯域が比較的に広い場合、コンテンツの基本成分及び拡張成分を送信する。すなわち、コンテンツ送信装置は、ユーザの環境のネットワーク帯域が比較的に広い場合、高品質のコンテンツを送信する。
コンテンツ送信装置は、ユーザの環境のネットワーク帯域が比較的に狭い場合に、拡張成分を送信せず、基本成分を送信する。従って、コンテンツ送信装置は、ネットワーク帯域が比較的に狭くても、送信するコンテンツのデータサイズを抑えることで送信の遅延を防止する。
本発明のコンテンツ送信装置では、送信部は、前記受信部が前記再送要求を受信すると、該再送要求に対応するコンテンツの基本成分のみを再送する。
例えば、コンテンツ送信装置は、送信中にネットワーク帯域が狭く変化したことでコンテンツの再送が必要となったとしても、コンテンツの基本成分のみを再送するので、再送するコンテンツのデータサイズを抑える。コンテンツ送信装置は、再送するコンテンツのデータサイズを抑えるので、再送の遅延も防止する。
本発明のコンテンツ送信装置は、ユーザ毎の環境に応じて可能な限り高品質なコンテンツを送信しながら、コンテンツ送信の遅延を防止することができる。
実施形態1に係るコンテンツ配信システムの概要を説明するための図である。 (A)は、AVレシーバの構成の一部を示すハードウェアブロック図であり、(B)は、無線スピーカの構成の一部を示すハードウェアブロック図である。 実施形態1におけるAVレシーバの全体の動作を示すフローチャートである。 音声データの配信に係るAVレシーバ及び無線スピーカの動作を示すフローチャートである。 実施形態2に係るコンテンツ配信システムの概要を説明するための図である。 実施形態2におけるAVレシーバの全体の動作を示すフローチャートである。 実施形態3に係るコンテンツ配信システムのネットワーク接続態様を示す図である。 実施形態3におけるAVレシーバの全体の動作を示すフローチャートである。
実施形態1に係るコンテンツ配信システム900について、図1、図2(A)、図2(B)を用いて説明する。図1は、コンテンツ配信システム900の概要を説明するための図である。図2(A)は、AVレシーバ100の構成の一部を示すハードウェアブロック図である。図2(B)は、無線スピーカ301の構成の一部を示すハードウェアブロック図である。
図1に示すように、コンテンツ配信システム900は、AVレシーバ100と、コンテンツ記憶装置150と、スピーカ200Lと、スピーカ200Rと、無線スピーカ301と、無線スピーカ302と、バースピーカ400と、を備えている。無線スピーカ301は、部屋R901に配置されている。無線スピーカ302は、部屋R902に配置されている。バースピーカ400は、部屋R903に配置されている。部屋R901〜R903とAVレシーバ100が設置されている部屋は、互いに異なる。
AVレシーバ100は、無線アクセスポイント500を介して、無線スピーカ301、無線スピーカ302、及びバースピーカ400と無線通信する。AVレシーバ100は、無線通信することで、コンテンツ記憶装置150から取得した音声データを無線スピーカ301、無線スピーカ302、及びバースピーカ400に配信する。配信された音声データは、無線スピーカ301、無線スピーカ302、及びバースピーカ400で再生される。さらに、AVレシーバ100は、スピーカ200L及びスピーカ200Rを用いて、配信する音声データを自装置でも再生する。コンテンツ配信システム900は、同一の音声データを、AVレシーバ100、無線スピーカ301,302、及びバースピーカ400で同期させて再生させる。ただし、本発明において、AVレシーバ100、無線スピーカ301,302、及びバースピーカ400に同期させて音声データを再生させることは必須ではない。また、図1は一例を示し、音声データの配信先のスピーカの台数は3台に限らない。
AVレシーバ100は、本発明のコンテンツ送信装置に相当する。無線スピーカ301,302及びバースピーカ400は、それぞれ本発明のクライアント装置に相当する。本実施形態では、AVレシーバ100は、ユーザの環境毎(配信先のスピーカの台数)に応じて可能な限り高品質な音声データを配信しながら、音声データの配信の遅延を防止する。
図2(A)に示すように、AVレシーバ100は、CPU(Central Processing Unit)1と、メモリ2と、DSP(Digital Signal Processor)3と、無線モジュール4と、AMP(Amplifier)5と、複数の操作ボタン6と、クロック7と、を備えている。これら構成は、共通のBUSに接続されている。
DSP3は、音声データに対する各種音響処理のためのプロセッサである。無線モジュール4は、Wi−Fi(登録商標)規格等の無線信号を生成する。また、無線モジュール4は、アンテナ(不図示)で無線信号を入出力する。これにより、無線モジュール4は、無線通信で情報を送受信する。AMP5は、音声信号を増幅する回路である。AMP5によって増幅された音声信号は、スピーカ200L及びスピーカ200Rへ出力される。複数の操作ボタン6は、ユーザに操作されると、操作を示す信号を出力する。ただし、AVレシーバ100は、リモコンによってユーザの操作を受け付けてもよい。
クロック7は、時刻情報を出力する。クロック7から出力された時刻情報は、後述する同期処理に用いられる。メモリ2は、無線スピーカ301,302、及びバースピーカ400の識別情報を記憶している。識別情報は、IPアドレスを含んでいる。メモリ2は、プログラムも記憶している。CPU1は、メモリ2からプログラムを読み出し、読み出したプログラムを実行する。本発明の送信部及び受信部は、このプログラムの実行によって実現される。
図2(B)に示すように、無線スピーカ301は、CPU31と、メモリ32と、無線モジュール34と、AMP35と、クロック37と、を備えている。これら構成は、共通のBUSに接続されている。
無線モジュール34は、Wi−Fi(登録商標)規格等の無線信号を生成する。また、無線モジュール34は、アンテナ(不図示)で無線信号を入出力する。これにより、無線モジュール34は、無線通信で情報を送受信する。AMP35は、音声信号を増幅する回路である。AMP35によって増幅された音声信号は、スピーカユニットに出力される。クロック37は、時刻情報を出力する。クロック37から出力された時刻情報は、音声データの再生開始時刻の計時に用いられる。メモリ32は、プログラムを記憶している。CPU31は、メモリ32からプログラムを読み出し、読み出したプログラムを実行する。
図示は省略するが、無線スピーカ302は、無線スピーカ301と同様の構成を備えている。バースピーカ400は、無線スピーカ301と同様の構成を備えるが、一列に配列された複数のスピーカユニットを備える点において、無線スピーカ301と異なる。
AVレシーバ100、無線スピーカ301,302、及びバースピーカ400はそれぞれプログラムを実行することで、音声データの同期再生のために、次のように動作する。図3は、AVレシーバ100の全体の動作を示すフローチャートである。図4は、音声データ配信に係るAVレシーバ100及び無線スピーカ301の動作を示すフローチャートである。ただし、図4は、無線スピーカ301の動作を代表して示している。無線スピーカ302及びバースピーカ400の動作は、無線スピーカ301と同様の動作である。
図3に示すように、AVレシーバ100は、配信すべきPCM音源データを設定する(S1)。例えば、CPU1は、複数の操作ボタン6で受け付けた操作(例えばデータ番号の入力操作)に基づいて、コンテンツ記憶装置150が記憶する複数のPCM音源データから、配信すべきPCM音源データを設定する。CPU1は、無線モジュール4を制御することで、設定したPCM音源データをコンテンツ記憶装置150から取得する。
CPU1は、配信すべきPCM音源データを設定すると(S1)、配信先の台数が3台以上か否かを判断する(S21)。配信先の台数は、メモリ2に記憶された、無線スピーカ301,302、及びバースピーカ400のIPアドレスを記憶した配信先再生装置のテーブルをCPU1が参照することで求められる。
CPU1は、配信先の台数が3台以上の場合(S21:Y)、WavPackコーデック(ハイブリッドモード)を用いて、コンテンツ記憶装置150が記憶するPCM音源データ(例えば1,411kbpsのビットレート)を圧縮する(S22)。すると、PCM音源データの基本成分のデータが生成される。基本成分のデータは、例えば200kbpsのビットレートでPCM音源データが非可逆圧縮されたものである。
そして、CPU1は、基本成分のデータを含むパケットを生成し、無線モジュール4へパケットを出力する(S23)。無線モジュール4は、順次入力されたパケットをUDP(User Datagram Protocol)に従って送信する。このパケットは、無線アクセスポイント500を介して無線スピーカ301,302及びバースピーカ400へ送信される。
なお、図示は省略するが、AVレシーバ100は、基本成分のデータの送信中に無線スピーカ301,302及びバースピーカ400から再送要求を受信すると、再送要求に対する基本成分のデータを再度送信する。
CPU1は、配信先の台数が3台未満の場合(S21:N)、WavPackコーデック(ハイブリッドモード)を用いて、コンテンツ記憶装置150が記憶するPCM音源データを圧縮する(S24)。ステップS24の圧縮では、基本成分及び拡張成分のデータが生成される。基本成分のデータを拡張成分のデータで補正すれば、圧縮による損失がないPCM音源データが復元される。拡張成分のデータは、例えば、600kbpsのビットレートで生成される。
CPU1は、PCM音源データを圧縮して基本成分及び拡張成分のデータを生成すると(S24)、生成した基本成分及び拡張成分のデータを配信する(S25)。ステップS25の詳細な動作及びこの動作に対応する無線スピーカ301の動作について、図4を用いて説明する。
図4に示すように、CPU1は、基本成分のデータと、拡張成分のデータに対して、各データの先頭データから1024bytesずつのデータを取り出し、取り出したデータを含むパケットを生成する(S31)。
そして、CPU1は、生成したパケットを無線モジュール4へ出力する。無線モジュール4は、入力されたパケットをUDPに従って無線送信する(S32)。このパケットは、無線アクセスポイント500を介して無線スピーカ301,302及びバースピーカ400へ送信される。そして、CPU1は、配信すべき次のデータがあるかどうかを判断する(S33)。CPU1は、配信すべき次のデータがあると判断した場合(S33:Y)、ステップS31へ戻る。CPU1は、配信すべき次のデータがないと判断した場合(S33:N)、処理を終える。すなわち、ステップS31及びステップS32のパケットの生成と送信は、基本成分のデータ及び拡張成分のデータの各先頭データから各最後尾データまで繰り返して行われる。
図4に示すように、無線スピーカ301の無線モジュール34は、無線アクセスポイント500を介して送信されたパケットを受信する(S51)。無線スピーカ301のCPU31は、無線モジュール34がパケットを受信すると、受信したパケットにロス(抜け)が無いかどうかを判断する(S52)。例えば、パケットロスは、パケットに含まれる一連番号(Sequential Number)を参照することで検出される。具体的には、CPU31は、一連番号が0001、0002、及び0003のパケットが受信済みの状況で、一連番号が0005のパケットが受信されると(S51)、一連番号が0004のパケットが未受信と判断し、当該パケットのロスを検出する(S52:Y)。
CPU31は、パケットロスを検出しない場合(S52:NO)、受信したパケットから基本成分と拡張成分のデータを取り出す(S53)。取り出されたデータは、FIFOに入力されることで、バッファされる(S54)。
CPU31は、ステップS55の再生処理では、FIFOからデータを取り出す。そして、CPU31は、WavPackコーデックを用いて、FIFOから取り出したデータをデコードする。これにより、CPU31は、圧縮による損失がないPCM音源データ(1,411kbps)を復元する。そして、CPU31は、PCM音源データをデジタルアナログ変換し、AMP35へアナログ音声信号を出力する。スピーカユニットは、AMP35によって増幅された音声信号に基づいて放音する。
なお、ステップS55の再生処理は、各パケットのデータに含まれる指定時間(例えば10時55分8秒10ミリ秒)に開始することで配信元と複数の配信先で再生時間の同期を行う。
CPU31は、パケットロスを検出しない場合(S52:N)、基本成分のデータ及び拡張成分のデータの先頭データから順次送信されるデータを受信しつつ、受信したデータを順次再生するストリーム再生を行う(S51、及びS53〜S55)。
CPU31は、パケットロスを検出すると(S52:Y)、ロスしたパケット(範囲)を再送する要求をAVレシーバ100へ送信する(S56)。この再送要求は、ロスしたパケットの一連番号(例えば0004)を含む。また、CPU31は、3Wayハンドシェイク方式を用いるTCP(Transmission Control Protocol)で送信するように、無線モジュール34を制御してもよい。これにより、再送要求は、より確実にAVレシーバ100に届く。
AVレシーバ100のCPU1は、無線モジュール4が再送要求を受信すると(S41:Y)、当該再送要求に含められた一連番号(0004)が付されたパケットを特定する(S42)。特定されたパケットは、無線スピーカ301まで到達しなかった再送すべきパケットである。ただし、AVレシーバ100は、パケットの再送のために、送信済みのパケットをメモリ2に一時記憶しているものとする。そして、CPU1は、再送要求に含められた一連番号でメモリ2を参照することで再送すべきパケットを特定する。
ここで、ステップS42では、CPU1は、再送すべきパケットの特定の際、基本成分のデータに対応するパケットのみを特定する。換言すれば、CPU1は、拡張成分のデータに対応するパケットの再送要求を受信しても(再送要求は来ないはずだが)、再送すべきパケットを特定せず、かつ送信しない(拡張部分を要求されても、基本部分を送信するようにしてもよい)。CPU1は、再送されることがない拡張成分のデータのパケットを一時記憶しなくてもよいので、メモリ2の消費を抑えることができる。
CPU1は、特定したパケットを再送するように、無線モジュール4を制御する(S43)。この際、CPU1は、ステップS56と同様に、確実に再送パケットを届けるために、TCPで送信してもよい。なお、再送されるパケットは、再送を示すフラグ情報を含んでいるので、ブロードキャストされたとしても、重複した音声データが再生されることはない。
無線スピーカ301のCPU31は、無線モジュール34が再送パケットを受信すると(S57)、再送パケットから基本成分のデータを取り出す(S58)。
CPU31は、ステップS58で取り出したデータをFIFOに入力しバッファする(S54)。この際、CPU31は、受信済みのパケットを順序付けて、FIFOに入力する。例えば、CPU31は、再送で受信した一連番号が0004のパケットと共に、一連番号0005のパケットを一連番号順にFIFOに入力する(S54)。ただし、上述のように再送されたデータは、基本成分のみである。従って、CPU31は、基本成分のデータに対応する拡張成分のデータがない場合に、基本成分のデータのみで再生する(S55)。
その後、ステップS51に戻り、無線モジュール34は、次に送られるパケットを受信する。従って、無線スピーカ301は、いったん基本成分のみの音声データの再生となっても、その後、パケットロスが検出されなければ、圧縮による損失がないPCM音源データを再生する。
以上のように、AVレシーバ100は、配信先のスピーカの台数が少なく、音声データ配信に利用できるネットワーク帯域に余裕がある場合、基本成分及び拡張成分を有する高品質の音声データを配信する。
また、AVレシーバ100は、配信先のスピーカの台数が多く、音声データ配信に利用できるネットワーク帯域に余裕が無い場合は、基本成分のデータのみを配信することで(S23)、多数の配信先にデータを配信することができる。これにより、AVレシーバ100は、配信先のスピーカの台数にかかわらず、配信の遅延を防止する。さらに、AVレシーバ100は、音声データの再送が必要になった時に、基本成分のデータのみを再送することで(S43)、再送するデータのサイズを抑える。これにより、AVレシーバ100は、再送の遅延も防止する。
従って、本実施形態に係るAVレシーバ100は、配信先のスピーカの台数に応じて可能な限り高品質な音声データを配信しながら、音声データの配信の遅延を防止することができる。
図3に戻り、AVレシーバ100は、音声データを配信するとともに(S23及びS25)、自装置でも音声データを再生する。具体的には、CPU1は、配信すべきPCM音源データを設定すると(S1)、音声データの再生タイミングを各装置で同期させる同期処理を行う(S11)。CPU1は、この同期処理では、コンテンツ記憶装置150から取得したPCM音源データの先頭データから順にFIFOに書き込む。データは、FIFOで所定時間格納される。この所定時間は、DSP3による再生処理、無線スピーカ301,302及びバースピーカ400への音声データの配信(ネットワーク遅延)、無線スピーカ301,302及びバースピーカ400における再生処理等に必要な時間が考慮されて設定される(およそ2秒)。
そして、CPU1は、PCM音源データの再生処理を行う(S12)。具体的には、CPU1は、FIFOからデータを取り出してDSP3へ出力する。DSP3は、当該データに対して所定の音響処理を施した後に、デジタルアナログ変換し、アナログ音声信号をAMP5へ出力する。AMP5は、アナログ音声信号を増幅して、増幅した音声信号をスピーカ200L,200Rへ出力する。
CPU1は、再生すべき次のデータがあるかどうかを判断する(S13)。CPU1は、再生すべき次のデータがあると判断した場合(S13:Y)、ステップS11へ戻る。CPU1は、再生すべき次のデータがないと判断した場合(S13:N)、処理を終える。すなわち、CPU1は、PCM音源データの先頭データから最後尾データまで、ステップS11及びS12を繰り返し実行する。
コンテンツ配信システム900は、上述のように、配信先のスピーカの台数にかかわらず配信の遅延を防止するので、AVレシーバ100、無線スピーカ301,302、及びバースピーカ400に同期させて音声データを再生させることができる。
なお、図3のステップS22の圧縮は、基本成分のデータを生成できればよく、ステップS24で用いるコーデックと異なるコーデックを用いて行われてもよい。例えば、CPU1は、ステップS22では、WavPackコーデックより圧縮率が高いコーデックを用いる。これにより、ステップS23で配信するデータのサイズはさらに小さくなる。
上述の例は、配信先のスピーカの台数をユーザの環境として示したが、ユーザの環境は、次の実施形態2に示すように、ネットワーク接続態様であっても構わない。図5は、実施形態2に係るコンテンツ配信システム900Aの概要を説明するための図である。図6は、実施形態2におけるAVレシーバ100Aの動作を説明するためのフローチャートである。
実施形態2に係るコンテンツ配信システム900Aは、AVレシーバ100Aとバースピーカ400Aが有線接続されている点において、実施形態1に係るコンテンツ配信システム900と相違する。
AVレシーバ100A及びバースピーカ400Aは、有線LANインターフェース(不図示)を備えている。図5に示すように、AVレシーバ100Aは、LANケーブル501によって、スイッチングハブ500Aに接続されている。バースピーカ400Aは、LANケーブル502によって、スイッチングハブ500Aに接続されている。これにより、AVレシーバ100Aとバースピーカ400Aの間のネットワーク経路は、例えば1Gbpsの伝送速度で確立されている。AVレシーバ100Aと、無線スピーカ301,302の間のネットワーク経路は、例えば、300Mbpsの伝送速度で確立されている。ただし、実施形態2におけるネットワーク接続態様は、バースピーカ400Aのみがスイッチングハブ500Aと有線接続される態様であってもよい。
図6に示すように、AVレシーバ100Aは、音声データの配信先のスピーカがネットワークに有線接続されているのか、無線接続されているのかによって、配信するデータを変更する。具体的には、この場合もメモリ2に記憶された配信先再生装置のテーブルを参照し、接続態様を把握する。AVレシーバ100Aの動作は、ステップS21を実施せず、ステップS2、ステップS23A及びステップS25Aを実行する点において、図3に示す動作と相違する。
ステップS2では、CPU1は、配信先のスピーカのネットワーク接続態様を判別する。具体的には、CPU1は、無線スピーカ301,302、及びバースピーカ400Aがネットワークに有線接続されているのか、ネットワークに無線接続されているのかを示す情報をメモリ2に記憶された配信先再生装置のテーブルを参照し、接続態様を判別する。
ステップS23Aの動作は、圧縮後のPCM音源データの基本成分のデータのみの配信を無線スピーカ301,302に対して行う点において、図3のステップS23の動作と相違する。ステップS25Aの動作は、圧縮後のPCM音源データの基本成分及び拡張成分の両方のデータの配信をバースピーカ400Aに対して行う点において、図3のステップS25の動作と相違する。従って、バースピーカ400Aは、パケットロスを検出すると、再送要求をAVレシーバ100Aへ送信する。AVレシーバ100Aは、バースピーカ400Aに対して、再送要求に対応する基本成分のデータのみを再送する。
なお、CPU1は、接続態様が異なるスピーカ毎に異なるデータを送信するために(S23A及びS25A)、ポート番号を異ならせたUDPパケットを生成する。ただし、CPU1は、スピーカ毎に異なるデータを送信するために、配信先を指定するTCPパケットを生成してもよい。
実施形態2におけるAVレシーバ100Aは、ネットワーク帯域に余裕があり、かつデータ伝送が安定する有線接続のバースピーカ400Aへ大きいデータサイズの音声データを配信する。AVレシーバ100Aは、ネットワーク帯域に余裕がなく、データ伝送が不安定になりやすい無線接続の無線スピーカ301,302へ小さいデータサイズの音声データを配信する。従って、AVレシーバ100Aは、比較的にネットワーク帯域に余裕がなく、かつデータ伝送が不安定になりやすい無線接続の無線スピーカ301,302に対して、音声データの配信の遅延を防止する。
また、AVレシーバ100Aは、ネットワーク帯域に余裕があり、データ伝送が安定する有線接続のバースピーカ400Aに対して音声データの再送を行う際に、再送するデータのサイズを抑えるので、再送の遅延を防止する。従って、実施形態2に係るAVレシーバ100Aは、ネットワーク接続態様に応じて高品質な音声データを配信しながら、音声データの配信の遅延を防止することができる。
次に、図7は、実施形態3に係るコンテンツ配信システム900Bのネットワーク接続態様を示す図である。図8は、実施形態3におけるAVレシーバ100の動作を説明するためのフローチャートである。
図7及び図8に示すネットワーク接続態様では、AVレシーバ100は、ネットワークにかかる負荷に基づいて、圧縮後のPCM音源データの基本成分のデータのみ、又は、基本成分及び拡張成分の両方のデータを配信する。
図7に示すように、インターネット端末503は、無線アクセスポイント500を介してインターネット504上の各装置と通信する。これにより、無線アクセスポイント500は、コンテンツ配信システム900による音声データの配信と、インターネット端末503の通信とに共用されている。従って、無線アクセスポイント500の負荷は、実施形態1におけるネットワーク接続の場合に比べて、増加している。
図8に示すように、AVレシーバ100のCPU1は、配信すべきPCM音源データを設定すると(S1)、ネットワークにかかる負荷を測定する(S3)。具体的には、CPU1は、ステップS3では、無線アクセスポイント500にトラフィック取得の要求を送信し、その応答を受信するように無線モジュール4を制御する。
CPU1は、ネットワークにかかる負荷を測定すると(S3)、負荷が所定量以上か否かを判断する(S21B)。例えば、CPU1は、無線アクセスポイント500の無線通信の規格上の理論速度(300Mbps)に対して、取得したトラフィック(例えば50Mbps)がどの程度占有しているのかを算出する。そして、CPU1は、その割合が50%以上か否かを判断する。
CPU1は、負荷が所定量以上と判断した場合(S21B:Y)、無線スピーカ301,302、及びバースピーカ400へ圧縮後のPCM音源データの基本成分のデータのみを配信する(S23)。CPU1は、ネットワーク負荷が所定未満と判断した場合(S21B:N)、無線スピーカ301,302、及びバースピーカ400へ圧縮後のPCM音源データの基本成分及び拡張成分の両方のデータを配信する(S25)。
以上のように、AVレシーバ100は、ネットワークの負荷に応じて高品質な音声データを配信しながら、音声データの配信の遅延を防止することができる。
また、AVレシーバ100は、ネットワークにかかる負荷の測定(S3)を、音声データの配信中に行ってもよい。これにより、AVレシーバ100は、音声データの配信中に、インターネット端末503の通信及び音声データの再送によってネットワークにかかる負荷がリアルタイムに増加しても、増加した負荷に応じて配信する音声データを基本成分のデータのみに切り替える。その後、AVレシーバ100は、ネットワークにかかる負荷がリアルタイムに減少すると、圧縮後のPCM音源データの基本成分及び拡張成分の両方のデータを配信するので、圧縮による損失がないPCM音源データの再生に切り替える。
なお、図8のステップS3のネットワークにかかる負荷の測定は、自装置の無線モジュール4のトラフィックを取得することで行われてもよい。
また、AVレシーバ100は、ネットワーク負荷に限らず、無線スピーカ301,302、及びバースピーカ400の応答速度に基づいて、配信するデータを切り替えてもよい。例えば、AVレシーバ100は、PINGコマンドを無線スピーカ301,302、及びバースピーカ400に送出し、その応答時間を測定する。そして、AVレシーバ100は、配信先のスピーカの応答速度が例えば10ms未満であれば、圧縮後のPCM音源データの基本成分及び拡張成分の両方のデータを配信する。AVレシーバ100は、配信先のスピーカの応答速度が10ms以上であれば、圧縮後のPCM音源データの基本成分のデータのみを配信する。
また、AVレシーバ100は、自装置と無線スピーカ301,302及びバースピーカ400との距離に応じて、配信するデータを切り替えてもよい。例えば、AVレシーバ100は、無線アクセスポイント500からRSSI(Received Signal Strength Indicator)情報を取得する。RSSI情報は、無線スピーカ301,302及びバースピーカ400が受信する無線信号の強度(dBm)の情報を含む。強度は、無線アクセスポイント500と各スピーカとの距離に対応する。そこで、AVレシーバ100は、例えば強度が−50dBmより大きいスピーカに対して、圧縮後のPCM音源データの基本成分及び拡張成分のデータを配信する。
上述の例では、AVレシーバ100,100Aは、WavPackコーデックを用いて圧縮することで、自装置でPCM音源データの基本成分及び拡張成分のデータを生成したが、コンテンツ記憶装置150に予め記憶済みの基本成分及び拡張成分のデータを配信するだけであってもよい。
また、上述の例は、音声データをコンテンツとして示したが、コンテンツは、映像データを含んでもよい。例えば、無圧縮AVIデータを基本成分及び拡張成分のデータに分けて圧縮するために、MPEG4 SLSコーデックを利用できる。
また、上述の例は、AVレシーバ100,100Aが音声データを配信したが、無線スピーカ301,302及びバースピーカ400,400Aのいずれかが音声データを配信する態様であっても構わない。さらに、無線アクセスポイント500に接続するスマートフォンが音声データを配信しても構わない。
また、無線通信は、Wi−Fi(登録商標)規格に限らず、Bluetooth(登録商標)規格で行われてもよい。
900,900A,900B…コンテンツ配信システム
100,100A…AVレシーバ
150…コンテンツ記憶装置
200L,200R…スピーカ
301,302…無線スピーカ
400,400A…バースピーカ
1…CPU
2…メモリ
3…DSP
4…無線モジュール
5…AMP
6…操作ボタン
7…クロック
31…CPU
32…メモリ
34…無線モジュール
35…AMP
37…クロック

Claims (6)

  1. コンテンツを基本成分と拡張成分に分けて圧縮する圧縮部と、
    クライアント装置へコンテンツを送信する送信部と、
    前記コンテンツの再送要求を受信する受信部と、
    を備え、
    前記送信部は、
    通信条件に応じて、前記コンテンツの基本成分を送信するか、前記コンテンツの基本成分及び拡張成分を合わせて送信するかの判断を行い、
    前記受信部が前記再送要求を受信すると、該再送要求に対応するコンテンツの基本成分のみを再送する、
    コンテンツ送信装置。
  2. 前記通信条件は、送信先のクライアント装置の台数に係る条件であり、
    前記送信部は、
    前記台数が所定数以下の場合、前記コンテンツの基本成分及び拡張成分を送信し、
    前記台数が前記所定数より多い場合、前記コンテンツの基本成分を送信する、
    請求項1に記載のコンテンツ送信装置。
  3. 前記通信条件は、送信先のクライアント装置のネットワーク接続態様に係る条件であり、
    前記送信部は、
    前記クライアント装置が有線でネットワーク接続されている場合、該クライアント装置へ前記コンテンツの基本成分及び拡張成分を送信し、
    前記クライアント装置が無線でネットワーク接続されている場合、該クライアント装置へ前記コンテンツの基本成分を送信する、
    請求項1又は2に記載のコンテンツ送信装置。
  4. 前記通信条件は、送信先のクライアント装置との間の応答速度に係る条件であり、
    前記送信部は、
    前記クライアント装置の応答速度が所定速度以上の場合、該クライアント装置へ、前記コンテンツの基本成分及び拡張成分を送信し、
    前記クライアント装置の応答速度が所定速度未満の場合、該クライアント装置へ、前記コンテンツの基本成分を送信する、
    請求項1〜3のいずれかに記載のコンテンツ送信装置。
  5. 前記通信条件は、ネットワークの負荷に係る条件であり、
    前記送信部は、
    前記負荷が所定量以下の場合、前記コンテンツの基本成分及び拡張成分を送信し、
    前記負荷が所定量より多い場合、前記コンテンツの基本成分を送信する、
    請求項1〜4のいずれかに記載のコンテンツ送信装置。
  6. 前記通信条件は、ネットワークにおける距離に係る条件であり、
    前記送信部は、
    前記コンテンツ送信装置と前記クライアント装置との距離が所定値未満の場合、該クライアント装置へ、前記コンテンツの基本成分及び拡張成分を送信し、
    前記コンテンツ送信装置と前記クライアント装置との距離が所定値以上の場合、該クライアント装置へ、前記コンテンツの基本成分を送信する、
    請求項1〜5のいずれかに記載のコンテンツ送信装置。
JP2015162184A 2015-08-19 2015-08-19 コンテンツ送信装置 Pending JP2017040768A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015162184A JP2017040768A (ja) 2015-08-19 2015-08-19 コンテンツ送信装置
PCT/JP2016/073063 WO2017030017A1 (ja) 2015-08-19 2016-08-05 コンテンツ送信装置、コンテンツ配信システム、およびコンテンツ送信方法
US15/894,045 US10531160B2 (en) 2015-08-19 2018-02-12 Content transmission apparatus, content delivery system, and content transmission method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015162184A JP2017040768A (ja) 2015-08-19 2015-08-19 コンテンツ送信装置

Publications (1)

Publication Number Publication Date
JP2017040768A true JP2017040768A (ja) 2017-02-23

Family

ID=58051667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015162184A Pending JP2017040768A (ja) 2015-08-19 2015-08-19 コンテンツ送信装置

Country Status (3)

Country Link
US (1) US10531160B2 (ja)
JP (1) JP2017040768A (ja)
WO (1) WO2017030017A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177573A (ja) * 1999-12-20 2001-06-29 Fujitsu Ltd データ通信システム並びにデータ受信端末及びデータ送信端末
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2003241799A (ja) * 2002-02-15 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム
JP2005530386A (ja) * 2002-06-11 2005-10-06 トムソン ライセンシング ソシエテ アノニム 動的なネットワーク損失状態に対する簡単な適応を備えたマルチメディアサーバ
JP2010016484A (ja) * 2008-07-01 2010-01-21 Fujitsu Ltd データ転送装置、データ転送方法及びデータ転送プログラム
JP2010287039A (ja) * 2009-06-11 2010-12-24 Nec Corp コンテンツ配信システムおよびコンテンツ配信方法
WO2013005478A1 (ja) * 2011-07-04 2013-01-10 日本電気株式会社 コンテンツ配信システム、コンテンツ配置決定装置、コンテンツ配置決定方法およびプログラム
JP2013518511A (ja) * 2010-01-28 2013-05-20 トムソン ライセンシング 再送決定する方法及び装置
JP2013518510A (ja) * 2010-01-28 2013-05-20 トムソン ライセンシング 信頼性のあるデータ通信のためにネットワーク抽象化レイヤを解析する方法および装置
US20130254611A1 (en) * 2012-03-23 2013-09-26 Qualcomm Incorporated Recovering data in multimedia file segments
JP2014527739A (ja) * 2012-01-04 2014-10-16 北京大学Peking University スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386271B2 (en) * 2008-03-25 2013-02-26 Microsoft Corporation Lossless and near lossless scalable audio codec
US8571594B2 (en) * 2009-08-12 2013-10-29 Qualcomm Incorporated System and method for overload indication
JP2012256994A (ja) 2011-06-08 2012-12-27 Hitachi-Lg Data Storage Inc コンテンツリスト及びコンテンツの配信装置及び配信方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177573A (ja) * 1999-12-20 2001-06-29 Fujitsu Ltd データ通信システム並びにデータ受信端末及びデータ送信端末
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2003241799A (ja) * 2002-02-15 2003-08-29 Nippon Telegr & Teleph Corp <Ntt> 音響符号化方法、復号化方法、符号化装置、復号化装置及び符号化プログラム、復号化プログラム
JP2005530386A (ja) * 2002-06-11 2005-10-06 トムソン ライセンシング ソシエテ アノニム 動的なネットワーク損失状態に対する簡単な適応を備えたマルチメディアサーバ
JP2010016484A (ja) * 2008-07-01 2010-01-21 Fujitsu Ltd データ転送装置、データ転送方法及びデータ転送プログラム
JP2010287039A (ja) * 2009-06-11 2010-12-24 Nec Corp コンテンツ配信システムおよびコンテンツ配信方法
JP2013518511A (ja) * 2010-01-28 2013-05-20 トムソン ライセンシング 再送決定する方法及び装置
JP2013518510A (ja) * 2010-01-28 2013-05-20 トムソン ライセンシング 信頼性のあるデータ通信のためにネットワーク抽象化レイヤを解析する方法および装置
WO2013005478A1 (ja) * 2011-07-04 2013-01-10 日本電気株式会社 コンテンツ配信システム、コンテンツ配置決定装置、コンテンツ配置決定方法およびプログラム
JP2014527739A (ja) * 2012-01-04 2014-10-16 北京大学Peking University スケーラブルビデオ符号化に基づいてビデオ品質変動を制御するための方法および装置
US20130254611A1 (en) * 2012-03-23 2013-09-26 Qualcomm Incorporated Recovering data in multimedia file segments

Also Published As

Publication number Publication date
WO2017030017A1 (ja) 2017-02-23
US10531160B2 (en) 2020-01-07
US20180167695A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
KR102445593B1 (ko) 오디오 및 비디오의 멀티모드 동기식 렌더링
US7710941B2 (en) Method and device for the synchronised restitution of data flows
US11387788B2 (en) Amplifier-embedded video surveillance IP speaker system
JP5402389B2 (ja) 電子会議システム、配信管理サーバ、データ制御方法、プログラム、及び記録媒体
US20160191181A1 (en) Audio broadcast retransmissions
KR20130115986A (ko) 미디어 스트림의 끊김 없는 전송
JP2008099261A (ja) 通信装置およびプログラム
US11394762B2 (en) Device and method for automatic switching of streaming Bluetooth multimedia device
US20230069230A1 (en) Switching between multiple earbud architectures
CN107438990B (zh) 用于递送定时信息的方法和设备
JP4600513B2 (ja) データ送信装置、送信レート制御方法およびプログラム
US10448156B2 (en) Content delivery apparatus, content delivery system and content delivery method
WO2017030017A1 (ja) コンテンツ送信装置、コンテンツ配信システム、およびコンテンツ送信方法
TWI609591B (zh) 資料傳輸品質管控系統與方法
US11516272B2 (en) Method of improving synchronization of the playback of audio data between a plurality of audio sub-systems
KR20220004826A (ko) 무선 통신 시스템에서 브로드캐스트 디스커버리 서비스 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체
US9118953B2 (en) Remote mobile communication system, server device, and remote mobile communication system control method
WO2005050944A1 (ja) ネットワーク回線を用いたアナログ信号入出力システム
JP6947174B2 (ja) プロキシデバイス、プロキシデバイスの処理方法およびネットワーク装置
CN114175689B (zh) 用于无线通信系统中的广播发现服务的方法、装置和计算机程序及其记录介质
CN106572115B (zh) 智能终端播放网络视频的屏幕镜像方法及发射及接收装置
JP5122327B2 (ja) 移動端末へメディアストリームを配信するシステム
JP2022006536A (ja) 通信システム、通信装置、及び通信プログラム
JP2009253909A (ja) 配信システム、中継装置および配信方法
JP2013093750A (ja) パケット通信方法及びそのための装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200408

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200804