JP2014534489A - 帯域幅および対応する装置を制御する方法 - Google Patents

帯域幅および対応する装置を制御する方法 Download PDF

Info

Publication number
JP2014534489A
JP2014534489A JP2014531159A JP2014531159A JP2014534489A JP 2014534489 A JP2014534489 A JP 2014534489A JP 2014531159 A JP2014531159 A JP 2014531159A JP 2014531159 A JP2014531159 A JP 2014531159A JP 2014534489 A JP2014534489 A JP 2014534489A
Authority
JP
Japan
Prior art keywords
bandwidth
streaming
client device
data rate
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014531159A
Other languages
English (en)
Other versions
JP2014534489A5 (ja
JP6268090B2 (ja
Inventor
ガツシユ,ステフアン
フーデイル,レミ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014534489A publication Critical patent/JP2014534489A/ja
Publication of JP2014534489A5 publication Critical patent/JP2014534489A5/ja
Application granted granted Critical
Publication of JP6268090B2 publication Critical patent/JP6268090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/756Media network packet handling adapting media to device capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10Architectures or entities
    • H04L65/102Gateways
    • H04L65/1023Media gateways
    • H04L65/1026Media gateways at the edge
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

本発明は、装置およびこの装置での方法に関する。この装置は、アダプティブ・ストリーミングのサーバを含む第1のネットワークに対する第1のインタフェースと、少なくとも1つのアダプティブ・ストリーミングのクライアント装置を含む第2のネットワークに対する第2のインタフェースと、少なくとも1つのアダプティブ・ストリーミングのクライアント装置によってリクエストされた少なくとも1つのストリーミング・コンテンツを検出するストリーム識別器であって、少なくとも1つのストリーミング・コンテンツは複数のデータ・レートで利用可能である、ストリーム識別器と、複数のデータ・レートからデータ・レートを選択する帯域幅マネージャと、第2のインタフェースで、少なくとも1つのストリーミング・コンテンツを、選択されたデータ・レートを超え、ストリーミング・コンテンツに利用可能なデータ・レートよりも低いデータ・レートで少なくとも1つのクライアント装置に送信するスケジューラと、を含む。【選択図】図4

Description

本発明は、概ね、ビデオ・ストリーミング・コンテンツの配信に関し、特に、ビデオ・ストリーミング・コンテンツによって使用される帯域幅の制御に関する。
この項は、読者に対し、様々な技術的な態様を紹介することを意図している。これらの技術的な態様は、以下に説明する、さらに/または、以下の請求項に記載する本発明の様々な態様に関連する。この説明が本発明の様々な態様をより良好に理解するための背景情報を読者に対して提供するのに役立つと確信する。従って、それぞれの記載は、この点に鑑みて読まれるべきものであり、先行技術を自認するものではないことを理解すべきである。
メディア配信ストリーミングのソリューションは、主に、IETF RFC 2326において規定されているような、リアルタイム・ストリーミング・プロトコル(RTSP)、Microsoft社のマイクロソフト・メディア・サーバ(MMS)独自プロトコル、または、Adobe Systems社のリアル・タイム・メッセージング・プロトコル(RTMP)に基づいている。
HTTPプロトコルに基づくストリーミング技術の登場により、インターネットを介したコンテンツの配信が可能となっている。これらの技術により、クライアント装置がチャンクと呼ばれる、少数の連続する小さなセグメントの形式で、数秒間のビデオを受信可能となる。各セグメントは、HTTPプロトコルを介してリクエストされ、種々の大きさ(形)で存在する場合があることにより、クライアント装置が、常時、ネットワークおよび自己の制約と合致した適切なビットレートを選択できるようになっている。種々のビットレートは、配信されるコンテンツの種々の品質レベルに対応する。クライアント装置によって測定されるネットワーク帯域幅が減少するとすぐに、ネットワーク帯域幅の必要条件に関してより制限の小さいチャンクのリクエストが行われる。クライアント装置によって測定されるネットワーク帯域幅が増加するとすぐに、ネットワーク帯域幅の必要条件に関してより制限の大きいチャンクのリクエストが行われる。
利用可能なチャンクは、一般的には、ストリーミング・サーバによって生成され、提供されるプレイリストに列挙される。プレイリストは、フォーマットのタイプ毎に1つなど、他のプレイリストを示すことができる。プレイリストは、コーデックやコーデックをダウンロードするために必要な帯域幅、さらに、それらをリクエストするための方法など、チャンク・コンテンツを記述する。プレイリスト・フォーマットは、文書「HTTP Live Streaming draft、 pantos、 http−live−streaming、 06」に記載されているものとすることができ、様々なSVCレイヤーを記述するためにコーデック情報を用いて拡張される。
様々なHTTPストリーミング技術を利用可能である。Apple社のHTTP Live Streaming(HLS)がRFCのドラフトとして公開され、主に、アップル社の装置で使用されている。マイクロソフト社のSmooth Streamingは、マイクロソフト社のSilverlightプラットフォームの一部であり、仕様書は公に入手可能である。Adobe社のOpen Source Media Framesork(OSMF)は、マイクロソフト社のソリューションに類似するものである。3GPP社は、Packet Switched Streaming(PSS)システムの仕様書をリリースしている。MPEGのワーキング・ループもまた、Dynamic Adaptive Streaming over HTTP(DASH)の定義に関連して作成されている。これらのストリーミングのソリューションにおいてHTTPプロトコルを使用する利点は、NATおよびファイアウォールをシームレスに乗り越えるその機能にある。これらのHTTPストリーミング技術は、帯域幅の制約に適合するためにビデオ品質のアップグレードおよびダウングレードを継続的に、程よく行うことによって、利用可能な帯域幅に関する異常なネットワーク挙動を補償する方法を提供する。
一般的に、複数存在するHTTPストリーミング技術は、同一のコンセプトに基づいている。これらは、プレイリストのファイル・フォーマット、コンテンツのオプション(ビットレート、画像寸法、フレームレートなど)を記述するために提供されるメタデータ、セグメントの形態で利用可能なコンテンツを表現する構成、サポートされるコーデック、さらに、コンテンツ保護技術において異なっている。
クライアント装置が何らかのオーディオ/ビジュアル(AV)のコンテンツを再生することを望む場合には、クライアント装置は、最初に、この特定のコンテンツをどのように取得できるかを記述するファイルを取得しなければならない。
これは、URLから幾らかの「ファイル」を取得することによってHTTPを通じて行われる。このファイルは、基本的に、(ビットレートおよび他の特性の観点から)コンテンツの利用可能な表現を列挙し、各々に対し、各時間スライスに対してコンテンツ・セグメントのロードを可能とするURLを列挙する。例えば、ビデオ・オンデマンド・コンテンツでは、映画の全体の説明が提供される一方で、ライブ放送コンテンツでは、この説明は、短時間のみに渡った範囲となっており、時間の経過に際して新たな項目のみが発見されるように周期的にリロードされる必要がある。
クライアント装置は、自己の機能およびネットワーク環境から得られる情報に依存して、(通常は、自己のビットレートに基づいた)何らかの表現を選択し、コンテンツの最初のセグメントをロードする。クライアント装置は、ネットワークの障害に対処できるようにするために少数のセグメントをバッファする。そこで、各受信されたセグメントからのコンテンツは、1つずつ再生される。同時に、クライアント装置は、受信レートを測定し、ビットレートを増減させることを決定することができる。そのような場合、クライアント装置は、単に、別の表現から次のセグメントをリクエストするだけである。どのHTTPストリーミング・システムでも、クライアントが再生を継続できるようにする一方で、何らかのビットレートのセグメントから別のビットレートの「次」のセグメントに行くことができるようになっている。
このようにして、ネットワーク上のトラフィックによりコンテンツが受信されるレートに変化が生じると、クライアントは、クライアントのバッファの充足度を安全なレベルに維持可能なビットレートでセグメントを選択することによって反応することができる。実際、クライアントは、通常、より良好な視聴品質を提供する、最も高い可能なビットレートに達するようにし、レンダリングがマクロブロックまたはピクチャのフリーズを発生させるようなデータの受信遅延を発生させないレベルを維持するように試行する。
住宅用ネットワークにおいて、複数のクライアント装置がHTTPストリーミングを同時に実行することがある。ローカル・ネットワーク上、または、ブロードバンド・ネットワーク上で利用可能な帯域幅がトラフィック全体をサポートするのに十分でない場合には、クライアント装置は、利用可能な帯域幅の各々の配分を取得しようと競合する。HTTPストリーミング・アルゴリズムは、各々の装置において、独立して実行され、帯域幅を最適に配分することができない。以下の状況が発生する可能性がある。1つのビデオ・ストリームが高い安定したビットレートを使用する一方で、別のビデオ・ストリームが低ビットレートのままでいるといったような、帯域幅の配分の不公平が発生する場合がある。あるいは、各装置が高ビットレートおよび低ビットレートを交互に使用するような変動が発生する場合がある。時折、複数の装置が、良好でないと判定したネットワークの状態に対して同時に過剰反応し、結果として、各装置のために極めて低いビットレートが選択され、帯域幅の大きな浪費が発生する場合がある。これは、十分な帯域幅を利用可能である場合にも発生することがある。HTTPプロトコルを根底とするTCPのメカニズムには、各ストリームに対してパケット受信の黙示的な競合が伴うことがあり、これにより、不公平な状態が安定して発生するか、恒久的な変動が発生するという、同じ結果が生じる。このような挙動は、表示されるビデオの品質が使用されるビットレートに連動しているため、エンドユーザが体験する品質に直接的な影響を与えるものである。
本発明は、各アダプティブ・ストリーミングのコンテンツによって使用される帯域幅の制御を提供することによって、先行技術におけるアダプティブ・ストリーミングの不安定性に関わる懸念の少なくともいくつかを払拭しようとするものである。
本発明は、アダプティブ・ストリーミングのサーバを含む第1のネットワークに対する第1のインタフェースと、少なくとも1つのアダプティブ・ストリーミングのクライアント装置を含む第2のネットワークに対する第2のインタフェースと、少なくとも1つのアダプティブ・ストリーミングのクライアント装置によってリクエストされた少なくとも1つのストリーミング・コンテンツを検出するストリーム識別器であって、少なくとも1つのストリーミング・コンテンツは複数のデータ・レートで利用可能である、ストリーム識別器と、複数のデータ・レートからデータ・レートを選択する帯域幅マネージャと、第2のインタフェースで、少なくとも1つのストリーミング・コンテンツを、選択されたデータ・レートを超え、ストリーミング・コンテンツに利用可能な任意のより高いデータ・レートよりも低いデータ・レートで少なくとも1つのクライアント装置に送信するスケジューラと、を含む装置に関する。
一態様によれば、第1のインタフェースは最大帯域幅受信率を有し、データ・レートの選択は、少なくとも1つのストリーミング・コンテンツのために必要な帯域幅が最大帯域幅受信率よりも低くなるように行われる。
一態様によれば、帯域幅マネージャは、少なくとも1つのストリーミング・コンテンツの少なくとも1つのクライアント装置への送信に優先度を付けるように構成されている。
一態様によれば、この装置は住宅用ゲートウェイである。
本発明の他の目的は、アダプティブ・ストリーミングのサーバを含む第1のネットワークに対する第1のインタフェースと、少なくとも1つのアダプティブ・ストリーミングのクライアント装置を含む第2のネットワークに対する第2のインタフェースと、を含む装置における方法である。この方法は、少なくとも1つのアダプティブ・ストリーミングのクライアント装置によってリクエストされた少なくとも1つのストリーミング・コンテンツを検出するステップであって、少なくとも1つのストリーミング・コンテンツは複数のデータ・レートで利用可能である検出ステップと、複数のデータ・レートからデータ・レートを選択するステップと、第2のインタフェースで、少なくとも1つのストリーミング・コンテンツを、選択されたデータ・レートを超え、ストリーミング・コンテンツに利用可能な任意のより高いデータ・レートよりも低いデータ・レートで少なくとも1つのクライアント装置に送信するステップと、を含む。
本発明の他の目的は、コンピュータ・プログラム製品であって、このプログラムがコンピュータ上で実行される際に、本発明に係る方法の各ステップを実行するプログラム・コード・インストラクションを含む、コンピュータ・プログラム製品である。「コンピュータ・プログラム製品」とは、コンピュータ・メモリなど、プログラムを含む記憶空間からなるものだけでなく、電気信号や光学信号のような信号からなる、コンピュータ・プログラムのサポートを意味する。
本発明は、アダプティブ・ストリーミングのサーバとアダプティブ・ストリーミングのクライアント装置との間に位置する装置のレベルでトラフィック・シェーピングを実行する。帯域幅管理により、想定される同時に行われるサービスの数と、各装置の知覚されるサービスのQoE(体感品質)との間の最適なトレードオフが実現される。本発明のトラフィック・シェーピングの効果は、各HTTPアダプティブ・ストリーミングのクライアントの挙動にとって有益である。これにより、幾つかのストリーム間の競合が抑制、または、制限される。トラフィック・シェーピングが無い場合には、帯域幅の配分がTCPプロトコルの特性、さらに、クライアントのアルゴリズムがどのように「測定する」帯域幅に反応するかによって決定され、これにより、実際、不安定な状況、さらに/または不公平な状況が発生する。トラフィック・シェーピングが有る場合には、各ストリームは、その可変範囲に限定される。ストリームを高いビットレートにすることができる場合、例えば、この理由が別のストリームのトラフィックが一時的に低くなったためである場合には、帯域幅の低下が生じる。なぜならば、高ビットレートのリクエストされたセグメントの到達に多くの時間が費やされるからである。従って、これを補償するために、アダプティブなクライアントは、ビットレートを極めて低くしなくてはならなくなる。従って、ビットレートの変化に大きな幅があり、結果として、QoE(体感品質)が低くなる。平均の目標に近い値に知覚される帯域幅を制限することにより、クライアントの帯域幅が高くなりすぎることがなくなり、目標値近傍でより安定するようになる。
さらに、本発明は、種々のビットレートを使用した種々のビデオ・フォーマットの例のように、制御された割合で帯域幅を割り当てることを可能にする。本発明のゲートウェイによって提供されるセントラル・アービトレーションが無い場合には、クライアントは、同様なビットレートの配分を受ける傾向にある。
トラフィックの分類には、AV(オーディオ/ビジュアル)ストリームおよび他の種類のデータ・フローとの間の優先度に係るルールを含めることができる。これにより、例えば、OTTビデオの視聴がデータ・ファイルのダウンロードによって妨げられることを防ぐことができる。
家庭用ゲートウェイは、帯域幅管理を行うための良好な場所である。その理由は、家庭用ゲートウェイは、ネットワークおよび装置の制約についての適切な情報を取得する機能を備えており、全てのトラフィックを監視し、従って、AVサービスに属するストリームを識別し、それらのストリームに対する措置を取ることができるからである。
各々の特定の態様は、以下に開示する実施形態の範囲と一致したものである。これらの態様の提示は、読者に対し、発明が採用することのある特定の形態を概略的に提供するためのものに過ぎず、これらの態様は、本発明の範囲を制限するように意図されたものではないことを理解すべきである。実際、本発明は、以下に記載しない様々な態様を含むことがある。
本発明は、添付図面を参照して、以下の実施形態および実施例により良好に理解され、例示されるであろう。これらの実施形態および実施例は、決して限定的なものではない。
実施形態に係るシステムのブロック図である。 実施形態に係るクライアント装置のブロック図である。 実施形態に係るゲートウェイ装置のブロック図である。 実施形態に係るゲートウェイ装置の他のブロック図である。
図1において示されたブロックは、純粋に、機能的なものであり、これらは、必ずしも物理的に別個のものに対応するものではない。すなわち、これらのブロックは、ハードウエアまたはソフトウエアの形態で開発されてもよく、1つまたは幾つかの集積回路として実施されてもよい。
本発明の図面および説明は、本発明の明確な理解のために関連のある要素を例示するように簡略化されており、分かりやすくする目的で、通常のディジタル・マルチメディア・コンテンツ配信の方法およびシステムにおいて存在する多くの他の要素を削除していることを理解すべきである。しかしながら、これらの要素は、本技術分野においてよく知られており、このような要素についての詳細な説明は、本明細書において提供されていない。本発明の開示内容は、当業者にとって公知なこのような変形および改変の全てに関する。
本実施形態に係るシステムは、図1に示されている。システムは、2つのクライアント装置4,5と、インターネット2を介して接続されたストリーミング・サーバ3とを含む。クライアント装置は、ゲートウェイ1を介してインターネットに接続されたローカル・ネットワーク6に設置されている。好ましくは、ローカル・ネットワークは、住宅用ネットワークである。サーバは、TCP/IP接続を介したHTTPプロトコルを使用して、クライアントのリクエストによりチャンクをクライアントにストリーム送信する。
本実施形態に係るクライアント装置4は、図2に例示されている。クライアント装置は、以降、アダプティブ・ストリーミングのクライアント装置とも呼ばれる。クライアント装置は、ローカル・ネットワーク6に対する第1のインタフェース44を含む。クライアントは、通信モジュール43を含み、通信モジュール43は、サーバ3との通信を行うプロトコル・スタックを含む。特に、通信手段は、本技術分野で良く知られているTCP/IPスタックを含む。もちろん、通信手段は、クライアントをサーバと通信可能にする他のどのようなタイプのネットワーク、さらに/または、通信手段であってもよい。クライアント装置は、アダプティブ・ストリーミング・モジュール45を含む。クライアント装置は、サーバからのHTTPストリーミング・コンテンツを受信するHTTPストリーミングのクライアントである。クライアント装置は、ネットワークの制約および自己の制約と良好に合致するビットレートでチャンクを継続的に選択する。
クライアントは、コンテンツを復号し、レンダリングするように構成されたビデオ・プレイヤ46を含む。クライアントは、さらに、クライアントに記憶されたアプリケーションおよびプログラムを実行するプロセッサ41を含む。クライアントは、サーバから受信したチャンクがビデオ・プレイヤ46に送信される前にバッファリングするメモリなどの記憶手段42を含む。特に、メモリは、揮発性メモリである。もちろん、クライアント装置は、クライアント上で実行されるアプリケーションおよびプログラムを記憶するための、図示しない、不揮発性メモリを含む。クライアント装置は、ポータブル・メディア・デバイスでもよく、ラップトップでもよい。
代替的には、クライアント装置は、ビデオ・プレイヤを含まず、ビデオ・プレイヤと接続するインタフェースを含む。そして、クライアント装置は、セットトップ・ボックスなどのビデオ復号器である。
本実施形態に係るゲートウェイは、図3に例示されている。ゲートウェイは、ディジタル加入者線(DSL)技術を利用して住宅用ネットワークに対するインターネットのブロードバンド・アクセスを提供するディジタル加入者線ゲートウェイである。もちろん、ゲートウェイは、ケーブル、ファイバ、または、無線など、どのようなタイプのブロードバンド・ゲートウェイであってもよい。ゲートウェイは、LANインタフェース14と、ブロードバンド・インタフェース13と、通信モジュール17とを含み、通信モジュール17は、インタフェースを介して通信するためのプロトコル・スタックを含む。通信モジュールは、IPスタックと表記されるインターネット・プロトコル・スタックを含む。
ゲートウェイは、第1のメモリ16.1および第2のメモリ16.2を含む。第1のメモリ16.1は、プレイリスト・ファイルから抽出された情報を記憶するように構成されている。第2のメモリ16.2は、インタフェースから受信されるパケット、インタフェースに送信されるパケットをバッファリングするように構成されている。
さらに、ゲートウェイは、帯域幅マネージャ11と、ストリーム識別器モジュール15と、スケジューラ12と、分類器18とを含むトラフィック・シェーピング・モジュール19を含んでいる。トラフィック・シェーピング・モジュール19のこれらの構成については以下においてより詳細に説明する。
ゲートウェイは、様々なモジュールと接続する内部バス10を含む。さらに、ゲートウェイは、図示しないが、処理手段と、ルーティングおよびブリッジング手段と、一般的な住宅用ゲートウェイ機能を実行するための、当業者にとって公知な全ての手段と、を含む。
ゲートウェイは、さらに図4に例示されている。ストリーム識別器モジュール15は、ゲートウェイで受信されたストリームを分析するように構成されている。クライアント装置がサービス・リクエストを発する毎に、ストリーム識別器モジュール15は、このリクエストを識別し、サーバからクライアントに返送されるプレイリストを傍受する(intercept)ことによって、サービス情報を収集する。ストリーム識別器モジュール15は、各ローカル装置宛のプレイリスト・ファイルを傍受し、分析する。プレイリスト・ファイルを分析することによって、サーバからアナウンスされたビットレートなどの情報、さらに、関連するセグメント、URLを抽出することが可能となる。プレイリストを傍受するために、ストリーム識別器は、利用可能なストリーミング技術および関連するプロトコルを認識している。各プロトコルについて、ストリーム識別器は、プレイリストを伝送するパケットのタイプを把握している。特に、ストリーム識別器は、Apple社のHTTP Live Streaming、Microsoft社のSmooth Streaming、およびAdobe社のOpen Source Media Framework技術を認識している。もちろん、ストリーム識別器は、他のストリーム技術を認識するように構成されていてもよい。
さらに、ストリーム識別器は、ストリームがゲートウェイでもはや受信されなくなるときを識別する。例えば、或る期間ストリームが受信されない場合、ストリーム識別器は、セッションが終了していると判断し、クライアント装置に対する配信をキャンセルする。
ストリーム識別器15によって取得された情報は、帯域幅マネージャ11に送信される。
帯域幅マネージャは、サービスが承認されるかどうかを決定し、サービスに対し、目標ビットレートを割り当て、これと同時に、既に動作している他のサービスがあれば、その目標ビットレートを変更する。帯域幅マネージャは、ブロードバンド・インタフェース上で利用可能な最大帯域幅の値を把握するように構成されている。この値に依存して、帯域幅マネージャは、ストリーム間の帯域幅の分配を決定する。帯域幅マネージャは、第2のメモリを設定(configure)し、検出された各ストリームに対し、第2のメモリ内で特定のキューが作成され、目標送信ビットレートが各キューに設定されるようにする。換言すれば、プレイリストは、各ストリームに対し、HTTPストリーミングによって利用可能なビットレートを提供する。プレイリストにより、帯域幅マネージャが各ストリームに対して正確な目標ビットレートを判定できるようにする。各ストリームに対する目標ビットレートを決定した後、帯域幅マネージャは、スケジューラ12を設定する。
スケジューラ12は、ローカル・ネットワーク内のパケットの送信を管理するように構成されている。換言すれば、各ストリームには、独立したキューが割り当てられ、このキューには、丁度1つの正確な帯域幅が割り当てられる。パケットは、この目標ビットレートよりも速くは送信されない。同時に、帯域幅は、「保証」されている。すなわち、キューが送信するパケットを有し、目標ビットレートに達しない限り、そのパケットは、他のトラフィックに対して優先される。
ストリームのセッション間の帯域幅の割り当てに関する帯域幅マネージャの決定は、多くのパラメータおよびユーザまたはサービス・プロバイダの嗜好に依存する。これらは、帯域幅マネージャによって実施され、コンテンツ、ネットワーク、クライアント装置などの特性によって与えられる1組のアービトレーション・スキームにつながる(例えば、全てのセッションが自己のフォーマットに比例した帯域幅を取得する公平な配分)。帯域幅マネージャは、まず、利用可能な、複数の想定されるビットレートのステップを把握する機能と共に、httpアダプティブ・ストリームの本質的な融通性に依存する。
帯域幅の分配は、以下のように行われる。帯域幅の分配は、クライアント装置のタイプに基づく。例えば、テレビジョン・セットのためのストリームは、ポータブル・メディア・プレイヤのためのストリームよりも高い優先度を有する。代替的には、帯域幅の分配は、住宅用ネットワークにおけるクライアント装置の位置に基づくようにすることができる。居間に位置するクライアント装置は、寝室に位置するクライアント装置よりも高い優先度を有するであろう。この分配は、好ましくは、テレビジョン・セット、セットトップ・ボックスなどの据え置き型の装置にとって好ましいものである。帯域幅の分配は、装置のタイプおよび住宅用ネットワーク内の位置の組み合わせに基づくようにすることもできる。代替的には、分配は、複数の装置間で公平になるように設定される。
好ましくは、ゲートウェイは、ストリーム間での優先度を調節可能なユーザ・インタフェースを含む。ユーザ・インタフェース内に入力される項目は、例えば、装置のタイプ、装置の位置、および装置の優先度である。
クライアントに割り当てる帯域幅を計算する例示的な実施形態として、想定されるアルゴリズムを以下に挙げる。
BWを合計の利用可能な帯域幅であると仮定する。
各クライアントcに対し:
・配分[c]がクライアントcに与えたいと望む帯域幅のパーセンテージであると仮定する。配分[c]は、上述したように、管理ポリシー、ユーザの嗜好などによって決定される。
・目標[c]を、クライアントcが選択することを希望するコンテンツ・ビットレートを示すものと仮定する。
・目標[c]は、クライアントcのためのストリーミング・コンテンツの最も高い値で初期化され、以下のように計算される。
・パーセント[c]をクライアントによる帯域幅の使用量の一時的な算出値を示していると仮定する。
最終的な目標[]テーブルの計算は、以下のアルゴリズムに従って行われる。
SUM(目標[])>BWであり、
・最大の比(パーセント[c]/配分[c])のクライアントcを選択し、既に最も低いレートにあるクライアントを無視する。
・目標[c]: =cのための次に低いビットレート
・パーセント[c]:=目標[c]/BW
次に、「未使用」の帯域幅をクライアントに割り当てる。
未使用:=BW − SUM(目標[])
各クライアントcに対し:
・目標[c]:目標[c] + (未使用配分[c])
従って、各クライアントの有する自己のトラフィック・シェーピングによって形成されたトラフィックは、使用したいと望むコンテンツ・ビットレートよりも大きな値になる。これは、クライアントが所望のコンテンツ・ビットレートのリクエストを成功裏に継続するための条件である。その理由は、一般的に、HTTPアダプティブ・クライアントが自己の有する帯域幅の100%の使用に成功することはないためである。
分類器18は、ゲートウェイで受信されたストリームを識別し、ストリームを第2のメモリにおける適切なキューにルーティングするように構成されている。複数の装置のうちの1つのために受信されたいずれのパケットも、分類器モジュールによって、オーディオ・ビデオ・ストリームのうちの1つ、または、何らかの他のトラフィックに属するものとしてチェックされ、識別される。この分類に基づいて、LANへの送信のために、異なるキューにパケットが置かれる。各キューにおけるパケットは、選択されたシェーピング・プロフィールに従って、スケジューラによって配信される。これらのパケットは、目標ビットレートに合致するように転送される。
各クライアントに対して目標ビットレートが選択されるとすぐに、ゲートウェイは、トラフィック・シェーピングを適用し、クライアント装置によってネットワーク帯域幅が知覚されることにより、クライアント装置が所望のビットレートを採用するようにする。これにより、受信の際、より高いビットレートのリクエストを試行可能であると判断させるような帯域幅全体の使用による速度バーストが装置に発生することを防ぐことができる。同時に、各クライアントには、自己の帯域幅の配分の使用のための優先度が保証されている。これにより、クライアントにおいて、ビットレートのダウンピークが生じること、さらに、そのための補償が生じることが回避される。
次に、幾つかの例により、本実施形態の装置を用いてどのようにトラフィック・シェーピングが行われるかについて示す。
第1の例では、クライアント装置のためのストリームは、1mbps、2mbps、および3mbpsが利用可能である。利用可能な帯域幅は、平均で、2.5mbpsである。そこで、ゲートウェイは、2mbpsを選択する。その後、クライアント装置は、最大2mbpsでストリーミング・コンテンツを受信し、3mbpsでコンテンツのリクエストを行わない。これにより、クライアント装置が2mbpsを超える帯域幅を使用することが無くなる。
第2の例では、第1のクライアント装置のための第1のストリームは、1mbps、2mbps、および3mbpsが利用可能であり、第2のクライアント装置のための第2のストリームは、2mbps、3mbps、および5mbpsが利用可能である。利用可能な帯域幅は、5.5mbpsである。優先度は、第1のクライアント装置に置かれる。第1のクライアント装置は、最大3mbpsでストリーミング・コンテンツを受信し、第2のクライアント装置は、最大2mbpsでストリーミング・コンテンツを受信する。これにより、第2のクライアント装置が2mbpsを超える帯域幅を使用することが無くなる。その後、第1のクライアント装置が第1のストリームを受信することがなくなる。より大きな帯域幅の利用が可能であるため、第2のクライアント装置は、最大5mbpsでストリーミング・コンテンツを受信する。
別の例は、SDストリームおよびHDストリームがリクエストされる場合である。SDストリームおよびHDストリームには、各々の最大ビットレートに比例した帯域幅、例えば、SDストリームには、20%が割り当てられ、HDストリームには、80%が割り当てられる。
好ましくは、キューの目標ビットレートは、ストリームの目標ビットレートよりも数パーセント大きく設定され、クライアントが安定して自己の選択をストリームの目標変数値に設定できるようにする。
本実施形態においては、帯域幅マネージャは、ブロードバンド・インタフェース上で利用可能な最大帯域幅の値に基づいて、ストリーム間での帯域幅の分配を決定する。代替的には、ブロードバンド・インタフェース上で利用可能な最大帯域幅の代わりに、帯域幅マネージャは、ローカル・ネットワーク上で利用可能な最大帯域幅を考慮することができる。その場合、帯域幅マネージャは、ローカル・ネットワーク上で利用可能な最大帯域幅の値に基づいて、ストリーム間での帯域幅の分配を決定する。これは、ブロードバンド・ネットワークではなく、ローカル・ネットワークにボトルネックが存在する場合に発生する。
本実施形態では、トラフィック・シェーピングは、ゲートウェイで実行される。代替的には、トラフィック・シェーピングは、ローカル・ネットワークに位置し、ゲートウェイに接続されたルータにおいて実行される。
明細書、請求項の範囲、および図面において開示された参照内容は、独立して提供されることも、適切な組み合わせにより提供されることもある。機能は、適宜、ハードウエア、ソフトウエア、または、ハードウエアおよびソフトウエアを組み合わせた形態で実施することができる。
本明細書において、「一実施形態」または「実施形態」と参照している場合、実施形態に係る特定の機能、構造、または特性が本発明の少なくとも一実施態様に含まれることを意味する。明細書の様々な箇所に存在する「一実施形態においては」という記載は、必ずしも、全てが同一の実施形態について言及するものではなく、別個の実施形態または代替的な実施形態が他の実施形態に対して相互に排他的であるものではない。
請求項に存在する参照符号は例示的な目的のみのものであり、請求の範囲に限定的な影響を与えるものではない。

Claims (6)

  1. アダプティブ・ストリーミングのサーバを含む第1のネットワークに対する第1のインタフェースと、
    少なくとも1つのアダプティブ・ストリーミングのクライアント装置を含む第2のネットワークに対する第2のインタフェースと、
    前記少なくとも1つのアダプティブ・ストリーミングのクライアント装置によってリクエストされた少なくとも1つのストリーミング・コンテンツを検出するストリーム識別器であって、前記少なくとも1つのストリーミング・コンテンツは前記アダプティブ・ストリーミングのサーバで複数のデータ・レートで利用可能である、前記ストリーム識別器と、
    前記複数のデータ・レートからローカル・データ・レートを選択する帯域幅マネージャと、
    前記アダプティブ・ストリーミングのサーバから前記少なくとも1つのストリーミング・コンテンツを前記ローカル・データ・レートを超える第1のデータ・レートで受信すると、前記第2のインタフェースで、前記少なくとも1つのストリーミング・コンテンツを、前記ローカル・データ・レートを超え、前記第1のデータ・レートよりも低い第2のデータ・レートで前記少なくとも1つのクライアント装置に送信するスケジューラと、
    を含む装置。
  2. 前記第1のインタフェースは最大帯域幅受信率を有し、前記帯域幅マネージャは、前記少なくとも1つのストリーミング・コンテンツのために必要な前記帯域幅が前記最大帯域幅受信率よりも低くなるように、前記ローカル・データ・レートの選択を行うように構成されている、請求項1に記載の装置。
  3. 前記帯域幅マネージャは、前記少なくとも1つのストリーミング・コンテンツの前記少なくとも1つのクライアント装置への送信に優先度を付けるように構成されている、請求項1または2に記載の装置。
  4. 前記装置は住宅用ゲートウェイである、請求項1〜3のいずれか1項に記載の装置。
  5. アダプティブ・ストリーミングのサーバを含む第1のネットワークに対する第1のインタフェースと、少なくとも1つのアダプティブ・ストリーミングのクライアント装置を含む第2のネットワークに対する第2のインタフェースと、を含む装置によって実行される方法であって、
    前記少なくとも1つのアダプティブ・ストリーミングのクライアント装置によって前記アダプティブ・ストリーミングのサーバに対してリクエストされた少なくとも1つのストリーミング・コンテンツを検出するステップであって、前記少なくとも1つのストリーミング・コンテンツは前記アダプティブ・ストリーミングのサーバで複数のデータ・レートで利用可能である、前記検出するステップと、
    前記複数のデータ・レートからローカル・データ・レートを選択するステップと、
    前記アダプティブ・ストリーミングのサーバから前記少なくとも1つのストリーミング・コンテンツを前記ローカル・データ・レートを超える第1のデータ・レートで受信すると、前記第2のインタフェースで、前記少なくとも1つのストリーミング・コンテンツを、前記ローカル・データ・レートを超え、前記第1のデータ・レートよりも低い第2のデータ・レートで前記少なくとも1つのクライアント装置に送信するステップと、
    を含む前記方法。
  6. コンピュータ・プログラム製品であって、前記プログラムがコンピュータ上で実行される際に、請求項5に記載の方法の各ステップを実行するプログラム・コード・インストラクションを含むことを特徴とする、前記コンピュータ・プログラム製品。
JP2014531159A 2011-09-26 2012-08-30 帯域幅および対応する装置を制御する方法 Active JP6268090B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11306221A EP2573997A1 (en) 2011-09-26 2011-09-26 Method for controlling bandwidth and corresponding device
EP11306221.0 2011-09-26
PCT/EP2012/066801 WO2013045195A1 (en) 2011-09-26 2012-08-30 Method for controlling bandwidth and corresponding device

Publications (3)

Publication Number Publication Date
JP2014534489A true JP2014534489A (ja) 2014-12-18
JP2014534489A5 JP2014534489A5 (ja) 2015-09-24
JP6268090B2 JP6268090B2 (ja) 2018-01-24

Family

ID=46799223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014531159A Active JP6268090B2 (ja) 2011-09-26 2012-08-30 帯域幅および対応する装置を制御する方法

Country Status (14)

Country Link
US (1) US10333858B2 (ja)
EP (2) EP2573997A1 (ja)
JP (1) JP6268090B2 (ja)
KR (1) KR101922281B1 (ja)
CN (1) CN103828327B (ja)
AU (1) AU2012314756B2 (ja)
CA (1) CA2849952C (ja)
ES (1) ES2690021T3 (ja)
HK (1) HK1200994A1 (ja)
PL (1) PL2761842T3 (ja)
RU (1) RU2604416C2 (ja)
TW (1) TWI559754B (ja)
WO (1) WO2013045195A1 (ja)
ZA (1) ZA201401777B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10111635B2 (en) 2015-10-05 2018-10-30 Toshiba Medical Systems Corporation Image processing apparatus, image processing method, and storage medium
US10715569B2 (en) 2015-05-15 2020-07-14 Nec Corporation Delivery control device and delivery control method for content delivery according to ABR delivery method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2573997A1 (en) 2011-09-26 2013-03-27 Thomson Licensing Method for controlling bandwidth and corresponding device
US20150156243A1 (en) * 2012-11-06 2015-06-04 Telefonaktiebolagel LM Ericsson (publ) Controlling resource usage of adaptive streaming sessions for transmission via a radio access network
CA2908854A1 (en) * 2013-04-08 2014-10-16 Thomson Licensing Device and method for adapting a manifest sent by at least one server
EP2790371A1 (en) * 2013-04-08 2014-10-15 Thomson Licensing Device and method for adapting a manifest sent by at least one server.
EP2869523A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and device for reserving bandwidth for an adaptive streaming client
EP3063918B1 (en) * 2013-10-29 2020-07-15 InterDigital CE Patent Holdings Method and device for reserving bandwidth for an adaptive streaming client
WO2015069163A1 (en) * 2013-11-08 2015-05-14 Telefonaktiebolaget L M Ericsson (Publ) Handling of network characteristics
FR3019429A1 (fr) * 2014-03-31 2015-10-02 Orange Procede et dispositif de controle d'un telechargement de contenus multimedia
US9628405B2 (en) * 2014-04-07 2017-04-18 Ericsson Ab Merging multicast ABR and unicast ABR with progressive download ABR in a customer premises device within the same video delivery pipe
CN104219109B (zh) * 2014-09-10 2018-01-16 华为技术服务有限公司 确定业务速率的方法及设备
US20160283859A1 (en) * 2015-03-25 2016-09-29 Cisco Technology, Inc. Network traffic classification
CN106330845A (zh) * 2015-07-02 2017-01-11 中兴通讯股份有限公司 一种传输流媒体数据的方法和装置
FR3039729B1 (fr) * 2015-07-31 2018-07-13 Sagemcom Broadband Sas Procede de gestion de bande passante par un dispositif d'interconnexion de reseaux de communication
US9888052B2 (en) * 2015-09-21 2018-02-06 Imagine Communications Corp. ABR allocation for statistical multiplexing
CN105430533B (zh) * 2015-12-31 2018-09-11 武汉鸿瑞达信息技术有限公司 Hls视频点播加速方法及系统
GB2552943A (en) 2016-08-09 2018-02-21 V-Nova Ltd Adaptive video consumption
KR101867319B1 (ko) * 2017-02-21 2018-06-15 (주)온넷시스템즈코리아 스트리밍 서비스 제공 방법
RU203223U1 (ru) * 2020-09-22 2021-03-26 Анатолий Николаевич Мартьянов Устройство вычисления оптимального размера пакета по критерию минимума разности задержки и времени передачи сообщения
RU202244U1 (ru) * 2020-09-22 2021-02-09 Анатолий Николаевич Мартьянов Устройство вычисления оптимального размера пакета по критерию минимума общего времени передачи сообщения
RU205444U1 (ru) * 2021-04-09 2021-07-14 Анатолий Николаевич Мартьянов Устройство вычисления оптимального размера пакета по критерию минимума задержки воспроизведения цифровых сжатых изображений в условиях оптимального сглаживания без потерь

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246630A (ja) * 2008-03-31 2009-10-22 Mitsubishi Electric Corp ホームゲートウェイ装置およびホームゲートウェイ装置の通信品質制御方法
WO2011109101A1 (en) * 2010-03-05 2011-09-09 Thomson Licensing Bit rate adjustment in an adaptive streaming system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950024054U (ko) * 1994-01-28 1995-08-23 교환기 시스템의 하드디스크 모듈
US5608446A (en) * 1994-03-31 1997-03-04 Lucent Technologies Inc. Apparatus and method for combining high bandwidth and low bandwidth data transfer
US6044396A (en) 1995-12-14 2000-03-28 Time Warner Cable, A Division Of Time Warner Entertainment Company, L.P. Method and apparatus for utilizing the available bit rate in a constrained variable bit rate channel
JP3302980B1 (ja) * 1998-10-21 2002-07-15 パーカーヴィジョン インコーポレイテッド 電磁信号をダウン−コンバートする方法およびシステム
WO2002096021A2 (en) 2001-05-18 2002-11-28 Bytemobile, Inc. Quality of service management for multiple connections within a network communication system
US20030072376A1 (en) * 2001-10-12 2003-04-17 Koninklijke Philips Electronics N.V. Transmission of video using variable rate modulation
CA2488740A1 (en) * 2002-06-07 2003-12-18 Interdigital Technology Corporation System and method for a direct conversion multi-carrier processor
FI116498B (fi) * 2002-09-23 2005-11-30 Nokia Corp Kaistanleveyden mukauttaminen
CN1871800A (zh) * 2003-01-09 2006-11-29 汤姆森许可贸易公司 将mpeg传输流映射到ip分组上进行wlan广播的方法和设备
US7912457B2 (en) * 2004-04-21 2011-03-22 Qualcomm Incorporated Methods and apparatus for creation and transport of multimedia content flows
US7675926B2 (en) 2004-05-05 2010-03-09 Cisco Technology, Inc. Hierarchical QoS behavioral model
US7460476B1 (en) 2004-10-18 2008-12-02 Ubicom, Inc. Automatic adaptive network traffic prioritization and shaping
EP2044713B1 (en) 2006-07-25 2015-01-14 Telefonaktiebolaget LM Ericsson (publ) Method and device for stream adaptation
US20080072264A1 (en) * 2006-08-02 2008-03-20 Aaron Crayford Distribution of content on a network
KR100842544B1 (ko) * 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
US9313245B2 (en) * 2007-12-24 2016-04-12 Qualcomm Incorporated Adaptive streaming for on demand wireless services
US10264029B2 (en) * 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network
EP2383999A1 (en) * 2010-04-29 2011-11-02 Irdeto B.V. Controlling an adaptive streaming of digital content
US20120017282A1 (en) * 2010-07-19 2012-01-19 Samsung Electronics Co., Ltd. Method and apparatus for providing drm service
EP2573997A1 (en) 2011-09-26 2013-03-27 Thomson Licensing Method for controlling bandwidth and corresponding device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009246630A (ja) * 2008-03-31 2009-10-22 Mitsubishi Electric Corp ホームゲートウェイ装置およびホームゲートウェイ装置の通信品質制御方法
WO2011109101A1 (en) * 2010-03-05 2011-09-09 Thomson Licensing Bit rate adjustment in an adaptive streaming system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10715569B2 (en) 2015-05-15 2020-07-14 Nec Corporation Delivery control device and delivery control method for content delivery according to ABR delivery method
US10111635B2 (en) 2015-10-05 2018-10-30 Toshiba Medical Systems Corporation Image processing apparatus, image processing method, and storage medium

Also Published As

Publication number Publication date
US10333858B2 (en) 2019-06-25
CN103828327A (zh) 2014-05-28
AU2012314756A1 (en) 2014-04-10
EP2573997A1 (en) 2013-03-27
ES2690021T3 (es) 2018-11-16
HK1200994A1 (en) 2015-08-14
TW201325207A (zh) 2013-06-16
ZA201401777B (en) 2016-01-27
KR20140069256A (ko) 2014-06-09
RU2604416C2 (ru) 2016-12-10
CA2849952C (en) 2019-10-01
EP2761842B1 (en) 2018-08-01
PL2761842T3 (pl) 2019-07-31
EP2761842A1 (en) 2014-08-06
TWI559754B (zh) 2016-11-21
JP6268090B2 (ja) 2018-01-24
RU2014117037A (ru) 2015-11-10
KR101922281B1 (ko) 2018-11-26
WO2013045195A1 (en) 2013-04-04
CN103828327B (zh) 2017-10-13
CA2849952A1 (en) 2013-04-04
US20140250231A1 (en) 2014-09-04
AU2012314756B2 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
JP6268090B2 (ja) 帯域幅および対応する装置を制御する方法
KR101699656B1 (ko) 적응형 스트리밍 트래픽을 관리 및 조절하기 위한 장치, 시스템, 및 방법
EP2537340B1 (en) Multipath delivery for adaptive streaming
KR102355325B1 (ko) 적응형 스트리밍 클라이언트에 대해 대역폭을 예약하기 위한 방법 및 디바이스
US10003830B1 (en) Controller to manage streaming video of playback devices
US20140280764A1 (en) Bandwidth management for over-the-top adaptive streaming
GB2540442A (en) A method and system for facilitating broadcast transmission in a distributed content delivery network
Kleinrouweler et al. An sdn architecture for privacy-friendly network-assisted dash
US11973814B2 (en) Method and controller for audio and/or video content delivery
EP2869523A1 (en) Method and device for reserving bandwidth for an adaptive streaming client

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150806

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151021

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160603

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

R150 Certificate of patent or registration of utility model

Ref document number: 6268090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250