JP2014506030A - 協調メディアシステム内の複数の端末装置を介したコンテンツの配信を管理する方法及び装置 - Google Patents

協調メディアシステム内の複数の端末装置を介したコンテンツの配信を管理する方法及び装置 Download PDF

Info

Publication number
JP2014506030A
JP2014506030A JP2013542323A JP2013542323A JP2014506030A JP 2014506030 A JP2014506030 A JP 2014506030A JP 2013542323 A JP2013542323 A JP 2013542323A JP 2013542323 A JP2013542323 A JP 2013542323A JP 2014506030 A JP2014506030 A JP 2014506030A
Authority
JP
Japan
Prior art keywords
media data
media
quality
predetermined value
channel path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013542323A
Other languages
English (en)
Other versions
JP5715262B2 (ja
Inventor
ジエンフォン チェン
ニン リアオ
シアオ ジュン マー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014506030A publication Critical patent/JP2014506030A/ja
Application granted granted Critical
Publication of JP5715262B2 publication Critical patent/JP5715262B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/12Shortest path evaluation
    • H04L45/123Evaluation of link metrics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44227Monitoring of local network, e.g. connection or bandwidth variations; Detecting new devices in the local network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W40/00Communication routing or communication path finding
    • H04W40/02Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

協調メディアシステムにおける複数の端末装置を介したコンテンツ配信を管理する方法及び装置が提供される。協調メディアシステムにおいて、第1のメディアデータが第1のチャネル経路を介して第1のメディア端末に送信され、第1のメディアデータに関連する第2のメディアデータは第2のチャネルを介して第2のメディア端末に送信される。方法は、第1のチャネル経路上の第1のメディアデータの品質及び第2のチャネル経路上の第2のメディアデータの品質を検出するステップ(S202)と、第1のメディアデータの品質が第1の所定値より低く且つ第2のメディアデータの品質が第2の所定値より大きいことを検出した時、第1のメディアデータを第1のチャネル経路を介して第1のメディア端末に送信する代わりに、第2のメディアデータを第2のチャネル経路を介して第1のメディア端末に送信するステップ(S204)と、を含む。

Description

本発明は、一般に協調メディアに関し、特に、協調メディアシステム内の複数の端末装置を介したコンテンツの配信を管理する方法及び装置に関する。
この節は、以下に記載及び/又は請求される本発明の様々な態様に関連し得る技術の様々な側面を読者に紹介することを意図していることに留意すべきである。この説明は、本発明の様々な態様のより良い理解を容易にする背景情報を読者に提供するのに有用であると考えられる。従って、これらの説明はこの観点で読まれるべきであり、従来技術を認めたものでないことを理解すべきである。
現在の接続されている家庭環境において、より多くの端末装置が、協調メディアプレゼンテーションのために共にグループ化されている。”協調メディア”によって、そのようなメディアセクションが、時間的シーケンス及び空間的シーケンス双方において同一コンテンツ又は密接な内部関係を有する複数のマルチメディアフロー(例えば、ビデオ、アニメーション、フラッシュ、音楽、写真等)から構成されていることを意味する。例えば、テレビ画面に表示されたファッションショーにおいて、エンドユーザによって選択された関心領域内のコンテンツは、彼/彼女の携帯電話の画面上に表示され、これら2つのスクリーンが当番組の全期間の間に同期される。上記の場合は、協調メディアプレゼンテーションと呼ばれることがある。別の例では、テレビの画面は、フットボール試合のマルチビュー表示のために複数の領域、全体の競技場のための1つの全景、及び異なる角度からのアスリートのための1つの近景、に分割される。この場合、視聴者はまた、テレビ画面で見える全景を維持しながら、画面の一部(スポーツスター等の近景)を近くの個人的タブレットに転送することができる。同じシナリオがF1グランプリのライブ放送で展開されることができ、視聴者は、ライブゲームショーを楽しみながら、同時に、ドライバーの視聴体験のためにヘルメットに装備された内部カメラで撮影されたビデオフローを選択することができる。
”物語本を使用する光景に基づくトリックモード”と題するリジュン等(Li Jun et al)の2010年3月31日に出願された国際出願PCT/CN2010/000413において、協調メディアプレゼンテーションにおける一方の端末と他方の端末の同期のためのメディア配信方法が記載されている。他に、”接続された家庭におけるビジュアルリズムに基づくマルチメディア配信”と題するチェンジャンフェン等(Chen Jian Feng et al)の2010年2月12日に出願された国際出願PCT/CN2010/000201において、同期要件を伴う協調コンテンツの送信速度は、ビデオコンテンツのビジュアルリズムに依存した遅延変動基準によって決定される。上記の2つの出願において、送信チャネルは信頼性ある送信経路であり、パケット損失はほとんど起こらないとみなされている。すなわち、パケット損失は考慮されていない。しかし、実際の接続された家庭環境において、異なる種類のアクセスネットワークが配置されていることがある。WiFi、WiMAX等の無線送信、又は、HSDPA(高速ダウンロードパケットアクセス)、WCDMA(登録商標)(広帯域符号分割多元接続)、LTE(ロングタームエボリューション)用のパケット切り換えネットワークによるデータインターフェースを伴うアクセスネットワークでは、無線送信チャネルのエラーが発生しやすい特性に起因するパケット損失は避けられない。
上記の技術的課題に鑑みて、協調メディアのためにパケット損失を考慮するいくつかの解決策が提案された。”ビデオコンテンツを管理するシステム及び方法”と題するヂーリ等(Zhi Li et al)の2007年2月14日に出願された米国特許出願US2008/0192119において、セットトップボックスで受信されたビデオコンテンツの品質を予測し、ヘッドエンドとセットトップボックスとの間の現在送信が性能要件を満足しているかどうか否か判断する方法が提案されている。予測方法は、ビデオ品質モデルと実証ビデオ性能試験データに依存し、閾値は、ネットワーク要素が性能要件を満たしていない場合に警告を提供するために定義されている。”複数のデータチャネルを転送するシステム及び方法”と題するチユークチャン等(Cheuk Chan et al)の2006年8月2日に出願された米国特許US7676591において、第1のトラックと第2のトラックの間での高速再生切り換えのための方法が提案されている。しかし、この特許において、切り換え動作は、送信ビデオの品質に依存する内部装置によって決定される代わりに、1つのメディアソースから他のメディアソースへのエンドユーザの移送動作によってトリガされる。他の、”無線パケットデータコンテンツの切り換えのためのシステム及び方法”と題するスリダラカマルハーサン等(Shridhar Krishnamurthy et al)の2001年4月19日に出願された米国特許US9839830において、コンテンツ切り換えシステムは、異なるプロトコル仕様の様々なネットワークを介してワイヤレス装置へデータが提供できるような目的をもって、無線パケットデータから1つまたは複数の所定のデータフィールドを抽出している。この特許では、上層のサービス関係のための要件が全くない。
本発明は、協調メディアシステムにおける複数の端末装置を介したコンテンツ配信を管理する方法及び装置を提供する。
本発明の一態様によれば、協調メディアシステムにおけるコンテンツ配信を管理する方法が提供される。協調メディアシステムにおいて、第1のメディアデータが第1のチャネル経路を介して第1のメディア端末に送信され、第1のメディアデータに関連する第2のメディアデータは第2のチャネルを介して第2のメディア端末に送信される。その方法は、第1のチャネル経路上の第1のメディアデータの品質及び第2のチャネル経路上の第2のメディアデータの品質を検出するステップと、第1のメディアデータの品質が第1の所定値より低いこと、及び第2のメディアデータの品質が第2の所定値より高いことを検出した時、第1のメディアデータを第1のチャネル経路を介して第1のメディア端末に送信する代わりに、第2のメディアデータを第2のチャネル経路を介して第1のメディア端末に送信するステップと、を含む。
本発明の他の態様によれば、協調メディアシステムにおけるゲートウェイが提供され、ゲートウェイは、第1のメディアデータを受信して第1のメディアデータを第1のチャネル経路を介して第1のメディア端末に送信し、及び第1のメディアデータに関連する第2のメディアデータを受信して第2のメディアデータを第2のチャネルを介して第2のメディア端末に送信する。ゲートウェイは、第1のチャネル経路上の第1のメディアデータの品質及び第2のチャネル経路上の第2のメディアデータの品質を検出して、第1のメディアデータの品質が第1の所定値より低いこと、及び第2のメディアデータの品質が第2の所定値より高いことを検出した時、第1のメディアデータを第1のチャネル経路を介して第1のメディア端末に送信する代わりに、第2のメディアデータを第2のチャネル経路を介して第1のメディア端末に送信する制御手段を含む。
本発明の更なる態様及び利点は、本発明の以下の詳細な説明において発見されることが理解されるべきである。
添付の図面は発明のさらなる理解を提供するために含まれ、本発明の原理を説明するのに役立つ説明と共に本発明の実施形態を示す。従って、本発明はその実施形態に限定されるものではない。
従来技術よる接続されたホームネットワークの構造を示す代表的な図である。 本発明の実施形態よる協調メディアシステムにおけるコンテンツ配信を管理する方法の作業の流れを示すフローチャートである。 本発明の実施形態よるレジデンシャルゲートウェイ構造を示す代表的ブロック図である。 本発明の実施形態よるレジデンシャルゲートウェイ構造を示す代表的ブロック図である。 図3に示すようにレジデンシャルゲートウェイのバッファ2からバッファ1への切り替えの一例を示す代表的な図である。 図3に示すレジデンシャルゲートウェイ300によって実行される図4に示すバッファ2からバッファ1へのメディアフロー切り替えを示すフローチャートである。
本発明の実施形態を図面と併せて詳細に説明する。以下の説明において、公知の機能及び構成のいくつかの詳細な説明を、明瞭性と簡潔性のために省略することができる。
図1は、接続されたホームネットワークの構成を示す代表的な図である。図1に示すように、セットトップボックス(STB)は、コンテンツ配信ネットワークの第1のチャネル経路(図中破線で示す)を介してサーバ1から送信されたライブTV番組の第1のデータフローを受信する。タブレットは、コンテンツ配信ネットワークの第2のチャネル経路(図中実線で示す)を介してサーバ2から送信されたテレビ放送番組の補助コンテンツの第2のデータフローを受信する。例えば、上記の補助コンテンツは、ライブのテレビ番組の別の角度からの2番目の景観とすることができる。第1のデータフロー及び第2のデータフローは、STBに接続されたTV及びタブレット上に”同期”してそれぞれ表示されるが、これは上記の協調メディアプレゼンテーションを構成する。この場合、第1のデータフロー及び第2のデータフローは、同じ協調メディアグループ内として定義されることができる。
図1に示すように、レジデンシャルゲートウェイは、コンテンツ配信のための集中制御機能を実現する第1及び第2のデータフローのプロキシとして作動することができる。サーバ1及びサーバ2から配信されたデータは、例えば、国又は地方のテレビ局等の同じコンテンツプロバイダによって生み出されることができる。データフローは、異なるソースから来ることもできる。第1及び第2のデータフローが同一の番組のために役割を果たしているか、又は時間的及び空間的シーケンスの両方で密接な内部関係を有し、すなわち同期されている限りは、例えば、テレビ画面に表示される第1のデータフローはケーブルから受信され得る一方で、タブレット上に表示される補助コンテンツの第2のデータフローは第三者のウェブサイトから取得され得る。第1及び第2のデータフローはそれぞれサーバ1及び2からSTB及びタブレットにストリーミングされることができる。しかし、本発明は、データストリーミングに限定されないことを理解すべきである。
図1に例示的に示すように、接続されたホーム環境における協調メディア配信のプロセスにおいて、第1及び第2のチャネル経路を介した第1及び第2のデータフローは様々なパケット損失の状態に晒され得ることが理解され得る。また、ストリーミングビデオコンテンツ送信に対して、パケット損失に起因した視聴体験の影響は、異なる圧縮ビデオパケットタイプにより多く変化するかもしれない。損失パケットを回復し、時々のパケット損失に起因する視聴体験への影響を低減するために、いくつかの誤り復元方法がアプリケーション層で配置され得るが、例えば、ビデオシーケンスに新しい光景を表している独立した復号化フレームが失われる時、満足のいく結果を提供することは依然と困難である。
簡単にするために、本出願では、レジデンシャルゲートウェイから端末装置へのデータフローの送信が完璧なものになっている。すなわち、レジデンシャルゲートウェイから端末装置へのデータ送信の品質劣化は存在しない。従って、チャネル経路のコンテンツ品質が言及されるとき、実際にはそれはサーバからレジデンシャルゲートウェイへの送信の品質に単に依存する。
同じ協調メディアグループに属している異なる送信チャネル経路のコンテンツの堅い関係を考慮すると、1つのチャネル経路において送信されるコンテンツは、別のチャネル経路のためのアクティブな補足又はバックアップコンテンツとみなすことができる。従って、1つのチャンネル経路のコンテンツ品質が、例えば、独立した復号フレームのパケット損失のために激しく劣化したときに、このチャネル経路から、より良い品質を伴う別のチャネル経路へのコンテンツ切り換えは、ビデオ視聴体験QOE(体感品質)を改善するために有用である。
上記の知見に基づいて、本発明の実施形態は、協調メディアシステムにおける複数のメディア端末上の協調メディアグループに属するコンテンツ配信を管理する方法を提供する。協調メディアシステムにおいて、同一の協調メディアグループに属している複数のメディアデータは、異なるチャネル経路を介して送信され、異なるメディア端末に表示される。簡単にするために、実施形態の方法は、協調メディアグループが2つのチャンネルの経路を介してそれぞれ2つの端子へ送信される2つのメディアコンテンツを含む図1に示す接続されたホームネットワークの文脈で説明される。しかし、この方法はこのような場合に限定されないことが理解され得る。
図2は、協調メディアシステムにおけるコンテンツ配信を管理する方法の作業の流れを示すフローチャートである。協調メディアシステムにおいて、第1のメディアデータは、第1のチャネル経路を介して第1のメディア端末へ送信され、第1のメディアデータに関連する(又は同期化された)第2のメディアデータは、第2のチャネルを介して第2のメディア端末へ送信される。
図2に示すように、まず、手順はステップS201で開始し、第1のチャネル経路上の第1のメディアデータの品質及び第2のチャネル経路上の第2のメディアデータの品質が検出される。
次に、ステップS202において、第1のメディアデータの品質が第1の所定値より低いかどうか、第2のメディアデータの品質が第2の所定値より高いかどうかを判定する。
ステップS202の結果が”いいえ”である場合、手順はステップ201へ戻り、第1及び第2のメディアデータの品質を検出し続ける。ステップS202の結果が”はい”である場合、ステップS203に進み、そこで第1のメディアデータに代えて第2のメディアデータが第1のメディア端末に送信される。
方法はまた、第1のメディアデータの品質が第3の所定値より改善され高くなったことを検出する時、メディア配信が第1のメディアデータを第1のメディア端末に送信するように切り換え復帰し得る追加ステップS204を含むことができる。
当業者は、上記第1、第2及び第3の所定値が、対応するメディアデータの品質を定義することを理解することができる。従って、通常は、第1の所定値が第2の所定値より低くあるべきであり、第3の所定値は第1の所定値よりも大きくあるべきである。
上記の方法によって、協調メディアシステムにおける1つのチャネル経路のメディア品質が受け入れられないレベルまで低下する時、このチャネル経路のメディア端末は、より良い品質を有する他のチャネル経路のメディアデータを表示するように切り替えることができる。これは、ビデオ視聴体験のQOEを改善するのに有用である。
図1に示す接続されたホームネットワークのために、上記の方法は、レジデンシャルゲートウェイによって好ましく実装される。次に、図3〜図5を参照して、接続されたホームネットワークにおける本発明の実施形態による方法を実施するための住宅用ゲートウェイを詳細に説明する。図3の住居用ゲートウェイにおいて、メディアデータフローの品質は、各サーバとその接続する端子の間のチャネル経路を介してそのパケット損失の状態を監視することによって検出される。
図3は、本発明の実施形態よるレジデンシャルゲートウェイ300の構成を示す代表的ブロック図である。レジデンシャルゲートウェイは、サーバ1からSTB内のメディアプレーヤへストリーミングしているデータフローのための、及びサーバ2からタブレット内のメディアプレーヤへストリーミングしているデータフローのためのメディアプロキシとして作動する。
図3(a)に示すように、レジデンシャルゲートウェイ300は、宛先ポート、サービスのタイプ等のプロトコルによって構成される異なるフィルタ設定に従って、例えば、ネットワークインターフェースカード(図示せず)からのサーバ1及び2のメディアデータフローストリーミング中でIPパケットをそれぞれキャプチャするパケットキャプチャユニット1及びパケットキャプチャユニット2を含んでいる。各キャプチャユニットは、後者のモジュール内で分析される着信データパケットを得るために使用される。所与のネットワークインタフェースから、キャプチャユニットは、アクティブなWebアプリケーションのすべての種類をカバーするので、フィルタは、特定のアプリケーションに必要とされている目標のパケットを選択するために割り当てられている。1つのアプリケーションのためのいくつかの通信プロトコルが存在し得る。例えば、VOD(ビデオオンデマンド)サービスのために、リアルタイム伝送プロトコル(RTP)及びユーザデータグラムプロトコル(UDP)は、インターネットプロトコル(IP)を介して実行される。本実施形態において、サーバのIPアドレスとポートは、電子メール、ウェブサーフィン等の他のサービスのパケットを区別するために、目標のビデオサービスの送信元のアドレス及びポートとして設定され得る。
レジデンシャルゲートウェイ300はまた、キャプチャされたIPパケットをパケットキャプチャユニット1及び2からそれぞれ受信し、受信したIPパケットを格納するバッファ1及びバッファ2を含む。
レジデンシャルゲートウェイ300は、バッファ1及び2に格納されたIPパケットのそれぞれの品質を検出し、所定値に対して低下した品質のデータフローを、より良い品質の他のデータフローに切り替えるかどうかを決定するための制御ユニット301を含む。
上述したように、メディアデータフローの品質は、データフロー内のパケット損失の状態の関数として検出される。すなわち、メディアデータフローの品質は、損失したパケットの優先順位及びメディアデータフローのパケット損失率に基づいて評価される。図3(b)に示すように、コントロールユニット301は、メディアデータフロー内のパケット損失を検出するパケット損失検出要素301aを含む。例えば、検出は、それぞれのバッファ内のパケットのシーケンス番号の連続性の分析に基づいて実行されることができる。連続したパケットにおいて一連番号に欠落がある場合、パケット損失検出要素301aはパケット損失が発生したと判断する。コントロールユニット301はまた、パケット損失検出要素301aからのパケット損失があるとのメッセージの受信時に、損失したパケットのタイプ及び優先順位を予測する予測要素301bを含む。この予測のために、1つの方法は、欠けているフレーム又はスライスの何がビデオシーケンス内であるか確認するために既存のビデオパケットを復号することであり、ただし、ゲートウェイ側で復号作業の負担とリソース消費を必要とする。
他の方法は、損失したパケットの重要性を確認するために、パケットの優先順位等、バッファに格納されたパケット内の特定のフィールドを解析することである。”H.264ビデオ用のRTPペイロードフォーマット”と称されるRFC3984には、RTPペイロードの始めに定義されたNAL(ネットワーク抽象化層)ユニットオクテットがあり、NALのための2ビットが存在する。連続したRTPパケットのうちペイロードのコンテンツタイプが同じである限り、値00と非ゼロ値の意味は、H.264規格から変わらないままである。00の値は、NALユニットのコンテンツが参照ピクチャを再構成するために使用されていないことを示す一方で、11の値は、ビデオパケットがシーケンスパラメータセットやピクチャパラメータセット等の重要な情報を含み得る、又は、ビデオパケットが他のビデオパケットの基準である瞬時復号更新(IDR)ユニットであることを示す。
Figure 2014506030
MPEG1/MPEG2ビデオ用のRTPペイロードフォーマットのためのRFC2250において、以下に示すように、RTP固定ヘッダの後に各RTPパケットに付加されたMPEGビデオ固有のヘッダがある。
Figure 2014506030
ヘッダにおいて、Pフィールドはピクチャタイプ(3ビット)、すなわち、I(1)、P(2)、B(3)、D(4)に対するものである。この値は、所与のピクチャの各RTPパケットに対して一定である。Iフレームは、最も高い優先順位を有し、B/Dフレームは最も低い優先順位を有する。このRFC定義に基づいて、コントロールユニット301の予測要素301bは、RTPペイロード内の特定のフィールドを解析することによって、メディア品質のためのビデオパケットの優先順位を検出することができゲートウェイ側で復号化するビデオコンテンツのオーバーヘッドを減らすであろう。損失パケットの優先順位は、シーケンス番号に最も近い変動を伴う隣接するパケットを含む既存の受信されたパケットの観察によって単に予測され得る。従って、これらの隣接するパケット内の対応する優先順位の値は、損失したパケットの優先順位のタイプを予測するために十分な参照情報を提供する。損失したパケットの周りの最寄りの2つのパケット(前の1つ及び後の1つ)からの情報が使用される。前のパケットの優先更新履歴は、定期的なIDRユニット又は現れるIフレームのいくつかの追加の参照情報を提供することができ、これにより、マッチング処理が損失したパケットの可能なタイプを決定するためになされることが可能となる。
コントロールユニット301はまた、予測要素301bから入力されたパケット損失状態に基づく2つのメディアフローのメディアデータの品質を評価するための評価要素301cを含む。例えば、メディアフロー内にパケット損失があって損失したパケットが高い優先順位の独立した復号化ビデオパケットをカバーする場合、メディア品質は、パケット損失が無いメディアフローのメディア品質、又は低い優先順位のビデオフレーム内にパケット損失を有するメディアフローのメディア品質よりも低いと評価される。また、予測要素301bは、メディアデータフローのパケット損失率を予測することができる。パケット損失率が所定のレベルを超えている間にメディアフロー内で優先順位パケットが失われないが、その場合には、メディア品質もまた、優先順位パケット損失が無く且つ低いパケット損失率を有するメディアフローのそれよりも低いと評価される。評価結果は、本発明に記載されていないこの分野で公知の任意の適切な方法で表現又は示されることができる。
コントロールユニット301は、評価要素301cの評価結果に従って動作するフロー切り換え要素301dを含む。より具体的には、一方のメディアフローの品質が一定値よりも低くなり劣化していると評価されたと同時に他方のメディアフローの品質が一定値よりも高く良好のままであると評価された場合、フロー切り換え要素301dは、低い品質値のメディアフローをより質の高い品質値の他のメディアフローへ切り替える。図3に示すように、メディアフローは、ソケット送信によって対応するメディア端末へ送信される。
例えば、1つ又は複数の高い優先順位パケットがバッファ2のメディアフロー内で失われた場合、フロー切り換えプロセスは、バッファ1の他のメディアフロー内でパケット損失が無い又は低い優先順位のパケット損失が発生する限り、実行される。バッファ1のメディアフロー内に高い優先順位パケット損失もある場合、切り換えは実行されない。
好ましくは、フロー切り換え要素301dは、メディア端末のメディアプレーヤ内のメディアフローを表示する間にモザイクを防止するために、次の独立した復号フレームからメディアフローを切り替える。例えば、切り換えポイントをIフレーム又はIDRユニットにおいて選択することができる。図4は、図3に示すレジデンシャルゲートウェイのバッファ2からバッファ1への切り換えの一例を示す代表的な図である。図4に示すように、バッファ2におけるSN=15を有するパケットが失われている。以前の履歴の中で、IフレームはBフレームの後でPフレームの前に常に存在するので、コントロールユニット301は、シーケンス番号の比較に従ってこのパケット損失を検出して、損失パケットがフレーム優先順位シーケンスの順序に基づくIフレームをカバーすることを予測した。また、コントロールユニット301がバッファ1において生じるパケット損失が存在しないと判断した場合、バッファ2内のパケット(又はパケットのペイロード)は、バッファ1の次のIフレーム(この場合、SN=6のパケット)からバッファ1内の対応するコンテンツに置き換えられる。他の実施形態について、以下の表は、単一のパケット損失が発生した時の単に2つの優先順位レベル(ハイ/ロー)を有する、より一般的な予測判定結果を含む。既存の多くの優先順位レベルがあるか又は複数のパケット損失が発生した場合、他の確率予測方法が配置され得る。
Figure 2014506030
また、評価要素301cが低い品質値を伴う上記のメディアフローの品質が一定値より改善されて、高くなることを示す場合、フロー切り換え要素301dは初期メディアフローを対応するメディア端末へ送信するように切り換え復帰をなすことができる。この切り換え復帰プロセスをまた、モザイク問題の観点から、次の独立した復号フレームから実行できることを、当業者であれば理解することができる。
メディア品質評価のための他の方法を使用することも可能であることは、当業者であれば理解することができる。
また、上記のように、メディア品質に関して、レジデンシャルゲートウェイ300は、レジデンシャルゲートウェイ300とサーバ間のチャネル経路を考慮し、レジデンシャルゲートウェイ300から端末装置への送信が完全であると仮定する。レジデンシャルゲートウェイから端末装置へのチャネル経路が、本発明が使用される実用的なコンテキストに基づいて決定されることができるかどうかということは、当業者によって理解され得る。
図5は、図3に示すレジデンシャルゲートウェイ300によって実行される図4に示すバッファ2からバッファ1へのメディアフローの切り換えを示すフローチャートである。
図5に示すように、ステップS501において、各メディアフローに対して、パケットはネットワークインタフェースからキャプチャされ、各バッファすなわちバッファ1及び2にそれぞれ格納される。
ステップ502において、バッファ内のパケットの特定のフィールドは、パケットとその優先順位情報のシーケンス番号を取得するために解析される。
次に、ステップ503において、パケット損失が1つのバッファで、この場合、バッファ2で起こっているかどうかについて決定がなされる。
図5に示すように、ステップS502に続いて、ステップS504もあり、ここで、シーケンスの優先順位履歴が各バッファ内で更新される。
ステップS503の結果が”はい”の場合、次のステップS505において、損失したパケットの優先順位は、ステップS504で取得した優先順位履歴と既存のパケットの優先順位とを比較することにより予測される。
その後、次のステップS506において、損失したパケットが高い優先順位を有するかについて判定がなされる。
ステップS506の結果が”はい”の場合、次のステップS504において、ステップS507及びS508でも、パケット損失があるかどうか、及び、他のバッファすなわちバッファ1内の高い優先順位のパケット損失があるかどうかについて判定する。いずれかのステップS507又はS508のいずれかの結果が”いいえ”である場合、コンテンツはバッファ2から、次の独立フレームからのバッファ1へ切り替えられ、バッファ2の表示装置に送信される。
図5に示すように、ステップS506の結果が”いいえ”である場合、ステップS509において、バッファ2の統計的パケット損失率が所定の閾値を超えているかが判定される。ステップS509の結果が”はい”である場合も、手続きは、ステップS507及びS508に進む。一方、ステップS509の結果が”いいえ”である場合、コンテンツの切り換えが行われない。つまり、バッファ2のパケットはオリジナルとして送信される。
図5からも分かるように、ステップS506の結果が”いいえ”であり、且つ、バッファ2の統計的パケット損失率が許容される所定の値に戻るとステップS512の判定結果が示す場合、切り換え復帰は実行される。すなわち、バッファ2のパケットを再び送信される。
バッファ1及び2内のパケットへの動作が並行しては実行され得ることが理解される。従って、上記のステップは特定のシーケンスで記載されているが、それらのいくつかは、説明したように同時に又は逆のシーケンスで行なわれることができる。
本発明は、協調メディアグループが単に2つのチャンネルの経路を介して2つの端子へそれぞれ送信される2つのメディアコンテンツを含む場合のみについて、記載されている。本発明は、2つ以上のチャネル経路を介して送信される2つ以上のメディアコンテンツを伴う協調メディアグループに対しても適用される。
本発明は単に例として説明したが、詳細の変形例は本発明の範囲から逸脱することなくなされ得ることが理解される。説明、(必要に応じて)請求項及び図面に開示されている各特徴は、独立に又は何れか適切な組み合わせにより提供されてもよい。特徴は、適切な場合には、ハードウェアとソフトウェア、又は両者の組み合わせで実施することができる。

Claims (13)

  1. 第1のメディアデータが第1のチャネル経路を介して第1のメディア端末に送信され、及び前記第1のメディアデータに関連する第2のメディアデータが第2のチャネルを介して第2のメディア端末に送信される協調メディアシステムにおけるコンテンツ配信を管理する方法であって、
    前記第1のチャネル経路上の前記第1のメディアデータの品質及び前記第2のチャネル経路上の前記第2のメディアデータの品質を検出するステップと、
    前記第1のメディアデータの前記品質が第1の所定値より低い、及び前記第2のメディアデータの前記品質が第2の所定値より高いことを検出した時、前記第1のメディアデータを前記第1のチャネル経路を介して前記第1のメディア端末に送信する代わりに、前記第2のメディアデータを前記第2のチャネル経路を介して前記第1のメディア端末に送信するステップと、
    を含む、前記方法。
  2. 前記第1のメディアデータの前記品質が第3の所定値より改善され高くなったことを検出した時、前記第1のメディアデータを前記第1のチャネル経路を介して前記第1のメディア端末に送信する切り換え復帰ステップを更に含む、請求項1に記載の方法。
  3. 前記第1の所定値は前記第2の所定値より低い、請求項1に記載の方法。
  4. 前記第3の所定値は前記第1の所定値より大きい、請求項2に記載の方法。
  5. 前記第1のチャネル経路上の前記第1のメディアデータの前記品質及び前記第2のチャネル経路上の前記第2のメディアデータの前記品質は、損失したパケットの前記優先順位レベル及び各メディアデータのパケット損失率の関数として検出される、請求項1乃至4のいずれか1項に記載の方法。
  6. 損失したパケットが高い優先順位であることを検出した時、前記第1のメディアデータの前記品質は前記第1の所定値よりも低いものとして検出されることを更に含む、請求項5に記載の方法。
  7. 前記第1のメディアデータのパケット損失率が閾値を超えることを検出した時、前記第1のメディアデータの前記品質は前記第1の所定値よりも低いものとして検出されることを更に含む、請求項5に記載の方法。
  8. 前記切り換えステップ又は切り換え復帰ステップのためのポイントを選択して前記第1のメディア端末上のモザイク表示を防止するステップを更に含む、請求項1又は2に記載の方法。
  9. 第1のメディアデータを受信して前記第1のメディアデータを第1のチャネル経路を介して第1のメディア端末に送信し、及び前記第1のメディアデータに関連する第2のメディアデータを受信して前記第2のメディアデータを第2のチャネルを介して第2のメディア端末に送信する協調メディアシステムにおけるゲートウェイであって、
    前記第1のチャネル経路上の前記第1のメディアデータの品質及び前記第2のチャネル経路上の前記第2のメディアデータの品質を検出して、前記第1のメディアデータの前記品質が第1の所定値より低い、及び前記第2のメディアデータの前記品質が第2の所定値より大きいことを検出した時、前記第1のメディアデータを前記第1のチャネル経路を介して前記第1のメディア端末に送信する代わりに、前記第2のメディアデータを前記第2のチャネル経路を介して前記第1のメディア端末に送信する制御手段を含む、前記ゲートウェイ。
  10. 前記第1のメディアデータの前記品質が第3の所定値より改善され、高くなったことを検出した時、前記第1のメディアデータを第1のチャネル経路を介して第1のメディア端末に送信する切り換え復帰手段を更に含む、請求項9に記載のゲートウェイ。
  11. 前記第1の所定値は前記第2の所定値より低い、請求項9に記載の方法。
  12. 前記第3の所定値は前記第1の所定値より大きい、請求項10に記載の方法。
  13. 前記制御手段は、
    メディアデータにおけるパケット損失を検出するように構成されたパケット損失検出要素と、
    損失したパケットの前記優先順位レベル及び前記パケット損失検出要素によって検出された前記メディアデータのパケット損失率を予測するように構成された予測要素と、
    損失したパケットの前記優先順位レベル及び前記予測要素によって予測された前記メディアデータのパケット損失率に応じて、前記メディアデータの品質を評価するように構成された評価要素と、
    前記評価要素の前記評価結果に従って前記第1のメディアデータと前記第2のメディアデータとの間の切り換えを実行するスイッチ要素と、
    を含む、請求項9乃至12のいずれか1項に記載のゲートウェイ。
JP2013542323A 2010-12-07 2010-12-07 協調メディアシステム内の複数の端末装置を介したコンテンツの配信を管理する方法及び装置 Expired - Fee Related JP5715262B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/001979 WO2012075601A1 (en) 2010-12-07 2010-12-07 Method and apparatus for managing content distribution over multiple terminal devices in collaborative media system

Publications (2)

Publication Number Publication Date
JP2014506030A true JP2014506030A (ja) 2014-03-06
JP5715262B2 JP5715262B2 (ja) 2015-05-07

Family

ID=46206506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542323A Expired - Fee Related JP5715262B2 (ja) 2010-12-07 2010-12-07 協調メディアシステム内の複数の端末装置を介したコンテンツの配信を管理する方法及び装置

Country Status (6)

Country Link
US (1) US9344478B2 (ja)
EP (1) EP2649794B1 (ja)
JP (1) JP5715262B2 (ja)
KR (1) KR20130124348A (ja)
CN (1) CN103339930B (ja)
WO (1) WO2012075601A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159804B1 (en) * 2012-09-13 2021-10-26 Arris Enterprises Llc QoE feedback based intelligent video transport stream tuning
US9887914B2 (en) 2014-02-04 2018-02-06 Fastly, Inc. Communication path selection for content delivery
US9491504B1 (en) * 2014-04-02 2016-11-08 Cox Communications, Inc. Wireless set-top box pairing and quality of service user interface
US9900626B2 (en) * 2015-10-28 2018-02-20 Intel Corporation System and method for distributing multimedia events from a client
WO2019035949A1 (en) * 2017-08-16 2019-02-21 Atc Technologies, Llc TCP MULTIPLE PATH ON DOUBLE NETWORKS
CN109788337B (zh) * 2017-11-15 2021-03-09 浙江宇视科技有限公司 一种对所采集的视频数据进行发送处理的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003309530A (ja) * 2002-04-16 2003-10-31 Hitachi Ltd デジタル放送用コンテンツ配信局及びコンテンツ配信方法、並びに、デジタル放送用受信端末及びオーディオコンテンツの処理方法
JP2004040604A (ja) * 2002-07-05 2004-02-05 Nippon Hoso Kyokai <Nhk> 放送通信コンテンツ送出方法、放送通信コンテンツ送出装置、放送通信コンテンツ送出プログラムおよび放送通信コンテンツ受信方法、放送通信コンテンツ受信装置、放送通信コンテンツ受信プログラム
JP2005039625A (ja) * 2003-07-16 2005-02-10 Sony Corp コンテンツ提供方法
JP2006101561A (ja) * 1997-10-07 2006-04-13 Masanobu Kujirada 複数連携型表示システム
JP2009080593A (ja) * 2007-09-26 2009-04-16 Hitachi Ltd 携帯端末、情報処理装置、コンテンツ表示システム及びコンテンツ表示方法。

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020131447A1 (en) 2000-03-27 2002-09-19 Shridhar Krishnamurthy System and method for wireless packet data content switch
US20030101460A1 (en) 2001-11-29 2003-05-29 Meng-Hsien Liu Video-on-demand system and method to reduce network bandwidth used thereby
US7062712B2 (en) 2002-04-09 2006-06-13 Fuji Xerox Co., Ltd. Binding interactive multichannel digital document system
US20060161621A1 (en) 2005-01-15 2006-07-20 Outland Research, Llc System, method and computer program product for collaboration and synchronization of media content on a plurality of media players
CN1928901A (zh) * 2005-09-09 2007-03-14 上海强众信息科技有限公司 多路信息综合处理系统及其信息播放的统计方法
US7676591B2 (en) 2005-09-22 2010-03-09 Packet Video Corporation System and method for transferring multiple data channels
US8839325B2 (en) 2007-02-14 2014-09-16 At&T Intellectual Property I, L.P. System and method of managing video content quality
FR2923111A1 (fr) 2007-10-25 2009-05-01 Thomson Licensing Sas Procede de selection de service audio et/ou video recu.
JP2010074487A (ja) * 2008-09-18 2010-04-02 Panasonic Corp 映像受信システム、映像受信端末および双方向リモコン
US8289368B2 (en) * 2008-12-15 2012-10-16 Avaya Inc. Intelligent grouping and synchronized group switching for multimedia conferencing
US8838824B2 (en) * 2009-03-16 2014-09-16 Onmobile Global Limited Method and apparatus for delivery of adapted media
JP2011041229A (ja) * 2009-08-18 2011-02-24 Sony Corp 送信装置、受信装置、無線装置および送信装置における伝送モード制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101561A (ja) * 1997-10-07 2006-04-13 Masanobu Kujirada 複数連携型表示システム
JP2003309530A (ja) * 2002-04-16 2003-10-31 Hitachi Ltd デジタル放送用コンテンツ配信局及びコンテンツ配信方法、並びに、デジタル放送用受信端末及びオーディオコンテンツの処理方法
JP2004040604A (ja) * 2002-07-05 2004-02-05 Nippon Hoso Kyokai <Nhk> 放送通信コンテンツ送出方法、放送通信コンテンツ送出装置、放送通信コンテンツ送出プログラムおよび放送通信コンテンツ受信方法、放送通信コンテンツ受信装置、放送通信コンテンツ受信プログラム
JP2005039625A (ja) * 2003-07-16 2005-02-10 Sony Corp コンテンツ提供方法
JP2009080593A (ja) * 2007-09-26 2009-04-16 Hitachi Ltd 携帯端末、情報処理装置、コンテンツ表示システム及びコンテンツ表示方法。

Also Published As

Publication number Publication date
US9344478B2 (en) 2016-05-17
EP2649794A1 (en) 2013-10-16
CN103339930B (zh) 2016-11-02
EP2649794B1 (en) 2019-10-30
JP5715262B2 (ja) 2015-05-07
KR20130124348A (ko) 2013-11-13
CN103339930A (zh) 2013-10-02
US20130262554A1 (en) 2013-10-03
WO2012075601A1 (en) 2012-06-14
WO2012075601A8 (en) 2013-06-20
EP2649794A4 (en) 2017-07-19

Similar Documents

Publication Publication Date Title
JP5788101B2 (ja) メディアデータのネットワークストリーミング
US8539525B2 (en) Method and apparatus in a media player
US20210377330A1 (en) Low-latency video internet streaming for management and transmission of multiple data streams
US20120063462A1 (en) Method, apparatus and system for forwarding video data
US9565482B1 (en) Adaptive profile switching system and method for media streaming over IP networks
JP5715262B2 (ja) 協調メディアシステム内の複数の端末装置を介したコンテンツの配信を管理する方法及び装置
US11101917B2 (en) Optimizing delay-sensitive network-based communications with latency guidance
US10306275B2 (en) Method and apparatus for managing video transport
CN110324580B (zh) 一种基于视联网的监控视频播放方法及装置
Bing 3D and HD broadband video networking
US8565083B2 (en) Thinning of packet-switched video data
EP2404451A1 (en) Processing of multimedia data
US20220294555A1 (en) Optimizing delay-sensitive network-based communications with latency guidance
US11374998B1 (en) Adaptive bitrate streaming stall mitigation
US20180213271A1 (en) Location-based system and method for controlling content distribution to a set top box
Dhamodaran Optimization of Flexible Dual-TCP/UDP Streaming Protocol For HD Video Streaming over 802.11 Wireless Networks
Markman Reliable Broadcast Contribution over the Public Internet
Quinlan Efficient delivery of scalable media streaming over lossy networks
Keta An adaptive SVC-video streaming scheme for mobile WiMAX networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150312

R150 Certificate of patent or registration of utility model

Ref document number: 5715262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees