JP2011035687A - Partially specified video distribution request method, navigation video distribution request method, gazed area video reproduction method, video distribution system, and program - Google Patents
Partially specified video distribution request method, navigation video distribution request method, gazed area video reproduction method, video distribution system, and program Download PDFInfo
- Publication number
- JP2011035687A JP2011035687A JP2009180343A JP2009180343A JP2011035687A JP 2011035687 A JP2011035687 A JP 2011035687A JP 2009180343 A JP2009180343 A JP 2009180343A JP 2009180343 A JP2009180343 A JP 2009180343A JP 2011035687 A JP2011035687 A JP 2011035687A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video data
- encoded video
- reproduction
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、部分指定映像配信要求方法、ナビゲーション映像配信要求方法、注視領域映像再生方法、映像配信システムおよびプログラムに係わり、特に、再生端末から要求した部分指定した映像を配信するための技術に関する。 The present invention relates to a partial designated video distribution request method, a navigation video distribution request method, a gaze area video reproduction method, a video distribution system, and a program, and more particularly to a technique for distributing a partial designated video requested from a reproduction terminal.
一般的に、ストリーミング配信には標準化技術であるRTSP(Real Time Streaming Protocol)を使用しており、映像配信要求にはRTSPプロトコルのPLAYメソッドで行っている。しかし、PLAYメソッドは映像全体の配信要求であり、映像の部分配信には対応していない。
また、映像配信装置において、各カメラから受信した映像をフレーム単位で合成し、各ユーザ端末は、カメラの一つを指定するためのカメラ識別情報と、該カメラにより撮像された全周囲映像の一部分を指定するための範囲指定情報含む送信要求をネットワークを介して映像配信装置に送信し、映像配信装置は、カメラ識別情報で指定されたカメラから受信した映像から、範囲指定情報に基づいてその一部分を切り出して、送信要求元のユーザ端末に送信する方法が知られている。(下記、特許文献1参照)
Generally, RTSP (Real Time Streaming Protocol), which is a standardized technology, is used for streaming delivery, and a video delivery request is made using the PLAY method of the RTSP protocol. However, the PLAY method is a distribution request for the entire video, and does not support partial video distribution.
In addition, in the video distribution apparatus, the video received from each camera is synthesized in units of frames, and each user terminal is provided with camera identification information for designating one of the cameras and a part of the entire surrounding video captured by the camera. A transmission request including range designation information for designating a video is transmitted to the video distribution device via the network, and the video distribution device is configured to receive a part of the video based on the range designation information from the video received from the camera designated by the camera identification information. Is known, and is transmitted to the transmission requesting user terminal. (See
前述したように、従来の映像配信システムでは、再生端末から要求のあった部分指定した映像を配信することができなかった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、再生端末から要求のあった部分指定した映像を配信することが可能となる部分指定映像配信要求方法、ナビゲーション映像配信要求方法、注視領域映像再生方法、および映像配信システムを提供することにある。
また、本発明の他の目的は、本発明の部分指定映像配信要求方法、ナビゲーション映像配信要求方法、注視領域映像再生方法をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
As described above, in the conventional video distribution system, it is not possible to distribute the partially specified video requested by the playback terminal.
The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide partial designated video distribution capable of delivering a partially designated video requested from a playback terminal. A request method, a navigation video distribution request method, a gaze area video reproduction method, and a video distribution system are provided.
Another object of the present invention is to provide a program for causing a computer to execute the partial designation video distribution request method, navigation video distribution request method, and gaze area video reproduction method of the present invention.
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
(1)再生端末と、配信サーバとがネットワークを介して接続される映像配信システムにおける部分指定映像配信要求方法であって、前記配信サーバには、見たい領域を選択するためのナビゲーション符号化映像データと選択した領域を再生するためのメイン符号化映像データが1つの符号化映像データとして蓄積されており、前記再生端末が、ストリーム再生中のナビゲーション映像から視聴したい領域を選択し、この選択した領域に対応するメイン符号化映像データの配信要求と、ナビゲーション符号化映像データの配信要求とを、RTSPプロトコルの拡張PLAYメソッドで配信サーバへ要求するステップと、前記配信サーバが、拡張PLAYメソッドで要求された領域のメイン符号化映像データと、ナビゲーション符号化映像データを読み出し、読み出した要求された領域のメイン符号化映像データと、ナビゲーション符号化映像データを1つの符号化映像データにして再生端末へ配信するステップとを有することを特徴とする。
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
(1) A partial designated video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network, wherein the distribution server selects a navigation encoded video for selecting a region to be viewed. Data and main encoded video data for reproducing the selected area are stored as one encoded video data, and the playback terminal selects an area that the user wants to view from the navigation video during stream playback, and this selected Requesting a distribution server for a distribution request for main encoded video data corresponding to a region and a distribution request for navigation encoded video data to the distribution server using an extended PLAY method of the RTSP protocol; and the distribution server requests using an extended PLAY method. Main encoded video data of the recorded area and navigation encoded video data. Read, and the main coded video data in the area that is required to read, characterized in that a step of delivering navigation encoded video data to the playing terminal in the one encoded video data.
(2)再生端末と、配信サーバとがネットワークを介して接続される映像配信システムにおけるナビゲーション映像配信要求方法であって、前記再生端末の再生制御部が、前記再生端末の受信部からSETUPメソッド受け取り通知を受け取り、前記配信サーバに対する、ナビゲーション符号化映像データ情報が記載されている拡張PLAYメソッドの送信要求を前記再生端末の送信部へ送るステップと、前記再生端末の送信部が、前記再生制御部から受け取った拡張PLAYメソッドを前記ネットワークを介してRTSPプロトコルで、前記配信サーバへ送信するステップと、前記配信サーバの受信部が、前記ネットワークを介して前記再生端末から拡張PLAYメソッドを受け取り、当該受け取った拡張PLAYメソッドを前記配信サーバの要求内容解析部へ送るステップと、前記配信サーバの要求内容解析部が、前記受信部から拡張PLAYメソッドを受け取り、拡張PLAYメソッドから符号化映像データ配信要求と判断し、前記配信サーバの再生データ保存部へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送るステップと、前記配信サーバの再生データ保存部が、前記要求内容解析部から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、前記要求内容解析部から受け取った情報を元にナビゲーション符号化映像データを読み出し、ナビゲーション符号化映像データを前記配信サーバの送信部へ送るステップと、前記配信サーバの送信部が、前記再生データ保存部から受け取ったナビゲーション符号化映像データを前記ネットワークを介して前記再生端末へ送信するステップと、前記再生端末の受信部が、前記配信サーバから送信されたナビゲーション符号化映像データを前記ネットワークを介して受け取り、当該受け取ったナビゲーション符号化映像データを前記再生端末の復号部へ送るステップと、前記再生端末の復号部が、前記受信部から受け取ったナビゲーション符号化映像データの復号化を開始し、復号化したナビゲーション映像を前記再生端末の表示部へ送るステップと、前記再生端末の表示部が、前記復号部からナビゲーション映像を受け取り、ナビゲーション映像のストリーム再生を開始するステップとを有することを特徴とする。 (2) A navigation video distribution request method in a video distribution system in which a reproduction terminal and a distribution server are connected via a network, wherein the reproduction control unit of the reproduction terminal receives a SETUP method from the reception unit of the reproduction terminal Receiving the notification, sending a transmission request of the extended PLAY method in which navigation encoded video data information is described to the distribution server to the transmission unit of the reproduction terminal; and the transmission unit of the reproduction terminal includes the reproduction control unit Transmitting the extended PLAY method received from the network to the distribution server using the RTSP protocol via the network, and the receiving unit of the distribution server receiving the extended PLAY method from the playback terminal via the network The extended PLAY method to the distribution server The request content analysis unit of the distribution server receives the extended PLAY method from the reception unit, determines the encoded video data distribution request from the extended PLAY method, and reproduces the reproduction data of the distribution server A step of sending an encoded video data distribution request together with information described in the extended PLAY method to the storage unit; and a reproduction data storage unit of the distribution server sends an encoded video data distribution request and an extension from the request content analysis unit Receiving the information described in the PLAY method, reading out the navigation encoded video data based on the information received from the request content analysis unit, and sending the navigation encoded video data to the transmission unit of the distribution server; The navigation part received from the reproduction data storage part by the transmission part of the server. Transmitting the encoded video data to the playback terminal via the network, and the reception unit of the playback terminal receiving the navigation encoded video data transmitted from the distribution server via the network, and the received navigation Sending the encoded video data to the decoding unit of the playback terminal; and the decoding unit of the playback terminal starts decoding the navigation encoded video data received from the receiving unit, and reproducing the decoded navigation video Sending to the display unit of the terminal, and the display unit of the playback terminal receiving navigation video from the decoding unit and starting stream playback of the navigation video.
(3)再生端末と、配信サーバとがネットワークを介して接続される映像配信システムにおける部分指定映像配信要求方法であって、前記再生端末の表示部が、ストリーム再生中のナビゲーション映像から全体または部分的に見たい領域を選択した注視領域情報を前記再生端末の再生要求部に送るステップと、前記再生端末の再生要求部が、前記表示部から受け取った注視領域情報を前記再生端末の再生制御部へ送るステップと、前記再生端末の再生制御部が、前記再生要求部から注視領域情報を受け取り、注視領域情報を前記再生端末の復号部へ送るステップと、前記再生端末の再生制御部が、前記再生要求部から注視領域情報を受け取り、前記配信サーバに対する、注視領域情報が記載されている拡張PLAYメソッドの送信要求を前記再生端末の送信部へ送るステップと、前記再生端末の送信部が、前記再生制御部から受け取った拡張PLAYメソッドを前記ネットワークを介してRTSPプロトコルで、前記配信サーバへ送信するステップと、前記配信サーバの受信部が、前記ネットワークを介して前記再生端末から拡張PLAYメソッドを受け取り、当該受け取った拡張PLAYメソッドを前記配信サーバの要求内容解析部へ送るステップと、前記配信サーバの要求内容解析部が、前記受信部から拡張PLAYメソッドを受け取り、拡張PLAYメソッドから符号化映像データ配信要求と判断し、前記配信サーバの再生データ保存部へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送るステップと、前記配信サーバの再生データ保存部が、前記要求内容解析部から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、前記要求内容解析部から受け取った情報を元に指定された領域のメイン符号化映像データと、さらにナビゲーション符号化映像データを読み出し、さらに、1つの符号化映像データにして配信サーバ送信部へ送るステップと、前記配信サーバの送信部が、前記再生データ保存部から受け取った符号化映像データを前記ネットワークを介して前記再生端末へ送信するステップと、前記再生端末の受信部が、前記配信サーバから送信された符号化映像データを前記ネットワークを介して受け取り、当該受け取った符号化映像データを前記再生端末の復号部へ送るステップと、前記再生端末の復号部が、前記受信部から受け取った符号化映像データのナビゲーション符号化映像データと指定した領域のメイン符号化映像データの復号化を並列して開始し、復号化したナビゲーション映像と、復号化したメイン映像から注視領域情報「X,Y,高さ、幅」の範囲を切り出し、前記再生端末の表示部へ送るテップと、前記再生端末の表示部が、前記復号部からナビゲーション映像と切り出した注視領域映像とを受け取り、ナビゲーション映像、切り出した注視領域映像をストリーム再生するステップとを有することを特徴とする。 (3) A partial designation video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network, in which the display unit of the playback terminal starts from the navigation video that is being streamed or is partially or partially A step of sending gaze area information for selecting an area to be viewed to the reproduction request unit of the reproduction terminal, and a reproduction control unit of the reproduction terminal that receives the gaze area information received from the display unit by the reproduction request unit of the reproduction terminal A reproduction control unit of the reproduction terminal receives the gaze area information from the reproduction request unit, sends the gaze area information to the decoding unit of the reproduction terminal, and the reproduction control unit of the reproduction terminal Receives gaze area information from the reproduction request unit, and sends a transmission request for the extended PLAY method in which the gaze area information is described to the distribution server. Transmitting to the transmission unit of the live terminal, the transmission unit of the playback terminal transmitting the extended PLAY method received from the playback control unit to the distribution server using the RTSP protocol via the network, and the distribution server. The receiving unit receives an extended PLAY method from the playback terminal via the network, sends the received extended PLAY method to the request content analysis unit of the distribution server, and the request content analysis unit of the distribution server includes: Receives an extended PLAY method from the receiving unit, determines an encoded video data distribution request from the extended PLAY method, and distributes encoded video data together with information described in the extended PLAY method to the reproduction data storage unit of the distribution server Sending a request; and a reproduction data storage unit of the distribution server Receiving the encoded video data distribution request and the information described in the extended PLAY method from the request content analysis unit, and main encoded video data in a specified area based on the information received from the request content analysis unit; Further, the navigation encoded video data is read out, and further transmitted as one encoded video data to the distribution server transmission unit, and the transmission unit of the distribution server receives the encoded video data received from the reproduction data storage unit. Transmitting to the playback terminal via a network, and a receiving unit of the playback terminal receiving the encoded video data transmitted from the distribution server via the network, and reproducing the received encoded video data Sending to the decoding unit of the terminal, and the code received from the receiving unit by the decoding unit of the playback terminal The decoding of the navigation encoded video data of the encoded video data and the main encoded video data of the designated area is started in parallel, and the gaze area information “X, Y, Cut out the range of “height, width” and send it to the display unit of the playback terminal, and the display unit of the playback terminal receives the navigation video and the watched area video cut out from the decoding unit, and cut out the navigation video And a step of streaming the gaze area video.
(4)再生端末と、配信サーバとがネットワークを介して接続される映像配信システムにおける部分指定映像配信要求方法であって、RTSPプロトコルのPLAYメソッドを拡張し、拡張した“X−ViewID:”の{ビュー指定}に選択した領域のメイン符号化映像データ情報、ナビゲーション符号化映像データ情報、メイン符号化映像データ識別情報、ナビゲーション符号化映像データ識別情報を記載し、選択した領域のメイン符号化映像データとナビゲーション符号化映像データの配信要求を前記再生端末から前記ネットワークを介して前記配信サーバへ要求することを特徴とする。
(5)再生端末と、配信サーバとがネットワークを介して接続される映像配信システムにおけるナビゲーション映像配信要求方法であって、RTSPプロトコルのPLAYメソッドを拡張し、拡張した“X−ViewID:”の{ビュー指定}にナビゲーション符号化映像データ情報、メイン符号化映像データ識別情報、ナビゲーション符号化映像データ識別情報を記載し、ナビゲーション符号化映像データの配信要求を前記再生端末から前記ネットワークを介して前記配信サーバへ要求することを特徴とする。
(6)再生端末と、配信サーバとがネットワークを介して接続される映像配信システムにおける注視領域映像再生方法であって、前記再生端末が、前記配信サーバから受け取ったメイン符号化映像データを復号し、当該復号化したメイン映像から注視領域情報の「X,Y,高さ、幅」に対応する部分を切り出して、切り出した注視領域映像を再生することを特徴とする。
(7)また、本発明は、前述の部分指定映像配信要求方法、ナビゲーション映像配信要求方法、および注視領域映像再生方法を実行する映像配信システムである。
(8)また、本発明は、前述の部分指定映像配信要求方法における再生端末の処理、ナビゲーション映像配信要求方法における再生端末の処理、および注視領域映像再生方法をコンピュータに実行させるためのプログラム。
(4) A partially specified video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network, which extends the PLAY method of the RTSP protocol and expands the “X-ViewID:” The main encoded video data information, navigation encoded video data information, main encoded video data identification information, navigation encoded video data identification information of the selected region is described in {view designation}, and the main encoded video of the selected region is described. A distribution request for data and navigation encoded video data is requested from the reproduction terminal to the distribution server via the network.
(5) A navigation video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network, wherein the PLAY method of the RTSP protocol is expanded and the expanded “X-ViewID:” { Navigation encoded video data information, main encoded video data identification information, navigation encoded video data identification information is described in “view designation}, and a distribution request for navigation encoded video data is transmitted from the playback terminal via the network. It is characterized by requesting the server.
(6) A gaze area video playback method in a video distribution system in which a playback terminal and a distribution server are connected via a network, wherein the playback terminal decodes main encoded video data received from the distribution server A portion corresponding to “X, Y, height, width” of the gaze area information is cut out from the decoded main video, and the cut out gaze area video is reproduced.
(7) Further, the present invention is a video distribution system that executes the above-described partial designated video distribution request method, navigation video distribution request method, and gaze area video reproduction method.
(8) Further, the present invention is a program for causing a computer to execute the processing of the reproduction terminal in the above-described partial designation video distribution request method, the processing of the reproduction terminal in the navigation video distribution request method, and the gaze area video reproduction method.
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、再生端末から要求のあった部分指定した映像を配信することが可能となる。
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
According to the present invention, it is possible to deliver a partially designated video requested by a playback terminal.
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図1は、本発明の実施例の映像配信システムの概略構成を示すブロック図である。本実施例の映像配信システムは、配信サーバ10と、再生端末20と、配信サーバ10と再生端末20とを接続するネットワーク30とで構成される。配信サーバ10は、受信部11と、要求内容解析部12と、再生データ保存部13と、送信部14とで構成される。
配信サーバ10の受信部11は、ネットワーク30を介して、再生端末20から要求を受信し、受信した要求を要求内容解析部12に通知する。
要求内容解析部12は、配信サーバ10の受信部11から受信データを受け取り、要求内容を解析し、再生データ保存部13に何を読み出すかを通知する。または、配信サーバ10の送信部14に、再生端末20からのストリーム配信情報を受信した旨の返信を通知する。
再生データ保存部13は、要求内容解析部12から要求を受け取り、要求内容解析部12から受け取った要求を再生データ保存部13から読み出し、配信サーバ10の送信部14に送る。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
FIG. 1 is a block diagram showing a schematic configuration of a video distribution system according to an embodiment of the present invention. The video distribution system according to this embodiment includes a
The receiving unit 11 of the
The request content analysis unit 12 receives the received data from the reception unit 11 of the
The reproduction data storage unit 13 receives a request from the request content analysis unit 12, reads the request received from the request content analysis unit 12 from the reproduction data storage unit 13, and sends the request to the transmission unit 14 of the
再生データ保存部13には、少なくともSDP(Session Description Protocol)ファイル、再生に必要なファイル、符号化映像データが蓄積されている。なお、SDPファイルは、セッションの告知やセッションの招待などを必要とするマルチメディアセッションを開始するために、必要な情報を記述されたファイルである。
映像データには、映像全体から見たい領域を、全体または部分的に自由に選択するためのナビゲーション符号化映像データと、選択した領域を再生するためのメイン符号化映像データの2つがあり、これらは、1つの符号化映像データとして再生データ保存部13に蓄積されている。メイン符号化映像データは、ナビゲーション符号化映像データより高い解像度の映像データである。
再生データ保存部13は、ナビゲーション符号化映像データと配信要求された領域のメイン符号化映像データを読み出し、この2つの符号化映像データを1つにして、送信部14に送る。
配信サーバ10の送信部14は、再生データ保存部13から読み出したデータを受け取り、ネットワーク30を介して再生端末20へ配信する。
The reproduction data storage unit 13 stores at least an SDP (Session Description Protocol) file, files necessary for reproduction, and encoded video data. The SDP file is a file in which necessary information is described in order to start a multimedia session that requires session announcement, session invitation, and the like.
There are two types of video data: navigation encoded video data for freely selecting the whole or part of the area to be viewed from the entire video, and main encoded video data for reproducing the selected area. Are stored in the reproduction data storage unit 13 as one encoded video data. The main encoded video data is video data having a higher resolution than the navigation encoded video data.
The reproduction data storage unit 13 reads out the navigation encoded video data and the main encoded video data of the requested distribution area, and sends these two encoded video data to the transmission unit 14 as one.
The transmission unit 14 of the
再生端末20は、再生要求部21と、再生制御部22と、送信部23と、受信部24と、復号部25と、表示部26とで構成される。
ユーザが、再生要求部21から、コンテンツURLを入力すると、再生要求部21は、入力されたコンテンツURLを再生制御部22へ送る。コンテンツURLは、ネットワーク上に存在する符号化映像データの場所を指している。
また、再生要求部21は、表示部26から注視領域情報(ユーザが、ナビゲーション映像の中から全体または部分的に選択した領域の情報)を受け取り、再生制御部22へ送る。再生制御部22は、再生要求部21からの要求制御と、復号部25と、送信部23への要求制御を行う。
再生端末20の送信部23は、再生制御部22からの要求を受け取り、配信サーバ10へ要求を送信する。
再生端末20の受信部24は、配信サーバ10からデータを受信し、受信したデータが符号化映像データの場合は復号部25へ送り、それ以外は再生制御部22へ送る。
復号部25は、再生端末20の受信部24から符号化映像データを受け取り、受け取った符号化映像データのナビゲーション符号化映像データとメイン符号化映像データを並列して復号化し、復号化したナビゲーション映像と、復号化したメイン映像からX、Y、高さ、幅の範囲を切り出し表示部へ送る。
表示部26は、復号部25から復号化したナビゲーション映像、切り出した注視領域映像を受け取り、ストリーム再生を行う。
また、ユーザが、表示部26でストリーム再生中のナビゲーション映像から全体または部分的に見たい領域を選択すると、表示部26は、この選択した注視領域情報を再生要求部21へ送る。
The reproduction terminal 20 includes a reproduction request unit 21, a reproduction control unit 22, a transmission unit 23, a reception unit 24, a decoding unit 25, and a display unit 26.
When the user inputs a content URL from the playback request unit 21, the playback request unit 21 sends the input content URL to the playback control unit 22. The content URL indicates the location of the encoded video data existing on the network.
In addition, the reproduction request unit 21 receives gaze area information (information of an area selected in whole or in part from the navigation video by the user) from the display unit 26 and sends it to the reproduction control unit 22. The reproduction control unit 22 performs request control from the reproduction request unit 21, request control to the decoding unit 25, and the transmission unit 23.
The transmission unit 23 of the reproduction terminal 20 receives the request from the reproduction control unit 22 and transmits the request to the
The receiving unit 24 of the playback terminal 20 receives data from the
The decoding unit 25 receives the encoded video data from the receiving unit 24 of the playback terminal 20, decodes the navigation encoded video data of the received encoded video data and the main encoded video data in parallel, and decodes the decoded navigation video. Then, the range of X, Y, height, and width is cut out from the decoded main video and sent to the display unit.
The display unit 26 receives the decoded navigation video and the clipped gaze area video from the decoding unit 25, and performs stream playback.
Further, when the user selects an area to be viewed in whole or in part from the navigation video being stream-reproduced on the display unit 26, the display unit 26 sends the selected gaze area information to the reproduction request unit 21.
図2は、本発明の実施例の再生端末20の表示部26に表示される表示内容を説明する図である。
再生端末20の表示部26には、ナビゲーション映像26−1と、ユーザが、ナビゲーション映像の中から全体または部分的に選択した領域の映像である注視領域映像26−2とが表示される。
図3は、本発明の実施例の注視領域映像26−2を説明するための図である。
図3に示すように、ナビゲーション映像の解像度が200×400で、注視領域の、ナビゲーション映像26−1の左上からの距離(X,Y)、高さ、幅を、それぞれ280、80、60、130とした場合、メイン映像の解像度が2000×4000の場合には、注視領域の、メイン映像の左上からの距離(X,Y)、高さ、幅は2800、800、600、1300となる。メイン映像は、ナビゲーション映像より解像度が高い。
注視領域映像26−2の注視領域情報には、(1)と(2)の2つの情報がある。
FIG. 2 is a diagram for explaining display contents displayed on the display unit 26 of the playback terminal 20 according to the embodiment of the present invention.
On the display unit 26 of the playback terminal 20, a navigation video 26-1 and a gaze area video 26-2 that is a video of an area selected by the user in whole or in part from the navigation video are displayed.
FIG. 3 is a diagram for explaining a gaze area image 26-2 according to the embodiment of this invention.
As shown in FIG. 3, the resolution of the navigation video is 200 × 400, and the distance (X, Y), height, and width from the upper left of the navigation video 26-1 in the gaze area are 280, 80, 60, Assuming 130, when the resolution of the main video is 2000 × 4000, the distance (X, Y), height, and width of the gaze area from the upper left of the main video are 2800, 800, 600, and 1300. The main video has a higher resolution than the navigation video.
The gaze area information of the gaze area video 26-2 includes two pieces of information (1) and (2).
(1)指定した領域の映像を配信するために必要な情報
ナビゲーション映像は等分割され、番号が付与されている。分割数、番号は、メイン映像と対応している。なお、分割数は、図3に示す10である必要はない。また、分割した場所の識別は、番号である必要はない。
図3に示す例では、2,3,4,7,8,9が選択した領域であり、この番号に対応するメイン符号化映像データの配信要求とナビゲーション符号化映像データ全体の配信要求を拡張PLAYメソッドで行う。
RTSPプロトコルのPLAYメソッドに“X−ViewID:”{ビュー指定(カンマ区切り)}を拡張し、{ビュー指定}欄に、メイン符号化映像データID、ナビゲーション符号化映像データID、メイン符号化映像データ識別ID、ナビゲーション符号化映像データ識別IDを記載する。
図3に示す例では、“X−ViewID:”{2,3,4,7,8,9,1000,100,101}の様にカンマで区切って記載し、配信サーバ10へRTSPプロトコルで要求し、配信サーバ10からは、2,3,4,7,8,9の領域に対応するメイン符号化映像データとナビゲーション符号化映像データ全体(1000)を再生端末20に配信する。
なお、{ }内の2,3,4,7,8,9は選択した領域のメイン符号化映像データID、1000はナビゲーション符号化映像データID、100はメイン符号化映像データ識別ID、101はナビゲーション符号化映像データ識別IDである。ここで、ナビゲーション符号化映像データID、メイン符号化映像データ識別ID、ナビゲーション符号化映像データ識別IDは、1000、100、101である必要はなく、さらに、番号である必要もない。
(1) Information necessary for distributing the video of the designated area The navigation video is equally divided and numbered. The division number and number correspond to the main video. Note that the number of divisions need not be 10 shown in FIG. Further, the identification of the divided location does not have to be a number.
In the example shown in FIG. 3,
"X-ViewID:" {view designation (comma delimited)} is extended to the PLAY method of the RTSP protocol, and the main encoded video data ID, navigation encoded video data ID, and main encoded video data are displayed in the {view designation} field. The identification ID and the navigation encoded video data identification ID are described.
In the example shown in FIG. 3, “X-ViewID:” {2, 3, 4, 7, 8, 9, 1000, 100, 101} are described by separating them with commas, and requested to the
In addition, 2, 3, 4, 7, 8, and 9 in {} are main encoded video data IDs of the selected region, 1000 is navigation encoded video data ID, 100 is main encoded video data identification ID, and 101 is It is a navigation encoded video data identification ID. Here, the navigation encoded video data ID, the main encoded video data identification ID, and the navigation encoded video data identification ID do not need to be 1000, 100, and 101, and need not be numbers.
(2)指定した領域を表示部26に再生するために必要な情報
ナビゲーション映像26−1の左上からの距離(X,Y)、高さ、幅で示している範囲が注視領域である。図3に示す例では、再生端末20は、2,3,4,7,8,9部分のメイン符号化映像データを受信・復号化し、復号化したメイン映像から、メイン映像の左上からの距離(2800,800)、高さ(600)、幅(1300)の範囲を切り出してストリーム再生する。
本発明で採用される拡張PLAYメソッドを、表1に示す。
表1に示す拡張PLAYメソッドは、ストリーミング配信制御の標準化技術であるRTSPプロトコルの映像配信要求のPLAYメソッドを拡張し、選択した領域(2,3,4,7,8,9)のメイン符号化映像データとナビゲーション符号化映像データ全体(1000)を、再生端末20からネットワーク30を介して配信サーバ10へ要求するためのものである。
表1の拡張した“X−ViewID:”{ビュー指定}に{2,3,4,7,8,9,1000,100,101}の様にカンマで区切って記載する。
(2) Information Necessary to Play the Specified Area on the Display Unit 26 The range indicated by the distance (X, Y), height, and width from the upper left of the navigation video 26-1 is the gaze area. In the example shown in FIG. 3, the playback terminal 20 receives and decodes main encoded video data of 2, 3, 4, 7, 8, and 9 parts, and the distance from the decoded main video from the upper left of the main video A range of (2800, 800), height (600), and width (1300) is cut out and stream reproduced.
Table 1 shows the extended PLAY method employed in the present invention.
The extended PLAY method shown in Table 1 extends the PLAY method of the video distribution request of the RTSP protocol, which is a standard technique for streaming distribution control, and encodes the selected region (2, 3, 4, 7, 8, 9). This is to request the video data and the entire navigation encoded video data (1000) from the playback terminal 20 to the
The expanded “X-ViewID:” {view specification} in Table 1 is described by delimiting with a comma like {2, 3, 4, 7, 8, 9, 1000, 100, 101}.
図4−1〜図4−6は、本発明の実施例の映像配信システムにおける、部分指定映像配信要求方法を実施するための処理手順を示すフローチャートである。
ステップ401で、ユーザが、再生要求部21にコンテンツURLを入力すると、再生要求部21は、入力されたコンテンツURLを再生制御部22に送る。
ステップ402で、再生制御部22は、再生要求部21から入力されたコンテンツURLを受け取り、受け取ったコンテンツURLの再生に必要なファイルの配信要求を再生端末20の送信部23へ送る。再生に必要なファイルは、メイン符号化映像データID、ナビゲーション符号化映像データID、メイン符号化映像データ識別ID、ナビゲーション符号化映像データ識別IDの再生に必要な情報が記載されたテキストファイルである。
ステップ403で、再生端末20の送信部23は、再生に必要なファイル配信要求を受け取り、受け取った再生に必要なファイル配信要求をネットワーク30を介して配信サーバ10へ送信する。
FIGS. 4-1 to 4-6 are flowcharts illustrating a processing procedure for executing the partial designation video distribution request method in the video distribution system according to the embodiment of the present invention.
In
In
In
ステップ404で、配信サーバ10の受信部11はネットワーク30を介して再生端末20からの要求を受信し、要求内容解析部12へ送る。
ステップ405で、要求内容解析部12は、配信サーバ10の受信部11から要求を受信し、受信した要求内容を解析し、コンテンツURLの再生に必要なファイル配信要求と判断し、要求内容解析部12は、再生データ保存部13にコンテンツURLの再生に必要なファイル配信要求を送る。
ステップ406で、再生データ保存部13は、要求内容解析部12から再生に必要なファイル配信要求を受け取り、要求されたコンテンツURLの再生に必要なファイルを読み出し、配信サーバ10の送信部14へ送信する。
ステップ407で、配信サーバ10の送信部14は、再生データ保存部13からコンテンツURLの再生に必要なファイルを受け取り、受け取ったファイルをネットワーク30を介して再生端末20へ送信する。
In
In
In
In
ステップ408で、再生端末20の受信部24は、ネットワーク30を介して配信サーバ10からコンテンツURLの再生に必要なファイルを受信し、再生制御部22へ送る。
ステップ409で、再生制御部22は、再生端末20の受信部24から再生に必要なファイルを受け取る。
ステップ410で、再生制御部22は、再生端末20の受信部24から再生に必要なファイルを受け取ると、RTSPプロトコルのDESCRIBEメソッドでコンテンツURLのコンテンツ情報が記載されているSDPファイル配信要求を再生端末20の送信部23へ送る。
ステップ411で、再生端末20の送信部23は、再生制御部22からSDPファイル配信要求を受け取り、再生制御部22から受け取ったSDPファイル配信要求をRTSPプロトコルのDESCRIBEメソッドでネットワーク30を介して配信サーバ10へ送信する。
In
In
In
In step 411, the transmission unit 23 of the playback terminal 20 receives the SDP file delivery request from the playback control unit 22, and sends the SDP file delivery request received from the playback control unit 22 to the delivery server via the network 30 using the DESCRIBE method of the RTSP protocol. 10 to send.
ステップ412で、配信サーバ10の受信部11は、ネットワーク30を介して再生端末20から送信されたSDPファイル配信要求を受信し、受け取ったSDPファイル配信要求を要求内容解析部12へ送る。
ステップ413で、要求内容解析部12は、配信サーバ10の受信部11から要求内容を受け取り、要求内容解析部12は、SDPファイル配信要求と判断し、再生データ保存部13へSDPファイル配信要求を送る。
ステップ414で、再生データ保存部13は、配信サーバ10の要求内容解析部12からSDPファイル配信要求を受け取り、再生データ保存部13は、配信サーバ10の要求内容解析部12から受け取ったコンテンツURLに対応するSDPファイルを読み出し、読み出したSDPファイルを配信サーバ10の送信部14へ送る。
ステップ415で、配信サーバ10の送信部14は、再生データ保存部13からSDPファイルを受け取り、受け取ったSDPファイルをネットワーク30を介してRTSPプロトコルで再生端末20へ送信する。
In
In
In
In
ステップ416で、再生端末20の受信部24は、配信サーバ10の送信部14から送信されたSDPファイルをネットワーク30を介して受け取り、再生端末20の受信部24は、SDPファイルを再生制御部22へ送る。
ステップ417で、再生制御部22は、再生端末20の受信部24からSDPファイルを受け取ると、再生制御部22は、再生端末20が使用するプロトコル、ポート番号のストリーム配信情報が記載されているSETUPメソッドをRTSPプロトコルで再生端末20から配信サーバ10への送信要求を再生端末20の送信部23へ送る。
ステップ418で、再生端末20の送信部23は、再生制御部22からSETUPメソッドをRTSPプロトコルで配信サーバ10への送信要求を受け取り、再生端末20の送信部23はネットワーク30を介してSETUPメソッドをRTSPプロトコルで配信サーバ10へ送信する。
In
In
In step 418, the transmission unit 23 of the reproduction terminal 20 receives a transmission request for the SETUP method from the reproduction control unit 22 to the
ステップ419で、配信サーバ10の受信部11は、ネットワーク30を介して再生端末20から送信されたSETUPメソッドを受信し、配信サーバ10の受信部11は、受け取ったSETUPメソッドを要求内容解析部12へ送る。
ステップ420で、要求内容解析部12は、配信サーバ10の受信部11から要求内容を受け取り、要求内容解析部12は、SETUPメソッドと判断し、配信サーバ10の送信部14へSETUPメソッド受け取り通知を送る。
ステップ421で、配信サーバ10の送信部14は、要求内容解析部12からSETUPメソッド受け取り通知を受け取り、配信サーバ10の送信部14から、SETUPメソッド受け取り通知をネットワーク30を介してRTSPプロトコルで再生端末20へ送信する。
In
In
In
ステップ422で、再生端末20の受信部24は、ネットワーク30を介して配信サーバ10の送信部14から送信されたSETUPメソッド受け取り通知を受け取り、再生端末20の受信部24は、SETUPメソッド受け取り通知を再生制御部22へ送る。
ステップ423で、再生制御部22は、再生端末20の受信部24からSETUPメソッド受け取り通知を受け取ると、拡張PLAYメソッドの“X−ViewID:”{ビュー指定}に{1000,100,101}を記載し、この拡張PLAYメソッドを配信サーバ10へ送る要求を再生端末20の送信部23へ出す。この例は、ナビゲーション映像のみで再生開始される例であり、ここで、1000はナビゲーション符号化映像データID、100はメイン符号化映像データ識別ID、101はナビゲーション符号化映像データ識別IDである。なお、再生開始から注視領域映像とナビゲーション映像を指定する事も可能である。
ステップ424で、再生端末20の送信部23は、配信サーバ10へネットワーク30を介して拡張PLAYメソッドをRTSPプロトコルで送信する。
In
In
In
ステップ425で、配信サーバ10の受信部11は、ネットワーク30を介して再生端末20から拡張PLAYメソッドを受信し、配信サーバ10の受信部11は、受け取った拡張PLAYメソッドを要求内容解析部12へ送る。
ステップ426で、要求内容解析部12は、配信サーバ10の受信部11から拡張PLAYメソッドを受け取り、要求内容解析部12は、拡張PLAYメソッドから符号化映像データ配信要求と判断し、再生データ保存部13へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送る。
ステップ427で、再生データ保存部13は、要求内容解析部12から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、再生データ保存部13は、要求内容解析部12から受け取った情報を元にナビゲーション符号化映像データを読み出し、ナビゲーション符号化映像データを配信サーバ10の送信部14へ送る。
ステップ428で、配信サーバ10の送信部14は、再生データ保存部13から送られたナビゲーション符号化映像データを受け取り、受け取ったナビゲーション符号化映像データをネットワーク30を介して再生端末20へ送信する。
In
In
In
In
ステップ429で、再生端末20の受信部24は、配信サーバ10の送信部14から送信されたナビゲーション符号化映像データをネットワーク30を介して受け取り、再生端末20の受信部24は、復号部25へナビゲーション符号化映像データを送る。
ステップ430で、復号部25は、再生端末20の受信部24からナビゲーション符号化映像データを受け取り、受け取ったナビゲーション符号化映像データの復号化を開始し、復号化したナビゲーション映像を表示部26へ送る。
ステップ431で、再生端末20の表示部26は、再生端末20の復号部25からナビゲーション映像を受け取り、ストリーム再生を開始する。
ステップ432で、ユーザが、表示部26のストリーム再生中のナビゲーション映像から、全体または部分的に見たい領域を選択すると、表示部26は、この選択した注視領域情報の280,80,60,130を再生要求部21に送る。280,80,60,130は、注視領域の、ナビゲーション映像26−1の左上からの距離(X,Y)、高さ、幅を表す。
ステップ433で、再生要求部21は、表示部26から距離(X,Y)、高さ、幅の注視領域情報を受け取り、受け取った注視領域情報を再生制御部22へ送る。
ステップ434で、再生制御部22は、再生要求部21から距離(X,Y)、高さ、幅の注視領域情報を受け取り、再生制御部22は、受け取った距離(X,Y)、高さ、幅の注視領域情報とステップ409で受け取った再生に必要なファイルを参照し、メイン符号化映像データID、ナビゲーション符号化映像データID、メイン符号化映像データ識別ID、ナビゲーション符号化映像データ識別IDの対応付けを行い、拡張PLAYメソッドの“X−ViewID:”に{2,3,4,7,8,9,1000,100,101}を記載し、この拡張PLAYメソッドの配信サーバ10への送信要求を再生端末20の送信部23へ送る。また、再生制御部22は、距離(X,Y)、高さ、幅の注視領域情報の280,80,60,130を復号部25へ送る。
ステップ435で、再生端末20の送信部23は、配信サーバ10へネットワーク30を介して、RTSPプロトコルで選択した領域の配信要求である拡張PLAYメソッドを送信する。
In
In
In
In
In
In
In
ステップ436で、配信サーバ10の受信部11は、ネットワーク30を介して再生端末20から拡張PLAYメソッドを受信し、配信サーバ10の受信部11は、受け取った拡張PLAYメソッドを要求内容解析部12へ送る。
ステップ437で、要求内容解析部12は、配信サーバ10の受信部11から拡張PLAYメソッドを受け取り、要求内容解析部12は、拡張PLAYメソッドから符号化映像データ配信要求と判断し、再生データ保存部13へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送る。
ステップ438で、再生データ保存部13は、要求内容解析部12から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、再生データ保存部13は、要求内容解析部12から受け取った情報を元に指定された領域のメイン符号化映像データと、さらにナビゲーション符号化映像データを読み出し、1つの符号化映像データにして配信サーバ10の送信部14へ送る。
ステップ439で、配信サーバ10の送信部14は、再生データ保存部13から送られた符号化映像データを受け取り、受け取った符号化映像データをネットワーク30を介して再生端末20へ送信する。
In
In
In
In
ステップ440で、再生端末20の受信部24は、配信サーバ10の送信部14から送信された符号化映像データをネットワーク30を介して受け取り、復号部25へ符号化映像データを送る。
ステップ441で、復号部25は、再生端末20の受信部24から符号化映像データを受け取り、受け取った符号化映像データのナビゲーション符号化映像データと指定した領域のメイン符号化映像データの復号化を並列して開始し、復号化したナビゲーション映像と、復号化したメイン映像から、ステップ434で再生制御部22から受け取った注視領域情報280,80,60,130に対応する範囲を切り出し、表示部26へ送る。
ステップ442で、再生端末20の表示部26は、再生端末20の復号部25からナビゲーション映像、切り出した注視領域映像を受け取り、ストリーム再生を開始する。
In
In
In
ステップ443で、ユーザが、再生要求部21に再生停止を入力すると、再生要求部21は、入力された再生停止を再生制御部22に送る。
ステップ444で、再生制御部22は、再生要求部21から再生停止を受け取ると、復号部25へ再生停止を送る。また、再生端末20の送信部23に配信サーバ10へ符号化映像データ配信停止の送信要求を送る。
ステップ445で、復号部25は、再生停止を受け取ると復号化を停止し、さらに、復号部25は表示部26に再生停止を送る。
ステップ446で、表示部26は、復号部25から再生停止を受け取るとストリーム再生を停止する。
ステップ447で、再生端末20の送信部23は、配信サーバ10へ符号化映像データ配信停止を送信する。
ステップ448で、再生端末20は、符号化映像データ受信と再生を停止する。
In
In
In
In
In
In
上説明したように、本実施例では、ストリーミング配信制御の標準化技術であるRTSP(Real Time Streaming Protocol)プロトコルの配信(再生)要求のPLAYメソッドを拡張して指定した領域の映像配信が可能であるため、別のプロトコルを準備することなく指定した領域の映像配信が可能となる。
なお、前述の説明において、再生端末20は、コンピュータに実行させることも可能であり、その場合に、本発明の部分指定映像配信要求方法、ナビゲーション映像配信要求方法、注視領域映像再生方法は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、CD−ROM、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
As described above, in this embodiment, video distribution in a designated area can be performed by extending the PLAY method of a distribution (playback) request of RTSP (Real Time Streaming Protocol) protocol, which is a standard technology for streaming distribution control. Therefore, it is possible to distribute video in a designated area without preparing another protocol.
In the above description, the playback terminal 20 can also be executed by a computer. In this case, the partial designated video delivery request method, navigation video delivery request method, and gaze area video playback method of the present invention are the computer. The program is executed by a computer executing a program stored in an internal hard disk or the like. This program is supplied by downloading via a CD-ROM or a network.
As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.
10 配信サーバ
11,24 受信部
12 要求内容解析部
13 再生データ保存部
14,23 送信部
20 再生端末
21 再生要求部
22 再生制御部
25 復号部
26 表示部
26−1 ナビゲーション映像
26−2 注視領域映像
30 ネットワーク
DESCRIPTION OF
Claims (14)
前記配信サーバには、見たい領域を選択するためのナビゲーション符号化映像データと選択した領域を再生するためのメイン符号化映像データが1つの符号化映像データとして蓄積されており、
前記再生端末が、ストリーム再生中のナビゲーション映像から視聴したい領域を選択し、この選択した領域に対応するメイン符号化映像データの配信要求と、ナビゲーション符号化映像データの配信要求とを、RTSPプロトコルの拡張PLAYメソッドで配信サーバへ要求するステップと、
前記配信サーバが、拡張PLAYメソッドで要求された領域のメイン符号化映像データと、ナビゲーション符号化映像データを読み出し、読み出した要求された領域のメイン符号化映像データと、ナビゲーション符号化映像データを1つの符号化映像データにして再生端末へ配信するステップとを有することを特徴とする部分指定映像配信要求方法。 A partial designation video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network,
In the distribution server, navigation encoded video data for selecting a region to be viewed and main encoded video data for reproducing the selected region are stored as one encoded video data,
The playback terminal selects a region that the user wants to view from the navigation video that is being stream-played, and sends a distribution request for main encoded video data and a distribution request for navigation encoded video data corresponding to the selected region in the RTSP protocol. Requesting the delivery server with an extended PLAY method;
The distribution server reads the main encoded video data of the area requested by the extended PLAY method and the navigation encoded video data, and reads the read main encoded video data of the requested area and the navigation encoded video data by 1 And a method for requesting distribution of partial designation video, comprising the step of distributing the encoded video data to a playback terminal.
前記配信サーバは、受信部と、要求内容解析部と、再生データ保存部と、送信部とを有し、
前記再生端末は、受信部と、再生制御部と、送信部と、復号部と、表示部とを有し、
前記再生端末の再生制御部が、前記再生端末の受信部からSETUPメソッド受け取り通知を受け取り、前記配信サーバに対する、ナビゲーション符号化映像データ情報が記載されている拡張PLAYメソッドの送信要求を前記再生端末の送信部へ送るステップと、
前記再生端末の送信部が、前記再生制御部から受け取った拡張PLAYメソッドを前記ネットワークを介してRTSPプロトコルで、前記配信サーバへ送信するステップと、
前記配信サーバの受信部が、前記ネットワークを介して前記再生端末から拡張PLAYメソッドを受け取り、当該受け取った拡張PLAYメソッドを前記配信サーバの要求内容解析部へ送るステップと、
前記配信サーバの要求内容解析部が、前記受信部から拡張PLAYメソッドを受け取り、拡張PLAYメソッドから符号化映像データ配信要求と判断し、前記配信サーバの再生データ保存部へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送るステップと、
前記配信サーバの再生データ保存部が、前記要求内容解析部から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、前記要求内容解析部から受け取った情報を元にナビゲーション符号化映像データを読み出し、ナビゲーション符号化映像データを前記配信サーバの送信部へ送るステップと、
前記配信サーバの送信部が、前記再生データ保存部から受け取ったナビゲーション符号化映像データを前記ネットワークを介して前記再生端末へ送信するステップと、
前記再生端末の受信部が、前記配信サーバから送信されたナビゲーション符号化映像データを前記ネットワークを介して受け取り、当該受け取ったナビゲーション符号化映像データを前記再生端末の復号部へ送るステップと、
前記再生端末の復号部が、前記受信部から受け取ったナビゲーション符号化映像データの復号化を開始し、復号化したナビゲーション映像を前記再生端末の表示部へ送るステップと、
前記再生端末の表示部が、前記復号部からナビゲーション映像を受け取り、ナビゲーション映像のストリーム再生を開始するステップとを有することを特徴とするナビゲーション映像配信要求方法。 A navigation video delivery request method in a video delivery system in which a playback terminal and a delivery server are connected via a network,
The distribution server includes a reception unit, a request content analysis unit, a reproduction data storage unit, and a transmission unit,
The reproduction terminal includes a reception unit, a reproduction control unit, a transmission unit, a decoding unit, and a display unit,
The reproduction control unit of the reproduction terminal receives a SETUP method reception notification from the reception unit of the reproduction terminal, and sends a transmission request of the extended PLAY method in which navigation encoded video data information is described to the distribution server. Sending to the transmitter;
A step of transmitting the extended PLAY method received from the reproduction control unit to the distribution server by the RTSP protocol via the network;
A receiving unit of the distribution server receives an extended PLAY method from the playback terminal via the network, and sends the received extended PLAY method to the request content analysis unit of the distribution server;
The request content analysis unit of the distribution server receives the extended PLAY method from the reception unit, determines that the request is an encoded video data distribution request from the extended PLAY method, and is described in the extended PLAY method to the reproduction data storage unit of the distribution server. Sending an encoded video data delivery request together with the information being
The reproduction data storage unit of the distribution server receives the encoded video data distribution request and the information described in the extended PLAY method from the request content analysis unit, and performs navigation encoding based on the information received from the request content analysis unit. Reading video data and sending navigation encoded video data to the transmission unit of the distribution server;
A step of transmitting the navigation encoded video data received from the reproduction data storage unit to the reproduction terminal via the network by the transmission unit of the distribution server;
A receiving unit of the playback terminal receives the navigation encoded video data transmitted from the distribution server via the network, and sends the received navigation encoded video data to the decoding unit of the playback terminal;
The decoding unit of the playback terminal starts decoding the navigation encoded video data received from the receiving unit, and sends the decoded navigation video to the display unit of the playback terminal;
A navigation video distribution request method, comprising: a display unit of the playback terminal receiving a navigation video from the decoding unit and starting stream playback of the navigation video.
前記配信サーバは、受信部と、要求内容解析部と、再生データ保存部と、送信部とを有し、
前記再生端末は、再生要求部と、受信部と、再生制御部と、送信部と、復号部と、表示部とを有し、
前記再生端末の表示部が、ストリーム再生中のナビゲーション映像から全体または部分的に見たい領域を選択した注視領域情報を前記再生端末の再生要求部に送るステップと、
前記再生端末の再生要求部が、前記表示部から受け取った注視領域情報を前記再生端末の再生制御部へ送るステップと、
前記再生端末の再生制御部が、前記再生要求部から注視領域情報を受け取り、注視領域情報を前記再生端末の復号部へ送るステップと、
前記再生端末の再生制御部が、前記再生要求部から注視領域情報を受け取り、前記配信サーバに対する、注視領域情報が記載されている拡張PLAYメソッドの送信要求を前記再生端末の送信部へ送るステップと、
前記再生端末の送信部が、前記再生制御部から受け取った拡張PLAYメソッドを前記ネットワークを介してRTSPプロトコルで、前記配信サーバへ送信するステップと、
前記配信サーバの受信部が、前記ネットワークを介して前記再生端末から拡張PLAYメソッドを受け取り、当該受け取った拡張PLAYメソッドを前記配信サーバの要求内容解析部へ送るステップと、
前記配信サーバの要求内容解析部が、前記受信部から拡張PLAYメソッドを受け取り、拡張PLAYメソッドから符号化映像データ配信要求と判断し、前記配信サーバの再生データ保存部へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送るステップと、
前記配信サーバの再生データ保存部が、前記要求内容解析部から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、前記要求内容解析部から受け取った情報を元に指定された領域のメイン符号化映像データと、さらにナビゲーション符号化映像データを読み出し、さらに、1つの符号化映像データにして配信サーバ送信部へ送るステップと、
前記配信サーバの送信部が、前記再生データ保存部から受け取った符号化映像データを前記ネットワークを介して前記再生端末へ送信するステップと、
前記再生端末の受信部が、前記配信サーバから送信された符号化映像データを前記ネットワークを介して受け取り、当該受け取った符号化映像データを前記再生端末の復号部へ送るステップと、
前記再生端末の復号部が、前記受信部から受け取った符号化映像データのナビゲーション符号化映像データと指定した領域のメイン符号化映像データの復号化を並列して開始し、復号化したナビゲーション映像と、復号化したメイン映像から注視領域情報「X,Y,高さ、幅」の範囲を切り出し、前記再生端末の表示部へ送るテップと、
前記再生端末の表示部が、前記復号部からナビゲーション映像と切り出した注視領域映像とを受け取り、ナビゲーション映像、切り出した注視領域映像をストリーム再生するステップとを有することを特徴とする部分指定映像配信要求方法。 A partial designation video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network,
The distribution server includes a reception unit, a request content analysis unit, a reproduction data storage unit, and a transmission unit,
The reproduction terminal includes a reproduction request unit, a reception unit, a reproduction control unit, a transmission unit, a decoding unit, and a display unit.
The display unit of the playback terminal sends gaze area information that selects an area to be viewed in whole or in part from the navigation video during stream playback to the playback request unit of the playback terminal;
The reproduction request unit of the reproduction terminal sends the gaze area information received from the display unit to the reproduction control unit of the reproduction terminal;
The reproduction control unit of the reproduction terminal receives gaze area information from the reproduction request unit, and sends the gaze area information to the decoding unit of the reproduction terminal;
The reproduction control unit of the reproduction terminal receives gaze area information from the reproduction request unit, and sends a transmission request of the extended PLAY method in which the gaze area information is described to the distribution server to the transmission unit of the reproduction terminal; ,
A step of transmitting the extended PLAY method received from the reproduction control unit to the distribution server by the RTSP protocol via the network;
A receiving unit of the distribution server receives an extended PLAY method from the playback terminal via the network, and sends the received extended PLAY method to the request content analysis unit of the distribution server;
The request content analysis unit of the distribution server receives the extended PLAY method from the reception unit, determines that the request is an encoded video data distribution request from the extended PLAY method, and is described in the extended PLAY method to the reproduction data storage unit of the distribution server. Sending an encoded video data delivery request together with the information being
The reproduction data storage unit of the distribution server receives information described in the encoded video data distribution request and the extended PLAY method from the request content analysis unit, and is specified based on the information received from the request content analysis unit. Reading out the main encoded video data of the area and the navigation encoded video data, and further sending the encoded encoded video data to the distribution server transmitting unit;
A step of transmitting the encoded video data received from the reproduction data storage unit to the reproduction terminal via the network by a transmission unit of the distribution server;
Receiving the encoded video data transmitted from the distribution server via the network, and sending the received encoded video data to the decoding unit of the reproduction terminal;
The decoding unit of the playback terminal starts decoding the navigation encoded video data of the encoded video data received from the receiving unit and the main encoded video data of the designated area in parallel, Cutting out the range of gaze area information “X, Y, height, width” from the decoded main video and sending it to the display unit of the playback terminal;
The display unit of the playback terminal includes a step of receiving the navigation video and the clipped gaze area video from the decoding unit, and stream-playing the navigation video and the clipped gaze area video. Method.
RTSPプロトコルのPLAYメソッドを拡張し、拡張した“X−ViewID:”の{ビュー指定}に選択した領域のメイン符号化映像データ情報、ナビゲーション符号化映像データ情報、メイン符号化映像データ識別情報、ナビゲーション符号化映像データ識別情報を記載し、
選択した領域のメイン符号化映像データとナビゲーション符号化映像データの配信要求を前記再生端末から前記ネットワークを介して前記配信サーバへ要求することを特徴とする部分指定映像配信要求方法。 A partial designation video distribution request method in a video distribution system in which a playback terminal and a distribution server are connected via a network,
The PLAY method of the RTSP protocol is expanded, and the main encoded video data information, navigation encoded video data information, main encoded video data identification information, navigation of the area selected in {view designation} of the expanded “X-ViewID:”, navigation Describe encoded video data identification information,
A partial designated video distribution request method, wherein a distribution request for main encoded video data and navigation encoded video data in a selected area is requested from the reproduction terminal to the distribution server via the network.
RTSPプロトコルのPLAYメソッドを拡張し、拡張した“X−ViewID:”の{ビュー指定}にナビゲーション符号化映像データ情報、メイン符号化映像データ識別情報、ナビゲーション符号化映像データ識別情報を記載し、
ナビゲーション符号化映像データの配信要求を前記再生端末から前記ネットワークを介して前記配信サーバへ要求することを特徴とするナビゲーション映像配信要求方法。 A navigation video delivery request method in a video delivery system in which a playback terminal and a delivery server are connected via a network,
The PLAY method of the RTSP protocol is expanded, and navigation encoded video data information, main encoded video data identification information, navigation encoded video data identification information is described in {view designation} of the expanded “X-ViewID:”
A navigation video distribution request method, wherein a distribution request for navigation encoded video data is requested from the playback terminal to the distribution server via the network.
前記再生端末が、前記配信サーバから受け取ったメイン符号化映像データを復号し、当該復号化したメイン映像から注視領域情報の「X,Y,高さ、幅」に対応する部分を切り出して、切り出した注視領域映像を再生することを特徴とする注視領域映像再生方法。 A gaze area video playback method in a video distribution system in which a playback terminal and a distribution server are connected via a network,
The playback terminal decodes the main encoded video data received from the distribution server, cuts out a portion corresponding to “X, Y, height, width” of the gaze area information from the decoded main video A method of reproducing a gaze area image, comprising: reproducing a gaze area image.
前記配信サーバは、受信部と、要求内容解析部と、再生データ保存部と、送信部とを有し、
前記再生端末は、受信部と、再生制御部と、送信部と、復号部と、表示部とを有し、
前記配信サーバの受信部は、前記ネットワークを介して前記再生端末から拡張PLAYメソッドを受け取り、当該受け取った拡張PLAYメソッドを前記配信サーバの要求内容解析部へ送り、
前記配信サーバの要求内容解析部は、前記受信部から拡張PLAYメソッドを受け取り、拡張PLAYメソッドから符号化映像データ配信要求と判断し、前記配信サーバの再生データ保存部へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送り、
前記配信サーバの再生データ保存部は、前記要求内容解析部から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、前記要求内容解析部から受け取った情報を元にナビゲーション符号化映像データを読み出し、ナビゲーション符号化映像データを前記配信サーバの送信部へ送り、
前記配信サーバの送信部は、前記再生データ保存部から受け取ったナビゲーション符号化映像データを前記ネットワークを介して前記再生端末へ送信し、
前記再生端末の再生制御部は、前記再生端末の受信部からSETUPメソッド受け取り通知を受け取り、前記配信サーバに対する、ナビゲーション符号化映像データ情報が記載されている拡張PLAYメソッドの送信要求を前記再生端末の送信部へ送り、
前記再生端末の送信部は、前記再生制御部から受け取った拡張PLAYメソッドを前記ネットワークを介してRTSPプロトコルで、前記配信サーバへ送信し、
前記再生端末の受信部は、前記配信サーバから送信されたナビゲーション符号化映像データを前記ネットワークを介して受け取り、当該受け取ったナビゲーション符号化映像データを前記再生端末の復号部へ送り、
前記再生端末の復号部は、前記受信部から受け取ったナビゲーション符号化映像データの復号化を開始し、復号化したナビゲーション映像を前記再生端末の表示部へ送り、
前記再生端末の表示部は、前記復号部からナビゲーション映像を受け取り、ナビゲーション映像のストリーム再生を開始することを特徴とする映像配信システム。 A video distribution system in which a playback terminal and a distribution server are connected via a network,
The distribution server includes a reception unit, a request content analysis unit, a reproduction data storage unit, and a transmission unit,
The reproduction terminal includes a reception unit, a reproduction control unit, a transmission unit, a decoding unit, and a display unit,
The receiving unit of the distribution server receives the extended PLAY method from the playback terminal via the network, and sends the received extended PLAY method to the request content analyzing unit of the distribution server,
The request content analysis unit of the distribution server receives the extended PLAY method from the reception unit, determines that the request is an encoded video data distribution request from the extended PLAY method, and is described in the extended PLAY method to the reproduction data storage unit of the distribution server. Send the encoded video data distribution request together with the information
The reproduction data storage unit of the distribution server receives information described in the encoded video data distribution request and the extended PLAY method from the request content analysis unit, and performs navigation encoding based on the information received from the request content analysis unit. Read the video data, send the navigation encoded video data to the transmission unit of the distribution server,
The transmission unit of the distribution server transmits the navigation encoded video data received from the reproduction data storage unit to the reproduction terminal via the network,
The reproduction control unit of the reproduction terminal receives a SETUP method reception notification from the reception unit of the reproduction terminal, and sends a transmission request for the extended PLAY method in which navigation encoded video data information is described to the distribution server. Send it to the transmitter,
The transmission unit of the playback terminal transmits the extended PLAY method received from the playback control unit to the distribution server using the RTSP protocol via the network,
The receiving unit of the playback terminal receives the navigation encoded video data transmitted from the distribution server via the network, and sends the received navigation encoded video data to the decoding unit of the playback terminal.
The decoding unit of the playback terminal starts decoding the navigation encoded video data received from the receiving unit, and sends the decoded navigation video to the display unit of the playback terminal,
The display unit of the playback terminal receives a navigation video from the decoding unit and starts stream playback of the navigation video.
前記配信サーバは、受信部と、要求内容解析部と、再生データ保存部と、送信部とを有し、
前記再生端末は、再生要求部と、受信部と、再生制御部と、送信部と、復号部と、表示部とを有し、
前記配信サーバの受信部は、前記ネットワークを介して前記再生端末から拡張PLAYメソッドを受け取り、当該受け取った拡張PLAYメソッドを前記配信サーバの要求内容解析部へ送り、
前記配信サーバの要求内容解析部は、前記受信部から拡張PLAYメソッドを受け取り、拡張PLAYメソッドから符号化映像データ配信要求と判断し、前記配信サーバの再生データ保存部へ拡張PLAYメソッドに記載されている情報と一緒に符号化映像データ配信要求を送り、
前記配信サーバの再生データ保存部は、前記要求内容解析部から符号化映像データ配信要求と拡張PLAYメソッドに記載されている情報を受け取り、前記要求内容解析部から受け取った情報を元に指定された領域のメイン符号化映像データと、さらにナビゲーション符号化映像データを読み出し、さらに、1つの符号化映像データにして配信サーバ送信部へ送り、
前記配信サーバの送信部は、前記再生データ保存部から受け取った符号化映像データを前記ネットワークを介して前記再生端末へ送信し、
前記再生端末の再生要求部は、前記再生端末の表示部から受け取った注視領域情報を前記再生端末の再生制御部へ送り、
前記再生端末の再生制御部は、前記再生要求部から注視領域情報を受け取り、注視領域情報を前記再生端末の復号部へ送るとともに、前記配信サーバに対する、注視領域情報が記載されている拡張PLAYメソッドの送信要求を前記再生端末の送信部へ送り、
前記再生端末の送信部は、前記再生制御部から受け取った拡張PLAYメソッドを前記ネットワークを介してRTSPプロトコルで、前記配信サーバへ送信し、
前記再生端末の受信部は、前記配信サーバから送信された符号化映像データを前記ネットワークを介して受け取り、当該受け取った符号化映像データを前記再生端末の復号部へ送り、
前記再生端末の復号部は、前記受信部から受け取った符号化映像データのナビゲーション符号化映像データと指定した領域のメイン符号化映像データの復号化を並列して開始し、復号化したナビゲーション映像と、復号化したメイン映像から注視領域情報「X,Y,高さ、幅」の範囲を切り出し、前記再生端末の表示部へ送り、
前記再生端末の表示部は、前記復号部からナビゲーション映像と切り出した注視領域映像とを受け取り、ナビゲーション映像、切り出した注視領域映像をストリーム再生するとともに、ストリーム再生中のナビゲーション映像から全体または部分的に見たい領域を選択した注視領域情報を前記再生端末の再生要求部に送ることを特徴とする映像配信システム。 A video distribution system in which a playback terminal and a distribution server are connected via a network,
The distribution server includes a reception unit, a request content analysis unit, a reproduction data storage unit, and a transmission unit,
The reproduction terminal includes a reproduction request unit, a reception unit, a reproduction control unit, a transmission unit, a decoding unit, and a display unit.
The receiving unit of the distribution server receives the extended PLAY method from the playback terminal via the network, and sends the received extended PLAY method to the request content analyzing unit of the distribution server,
The request content analysis unit of the distribution server receives the extended PLAY method from the reception unit, determines that the request is an encoded video data distribution request from the extended PLAY method, and is described in the extended PLAY method to the reproduction data storage unit of the distribution server. Send the encoded video data distribution request together with the information
The reproduction data storage unit of the distribution server receives information described in the encoded video data distribution request and the extended PLAY method from the request content analysis unit, and is designated based on the information received from the request content analysis unit. Read out the main encoded video data of the area and the navigation encoded video data, and send it as one encoded video data to the distribution server transmission unit,
The transmission unit of the distribution server transmits the encoded video data received from the reproduction data storage unit to the reproduction terminal via the network,
The playback request unit of the playback terminal sends gaze area information received from the display unit of the playback terminal to the playback control unit of the playback terminal,
The playback control unit of the playback terminal receives gaze area information from the playback request unit, sends the gaze area information to the decoding unit of the playback terminal, and an extended PLAY method in which the gaze area information is described for the distribution server Is sent to the transmission unit of the playback terminal,
The transmission unit of the playback terminal transmits the extended PLAY method received from the playback control unit to the distribution server using the RTSP protocol via the network,
The receiving unit of the playback terminal receives the encoded video data transmitted from the distribution server via the network, and sends the received encoded video data to the decoding unit of the playback terminal.
The decoding unit of the playback terminal starts decoding the navigation encoded video data of the encoded video data received from the receiving unit and the main encoded video data of the designated area in parallel, Then, the range of the gaze area information “X, Y, height, width” is cut out from the decoded main video and sent to the display unit of the playback terminal,
The display unit of the playback terminal receives the navigation video and the clipped gaze area video from the decoding unit, and stream-plays the navigation video and the clipped gaze area video. A video distribution system, wherein gaze area information for selecting an area to be viewed is sent to a reproduction request unit of the reproduction terminal.
前記再生端末は、RTSPプロトコルのPLAYメソッドを拡張し、拡張した“X−ViewID:”の{ビュー指定}に選択した領域のメイン符号化映像データ情報、ナビゲーション符号化映像データ情報、メイン符号化映像データ識別情報、ナビゲーション符号化映像データ識別情報を記載し、選択した領域のメイン符号化映像データとナビゲーション符号化映像データの配信要求を、前記ネットワークを介して前記配信サーバへ要求することを特徴とする映像配信システム。 A video distribution system in which a playback terminal and a distribution server are connected via a network,
The playback terminal extends the PLAY method of the RTSP protocol, and main encoded video data information, navigation encoded video data information, main encoded video of the area selected in {view designation} of the extended “X-ViewID:” Data identification information, navigation encoded video data identification information is described, and a distribution request for main encoded video data and navigation encoded video data in a selected area is requested to the distribution server via the network. Video distribution system.
前記再生端末は、RTSPプロトコルのPLAYメソッドを拡張し、拡張した“X−ViewID:”の{ビュー指定}にナビゲーション符号化映像データ情報、メイン符号化映像データ識別情報、ナビゲーション符号化映像データ識別情報を記載し、ナビゲーション符号化映像データの配信要求を、前記ネットワークを介して前記配信サーバへ要求することを特徴とする映像配信システム。 A video distribution system in which a playback terminal and a distribution server are connected via a network,
The playback terminal extends the PLAY method of the RTSP protocol, and navigation encoded video data information, main encoded video data identification information, and navigation encoded video data identification information are added to {view designation} of the expanded “X-ViewID:”. And a distribution request for navigation-encoded video data is requested to the distribution server via the network.
前記再生端末は、前記配信サーバから受け取ったメイン符号化映像データを復号し、当該復号化したメイン映像から注視領域情報の「X,Y,高さ、幅」に対応する部分を切り出して、切り出した注視領域映像を再生することを特徴とする映像配信システム。 A video distribution system in which a playback terminal and a distribution server are connected via a network,
The playback terminal decodes the main encoded video data received from the distribution server, and cuts out a portion corresponding to “X, Y, height, width” of the gaze area information from the decoded main video A video distribution system for playing back a gaze area video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009180343A JP5266157B2 (en) | 2009-08-03 | 2009-08-03 | Partially designated video distribution request method, navigation video distribution request method, gaze area video reproduction method, video distribution system and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009180343A JP5266157B2 (en) | 2009-08-03 | 2009-08-03 | Partially designated video distribution request method, navigation video distribution request method, gaze area video reproduction method, video distribution system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011035687A true JP2011035687A (en) | 2011-02-17 |
JP5266157B2 JP5266157B2 (en) | 2013-08-21 |
Family
ID=43764314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009180343A Active JP5266157B2 (en) | 2009-08-03 | 2009-08-03 | Partially designated video distribution request method, navigation video distribution request method, gaze area video reproduction method, video distribution system and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5266157B2 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
-
2009
- 2009-08-03 JP JP2009180343A patent/JP5266157B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07288806A (en) * | 1994-04-20 | 1995-10-31 | Hitachi Ltd | Moving image communication system |
Also Published As
Publication number | Publication date |
---|---|
JP5266157B2 (en) | 2013-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6625684B2 (en) | Transmission method, reception method, transmission device, and reception device | |
CN102298947B (en) | A kind of for carrying out the method and apparatus playing switching between multimedia player | |
WO2015051755A1 (en) | Multimedia file playing method and system, cloud transcoding server device and storage medium | |
JP6624958B2 (en) | Communication device, communication system, communication control method, and computer program | |
US20070044128A1 (en) | Video compression system | |
KR20200068705A (en) | Method and apparatus for efficient delivery and use of audio messages for a high quality experience | |
WO2016002496A1 (en) | Information processing device and method | |
JP2001204001A (en) | Moving picture distribution system, reproduction terminal and distributor | |
CN109937448A (en) | For providing the system and method for audio content during special play-back plays back | |
CN107566854B (en) | Method and device for acquiring and sending media content | |
CN104348899A (en) | Client and server multimedia content sharing method and sharing system | |
TW201042457A (en) | Image supply apparatus, image supply system, image supply method, program, and recording medium | |
JP7287454B2 (en) | Information processing device, reproduction processing device, information processing method, and reproduction processing method | |
WO2016181901A1 (en) | Contents distribution system | |
CN103635938A (en) | Method in streaming client for handling video streaming data, streaming client, computer programs and computer program products | |
CN101459976B (en) | Method, equipment and system for stream media playing control | |
CN114223211A (en) | Information processing apparatus, information processing method, and computer program | |
JP5266157B2 (en) | Partially designated video distribution request method, navigation video distribution request method, gaze area video reproduction method, video distribution system and program | |
JP6597604B2 (en) | Reception device, transmission device, data communication method, and data processing method | |
JP2010192971A (en) | Selected-area encoded video data distributing method, encoded video data decoding method, distribution server, reproduction terminal, program, and recording medium | |
JP2011259114A (en) | Data distribution device | |
CN106162380A (en) | A kind of Online Video call method and system | |
JP5301481B2 (en) | Reproduction time continuous reproduction method, video distribution method, video reproduction method, video distribution system and program | |
JP6513054B2 (en) | Client device of content delivery system, method and program for acquiring content | |
CN104683882B (en) | A kind of generation of Streaming Media speed file and player method, device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111012 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5266157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |