JP2007043323A - Server apparatus and control method - Google Patents
Server apparatus and control method Download PDFInfo
- Publication number
- JP2007043323A JP2007043323A JP2005223185A JP2005223185A JP2007043323A JP 2007043323 A JP2007043323 A JP 2007043323A JP 2005223185 A JP2005223185 A JP 2005223185A JP 2005223185 A JP2005223185 A JP 2005223185A JP 2007043323 A JP2007043323 A JP 2007043323A
- Authority
- JP
- Japan
- Prior art keywords
- reproduction
- playback
- input
- display
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、データを配信するサーバにおける、制御処理技術に関するものである。 The present invention relates to a control processing technique in a server that distributes data.
近年、ディジタル通信回線の高速化に伴い、リモート再生システムが普及してきている。リモート再生システムとは、AV(Audio Visual)用データをはじめとするストリーミングデータを、配信元のサーバより配信し、配信先の再生装置(ディスプレイ等)にてリモート再生するシステムをいう。 In recent years, remote playback systems have become widespread with the speeding up of digital communication lines. The remote reproduction system refers to a system in which streaming data including AV (Audio Visual) data is distributed from a distribution source server and is remotely reproduced by a distribution destination reproduction apparatus (display or the like).
当該リモート再生システムについては、これまで種々の技術が提案なされてきた。例えば、下記特許文献1には、再生装置にて再生された画像の視聴者が、当該再生装置側にて操作した際に、正確な画像コントロールができるよう、配信サーバが、現在の画像の配信位置を示すカウンタ値を、定期的に配信先に通知する構成について開示されている。 Various techniques have been proposed for the remote playback system. For example, in Patent Document 1 below, a distribution server distributes a current image so that a viewer of an image reproduced by a reproduction device can perform accurate image control when operated by the reproduction device. A configuration is disclosed in which a counter value indicating a position is periodically notified to a delivery destination.
また、下記特許文献2には、複数の再生装置(ディスプレイ、スピーカ等)で、関連ストリーミングデータのリモート再生を行うにあたり、再生装置間のクロックと位相の同期を取ることにより、再生データの整合性をとる技術について開示されている。
しかしながら、上記特許文献1、2を含むこれまでの多くの提案は、視聴者が行う操作を、配信先の再生装置での再生内容を基準に、再生装置側で行うことを前提としていた。このため、配信先の再生装置での再生内容を基準に、視聴者が配信元のサーバにて操作を行おうとした場合、正確なコントロールができないという問題があった。かかる問題について図1及び図2を用いて詳説する。 However, many of the proposals so far including the above-mentioned Patent Documents 1 and 2 are based on the premise that the operation performed by the viewer is performed on the playback device side based on the playback content of the playback device at the distribution destination. For this reason, there has been a problem that accurate control cannot be performed when the viewer tries to perform an operation on the server of the distribution source on the basis of the content reproduced by the reproduction apparatus of the distribution destination. This problem will be described in detail with reference to FIGS.
図1は、配信元サーバ(メディアサーバ)として機能するカムコーダ101より、通信路103を介して配信されるストリーミングデータを、配信先の再生装置(メディアレンダラ)として機能するディスプレイ102にてリモート再生する様子を示した図である。
In FIG. 1, streaming data distributed via a
同図に示すように、通信路103上のストリーミングデータの伝送フォーマットを、MPEG2−TS(MPEG2 Transport Stream)、カムコーダ101におけるストリーミングデータの記録フォーマットをDVフォーマットとする。
As shown in the figure, the transmission format of streaming data on the
この場合、カムコーダ101にて、記録媒体から読み出された情報104は、DVフォーマットからMPEG2−TSフォーマットへと変換される。そして、通信路103を介してディスプレイ102に配信され、MPEG2−TSフォーマットからAV用のデータに復号された後、実際に視聴できる状態で再生表示されることとなる(105)。
In this case, the
このため、変換、配信、復号に要した時間が、ディスプレイ102における表示遅延時間106(カムコーダ101よりストリーミングデータを配信し、ディスプレイ102にて表示するための時間)として存在することとなる。
For this reason, the time required for conversion, distribution, and decoding exists as a
図2は、カムコーダ101より配信され、ディスプレイ102にて再生された再生内容を視聴しながら、カムコーダ101に画像静止指示を入力した様子を示す図である。
FIG. 2 is a diagram illustrating a state in which an image still instruction is input to the
ディスプレイ102での対象画像の再生表示(202)を認識した視聴者が、カムコーダ101にて画像の静止操作(203)を行った際、該対象画像の入力(201)は、表示遅延時間(106)前に完了している。そして、静止操作(203)によって静止した画像が静止画像として配信、表示される(204)。このため、視聴者の静止操作(203)後、表示遅延時間(106)経過後に、所望の画像より表示遅延時間(106)分進んだ再生位置の静止画像(204)がディスプレイ102にて表示されることとなる。
When the viewer who has recognized the reproduction display (202) of the target image on the
このように、従来のリモート再生システムでは、再生装置側にて再生されたストリーミングデータを視聴しながら、サーバ側のインタフェースを介してストリーミングデータの制御操作(静止、早送り、巻き戻し等)を行おうとしてもできなかった。つまり、視聴者の意図した再生位置でリモート再生を行うことができなかった。 As described above, in the conventional remote reproduction system, the streaming data control operation (stationary, fast forward, rewind, etc.) is performed via the server side interface while viewing the streaming data reproduced on the reproduction apparatus side. I couldn't. That is, remote playback cannot be performed at the playback position intended by the viewer.
本発明は、上記課題に鑑みてなされたものであり、再生装置にて再生された再生内容を視聴しながら、サーバ側にて該再生内容の制御に関する操作を行うにあたり、操作者の意図する操作結果が得られるようにすることを目的とする。 The present invention has been made in view of the above-described problems, and is intended to be performed by an operator when performing operations related to control of playback content on the server side while viewing playback content played back by a playback device. The purpose is to obtain results.
上記の目的を達成するために本発明に係るサーバ装置は以下のような構成を備える。即ち、
再生装置と通信可能なサーバ装置であって、
前記再生装置において再生される再生結果を制御するための指示を入力する入力手段と、
前記サーバ装置よりデータを配信し、前記再生装置において再生するために必要な再生遅延時間を取得する取得手段と、
前記入力手段を介して所定の指示が入力された場合に、前記取得手段において取得された再生遅延時間に基づいて、前記配信データの配信位置を制御する制御手段とを備える。
In order to achieve the above object, a server apparatus according to the present invention has the following configuration. That is,
A server device capable of communicating with a playback device,
Input means for inputting an instruction for controlling a reproduction result reproduced in the reproduction device;
Obtaining means for distributing data from the server device and obtaining a reproduction delay time required for reproduction on the reproduction device;
Control means for controlling a delivery position of the delivery data based on a reproduction delay time acquired by the acquisition means when a predetermined instruction is input via the input means.
本発明によれば、再生装置にて再生された再生内容を視聴しながら、サーバ側にて該再生内容の制御に関する操作を行うにあたり、操作者の意図する操作結果が得られるようになる。 According to the present invention, an operation result intended by the operator can be obtained when an operation relating to the control of the reproduction content is performed on the server side while viewing the reproduction content reproduced by the reproduction device.
以下、必要に応じて添付図面を参照しながら本発明の各実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings as necessary.
[第1の実施形態]
本実施形態では、リモート再生システムの一例として、配信元のサーバ(メディアサーバ)として機能するカムコーダと、配信先の再生装置(メディアレンダラ)として機能するディスプレイとが、無線通信媒体で接続されているシステムを挙げる。そして、カムコーダからディスプレイに対して、AV(Audio、Visual)用のストリーミングデータを配信する場合について説明する。また、特に、操作者が、ディスプレイ上での再生内容を視認しながら、カムコーダ側で操作を行った場合の、カムコーダによる再生制御処理について説明する。
[First Embodiment]
In this embodiment, as an example of a remote playback system, a camcorder that functions as a distribution source server (media server) and a display that functions as a distribution destination playback device (media renderer) are connected by a wireless communication medium. List the system. A case where streaming data for AV (Audio, Visual) is distributed from the camcorder to the display will be described. In particular, a description will be given of a playback control process by the camcorder when the operator performs an operation on the camcorder side while visually recognizing the playback content on the display.
<カムコーダ(メディアサーバ)>
図3は、リモート再生システムを構成する、本発明の第1の実施形態にかかるカムコーダ300(メディアサーバ)のブロック構成を示す図である。
<Camcorder (media server)>
FIG. 3 is a diagram showing a block configuration of the camcorder 300 (media server) according to the first embodiment of the present invention, which constitutes the remote playback system.
同図において、301はAV用のストリーミングデータのエンコード、デコード、フォーマット変換を司るAV信号処理部である。302、303、304、305はAV用のストリーミングデータを入力するための入力部(撮像部、収音部)及び制御部(撮像制御部、収音制御部)である。
In the figure,
306、307は撮影及び再生時のAV用のストリーミングデータを表示・制御する表示部及び表示制御部である。308、309はAV用のストリーミングデータの記録/再生を司る記録媒体及び記録媒体制御部である。310、311はディスプレイ(メディアレンダラ)との接続を司る無線部及び通信制御部である。
312はディスプレイ(メディアレンダラ)の再生位置を管理するためのレンダラカウンタである。313はカムコーダ(メディアサーバ)の配信位置を管理するためのサーバカウンタ、314はカムコーダ300全体を制御するシステム制御部、315はユーザインタフェースを司る操作部である。
<サーバカウンタとレンダラカウンタとの関係>
図4は、カムコーダ300とディスプレイ400とを備えるリモート再生システムにおいて、カムコーダ300のサーバカウンタ313とレンダラカウンタ312との時間的な関連を模式的に示した図である。
<Relationship between server counter and renderer counter>
FIG. 4 is a diagram schematically showing a temporal relationship between the
同図に示すように、本実施形態にかかるカムコーダ300では、レンダラカウンタ312の値を、サーバカウンタ313と表示遅延時間とを用いて算出したうえで、レンダラカウンタ312を基準に配信状態を制御することを特徴としている。なお、上述のように、従来は、ディスプレイ102側にストリーミングデータの再生内容の制御に関する操作を行うための操作手段が具備されていた。このため、カムコーダ101よりAV用のストリーミングデータを配信するにあたり、サーバカウンタの値を基準に配信状態を制御していた。
As shown in the figure, in the
<カムコーダにおける処理の流れ(静止操作)>
次に、本実施形態にかかるカムコーダ300を備えるリモート再生システムにおいて、操作者がディスプレイ102側にて視聴した再生内容を判断基準に、カムコーダ101側にて静止操作を行った場合の処理の流れを図5及び図6を用いて説明する。
<Process flow in camcorder (stationary operation)>
Next, in the remote reproduction system including the
操作者が、ディスプレイ400上で静止対象とする画像(500)を視認し、カムコーダ300側の操作部315を介して再生画像の静止操作(501)を行うと、カムコーダ300では図6のフローチャートに示す処理が開始される。
When the operator visually recognizes an image (500) as a stationary object on the
ステップS601では、静止操作(501)を受け付け、カムコーダ300自身に具備されている画像表示手段(液晶ビューファインダ等の表示部306と表示制御部307等、表示に関わる機能)が有効(再生表示状態)となっているか否かを判定する。
In step S601, a static operation (501) is accepted, and image display means (functions relating to display, such as a
ステップS601にて有効になっていると判定された場合には、ステップS606に進み、操作者が前記画像表示手段上の表示画像を判断基準に静止操作を行ったと判断し、当該静止操作を受け付けた時点での静止画像の再生を行う。 If it is determined in step S601 that it is valid, the process proceeds to step S606, where it is determined that the operator has performed a stationary operation based on the display image on the image display means as a criterion, and the stationary operation is accepted. Play back still images at the time.
一方、ステップS601にて有効になっていないと判定された場合には、ステップS602に進む。ステップS602では、操作者がディスプレイ400上の再生画像を判断基準として静止操作(501)を行ったと判断し、システム制御部314が当該静止操作の受け付け時点でのレンダラカウンタ312の値を獲得する。
On the other hand, if it is determined in step S601 that it is not valid, the process proceeds to step S602. In step S602, it is determined that the operator has performed a stationary operation (501) using the reproduced image on the
ステップS603では、カムコーダ300のシステム制御部314がストリーミングデータの巻き戻しを開始する。なお、当該巻き戻しは、表示遅延時間分遅れてディスプレイ400にて巻き戻し再生されることとなる。さらにステップS604では、サーバカウンタ313がステップS602にて獲得したレンダラカウンタ312の値と一致したか否かを判定し、一致していなければ巻き戻しを継続する。一方、サーバカウンタ313がステップS602にて獲得したレンダラカウンタ312の値と一致したと判定された場合には、ステップS605に進み、当該カウンタ値に対応する静止画像について配信を行う(503、504)。
In step S603, the
これにより、操作者所望の静止画像が、表示遅延時間分の画像再生(505)と、前記巻き戻し再生時間分の巻き戻し再生(506)の後に再生される(507)。 As a result, a still image desired by the operator is reproduced (507) after the image reproduction (505) corresponding to the display delay time and the rewind reproduction (506) corresponding to the rewind reproduction time (507).
<カムコーダにおける処理の流れ(巻き戻し再生開始操作)>
次に、AV用のストリーミングデータを配信するリモート再生システムにおいて、操作者がディスプレイ400側にて視聴している再生内容を判断基準に、カムコーダ300側にて巻き戻し再生開始操作を行う場合の処理の流れについて説明する。説明は、シーケンスチャート(図7)と、カムコーダ300側の処理を示すフローチャート(図8)とを用いて行う。
<Processing flow in camcorder (rewind playback start operation)>
Next, in the remote playback system that distributes streaming data for AV, processing when the rewind playback start operation is performed on the
操作者が、ディスプレイ400上で巻き戻し再生開始対象画像(700)を視認し、カムコーダ300側の操作部315を介して巻き戻し再生開始操作(701)を行うと、カムコーダ300では、図8のフローチャートに示す処理が開始される。
When the operator visually recognizes the rewind playback start target image (700) on the
ステップS801では、当該巻き戻し再生開始操作(701)を受け付け、当該カムコーダ300自身に具備されている画像表示手段が表示手段として有効(再生表示状態)となっているか否かの判定を行う。
In step S801, the rewind reproduction start operation (701) is accepted, and it is determined whether or not the image display means provided in the
ステップS801にて有効になっていると判定された場合には、ステップS806に進む。ステップS806では、操作者が前記画像表示手段上の表示画像を判断基準に巻き戻し開始操作を行ったと判断し、当該巻き戻し開始操作を受け付けた時点からストリームデータの巻き戻しを開始する。 If it is determined in step S801 that it is valid, the process proceeds to step S806. In step S806, it is determined that the operator has performed a rewind start operation based on the display image on the image display unit as a criterion, and rewinding of the stream data is started from the time when the rewind start operation is received.
一方、ステップS801にて有効になっていないと判定された場合には、ステップS802に進む。ステップS802では、操作者がディスプレイ400上の再生画像を判断基準に巻き戻し再生開始操作(701)を行ったと判断し、システム制御部314は当該巻き戻し開始操作の受け付け時点でのレンダラカウンタ312の値を獲得する。
On the other hand, if it is determined in step S801 that it is not valid, the process proceeds to step S802. In step S802, it is determined that the operator has performed a rewind playback start operation (701) based on the playback image on the
ステップS803では、カムコーダ300のシステム制御部314がストリーミングデータの巻き戻しを開始する。なお、当該巻き戻しは、表示遅延時間分遅れてディスプレイ400にて巻き戻し再生されることとなる。さらにステップS804では、サーバカウンタ313がステップS802にて獲得したレンダラカウンタ312の値と一致したか否かを判定し、一致していなければ巻き戻しを継続する。一方、サーバカウンタ313がステップS802にて獲得したレンダラカウンタ312の値と一致したと判定された場合には、ステップS805に進む。ステップS805では、更にストリーミングデータの巻き戻しを開始するとともに巻き戻し中のストリーミングデータを配信する。これにより、操作者所望の位置からの巻き戻し再生が、前記リモート再生システムの表示遅延時間分の画像再生(705)と、巻き戻し時間分の巻き戻し再生(706)の後に開始される(707)。
In step S803, the
<カムコーダにおける処理の流れ(巻き戻し再生終了操作)>
次に、操作者が、ディスプレイ400上で巻き戻し再生終了対象画像(710)を視認し、カムコーダ300側の操作部315を介して巻き戻し再生終了操作(711)を行う場合の処理の流れを図7及び図9を用いて説明する。
<Processing flow in camcorder (rewind playback end operation)>
Next, the flow of processing when the operator visually recognizes the rewind playback end target image (710) on the
操作者が、ディプレイ400上で巻き戻し再生終了対象画像(710)を視認し、カムコーダ300側の操作部315を介して巻き戻し再生終了操作を行うと、カムコーダ300では、図9のフローチャートに示す処理が開始される。
When the operator visually recognizes the rewind playback end target image (710) on the
ステップS901では、当該巻き戻し再生終了操作(711)を受け付け、当該カムコーダ300自身に具備されている画像表示手段が表示手段として有効(再生表示状態)となっているか否かの判定を行う。
In step S901, the rewind reproduction end operation (711) is accepted, and it is determined whether or not the image display means provided in the
ステップS901にて有効になっていると判定された場合には、操作者が、ステップS905に進む。ステップS905では、前記画像表示手段上の表示画像を判断基準に巻き戻し再生終了操作を行ったと判断し、当該巻き戻し再生終了操作を受け付けた時点で巻き戻しを終了する。また、その時点のサーバカウンタ313の値に対応するストリーミングデータの配信を開始する。
If it is determined in step S901 that it is valid, the operator proceeds to step S905. In step S905, it is determined that the rewind playback end operation has been performed based on the display image on the image display means, and the rewind operation is terminated when the rewind playback end operation is received. In addition, distribution of streaming data corresponding to the value of the
一方、ステップS901にて有効になっていないと判定された場合には、ステップS902に進む。ステップS902では、操作者が、ディスプレイ400上の表示画像を判断基準に巻き戻し終了操作(711)を行ったと判断し、当該巻き戻し再生終了操作の受け付け時点でのレンダラカウンタ312の値を獲得する。
On the other hand, if it is determined in step S901 that it is not valid, the process proceeds to step S902. In step S902, the operator determines that the rewind end operation (711) has been performed based on the display image on the
ステップS903では、カムコーダ300のシステム制御部314が早送りを開始する。なお、当該早送りは、表示遅延時間分遅れてディスプレイ400にて早送り再生されることとなる。さらにステップS904では、サーバカウンタ313がステップS902にて獲得したレンダラカウンタ312の値と一致したか否かを判定し、一致していなければ早送りを継続する。一方、サーバカウンタ313がステップS902にて獲得したレンダラカウンタ312の値と一致したと判定された場合には、ステップS905に進む。ステップS905では、当該サーバカウンタ313の値に対応するストリーミングデータの配信を開始する。
In step S903, the
これにより、操作者所望の巻き戻し位置まで巻き戻し再生がなされた後の再生画像が、前記リモート再生システムの表示遅延時間分の画像再生(715)と、早送り時間分の早送り再生(716)の後に再生(717)される。 As a result, the replayed image after rewinding to the rewinding position desired by the operator includes image reproduction (715) corresponding to the display delay time of the remote reproduction system and fast forward reproduction (716) corresponding to the fast-forwarding time. It is played back (717) later.
<カムコーダにおける処理の流れ(早送り再生開始操作)>
次に、AV用のストリーミングデータを配信するリモート再生システムにおいて、操作者がディスプレイ400側にて視聴している再生内容を判断基準に、カムコーダ300側にて早送り再生開始操作を行う際の処理の流れについて説明する。説明は、シーケンスチャート(図7)と、カムコーダ300側の処理を示すフローチャート(図13、14)を用いて行うこととする。
<Processing flow in camcorder (fast forward playback start operation)>
Next, in a remote playback system that distributes AV streaming data, a process for performing a fast-forward playback start operation on the
操作者が、ディスプレイ400上で早送り再生開始対象画像(1000)を視認し、カムコーダ300側の操作部315を介して早送り再生開始操作(1001)を行うと、カムコーダ300では、図11のフローチャートに示す処理が開始される。
When the operator visually recognizes the fast-forward playback start target image (1000) on the
ステップS1101では、早送り再生開始操作(1001)を受け付け、カムコーダ300自身に具備されている画像表示手段が表示手段として有効(再生表示状態)となっているか否かを判定することなく、直ちにストリーミングデータの早送りを開始する。具体的には、カムコーダ300は、サーバカウンタ313が、早送り再生開始操作受け付け時点でのレンダラカウンタ312の値から、ストリーミングデータの早送りを開始する。
In step S1101, the fast-forward playback start operation (1001) is accepted, and the streaming data is immediately determined without determining whether or not the image display means provided in the
これにより、操作者所望の位置からの早送り再生が、前記リモート再生システムの表示遅延時間分の画像再生(1003)の後に開始される(1004)。 As a result, fast-forward playback from the position desired by the operator is started after image playback (1003) for the display delay time of the remote playback system (1004).
<カムコーダにおける処理の流れ(早送り再生終了操作)>
最後に、操作者が、ディスプレイ400上で早送り再生終了対象画像(1010)を視認し、カムコーダ300側の操作部315を介して早送り再生終了操作(1011)を行う場合の処理の流れについて図10及び図12を用いて説明する。
<Flow of processing in camcorder (fast forward playback end operation)>
Finally, the flow of processing when the operator visually recognizes the fast-forward playback end target image (1010) on the
ステップS1201では、当該カムコーダ300自身に具備されている画像表示手段が表示手段として有効(再生表示状態)となっているか否かの判定を行う。
In step S1201, it is determined whether or not the image display means provided in the
ステップS1201にて有効になっていると判定された場合には、ステップS1205に進み、操作者が前記画像表示手段上の表示画像を判断基準に早送り終了操作(1011)を行ったと判断し、当該早送り再生終了操作を受け付けた時点の画像再生を行う。 If it is determined in step S1201 that it is valid, the process proceeds to step S1205, where it is determined that the operator has performed a fast-forward end operation (1011) based on the display image on the image display means as a criterion. The image is played back when the fast forward playback end operation is accepted.
一方、ステップS1201にて有効になっていないと判定された場合には、ステップS1202に進む。ステップS1202では、操作者が、ディスプレイ400上の再生画像を判断基準に早送り再生終了操作(1011)を行ったと判断し、当該早送り再生終了操作(1011)の受け付け時点でのレンダラカウンタ312の値を獲得する。
On the other hand, if it is determined in step S1201 that it is not valid, the process proceeds to step S1202. In step S1202, it is determined that the operator has performed the fast-forward playback end operation (1011) based on the playback image on the
ステップS1103では、カムコーダ300のシステム制御部314が、巻き戻しを開始する。なお、当該巻き戻しは、表示遅延時間分遅れてディスプレイ400にて巻き戻し再生されることとなる。更にステップS1204では、サーバカウンタ313がステップS1202にて獲得したレンダラカウンタ312の値と一致したか否かを判定し、一致していなければ、巻き戻しを継続する。一方、サーバカウンタ313がステップS1202にて獲得したレンダラカウンタ312の値と一致したと判定された場合には、ステップS1205に進む。
In step S1103, the
ステップS1205では、当該サーバカウンタ313の値に対応するストリーミングデータの配信を開始する。これにより、操作者所望の早送り位置まで早送り再生された後の再生画像が、前記リモート再生システムの表示遅延時間分の画像再生(1015)と、前記巻き戻し時間分の巻き戻し再生(1016)の後に再生される(1017)。
In step S1205, distribution of streaming data corresponding to the value of the
以上の説明から明らかなように、本実施形態は無線通信媒体を介して接続されるカムコーダ300とディスプレイ400とを備え、カムコーダ300からディスプレイ400に対して、AV用のストリーミングデータを配信するリモート再生システムを対象とする。そして、操作者が、ディスプレイ400上での再生内容(映像、音声等)を確認しながら、カムコーダ300側で当該再生内容の制御に関する操作を行った場合であっても、表示遅延時間を配慮した配信位置を求めたうえで、カムコーダ300が配信を行う。この結果、操作者の操作に適合する再生画像の制御(静止、巻き戻し再生、早送り再生)を行うことが可能となる。
As is clear from the above description, the present embodiment includes a
[第2の実施形態]
上記第1の実施形態では、カムコーダ〜ディスプレイ間の無線通信媒体についての具体的なプロトコルについて特に限定しなかった。これに対して、例えば、UPnP Version1.0の「AV Architecture」に記述されるプロトコル等、特定のプロトコルを用いて接続するようにしてもよい。
[Second Embodiment]
In the first embodiment, the specific protocol for the wireless communication medium between the camcorder and the display is not particularly limited. On the other hand, for example, connection may be made using a specific protocol such as a protocol described in “AV Architecture” of UPnP Version 1.0.
具体的には、当該プロトコルで規定される“コントロールポイント(“Control Point”)”機能ブロックをカムコーダに配することとする。さらに、AV用のストリーミングデータの配信に際して、UPnP Version1.0の「AV Architecture」にて記述されているプロトコルの一部を拡張するよう構成する。これにより、表示遅延時間を自動的に算出することが可能となる。以下に詳細を説明する。 Specifically, a “control point” functional block defined by the protocol is arranged in the camcorder. Furthermore, when distributing streaming data for AV, a part of the protocol described in “AV Architecture” of UPnP Version 1.0 is extended. As a result, the display delay time can be automatically calculated. Details will be described below.
<ディスプレイ(メディアレンダラ)>
本実施形態にかかるカムコーダ(後述)より配信されるストリーミングデータを再生するディスプレイ1300の機能構成を示すブロック例を図13に示す。
<Display (media renderer)>
FIG. 13 shows a block example showing a functional configuration of the
1301は、AV用のストリーミングデータのエンコード、デコード、フォーマット変換を司るAV信号処理部である。1302、1303は各種AV放送の受信を司るチューナ部及びチューナー制御部、1304、1305は各種外部AV機器からの入力を行う入力部及び入力制御部である。
また、1306、1307は外部接続記憶メディアへの各種情報の記録/再生を司る記録媒体及び記録媒体制御部、1308、1309は入力されたAV用のストリーミングデータの表示を司る表示部及び表示制御部である。
さらに1312はディスプレイ1300全体を制御するシステム制御部、1313はユーザインタフェースを司る操作部である。1314は前記UPnP Version1.0の「AV Architecture」にて規定される、“機器プロファイル(デバイス情報、サービス情報)”が記述されるXMLファイルを記憶する機器プロファイル記憶手段である。
Further, 1312 is a system control unit that controls the
<カムコーダ(メディアサーバ)>
本実施形態にかかるカムコーダ1400の機能構成を示すブロック例を図14に示す。
<Camcorder (media server)>
FIG. 14 shows a block example showing a functional configuration of the
本実施形態にかかるカムコーダ1400は、図3に示す機能構成ブロックに、機器プロファイル記憶手段1416が追加された構成となっている。機器プロファイル記憶手段1416にはUPnP Version1.0の「AV Architecture」にて規定される、“機器プロファイル(デバイス情報、サービス情報)”が記述されたXMLファイルが記憶される。また、カムコーダ1400全体を制御するシステム制御部1414は、“コントロールポイント(“Control Point”)”機能をサポートしている。
The
“機器プロファイル(デバイス情報、サービス情報)”記述用のXMLファイル上には、拡張情報の記述可能なエリアが設けられている。そして、当該エリアにはディスプレイ1300側の“ストリーミングデータデコード遅延時間情報”、“前記XMLファイル上の記述情報をパージングする所要時間情報”が予め記憶されている。
On the XML file for describing “device profile (device information, service information)”, an area where extended information can be described is provided. In the area, “streaming data decoding delay time information” on the
<カムコーダにおける処理の流れ>
上記構成のカムコーダ1400における処理手順を、カムコーダ1400〜ディスプレイ1300間のシーケンスチャート(図15)と、カムコーダ1400側の処理の流れを示すフローチャート(図16、17)とを用いて説明する。
<Process flow in camcorder>
A processing procedure in the
カムコーダ1400とディスプレイ1300との間で、無線通信媒体を介して通信路が確立した状態(1500)で、カムコーダ1400では図16に示す処理が開始される。
In the state (1500) in which the communication path is established between the
ステップS1601では、UPnP Version1.0の「AV Architecture」の手順に従い、ディスプレイ1300のサポートプロトコル/フォーマット情報を取得する(図15の1501、1502)。サポートプロトコル/フォーマット情報は、ディスプレイ1300の機器プロファイル記憶手段1314に記憶されている。
In step S1601, support protocol / format information of the
また、このとき一巡遅延時間(td)を計測する。なお、このときの一巡遅延時間(td)とは、ディスプレイ1300が有する情報について、カムコーダ1400が取得依頼(1501)をしてから、当該情報を受信するまでの時間をいう。つまり、Get Protocol Info()(1501)を送信してから、Protocol/Format list(1502)を受信するまでの時間をいう。
At this time, the round trip time (td) is measured. Note that the round-trip delay time (td) at this time refers to the time from when the
ステップS1602では、ステップS1601にて取得したサポートプロトコル/フォーマットが、カムコーダ1400側で提供可能なものか否かを判定する。
In step S1602, it is determined whether or not the support protocol / format acquired in step S1601 can be provided on the
ステップS1602にて提供可能なサポートプロトコル/フォーマットでないと判定された場合には、ステップS1608に進み、ディスプレイ1300側の画像再生アプリケーションとの不整合検出処理を起動する。不整合検出処理とは、例えば、カムコーダ1400が備える画像表示手段(表示部1406、表示制御部1407等、表示に関わる機能)において、障害表示を行うとともに、ストリームミングデータの配信の開始を中止することをいう。
If it is determined in step S1602 that the supported protocol / format cannot be provided, the process advances to step S1608 to start inconsistency detection processing with the image reproduction application on the
一方、ステップS1602にて提供可能なサポートプロトコル/フォーマットであると判定された場合には、ステップS1603に進み、ストリーミングデータデコード遅延時間情報を取得する(図15の1503、1504)。 On the other hand, if it is determined in step S1602 that the support protocol / format can be provided, the process advances to step S1603 to acquire streaming data decoding delay time information (1503 and 1504 in FIG. 15).
また、このとき一巡遅延時間(td)を計測する。なお、このときの一巡遅延時間(td)とは、Get Decoder−Delay Info()(1503)を送信してから、Format/Decorder−Delay list(1504)を受信するまでの時間をいう。 At this time, the round trip time (td) is measured. Note that the round-trip delay time (td) at this time is the time from when Get Decoder-Delay Info () (1503) is transmitted until the Format / Decoder-Delay list (1504) is received.
ステップS1604では、拡張情報(ストリーミングデータデコード遅延時間情報)の取得に成功したか否かを判定する。成功しなかったと判定された場合には、ステップS1609に進み、通信路の伝送遅延時間の算出処理を行うことなくストリーミングデータの配信準備に移行する。 In step S1604, it is determined whether the extension information (streaming data decoding delay time information) has been successfully acquired. If it is determined that the process has not succeeded, the process advances to step S1609 to shift to preparation for streaming data distribution without performing calculation processing of the transmission delay time of the communication path.
一方、ステップS1604において、拡張情報(ストリーミングデータデコード遅延時間情報)の取得に成功したと判定された場合には、ステップS1605に進み、パージング所要時間を取得する(図15の1505、1506)。 On the other hand, if it is determined in step S1604 that the extension information (streaming data decoding delay time information) has been successfully acquired, the process proceeds to step S1605 to acquire the required purging time (1505 and 1506 in FIG. 15).
また、このとき一巡遅延時間(td)を計測する。なお、ここでいう一巡遅延時間(tp)とは、Get Parsing−Time Info()(1505)を送信してから、Target−File/Parsing−time list(1506)を受信するまでの時間をいう。 At this time, the round trip time (td) is measured. Note that the round-trip delay time (tp) here refers to the time from transmission of Get Parsing-Time Info () (1505) to reception of Target-File / Parsing-time list (1506).
ステップS1606では、拡張情報(XMLファイル上の記述情報をパージングする所要時間情報)の取得に成功したか否かを判定し、成功しなかったと判定された場合には、ステップS1609に進む。ステップS1609では、通信路の伝送遅延時間の算出処理を行うことなくストリーミングデータの配信準備に移行する。 In step S1606, it is determined whether or not the acquisition of the extended information (required time information for parsing the description information on the XML file) is successful. If it is determined that the extension information is not successful, the process proceeds to step S1609. In step S1609, the process proceeds to preparation for streaming data distribution without performing calculation processing of the transmission delay time of the communication path.
一方、ステップS1606において、拡張情報(XMLファイル上の記述情報をパージングする所要時間情報)の取得に成功したと判定された場合には、ステップS1607に進む。ステップS1607では、伝送遅延時間の算出を行う。伝送遅延時間は、一巡遅延時間(td)とパージング所要時間(tp)とにより、算出式(td−tp)/2に従って算出される。 On the other hand, if it is determined in step S1606 that the extension information (required time information for parsing the description information on the XML file) has been successfully acquired, the process proceeds to step S1607. In step S1607, transmission delay time is calculated. The transmission delay time is calculated according to the calculation formula (td−tp) / 2 based on the round trip delay time (td) and the required purging time (tp).
ステップS1607における伝送遅延時間算出処理が完了したら、ステップS1609に進み、ストリーミングデータの配信準備に移行する。 When the transmission delay time calculation process in step S1607 is completed, the process advances to step S1609 to shift to preparation for streaming data distribution.
図17に配信準備処理の詳細を示す。ステップS1701では、拡張情報の入手に成功したか否かを判定する。拡張情報の入手に成功したと判定された場合には、ステップS1702に進み、カムコーダ1400側のエンコード遅延時間を入手する。エンコード遅延時間とは、カムコーダ1400において、DVフォーマットを伝送フォーマットに変換するために必要となる時間をいう。
FIG. 17 shows details of the distribution preparation process. In step S1701, it is determined whether the extension information has been successfully obtained. If it is determined that the extension information has been successfully acquired, the process advances to step S1702 to acquire the encoding delay time on the
ステップS1703では、ステップS1702にて入手されたエンコード遅延時間に、ステップS1603にて取得したデコード遅延時間ならびにステップS1607にて算出した伝送遅延時間を加算する。これにより、カムコーダ1400〜ディスプレイ1300間の表示遅延時間を算出する。
In step S1703, the decoding delay time acquired in step S1603 and the transmission delay time calculated in step S1607 are added to the encoding delay time obtained in step S1702. Thereby, the display delay time between the
一方、ステップS1701にて、拡張情報の入手に成功しなかったと判定された場合には、ステップS1707に進む。ステップS1707では、カムコーダ1400内に設定されている表示遅延時間情報の有無を判定し、表示遅延時間情報があると判定された場合には、ステップS1704に進む。一方、表示遅延時間情報がないと判定された場合には、ステップS1705に進む。
On the other hand, if it is determined in step S1701 that the extension information has not been successfully acquired, the process advances to step S1707. In step S1707, the presence / absence of display delay time information set in the
ステップS1704では、サーバカウンタ1413に基づいて、レンダラカウンタ1412を初期値に設定する(図15の1507)。
In step S1704, the
ステップS1705では、UPnP Version1.0の「AV Architecture」プロトコル手順に準拠のAVトランスポートの設定とコントロール用のインスタンスIDの取得処理を行う(図15の1508)。 In step S1705, an AV transport setting and control instance ID acquisition processing conforming to the “AV Architecture” protocol procedure of UPnP Version 1.0 is performed (1508 in FIG. 15).
ステップS1706では、AV用のストリーミングデータの配信を開始する(図15の1509)。 In step S1706, distribution of AV streaming data is started (1509 in FIG. 15).
上述のように、ディスプレイ1300がUPnP Version1.0の「AV Architecture」に対応していれば、“機器プロファイル”記述用のXMLファイル上のエリアに、必要な情報を記憶させることができる。具体的には、“ディスプレイ1300でのストリーミングデータデコード遅延時間情報”と“XMLファイル上の記述情報をパージングする所要時間情報”を拡張記憶させることができる。
As described above, if the
この結果、ディスプレイ1300側の機能ブロックへのインパクトの少ない実装で、カムコーダ1400〜ディスプレイ1300間における表示遅延時間を自動的に検出することが可能となる。つまり、レンダラカウンタ1412とサーバカウンタ1413との時間的な関連を、自立的に補正することが可能となる。
As a result, it is possible to automatically detect the display delay time between the
また、前記拡張に対応しないディスプレイ1300に対応する場合には、事前にカムコーダ1400内に、表示遅延時間情報を記憶することで、上記カウンタの時間的な関連の補正を当該記憶している表示遅延時間を指標に静的に行うことが可能となる。
When the
[第3の実施形態]
上記第1及び第2の実施形態では、メディアサーバの例としてDVカムコーダを用いた場合について説明したが、本発明は特にこれに限定されるものではなく、例えば、ディスクカムコーダ等を含むディスクプレーヤであってもよい。
[Third Embodiment]
In the first and second embodiments, the case where a DV camcorder is used as an example of a media server has been described. However, the present invention is not particularly limited to this, for example, a disc player including a disc camcorder or the like. There may be.
また、上記第1及び第2の実施形態では、通信媒体として無線通信路を用いた場合について説明したが、本発明は特にこれに限定されるものではなく、例えば、IEEE1394、IEEE802.3等の有線通信路を用いてもよい。 In the first and second embodiments, the case where a wireless communication path is used as a communication medium has been described. However, the present invention is not particularly limited to this, for example, IEEE 1394, IEEE 802.3, etc. A wired communication path may be used.
[他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
[Other Embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, and a printer), and a device (for example, a copying machine and a facsimile device) including a single device. You may apply to.
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。 Another object of the present invention is to supply a storage medium storing software program codes for implementing the functions of the above-described embodiments to a system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in the.
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。 As a storage medium for supplying the program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like is used. be able to.
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
Claims (12)
前記再生装置において再生される再生結果を制御するための指示を入力する入力手段と、
前記サーバ装置よりデータを配信し、前記再生装置において再生するために必要な再生遅延時間を取得する取得手段と、
前記入力手段を介して所定の指示が入力された場合に、前記取得手段において取得された再生遅延時間に基づいて、前記配信データの配信位置を制御する制御手段と
を備えることを特徴とするサーバ装置。 A server device capable of communicating with a playback device,
Input means for inputting an instruction for controlling a reproduction result reproduced in the reproduction device;
Obtaining means for distributing data from the server device and obtaining a reproduction delay time required for reproduction on the reproduction device;
A control unit that controls a distribution position of the distribution data based on a reproduction delay time acquired by the acquisition unit when a predetermined instruction is input through the input unit. apparatus.
前記再生位置認識手段は、前記取得手段において取得された再生遅延時間と、前記配信位置認識手段において認識された配信位置とに基づいて、前記再生位置を認識することを特徴とする請求項1に記載のサーバ装置。 Distribution position recognition means for recognizing a distribution position when data is distributed from the server device, and reproduction position recognition means for recognizing the reproduction position of data being reproduced in the reproduction device,
The reproduction position recognition unit recognizes the reproduction position based on the reproduction delay time acquired by the acquisition unit and the distribution position recognized by the distribution position recognition unit. The server apparatus of description.
前記再生装置との通信時間を計測する計測手段と、
前記配信データを取得し、配信に適したデータ形式に変換するのに要する時間を取得する変換時間取得手段と、を更に備え、
前記取得手段は、前記再生時間取得手段により取得された時間と、前記計測手段により計測された時間と、前記変換時間取得手段により取得された時間とに基づいて、前記再生遅延時間を取得することを特徴とする請求項1に記載のサーバ装置。 Reproduction time acquisition means for acquiring the time required for the reproduction device to reproduce data from the reproduction device by communication;
Measuring means for measuring communication time with the playback device;
A conversion time acquisition means for acquiring the distribution data and acquiring a time required to convert the distribution data into a data format suitable for distribution;
The acquisition means acquires the reproduction delay time based on the time acquired by the reproduction time acquisition means, the time measured by the measurement means, and the time acquired by the conversion time acquisition means. The server device according to claim 1.
前記データの再生装置において再生される再生結果を制御するための指示を入力する入力工程と、
前記サーバ装置よりデータを配信し、前記再生装置において再生するために必要な再生遅延時間を取得する取得工程と、
前記入力工程を介して所定の指示が入力された場合に、前記取得工程において取得された再生遅延時間に基づいて、前記配信されるデータの配信位置を制御する制御工程と
を備えることを特徴とする制御方法。 A control method in a server device for distributing data,
An input step of inputting an instruction for controlling a reproduction result reproduced in the data reproduction device;
An acquisition step of distributing data from the server device and acquiring a reproduction delay time necessary for reproduction in the reproduction device;
A control step of controlling a distribution position of the distributed data based on the reproduction delay time acquired in the acquisition step when a predetermined instruction is input through the input step. Control method to do.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005223185A JP4847063B2 (en) | 2005-08-01 | 2005-08-01 | Server apparatus and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005223185A JP4847063B2 (en) | 2005-08-01 | 2005-08-01 | Server apparatus and control method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007043323A true JP2007043323A (en) | 2007-02-15 |
JP2007043323A5 JP2007043323A5 (en) | 2008-09-18 |
JP4847063B2 JP4847063B2 (en) | 2011-12-28 |
Family
ID=37800920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005223185A Expired - Fee Related JP4847063B2 (en) | 2005-08-01 | 2005-08-01 | Server apparatus and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4847063B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170619A (en) * | 2011-02-22 | 2012-09-10 | Yamaha Corp | Notification signal control apparatus |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209810A (en) * | 2002-01-15 | 2003-07-25 | Sharp Corp | Moving picture transmission apparatus |
JP2005285298A (en) * | 2004-03-31 | 2005-10-13 | Kenwood Corp | Av apparatus, av system, and av apparatus control method |
JP2005323068A (en) * | 2004-05-07 | 2005-11-17 | Victor Co Of Japan Ltd | Home network av server and home network av server program |
-
2005
- 2005-08-01 JP JP2005223185A patent/JP4847063B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209810A (en) * | 2002-01-15 | 2003-07-25 | Sharp Corp | Moving picture transmission apparatus |
JP2005285298A (en) * | 2004-03-31 | 2005-10-13 | Kenwood Corp | Av apparatus, av system, and av apparatus control method |
JP2005323068A (en) * | 2004-05-07 | 2005-11-17 | Victor Co Of Japan Ltd | Home network av server and home network av server program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012170619A (en) * | 2011-02-22 | 2012-09-10 | Yamaha Corp | Notification signal control apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4847063B2 (en) | 2011-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101070562B1 (en) | Device and method for edition of moving picture data | |
JP5792276B2 (en) | Trick playback of video data | |
US8373723B2 (en) | Method and apparatus to provide plot data of contents | |
JP2007067703A (en) | Content reproducing method and reproducing apparatus | |
US20100166387A1 (en) | Method and apparatus for playing video data of high bit rate format by a player capable of playing video data of low bit rate format | |
US20120158913A1 (en) | Transfer device, client apparatus, server apparatus, reproduction apparatus and transfer method | |
JP2008109316A (en) | Video reproduction device and its control method | |
JP2008085934A (en) | Remote reproduction system for video and method of resume reproduction | |
US9088760B2 (en) | Control apparatus and method for controlling display apparatus | |
US20090064253A1 (en) | Method and apparatus for recording broadcast data and providing contents | |
JP4847063B2 (en) | Server apparatus and control method | |
US7609936B2 (en) | Content recording/reproducing apparatus and method, storage medium and computer program | |
US8326130B2 (en) | Video image data reproducing apparatus | |
JP5272835B2 (en) | Image supply apparatus, image supply method, and image supply program | |
KR20110129087A (en) | Method and apparatus for replaying video contents | |
JP5268720B2 (en) | Playback apparatus, method, and program | |
JP4920930B2 (en) | Data receiving apparatus, control method therefor, data communication system, program, and recording medium | |
JP2002152699A (en) | Method and system for synchronously reproducing moving picture | |
KR102139331B1 (en) | Apparatus, server, and method for playing moving picture contents | |
JP5899738B2 (en) | Information processing system, information processing apparatus, and information processing program | |
KR102157397B1 (en) | Method and apparatus for contents playing | |
CN112954483B (en) | Data transmission method, system and non-volatile storage medium | |
KR101947186B1 (en) | Content reproduction method and system | |
JP7314102B2 (en) | CONTROL SIGNAL GENERATING CIRCUIT, RECEIVER, SYSTEM, GENERATING METHOD, AND PROGRAM | |
KR20110047587A (en) | Displaying method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111013 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |