JP2005086431A - Relay system, and system and method for notifying configuration information - Google Patents
Relay system, and system and method for notifying configuration information Download PDFInfo
- Publication number
- JP2005086431A JP2005086431A JP2003315656A JP2003315656A JP2005086431A JP 2005086431 A JP2005086431 A JP 2005086431A JP 2003315656 A JP2003315656 A JP 2003315656A JP 2003315656 A JP2003315656 A JP 2003315656A JP 2005086431 A JP2005086431 A JP 2005086431A
- Authority
- JP
- Japan
- Prior art keywords
- mpeg
- configuration information
- rtsp
- rtp
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
Description
本発明は、RTP/RTSPシステムから3G-324M端末へのMPEG-4構成情報(MPEG-4 Configuration Information)の通知を中継する中継システムと、当該中継システム、RTP/RTSPシステム及び3G-324M端末を含んで構成される構成情報通知システム、及び中継システムによる構成情報通知方法に関する。 The present invention relates to a relay system that relays notification of MPEG-4 Configuration Information (MPEG-4 Configuration Information) from an RTP / RTSP system to a 3G-324M terminal, and the relay system, the RTP / RTSP system, and the 3G-324M terminal. The present invention relates to a configuration information notification system including a configuration information notification method using a relay system.
現在、下記の特許文献1に示される方式などによって、インターネット上の音声・映像データを、第三世代移動体テレビ電話通信プロトコルである3G-324Mストリームとして移動体通信端末(以下「3G-324M端末」という)へ送信するシステムやサービスが多くの団体にて検討されている。
Currently, audio / video data on the Internet is converted into a 3G-324M stream, which is a third-generation mobile videophone communication protocol, by a method shown in
また、移動体通信用の映像符号化方式としては現在MPEG-4 Videoが注目され、多くの団体やシステムで採用されているが、MPEG-4 Videoデータのデコード再生にはMPEG-4 Visual Object Sequence Header、Visual Object Header、Video Object Layer Headerにより構成されるMPEG-4構成情報(MPEG-4 Configuration Information、以下「MPEG-4 CI」と称する)と呼ばれるMPEG-4 Videoデータのデコードに必要なパラメタ情報が不可欠となり、通常、MPEG-4 CIはエンコード元であるエンコーダあるいはサーバからデコーダへMPEG-4 Videoデータストリーム中やMPEG-4 Videoデータの送受を制御するプロトコル等で動的に通知される。 In addition, MPEG-4 Video is currently attracting attention as a video encoding method for mobile communications, and is used by many organizations and systems. MPEG-4 Visual Object Sequence is used for decoding and reproducing MPEG-4 Video data. Parameter information necessary for decoding MPEG-4 Video data called MPEG-4 Configuration Information (hereinafter referred to as “MPEG-4 CI”) composed of Header, Visual Object Header, and Video Object Layer Header In general, MPEG-4 CI is dynamically notified from an encoder or server that is an encoding source to a decoder in a MPEG-4 Video data stream or a protocol for controlling transmission / reception of MPEG-4 Video data.
よって、前述に示したインターネット上の音声・映像データを、3G-324Mストリームとして3G-324M端末へ送信するシステムにおいて、MPEG-4 Videoを採用する場合にも、インターネット上のエンコーダあるいはサーバから移動体通信端末へのMPEG-4 CIの通知は必要不可欠となる。 Therefore, even if MPEG-4 Video is used in the system for transmitting the above-mentioned audio / video data on the Internet as a 3G-324M stream to the 3G-324M terminal, even if MPEG-4 Video is adopted, the mobile unit can be moved from the encoder or server on the Internet. Notification of MPEG-4 CI to communication terminals is indispensable.
MPEG-4 CIの通知方法について、例えば、RTP/RTSPシステム間や3G-324M端末間では以下に示す通り、各種標準勧告で規定されている。 The MPEG-4 CI notification method is stipulated in various standard recommendations as follows, for example, between RTP / RTSP systems and between 3G-324M terminals.
<RTP/RTSPシステム間にてMPEG-4 Videoデータを伝送する場合(RFC3016)>
(1)MPEG-4 CIは、RTP/RTSPセッション確立時にRTSPによって送受するSDPと呼ばれるセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタによって通知する。
(2)MPEG-4 CIは、送受される最初のRTPパケットのMPEG-4 Videoデータストリームの先頭で必ず通知する。
<When MPEG-4 Video data is transmitted between RTP / RTSP systems (RFC3016)>
(1) MPEG-4 CI is notified by the config parameter of the MPEG-4 Video media descriptor in the session information called SDP transmitted / received by RTSP when an RTP / RTSP session is established.
(2) MPEG-4 CI is always notified at the beginning of the MPEG-4 Video data stream of the first RTP packet to be transmitted / received.
<3G-324M端末間にてMPEG-4 Videoデータを伝送する場合(3GPP TS26.111)>
(3)MPEG-4 CIは、3G-324Mの映像データチャネル開設時にH.245のDecoder Configuration Informationパラメタとして必ず通知する。
(4)MPEG-4 CIは、3G-324Mに映像データとして格納するMPEG-4 Videoデータストリームの先頭で必ず通知する。
(3) MPEG-4 CI is always notified as an H.245 Decoder Configuration Information parameter when a 3G-324M video data channel is established.
(4) MPEG-4 CI is always notified at the beginning of the MPEG-4 Video data stream stored as video data in 3G-324M.
しかしながら、RTP/RTSPシステムから3G-324M端末へのMPEG-4 CIの通知方式自体については標準勧告等で規定されていないため、RTP/RTSP上のMPEG-4 Videoデータを3G-324M端末へ送信する場合、MPEG-4 CIの通知方法として、
(i)RTP/RTSPシステム上のMPEG-4エンコード条件を一定とし、MPEG-4 CIを固定値とし、予め3G-324M端末に設定し、動的なMPEG-4 CIの送受を実施しないで3G-324M端末側では常に固定のMPEG-4 CIを利用してMPEG-4 Videoデータをデコードする。
However, since the MPEG-4 CI notification method itself from the RTP / RTSP system to the 3G-324M terminal is not stipulated by the standard recommendation etc., MPEG-4 Video data on RTP / RTSP is transmitted to the 3G-324M terminal. If you want to notify MPEG-4 CI,
(i) The MPEG-4 encoding conditions on the RTP / RTSP system are fixed, MPEG-4 CI is set to a fixed value, set in advance on the 3G-324M terminal, and 3G without performing dynamic MPEG-4 CI transmission / reception -The 324M terminal always decodes MPEG-4 Video data using a fixed MPEG-4 CI.
(ii)独自の通信方式やプロトコルを用いて通知する。
等が考えられるが、(i)ではエンコード条件が制限されるため、エンドユーザが視聴する映像コンテンツ種のバラエティや柔軟性を著しく低下させてしまうことや、(ii)では独自方式を採用するため、汎用的なRTP/RTSPシステムや3G-324M端末との相互接続性が低下することが問題となり得る。
(ii) Notification using a unique communication method or protocol.
However, because the encoding conditions are limited in (i), the variety and flexibility of the video content types viewed by end users will be significantly reduced, and in (ii) the unique method will be adopted. The problem is that the interoperability with general-purpose RTP / RTSP systems and 3G-324M terminals is reduced.
このようにRTP/RTSP上のMPEG-4 Videoデータを3G-324M端末へ送信する際のMPEG-4 CIの通知には、MPEG-4 CIを固定値とすることによる映像コンテンツ種のバラエティや柔軟性の低下や、独自方式を用いることによる汎用的なRTP/RTSPシステムや3G-324M端末との相互接続性の低下が問題となる。 In this way, when sending MPEG-4 Video data on RTP / RTSP to a 3G-324M terminal, the MPEG-4 CI notification is sent to a 3G-324M terminal. Problems such as a decrease in connectivity and a decrease in interoperability with general-purpose RTP / RTSP systems and 3G-324M terminals due to the use of proprietary methods.
本発明は、上記問題点を解決するために成されたものであり、汎用的なRTP/RTSPシステムと3G-324M端末との相互接続性を確保しつつ、映像コンテンツ種のバラエティや柔軟性を確保することができる中継システム、構成情報通知システム及び構成情報通知方法を提供することを目的とする。 The present invention has been made to solve the above-described problems, and ensures the variety and flexibility of video content types while ensuring the interoperability between a general-purpose RTP / RTSP system and 3G-324M terminals. An object is to provide a relay system, a configuration information notification system, and a configuration information notification method that can be secured.
上記目的を達成するために、本発明に係る中継システムは、請求項1に記載したように、RTP/RTSPシステムから3G-324M端末へのMPEG-4 CI通知を中継する中継システムであって、RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタからMPEG-4 CIを受信し検出するRTSP構成情報受信部と、RTSP構成情報受信部にて検出したMPEG-4 CIを格納するRTSP構成情報格納部と、RTSP構成情報受信部にて検出したMPEG-4 CIをH.245信号の第2のパラメタに付与し、3G-324M端末へ送信するH.245構成情報送信部と、RTP/RTSPシステムから受信する最初のRTPパケットを受信するRTP構成情報受信部と、RTP構成情報受信部にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かをMPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する構成情報有無判定部と、構成情報有無判定部にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたとき、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納するRTSP構成情報付与部と、構成情報有無判定部にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときは構成情報有無判定部からのMPEG-4 Videoストリームデータを、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときはRTSP構成情報付与部からのMPEG-4 Videoストリームデータを、3G-324M端末へ送信するストリーム構成情報送信部とを備えることを特徴とする。
In order to achieve the above object, a relay system according to the present invention is a relay system that relays MPEG-4 CI notification from an RTP / RTSP system to a 3G-324M terminal as described in
また、本発明は、請求項2に記載したように、RTP/RTSPシステム、3G-324M端末及び中継システムを含んで構成される「構成情報通知システム」の発明として捉えることができる。
Further, as described in
即ち、本発明に係る構成情報通知システムは、RTP/RTSPシステムと、3G-324M端末と、前記RTP/RTSPシステムから前記3G-324M端末へのMPEG-4 CI通知を中継する中継システムとを含んで構成される構成情報通知システムであって、
前記RTP/RTSPシステムは、前記中継システムとのRTP/RTSPセッション確立時に前記中継システムへ送信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタにMPEG-4 CIを付与・送信するRTSP構成情報送信部と、前記中継システムへ送信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIを付与・送信するRTP構成情報送信部とを備え、
前記3G-324M端末は、前記中継システムとの映像データチャネル開設時に、前記中継システムから受信するH.245信号の第2のパラメタからMPEG-4 CIを受信し検出するH.245構成情報受信部と、前記中継システムからの映像データ受信時のMPEG-4 Videoストリームデータの先頭からMPEG-4 CIを受信し検出するストリーム構成情報受信部とを備え、
前記中継システムは、前記RTP/RTSPシステムとのRTP/RTSPセッション確立時に前記RTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタからMPEG-4 CIを受信し検出するRTSP構成情報受信部と、RTSP構成情報受信部にて検出したMPEG-4 CIを格納するRTSP構成情報格納部と、RTSP構成情報受信部にて検出したMPEG-4 CIをH.245信号の第2のパラメタに付与し、前記3G-324M端末へ送信するH.245構成情報送信部と、前記RTP/RTSPシステムから受信する最初のRTPパケットを受信するRTP構成情報受信部と、RTP構成情報受信部にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かをMPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する構成情報有無判定部と、構成情報有無判定部にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたとき、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納するRTSP構成情報付与部と、構成情報有無判定部にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときは構成情報有無判定部からのMPEG-4 Videoストリームデータを、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときはRTSP構成情報付与部からのMPEG-4 Videoストリームデータを、3G-324M端末へ送信するストリーム構成情報送信部とを備えることを特徴とする。
That is, the configuration information notification system according to the present invention includes an RTP / RTSP system, a 3G-324M terminal, and a relay system that relays MPEG-4 CI notification from the RTP / RTSP system to the 3G-324M terminal. A configuration information notification system comprising:
The RTP / RTSP system uses MPEG-4 as the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part to be transmitted to the relay system when an RTP / RTSP session with the relay system is established. An RTSP configuration information transmitting unit for adding / transmitting CI, and an RTP configuration information transmitting unit for adding / transmitting MPEG-4 CI to the head of MPEG-4 Video stream data in the first RTP packet to be transmitted to the relay system. Prepared,
The 3G-324M terminal receives and detects MPEG-4 CI from the second parameter of the H.245 signal received from the relay system when establishing a video data channel with the relay system. And a stream configuration information receiving unit that receives and detects MPEG-4 CI from the beginning of the MPEG-4 Video stream data at the time of video data reception from the relay system,
The relay system receives the MPEG from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part received from the RTP / RTSP system when the RTP / RTSP session is established with the RTP / RTSP system. -4 RTSP configuration information receiving unit that receives and detects CI, RTSP configuration information storage unit that stores MPEG-4 CI detected by RTSP configuration information receiving unit, and MPEG-4 detected by RTSP configuration information receiving unit H.245 configuration information transmission unit that assigns CI to the second parameter of the H.245 signal and transmits it to the 3G-324M terminal, and RTP configuration information that receives the first RTP packet received from the RTP / RTSP system Whether the MPEG-4 CI is stored at the beginning of the MPEG-4 Video stream data in the RTP packet acquired by the receiver and the RTP configuration information receiver, the MPEG-4 CI start code and the MPEG-4 Video Configuration information determined by matching search with stream data When the MPEG-4 CI is determined not to be stored at the beginning of the MPEG-4 Video stream data, the MPEG-4 VOP (Video Object Plane) start code and MPEG -4 The first MPEG-4 VOP in MPEG-4 Video stream data is detected by matching search with Video stream data, and the stream data from the beginning of MPEG-4 Video stream data to the detected MPEG-4 VOP The MPEG-4 CI is discarded in the RTSP configuration information storage unit and stored in the RTSP configuration information storage unit before the MPEG-4 VOP. When it is determined that the stream data is stored at the beginning, the MPEG-4 Video stream data from the configuration information presence / absence determination unit is determined as MPEG-4 CI is not stored at the beginning of the MPEG-4 Video stream data. The MPEG-4 Video stream from the RTSP configuration information adding unit. The stream data, characterized by comprising a stream configuration information transmitting unit that transmits to the 3G-324M terminal.
また、本発明は、請求項3に記載したように、中継システムがRTP/RTSPシステムから3G-324M端末へMPEG-4 CIを通知するための「構成情報通知方法」の発明として捉えることができる。即ち、本発明に係る構成情報通知方法は、中継システムがRTP/RTSPシステムから3G-324M端末へMPEG-4 CIを通知するための構成情報通知方法であって、RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタからMPEG-4 CIを受信し検出するステップと、RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタから検出したMPEG-4 CIをRTSP構成情報格納部に格納するステップと、RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタから検出したMPEG-4 CIをH.245信号の第2のパラメタに付与し、3G-324M端末へ送信するステップと、RTP/RTSPシステムから受信する最初のRTPパケットを受信するステップと、RTP/RTSPシステムから受信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かを、MPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定するステップと、前記判定ステップにて、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときには当該MPEG-4 Videoストリームデータを3G-324M端末へ送信し、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときには、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納し、格納後のMPEG-4 Videoストリームデータを3G-324M端末へ送信するステップとを有することを特徴とする。
Further, as described in
上記のような本発明では、RTP/RTSPシステム間、3G-324M端末間で標準規定されるMPEG-4 構成情報通知方式を利用することにより、標準規定を拡張することなく、汎用的なRTP/RTSPシステムと3G-324M端末との相互接続性を確保することができる。 In the present invention as described above, a general-purpose RTP / RTSP / RTSP system can be used without extending the standard specification by using the MPEG-4 configuration information notification method standardized between RTP / RTSP systems and between 3G-324M terminals. Interoperability between RTSP system and 3G-324M terminal can be secured.
また、通信路の影響等によってRTPパケットに欠落があった場合でも、動的且つ速やかにRTP/RTSPシステムから3G-324M端末へMPEG-4 構成情報を通知することを可能とすることで、映像コンテンツ種のバラエティや柔軟性、視聴開始までの時間短縮を確保することができる。 In addition, even if there is a loss in the RTP packet due to the influence of the communication path, etc., it is possible to notify the MPEG-4 configuration information from the RTP / RTSP system to the 3G-324M terminal dynamically and promptly. Variety and flexibility of content types, and shortening of time to start viewing can be ensured.
以上説明したように、本発明によれば、RTP/RTSPシステム間、3G-324M端末間で標準規定されるMPEG-4 CI通知方式を利用し、汎用的なRTP/RTSPシステムと3G-324M端末との相互接続性を確保することができる。 As described above, according to the present invention, a general-purpose RTP / RTSP system and a 3G-324M terminal can be used by using the MPEG-4 CI notification method standardized between RTP / RTSP systems and between 3G-324M terminals. Interoperability with can be ensured.
また、通信路の影響等によるRTPパケット欠落時にも、これを動的且つ速やかにRTP/RTSPシステムから3G-324M端末へMPEG-4 CIを通知することを可能とすることで、映像コンテンツ種のバラエティや柔軟性、視聴開始までの時間短縮を確保することができる。 In addition, even when RTP packets are lost due to the influence of communication channels, MPEG-4 CI can be notified from the RTP / RTSP system to the 3G-324M terminal dynamically and quickly. Variety, flexibility, and shortening of time to start viewing can be secured.
以下、図面を参照しながら、本発明の実施形態を説明する。なお、以下では「構成情報」は「CI」(Configuration Informationの略)と表記する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following, “configuration information” is expressed as “CI” (abbreviation of configuration information).
図1には、構成情報通知システムの構成例を示す。同図に示すように、構成情報通知システムは、RTP/RTSPシステム30と、3G-324M端末10と、RTP/RTSPシステム30から3G-324M端末10へのMPEG-4 CIの通知を中継する中継システム20とを含んで構成されている。
FIG. 1 shows a configuration example of a configuration information notification system. As shown in the figure, the configuration information notification system includes an RTP /
このうちRTP/RTSPシステム30は、中継システム20とのRTP/RTSPセッション確立時に中継システム20へ送信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタ(請求の範囲における「第1のパラメタ」に相当)にMPEG-4 CIを付与・送信するRTSP CI送信部31と、中継システム20へ送信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIを付与・送信するRTP CI送信部32とを備えている。
Among these, the RTP /
3G-324M端末10は、中継システム20との映像データチャネル開設時に、中継システム20から受信するH.245信号のDecoder Configuration Informationパラメタ(請求の範囲における「第2のパラメタ」に相当)からMPEG-4 CIを受信し検出するH.245 CI受信部11と、中継システム20からの映像データ受信時のMPEG-4 Videoストリームデータの先頭からMPEG-4 CIを受信し検出するストリームCI受信部12とを備えている。
When the video data channel with the
中継システム20は、RTP/RTSPシステム30とのRTP/RTSPセッション確立時にRTP/RTSPシステム30より受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタからMPEG-4 CIを受信し検出するRTSP CI受信部26と、RTSP CI受信部26にて検出したMPEG-4 CIを格納するRTSP CI格納部24と、RTSP CI受信部26にて検出したMPEG-4 CIをH.245信号のDecoder Configuration Informationパラメタに付与し、3G-324M端末10へ送信するH.245 CI送信部21と、RTP/RTSPシステム30から受信する最初のRTPパケットを受信するRTP CI受信部27と、RTP CI受信部27にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かをMPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定するCI有無判定部25と、CI有無判定部25にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定された場合、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP CI格納部24に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納するRTSP CI付与部23と、CI有無判定部25にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定された場合は CI有無判定部25からのMPEG-4 Videoストリームデータを、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定された場合はRTSP CI付与部23からのMPEG-4 Videoストリームデータを、3G-324M端末10へ送信するストリーム CI送信部22とを備えている。
The
次に、上記構成の構成情報通知システムにおけるRTP/RTSPシステム30から3G-324M端末10へのMPEG-4 CI通知処理を説明する。
Next, MPEG-4 CI notification processing from the RTP /
図2には、構成情報通知システムにおいて、通常時(即ち、通信路の影響などでRTPパケット欠落等が発生しない場合)におけるMPEG-4 CI通知処理及びデータの流れを示す。 FIG. 2 shows an MPEG-4 CI notification process and a data flow in the configuration information notification system in a normal time (that is, when no RTP packet loss or the like occurs due to the influence of a communication path).
この場合、まず、中継システム20のRTSP CI受信部26は、RTP/RTSPシステム30のRTSP CI送信部31によってRTP/RTSPセッション確立時のRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタに付与・送信されたMPEG-4 CIを、受信・検出し(S1)、RTSP CI格納部24へ格納する(S2)。そして、H.245 CI送信部21は、RTSP CI受信部26によって検出したMPEG-4 CIをH.245信号のDecoder Configuration Informationパラメタに付与し、付与後のH.245信号を3G-324M端末10へ送信し、3G-324M端末10は、この付与後のH.245信号をH.245 CI受信部11によって受信する(S3)。
In this case, first, the RTSP
次に、中継システム20のRTP CI受信部27は、RTP/RTSPシステム30のRTP CI送信部32によって最初のRTPパケットに格納・送信されたMPEG-4 CIを受信し(S4)、CI有無判定部25は、受信されたRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かを、MPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する。このとき、CI有無判定部25は、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定した場合、MPEG-4 VideoストリームデータをストリームCI送信部22に送信し(S5)、ストリームCI送信部22は当該MPEG-4 Videoストリームデータを3G-324M端末10へ送信し、3G-324M端末10はストリームCI受信部12によって当該MPEG-4 Videoストリームデータを受信する(S6)。
Next, the
図3には、構成情報通知システムにおいて、通信路の影響などでRTPパケット欠落等が発生した場合のMPEG-4 CI通知処理及びデータの流れを示す。 FIG. 3 shows an MPEG-4 CI notification process and data flow when an RTP packet loss or the like occurs due to the influence of a communication path in the configuration information notification system.
この場合も、中継システム20のCI有無判定部25が受信RTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かを判定する判定処理まで(S11〜S14とCI有無判定部25の判定処理)は、上記通常時の処理(図2のS1〜S4とCI有無判定部25の判定処理)と同様である。
Also in this case, the CI presence /
CI有無判定部25は、MPEG-4 CIが受信RTPパケット内のMPEG-4 Videoストリームデータの先頭に格納されていないと判定した場合、RTSP CI付与部23へMPEG-4 Videoストリームデータを送信する(S15)。そして、RTSP CI付与部23は、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP CI格納部24に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納する(S16)。
When it is determined that the MPEG-4 CI is not stored at the head of the MPEG-4 Video stream data in the received RTP packet, the CI presence /
このとき、RTSP CI付与部23は、図4(a)のようにMPEG-4 Videoストリームデータ40の最初のMPEG-4 VOP41を検出し、MPEG-4 Videoストリームデータ40の先頭から検出されたMPEG-4 VOP41までのストリームデータを破棄し、RTSP CI格納部24に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納する。これにより、図4(b)に示すようなMPEG-4 VOP41の前にMPEG-4 CIが格納されたMPEG-4 Videoストリームデータ40が得られる。
At this time, the RTSP
なお、RTSP CI付与部23がMPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄するのは、受信したRTPパケット内のMPEG-4 Videoストリームデータの先頭に、パケット欠落した最初のRTPパケットのフラグメントが格納されている可能性があるからである。
The RTSP
次に、RTSP CI付与部23が上記格納後のMPEG-4 VideoストリームデータをストリームCI送信部22へ送信すると(S17)、ストリームCI送信部22は、当該MPEG-4 Videoストリームデータを3G-324M端末10へ送信し、3G-324M端末10は当該MPEG-4 VideoストリームデータをストリームCI受信部12にて受信する(S18)。
Next, when the RTSP
以上のような処理により、RTP/RTSPシステム間、3G-324M端末間で標準規定されるMPEG-4 CI通知方式を利用することにより、標準規定を拡張することなく、汎用的なRTP/RTSPシステム30と3G-324M端末10との相互接続性を確保することができる。
By using the MPEG-4 CI notification method standardized between RTP / RTSP systems and between 3G-324M terminals, the general-purpose RTP / RTSP system can be used without extending the standard rules. 30 and the 3G-
また、通信路の影響等によるRTPパケット欠落時にも、これを動的且つ速やかにRTP/RTSPシステム30から3G-324M端末10へMPEG-4 CIを通知することを可能とすることで、映像コンテンツ種のバラエティや柔軟性、視聴開始までの時間短縮を確保することができる。
In addition, even when an RTP packet is lost due to the influence of a communication channel, it is possible to notify MPEG-4 CI from the RTP /
さらに、システム間でのMPEG-4 CIの通知はMPEG-4デコーダによる再生前、つまりエンドユーザによる映像視聴前に実施されるため、システム間でのMPEG-4 CIの通知は速やかに実施し、映像視聴開始時間を早める必要があるが、上記実施形態では、RTP/RTSPシステム30から受信したMPEG-4 CIを最も効率的に3G-324M端末10へ通知することができる。
Furthermore, since the MPEG-4 CI notification between systems is performed before playback by the MPEG-4 decoder, that is, before the video viewing by the end user, the MPEG-4 CI notification between the systems is promptly performed, Although the video viewing start time needs to be advanced, in the above embodiment, the MPEG-4 CI received from the RTP /
10…3G-324M端末、11…H.245 CI受信部、12…ストリームCI受信部、20…中継システム、21…H.245 CI送信部、22…ストリーム CI送信部、23…RTSP CI付与部、24…RTSP CI格納部、25…CI有無判定部、26…RTSP CI受信部、27…RTP CI受信部、30…RTP/RTSPシステム、31…RTSP CI送信部、32…RTP CI送信部、40…MPEG-4 Videoストリームデータ、41…MPEG-4 VOP。
DESCRIPTION OF
Claims (3)
RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタからMPEG-4構成情報を受信し検出するRTSP構成情報受信部と、
RTSP構成情報受信部にて検出したMPEG-4構成情報を格納するRTSP構成情報格納部と、
RTSP構成情報受信部にて検出したMPEG-4構成情報をH.245信号の第2のパラメタに付与し、3G-324M端末へ送信するH.245構成情報送信部と、
RTP/RTSPシステムから受信する最初のRTPパケットを受信するRTP構成情報受信部と、
RTP構成情報受信部にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4構成情報が格納されているか否かをMPEG-4構成情報のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する構成情報有無判定部と、
構成情報有無判定部にてMPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたとき、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4構成情報をMPEG-4 VOPの前に格納するRTSP構成情報付与部と、
構成情報有無判定部にてMPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときは構成情報有無判定部からのMPEG-4 Videoストリームデータを、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときはRTSP構成情報付与部からのMPEG-4 Videoストリームデータを、3G-324M端末へ送信するストリーム構成情報送信部と
を備える中継システム。 A relay system that relays MPEG-4 configuration information notification from an RTP / RTSP system to a 3G-324M terminal,
Receives MPEG-4 configuration information from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part received from the RTP / RTSP system when establishing an RTP / RTSP session with the RTP / RTSP system. RTSP configuration information receiving unit to detect;
RTSP configuration information storage unit for storing MPEG-4 configuration information detected by the RTSP configuration information receiving unit;
An H.245 configuration information transmission unit that adds the MPEG-4 configuration information detected by the RTSP configuration information reception unit to the second parameter of the H.245 signal and transmits the second parameter to the 3G-324M terminal;
An RTP configuration information receiver for receiving the first RTP packet received from the RTP / RTSP system;
Whether the MPEG-4 configuration information is stored at the head of the MPEG-4 Video stream data in the RTP packet acquired by the RTP configuration information receiving unit, the start code of the MPEG-4 configuration information and the MPEG-4 Video stream data A configuration information presence / absence determination unit that is determined by a matching search with
When the MPEG-4 configuration information is determined not to be stored at the beginning of the MPEG-4 Video stream data by the configuration information presence / absence determination unit, the MPEG-4 VOP (Video Object Plane) start code and the MPEG-4 Video stream The first MPEG-4 VOP in the MPEG-4 Video stream data is detected by matching search with the data, the stream data from the beginning of the MPEG-4 Video stream data to the detected MPEG-4 VOP is discarded, and RTSP RTSP configuration information adding unit for storing MPEG-4 configuration information stored in the configuration information storage unit before the MPEG-4 VOP;
When the configuration information presence / absence determination unit determines that the MPEG-4 configuration information is stored at the beginning of the MPEG-4 Video stream data, the MPEG-4 Video stream data from the configuration information presence / absence determination unit is converted to MPEG-4. A stream configuration information transmitting unit for transmitting MPEG-4 Video stream data from the RTSP configuration information adding unit to the 3G-324M terminal when it is determined that the configuration information is not stored at the beginning of the MPEG-4 Video stream data; A relay system comprising:
前記RTP/RTSPシステムは、
前記中継システムとのRTP/RTSPセッション確立時に前記中継システムへ送信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタにMPEG-4構成情報を付与・送信するRTSP構成情報送信部と、
前記中継システムへ送信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4構成情報を付与・送信するRTP構成情報送信部とを備え、
前記3G-324M端末は、
前記中継システムとの映像データチャネル開設時に、前記中継システムから受信するH.245信号の第2のパラメタからMPEG-4構成情報を受信し検出するH.245構成情報受信部と、
前記中継システムからの映像データ受信時のMPEG-4 Videoストリームデータの先頭からMPEG-4構成情報を受信し検出するストリーム構成情報受信部とを備え、
前記中継システムは、
前記RTP/RTSPシステムとのRTP/RTSPセッション確立時に前記RTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタからMPEG-4構成情報を受信し検出するRTSP構成情報受信部と、
RTSP構成情報受信部にて検出したMPEG-4構成情報を格納するRTSP構成情報格納部と、
RTSP構成情報受信部にて検出したMPEG-4構成情報をH.245信号の第2のパラメタに付与し、前記3G-324M端末へ送信するH.245構成情報送信部と、
前記RTP/RTSPシステムから受信する最初のRTPパケットを受信するRTP構成情報受信部と、
RTP構成情報受信部にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4構成情報が格納されているか否かをMPEG-4構成情報のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する構成情報有無判定部と、
構成情報有無判定部にてMPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたとき、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4構成情報をMPEG-4 VOPの前に格納するRTSP構成情報付与部と、
構成情報有無判定部にてMPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときは構成情報有無判定部からのMPEG-4 Videoストリームデータを、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときはRTSP構成情報付与部からのMPEG-4 Videoストリームデータを、3G-324M端末へ送信するストリーム構成情報送信部とを備える、
ことを特徴とする構成情報通知システム。 A configuration information notification system including an RTP / RTSP system, a 3G-324M terminal, and a relay system that relays MPEG-4 configuration information notification from the RTP / RTSP system to the 3G-324M terminal. ,
The RTP / RTSP system is
MPEG-4 configuration information is added to and transmitted from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part transmitted to the relay system when the RTP / RTSP session with the relay system is established. RTSP configuration information transmission unit;
An RTP configuration information transmitting unit for adding and transmitting MPEG-4 configuration information at the beginning of the MPEG-4 Video stream data in the first RTP packet to be transmitted to the relay system;
The 3G-324M terminal is
An H.245 configuration information receiving unit for receiving and detecting MPEG-4 configuration information from a second parameter of an H.245 signal received from the relay system when a video data channel is established with the relay system;
A stream configuration information receiving unit that receives and detects MPEG-4 configuration information from the beginning of MPEG-4 Video stream data when receiving video data from the relay system;
The relay system is
MPEG-4 configuration information from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part received from the RTP / RTSP system when the RTP / RTSP session is established with the RTP / RTSP system. RTSP configuration information receiving unit for receiving and detecting;
RTSP configuration information storage unit for storing MPEG-4 configuration information detected by the RTSP configuration information receiving unit;
An H.245 configuration information transmission unit that adds MPEG-4 configuration information detected by the RTSP configuration information reception unit to a second parameter of the H.245 signal and transmits the second parameter to the 3G-324M terminal;
An RTP configuration information receiver for receiving an initial RTP packet received from the RTP / RTSP system;
Whether the MPEG-4 configuration information is stored at the head of the MPEG-4 Video stream data in the RTP packet acquired by the RTP configuration information receiving unit, the start code of the MPEG-4 configuration information and the MPEG-4 Video stream data A configuration information presence / absence determination unit that is determined by a matching search with
When the MPEG-4 configuration information is determined not to be stored at the beginning of the MPEG-4 Video stream data by the configuration information presence / absence determination unit, the MPEG-4 VOP (Video Object Plane) start code and the MPEG-4 Video stream The first MPEG-4 VOP in the MPEG-4 Video stream data is detected by matching search with the data, the stream data from the beginning of the MPEG-4 Video stream data to the detected MPEG-4 VOP is discarded, and RTSP RTSP configuration information adding unit for storing MPEG-4 configuration information stored in the configuration information storage unit before the MPEG-4 VOP;
When the configuration information presence / absence determination unit determines that the MPEG-4 configuration information is stored at the beginning of the MPEG-4 Video stream data, the MPEG-4 Video stream data from the configuration information presence / absence determination unit is converted to MPEG-4. A stream configuration information transmitting unit for transmitting MPEG-4 Video stream data from the RTSP configuration information adding unit to the 3G-324M terminal when it is determined that the configuration information is not stored at the beginning of the MPEG-4 Video stream data; Comprising
A configuration information notification system characterized by that.
RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタからMPEG-4構成情報を受信し検出するステップと、
RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタから検出したMPEG-4構成情報をRTSP構成情報格納部に格納するステップと、
RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第1のパラメタから検出したMPEG-4構成情報をH.245信号の第2のパラメタに付与し、3G-324M端末へ送信するステップと、
RTP/RTSPシステムから受信する最初のRTPパケットを受信するステップと、
RTP/RTSPシステムから受信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4構成情報が格納されているか否かを、MPEG-4構成情報のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定するステップと、
前記判定ステップにて、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときには当該MPEG-4 Videoストリームデータを3G-324M端末へ送信し、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときには、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4構成情報をMPEG-4 VOPの前に格納し、格納後のMPEG-4 Videoストリームデータを3G-324M端末へ送信するステップと
を有する構成情報通知方法。 A configuration information notification method for a relay system to notify MPEG-4 configuration information from an RTP / RTSP system to a 3G-324M terminal,
Receives MPEG-4 configuration information from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part received from the RTP / RTSP system when establishing an RTP / RTSP session with the RTP / RTSP system. Detecting step;
Storing MPEG-4 configuration information detected from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body portion in the RTSP configuration information storage unit;
The MPEG-4 configuration information detected from the first parameter of the MPEG-4 Video media descriptor in the SDP session information of the RTSP method body part is added to the second parameter of the H.245 signal and transmitted to the 3G-324M terminal. And steps to
Receiving the first RTP packet received from the RTP / RTSP system;
Whether the MPEG-4 video stream data is stored at the beginning of the MPEG-4 video stream data in the first RTP packet received from the RTP / RTSP system, the start code of the MPEG-4 video stream information and the MPEG-4 video stream Determining by matching search with data;
When it is determined in the determining step that the MPEG-4 configuration information is stored at the beginning of the MPEG-4 Video stream data, the MPEG-4 Video stream data is transmitted to the 3G-324M terminal, and the MPEG-4 configuration information is transmitted. When it is determined that the information is not stored at the beginning of the MPEG-4 Video stream data, the MPEG-4 Video stream is searched by matching between the MPEG-4 VOP (Video Object Plane) start code and the MPEG-4 Video stream data. The first MPEG-4 VOP in the data is detected, the stream data from the beginning of the MPEG-4 Video stream data to the detected MPEG-4 VOP is discarded, and the MPEG- stored in the RTSP configuration information storage unit Storing the configuration information before the MPEG-4 VOP and transmitting the stored MPEG-4 Video stream data to the 3G-324M terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003315656A JP4339654B2 (en) | 2003-09-08 | 2003-09-08 | Relay system and configuration information notification method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003315656A JP4339654B2 (en) | 2003-09-08 | 2003-09-08 | Relay system and configuration information notification method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005086431A true JP2005086431A (en) | 2005-03-31 |
JP4339654B2 JP4339654B2 (en) | 2009-10-07 |
Family
ID=34415846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003315656A Expired - Fee Related JP4339654B2 (en) | 2003-09-08 | 2003-09-08 | Relay system and configuration information notification method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4339654B2 (en) |
-
2003
- 2003-09-08 JP JP2003315656A patent/JP4339654B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4339654B2 (en) | 2009-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3285491B1 (en) | Method and apparatus for transmitting or receiving service signaling for broadcasting service | |
US7697559B2 (en) | Communication terminal, server, relay apparatus, broadcast communication system, broadcast communication method, and program | |
KR101501347B1 (en) | Method for tranmiting media content in multimedia system | |
US9369508B2 (en) | Method for transmitting a scalable HTTP stream for natural reproduction upon the occurrence of expression-switching during HTTP streaming | |
US20070067807A1 (en) | Methods, systems, and computer program products for providing multimedia information services over a communication network | |
AU2012207704B2 (en) | Apparatus and method for transmitting multimedia data in a broadcast system | |
FI107681B (en) | Method and apparatus for transmitting information to a DVB network | |
US20030046705A1 (en) | System and method for enabling communication between video-enabled and non-video-enabled communication devices | |
CN112771876B (en) | Method and apparatus for retrieving media data and method and apparatus for transmitting media data | |
US11388485B2 (en) | Receiving device, receiving method, transmission device, and transmission method | |
WO2016080234A1 (en) | Transmission device, transmission method, reception device and reception method | |
KR102349451B1 (en) | The method for transmitting or receiving multimedia and apparatus thereof | |
JP4339654B2 (en) | Relay system and configuration information notification method | |
US20210306703A1 (en) | Determination of availability of chunks of data for network streaming media data | |
US20240259454A1 (en) | Method, An Apparatus, A Computer Program Product For PDUs and PDU Set Handling | |
KR100657096B1 (en) | Synchronization apparatus and method for audio and video of portable terminal | |
JP7204615B2 (en) | CONTENT TRANSMISSION DEVICE, TRANSMISSION METHOD | |
JP7249916B2 (en) | CONTENT TRANSMISSION DEVICE, TRANSMISSION METHOD | |
JP7225063B2 (en) | CONTENT TRANSMISSION DEVICE, TRANSMISSION METHOD | |
JP7214596B2 (en) | CONTENT TRANSMISSION DEVICE, TRANSMISSION METHOD | |
KR101883554B1 (en) | Scheduling Method for Transmitting Signal Message over MMT-based Broadcast | |
TW202423095A (en) | Automatic generation of video content in response to network interruption | |
KR20240027435A (en) | Real-time data transmitting/receiving method and apparatus therefor | |
JP2005223471A (en) | Communication system using ip network | |
KR20130058541A (en) | Packet generation apparatus and method in mpeg media transport system enable to support an group communication |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090702 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |