JP2003283557A - 音声データ送受信方式 - Google Patents

音声データ送受信方式

Info

Publication number
JP2003283557A
JP2003283557A JP2002080707A JP2002080707A JP2003283557A JP 2003283557 A JP2003283557 A JP 2003283557A JP 2002080707 A JP2002080707 A JP 2002080707A JP 2002080707 A JP2002080707 A JP 2002080707A JP 2003283557 A JP2003283557 A JP 2003283557A
Authority
JP
Japan
Prior art keywords
voice
file
audio
voice data
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002080707A
Other languages
English (en)
Other versions
JP3821740B2 (ja
Inventor
Takayuki Tsutsumi
貴之 堤
Yoshikazu Kobayashi
佳和 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Infrontia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Infrontia Corp filed Critical NEC Infrontia Corp
Priority to JP2002080707A priority Critical patent/JP3821740B2/ja
Priority to EP02021733A priority patent/EP1351465B1/en
Priority to DE60216228T priority patent/DE60216228T2/de
Priority to US10/254,760 priority patent/US8630282B2/en
Priority to AU2002301355A priority patent/AU2002301355B2/en
Priority to CA002405678A priority patent/CA2405678C/en
Priority to TW091122581A priority patent/TW578414B/zh
Publication of JP2003283557A publication Critical patent/JP2003283557A/ja
Application granted granted Critical
Publication of JP3821740B2 publication Critical patent/JP3821740B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Use Of Switch Circuits For Exchanges And Methods Of Control Of Multiplex Exchanges (AREA)

Abstract

(57)【要約】 【課題】データ送信経路におけるパケット損失を低減
し、音切れの無い送信元と同じ音声品質で音声通話する
ことができる音声データ送受信方式を提供する。 【解決手段】音声データをパケットデータとしてネット
ワークを介して送受信するＩＰ電話等の音声データ送受
信方式であり、送信側からは、通話音声のうち話頭検出
から無音検出までを一つの区切りとした音声ファイルを
パケット交換して送信し、受信側ではこの音声ファイル
を再生する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、音声データ送受信
方式に関し、特にインターネット等の非ＱｏＳ保証ネッ
トワークを経由した音声通信における音声品質を改善し
た音声データ送受信方式に関する。
【０００２】
【従来の技術】今や国境を完全に越えて全世界で共通利
用されているインターネットは、ホームページ閲覧、電
子メール、ファイル転送のような従来からのアプリケー
ション以外に電子商取引やインターネット電話（ＩＰ電
話：インターネットプロトコル電話）が注目を浴びてい
る。これは、電話網における回線交換を中心とするネッ
トワークだけでなく、パケット交換によるＩＰネットワ
ークの急激な進展が大きな原因となっている。
【０００３】ＩＰ電話通信は、音声（又はＦＡＸ）デー
タを含む各種データ（静止画、動画、データ等）をＩＰ
パケットに変換し、ＩＰベースのネットワーク内を転送
する通信であり、ネットワークの一部または全部におい
てＩＰネットワーク技術を利用した音声電話サービスが
ＩＰ電話、ＩＰ電話のうちｗｗｗ等のアプリケーション
に利用されているものと同じＩＰネットワーク（インタ
ーネットプロトコルにより通信を行う通信網）を利用す
るものがインターネット電話とされている。
【０００４】ＩＰ電話には、次のような３つの方式があ
る。インターネット上にダイヤルアップ接続したパソコ
ン間で音声メッセージをやり取りする第１の方式では、
両パソコンにはそのための同じソフトウエアをインスト
ールし、同時にパソコンがサーバに接続されている必要
がある。また、パソコンから一般加入電話機に電話をか
ける（逆は不可）第２の方式では、予め双方で約束して
おかないと通話ができない。更に、一般加入電話機間の
通話を行なう第３の方式は、インターネット網と公衆回
線交換機との接続点にインターネット電話用ゲートウエ
イ経由でユーザＩＤとＰＩＮを入力して通信する方式
と、インターネット直結型端末による通信があり、現在
の電話通信方式に最も近く、その技術的進展は著しいも
のがある。
【０００５】
【発明が解決しようとする課題】ところで、通信品質Ｑ
ｏＳ（Quality of Service）が保証されないインターネ
ットやローカルネットワーク等のＩＰネットワークを介
したＩＰによる音声通信においては、ＵＤＰプロトコル
のＲＴＰを用いた音声データの送受信が一般的である。
このとき、音声通話や動画再生はデータのリアルタイム
性を重要視してＲＴＰを用いているが、ＲＴＰは通信経
路で発生するパケットロスに対する対処が無く、途中で
失われたパケットは再送されず、音声の途切れ等、音声
品質に問題がある。
【０００６】この問題に対処するため、従来は、パケッ
トがロスしても音声が途切れないように前後のパケット
データも付加して送信し、これらデータに基づく補間処
理を行なう方式が提案されている。しかしながら、音声
以外のデータ通信が頻繁に流れている環境においては、
音声パケットのロスが著しく、補間を用いても音声品質
の劣化が大きすぎて会話にならない場合がある。
【０００７】そこで、本発明の目的は、音切れの無い音
声データ通信が可能となる音声データ送受信方式を提供
することにある。
【０００８】本発明の他の目的は、データ送信経路にお
けるパケット損失を低減し、送信元と同じ音声品質で音
声通話することができる音声データ送受信方式を提供す
ることにある。
【０００９】本発明の更に他の目的は、特別な設定無し
にルータを越えた音声通話ができる音声データ送受信方
式を提供することにある。
【００１０】
【課題を解決するための手段】前述の課題を解決するた
め、本発明による音声データ送受信方式は、次のような
特徴的な構成を採用している。
【００１１】（１）音声データをパケットデータとして
ネットワークを介して送受信する音声データ送受信方式
において、送信側では、通話音声のうち話頭検出から無
音検出までを一つの区切りとした音声ファイルをパケッ
ト交換して送信し、受信側では、受信した音声データを
音声出力する音声データ送受信方式。
【００１２】（２）前記音声データはＨＴＴＰプロトコ
ルで送信する上記（１）の音声データ送受信方式。
【００１３】（３）前記音声ファイルの最後に任意の通
知音を付加して送信する上記（１）乃至（２）のいずれ
かの音声データ送受信方式。
【００１４】（４）前記音声データに所定のヘッダを付
加し、受信側では前記所定のヘッダを検出した音声デー
タのみを音声処理する上記（１）乃至（３）の音声デー
タ送受信方式。
【００１５】（５）発声中に受信した音声データは前記
記録装置に蓄積しておき、発話終了後に蓄積された音声
データを再生する上記（１）乃至（４）のいずれかの音
声データ送受信方式。
【００１６】（６）前記ＨＴＴＰファイルに音声専用に
定義したヘッダを付加して送信し、受信側では、ＨＴＴ
Ｐファイルの前記ヘッダから音声データを含むＨＴＴＰ
ファイルとそれ以外を振り分ける上記（２）の音声デー
タ送受信方式。
【００１７】（７）音声ファイルの送信と受信を同時に
行わず、交互に音声を送信するように送信権を付加した
パケットを音声ファイルの最後に送信し、受信側は送信
権を含んだパケットを受信するまでは送信を待機する上
記（１）乃至（６）のいずれかの音声データ送受信方
式。
【００１８】（８）前記音声ファイルが一定の長さにな
った場合は、音声ファイルを一定サイズに分割し、分割
ファイルであることを示すヘッダを付加して送信し、受
信側では、このヘッダに基づいて分割ファイルを結合し
て途切れない音声通信を可能とする上記（１）乃至
（７）のいずれかの音声データ送受信方式。
【００１９】（９）前記ネットワークは、非ＱｏＳ保証
ネットワークである上記（１）乃至（８）のいずれかの
音声データ送受信方式。
【００２０】（１０）前記非ＱｏＳ保証ネットワーク
は、インターネットである上記（９）の音声データ送受
信方式。
【００２１】（１１）インターネットやＬＡＮなどのＩ
Ｐネットワークを介したＩＰによる音声データ通信を行
う音声データ送受信方式において、音声の入出力部と、
通話音声の話頭と無音を検出するレベル検出回路と、前
記レベル検出回路で検出された話頭と無音間の音声デー
タを一区切りとした音声ファイルを蓄積する記録装置
と、前記記録装置から読み出した音声データパケット変
換するパケット変換部と、パケット変換された音声パケ
ットのＩＰネットワークに対する送受信を行うＬＡＮイ
ンタフェース部と、を備えて成る音声データ送受信方
式。
【００２２】（１２）ＨＴＴＰプロトコルによるデータ
通信を制御するＨＴＴＰ制御回路と、前記記録装置に蓄
積されている音声データにＨＴＴＰに基づいてＨＴＴＰ
ファイルの生成及びＨＴＴＰファイルからの音声データ
を抽出を行い、ＨＴＴＰの通信はＴＣＰ／ＩＰのコネク
ション上で行われ、堅固なチャネル及びＩＰ網のファイ
アウォールを越えた音声通信を可能とする上記（１１）
の音声データ送受信方式。
【００２３】（１３）前記音声ファイルの最後に任意の
通知音を付加して通信相手に現通話が前記ＨＴＴＰによ
る通信方式で送信されていることを通知する上記（１
２）の音声データ送受信方式。
【００２４】（１４）パケットロスの可能性の高いパケ
ットデータを判断し、その前のパケットとともに再送信
する上記（１）乃至（１３）のいずれかの音声データ送
受信方式。
【００２５】
【発明の実施の形態】以下、本発明による音声データ送
受信方式の好適実施形態例について添付図を参照して説
明する。図１は本発明による音声データ送受信方式の一
実施形態例を示すブロック図である。
【００２６】例えば、ＩＰ電話機である音声データ送受
信方式１と４が、ＩＰネットワーク網２とファイアウォ
ール３を介して接続され、ＩＰによる音声通信を行う。
音声データ送受信方式１と４は、それぞれ音声入出力ブ
ロック１１、レベル検出回路１２、ＬＡＮインタフェー
ス回路１３、音声ファイル処理ブロック１４、タイマー
１５及び記録装置１６を備える。
【００２７】音声入出力ブロック１１は、マイク等の音
声入力装置１１１とスピーカ等の音声出力装置１１２を
有する。また、音声ファイル処理ブロック１４は、各種
音声データの処理を行う回路で、音声データに音声ファ
イルの終了を示す音を付加する終了音付加回路１４１、
音声データにヘッダを付加して音声パケットを生成する
パケット交換回路１４２、データのヘッダを解析するヘ
ッダ解析回路１４３、制御回路１４４、ＴＣＰ/ＩＰヘ
ッダ情報に基づいて通話品質劣化を判断してロスが生ず
る可能性の高いパケット情報等を再送する再送処理回路
１４５、生成した音声ファイルにＨＴＴＰプロトコルヘ
ッダを付加するＨＴＴＰ制御回路１４６及びタイマー１
５で予め定めた時間以上無音を検出しない場合に、音声
データを分割する音声分割結合回路１４７を有する。
【００２８】制御回路１４４は、音声データ送受信方式
１の全体を制御する。ＬＡＮインタフェース回路１３
は、１０Ｂａｓｅ―Ｔや１００Ｂａｓｅ−Ｔ等の周知の
ＬＡＮ／ＩＦが使用されるが、ＩＥＥＥ８０２．１１に
代表される無線ＬＡＮ／ＩＦでも良い。
【００２９】図１において、ＩＰネットワーク網２から
ＬＡＮインタフェース回路１３を介して受信した受話デ
ータは、ヘッダ解析回路１４３で当該データのヘッダが
解析され、解析されたヘッダが予め定めたヘッダと一致
する場合、本発明による方式で送信した音声ファイルと
判断して当該ヘッダを含む音声データを記録装置１６に
送出して記録する。このデータの記録により１ファイル
分データが蓄積されると、１ファイル分のデータが音声
出力装置１１２に送出されて音声が出力される。
【００３０】一方、発話データは音声入力装置１１１か
ら音声データとして入力される。音声入力装置１１１か
らの音声データは、レベル検出回路１２で所定のスレッ
シュホールドと比較され、発話の話頭検出のためのスレ
ッシュホールド以上になったときに発話の話頭として、
無音検出のためのスレッシュホールド以下になったとき
に無音としてそれぞれ検出される。こうして検出された
話頭から無音までのデータが記録装置１６で蓄積され
る。無音が検出されると、ＨＴＴＰ制御装置１４６によ
り予め定めたＨＴＴＰヘッダを付加して通話先へ送信す
る。
【００３１】再送処理回路１４５は、ヘッダ解析回路１
４３で得たＴＣＰ/ＩＰヘッダ情報に含まれるタイムス
タンプや単位時間あたりの再送数等の情報を参照して、
ネットワーク経路が長く、音声データのパケットの遅
延、パケットロスが生じ、通話品質が劣化している状態
を判断して、当該ロスの可能性の高いパケットを、その
前のパケット等とともに、再送信する。
【００３２】音声分割結合回路１４７は、長時間の音声
ファイルによって記憶装置１６のリソースの問題と、蓄
積時間の増加による遅延時間の増加を防ぐため、音声フ
ァイルが一定の長さになった場合は、音声ファイルを一
定サイズに分割し、分割ファイルであることを示すヘッ
ダを付加して送信することで、受信側でのデータの結合
を確実にし、途切れのない音声通信を可能とする。
【００３３】図２と図３には、本発明の実施形態におけ
る音声送信時の動作処理手順と音声受信時の動作処理手
順が示されている。
【００３４】以下、図１乃至図３を参照しながら本発明
の実施形態の構成及び動作を説明する。音声送信時に
は、図２に示すように、インターネットやＬＡＮなどの
ＩＰネットワーク網２を介したＩＰによる音声データ通
信を行う音声データ送受信方式１は、音声入力装置１１
１から入力された音声データ通信の音声データをレベル
検出回路１２に送信する。レベル検出回路１２は、音声
データのレベルをモニターし、予め定めたレベル（Ｘ
Ｘ）より大きい場合（ステップＳ１）、送話開始として
音声データを記録装置１６へ送信して蓄積する（ステッ
プＳ２）とともに、タイマー１５を起動する（ステップ
Ｓ７）。また、音声データのレベルが一定時間予め定め
たレベルを下回った場合、無音と判断し（ステップＳ
３）、記録装置１６への音声データの送信を停止し、終
了音付加回路１４１により記録装置１６に蓄積された音
声ファイルの最後に任意の通知音である終了音を付加し
て通信相手に現通話がＨＴＴＰによる通信方式で送信さ
れていることを通知する（ステップＳ４）。ＨＴＴＰ制
御回路１４６は、生成された音声ファイルにＨＴＴＰプ
ロトコルヘッダを付加して送信する（ステップＳ５）。
【００３５】送話開始から無音までの音声データを蓄積
した記録装置１６は、送話開始から無音までの音声デー
タを一区切りとした音声ファイルとしてパケット変換回
路１４２へ送信する。音声ファイルを受信したパケット
変換回路１４２は、音声ファイルをＩＰパケット化し、
ＬＡＮインタフェース回路１３へ送信する。ＬＡＮイン
タフェース回路１３は、相手音声データ送受信方式４へ
ＩＰネットワーク網２を介して送信して（ステップＳ
６）、処理を終了する。
【００３６】また、ステップＳ３において、無音を検出
していない状態（音声レベルが一定レベルより小さくな
い状態）では、タイマー１５を起動し、ステップＳ８に
おいて、通話時間が所定時間（○○秒）を越えたかを否
かを判定する。ここで、越えていなければ、ステップＳ
２の処理に戻って音声データを蓄積し、越えていれば、
音声分割結合回路１４７により音声を分割し、分割音声
データに分割ファイルであることを示す分割ファイルヘ
ッダを付加して（ステップＳ９）、タイマー１５をリセ
ットする（ステップＳ１０）とともに、ステップＳ５に
移行してＨＴＴＰヘッダを付加する処理を実行する。
【００３７】すなわち、レベル検出回路１２で音声入力
を検出した場合（ステップＳ１）、音声ファイル処理ブ
ロック１４における処理で話頭からレベル検出回路１２
が無音を検出するまで音声データを記録装置１６に蓄積
し（ステップＳ２）、無音を検出後（ステップＳ３）、
話頭から無音までの音声データを一区切りとした音声フ
ァイルとする。ＨＴＴＰプロトコルによるデータ通信を
制御するＨＴＴＰ制御回路１４６は、記録装置１６に蓄
えられている音声ファイルにＨＴＴＰに基づいてＨＴＴ
Ｐファイルを生成し（ステップＳ５）、ＬＡＮインタフ
ェース回路１３から相手音声データ送受信方式へ送信す
る（ステップＳ６）。このように、ＨＴＴＰの通信はＴ
ＣＰ／ＩＰのコネクション上で行われ、堅固なチャネル
及びＩＰ網のファイアウォールを越えた音声通信を可能
にする
【００３８】音声ファイル処理ブロック１４は、パケッ
ト再送処理回路１４５を含み、ネットワークの経路が長
く音声データのパケットが遅延、パケットロスが起き、
通話品質の劣化が起こる場合、ヘッダ解析回路１４３で
ＴＣＰ／ＩＰヘッダ情報を参照し、タイムスタンプや単
位時間あたりの再送数から再送処理回路１４５が前方再
送、再送分を含んだパケット生成し送信する。
【００３９】また、記憶装置１６は、ＩＰ網の通信品質
劣化等による音声ファイルの遅延が発生した場合でか
つ、遅延により音声ファイルの再生が受信側の発声と重
なり、通話の妨げになっている場合、発声中に音声ファ
イルを受信しても受信データを記録装置１６に蓄積して
おき、発話終了後に貯めた音声データを再生すること
で、音声ファイルの遅延による会話の輻輳を防ぐ。
【００４０】音声ファイル処理ブロック１４は、ネット
ワークの品質劣化による遅延が音声ファイルの送信、受
信の輻輳を引き起こし会話が成り立たない場合、音声フ
ァイルの送信と受信を同時に行わず、交互に音声を送信
するように送信権を付加したパケットを音声ファイルの
最後に送信し、受信側は送信権を含んだパケットを受信
するまで送信を待機する。
【００４１】一方、音声データ送受信方式１から送信さ
れた音声ファイルを受信した音声データ送受信方式４
は、図３に示すように、ヘッダ解析回路１４３でデータ
のヘッダを解析し、予め定めたヘッダと一致する場合、
記録装置１６に音声データを蓄積し、１つの音声ファイ
ルとして受信が終了するとスピーカ等の音声出力装置１
１２から音声を出力する。
【００４２】ここで、記録装置１６は、受信した音声フ
ァイルが全て受信していなくても予め定めたバイト（Ｂ
ｙｔｅ）量受信した時点で音声出力装置１１２に送信し
てもよい。
【００４３】すなわち、受話側の音声データ送受信方式
４は、ステップＳ２１において受信したデータのヘッダ
をヘッダ解析回路１４３で解析し、音声データを含むＨ
ＴＴＰファイルとそれ以外を振り分けるため、得られた
ヘッダを参照してＨＴＴＰファイルか、音声データファ
イルかを判定する（ステップＳ２２、Ｓ２３）。
【００４４】ＨＴＴＰファイルで且つ音声データ付加フ
ァイルである場合には、ヘッダ解析回路１４３により、
当該ファイルは分割ファイルか否かを判定する（ステッ
プＳ２４）。ここで、分割ファイルであれば、分割ヘッ
ダを削除して（ステップＳ２５）、記録装置１６にデー
タを蓄積し（ステップＳ２６）、すべてのデータ受信を
終了したか否か、すなわち、分割ファイルデータが揃っ
たか否かを判定し（ステップＳ２７）、予め定めたヘッ
ダの音声データを記録装置１６に蓄積し（ステップＳ２
８）、終了していれば、音声出力装置１１２で音声を出
力して（ステップＳ２９）、処理を終了する。
【００４５】一方、ステップＳ２２とＳ２３において、
ＨＴＴＰファイルや音声データ付加ファイルであれば、
処理を終了する。また、ステップＳ２４において、分割
ファイルでないと判定されると、予め定めたサイズのデ
ータを蓄積する（ステップＳ２８）と、音声出力装置１
１２へ送信（ステップＳ２９）し、音声が繋がる。
【００４６】図４は本発明による音声データ送受信方式
の他の実施形態例を示すブロック図である。本実施形態
は、上述実施形態におけるレベル検出回路１２による送
話開始の検出、無音の検出を、オペレータが手動で送話
開始と送話終了を行うスイッチ回路で行う例である。
【００４７】本実施形態は、図１に示す実施形態の構成
におけるレベル検出回路１２の代わりに、通信スイッチ
１７、終了音検出回路１８及び送信表示回路１９を備え
ている。各音声データ送受信方式１と４は、図１と同様
なそれぞれ音声入出力ブロック１１、レベル検出回路１
２、ＬＡＮインタフェース回路１３、音声ファイル処理
ブロック１４、タイマー１５及び記録装置１６を備え
る。また、図１と同様に、音声入出力ブロック１１は、
音声入力装置１１１と音声出力装置１１２を有し、音声
ファイル処理ブロック１４は、終了音付加回路１４１、
パケット交換回路１４２、ヘッダ解析回路１４３、制御
回路１４４、再送処理回路１４５、ＨＴＴＰ制御回路１
４６及び音声分割結合回路１４７を有する。
【００４８】通信スイッチ１７は、送信時には、音声入
力開始を指示して、音声入力装置１１１からの入力音声
信号を音声ファイル処理ブロック１４に送出し、受信時
には、音声ファイル処理ブロック１４からの出力信号を
終了音検出回路１８を介して音声出力装置１１２に送出
する。終了音検出回路１８は、ＬＡＮインタフェース回
路１３、音声ファイル処理ブロック１４、通信スイッチ
１７を介して受信した受信データから、送信側の終了音
付加回路１４１で付加された終了音を検出し、当該音声
データ送受信方式が送信可能状態、受信可能状態等であ
ることを検出することができる。送信表示回路１９は、
終了音検出回路１８からの信号等に基づいて当該音声デ
ータ送受信方式が送信状態にあるか、受信状態にある
か、更にはその他の状態情報を表紙する。
【００４９】図５には、図４に示す実施形態における音
声送信時の処理手順が示されている。図５の処理手順の
うち、ステップＳ３１〜Ｓ３３が図２に示すステップＳ
１〜Ｓ３と異なり、他の処理ステップＳ３４〜Ｓ４０は
図２に示す処理ステップＳ４〜Ｓ１０と同様な処理であ
る。
【００５０】さて、図５のステップＳ３１において、音
声データ入力が開始されると（ステップＳ３１）、記録
装置１６に音声データを蓄積する（ステップＳ３２）と
ともにタイマー１５を起動する（ステップＳ３７）。次
に、スイッチ検出回路が通信スイッチ１７の送信ボタン
の押下を検出すると（ステップＳ３３）、終了音付加回
路１４１により終了音を付加する（ステップＳ３４）。
ＨＴＴＰ制御回路１４６は、生成された音声ファイルに
ＨＴＴＰプロトコルヘッダを付加する（ステップＳ３
５）。
【００５１】送話開始から無音までの音声データを蓄積
した記録装置１６は、送話開始から無音までの音声デー
タを一区切りとした音声ファイルとしてパケット変換回
路１４２へ送信する。音声ファイルを受信したパケット
変換回路１４２は、音声ファイルをＩＰパケット化し、
ＬＡＮインタフェース１３へ送信する。ＬＡＮインタフ
ェース１３は、相手音声データ送受信方式４へＩＰネッ
トワーク網２を介して送信して（ステップＳ３６）、処
理を終了する。
【００５２】ステップＳ３３において、送信ボタンが押
下されていないときには、タイマー１５を起動し、通話
時間が所定時間（○○秒）を越えたかを否かを判定する
（ステップＳ３８）。ここで、越えていなければ、ステ
ップＳ３２の処理に戻って音声データを蓄積し、越えて
いれば、音声分割結合回路１４７により音声を分割し分
割ファイルヘッダを付加して（ステップＳ３９）、タイ
マー１５をリセットするとともに、ステップＳ３５に移
行してＨＴＴＰヘッダを付加する処理を実行する。
【００５３】図６には、本発明の更に他の実施形態にお
ける処理手順が示されている。第１の音声データ送受信
方式と第２の音声データ送受信方式間で通信を行う場
合、第１の音声データ送受信方式の状態送信スイッチを
ＯＮすると（ステップＳ５１）、音声データに送信権
（終了音）が付加されたデータを第２の音声データ送受
信方式に送信し（ステップＳ５２）、送信スイッチをＯ
ＦＦする。
【００５４】第２の音声データ送受信方式では、状態送
信スイッチがＯＦＦされており（ステップＳ５３）、受
信したデータから終了音を検出して送信表示回路１９を
ＯＮし（ステップＳ５５）、続いて、状態送信スイッチ
をＯＮし（ステップＳ５６）、分割音声データ１を第１
の音声データ送受信方式に送信する（ステップＳ５
７）。次に、第１の音声データ送受信方式においては、
受信した音声データを蓄積する（ステップＳ５８）。第
２の音声データ送受信方式においては、分割音声データ
２に送信権（終了音）を付加して第１の音声データ送受
信方式に送信する（ステップＳ５９）。
【００５５】以上、本発明による音声データ送受信方式
の好適実施形態の構成および動作を詳述した。しかし、
斯かる実施形態は、本発明の単なる例示に過ぎず、何ら
本発明を限定するものではない。本発明の要旨を逸脱す
ることなく、特定用途に応じて種々の変形変更が可能で
あること、当業者には容易に理解できよう。
【００５６】
【発明の効果】以上説明したように、本発明による音声
データ送受信方式によれば、送話開始から無音までの音
声データを１区切りの音声ファイルとして通話相手音声
データ送受信方式に送信することで、音切れの無い音声
データ通信が可能となる。また、送話開始から無音まで
を自動で検出できる。すなわち、話頭から無音までを１
つのＨＴＴＰファイルとして送信することで、データ送
信経路におけるパケット損失をなくすことが出来、送信
元と同じ音声品質で音声通話することができるだけでな
く、ＨＴＴＰの通信ポート使用しているため特別な設定
無しにルータを越えた音声通話ができるという効果が得
られる。
【図面の簡単な説明】
【図１】本発明による音声データ送受信方式の一実施形
態例を示すブロック図である。
【図２】図１に示す実施形態における音声送信時の動作
処理手順を示す図である。
【図３】図１に示す実施形態における音声受信時の動作
処理手順を示す図である。
【図４】本発明による音声データ送受信方式の他の実施
形態例を示すブロック図である。
【図５】図４に示す実施形態における音声送信時の処理
手順を示す図である。
【図６】本発明による音声データ送受信方式の更に他の
実施形態における処理手順を示す図である。
【符号の説明】
１ 音声データ送受信方式 ２ ＩＰネットワーク ３ ファイアウォール １１ 音声入出力ブロック １２ レベル検出回路 １３ ＬＡＮインタフェース回路 １４ 音声ファイル処理ブロック １５ タイマー １６ 記録装置 １１１ 音声入力装置 １１２ 音声出力装置 １４１ 終了音付加回路 １４２ パケット交換回路 １４３ ヘッダ解析回路 １４４ 制御回路 １４５ 再送処理回路 １４６ ＨＴＴＰ制御回路 １４７ 音声分割結合回路
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5K030 HA08 HB01 HC01 JT01 LA06 5K051 AA02 CC01 DD07 HH27 JJ13

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】音声データをパケットデータとしてネット
    ワークを介して送受信する音声データ送受信方式におい
    て、 送信側では、通話音声のうち話頭検出から無音検出まで
    を一つの区切りとした音声ファイルをパケット交換して
    送信し、受信側では、受信した音声データを音声出力す
    ることを特徴とする音声データ送受信方式。
  2. 【請求項２】前記音声データはＨＴＴＰプロトコルで送
    信することを特徴とする請求項１に記載の音声データ送
    受信方式。
  3. 【請求項３】前記音声ファイルの最後に任意の通知音を
    付加して送信することを特徴とする請求項１乃至２のい
    ずれかに記載の音声データ送受信方式。
  4. 【請求項４】前記音声データに所定のヘッダを付加し、
    受信側では前記所定のヘッダを検出した音声データのみ
    を音声処理することを特徴とする請求項１乃至３に記載
    の音声データ送受信方式。
  5. 【請求項５】発声中に受信した音声データは前記記録装
    置に蓄積しておき、発話終了後に蓄積された音声データ
    を再生すること特徴とする請求項１乃至４のいずれかに
    記載の音声データ送受信方式。
  6. 【請求項６】前記ＨＴＴＰファイルに音声専用に定義し
    たヘッダを付加して送信し、受信側では、ＨＴＴＰファ
    イルの前記ヘッダから音声データを含むＨＴＴＰファイ
    ルとそれ以外を振り分けることを特徴とする請求項２に
    記載の音声データ送受信方式。
  7. 【請求項７】音声ファイルの送信と受信を同時に行わ
    ず、交互に音声を送信するように送信権を付加したパケ
    ットを音声ファイルの最後に送信し、受信側は送信権を
    含んだパケットを受信するまでは送信を待機することを
    特徴とする請求項１乃至６のいずれかに記載の音声デー
    タ送受信方式。
  8. 【請求項８】前記音声ファイルが一定の長さになった場
    合は、音声ファイルを一定サイズに分割し、分割ファイ
    ルであることを示すヘッダを付加して送信し、受信側で
    は、このヘッダに基づいて分割ファイルを結合して途切
    れない音声通信を可能とすることを特徴とする請求項１
    乃至７のいずれかに記載の音声データ送受信方式。
  9. 【請求項９】前記ネットワークは、非ＱｏＳ保証ネット
    ワークであることを特徴とする請求項１乃至８のいずれ
    かに記載の音声データ送受信方式。
  10. 【請求項１０】前記非ＱｏＳ保証ネットワークは、イン
    ターネットである請求項９に記載の音声データ送受信方
    式。
  11. 【請求項１１】インターネットやＬＡＮなどのＩＰネッ
    トワークを介したＩＰによる音声データ通信を行う音声
    データ送受信方式において、 音声の入出力部と、 通話音声の話頭と無音を検出するレベル検出回路と、 前記レベル検出回路で検出された話頭と無音間の音声デ
    ータを一区切りとした音声ファイルを蓄積する記録装置
    と、 前記記録装置から読み出した音声データパケット変換す
    るパケット変換部と、 パケット変換された音声パケットのＩＰネットワークに
    対する送受信を行うＬＡＮインタフェース部と、を備え
    て成ることを特徴とする音声データ送受信方式。
  12. 【請求項１２】ＨＴＴＰプロトコルによるデータ通信を
    制御するＨＴＴＰ制御回路と、 前記記録装置に蓄積されている音声データにＨＴＴＰに
    基づいてＨＴＴＰファイルの生成及びＨＴＴＰファイル
    からの音声データを抽出を行い、ＨＴＴＰの通信はＴＣ
    Ｐ／ＩＰのコネクション上で行われ、堅固なチャネル及
    びＩＰ網のファイアウォールを越えた音声通信を可能と
    することを特徴とする請求項１１に記載の音声データ送
    受信方式。
  13. 【請求項１３】前記音声ファイルの最後に任意の通知音
    を付加して通信相手に現通話が前記ＨＴＴＰによる通信
    方式で送信されていることを通知することを特徴とする
    請求項１２に記載の音声データ送受信方式。
  14. 【請求項１４】パケットロスの可能性の高いパケットデ
    ータを判断し、その前のパケットとともに再送信するこ
    とを特徴とする請求項１乃至１３のいずれかに記載の音
    声データ送受信方式。
JP2002080707A 2002-03-22 2002-03-22 音声データ送受信装置 Expired - Lifetime JP3821740B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2002080707A JP3821740B2 (ja) 2002-03-22 2002-03-22 音声データ送受信装置
DE60216228T DE60216228T2 (de) 2002-03-22 2002-09-25 Sprachübertragungs- und empfangssystem
EP02021733A EP1351465B1 (en) 2002-03-22 2002-09-25 Voice transmitting and receiving system
AU2002301355A AU2002301355B2 (en) 2002-03-22 2002-09-26 Voice Transmitting and Receiving System
US10/254,760 US8630282B2 (en) 2002-03-22 2002-09-26 Voice transmitting and receiving system
CA002405678A CA2405678C (en) 2002-03-22 2002-09-27 Voice transmitting and receiving system
TW091122581A TW578414B (en) 2002-03-22 2002-09-30 Voice transmitting and receiving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002080707A JP3821740B2 (ja) 2002-03-22 2002-03-22 音声データ送受信装置

Publications (2)

Publication Number Publication Date
JP2003283557A true JP2003283557A (ja) 2003-10-03
JP3821740B2 JP3821740B2 (ja) 2006-09-13

Family

ID=28035712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002080707A Expired - Lifetime JP3821740B2 (ja) 2002-03-22 2002-03-22 音声データ送受信装置

Country Status (7)

Country Link
US (1) US8630282B2 (ja)
EP (1) EP1351465B1 (ja)
JP (1) JP3821740B2 (ja)
AU (1) AU2002301355B2 (ja)
CA (1) CA2405678C (ja)
DE (1) DE60216228T2 (ja)
TW (1) TW578414B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839893B2 (en) 2002-12-02 2010-11-23 Nec Infrontia Corporation Voice data transmitting and receiving system

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) * 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
WO2002089414A1 (fr) * 2001-04-25 2002-11-07 Sony Corporation Procede de transmission de donnees et dispositif de transmission de donnees en continu
JP3821740B2 (ja) * 2002-03-22 2006-09-13 Ｎｅｃインフロンティア株式会社 音声データ送受信装置
US8634413B2 (en) * 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US8599704B2 (en) * 2007-01-23 2013-12-03 Microsoft Corporation Assessing gateway quality using audio systems
JP5403678B2 (ja) * 2009-10-21 2014-01-29 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 無線通信端末、無線通信システム及びコンピュータプログラム
US9021565B2 (en) * 2011-10-13 2015-04-28 At&T Intellectual Property I, L.P. Authentication techniques utilizing a computing device
JP6155555B2 (ja) * 2012-05-30 2017-07-05 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置、携帯端末およびその制御方法と制御プログラム
US8630208B1 (en) * 2012-07-24 2014-01-14 Google Inc. Muting of communication session participants
CN111221282A (zh) * 2019-12-27 2020-06-02 深圳世纪扬凡数码科技有限公司 智能语音开关及其设定方法
CN111787051B (zh) * 2020-05-15 2023-06-27 厦门快商通科技股份有限公司 基于语音识别的文件传输方法、系统及移动终端

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4312074A (en) * 1980-02-07 1982-01-19 Motorola, Inc. Method and apparatus for detecting a data signal including repeated data words
US4432089A (en) * 1981-12-24 1984-02-14 Motorola, Inc. Digital loop transceiver for interfacing a digital PABX to a digital subscriber set via a subscriber line
JP2872287B2 (ja) 1989-08-16 1999-03-17 セントラル硝子株式会社 合わせガラスの接着方法並びにその装置
US5675507A (en) * 1995-04-28 1997-10-07 Bobo, Ii; Charles R. Message storage and delivery system
JPH08251229A (ja) 1995-03-09 1996-09-27 Oki Electric Ind Co Ltd 無線通信システム
US5696500A (en) * 1995-08-18 1997-12-09 Motorola, Inc. Multi-media receiver and system therefor
JP3600353B2 (ja) * 1996-03-15 2004-12-15 富士通株式会社 Ａｔｍ網に接続する音声情報サービス装置
US5912958A (en) * 1996-07-16 1999-06-15 Bogen Communications, Inc. On-hold device
US5732216A (en) * 1996-10-02 1998-03-24 Internet Angles, Inc. Audio message exchange system
US6199076B1 (en) * 1996-10-02 2001-03-06 James Logan Audio program player including a dynamic program selection controller
US5915001A (en) * 1996-11-14 1999-06-22 Vois Corporation System and method for providing and using universally accessible voice and speech data files
US6731625B1 (en) * 1997-02-10 2004-05-04 Mci Communications Corporation System, method and article of manufacture for a call back architecture in a hybrid network with support for internet telephony
CN1281045C (zh) * 1997-09-04 2006-10-18 英国电讯有限公司 通信系统
US6157705A (en) * 1997-12-05 2000-12-05 E*Trade Group, Inc. Voice control of a server
JP3075246B2 (ja) 1998-01-26 2000-08-14 日本電気株式会社 音声パケット送受信方法および装置
US6295342B1 (en) * 1998-02-25 2001-09-25 Siemens Information And Communication Networks, Inc. Apparatus and method for coordinating user responses to a call processing tree
JPH11243437A (ja) 1998-02-25 1999-09-07 Matsushita Electric Ind Co Ltd データ通信方法
JPH11331434A (ja) 1998-05-18 1999-11-30 Nippon Telegr & Teleph Corp <Ntt> 音声会議端末，多地点間音声会議制御装置および音声会議端末のプログラム記録媒体
US6215789B1 (en) 1998-06-10 2001-04-10 Merlot Communications Local area network for the transmission and control of audio, video, and computer data
US6970914B1 (en) * 1998-09-11 2005-11-29 L. V. Partners, L.P. Method and apparatus for embedding routing information to a remote web site in an audio/video track
US6567399B1 (en) * 1999-05-05 2003-05-20 3Com Corporation Hi-fidelity line card
US6393107B1 (en) * 1999-05-25 2002-05-21 Lucent Technologies Inc. Method and apparatus for creating and sending structured voicemail messages
US6240391B1 (en) * 1999-05-25 2001-05-29 Lucent Technologies Inc. Method and apparatus for assembling and presenting structured voicemail messages
JP2000349822A (ja) 1999-06-09 2000-12-15 Canon Inc 通信装置、音声パケット制御方法及び記憶媒体
US7133417B1 (en) * 1999-07-02 2006-11-07 Cisco Technology, Inc. Multipath voice switching method and apparatus
US6757256B1 (en) * 1999-08-10 2004-06-29 Texas Instruments Incorporated Process of sending packets of real-time information
US6621834B1 (en) 1999-11-05 2003-09-16 Raindance Communications, Inc. System and method for voice transmission over network protocols
JP3437545B2 (ja) 1999-11-30 2003-08-18 三菱電機株式会社 通話装置アダプタ
US20010048676A1 (en) * 2000-01-07 2001-12-06 Ray Jimenez Methods and apparatus for executing an audio attachment using an audio web retrieval telephone system
US6990529B2 (en) * 2000-02-24 2006-01-24 Zarlink Semiconductor V.N., Inc. Unified algorithm for frame scheduling and buffer management in differentiated services networks
US6385306B1 (en) * 2000-03-02 2002-05-07 John Francis Baxter, Jr. Audio file transmission method
US6672961B1 (en) * 2000-03-16 2004-01-06 Sony Computer Entertainment America Inc. Computer system and method of displaying images
US6507643B1 (en) * 2000-03-16 2003-01-14 Breveon Incorporated Speech recognition system and method for converting voice mail messages to electronic mail messages
US7209473B1 (en) * 2000-08-18 2007-04-24 Juniper Networks, Inc. Method and apparatus for monitoring and processing voice over internet protocol packets
WO2002033990A1 (en) * 2000-10-16 2002-04-25 Giantbear, Inc. A method and system for wireless audio message delivery
US6862568B2 (en) * 2000-10-19 2005-03-01 Qwest Communications International, Inc. System and method for converting text-to-voice
US7233602B2 (en) * 2001-03-22 2007-06-19 Oxford Semiconductor, Inc. Coordination architecture for wireless communication devices using multiple protocols
JP2002300307A (ja) * 2001-03-30 2002-10-11 Omron Corp 音声メッセージ提供装置、音声メッセージ提供方法、音声メッセージ提供プログラム、音声メッセージ提供プログラムを記録した記録媒体および音声メッセージ提供システム
US20030002643A1 (en) * 2001-06-29 2003-01-02 Seibel Richard A. Network-attached interactive unified messaging device
US7139263B2 (en) * 2001-10-19 2006-11-21 Sentito Networks, Inc. Voice over IP architecture
US20030105804A1 (en) * 2001-11-26 2003-06-05 Objectworld Communication system with personalized call handling
JP3821740B2 (ja) * 2002-03-22 2006-09-13 Ｎｅｃインフロンティア株式会社 音声データ送受信装置
US7046771B2 (en) * 2002-05-31 2006-05-16 Oracle International Corp. Method and apparatus for internet protocol voice based telephony communication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839893B2 (en) 2002-12-02 2010-11-23 Nec Infrontia Corporation Voice data transmitting and receiving system

Also Published As

Publication number Publication date
EP1351465A2 (en) 2003-10-08
US20030179745A1 (en) 2003-09-25
AU2002301355A1 (en) 2003-10-09
JP3821740B2 (ja) 2006-09-13
TW578414B (en) 2004-03-01
DE60216228T2 (de) 2007-03-08
EP1351465A3 (en) 2004-03-17
US8630282B2 (en) 2014-01-14
DE60216228D1 (de) 2007-01-04
AU2002301355B2 (en) 2008-03-20
CA2405678C (en) 2008-11-25
CA2405678A1 (en) 2003-09-22
EP1351465B1 (en) 2006-11-22

Similar Documents

Publication Publication Date Title
US7885187B2 (en) System and method for providing unified messaging system service using voice over internet protocol
US7336603B2 (en) Internet telephone system ensuring communication quality and path setting method
EP1667397B1 (en) Handling real-time transport protocol (RTP) media packets in voice over internet protocol (VoIP) terminal
JP4446768B2 (ja) Ｉｐ電話機
JP2001144854A (ja) Ｉｐ網を経由する電話接続方法及び電話接続装置
JP5028427B2 (ja) 緊急呼出しを容易に行うためのコンピュータ関連装置と技術
JP2005137007A (ja) 映像送受信帯域幅及び画質制御機能を持つｉｐ映像端末装置及びその制御方法
JP3821740B2 (ja) 音声データ送受信装置
US8249223B2 (en) Relay apparatus and memory product
JP2003101662A (ja) 通信方法、通信装置および通信端末
JP4228313B2 (ja) ネットワーク制御システム及び輻輳制御方法
EP3541054B1 (en) Call recording system, call recording method, and call recording program
EP1521412A1 (en) Switching between communication systems with circuit and packet switching
US7688763B2 (en) Method for establishing a communication connection in a direct communication network
US7200113B2 (en) Apparatus and method for isochronous network delay compensation
JP3947871B2 (ja) 音声データ送受信方式
JP2005286530A (ja) ルーター
KR100748710B1 (ko) Ｔｃｐ 변환장치를 이용한 네트워크 통신 서비스 방법
JP2001016256A (ja) インターネットテレフォニーシステム
WO2023206910A1 (zh) 基于局域网和广域网的sip对讲方法、系统及存储介质
JP2005252429A (ja) Ｉｐパケット化装置
JP6119220B2 (ja) メディア通信装置及びメディア通信システム
KR100376133B1 (ko) 데이터 전송 지연 방지 방법
JP2006101033A (ja) Ｉｐ対応構内電話交換装置
JPH11150562A (ja) リアルタイム音声通信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060620

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3821740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130630

Year of fee payment: 7

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term