JP2003500972A - マルチメディアおよび他の信号の万能型品質測定システム - Google Patents

マルチメディアおよび他の信号の万能型品質測定システム

Info

Publication number
JP2003500972A
JP2003500972A JP2000620743A JP2000620743A JP2003500972A JP 2003500972 A JP2003500972 A JP 2003500972A JP 2000620743 A JP2000620743 A JP 2000620743A JP 2000620743 A JP2000620743 A JP 2000620743A JP 2003500972 A JP2003500972 A JP 2003500972A
Authority
JP
Japan
Prior art keywords
test signal
quality
signal
test
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000620743A
Other languages
English (en)
Other versions
JP4462766B2 (ja
Inventor
マー・ウェイ
リー・マーティン
ホマユンファー・カンビズ
Original Assignee
アルゴレックス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルゴレックス インコーポレイテッド filed Critical アルゴレックス インコーポレイテッド
Publication of JP2003500972A publication Critical patent/JP2003500972A/ja
Application granted granted Critical
Publication of JP4462766B2 publication Critical patent/JP4462766B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/22—Arrangements for supervision, monitoring or testing
    • H04M3/2236—Quality of speech transmission monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/18—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place wireless networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2207/00—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place
    • H04M2207/20—Type of exchange or network, i.e. telephonic medium, in which the telephonic communication takes place hybrid systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/12—Arrangements for interconnection between switching centres for working between exchanges having different types of switching equipment, e.g. power-driven and step by step or decimal and non-decimal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Monitoring And Testing Of Transmission In General (AREA)

Abstract

(57)【要約】 【課題】 伝達技術およびネットワークアクセス技術などのネットワークの動作および構成についての明白な知識を必要とすること無く、受信されたＶＡＶ信号品質を評価するための方法および装置を提供する。 【解決手段】 操作可能な実施形態中において、通信機器内で声の信号、音声信号、音声および映像信号、ならびにマルチメディア信号の知覚的品質を測定する方法は、処理されたテスト信号をネットワークを通じて第１の装置から第２の装置へ通信する。次に、処理されたテスト信号はテスト中の機器により受信され、その機器は処理されたテスト信号をさらに処理してテスト信号の表現を再生する。次に、再生されたテスト信号を客観的に分析し、再生されたテスト信号を、予め記憶されたテスト信号の表現と比較することにより、知覚的品質の測定値を決定する。テスト中の機器に便利に取り付けられる品質測定ユニットは、遠隔装置から通信された再生されたテスト信号、またはテスト中の機器により通信されたテスト信号の品質を識別および評価する。後者の場合、品質測定ユニットはテスト中の機器およびネットワークの両者と通信し、それにより、テスト中の機器が通信したテスト信号の表現を品質測定ユニット自身が受信する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、信号品質を測定するシステムに関し、より詳細にはネットワークを
通じて通信されるマルチメディア信号の品質を測定するシステムに関する。
【０００２】
【従来の技術】
声、音声、映像およびマルチメディア情報の通信のための多数の処理および伝
送方法が考案されてきた。これらの種類の信号は集合的に「声、音声および映像
」（Voice, Audio and Video:ＶＡＶ）信号と呼ばれる。ＶＡＶ信号は、受信機
へ送信される前に多くの異なる方法で処理することができる。例えば、ＶＡＶ信
号をディジタル化し、圧縮し、キャリア上に変調することができる。次に、受信
機は受信した信号を変換して、ＶＡＶ信号の知覚可能な表現へと戻さなければな
らない。
【０００３】
【発明が解決しようとする課題】
伝統的に、受信されたＶＡＶ信号品質は主観的なテストによって評価される。
しかし、この種のテストは操作中（in-service）のテスト方法としては実際的で
はなく、また、この種のテストは矛盾が無く再現性がある結果をもたらすもので
はない。ＶＡＶ通信がセルラー符号分割多重アクセス（ＣＤＭＡ）システムまた
は広帯域ＣＤＭＡシステムの如き非常に複雑な伝達システムに取り入れられる場
合には、信号品質の評価はさらに複雑となる。インターネットの如き非決定的環
境においてＶＡＶ品質の評価を行う際には、それとは異なるが同様に困難な挑戦
が存在する。
【０００４】 信号対雑音比（Ｓ／Ｎ）、搬送波対干渉比（Ｃ／Ｉ）、損失パケット率、およ
びビット誤り率（ＢＥＲ）等のパラメータを測定することにより信号品質を間接
的に評価することが知られている。しかし、これらのパラメータを、受信された
ＶＡＶ信号品質のユーザによる知覚と関連付けることは困難であり、そのような
信号が高度に圧縮されまたは処理されている場合はそれは特に困難である。また
、これらのパラメータはある時間にわたってＶＡＶ信号品質を正しく正確に反映
するために十分に適したものとは言えない。
【０００５】 知覚的な会話の品質を推定するアルゴリズムが知られている。例えば、国際電
気通信連盟（International Telecommunication Union）の規格P.861は客観的な
アルゴリズムであり、それは会話伝送のための平均意見スコア（Mean Opinion S
core：ＭＯＳ）等の質的な数値を自動的に計算するために使用することができる
。しかし、これらの種類のテストは、原信号およびテスト信号の両者をテスト機
器の種目により静的に分析することを必要とする。よって、実信号を伴うフィー
ルドで品質評価がなされるべきならば、テスト機器はそのハードウェア、ソフト
ウェアまたはファームウェアにネットワークアーキテクチャおよびプロトコルを
取り入れなければならない。しばしば、ネットワークアーキテクチャは利用不能
であり、もしくはそれは実行することが困難または高価となる。独占権による制
限さえもその実行を不可能とすることがある。
【０００６】 上記の点から、使用される伝達技術およびネットワークアクセス技術などのネ
ットワークの動作および構成についての明白な知識を必要とすること無く、受信
されたＶＡＶ信号品質を評価するための方法および装置が望まれる。また、その
方法および装置が品質の実時間または非実時間の自動測定を提供し、それにより
例えばインタラクティブなフィールドテストを実行可能とすることも望ましい。
加えて、テスト中の機器に容易に接続する多種のＶＡＶ信号のための共通なテス
トプラットフォームが有益であろう。さらに、一方向、他航程（multi-hop）ま
たは往復の測定について、信頼性が高く、反復可能であり、容易に理解できる量
的品質のサービス測定を提供する方法および装置が望まれる。
【０００７】
【課題を解決するための手段】
１つの実施形態においては、本発明は通信機器において、声の信号、音声信号
、音声および映像信号、ならびにマルチメディア信号の知覚的品質を測定する方
法である。処理されたテスト信号がネットワークを通じて第１の装置から第２の
装置へ送られる。次に、処理された信号がテスト中の機器により受信され、その
機器は処理されたテスト信号をさらに処理してテスト信号の表現を再生する。次
に、再生されたテスト信号が客観的に分析され、再生されたテスト信号を予め記
憶されたテスト信号の表現と比較することにより知覚的品質の程度を決定する。
【０００８】 別の実施形態においては、本発明は品質測定ユニットであり、それはテスト中
の機器に付属して再生されたテスト信号の品質を識別および評価する。テスト信
号は、遠隔装置から送られたものと、テスト中の機器から送られたものである。
後者の場合、品質測定ユニットは、テスト中の機器およびネットワークと通信す
るように構成され、それにより品質測定ユニット自体がテスト中の機器により送
られたテスト信号の表現を受信する。
【０００９】 本発明の方法および装置においては、テスト中の機器が通信を行うネットワー
クについての明白な知識を伴わずに、受信されたＶＡＶ信号の品質が評価される
ことが理解される。さらに、実時間および非実時間の品質分析が可能であり、多
種のＶＡＶ信号のための共通のテストプラットフォームを使用する。本発明は、
一方向、多航程および往復の測定を含む、異なる多種の量的品質サービス測定に
適用可能である。
【００１０】
【発明の実施の形態】
１つの実施形態において、図１を参照すると、ＶＡＶ信号のための品質測定シ
ステム１０がテスト中の機器１６およびネットワーク２２との関連において示さ
れる。品質測定システム１０はローカル品質測定ユニット（Local Quality Meas
urement Unit:ＬＱＭＵ）１２を含む。ＬＱＭＵ１２のポート１４はテスト中の
機器（Equipment Under Test:ＥＵＴ）１６に接続される。１つの例示的実施形
態では、ＥＵＴ１６は移動型またはセルラー電話であり、ポート１４は例えば「
ハンズフリー」または「カーキット」電子端末（図示せず）のセットを使用して
ＥＵＴ１６へ電気的に接続される。しかし、本発明は移動型およびセルラー電話
への応用に限定されるものではない。
【００１１】 ＥＵＴ１６は、それぞれ通信路１８および２０を通じて、ネットワーク２２へ
情報を送り、ネットワーク２２から情報を受け取る。例えば、セルラー電話の場
合、ネットワーク２２はワイヤレスネットワーク２４を含み、通信路１８および
２０は無線リンクである。また、遠隔基準データ記憶ユニット（Remote Referen
ce Data Storage Unit:ＲＲＤＳＵ）２６もネットワーク２２へ動作可能に接続
される。１つの例示的実施形態では、ＲＲＤＳＵ２６は、例えば留守番電話装置
などの基準信号を記録および再生するための装置であり、それはワイヤーライン
ネットワーク２８を通じてワイヤレスネットワーク２４へ接続される。ネットワ
ークインターフェースアダプタ（ＮＩＡ）３０が設けられ、ＲＲＤＳＵ２６から
出力された信号をネットワーク２８への伝送に適した形態に調整する。同様に、
ネットワーク２８からＲＲＤＳＵ２６へ伝送された信号はＮＩＡ３０により、Ｒ
ＲＤＳＵ２６が処理するのに適した形態に変換される。
【００１２】 １つの実施形態では、ローカル基準データ記憶ユニット（Local Reference Da
ta Storage Unit:ＬＲＤＳＵ）３２の形態のローカル記憶装置がＬＱＭＵ１２に
ついて設けられ、第２のポート３４を介してＬＱＭＵ１２に接続される。別の実
施形態では、ローカル記憶装置３２をＬＱＭＵ１２の内部装置とすることができ
る。別の実施形態では、電気的または磁気的メモリなどのローカル記憶装置をＬ
ＱＭＵ１２の内部装置とすることができる。ＬＱＭＵ１２はＥＵＴ１６がネット
ワーク２２を通じてＲＲＤＳＵ２６から受け取ったテスト信号の品質測定値３６
を示す。
【００１３】 本発明の実施のために要求されるプロトコル、信号法およびネットワーク２２
の構成についての知識は、ＥＵＴ１６、既存の一装置およびＮＩＡ３０内に分離
される。ＮＩＡ３０は多くの場合において、ネットワーク２８の操作者またはエ
レクトロニクスの配給者により供給される容易に入手可能な装置である。本発明
は、ネットワーク２２の性質に関する詳細な情報をＲＲＤＳＵ２６、ＬＱＭＵ１
２またはローカル記憶装置３２が知っていること、または入手可能であることを
必要とすることなく、異なる種類のネットワーク２２を収容可能とする。これに
より、ＲＲＤＳＵ２６はＮＩＡ３０を介してネットワーク２２の公共的にまたは
ユーザがアクセス可能なサービスアクセスポイントに接続することが可能となる
。
【００１４】 １つの実施形態では、ポート１４およびＬＱＭＵ１２はＥＵＴ１６からの受信
されたテスト信号を収集するように構成され、それによりＬＱＭＵ１２はＥＵＴ
１６により受信された信号に応答する。１つの実施形態では、ポート１４および
ＬＱＭＵ１２は、ＥＵＴ１６を制御して無線リンク１８を通じてアップリンク信
号を送信するように構成される。また、ＬＱＭＵ１２は、受信されたテスト信号
を分析してこれらの信号品質の客観的測定を実行するように構成される。１つの
実施形態では、ＬＱＭＵ１２内に組み込まれたアルゴリズムは１つまたはそれ以
上の種類のＶＡＶ信号について構成可能かつ選択可能である。
【００１５】 ＲＲＤＳＵ２６は例えば記録装置および再生装置（図１では分けて図示はして
いない）を含む記憶ユニットである。記録装置は、ＶＡＶ信号を記録するのに適
したハードディスクまたはその他の装置などの読み書き可能な大容量記憶装置で
ある。１つの実施形態では、再生装置は、例えば基準ＶＡＶ信号を含む記録され
たＶＡＶ信号にアクセスし、それらを再生する。ＲＲＤＳＵ２６は、１つの実施
形態では、制御モジュール（図示せず）を含み、その制御モジュールはネットワ
ーク２２を通じて受信された信号により制御可能であり、ＲＲＤＳＵ２６に命令
を発して開始、停止、再生、記録、ポーズ、シーク、タイムスタンプなどのタス
クを実行する。１つの実施形態では、ＲＲＤＳＵ２６はこれらの機能を実行する
ためのディジタル留守番電話を含む。１つの実施形態では、ＲＲＤＳＵ２６は、
声、音声、映像およびマルチメディアのテスト信号から選択されるテスト信号を
送信するように構成される。
【００１６】 １つの実施形態において、図２を参照すると、品質測定システム１０はネット
ワーク２２との関連においてＥＵＴ１６をテストするために使用され、そのネッ
トワーク２２は、一方向ダウンリンクの端から端までのＶＡＶ品質、即ち、ネッ
トワーク２２の基地局（図示せず）からＥＵＴ１６が無線リンク２０を通じて受
信した信号の品質を評価するためのワイヤレス電話ネットワーク２４を含む。最
初に、ステップ１００でＬＱＭＵ１２がオンとされ、ＥＵＴ１６に接続され、そ
れによりＬＱＭＵ１２はＥＵＴ１６からのテストメッセージの受信に対して応答
可能となる。ＥＵＴ１６はステップ１０２でＲＲＤＳＵの電話番号をダイヤルす
ることによりコールを発し、ＲＲＤＳＵ２６はテスト信号をＥＵＴ１６へ送信す
る。別の実施形態では、ＥＵＴ１６が電話ネットワーク以外のネットワークを通
じて通信するように構成されている場合、ＲＲＤＳＵ２６へ電話のコールを発す
る代わりに適切な発信技術が用いられる。別の実施形態では、そのような発信も
手動で、例えばＥＵＴ１６のキーパッド（図示せず）上の番号をダイヤルするこ
とにより行うことができる。
【００１７】 １つの実施形態では、ＲＲＤＳＵ２６はボイスメールボックスとして構成され
、よってステップ１０２におけるＲＲＤＳＵへのダイヤルはＲＲＤＳＵ２６のボ
イスメールボックスにダイヤルしてステップ１０４でボイスメールメッセージと
してテスト信号を引き出すことをも含む。例えばボイスメッセージなどのテスト
信号の送信の前に、テスト信号はＮＩＡ３０により処理され、その結果、テスト
信号はネットワーク２８を介する送信のために適切な形態となる。次に、ＬＱＭ
Ｕ１２はステップ１０６で自身をテスト信号に同期させようと試みる。ステップ
１０６の同期サーチはステップ１０８で同期が達成されるまで続けられる。１つ
の実施形態では、決定された時間内にステップ１０８の同期が達成されないと（
ステップ１１０）、ステップ１１２でエラー条件の信号が発せられる。１つの実
施形態では、ステップ１０８におけるテスト信号との同期により、ＬＱＭＵ１２
はＥＵＴ１６が受信した信号を分析し、テスト信号が受信されたか否かを決定す
る。ＥＵＴ１６はネットワーク２４を通じて受信された信号のさらなる処理を実
行して、ＥＵＴ１６が分析したテスト信号の表現を再生する。このさらなる処理
は、他の事項のうちで、ＥＵＴ１６をネットワーク２２が使用する信号符号化お
よびネットワークプロトコルと独立とすることを可能とする。
【００１８】 ステップ１０８で同期を獲得した後、再生されたテスト信号はステップ１１４
でＬＱＭＵ１２により受信される。再生されたテスト信号はＬＲＤＳＵ３２内で
予め記憶された基準信号の表現と比較され、サービス品質（ＱｏＳ）の測定値が
ステップ１１６で決定され、受信信号品質の客観的な測定値を提供する。この測
定値またはその表現は、ステップ１１８で例えば表示スクリーン（図示せず）上
に表示される。別の実施形態では、品質の測定値が将来の表示または分析のため
に記録される。１つの実施形態では、ＲＲＤＳＵ２６への１回のコール中に、ス
テップ１２０で予め決められた回数のテストを実行する。ＥＵＴ１６からＲＲＤ
ＳＵ２６へのコールは、決定された回数のテストが完了した時に手動または自動
のいずれかで終了させることができる。
【００１９】 １つの実施形態では、ＥＵＴ１６がテスト信号を受信している時に、受信した
テスト信号の品質を評価するための十分な処理能力をＬＱＭＵ１２が有していな
い場合には、受信されたテスト信号は、例えばＥＵＴ１６からＲＲＤＳＵ２６へ
のコールが終了した後などの以後のオフライン品質評価のためにＬＲＤＳＵ３２
内に記憶される。
【００２０】 さらに別の実施形態においては、図３を参照すると、アップリンクテストシス
テム２００はＲＲＤＳＵ２６を必要としない。テストシステム２００はネットワ
ーク２２およびＥＵＴ１６との関連において図３に示される。本実施形態では、
ＥＵＴ１６は無線リンク１８を介してワイヤレスネットワーク２４へ送信を行う
セルラー電話である。ＬＱＭＵ１２はワイヤラインネットワーク２８を通じた信
号をＮＩＡ３０から受け取る。１つの実施形態では、ＮＩＡはコンピュータモデ
ムなどのモデムであり、ＬＱＭＵ１２は通信のためにそのモデムと共に構成され
る。ＥＵＴ１６はＮＩＡ３０の電話番号をダイヤルしてテストを開始する。次に
、ＬＱＭＵ１２は、例えばハンズフリーキットを使用して局地から遠隔へのテス
ト信号をＥＵＴ１６へ入力し、その信号はネットワーク２２およびＮＩＡ３０を
介してＬＱＭＵ１２へ戻される。次に、ＬＱＭＵ１２は受信信号に対してサービ
ス品質の評価を実行する。
【００２１】 別の実施形態においては、図４を参照すると、２方向テストシステム３００が
提供され、それはマスター品質測定ユニット（ＭＱＭＵ）３０２と、スレーブ品
質測定ユニット（ＳＱＭＵ）３０４とを有する。２方向テストシステム３００の
構成が図示され、ネットワーク３１０との関係においてＥＵＴ３０６と３０８の
テストが行われる。ＭＱＭＵ３０２は、例えばＶＡＶ能力を提供する端末である
ＥＵＴ３０６とＥＵＴ３０８間の通信を、例えばインターネットなどのネットワ
ーク３１０を介して開始および調整し、ＭＱＭＵ３０２およびＳＱＭＵ３０４の
両者により作られるテスト結果についてのタイムスタンプを提供するように構成
される。それ以外は、ＭＱＭＵ３０２およびＳＱＭＵ３０４はＬＱＭＵ１２と同
様に構成され、ＭＱＭＵ３０２はＥＵＴ３０６および基準データ記憶ユニット（
ＲＤＳＵ）３１２に接続され、ＳＱＭＵ３０４はＥＵＴ３０８とＲＤＳＵ３１４
に接続される。ＭＱＭＵ３０２とＳＱＭＵ３０４の両者は、受信信号の品質測定
値を提供するように構成される。ＭＱＭＵ３０２はＥＵＴ３０８からネットワー
ク３１０を通じてＥＵＴ３０６へ送信された信号の品質測定値３１６を提供し、
ＳＱＭＵ３０４はＥＵＴ３０６からネットワーク３１０を介してＥＵＴ３０８へ
送信された信号の品質測定値３１８を提供する。１つの実施形態では、品質測定
値のタイムスタンプは、品質測定値３１６および３１８が後に後処理モジュール
３２０により相関付けおよび後処理できるように決定される。
【００２２】 １つの実施形態では、ＬＱＭＵ１２、ＲＲＤＳＵ２６、ＭＱＭＵ３０２および
ＳＱＭＵ３０４のいずれも、あらゆるネットワークとの直接的な接続を必要とし
ない。この理由から、これらの装置の各々は、ネットワークの特性および構成を
含むネットワークの種類に関係なく動作することが可能であり、それは所有ネッ
トワークおよび非所有ネットワークの両方との関係において使用することが可能
である。その結果、本発明は、交換回線、パケット交換、フレームリレー（fram
e-relay）、インターネットプロトコルおよび非同期転送モード（ＡＴＭ）ネッ
トワークを含む異なる多種のネットワークのいずれにおいても実施することがで
きる。また、本発明は、無線、有線および衛星ネットワークを含む種々のネット
ワーク伝達技術に適している。さらにまた、本発明の構成要素は、通信機器の既
存の端子またはポートへ、ならびに、ネットワークの公的なまたはユーザが使用
可能なサービスアクセスポイントへ接続するように設計することができる。そう
して、テスト中のネットワークまたは機器の特殊なセットアップまたは変更を必
要としない。種々の実施形態において、ＬＱＭＵ１２、ＭＱＭＵ３０２およびＳ
ＱＭＵ３０４のうちのいくつかまたは全てを非侵入的にして動作中の配置を可能
とする。
【００２３】 １つの実施形態では、ＬＱＭＵ１２、ＭＱＭＵ３０２およびＳＱＭＵ３０４の
少なくとも１つは、リアルタイム品質評価を達成するためにディジタル信号処理
を利用して実行される。ネットワークのアーキテクチャまたはプロトコル情報が
利用可能であれば、取得される品質測定値はネットワークパラメータを適応的に
調整するために使用される。
【００２４】 他の実施形態では、例えば適応的にまたは自動的に品質評価のための適切なア
ルゴリズムを選択することにより声の品質評価を改善する。例えば、ＣＤＭＡお
よびボイスオーバーＩＰ（Voice Over IP）を通じて送信されたマルチメディア
信号は、標準的品質測定アルゴリズムとは異なるアルゴリズム、例えば、国際電
気通信連盟の規格P.861の知覚的スピーチ品質測定（ＰＳＱＭ）または測定正規
化ブロック（ＭＮＢ）などの標準的品質測定アルゴリズムとは異なるアルゴリズ
ムによってより良好に評価される。オフラインで声の品質を測定するためのＩＴ
Ｕが開発した別の測定アルゴリズムは、コンピュータに記憶されたファイルを使
用する。１つの実施形態では、ＬＱＭＵ１２、ＭＱＭＵ３０２およびＳＱＭＵ３
０４の少なくとも１つは異なるシステムアプリケーションのためにプログラム可
能である。１つの実施形態では、手動、もしくはＬＱＭＵ１２、ＭＱＭＵ３０２
およびＳＱＭＵ３０４の少なくとも１つの制御下のいずれかにおいて、種々のテ
スト信号が選択される。例えば、ＩＴＵ等の規格作成体により設計された人工的
な声に類似した信号を選択することができる。
【００２５】 １つの実施形態では、記憶装置３２、３１０および３１２は、いくつかの異な
る種類の記憶媒体のいずれか、もしくは記憶媒体を有する別の装置と通信するリ
レー装置を含む。
【００２６】 １つの実施形態では、ＬＱＭＵ１２、ＭＱＭＵ３０２、およびＳＱＭＵ３０４
の少なくとも１つは、グローバル・ポジショニング衛星（ＧＰＳ）受信機および
ディジタル地図（図示せず）の少なくとも１つと機能的に結合してサービス品質
の地図を自動的に生成する。例えば、無線電話ネットワークのためのテスト信号
が移動するＥＵＴ１６、３０６または３０８へ繰り返し送信され、性能測定が位
置の関数として実行および分析される。
【００２７】 本発明の精神において多くの他の変更が可能であることが当業者には明白であ
ろう。従って、本発明の範囲は、請求の範囲およびその等価物を参照することに
より決定されるべきである。
【００２８】
【発明の効果】
本発明によれば、伝達技術およびネットワークアクセス技術などのネットワー
クの動作および構成についての明白な知識を必要とすること無く、受信されたＶ
ＡＶ信号品質を評価するための方法および装置が提供される。
【図面の簡単な説明】
【図１】 本発明に従う一方向品質測定に適したＶＡＶ信号のための品質測定システムの
実施形態のブロック図である。
【図２】 図１のシステムに適用可能な品質測定方法の実施形態のフローチャートである
。
【図３】 本発明に従う往復品質測定に適した品質測定システムの実施形態のブロック図
である。
【図４】 本発明に従う２方向品質測定に適した品質測定システムの実施形態のブロック
図である。
【符号の説明】
１０…品質測定システム １２…ローカル品質測定ユニット １４、３４…ポート １６…テスト中の機器 １８、２０…通信路 ２２、２４、２８…ネットワーク ２６…遠隔基準データ記憶ユニット ３０…ネットワークインターフェースアダプタ
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＺ，ＢＡ，ＢＢ，ＢＧ ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ， ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，Ｈ Ｕ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ， ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，Ｐ Ｌ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ， ＵＺ，ＶＮ，ＹＵ，ＺＷ (72)発明者 リー・マーティン アメリカ合衆国 カリフォルニア 94121 サンフランシスコ トウェンティー フ ィフス アヴェニュー 371 アパートメ ント１ (72)発明者 ホマユンファー・カンビズ 東京都渋谷区恵比寿西１−35−11 代官山 タワー 303号 Ｆターム(参考） 5K042 AA06 CA02 CA23 DA11 GA02 LA11 5K067 AA21 BB04 DD17 DD25 DD51 DD52 EE02 EE16 FF02 FF05 FF07 FF23 HH22 HH23 KK15 LL08 LL11 【要約の続き】 の両者と通信し、それにより、テスト中の機器が通信し たテスト信号の表現を品質測定ユニット自身が受信す る。

Claims (30)

    【特許請求の範囲】
  1. 【請求項１】 動作可能な環境における通信機器内で声の信号、音声信号、
    音声および映像の信号、ならびにマルチメディア信号のうち少なくとも１つの知
    覚的品質を測定する方法において、 処理されたテスト信号を第１の装置から通信ネットワークを通じて送信する工
    程であって、前記テスト信号は、声の信号、音声信号、音声および映像の信号、
    ならびにマルチメディア信号の少なくとも１つである工程と、 第２の装置を使用して、処理されたテスト信号を受信する工程と、 処理されたテスト信号を処理してテスト信号の表現を再生する工程と、および 再生されたテスト信号を、予め記憶されたテスト信号の表現と比較することに
    より、再生されたテスト信号の知覚的品質を分析する工程と、を有する方法。
  2. 【請求項２】 前記第１の装置は、前記ネットワークに動作可能に接続され
    ると共に処理されたテスト信号を前記ネットワークを通じて通信し、前記第２の
    装置は、処理されたテスト信号を受信するためにネットワークに動作可能に接続
    されると共に、再生されたテスト信号の品質を分析するために品質測定ユニット
    に動作可能に接続されたテスト中の機器の種目を含み、 前記方法は、前記再生されたテスト信号の品質を分析する工程に先だって、テ
    スト中の機器により再生された信号を分析してテスト信号が再生されたことを決
    定する工程をさらに有する請求項１に記載の方法。
  3. 【請求項３】 前記品質測定ユニットが、再生されたテスト信号の品質の指
    標を表示する工程をさらに有する請求項２に記載の方法。
  4. 【請求項４】 前記処理されたテスト信号を通信する工程に先だって、ネッ
    トワークを通じてテスト中の機器から遠隔データ記憶ユニットに接触する工程を
    さらに有する請求項２に記載の方法。
  5. 【請求項５】 前記ネットワークは電話ネットワークを含み、前記テスト中
    の機器は電話を含み、前記ネットワークを通じてテスト中の機器から遠隔データ
    記憶ユニットに接触する工程は、遠隔データ記憶ユニットの電話番号をダイヤル
    する工程を有する請求項４に記載の方法。
  6. 【請求項６】 前記テスト中の機器から遠隔データ記憶ユニットへ接触する
    工程は、ボイスメールボックスのアクセスコードをダイヤルする工程を有する請
    求項５に記載の方法。
  7. 【請求項７】 前記再生されたテスト信号の品質を分析する工程は、テスト
    中の機器が処理されたテスト信号を受け取っている間に実行される請求項２に記
    載の方法。
  8. 【請求項８】 再生されたテスト信号を記憶する工程をさらに有し、前記再
    生されたテスト信号の品質を分析する工程は、テスト信号が記憶された後に実行
    される請求項２に記載の方法。
  9. 【請求項９】 前記再生されたテスト信号の品質を分析する工程に先だって
    、テスト中の機器とネットワークとの接続を断つ工程をさらに有する請求項８に
    記載の方法。
  10. 【請求項１０】 前記再生されたテスト信号の品質を分析する工程は、ディ
    ジタル的に実行される請求項２に記載の方法。
  11. 【請求項１１】 ネットワークの性質に応じて品質評価方法を選択する工程
    をさらに有する請求項２に記載の方法。
  12. 【請求項１２】 前記ネットワークは無線電話ネットワークであり、前記処
    理されたテスト信号を通信する工程および前記再生された信号の品質を分析する
    工程は反復的に実行され、前記方法はさらに、 処理されたテスト信号の反復的通信がテスト中の機器の異なる位置において受
    信されるようにテスト中の機器を移動させる工程と、および テスト中の機器の異なる位置の関数として、再生されたテスト信号の品質を分
    析する工程と、を有する請求項２に記載の方法。
  13. 【請求項１３】 前記第１の装置から第２の装置へ通信される処理されたテ
    スト信号は第１のテスト信号の処理された表現であり、前記方法はさらに、 品質測定ユニットを使用して、第２のテスト信号の表現をテスト中の機器へ入
    力する工程と、 テスト中の機器を使用して第２のテスト信号をさらに処理する工程と、 処理された第２のテスト信号を、ネットワークを通じてテスト中の機器から第
    １の装置へ通信する工程と、 第１の装置を使用し、通信および処理された第２のテスト信号をさらに処理し
    て第２のテスト信号の表現を再生する工程と、および 再生された第２のテスト信号を、予め記憶された第２のテスト信号の表現と比
    較することにより、再生された第２のテスト信号の知覚的品質を客観的に分析す
    る工程と、を有する請求項２に記載の方法。
  14. 【請求項１４】 再生された第１のテスト信号および再生された第２のテス
    ト信号の品質の分析結果を分離して記憶する工程と、および 分離して記憶された結果の後の相関付けおよびさらなる処理のために、分離し
    て記憶された各結果にタイムスタンプを関連付けする工程と、をさらに有する請
    求項１３に記載の方法。
  15. 【請求項１５】 第１の装置はテスト中の機器を含み、第２の装置は、テス
    ト中の機器と動作可能に接続され、テスト信号としての送信のために信号をテス
    ト中の機器へ信号を入力するようにテスト中の機器に動作可能に接続されると共
    に、テスト信号を受信するようにネットワークに動作可能に接続される品質測定
    ユニットを含み、前記方法は、 品質測定ユニットを使用してテスト信号の表現をテスト中の機器へ入力する工
    程と、 テスト中の機器を使用してテスト信号をさらに処理する工程と、および ネットワークを通じて、処理されたテスト信号を品質測定ユニットへ送信する
    工程と、を有し、 前記再生されたテスト信号の品質を分析する工程は、受信した処理されたテス
    ト信号をさらに処理して、テスト信号の再生された表現を取得する工程と、およ
    び、再生されたテスト信号を予め記憶されたテスト信号の表現と比較することに
    より再生されたテスト信号の品質を分析する工程と、を有する請求項１に記載の
    方法。
  16. 【請求項１６】 通信ネットワークを通じてテスト中の機器へ送信される信
    号の品質を測定するための品質測定装置であって、 テスト中の機器と通信し、 テスト中の機器が受信および再生した信号を分析して再生されたテスト信号を
    識別し、および 前記識別および再生されたテスト信号の知覚的品質を客観的に分析するように
    構成される装置。
  17. 【請求項１７】 声の信号、音声信号、映像信号およびマルチメディア信号
    からなるグループから選択される前記テスト信号の少なくとも１つの種類を分析
    するように構成される請求項１６に記載の品質測定装置。
  18. 【請求項１８】 前記識別および再生されたテスト信号の品質の指標を表示
    するように構成される請求項１６に記載の品質測定装置。
  19. 【請求項１９】 テスト中の機器が再生したテスト信号と同期して前記再生
    されたテスト信号を識別するように構成される請求項１７に記載の品質測定装置
    。
  20. 【請求項２０】 テスト中の機器が処理された前記テスト信号を受信してい
    る間に、前記識別および再生されたテスト信号の品質を分析するように構成され
    る請求項１７に記載の品質測定装置。
  21. 【請求項２１】 さらにローカル記憶装置を有し、前記識別および再生され
    たテスト信号を前記ローカル記憶装置に記憶し、記憶後に前記識別および再生さ
    れたテスト信号を分析するように構成される請求項１７に記載の品質測定装置。
  22. 【請求項２２】 前記品質測定装置が前記識別および再生されたテスト信号
    を分析するのに先だって、テスト中の機器のネットワークとの接続を断つように
    構成される請求項２１に記載の品質測定装置。
  23. 【請求項２３】 ネットワークの特性に応じて、前記識別および再生された
    テスト信号の知覚的品質を客観的に分析するための品質評価方法を選択するよう
    に構成される請求項１７に記載の品質測定装置。
  24. 【請求項２４】 テスト中の機器としての無線電話と通信するように構成さ
    れる請求項２０に記載の品質測定装置。
  25. 【請求項２５】 内部に記憶された前記テスト信号の表現を有するローカル
    基準データ記憶ユニットを有し、テスト中の機器を制御して前記テスト信号の処
    理された表示をネットワークを通じて通信するように構成される請求項２０に記
    載の品質測定装置。
  26. 【請求項２６】 前記再生および識別されたテスト信号の客観的な知覚的品
    質の指標を記録すると共に、前記記録された品質の指標をタイムスタンプするよ
    うに構成される請求項２５に記載の装置。
  27. 【請求項２７】 前記品質測定装置の制御下で、テスト中の機器が通信した
    前記テスト信号の表現をネットワークを通じて受信すると共に、ネットワークを
    通じて前記品質測定装置へ通信された前記テスト信号の知覚的品質を客観的に分
    析するように構成される請求項２５に記載の品質測定装置。
  28. 【請求項２８】 動作可能な環境における通信機器内の声の信号、音声信号
    、音声および映像信号、ならびにマルチメディア信号のうち少なくとも１つの知
    覚的品質を測定するシステムにおいて、 処理されたテスト信号を通信ネットワークを通じて送信するように構成される
    送信装置であって、前記テスト信号は、声の信号、音声信号、音声および映像信
    号、ならびにマルチメディア信号のうち少なくとも１つである送信装置と、 処理されたテスト信号をネットワークを通じて受け取ると共に、処理されたテ
    スト信号を処理してテスト信号の表現を再生する受信機と、および 前記受信機に動作可能に接続され、再生されたテスト信号を、予め記憶された
    テスト信号の表現と比較することにより再生されたテスト信号の知覚的品質を分
    析するように構成される品質測定ユニットと、を備えるシステム。
  29. 【請求項２９】 前記送信装置は、ネットワークに動作可能に接続されて処
    理されたテスト信号をネットワークを通じて通信する遠隔データ記憶ユニットを
    さらに有し、前記品質測定ユニットは、再生されたテスト信号の品質の分析に先
    だって、テスト信号が受信されたことを決定するように構成される請求項２８に
    記載のシステム。
  30. 【請求項３０】 前記品質測定ユニットは、受信されたテスト信号の品質の
    指標を表示するように構成される表示装置を有する請求項２９に記載のシステム
    。
JP2000620743A 1999-05-25 1999-05-25 マルチメディアおよび他の信号の万能型品質測定システム Expired - Fee Related JP4462766B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US1999/011529 WO2000072453A1 (en) 1999-05-25 1999-05-25 Universal quality measurement system for multimedia and other signals

Publications (2)

Publication Number Publication Date
JP2003500972A true JP2003500972A (ja) 2003-01-07
JP4462766B2 JP4462766B2 (ja) 2010-05-12

Family

ID=22272834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000620743A Expired - Fee Related JP4462766B2 (ja) 1999-05-25 1999-05-25 マルチメディアおよび他の信号の万能型品質測定システム

Country Status (4)

Country Link
JP (1) JP4462766B2 (ja)
KR (1) KR100573398B1 (ja)
AU (1) AU4098099A (ja)
WO (1) WO2000072453A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013179600A (ja) * 2007-07-16 2013-09-09 Tektronix Inc 信号形式特定方法及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1244094A1 (de) * 2001-03-20 2002-09-25 Swissqual AG Verfahren und Vorrichtung zur Bestimmung eines Qualitätsmasses eines Audiosignals
US7130273B2 (en) 2001-04-05 2006-10-31 Level 3 Communications, Inc. QOS testing of a hardware device or a software client
US6734898B2 (en) * 2001-04-17 2004-05-11 General Instrument Corporation Methods and apparatus for the measurement of video quality
US7280487B2 (en) 2001-05-14 2007-10-09 Level 3 Communications, Llc Embedding sample voice files in voice over IP (VOIP) gateways for voice quality measurements
US7173910B2 (en) * 2001-05-14 2007-02-06 Level 3 Communications, Inc. Service level agreements based on objective voice quality testing for voice over IP (VOIP) networks
ATE429094T1 (de) 2001-08-15 2009-05-15 Psytechnics Ltd Messung der genauigkeit eines kanals
US6738353B2 (en) * 2002-03-20 2004-05-18 Sunrise Telecom Incorporated System and method for monitoring a packet network
US7388946B1 (en) 2003-09-02 2008-06-17 Level 3 Communications, Llc System and method for evaluating the quality of service in an IP telephony network using call forwarding
DE102004008207B4 (de) 2004-02-19 2006-01-05 Opticom Dipl.-Ing. Michael Keyhl Gmbh Verfahren und Vorrichtung zur Qualitätsbeurteilung eines Audiosignals und Vorrichtung und Verfahren zum Erhalten eines Qualitätsbeurteilungsergebnisses

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9315353D0 (en) * 1993-07-23 1993-09-08 British Telecomm Testing telecommunications equipment
US5805666A (en) * 1995-02-28 1998-09-08 Sony Corporation Method of and apparatus for diagnosing personal communication system
JPH1028088A (ja) * 1996-07-11 1998-01-27 Nec Corp 携帯電話無線基地局の試験用送受信装置
US5875398A (en) * 1996-10-21 1999-02-23 At&T Wireless Method and apparatus for testing cellular services in a first location from a second location remote from the first location
DE19651244C2 (de) * 1996-12-10 1998-11-19 Ericsson Telefon Ab L M Kommunikationssystem und Verfahren zum Testen einer Kommunikationsvorrichtung
US5933776A (en) * 1997-07-07 1999-08-03 Hewlett-Packard Company Method and apparatus for field testing cellular telephones

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013179600A (ja) * 2007-07-16 2013-09-09 Tektronix Inc 信号形式特定方法及びプログラム

Also Published As

Publication number Publication date
KR20010106411A (ko) 2001-11-29
AU4098099A (en) 2000-12-12
JP4462766B2 (ja) 2010-05-12
WO2000072453A1 (en) 2000-11-30
KR100573398B1 (ko) 2006-04-25

Similar Documents

Publication Publication Date Title
US6819924B1 (en) Universal quality measurement system for multimedia and other signals
US6169896B1 (en) System for evaluating communication network services
US7707031B2 (en) Large scale measurement of subjective quality in mobile communications systems
CN106162700B (zh) 一种终端语音质量的测试方法、装置及终端
CN102075988B (zh) 一种移动通信网络端到端语音质量故障定位系统及方法
US20100080143A1 (en) System and Method for Testing Mobile Telephone Data Services
US20140016487A1 (en) Test system to estimate the uplink or downlink quality of multiple user devices using a mean opinion score (mos)
WO2006005947A1 (en) Testing device and method
WO2003047280A2 (en) Testing and monitoring equipment and methods for a digital mobile phone network
CN101888654B (zh) 一种通话质量测试方法、装置及系统
CN106952657A (zh) 一种语音质量检测方法及装置
JP2000041096A (ja) 電気通信装置用テスト装置およびその操作方法
JP2003500972A (ja) マルチメディアおよび他の信号の万能型品質測定システム
AU727451B2 (en) Communications system and method for testing of a communications apparatus
CN101467472B (zh) 用于无线局域网中通过ip的语音的语音质量测量
CN105529037A (zh) 通信设备语音质量评价测试系统及测试方法
US6459773B1 (en) System to pre-qualify copper subscriber loops for high bandwidth access service using subscriber or network generated tones
JP2001298428A (ja) 通信・放送ネットワークを介した信号伝送の品質評価システム、端末、端末の制御方法、ならびに、情報記録媒体
GB2416280A (en) Testing device and method
KR100562997B1 (ko) 멀티미디어 방송 서비스의 수신 품질 측정 방법 및 장치
CN101133669A (zh) 移动通信系统中主观质量的大规模测量
JP2001285481A (ja) マルチ表示試験装置
KR100638712B1 (ko) Ｍｏｓ 측정장비용 시간동기 방법
CN117081954A (zh) 一种链路质量检测系统、方法、装置、设备及存储介质
JP3109151B2 (ja) 交換機および伝送路試験システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080602

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090202

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090602

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090901

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees