JP2015534735A - 平均オピニオン評点（ｍｏｓ）を使用して複数のユーザデバイスのアップリンク又はダウンリンク品質を評価するテストシステム - Google Patents

Abstract

【課題】音声又は映像品質の劣化を評価することができるネットワーク無線通信信号で、損失、誤り、雑音及びジッタを含む劣化を評価するテストシステムが必要である。【解決手段】中心位置から多くの携帯電話、タブレット、ラップトップ、又は他のユーザ送受信デバイスのための接続の音声及び映像両方の品質をテストするテストシステムが提供される。品質は平均オピニオン評点（ＭＯＳ）として表され、アップリンク及びダウンリンクの接続品質が別々に評価されうる。当該システムは、エンドユーザの特徴を示すメディアフラグメントの使用を可能にし、ユーザが典型的に電話をかける時間と場所で測定される映像データを許容する。【選択図】図５

Description

本発明は、音声又は映像品質の劣化を評価することができるネットワーク無線通信信号で、損失、誤り、雑音及びジッタを含む劣化を評価するテストシステムの構成に関する。

いくつかのテストシステム構成は、アップリンク及びダウンリンクのメディア接続の品質、又は固定のノーマディックな携帯電話、タブレット、ノートブック、ラップトップ及びコンピュータを含む、ネットワーク化されたデバイスのアップリンク及びダウンリンクのメディアリンクを評価するために存在する。当該システムは、音声及び／又は映像用の評価を提供する。テストされた接続は、専用の回路交換接続でありうるか、又はボイスオーバーＩＰ（ＶｏＩＰ）でありうる。存在するテスト方法は、遅延、パケット損失及びジッタのような接続特性についての情報の品質の評価を根拠に置きうる。この種の評価を使用するシステムの例示としては、アンリツの「固定及びモバイルネットワーク用オールインワンフィールドテスタＣＭＡ３０００(Anritsu CMA 3000 All-In-One Field Tester for Fixed and Mobile Networks)」がある。

これらの従来の方法は、メディアが、送信するユーザから受信するユーザまでテストシステムを通された前後での音声又は映像メディアの比較の評価を根拠に置く。この種の評価を使用するシステムの例示としては、アンリツの「モバイルデバイステストプラットフォームＭＥ７８３４(Anritsu ME7834 Mobile Device Test Platform)」がある。このプラットフォームは、アドバンスドモバイルユーザ装置（ＵＥ）の現実的なテストを提供する無線ネットワーク及びエアインタフェースを模倣する。

図１に示す従来のテストシステムでは、被試験デバイス（ＤＵＴ）はテストシステム（ＴＳ）に直接接続される。そのようなシステムでは、（ＴＳからＤＵＴに向かう）ダウンリンクのメディアリンク又はダウンリンク接続、及び（ＤＵＴからＴＳへの）アップリンクのメディアリンク又はアップリンク接続の組み合わせのメディア品質を評価することができる。例えばメディア品質を評価するために、テストシステム２は基準メディアサンプル(reference media sample)又は「基準」メディアファイル(“reference” media file)１を取り、実際の又は模倣された無線システム４上でサンプルを再生する。基準メディアサンプル１は、コーデックによる暗号化と復号化、ダイナミックレンジの損失、フェージング、遅延、ジッタ、パケット損失、誤りビット、非ランダム化バッファ(de-randomizing buffer)での損失、及び入出力での雑音の追加のような、多くの種類の劣化を受けうる。これらの劣化のすべてが重なって、受信したメディアの品質を低下させる。その効果を評価するために、メディアはＤＵＴ ＵＥ６で捕獲され、伝統的に「劣化(degraded)」メディアサンプル又は「劣化ファイル」８といわれるものに置き換えられる。従来のテストシステムは、当該基準メディアサンプル１と当該劣化サンプル８の両方にアクセスし、これらを比較して劣化の効果を評価する。

比較するために、典型的には音声又は映像の劣化は、品質について意見を形成するために、音声を聞く又は映像を見る人々のグループによって評価されていた。人々はその品質を１から５までの評点で評価し、平均オピニオン評点（ＭＯＳ）を得るために評点の平均が計算された。現在、標準化されたソフトウェアとアルゴリズムは、ＭＯＳを得るために利用できる。例示としてのソフトウェアツールは、（ＩＴＵ−Ｔ勧告Ｐ．８６２により標準化された）ＰＥＳＱ(Perceptual Evaluation of Speech Quality)、（ＩＴＵ−Ｔ勧告Ｐ．８６３により標準化された）ＰＯＬＱＡ(Perceptual Objective Listening Quality Analysis)、ＰＥＶＱ(Perceptual Evaluation of Video Quality)、ピーク信号対雑音比（ＰＳＮＲ）アルゴリズム、及び構造類似性（ＳＳＩＭ）アルゴリズムがある。

実験室での音声及び映像品質をテストするのに加えて、オペレーターや装置ベンダは、好ましくは色々な位置で多くのＵＥを使用して、現場でメディア品質のテストをすることもまた望む。単一位置で基準メディアと劣化メディアの両方にアクセスするのは簡単ではないことなので、現場でのメディア品質のテストはより難しい。いくつかのトポロジーが使用されてきており、少しの例示が以下で与えられる。

図２は、現場にあるＵＥ用のＭＯＳを評価するのに、どのようにテストシステムが配置されうるかを示す。図２のシステム接続では、ＵＥ６は、ダウンリンクで受信するあらゆる音声をループバックするようにプログラムされる。このようにテストシステム２は、基準メディアサンプル１を再生し、ＵＥ６へ送信し、対応する劣化メディアサンプル８を捕獲することができる。この方法の欠点は、当該メディアは、これが捕獲される前にダウンリンクとアップリンクを両方とも通過し、ＭＯＳ評価はこの２つの組み合わせた効果のみを反映することである。別の欠点は、メディア品質テストが実行している間エンドユーザはＵＥ６から呼び出すことができないため、この方法はＵＥ６を操作するエンドユーザに対して侵入的であることである。便宜上、図２に引き継がれる図１のコンポーネントは、それに続く図面に引き継がれるコンポーネントのように同様にラベルされる。

図３は、現場にあるＵＥ用のＭＯＳを評価するのに、どのようにテストシステム構成がセットするかということの他の例示を示す。この例示では、テストシステム２は、ＵＥ６₁−６₂又はこれより多くのＵＥに繋がる（テザーされる）ラップトップである。現場でＵＥ６₁−６₂をテストするために、ラップトップテストシステム２もまた現場になければならない。ラップトップＴＳ２は、第１の繋がったＵＥ６₁の１つに第２の繋がったＵＥ６₂を呼ぶように命令する。ひとたび呼(call)が確立すると、ＴＳ２は、無線システム４を通して第２のＵＥ６₂に対して、第１のＵＥ６₁に基準メディアサンプル１を再生させ、第２のＵＥ６₂から対応する劣化メディアサンプル８を取得する。それからＴＳ２はＭＯＳを計算することができる。このテストシステムは、ＭＯＳはダウンリンクとアップリンクの組み合わせた効果を反映するのみであり、ＵＥはメディア品質テストが実行している間使用できない、という同じ欠点を有する。その上このトポロジーでは、単一のテストシステムが限定された数のＵＥ接続をテストできるのみであり、各テストシステムはメディア品質評価ソフトウェア用に別個のライセンスを必要とするため、このテストシステム方法は高価である。

異なる方言や音声パターンを持つ主体によって提供される基準メディアファイルは、幾分異なるＭＯＳ値を作り出せることは良く知られている。明らかにＭＯＳは、基準ファイルを生成するのに使用される主体の繊細な特性に依存する。したがって、あるユーザに対して測定されるＭＯＳは、わずかに異なる音声パターン、方言、又は抑揚を有するユーザに対して測定されたＭＯＳと一致しない可能性は常にある。

本発明の実施形態は、中心位置(central location)から多くの携帯電話やラップトップの音声及び映像接続の品質をテストするためのテストシステムを提供する。当該品質はＭＯＳとして表現されうる。そのアップリンク及びダウンリンク接続又はリンクは、別々に評価されうる。当該システムによって、エンドユーザの特徴を示す音声の音素及びエンドユーザの特徴を示す映像データの両方が、ユーザが典型的に電話をかけるときに測定される。

本発明の実施形態は、具体的には１つ以上の下記の特徴を提供する。

（１）テストシステムは、ダウンリンクのメディアリンク及びアップリンクのメディアリンクの品質の独立した測定を提供する。

（２）テストシステムにより決定されるＭＯＳ値は、ユーザが典型的に電話する時間と場所を代表する時間と場所で決定される。

（３）メディア品質評価用の単一ライセンスを備えるテストシステムは、多くのＵＥ用のメディア品質を評価することができる。

（４）エンドユーザ自身の携帯電話、タブレットコンピュータ、又は他の送信／受信デバイスを含むリンク品質が測定されるユーザ装置（ＵＥ）は、最小量の制限を必要とするのみであり、エンドユーザに対して十分に利用可能なままである。

（５）システムは、エンドユーザへの影響を減らすために、最小時間で評価を実行する。

（６）システムによって提供されるＭＯＳ値は、色々な基準ファイルから決定されうる。当該基準ファイルは、エンドユーザと当該エンドユーザが通信する人々の言語及び音声パターンを代表しうる。

図１は、無線システムで音声品質を測定する典型的なテストシステムを説明する。 図２は、ループバックを使用して現場でＵＥ用のＭＯＳを評価するための方法を示す。 図３は、テザードＵＥを使用して現場でＵＥ用のＭＯＳを評価するための方法を示す。 図４は、現場で多くのＵＥ用のＭＯＳ値を集めるためのテストシステム構成概要を提供する。 図５は、呼の一部としてダウンリンク及びアップリンクのメディアリンク品質の評価のために参照される本発明の実施形態のための接続性ダイアグラムを提供する。 図６は、エンドユーザへの影響を最小化する実施形態を示す接続性ダイアグラムである。 図７は、セッションの一部としてダウンリンク及びアップリンクのメディアリンク品質の評価を説明する。 図８は、ユーザ特有のメディアサンプルの取得及び使用を説明する。

本発明のさらなる詳細は、添付図面を用いて説明される。

システム概要
図４は、本発明の実施形態による現場で多くのＤＵＴ ＵＥ６₁−６_n用のＭＯＳ値を集めるためのテストシステム（ＴＳ）２を使用するテストシステム構成概要を提供する。テストシステムは、無線システム４の固定部、又は類似の固定通信ネットワークに結合される。無線システム４は、音声電話、パケットデータ、及び必要に応じて映像電話をサポートできるＵＭＴＳ、ＣＤＭＡ又はＬＥＴシステムのような３Ｇ又は４Ｇシステムを含む多くのタイプのうちの１つでありうる。

ＴＳ２と無線システム４の間の結合は、パケットデータゲートウェイ（ＰＤＧ）やポリシーと課金ルール機能（ＰＣＲＦ）のようなインフラストラクチャ要素とＴＳが直接通信するというソリューションにおいてあるような、非常に堅いものでありうる。ＰＤＧはＵＥへパケットデータアクセスを提供し、このことは電話用のデータベアラの設定を可能にし、データファイルのダウンロード及びアップロードを可能にする。ＰＣＲＦへの接続によって、ＴＳはこれらのデータベアラ用に必要なＱｏＳ(Quality of Service)を得られる。

ＴＳ２と無線システム４の間の結合は、同様に幾分緩みうる。例えば、ＴＳはＩＭＳシステムでアプリケーションサーバでありえ、Ｓ−ＣＳＣＦ(Serving-Call Session Control Function)及びＰ−ＣＳＣＦ(Proxy-CSCF)経由で無線システム４と通信しうる。この場合ＴＳ２は、Ｐ−ＣＳＣＦ経由でＰＣＲＦと通信することによって必要なＱｏＳをなお取得しうる。呼及びパケットデータ接続の設定はＳＩＰ（Session Initiation Protocol）を使用しうるが、他の方法もまた使用しうる。

図４は無線システム４を示すことに留意すべきである。しかしながら、本発明の実施形態は、音声又は映像電話をサポートするあらゆる種類の有線及び無線通信システムに使用されうる。以下で明確になるように、ＴＳ２、及びＤＵＴ又はＵＥ６₁−６_nが呼を確立しパケットデータ接続できる限り、実施形態の多くは、通信システムの詳細な動作に依存しない。ＵＥは、ｉＰｈｏｎｅ、アンドロイドフォン、若しくはブラックベリーフォンのような携帯電話、Ｗｉ−Ｆｉ接続のデバイス、ＳＩＰフォン、ラップトップ若しくはパソコン、又は公衆電話システム、セルラーシステム若しくはスカイプのようなインターネットに基づくサービスを使用して電話するコンピュータでありうる。

アップリンクのリンク品質評価のための試験呼(test call)実施形態
図５は、呼の一部としてダウンリンク及びアップリンクのメディアリンク品質の評価のために参照される本発明の実施形態のための接続性ダイアグラムを提供する。図５では、テストステーション（ＴＳ）２は、少なくとも１つのメディアサンプルでプロビジョニングされる(provisioned)。メディアサンプルは、高品質音声サンプル、高品質映像サンプル、又は音声と映像の組み合わせを含むサンプルでありうる。有用なメディアサンプルは、数秒から数分継続しうる。本発明のコンテクストでは、映像は、一連の１つ以上の、例えばＪＰＥＧデータのようなそれぞれ符号化された静止画像からなりうる。ＴＳ２は典型的には多くのこのようなサンプルでプロビジョニングされ、多くの異なるサンプルを使用してＤＵＴ ＵＥ６のためのメディア品質をテストする。多くの異なるサンプルでの品質評点を平均化することによって個々のサンプルの特性への依存を取り除くために、これは行われる。メディアサンプルは典型的にはハードドライブ上のファイルとして又は不揮発性ＲＡＭ内に記憶されるが、通常のランダムアクセスメモリ内にも同様に保管されうる。

図５では、ＵＥ ＤＵＴ６は実施形態を実行するようにプログラムされていると考える。ＤＵＴ６のエンドユーザ７は、メディアリンク品質テストに参加することに対して少しの補償が与えられうる。エンドユーザ７に対する最終的な報いは、システム品質がより良く理解されることであり、これによって総合的な接続性がより良くなることである。

図５では、アップリンクのメディアリンク品質、すなわち（ＤＵＴ６からＴＳ２への）アップリンク品質は、ダウンリンクのリンク品質、すなわち（ＴＳ２からＤＵＴ６への）ダウンリンク品質から独立して測定される。実際には、いくらかの実施はアップリンクのリンク品質のみ、又はダウンリンクのリンク品質のみを測定しうる。これは本開示でのすべての実施形態に当てはまることであるが、便宜上のため図５は、これが最も可能性のある実施であるように、アップリンク及びダウンリンクＭＯＳの組み合わせた測定を示している。

さらに図５では、図５以降と同様に、（図４の）無線システム４と同じ内部ソフトウェアコンポーネントが説明される。当該無線システムコンポーネントは、ゲートウェイ５０、ＱｏＳ決定モジュール５２、及び無線システムトランシーバ５４を含む。これらの無線システムコンポーネントを使用するアップリンク及びダウンリンク接続は後に記載される。

図５にあるＤＵＴ６のアップリンクのメディアリンク品質を測定するために、１つ以上のメディアサンプルが、ＴＳ２とＤＵＴ６の間で選択され、転送される。具体的にはこの図に示される実施形態では、ＴＳ２は１つ以上のメディアサンプルを選択し、これらをライン５５によって説明されるようにＤＵＴ６へダウンロードする。本開示では、用語「ダウンロード」及び「アップロード」は、送信者によってエラーフリーの受信が確かめられうるようにダウンリンク又はアップリンク上のデータを確実に運ぶダウンロード及びアップロード手順について言及する。受信したデータは、送信されたデータの正確なコピーであり、劣化によって影響を受けない。これは、ＴＣＰ(Transport Control Protocol)、ＦＴＰ(File Transport Protocol)及びＳＦＴＰ(Secure FTP)のような良く知られた手順を使用して行われうる。ＴＳ２は、ＤＵＴ６へダウンロードする各ファイルのコピーを保有する。あらゆるアップロード及びダウンロードは低いＱｏＳ（例えば「ベストエフォート」）で進めることができ、したがって安価であり、エンドユーザ７の活動を顕著に妨げないことに留意すべきである。

ＤＵＴ６は、後ほど検索できるようにそれぞれダウンロードされたファイルを記憶するようにプログラムされる。複数のファイルがダウンロードされるとき、特定のファイルが後ほど指定され選択されうるように索引を付けられ、名を付けられる。ダウンロードされたサンプルは、アップリンク基準サンプル（Uplink Reference sample）としてＴＳ２とＤＵＴ６によって使用されるため、「Ｕ＿Ｒ」として参照される。ＤＵＴ内のサンプルＵ＿Ｒｉの記憶は、ボックス５８によって説明される。

テストセッションを開始するために、テストシステム２は、ライン５６によって説明されるようにＤＵＴ６への呼を初期化する。この呼設定は完全に従来のものでありえ、呼を確立する通信システム内に特別なプロビジョニングは必要ではない。従来の呼設定の一部として、通信システムは、音声及び／又は映像の伝送をサポートするのに必要なＱｏＳを持つ呼、必要に応じて設定されている呼、のためのアップリンク及びダウンリンク接続又はベアラを確立する。ＱｏＳの確立はライン５７によって説明される。典型的にＱｏＳは、呼設定手順の一部として自動的に確立される。例えばゲートウェイ５０又はＰ−ＣＳＣＦは、ＰＣＲＦ経由で呼のためのＱｏＳを要求しうる。

ＤＵＴ６は、呼をテストセッションに属するものとして認識するようにプログラムされる。ＤＵＴ６は、呼のための発信者番号(caller-ID)をＴＳ２のＩＤと認識することによって、これを行いうる。代替方法として、もしＳＩＰが呼設定に使用されるならば、例えばＳＩＰメッセージヘッダ又はＳＩＰメッセージ本体にある呼設定メッセージの１つの中にあるテストセッション識別情報でありうる。ＤＵＴ６が呼をテストセッションに属していると認識するとき、ＤＵＴ６は好ましくは呼に自動応答する。それはエンドユーザへのすべての通知を抑える、すなわちＤＵＴ６は試験呼が来るときに鳴らない、又は振動しない。そのようにして、（図５で「ノーリンギング」ラベルにより説明されるように）エンドユーザ７を困らせることなくテストセッションは進行しうる。

代替実施形態では、試験呼はＤＵＴ６により同様に開始されうることに留意すべきである。この変形形態では、ＴＳ２の電話番号又はＵＲＬ(Uniform Resource Indicator)がＤＵＴ６内にプログラムされる。それからＤＵＴ６は、あらゆる都合の良い時間にＴＳ２への呼を開始することができる。ＴＳ２は、ＤＵＴ６からのあらゆる呼を試験呼の開始と解釈するようにプログラムされる。

ＤＵＴ６は１つ以上のサンプルを記憶し、テストセッション設定（セットアップ）は、例えばＳＩＰメッセージヘッダ又はメッセージ本体にサンプルファイル名を含むことにより、サンプルの１つをはっきりと指定しうる。同様に当該セッション設定は、例えばメディアサンプルがダウンロードされた順番に使用される規定を使用することにより、メディアサンプルを暗に指定しうる。この場合ＤＵＴ６は、前のテストセッションで使用されたメディアサンプルに続くメディアサンプルを使用し、最後のメディアサンプルが使用された後に最初のサンプルから再開する。もしＤＵＴ６が図５のライン５５によって説明される唯一のメディアサンプルのみをダウンロードするならば、セッション設定はその唯一のサンプルを暗に指定する。この指定された１つ又は複数のサンプルを「Ｕ＿Ｒｉ」と呼ぶ。

ＤＵＴ６は呼をテストセッションに属していると認識するとき、ライン６０によって説明されるように、アップリンクメディアとして対応するアップリンク接続又はアップリンクベアラ上で指定されたアップリンク基準サンプルＵ＿Ｒｉを再生する。したがってＴＳ２による呼５６の設定及びサンプルの指定によって、ＤＵＴ６はアップリンク接続上で指定されたアップリンク基準サンプルに対応するアップリンクメディアを再生する。当該サンプルが音声と映像の両方を含む場合に備えて、ＤＵＴ６は、単一のアップリンクマルチメディアベアラ上でサンプルを再生しうるか、又は２つのアップリンクベアラ上でサンプルを再生しうる。２つのアップリンクベアラは、１つは音声メディア用で、１つは映像メディア用である。

通信システムは自動的にアップリンクメディアをＴＳ２へ送る。それはＴＳ２が呼では相手方であるからである。当該メディアは、ＤＵＴ６で又は通信システムリンク内で、劣化を受けうる。そしてこれらの劣化が当該メディア品質へ悪影響を与えうる。いずれの場合もＴＳ２は、アップリンクメディアストリームを捕獲し、図５のボックス６２によって説明されるように劣化アップリンクメディアサンプル又はアップリンク劣化サンプル(uplink degrade sample)Ｕ＿Ｄｉとして、記憶する。ＴＳ２は、揮発性ＲＡＭ内、不揮発性ＲＡＭ内、又はディスク上にサンプルＵ＿Ｄｉを記憶しうる。

もしテストシステムが再生される複数のアップリンク基準サンプルをダウンロードし指定したならば、ＤＵＴはそれらが指定される順番で当該指定されたサンプルのそれぞれを再生する。ＴＳ２は、劣化アップリンクメディアサンプルＵ＿Ｄｉとして各サンプルを捕獲する。図５でこれは、ライン６０と捕獲６２を１回以上繰り返すことに対応する。

テストセッションのためのメディアが再生されたとき、ＴＳ２又はＤＵＴ６は、ライン６８によって説明されるように、従来の方法で呼を終了する。ＴＳ２は、捕獲されたサンプルＵ＿Ｄｉを基準サンプルＵ＿Ｒｉと比較し、ボックス７２によって示されるようにアップリンクのメディア品質を評価する。ＴＳ２は、ＰＥＱ、ＰＯＬＱＡ、又はＰＥＶＱのような評価用の標準準拠ソフトウェアを使用し、平均オピニオン評点（ＭＯＳ）として比較結果を表しうる。

ダウンリンクのリンク品質評価のための試験呼実施形態
同様に図５により説明されるように、ＴＳ２はダウンリンクのメディア品質を評価する試験呼を開始しうる。上述のようにＴＳ２は呼５６を設定し、ＤＵＴ ＵＥ６は呼をテストセッションに属していると識別する。ＴＳ２は、基準メディアサンプルを、当該サンプルをＤＵＴ６へ配信するダウンリンク接続又はダウンリンクベアラ上で、配信し始めるか、又は再生し始める。ライン６４によって示すように、このサンプルをＤ＿Ｒｊと呼ぶ。当該メディアは、ＴＳ２で、通信システムリンク内で、又はＤＵＴ６で、劣化を受けうる。ＤＵＴ６は、テストセッションの間に受信するあらゆるダウンリンクメディアを記録し又は捕獲し、それをダウンリンク劣化サンプル(downlink degraded sample)Ｄ＿Ｄｊとして記憶するようにプログラムされる。変形形態では、ＴＳ２は複数のダウンリンク基準サンプルＤ＿Ｒｊを再生しうる。ＤＵＴ６は劣化ダウンリンクメディアサンプルＤ＿Ｄｊとして各サンプルを捕獲する。図５でこれは、ライン６４及び捕獲６６を１回以上繰り返すことに対応する。ＤＵＴ６は、ＴＳ２との信頼できるデータ接続を使用して、ライン７０によって説明されるように、記録されたダウンリンク劣化サンプルＤ＿ＤｊをＴＳ２へアップロードするようにさらにプログラムされる。ＤＵＴ６は、呼が終了した前後でこれを行いうる。別のサンプルが再生されている間に、記録されたサンプルＤ＿Ｄｊをアップロードすることが可能である。ＴＳ２、ＤＵＴ ＵＥ６及びシステム５４内のＱｏＳメカニズムは、メディアベアラが進行中のアップロード又はダウンロード上で十分に高いプライオリティを取得することを確実にすべきである。これはベストエフォート型のＱｏＳで典型的に行われる。

ＴＳ２は、単一のテストセッションの間に複数のダウンリンクサンプルを再生し、配信しうる。ＤＵＴ６は、すべてのサンプルを記録し、及び前にダウンロード（５５）した順番でこれらをアップロードするか、又は個別のサンプルを指定する他のメカニズムを使用するようにプログラムされうる。

ＴＳ２は、受信したサンプルＤ＿Ｄｊを基準サンプルＤ＿Ｒｊと比較し、ボックス７２によって説明されるようにダウンリンクのメディア品質を評価する。ＴＳはＰＥＱ、ＰＯＬＱＡ、又はＰＥＶＱのような評価用のソフトウェアを使用し、平均オピニオン評点（ＭＯＳ）として比較結果を表しうる。リンク品質評価は、呼が終了した前後で行われうる。例えば、ＴＳ２はアップリンク品質及び／又はダウンリンク品質が評価されるまで呼の終了を延期しうる。

テストシステム変形形態
図５に示すように、同じ呼の間に典型的にはアップリンクとダウンリンクがテストされる。実際にはＤＵＴ６及びＴＳ２は、アップリンク基準サンプルとダウンリンク基準サンプルを同時に再生／配信することができる。図５では、アップリンクサンプル再生６０及びダウンリンクサンプル再生６４が時間内に重なるであろう。

さらに、図５はＴＳが多くの数のＤＵＴでテストセッションを実行しうることを明確に示さないが、そのようなシステム構成は達成されうる。ＴＳは順々にそれぞれのＤＵＴを呼び出しうるか、以下の説明のように他のルールに従ってＤＵＴを呼び出しうる。第１ＤＵＴとのテストセッションが実行中である間に、ＴＳは第２ＤＵＴを呼び出し、第２ＤＵＴとの第２テストセッションを設定しうる、そして第２テストセッションのために第２アップリンク接続を確立し、第２ＤＵＴに第２アップリンク接続上で基準サンプルに対応するメディアを再生させうる。したがって異なるＤＵＴとのテストセッションは完全に又は部分的に重なり合いうる。ＴＳはすべてのＤＵＴに対してメディアサンプルの同じコレクションを使用しうるか、又は異なるＤＵＴに対して異なるサンプルを使用しうる。

ユーザインパクトの最小化
試験呼は短くなる傾向がある。それは試験呼がメディアサンプルを再生又は配信するのに１０又は１５秒のみかかりうるからである。ある意味でエンドユーザインパクトを最小化するために、呼の持続時間は、アップリンク及びダウンリンクサンプルを同時に再生し配信することにより限定されうる。このことによってエンドユーザ７への影響は限定される。しかしながら、図６で説明するように、試験呼が実行中である間にエンドユーザ７が呼を開始する又は受信する可能性は残る。

ＤＵＴは試験呼の開始でユーザに通知しないため、エンドユーザは典型的に試験呼が実行中であると気づかない。結果的に、ＤＵＴが試験呼でビジーの間にエンドユーザは非試験呼(non-test call)の開始を望みうる。このような場合、非試験呼は失敗するであろう。非試験呼が開始されるときにユーザインパクトを最小化するステップは、図６により説明される。図６は、試験呼の間エンドユーザ７がユーザコールを開始する状況を示す接続性ダイアグラムを提供する。試験呼の設定を説明するために、図６は、図５から接続ライン５６、６０及び６８を引き継ぐ。ライン８０によって説明されるように試験呼の間ユーザがユーザコールを開始するのをＤＵＴ６が検出するときにさらに図６のダイアグラム内で続けるために、ＤＵＴ６は、例えばＴＳ２との呼を切断することによって、又はライン６８に示すようにＳＩＰ ＢＹＥを送信することによって、進行中の試験呼を中断する。同様に、例えば第三者(third party)８２のようなピアデバイスからのＳＩＰ ＩＮＶＩＴＥの受信を観測することによって、試験呼が実行中の間に着信があることをＤＵＴ６が検出するとき、ＤＵＴ６はその試験呼をただちに遮断する（６８）ことができる。ＤＵＴ６は、介入するユーザコールが終わった後に、例えばテストシステムにＩＮＶＩＴＥを送信することによって、後ほどＴＳ２との試験呼を復旧することができる。代替方法として、ＴＳ６はタイマーが切れた後に試験呼をリトライしうる。ＤＵＴは、ユーザと第三者の間の呼が実行中の間に発生するＴＳからのあらゆる試験呼開始を拒絶するようにさらにプログラムされうる。

ひとたび第三者の呼が試験呼を遮ると、その試験呼が終了する後に、図６で説明するように、ＤＵＴと第三者の間の接続性が継続する。ライン８５によって示すように、第三者のユーザコールは、ＤＵＴによって、ＤＵＴ６のエンドユーザ７によって開始される呼のために、設定される。それから第三者８２及びＤＵＴ６は、ライン８６によって示されるように、ユーザコールを管理（コンダクト）する。最終的に第三者８２とＤＵＴ６の間の呼の完了後に、エンドコール信号８７が送信される。

品質評価セッションとしての実施形態
図７は、アップリンク及びダウンリンク両方でのメディア品質又はＱｏＳの評価のための実施形態を説明する。図７で説明するこのテストシステム機能は、ＱｏＳテストを含む包括的なテストセッションを設定し（９２）、図５から引き継いだステップを含む。この包括的なセッションが呼と異なり、従来の呼設定手順及びメッセージを使用しないことに留意すべきである。例えばこのことは、当該セッションが実行中である間に電話の呼び出しを設定し管理することが可能でありうることを意味する。このことは、２つの重なり合うセッション、包括的なセッション及び呼と関連したセッションをもたらす。これまでの実施形態で見られるように、１つ以上の基準メディアサンプル（Ｕ＿Ｒｉ）が、アップリンクテストのためにＴＳとＤＵＴの間で転送されるか又はダウンロードされる（５５）。それからＴＳ２又はＤＵＴ６は、包括的なテストセッションを設定又は開始する（９２）。例えばＴＳ又はＤＵＴは、テストセッションが開始しようとすることをＤＵＴ又はＴＳに通知するためにＳＩＰ ＭＥＳＳＥＡＧＥを送信することができる。セッションイニシエータは同様に、テキストメッセージのような他の方法も使用しうる。またはイニシエータはＳＩＰ ＩＮＶＩＴＥを使用して、呼以外のアプリケーションレベルセッションを設定しうる。ＴＳは、複数のＤＵＴのダウンリンクメディア品質を同時にテストするのにマルチキャストの使用さえしうる。当該セッション設定は、ＤＵＴに対してどのサンプルＵ＿Ｒｉがアップリンク上で再生するかを典型的には指定する。これはまったくリンギングを生じさせず、エンドユーザに通知しない。

図７で説明する実施形態では、正しいＱｏＳ、すなわち音声及び映像電話に対して典型的なＱｏＳを有するアップリンク及び／又はダウンリンクベアラを確立するのに特別な注意が必要である。ＴＳは、ＵＭＴＳ又はＬＴＥ無線システム内のＰＣＲＦのようなＱｏＳを制御する通信ネットワーク内のネットワークエレメントと通信することによって、このようなＱｏＳを確立することができる。これはライン９０によって示される。ＴＳの通信システムとの結合の堅さによって、ＱｏＳエンティティと直接通信しうるか、又はプロキシ経由で通信しうる。例えば、ＴＳは、Ｒｘインタフェース上で直接ＰＣＲＦと通信しうるか、又はＰ−ＣＳＣＦ経由でＰＣＲＦと通信しうる。Ｐ−ＣＳＣＦは、ＳＩＰ ＭＥＳＳＡＧＥ又はＳＩＰ ＩＮＶＩＴＥ内の情報に基づいて、ＱｏＳを要求しうる。

ひとたび正しいＱｏＳを持つベアラが確立されると、ＤＵＴは、アップリンク劣化サンプル（Ｕ＿Ｄｉ）６２としてＴＳにより記録される指定されたアップリンク基準サンプルＵ＿Ｒｉを再生し（６０）、及び／又はＴＳは、対応するダウンリンク劣化メディアサンプルＤ＿Ｄｊ（６６）としてＤＵＴにより記録されるダウンリンク基準サンプルＤ＿Ｒｊを再生するか又は配信する（６４）。ＤＵＴは記録されたＤ＿Ｄｊをアップロードする（７０）。これによって暗に当該セッションは終了しうるか、又は当該セッションはメッセージ又はＢＹＥを送信することによってＴＳ又はＤＵＴによって明確に終了させられうる（６８）。ＴＳは、ベアラが解放されること、又はベアラがタイマーの終了で自動的に解放されうることに気を付けなければならない。前述の通り、ＴＳは基準及び劣化サンプルを比較し（７２）、アップリンク及び／又はダウンリンクのメディア品質を評価する。

ＴＳはＭＯＳ値（すなわちサンプルの比較）を評価するためのすべての作業を行うと、上記記載は想定することに留意すべきである。この想定は、外部サービスにより提供される評価ソフトウェアは高価であるためになされている。しかしながら、ＤＵＴがＭＯＳ評価ソフトウェアを含むならば、ＤＵＴに比較の一部又は全部をさせることもまた可能である。ＴＳは、関連した基準及び／又は劣化サンプルをダウンロードしなければならないであろう。それからＤＵＴは、ＴＳへＭＯＳ結果を（例えばＳＩＰ ＭＥＳＳＡＧＥ又はテキストメッセージ内で）伝えることができる。

ユーザ特有のサンプルを有する実施形態
図８は、テスト用にユーザ特有のサンプルを使用する本発明の実施形態を説明する。図８より前に説明された実施形態は、ＩＴＵ−Ｔ勧告Ｐ．５０１での音声テスト用に指定された基準サンプルのような包括的な基準サンプルを使用すると考えてきた。しかしながらＴＳにより決定されるＭＯＳ値は、サンプル選択に強く依存する。したがって、ＤＵＴのエンドユーザに特有のメディアサンプルを使用することは好都合である。例えば音声サンプルは、ユーザの言葉又は方言であるべきである。

したがって、図８で説明する実施形態で、ＤＵＴは、エンドユーザによって話される又は撮影されるメディアフラグメント（音声又は映像）を収集（コレクト）するようにプログラムされる。ユーザコールの間、例えばＤＵＴは、すべてのトークスパート(talk spurts)、すべての文、又はすべての言葉を集めうる。しかしプライバシーの考慮のため、ＤＵＴは部分的な言葉又は個々の音素を収集するようにプログラムされうる。この目的は、これらのメディアフラグメントを使用して、エンドユーザに特徴的である１つ以上の基準サンプルを構築することである。ＤＵＴ自体は、１つ以上のメディアサンプルを構築し、それらをＴＳとＤＵＴの間で、例えば試験呼又はテストセッション内での後の使用のためにサンプルをＴＳへアップロードすることにより、転送しうる。ＤＵＴは、同様にメディアフラグメントをＴＳへアップロードし、ＴＳにメディアサンプルを構築させうる。

図８は、メディアフラグメントを収集するためのユーザコール設定を説明する。非試験呼であるユーザコールは、ユーザのＤＵＴと第三者のピアデバイスの間で、ライン１０２で示されるように設定される。ユーザコールは、ユーザ特有のメディアフラグメント又はボックス１０５により示されるように集められた音声フラグメントと共に、ライン１０４で示されるように管理される。ここでのユーザ特有のメディアフラグメントは、ユーザによって話される又は送信されるフラグメントであることに留意すべきである。ライン１０６により説明されるように、ひとたびユーザコールが終了させられると、ライン１０８により示されるように、ユーザ特有の音声フラグメントをアップロードする。音声フラグメントは、ボックス１１２により説明されるように、ユーザ特有の基準ファイルを構築又は作り出すように使用される。ＴＳ２は、ＤＵＴのユーザによって話され、送信されたフラグメントを使用して、アップリンクをテストするための基準サンプル（Ｕ＿Ｒｉ）を構築する。ある実施形態では、ライン１１０により説明されるように、ＤＵＴ６がテストステップを実行できるようにするために、サンプルはＴＳ２からＤＵＴ６内に集められうる。

リンク品質テストのために使用されるメディアサンプルは、高い信号対雑音比（ＳＮＲ）を有する必要がある。したがってＤＵＴ６は、メディアフラグメントに対して良いＳＮＲを測定する間のみ、例えばユーザが比較的静かな環境から比較的大きく話すときや、又はユーザが明るい条件で手が震えないで映像を撮るときに、メディアフラグメントを収集するようにプログラムされうる。

ＴＳ２は、ユーザのＤＵＴ６のアップリンクをテストするのに、前述の作り出されたユーザ特有の基準サンプルＵ＿Ｒｉを使用しうる。このユーザ特有の音声は当該アップリンク上にたいてい現れるため、これは当然である。さらなる変形形態では、ＴＳ２は、ユーザがしばしば通信する第三者のＵＥ８２の識別情報（例えばＵＲＩの電話番号）を学習する。ＴＳはこれをサービスプロバイダーの記録から学習しうるか、又はＤＵＴが（例えばＳＩＰ ＭＥＳＳＡＧＥの中で）そのような情報をＴＳ２へ送信するようにプログラムされるならば、ＴＳはＤＵＴから直接そのような情報を取得しうる。この変形形態では、ＴＳは、第三者のＵＥ８２のいずれかからユーザ特有のアップリンクサンプルＵ＿Ｒｘを集めたかどうかを確認し、そのようなユーザ特有のアップリンクサンプルを使用してＤＵＴ６用のダウンリンク品質をテストするためにダウンリンク基準サンプルＤ＿Ｒｊを構築する又は作り出す（この逆もまた同様である）。第三者のユーザ特有のアップリンクサンプルＵ＿Ｒｘの使用は、これらのサンプルは呼接続１０４上で伝送される前に第三者ピアデバイスにより集められ、したがって高い忠実度又は高品質を有するはずであるという利点を有する。

別の変形形態では、ＤＵＴは、呼の中で第三者により話される又は撮影される、かつ第三者８２からＤＵＴ６へ呼のダウンリンク接続上で伝送される（１０４）メディアフラグメント（音声又は映像）を収集する（１０５）ようにプログラムされる。上述のように、ＤＵＴ６又はＴＳは、メディア基準サンプルを構築するためにこれらのフラグメントを使用する（１１２）。それからＴＳは、ＤＵＴのダウンリンクをテストするのにこれらのサンプル（Ｄ＿Ｒｊ）を使用することができる。ＤＵＴは好ましくは、ピアデバイスとのダウンリンク接続上は高いＳＮＲであり、かつ呼の中に背景雑音がほとんどない間に、メディアフラグメントを収集する。したがってＤＵＴは、ユーザコールに対して良いダウンリンク接続であり、かつダウンリンクベアラがより良い品質メディアを提供するより高いビットレートを持つコーデックを使用する間、フラグメントを収集することができる。

ユーザ特有のテストセッションタイミングでの実施形態
上記の変形形態が、ＤＵＴ６とより関連性のあるテストメディアを提供する一方、テストセッションが発生する時間とＤＵＴ６のユーザが典型的に電話をする時間の間に相関関係は無い。

したがってある実施形態では、ＤＵＴがユーザコールの終わりにＴＳとの試験呼を開始するようにプログラムされる変形形態が提供される。ＤＵＴ内のアプリケーションが、ユーザが電話を切ることに気付くとき、又はＳＩＰ ＢＹＥを観測するとき、ＤＵＴはＴＳへの試験呼を開始し、上記のようにテストメディアサンプルを交換する。このようにユーザが電話をかけるとき又は受けるときと、ＭＯＳ値が評価されるときの間に密接な相関関係が確立されうる。これは自動的に電話位置もまた相関させる。（この実施形態の変形形態では、ＤＵＴは、ユーザが電話をかける場所を監視することができ、その後ＤＵＴがそれらの位置に戻るときにＴＳとの試験呼を開始することができる。）

このユーザ特有のテストセッションタイミングの変形形態は、わずかなバイアスを導入しうる。すなわち、接続が非常に悪いためユーザは時々ユーザコールを終了しうる。このバイアスは、より好ましくない条件でＭＯＳ評価の数を増やしうる。これは望ましいバイアスであると主張することもできるが、有害であると見ることもできる。

本発明のある実施形態では、上述したバイアスは取り除かれうる。この変形形態では、ＤＵＴは、ユーザがユーザコールを開始するか又は受信するかどうかを観測するようにプログラムされる。ＤＵＴがユーザコールの開始に気づくとき、ＤＵＴはＴＳとの包括的なテストセッションを設定する（９２）。テストセッションとユーザコールは時間内で重なり合い、それによって時間と位置の両方で完全な相関関係を確立する。

上記の実施形態のそれぞれに対して、本発明のシステムは、当業者によって理解されうるように、成し遂げられるタスクを可能にする従来のコンポーネントを含む。例えば、ＴＳとＤＵＴは両方とも、通信送／受信インタフェースと、通信インタフェースを制御するためのプロセッサと、プロセッサ、インタフェース、及び本発明で実施されるステップを成し遂げるのに必要なプログラミングを制御するソフトウェアを記憶するためのメモリと、を含むことができる。

本発明は、以上に詳細に説明されてきたが、ただ単に当業者に本発明の作り方や使用方法を教示するものであった。多くの追加的な修正形態は、特許請求の範囲により定められた本発明の範囲内に入る。

１ 基準メディア
２ テストシステム（ＴＳ）
４ 無線システム
６ ＤＵＴ ＵＥ
８ 劣化メディア
５０ ゲートウェイ
５２ ＱｏＳ決定モジュール（ＱｏＳ）
５４ 無線システムトランシーバ（無線システム）
８２ 第三者

Claims (29)

1. 被試験デバイス（ＤＵＴ）のためのメディアリンク品質を評価する方法であって、
   テストステーション（ＴＳ）と前記ＤＵＴの間でアップリンク基準サンプルを転送するステップと、
   前記ＤＵＴと前記ＴＳの間にアップリンク接続を確立するステップと、
   前記ＤＵＴにより前記アップリンク接続上で前記アップリンク基準サンプルに対応するアップリンクメディアを再生するステップと、
   前記ＴＳでアップリンク劣化サンプルとして前記アップリンクメディアを捕獲するステップと、
   アップリンク品質を評価するために前記アップリンク基準サンプルを前記アップリンク劣化サンプルと比較するステップと、を含む方法。
2. 前記方法は、
   前記ＤＵＴと前記ＴＳの間にダウンリンク接続を確立するステップと、
   前記ＴＳにより前記ダウンリンク接続上にダウンリンク基準サンプルに対応するダウンリンクメディアを配信するステップと、
   前記ＤＵＴでダウンリンク劣化サンプルとして前記ダウンリンクメディアを記録するステップと、
   前記ＤＵＴから前記ダウンリンク劣化サンプルをアップロードするステップと、
   ダウンリンク品質を評価するために前記ダウンリンク基準サンプルを前記ダウンリンク劣化サンプルと比較するステップと、をさらに含む請求項１に記載の方法。
3. 前記ＴＳと前記ＤＵＴの間でアップリンク基準サンプルを転送するステップは、前記ＴＳから前記ＤＵＴへ前記アップリンク基準サンプルをダウンロードするステップを含む、請求項１に記載の方法。
4. 前記アップリンク基準サンプルは、音声と、映像と、音声及び映像両方と、を含む請求項１に記載の方法。
5. 前記方法は、前記ＤＵＴと前記ＴＳの間の前記アップリンク接続を確立させるために前記ＤＵＴと前記ＴＳの間にセッションを設定するステップをさらに含み、前記セッションを設定するステップは前記ＤＵＴのユーザに通知しないで行われる、請求項１に記載の方法。
6. 前記セッションを設定するステップは、音声電話を確立するステップを含む、請求項５に記載の方法。
7. 前記アップリンク品質を評価するために比較するステップは、平均オピニオン評点としてアップリンク品質を表すステップを含む、請求項１に記載の方法。
8. 前記アップリンク基準サンプルを転送するステップは、少なくとも１つの追加のアップリンク基準サンプルを転送するステップを含み、
   前記セッションを設定するステップは、再生されるサンプルとして前記アップリンク基準サンプルを指定するステップを含む、請求項５に記載の方法。
9. 前記セッションを設定するステップは、前のセッションの間にユーザコールの開始を検出するのに応答して遮断された前記前のセッションを復旧するステップを含む、請求項５に記載の方法。
10. 前記方法は、
    前記ＤＵＴと関連する複数のメディアフラグメントを収集するステップと、
    前記複数のメディアフラグメントを含む前記アップリンク基準サンプルを構築するステップと、をさらに含む請求項１に記載の方法。
11. 前記複数のメディアフラグメントは前記ＤＵＴで収集される、請求項１０に記載の方法。
12. 前記複数のメディアフラグメントを収集するステップは、前記ＤＵＴが前記メディアフラグメントに対して好ましい信号対雑音比を測定する間に前記複数のメディアフラグメントを収集するステップを含む、請求項１０に記載の方法。
13. 前記方法は、
    前記ＤＵＴと関連する複数のメディアフラグメントを収集するステップと、
    前記複数のメディアフラグメントを含む前記ダウンリンク基準サンプルを構築するステップと、をさらに含む請求項２に記載の方法。
14. 前記複数のメディアフラグメントは前記ＤＵＴのピアデバイスから収集される、請求項１３に記載の方法。
15. 前記複数のメディアフラグメントは、ピアデバイスとの呼の間に前記ＤＵＴにより収集される、請求項１３に記載の方法。
16. 前記ピアデバイスから前記複数のメディアフラグメントを収集するステップは、前記ＤＵＴが前記ピアデバイスとの前記ダウンリンク接続に対して好ましい信号対雑音比を測定するときに前記複数のメディアフラグメントを収集するステップを含む、請求項１５に記載の方法。
17. 前記複数のメディアフラグメントを収集するステップは、前記複数のメディアフラグメントが高性能コーデックで符号化されることを前記ＤＵＴが決定するときに前記複数のメディアフラグメントを選択するステップを含む、請求項１５に記載の方法。
18. 前記方法は、
    ユーザコールの終了を検出するのに応答して前記アップリンク接続を確立するステップをさらに含む、請求項１に記載の方法。
19. 前記方法は、
    ユーザコールの開始を検出するのに応答して前記アップリンク接続を確立するステップと、
    前記ユーザコールの間に前記アップリンク接続及び前記ダウンリンク接続のためのＱｏＳを確立するステップと、をさらに含み、
    前記アップリンクメディアを再生するステップ及び前記ダウンリンクメディアを配信するステップは、前記ユーザコールと同時発生する、請求項２に記載の方法。
20. 前記セッションは、ユーザコールの終了を検出するのに応答して設定される、請求項５に記載の方法。
21. 前記ＴＳは、携帯電話、タブレットコンピュータ、パーソナルコンピュータ及びラップトップコンピュータのうちの少なくとも１つを含む、請求項１に記載の方法。
22. 被試験デバイス（ＤＵＴ）のためのリンク品質を評価する方法であって、
    前記ＤＵＴとテストステーション（ＴＳ）の間にダウンリンク接続を確立するステップと、
    前記ＴＳにより前記ダウンリンク接続上でダウンリンク基準サンプルに対応するダウンリンクメディアを配信するステップと、
    前記ＤＵＴでダウンリンク劣化サンプルとして前記ダウンリンクメディアを記録するステップと、
    前記ＤＵＴから前記ダウンリンク劣化サンプルをアップロードするステップと、
    ダウンリンク品質を評価するために前記ダウンリンク基準サンプルを前記ダウンリンク劣化サンプルと比較するステップと、を含む方法。
23. 前記ＴＳと前記ＤＵＴの間でアップリンク基準サンプルを転送するステップは、前記ＤＵＴから前記ＴＳへ前記アップリンク基準サンプルをアップロードするステップを含む、請求項２２に記載の方法。
24. プロセッサ、メモリ、及び通信インタフェースを含むテストステーション（ＴＳ）を備える、被試験デバイス（ＤＵＴ）のためのリンク品質を評価するテスト装置であって、
    前記プロセッサは、
    前記ＴＳと前記ＤＵＴの間でアップリンク基準サンプルを転送し、前記ＤＵＴと前記ＴＳの間にアップリンク接続を確立し、及び前記ＤＵＴに前記アップリンク接続上で前記アップリンク基準サンプルに対応するアップリンクメディアを再生させる前記通信インタフェースを制御し、
    前記プロセッサはさらに、
    アップリンク劣化サンプルとして前記アップリンクメディアを前記メモリ内に捕獲し、及びアップリンク品質を評価するために前記アップリンク基準サンプルを前記アップリンク劣化サンプルと比較する、テスト装置。
25. 前記プロセッサはさらに、
    前記ＤＵＴと前記ＴＳの間にダウンリンク接続を確立し、
    前記ダウンリンク接続上でダウンリンク基準サンプルに対応するダウンリンクメディアを前記ＤＵＴへ配信し、
    前記ＤＵＴからダウンリンク劣化サンプルをアップロードし、及び
    ダウンリンク品質を評価するために前記ダウンリンク基準サンプルを前記ダウンリンク劣化サンプルと比較する、請求項２４に記載のテスト装置。
26. 前記ＴＳは、前記ＤＵＴと通信するアプリケーションサーバを含む、請求項２４に記載のテスト装置。
27. 前記プロセッサと前記通信インフェースは組み合わせてさらに、
    前記ＤＵＴと関連する複数のメディアフラグメントをアップロードし、及び
    前記複数のメディアフラグメントを含む、前記アップリンク基準サンプルと前記ダウンリンク基準サンプルのうち少なくとも１つを構築する、請求項２４に記載のテスト装置。
28. 前記ＴＳは、前記アップリンク基準サンプルを前記ＤＵＴに伝達するために少なくとも１つのアップリンク基準サンプルでプロビジョニングされ、
    前記アップリンク基準サンプルは、音声サンプル、映像サンプル、又は音声と映像の組み合わせを含むサンプルである、請求項２４に記載のテスト装置。
29. 前記プロセッサと前記通信インタフェースは組み合わせてさらに、
    前記ＤＵＴとのテストセッションを設定し、
    前記ＤＵＴとの前記テストセッション用の前記アップリンク接続として前記アップリンク接続を確立し、
    前記ＤＵＴとの前記テストセッションが実行中の間に他のＤＵＴと他のテストセッションを設定し、
    前記他のＤＵＴとの前記他のテストセッション用の前記アップリンク接続として他のアップリンク接続を確立し、及び
    前記他のＤＵＴに前記他のアップリンク接続上で基準サンプルに対応するアップリンクメディアを再生させる、請求項２４に記載のテスト装置。