CN100583056C - 用于确定无线装置的多媒体性能方面的方法和设备 - Google Patents

用于确定无线装置的多媒体性能方面的方法和设备 Download PDF

Info

Publication number
CN100583056C
CN100583056C CN200680021163A CN200680021163A CN100583056C CN 100583056 C CN100583056 C CN 100583056C CN 200680021163 A CN200680021163 A CN 200680021163A CN 200680021163 A CN200680021163 A CN 200680021163A CN 100583056 C CN100583056 C CN 100583056C
Authority
CN
China
Prior art keywords
test
multimedia
wireless device
data
operated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200680021163A
Other languages
English (en)
Other versions
CN101198938A (zh
Inventor
法鲁克·乌斯马尼
肯尼·福克
蒂亚·曼宁·卡塞特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN101198938A publication Critical patent/CN101198938A/zh
Application granted granted Critical
Publication of CN100583056C publication Critical patent/CN100583056C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/24—Arrangements for testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/273—Tester hardware, i.e. output processing circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/10—Scheduling measurement reports ; Arrangements for measurement reports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/22—Processing or transfer of terminal data, e.g. status or physical capabilities
    • H04W8/24—Transfer of terminal data
    • H04W8/245—Transfer of terminal data from a network towards a terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)

Abstract

设备和方法可包含多媒体测试引擎，其可操作以基于包括可下载到无线装置的测试脚本的测试配置的执行而运用并测试所述无线装置的多媒体应用程序编程接口(API)。所述测试引擎驻留在所述无线装置的存储器中，且可操作以基于所述测试配置而收集多媒体测试数据且在一些方面还收集无线装置性能数据，并将所述收集的数据转发到另一装置，所述另一装置可操作以对所述收集的数据进行分析，并产生可由经授权的用户查看的多媒体API测试报告。

Description

用于确定无线装置的多媒体性能方面的方法和设备
在35U.S.C.§119下主张优先权
本专利申请案主张2005年4月21日申请的题为“Methods And Apparatus ForProviding Multimedia Test Engines For A Wireless Device”的第60/674,108号临时申请案的优先权，所述临时申请案转让给本申请案的受让人，且因此以引用方式明确并入本文中。
技术领域
所描述的实施例大体上涉及无线通信装置和软件测试。更明确地说，所描述的实施例涉及用于测试无线装置上的多媒体应用程序编程接口(API)的构架。
背景技术
无线连网在不需要直接电连接(例如铜线或光缆)的情况下，将一个或一个以上无线装置连接到其它计算机装置。无线装置通常以包的形式经由无线或部分无线的计算机网络传送数据，并在网络上开启“数据”或“通信”信道，使得装置可发送和接收数据包。无线装置通常具有无线装置资源(例如程序和硬件组件)，其独立且协作地操作以根据其设计和特定协议或配置来使用和产生数据，例如使用开放式通信连接来在网络上发射和接收数据。
无线装置正被制造得具有不断增加的计算能力，且正变得等价于个人计算机。这些“智能”无线装置(例如蜂窝式电话)具有安装到其本地计算机平台上的API，所述API允许软件开发者创建在蜂窝式电话上操作的软件应用程序。API位于无线装置系统软件与软件应用程序之间，从而使得蜂窝式电话功能性可在不要求软件开发者具有特定蜂窝式电话系统源代码的情况下用于所述应用程序。
接收、显示和发射视频、音频和剪辑的多媒体零件是现在无线装置上提供的最新革新中的一些，且在发布之前需要较长且较复杂的测试。因为新的多媒体应用程序可能需要新的API，所以运营商和/或原始设备制造商(OEM)不仅必须测试新的应用程序，而且必须测试所有新的多媒体API。此外，在不预先测试任何底层API的情况下，测试主应用程序是不可能的。
因此，提供用于提供一种测试构架的设备和方法，其中独立于依赖多媒体API的多媒体应用程序来测试和运用所述多媒体API，将是有利的。
发明内容
所描述的实施例包括设备、方法、计算机可读媒体和处理器，其可操作以提供用以运用和测试多媒体应用程序编程接口(API)的系统且自动的方式。此类实施例可减少无线装置芯片组提供商/OEM的回归测试。此外，可通过独立于所述应用程序测试底层API来减少应用程序测试时间。
在一些方面，一种在无线网络上测试无线装置上的多媒体应用程序编程接口(API)的方法包括在无线装置上获得包含至少一个测试脚本的多媒体测试配置。所述方法进一步包含在无线装置上执行所述至少一个测试脚本，所述至少一个测试脚本可操作以运用在无线装置上实施的预定多媒体应用编程接口(API)。另外，所述方法包含基于测试脚本的执行而将与多媒体API的性能有关的多媒体测试数据记录在无线装置上。另外，所述方法包含转发所记录的多媒体测试数据，以用于分析多媒体API的性能。在有关方面，机器可读媒体包括在由机器执行时致使机器执行上述操作的指令。在其它有关方面，至少一种处理器经配置以执行上述动作。
在其它方面，一种无线装置包括用于在所述无线装置上获得包含至少一个测试脚本的多媒体测试配置的装置。所述无线装置还包含用于在无线装置上执行所述至少一个测试脚本的装置，其中所述至少一个测试脚本可操作以运用在无线装置上实施的预定多媒体应用编程接口(API)。另外，无线装置包含用于基于测试脚本的执行而在无线装置上记录与多媒体API的性能有关的多媒体测试数据的装置。另外，无线装置包含用于转发所记录的多媒体测试数据以用于分析多媒体API的性能的装置。
在其它方面，一种无线装置包括处理引擎和应用程序编程接口(API)，所述应用程序编程接口可操作以向处理引擎提供接口。所述无线装置进一步包含存储器，其包括可由处理引擎执行的多媒体测试引擎。多媒体测试引擎包括具有测试脚本的测试配置，所述测试脚本可操作以调用和测试API的性能。另外，多媒体测试引擎包括监视逻辑和报告逻辑。监视逻辑可操作以监视和记录与API的操作和测试脚本的执行相关联的多媒体测试数据。报告逻辑可操作以经由无线网络将所记录的多媒体测试数据转发到预定装置。
在另外方面，一种在无线网络上确定无线装置上的多媒体应用程序编程接口(API)的性能的方法包括产生包括测试脚本的测试配置，所述测试脚本可操作以测试预定多媒体API的性能。所述方法进一步包含经由无线网络将测试配置转发到无线装置。而且，所述方法包含基于测试配置的执行而经由无线网络从无线装置接收多媒体测试数据和无线装置性能数据，且对所接收的多媒体数据和无线装置性能数据进行分析。另外，所述方法包含基于所述分析而产生测试报告。在有关方面，机器可读媒体包括在由机器执行时致使机器执行上述操作的指令。在其它有关方面，至少一种处理器经配置以执行上述操作。
在其它方面，一种设备包括用于产生包括测试脚本的测试配置的装置，所述测试脚本可操作以测试预定多媒体API的性能。所述设备还包含用于经由无线网络将测试配置转发到无线装置的装置。另外，所述设备包含用于基于测试配置的执行而经由无线网络从无线装置接收多媒体测试数据和无线装置性能数据的装置。而且，所述设备包含用于对所接收的多媒体数据和无线装置性能数据进行分析的装置。另外，所述设备包含用于基于所述分析而产生测试报告的装置。
在另外方面，一种设备包括信息储存库，其可操作以接收并存储多媒体测试数据和无线装置性能数据，所述两种数据是由无线装置基于无线装置上的可操作以测试驻留在无线装置上的多媒体应用程序编程接口(API)的测试配置的执行而收集的。所述设备还包含分析引擎，其可操作以基于预定阈值而对所接收的多媒体测试数据和无线装置性能数据进行分析。另外，所述设备包含报告产生器，其可操作以基于对所接收的多媒体测试数据和无线装置性能数据的分析而产生测试报告。
附图说明
下文将结合附图来描述所揭示的实施例，提供附图以说明而非限制所揭示的实施例，其中相同标号表示相同元件，且在附图中：
图1是用于测试无线装置的多媒体API的系统的一个方面的示意图；
图2是图1的无线装置的方框图的一个方面；
图3是图1的多媒体分析服务器的方框图的一个方面；
图4是与图1的多媒体分析模块相关联的配置产生器模块的一个方面的示意图；
图5是图1的测试工作站的方框图的一个方面；
图6是图1的蜂窝式电话网络方面的一个方面的示意图；
图7是与系统的相对于图1的多媒体分析服务器的操作的一个方面相关联的流程图；以及
图8是与系统的相对于图1的无线装置的操作的一个方面相关联的流程图。
具体实施方式
本文描述用于测试无线装置上的API的设备和方法。在一些非限制性情况下，举例来说，可通过以下操作使用测试结果来优化多媒体应用程序：对数据处理量与质量进行报告；基于CPU使用情况而丢弃多媒体帧；对不同运营商、制造商、固件和型号的多媒体API性能进行比较；以及对不同无线装置的所收集的多媒体数据质量进行比较。
图1说明可操作以测试和运用无线装置102中所实施的多媒体API 156的系统100的一个方面。通常，系统100可包含无线装置102、多媒体分析服务器104、测试工作站106以及使得所述系统组件能够以电子方式进行通信的无线网络110。尽管本文所揭示的实施例描述用于测试多媒体API的设备和方法，但在其它方面，被测API并非局限于多媒体应用程序和多媒体子系统，而是可包含驻存在无线装置102上的任何软件组件。
无线装置102中所实施的方法可包括接收测试配置138中所实施的一个或一个以上测试脚本142和/或测试数据。由存储器常驻多媒体测试引擎114对测试脚本142进行操作，测试脚本142模拟多媒体应用程序的操作，从而起始对多媒体API 156的调用，以便访问驻留在无线装置102上的多媒体子系统。可在无线装置102上监视和记录所有传入和传出视频和音频数据以及装置性能数据，例如射频(“RF”)环境数据和数据处理量。另外，所揭示的方法可在无线装置102与预定目的地(例如，多媒体分析服务器104)之间建立多媒体连接。可将所记录的数据(基于配置138而产生)转发到寄宿在多媒体分析服务器104上的多媒体分析模块118，其中数据可存储在信息储存库128中。
由分析控制逻辑120控制的多媒体分析模块118可进一步包含分析引擎122和报告产生器124。由分析引擎122执行的分析可包含确定一个或一个以上API的性能，其包含将所接收的多媒体文件与所传射的数据进行比较，分析处理量和质量，并将无线性能数据与所存储的阈值进行比较。经授权的用户(例如，测试工程师108)可在服务器104上看到，分析可包括曲线图、图表等。此外，报告产生器124可操作以产生测试报告126，所述测试报告126可包括API性能分析、测试数据和测试配置中的一者或任何组合。可将测试报告126以电子方式(例如，经由电子邮件)发送到目的地址，例如发送到操作测试工作站106的测试工程师108或对API性能感兴趣的任何其它预定方。然而，应注意，依据装置的存储器和处理能力而定，分析引擎122和报告产生器124可驻留在无线装置102上。
此外，工作站106可经由有线连接109或通过无线网络110向测试工程师108提供对多媒体分析服务器104的功能性的访问。在系统100的一些方面，测试工作站106可直接与无线装置102通信。在其它方面，测试工作站106可以是远程服务器104的从动装置，其中远程服务器104管理与无线装置102的连接性，且可操作以验证请求来自无线装置102的信息或请求连接到无线装置102的装置(例如，测试工作站106)的身份。举例来说，基于测试报告126，可产生新的测试配置138且/或可执行活动，以调整一个或一个以上API的特征以相对于给定测试而改变其性能。
本文所执行的活动可在任何形式的无线装置或计算机模块上执行，包含有线或无线通信端口，其包含(但不限于)无线调制解调器、PCMCIA卡、接入端子、个人计算机、电话或其任何组合或子组合。
参看图2，无线装置102可包含计算机平台112，其可操作以接收并执行软件应用程序和测试脚本(例如，多媒体测试引擎114和测试配置138)，且经由无线网络110将所记录的视频帧和无线装置性能数据传输到远程装置。
无线装置102可包含任何类型的计算机化无线装置，例如蜂窝式电话102、个人数字助理、双向文本寻呼机、便携式计算机以及甚至单独的计算机平台，所述计算机平台具有无线通信端口，且其还可具有到达网络或因特网的有线连接。无线装置可以是远程从动装置或不具有终端用户而是仅仅经由无线网络110传送数据的其它装置，例如远程传感器、诊断工具和数据中继器。
无线装置102还可包含互连到计算机平台112的输入机构130和输出机构132。输入机构130可操作以产生到达无线装置102中的输入，且可包含例如按键或键盘、鼠标、触摸屏显示器和语音识别模块的机构。输出机构132可包含显示器、音频扬声器和触觉反馈机构，(例如)以用于将信息中继给无线装置102的用户。
计算机平台112可包含存储器134，其可进一步包括易失性或非易失性存储器，例如只读和/或随机存取存储器(RAM和ROM)、EPROM、EEPROM、闪存卡或对计算机平台来说常见的任何存储器。另外，存储器134可包含一个或一个以上快闪存储器单元，或可以是任何二级或三级存储装置，例如磁性媒体、光学媒体、磁带或者软盘或硬盘，包含可移除存储器装置和外部存储器装置。另外，存储器134可能可操作以存储测试数据，所述测试数据包括多媒体测试数据144(例如，所接收的图像、音频和视频数据、经处理的图像、音频和视频数据)以及无线装置性能数据146(例如，RF环境数据、处理量和其它连接相关数据)。此外，每一无线装置102可具有存储在存储器134中的装置特征158，其可包含装置识别(ID)、制造商识别、装置硬件和软件配置以及与特定无线装置102有关的其它信息。装置特定信息158的若干部分和给定测试配置138可包含在测试数据144中，且可连同测试数据144一起转发到远程服务器104。
另外，计算机平台112可包含处理组合件160，其可以是专用集成电路(ASIC)或其它芯片组、处理器、逻辑电路或可操作以执行驻存在存储器134中的应用程序的其它数据处理装置。处理组合件160包含以硬件、软件、固件、可执行指令、数据和其组合实施的各种处理子系统162，其实现无线装置102的功能性和无线装置对无线网络110的可操作性。
更具体地说，处理子系统162可允许起始和维持与其它连网装置和在计算机平台112上执行的应用程序的通信并与其交换数据，所述处理子系统162包含代表多媒体应用程序从API层116接收数据读取和数据写入的任何子系统组件。在一个方面，例如在蜂窝式电话中，处理子系统162可包含显示系统监视器164、声音系统监视器166、诊断系统监视器168、非易失性存储器、文件系统、发射、接收、搜索器、层1、层2、层3、主控制、远程程序、手持机、功率管理、数字信号处理器、视频、摄像机、声码器、消息传递、呼叫管理器、蓝牙系统、蓝牙LPOS、位置确定、位置引擎、用户界面(UI)、休眠、受限服务、安全性、验证、USIM/SIM、语音服务、图形、USB和例如MPEG、GPRS等多媒体。
API层116包括软件组合件，其使应用程序与处理组合件160和包括在其中的子系统介接。在一个方面，API层116是在各自无线装置上执行的运行时环境。一种此类运行时环境是由加利福尼亚州圣地亚哥市的QUALCOMM公司开发的Windows二进制运行时环境(BREW)软件。可利用其它运行时环境，其(例如)操作以控制无线计算装置上的应用程序的执行。
在一些方面，API层116可包括经完全测试的软件组件(例如，API 154)的集合，其使得应用软件能够与处理组合件160通信。此外，在本文所揭示的测试环境中，API层116可包括未经测试的API，包含未经测试的多媒体API 156，其用于利用多媒体子系统的应用程序。
在一些方面，存储器常驻多媒体测试引擎114可操作以测试多媒体API 156以及底层处理子系统162的相应多媒体部分。多媒体测试引擎114可包含监视和报告逻辑136，其可操作以基于测试配置138的执行而收集与给定多媒体API的性能有关的多媒体测试数据144。测试数据144可包含(但不限于)任何处理子系统162中的任何与给定测试脚本142的执行有关的信息。举例来说，在非限制性情况下，多媒体测试引擎114通过显示系统监视器164和其
Figure C20068002116300121
扩展来接收和收集视频和静止图像数据。类似地，在一些方面，可通过无线装置OEM层或通过声音系统监视器166和其
Figure C20068002116300122
扩展来收集声音数据。此外，在一些方面，可通过无线装置OEM层、诊断系统监视器168和其
Figure C20068002116300123
扩展、码分多址(CDMA)事件和“空中”(OTA)消息中的至少一者来收集无线装置性能数据146(包含RF环境数据)。应注意，尽管上述实例参考
Figure C20068002116300124
扩展和CDMA协议，但所描述的实施例适用于任何类型的API层和任何类型的通信和/或多媒体协议。传送到无线装置102和从无线装置102传送的多媒体文件(例如，图像、视频和音频文件)可存储在测试数据144的多媒体测试数据部分148中。
监视和报告逻辑136进一步可操作以检测从远程装置(例如，多媒体分析服务器104和测试工作站106)发射的控制命令176(见图3)。在接收到控制命令176后，监视和报告逻辑136可操作以剖析所述命令以确定适当的动作。举例来说，可接收引导命令，其指令无线装置102下载测试配置138。另一命令可请求将测试数据144传送到多媒体分析服务器104。在一些实施例中，在完成测试脚本142后，可上载测试数据144。在其它实施例中，当测试数据144(例如，性能数据146)在测试脚本142的执行期间的任一时间点处变得可用时，监视和报告逻辑136可上载所述数据的若干部分。
多媒体测试引擎114可通过各种机制加载到存储器134中，所述机制包含(但不限于)从物理附接到无线装置102或与无线装置102形成电通信的任何计算机装置(例如，多媒体分析服务器104)下载。
此外，多媒体测试引擎114可操作以接收测试配置138，其可包含一组测试脚本142和一组测试参数140。在一个方面，测试脚本142可(例如)由测试工程师108以可由处理组合件160执行的任何软件语言来编写，所述软件语言包含(但不限于)PHP：超文本预处理器(PHP)、实用摘录和报表语言(PERL)、可扩展标记语言(XML)、自定义语言和其任何组合。在监视和报告逻辑136的控制下，测试脚本142可操作以测试和运用多媒体API 156的功能性，且可以是单线程的或可以起始多个线程。
测试配置138可包含可配置的测试参数140，其由监视和报告逻辑136用来监视正在执行的测试，存储所发射和接收的多媒体数据，并将结果转发到所确定的地址。举例来说，测试参数140可指令监视和报告逻辑136累积性能测试数据，所述数据包含(但不限于)RF环境数据，包含针对CDMA系统的“搜索器和指针信息”、针对通用移动电信业务(UMTS)系统的“用于TA的WCDMA指针信息”、移交、信号强度以及进入/离开服务事件等。另外，可记录无线装置102特定的数据，例如固件、软件、硬件、型号、制造商和无线识别(ID)。此外，尽管在一些实施例中，测试参数140可在测试配置138内组成单独组件，但在其它实施例中，测试参数140可并入在测试脚本142内。
此外，测试参数140可包含可配置的报告参数，其控制将测试结果传送到多媒体分析服务器104的目的地和时序。举例来说，可在结果变得可用时或在测试脚本142的每一者或全部都完成后，传输测试结果。此外，在其它实施例中，作为对由多媒体分析服务器104发出的命令的响应，监视和报告逻辑136可将测试结果上载到多媒体分析服务器104。在接收到测试结果后，多媒体分析服务器104可将消息传输回到无线装置102，从而确认接收。
计算机平台112可进一步包含通信模块170，其以硬件、软件、可执行指令、数据和其组合来实施，通信模块170可操作以实现无线装置102和无线网络110的各个组件之间的通信。通信模块170可包括任何组件/端口/接口，其可包含进入无线装置的任一入口点和/或离开无线装置的任一出口点。由此，通信模块170可包含用于硬连线通信和用于无线通信的接口组件。
在一个方面，可经由无线装置102与无线网络110之间的开放式通信连接来传输所选择的数据，其“背负”在越过开放式连接的正在进行的语音或数据呼叫上。或者，在蜂窝式网络配置中，可通过短消息业务(SMS)、文件传送协议(FTP)和超文本传送协议(HTTP)将测试数据144传输到多媒体分析服务器104。此外，如先前所述，多媒体分析服务器104的另一方面可在排定或即兴基础上经由网络110从无线装置102“拉出”测试数据144。
在一些方面，无线装置102与远程装置(例如，多媒体分析服务器104和测试工作站106)之间的数据传输可通过无线网络110在受限访问通信信道上传输。所述通信信道可基于受限服务配置150来设置，且可用于将测试数据144传输到多媒体分析服务器104，或用于将多媒体测试引擎144和测试配置138的至少若干部分下载到无线装置102。受限访问通信信道对终端用户来说通常是不可用的，且可基于受限服务设定152来配置，所述受限服务设定152标识所允许的通信类型和可被利用的相关联通信信道。受限服务配置150可通过无线网络110来下载，可本地传送到无线装置102(例如通过串行连接)，或可预先加载在无线装置102上。
参看图3，多媒体分析服务器104(或多个服务器)可经由通信模块186通过无线网络110将软件代理或应用程序(例如多媒体测试引擎114的任何包含测试配置138的部分)发送到无线装置102。多媒体分析服务器104可包括任何类型的服务器、个人计算机、小型计算机、大型计算机或任何计算装置(专用或通用计算装置)(例如处理器组合件184)中的至少一者。另外，可能存在与多媒体分析服务器104相关联的单独服务器或计算机装置，其协调地工作以将数据以可用格式提供到若干方且/或在无线装置102与多媒体分析服务器104之间的数据流中提供单独的控制层。
多媒体分析服务器104可进一步包括存储器172和存储器常驻多媒体分析模块118，其包含软件、硬件、数据和大体上任何可操作以管理来自至少一个无线装置102的测试数据144的收集和报告的可执行指令。举例来说，服务器104可包含分析控制逻辑120，其可操作以控制多媒体分析模块118的所有组件的操作。
多媒体分析模块118可进一步包含用于存储从无线装置102接收的测试数据144的信息储存库128，且可包括任何类型的存储器或存储装置。此外，信息储存库128可存储传输到无线装置102的多媒体数据182，以便稍后将其与从测试引擎114接收的数据进行比较。
此外，多媒体分析模块118可包括装置控制模块174，通过控制逻辑120的执行，装置控制模块174可操作以在无线装置102上直接执行控制命令176或将控制命令176传输到无线装置102以供本地执行。
如先前所揭示的，多媒体分析模块118可操作以接收无线装置测试数据144，将所述数据存储在信息储存库128中，分析所述数据，并将结果呈现给测试工程师108。分析可包含(但不限于)：对数据处理量与质量的报告和呈现；基于处理引擎160的使用情况而丢弃的帧(视频和/或音频)；多个制造商、固件和型号的多媒体API性能的比较；以及不同无线装置之间的多媒体数据质量的比较。
在一些实施例中，分析可由分析引擎122执行，所述分析引擎122可包含硬件、软件、固件、数据、决策例行程序、统计程序、模糊逻辑、启发式关系、神经网络中的一者或任何组合，以用于分析和解译所接收的测试数据144，例如将从无线装置102接收的视频和声音帧与传输到无线装置102的视频和声音帧进行比较。此外，分析引擎122可将存储在信息储存库128中作为测试数据144的一部分的性能数据146与预定阈值180进行比较。此类阈值数据可包含RF环境数据、丢弃的帧等。
举例来说，在测试与视频会议有关的API的情况下，分析引擎122可接收包括所接收的图像数据的测试数据144，可将所述测试数据144与常驻源图像数据进行比较，以便确定一个或一个以上API的性能。举例来说，可在逐个像素基础上比较所接收的图像数据与源图像数据，以确定像素损失。在另一实例中，分析引擎122可使所接收的性能数据146(例如RF环境数据)与上述逐像素分析相关，以试图标识与所接收图像数据质量有关的情形。
除提供分析引擎122的结果之外，多媒体分析模块118还可操作以用任何形式(例如表格、映射、图形视图、纯文本、交互程序或网页或者任何其它数据显示或呈现方式)来呈现从无线装置102收集的与多媒体和RF有关的测试信息的简便视图。举例来说，能够访问远程服务器104的测试工程师108可经由HTTP、HTTPS、FTP或某种其它数据传送协议来在线查看与多媒体和RF有关的测试信息。
此外，除能够向经授权的用户(例如，测试工程师108)呈现全部分析(包含曲线图)之外，多媒体分析模块118可能还可操作以向装置(例如测试工作站106)产生电子消息(例如，电子邮件和传真)，从而通知接收方所述数据的可用性。此类消息可进一步包括由报告产生器模块124基于经分析的数据创建的报告126。
多媒体分析模块118可进一步包含配置产生器模块178，其可操作以产生加载到无线装置102上的测试配置138。参看图4，配置产生器模块178的一个实施例可包含硬件、软件、固件、可执行指令、数据和/或允许配置产生器模块178产生测试配置138的任何其它相关联逻辑。在一些方面，配置产生器模块178可能可操作以执行配置逻辑202，所述配置逻辑202基于对多个可选测试脚本和其它参数的选择来组合给定配置138的各个组件。
举例来说，测试工程师108可将多组测试脚本142加载在远程服务器104上。然而，测试工程师108可能希望仅测试多个测试脚本194中的一子组。因此，当建立测试配置138时，会仅将所需的那些测试脚本142加载到拟下载到无线装置102的测试配置中。
在一些方面，配置产生器模块178可对作为测试配置138的一部分而传输且在图2中统称为测试参数140的多个参数进行配置。在一些方面，测试参数140可包含从多个报告参数190中选择的至少一个报告参数。所述多个报告参数190中的每一者可确定何时可将相应的所收集统计数据上载到远程服务器104，包含(但不限于)在发生排定事件时、在预定时间处、以预定时间间隔和在接收到由远程装置发出(例如由远程服务器104和测试工作站106发出)的命令时上载。
在一个方面，无线装置102可将多媒体测试数据144传送到多媒体分析服务器104。在其它实施例中，测试工程师108可能希望将数据144存储在另一装置上。因此，所述多个报告参数可包含所上载的测试数据144的目的地址。
此外，运用和测试API 156可包含在无线装置102与模拟多媒体提供商的装置(其可包含多媒体分析服务器104和测试工作站106)之间传送多媒体文件。因此，所述多个报告参数190可包含网络装置的地址，通过所述网络装置，多媒体测试引擎114可与多媒体数据提供商实行数据传送。此类装置可包含测试工作站106和多媒体分析服务器104。
另外，配置产生器模块178可包含多个无线装置性能参数192，可从其中选择一个或一个以上参数。所述多个无线装置性能参数192使得经授权的用户108能够配置多媒体测试引擎114，以监视和报告可能与无线性能和测试有关和/或相关联的任何预定参数，例如RF环境参数和丢弃的帧等。
另外，代替单独选择各个参数，配置逻辑178可向用户提供从具有多个预定配置196的菜单进行选择的能力，所述菜单包含上述包括测试配置138的参数的预定分组。
另外，在一些方面，多个无线装置类型/型号200中的选定一者和多个网络服务提供商/通信协议198中的选定一者可与多个无线装置性能参数192中的给定一者相关。举例来说，某些参数在CDMA启用的系统上可能是不可用的或可能不是相关的，但在UMTS系统上可能是可用的，且反之亦然。因此，配置逻辑202可能能够基于相关联的装置类型、网络运营商和/或通信协议来确定无线装置102应当安装哪些呼叫监视能力，且因此可产生测试配置138，其包含适当的相应参数组。
此外，不同的网络提供商可利用不同的移动技术，例如CDMA和UMTS。因此，组成配置138的参数可根据无线装置的类型/样式/型号和/或网络服务提供商/通信协议而变化。由此，配置逻辑102可向用户提供以下能力：从具有多个无线装置类型/型号200和多个网络服务提供商/协议198的菜单进行选择以便产生适当的菜单，从所述菜单中选择配置138的参数。
一旦确定了给定配置138的特定参数，配置逻辑202便可将唯一配置ID 204分配到给定配置，从而将此配置存储在库中以供稍后重新调用(例如在多个预定监视测试配置196之间)。另外，配置逻辑202和/或多媒体分析模块118的另一组件(例如通信模块186(图3))可能可操作以将配置138传输到一个或一个以上无线装置102，以起始在所述装置上运用和测试多媒体API。
多媒体分析模块118的所揭示组件的实际位置是非限制性的，且可物理定位在服务器或连接到无线网络110的其它装置上。
参看图5，测试工作站106通常向多媒体分析服务器104提供接口以访问本文所述的功能性。在其它方面，所述系统的功能性中的一者或一者以上可驻留在测试工作站106中。在一些方面，测试工作站106可能可操作以存储由测试工程师108产生的一组测试脚本142，并直接地和/或经由多媒体分析服务器104间接地将这些脚本下载到无线装置102。此外，测试工作站106可操作以接收由多媒体分析服务器104传输的报告126，或可查看多媒体分析服务器104上的分析器122的结果。另外，因为无线装置102可能不具有驻留在存储器中的多媒体测试引擎114，所以测试工作站106可操作以直接地或经由多媒体分析服务器104间接地将多媒体测试引擎114下载到无线装置102。
测试工作站106可包括任何类型的服务器、个人计算机、小型计算机、大型计算机、终端或可操作以与无线装置102和远程服务器104两者通信的任何计算装置(专用或通用计算装置)中的至少一者。在一个方面，测试工作站106可包括处理组合件238和通信模块240，所述通信模块240可操作以在测试工作站106、远程服务器104、无线装置102以及无线网络110上的任何网络组件之间发射和接收消息和数据。在其它方面，测试工作站106可驻留在无线网络110的任一网络装置上，例如驻留在多媒体分析服务器104上、连接到网络的另一服务器上或甚至驻留在无线装置102上。
测试工作站106可进一步包括互连到计算机平台224的输入机构220和输出机构222。输入机构220和输出机构222可允许测试工程师108与测试工作站106、多媒体分析服务器104且最终与无线装置102介接。
工作站计算机平台224可进一步包括用于存储应用程序(例如，工作站控制模块228)和数据文件(例如，测试脚本142)的存储器226。因为测试工作站106的数目和测试工程师108的数目是非限制性的，所以用户ID 234可由测试工程师108输入到存储器226中，且可能可操作以向包含远程服务器104和无线装置102的网络组件标识特定测试工作站106的用户。
工作站控制模块228可进一步包含授权逻辑230，其可结合图形用户接口(GUI)逻辑232、输入机构220和输出机构222来操作以引导测试工程师108完成任何分析且命令活动选择和传输。GUI逻辑232可控制(例如)电子邮件通信、报告呈现，以及提供菜单，通过所述菜单，装置控制模块174在结构和功能方面类似于多媒体分析模块118的装置控制模块。此外，存储在测试工作站106上的多媒体测试引擎114的副本可允许测试操作者108将多媒体测试引擎114的至少一部分传输到无线装置102和多媒体分析服务器104。
返回参看图1，无线网络110包含可操作或至少部分可操作以用于实现无线装置102与连接到无线网络110的任何装置之间的无线通信的任何通信网络。另外，无线网络110可包含所有网络组件以及形成所述网络的所有所连接装置。举例来说，无线网络110可包含以下网络中的至少一者或任何组合：蜂窝式电话网络；多播网络，例如仅前向链路(FLO)网络，例如可从加利福尼亚州圣地亚哥市的Qualcomm公司购得的MEDIAFLOM系统；数字视频广播(DVB)网络，例如针对卫星的DVB-S、针对缆线的DVB-C、针对地面电视的DVB-T、针对供手持机的地面电视的DVB-H；地面电话网络；卫星电话网络；红外网络，例如基于红外数据协会(IrDA)的网络；短程无线网络；蓝牙技术网络；ZIGBEE协议网络；超宽带(UWB)协议网络；家用射频(HomeRF)网络；共享无线访问协议(SWAP)网络；宽带网络，例如无线以太网兼容性联盟(WECA)网络、无线保真联盟(“Wi-Fi联盟”)网络和802.11网络；公共交换电话网络；公共异质通信网络，例如因特网；专用通信网络；以及地面移动无线电网络。
电话网络的合适实例包含模拟和数字网络/技术中的至少一者或任何组合，所述模拟和数字网络/技术例如是：码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、高级移动电话业务(AMPS)、时分多址(TDMA)、频分多址(FDMA)、正交频分多址(OFDMA)、全球移动通信系统(GSM)、单载波(1X)无线电传输技术(RTT)、仅演进数据(EV-DO)技术、通用分组无线电业务(GPRS)、增强型数据GSM环境(EDGE)、高速下行链路数据包存取(HSPDA)、模拟和数字卫星系统以及可在无线通信网络和数据通信网络的至少一者中使用的任何其它技术/协议。
参看图6，蜂窝式无线系统242的一方面包括经由运营商网络254连接到有线网络250的至少一个无线装置102和蜂窝式电话无线网络258。蜂窝式电话系统258仅仅是示范性的，且可包含任何这样的系统，远程模块(例如无线装置102)可借助于所述系统在彼此之间和/或在无线网络258的多个组件(包含但不限于无线网络运营商和/或服务器)之间以空中方式传送包含语音和数据的包。
根据系统242，多媒体分析服务器104可通过有线网络250(例如，局域网(LAN))与用于存储从无线装置102收集的多媒体测试结果144的数据储存库244通信。另外，数据管理服务器248可与多媒体分析服务器104通信，以提供后处理能力、数据流控制等。多媒体分析服务器104、数据储存库244和数据管理服务器248可连同提供蜂窝式电信服务所需的任何其它网络组件一起存在于蜂窝式电话系统242上。
多媒体分析服务器104和/或数据管理服务器248可通过数据链路252和250(例如因特网、安全LAN、WAN或其它网络)与运营商网络254通信。运营商网络254控制发送到移动交换中心(MSC)260的消息(通常是数据包)。另外，运营商网络254通过网络256(例如因特网)和/或POTS(“普通老式电话业务”)与MSC 260通信。通常，在网络258中，网络或因特网部分传送数据，且POTS部分传送语音信息。MSC 260可通过另一网络262(例如用于数据传送的数据网络和/或因特网部分和用于语音信息的POTS部分)连接到多个基站(BTS)264。BTS 264最终通过短消息业务(“SMS”)或其它空中方法将消息无线广播到无线装置102。
参看图7和图8，在一些方面，一种用于自动运用和测试无线装置上的多媒体API的方法可包含将多媒体测试引擎114从多媒体分析服务器104下载到无线装置102(在步骤274和276处)。在其它方面，多媒体测试引擎114可通过其它机制加载到存储器186中，所述机制包含(但不限于)从连接到无线网络110的任一计算机装置下载，和从硬连线到无线装置102的计算机装置加载。
在步骤280处，所述方法可包含多媒体分析服务器104获得可操作以测试一个或一个以上API的性能的测试配置。操作测试工作站106和/或多媒体分析服务器104的经授权的用户(例如测试工程师108)可创建一个或一个以上测试脚本142，所述测试脚本142可包含在测试配置138中。在一些方面，测试配置138可直接从工作站106下载到无线装置102。
在步骤282处，所述方法可包含无线装置102获得并剖析测试配置138。举例来说，多媒体分析服务器104可经由短消息业务(SMS)、自动回叫或其它空中方法来将引导命令176发送到无线装置102上的多媒体测试引擎114。在接收到引导命令176后，多媒体测试引擎114可剖析命令176，并通过无线网络110来与远程服务器104建立连接，例如HTTP连接。
仍参看步骤282，多媒体测试引擎114可起始从多媒体分析服务器104下载测试配置138(包含一个或一个以上测试脚本142)。在完成下载过程后，多媒体测试引擎114可将确认消息传输到多媒体分析服务器104。
在步骤284处，无线装置102上的多媒体测试引擎114可执行测试脚本142。如先前所揭示的，可用可由处理引擎198执行的任何软件语言(包含但不限于PHP、PERL、XML、自定义语言和其任何组合)来编写测试脚本142。测试脚本142可操作以运用和测试多媒体API 156。由于测试脚本142的缘故而产生和传送的多媒体数据和/或文件可由报告逻辑136俘获作为测试数据144。
在一些方面，多媒体API 156在本地进行操作，且不需要通过无线网络110的连接。因此，在此类情况下，RF环境数据可能不是相关的。然而，在其它方面，API 156的测试可能需要与模拟多媒体服务提供商的装置进行无线连接。
举例来说，在步骤284处执行测试脚本的过程中，在多媒体测试引擎114的控制下，无线装置102可经由通信模块170与多媒体分析服务器104建立因特网连接或某种其它通信连接。基于HTTP、HTTPS、FTP或其它数据传送协议，在步骤286处，多媒体分析服务器104可将多媒体数据和/或文件传送到无线装置102。基于测试配置138，监视和报告逻辑116可能可操作以记录相应的所接收多媒体数据。另外，监视和报告逻辑116可能可操作以相对于所接收的多媒体数据和/或测试脚本的处理来记录与API有关的性能。
当用多媒体服务提供商(例如，多媒体分析服务器104)进行测试时，RF环境数据可由无线装置102收集，从而允许测试工程师108使多媒体性能与RF质量相关。可通过一个或一个以上处理子系统162来在无线装置上收集RF环境数据。举例来说，此类数据可驻存在OEM层、诊断系统监视器和其BREW扩展、CDMA事件以及“空中”(OTA)消息的至少一者中。多媒体测试引擎114可操作以存储RF环境数据作为性能数据146。所收集的性能数据可基于测试脚本142和/或测试参数140进行配置，且可包含(但不限于)针对CDMA系统的“搜索器和指针信息”、针对UMTS系统的“用于TA的WCDMA指针信息”、移交、信号强度和进入/离开服务事件。
另外，在步骤292处，所述方法可包含多媒体分析服务器104基于测试配置138的执行而从无线装置102接收测试数据144。举例来说，在测试脚本142的执行完成后，在多媒体测试引擎114的控制下，无线装置102可起始使用到达无线装置102能够访问的服务器104的任何通信装置或连接来将测试数据144传送到信息储存库128。
由多媒体分析服务器104在步骤292处接收的测试数据144可包含所俘获的多媒体数据、包含RF环境数据的性能数据以及其它测试脚本结果。尽管多媒体测试引擎114可操作以在测试脚本142完成后传输测试数据144，但测试引擎114可在数据变得可用时基于测试配置138来上载测试结果。
在上载完成时，多媒体分析服务器104可能可操作以将确认消息传输到无线装置102，从而指示测试数据144的成功上载。
在步骤294处，多媒体分析模块118可处理并分析所收集的数据。在一些方面，分析引擎122可操作以处理存储在信息储存库128中的数据，并提供包含图表和曲线图的视觉显示的分析。此类分析可包含相对于执行给定测试配置而分析API性能，包含分析(例如)数据处理量与质量、丢弃的帧(视频和/或音频)和处理器使用情况。另外，所述分析可包含多个制造商、固件和型号的多媒体API性能的比较以及不同无线装置之间的多媒体数据质量的比较。此外，当测试包含将多媒体传输到多媒体服务提供商(即，多媒体分析服务器104)和/或从多媒体服务提供商接收多媒体时，分析引擎122和报告产生器124可操作以产生分析和报告，其使多媒体数据与RF环境数据相关。如下文将论述，经授权的用户(例如操作测试工作站106的用户)可在线查看完整的分析结果。
在步骤296处，报告产生器124可操作以产生测试报告126，其包含在步骤294处所执行的整个分析的至少一子组。在一些实施例中，由对步骤294的分析结果进行操作的报告产生器124产生测试报告126。在其它实施例中，报告产生器124可基于信息储存库128中的数据来产生报告126。
在步骤298处，多媒体分析服务器104可操作以通知预定方(例如测试工程师108)分析完成，且整个分析(包含曲线图)是可用的。举例来说，多媒体分析模块118可能可操作以向预定方(例如测试工作站106)产生包含报告126的电子消息(例如，电子邮件)。接收方(例如，测试工程师108)可查看测试报告126，并分析多媒体API 156上的测试结果。
因此，所描述的方面允许一种运用和测试多媒体API的系统且自动的方法，且可减少芯片组提供商/OEM进行回归测试所需的时间。
结合本文所揭示的方面而描述的各种说明性逻辑、逻辑块、模块和电路可用以下装置来实施或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所述的功能的任何组合。通用处理器可以是微处理器，但在替代方案中，所述处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。
另外，结合本文所揭示的方面而描述的方法或算法的步骤可直接在硬件中实施、在由处理器执行的软件模块中实施，或在上述两者的组合中实施。软件模块可驻存在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM或此项技术中已知的任何其它形式的存储媒体中。示范性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息并将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻留在用户终端中。
尽管前述揭示内容展示说明性方面，但应注意，在不脱离所描述方面的由所附权利要求书界定的范围的情况下，可对本文作出各种改变和修改。此外，尽管可以单数形式来描述或主张所描述方面的元件，但复数形式也是可能的，除非明确陈述仅限于单数形式。另外，任何方面的全部或一部分都可与任何其它方面的全部或一部分一起使用，除非另有陈述。

Claims (39)

1.一种在无线网络上测试无线装置上的多媒体应用程序编程接口的方法，其包括：
将多媒体测试引擎从多媒体分析服务器下载到所述无线装置上；
利用所述多媒体测试引擎起始从所述多媒体分析服务器下载包含一个或一个以上测试脚本的测试配置至所述无线装置上；
在所述无线装置上执行所述一个或一个以上测试脚本，所述一个或一个以上测试脚本可操作以运用所述无线装置上所实施的预定多媒体应用程序编程接口；
基于所述测试脚本的执行，在所述无线装置上记录与所述多媒体应用程序编程接口的性能有关的多媒体测试数据；以及
转发所述记录的多媒体测试数据至所述多媒体分析服务器，以用于分析所述多媒体应用程序编程接口的性能。
2.根据权利要求1所述的方法，其进一步包括俘获对应于所述多媒体测试数据的无线装置性能数据。
3.根据权利要求2所述的方法，其中转发进一步包括经由所述无线网络将所述多媒体测试数据和所述无线装置性能数据转发到预定装置。
4.根据权利要求2所述的方法，其中俘获无线装置性能数据包括基于包含在所述测试配置内的参数俘获无线装置性能统计数据。
5.根据权利要求2所述的方法，其中俘获无线装置性能数据进一步包括俘获空中消息和无线装置呼叫事件中的至少一者。
6.根据权利要求1所述的方法，其中所述多媒体分析服务器由所述测试配置中的多媒体提供商地址参数来确定。
7.根据权利要求1所述的方法，其进一步包括俘获对应于所述与所述多媒体分析服务器的连接的射频(“RF”)环境数据。
8.根据权利要求6所述的方法，其进一步包括俘获关于所述接收的多媒体数据的处理量信息。
9.根据权利要求1所述的方法，其中基于所述无线装置的类型、与所述无线装置相关联的网络服务提供商的身份以及与所述无线装置相关联的通信协议的类型中的至少一者从多个测试配置中选择所述测试配置。
10.根据权利要求1所述的方法，其中在无线装置上获得测试配置包括基于预定的受限服务配置经由无线网络建立受限访问通信信道。
11.根据权利要求1所述的方法，其中转发所述记录的多媒体测试数据进一步包括基于所述测试配置中的报告参数来转发。
12.根据权利要求1所述的方法，其中转发所述记录的多媒体测试数据进一步包括基于预定进程、预定事件和由远程装置发出的请求中的至少一者来转发。
13.根据权利要求12所述的方法，其中所述预定事件包含所述至少一个所执行的测试脚本的完成。
14.一种无线装置，其包括：
用于在所述无线装置上通过从多媒体分析服务器下载而获得包含至少一个测试脚本的多媒体测试配置的装置；
用于在所述无线装置上执行所述至少一个测试脚本的装置，所述至少一个测试脚本可操作以运用所述无线装置上所实施的预定多媒体应用编程接口；
用于基于所述测试脚本的执行在所述无线装置上记录与所述多媒体应用编程接口的性能有关的多媒体测试数据的装置；以及
用于转发所述记录的多媒体测试数据至所述多媒体分析服务器以用于分析所述多媒体应用编程接口的性能的装置。
15.一种无线装置，其包括：
处理引擎；
应用程序编程接口，其可操作以向所述处理引擎提供接口；以及
存储器，其包括可由所述处理引擎执行的多媒体测试引擎，所述多媒体测试引擎包括测试配置，所述测试配置具有可操作以调用并测试所述应用程序编程接口的性能的测试脚本，所述多媒体测试引擎进一步包括监视逻辑和报告逻辑，所述监视逻辑可操作以监视并记录与所述应用程序编程接口的操作和所述测试脚本的执行相关联的多媒体测试数据，所述报告逻辑可操作以经由无线网络将所述记录的多媒体测试数据转发到预定装置；
其中所述无线装置经由所述无线网络接收所述测试配置。
16.根据权利要求15所述的装置，其中所述监视逻辑进一步可操作以收集对应于所述多媒体测试数据的射频环境数据。
17.根据权利要求15所述的装置，其中所述监视逻辑进一步可操作以收集从空中消息和无线装置呼叫事件中的至少一者导出的性能数据。
18.根据权利要求15所述的装置，其中所述监视逻辑进一步可操作以收集对应于所述多媒体测试数据的无线装置性能数据，其中所述测试配置进一步包括从多个预定报告参数中选择的预定报告参数，其中所述测试引擎进一步可操作以基于所述预定报告参数将所述记录的多媒体测试数据和俘获的性能数据传输到所述预定装置。
19.根据权利要求18所述的装置，其中所述多媒体测试引擎可操作以在所述测试脚本的执行期间建立与预定多媒体提供商的连接并接收多媒体文件，其中所述监视逻辑进一步可操作以收集对应于所述接收的多媒体文件的与连接性能有关的数据，且其中所述报告逻辑进一步可操作以经由所述无线网络将所述与连接性能有关的数据传输到所述预定装置。
20.根据权利要求19所述的装置，其中所述测试配置进一步包括预定多媒体提供商地址参数，其中所述测试引擎进一步可操作以基于所述预定多媒体提供商地址参数请求所述多媒体文件并从所述多媒体提供商接收所述多媒体文件。
21.根据权利要求15所述的装置，其中所述测试引擎进一步可操作以经由所述无线网络建立受限访问通信信道，其中所述受限访问通信信道是基于预定受限服务配置的，且其中所述测试引擎进一步可操作以经由所述受限访问通信信道接收所述测试配置或发射所述记录的多媒体测试数据。
22.根据权利要求21所述的装置，其中所述受限访问通信信道对所述装置的终端用户来说是不可用的。
23.一种在无线网络上确定无线装置上的多媒体应用程序编程接口的性能的方法，其包括：
产生测试配置，所述测试配置包括可操作以测试预定多媒体应用程序编程接口的性能的测试脚本；
经由所述无线网络将所述测试配置转发到所述无线装置；
基于所述测试配置的执行，经由所述无线网络从所述无线装置接收多媒体测试数据和无线装置性能数据；
分析所述接收的多媒体数据和无线装置性能数据；以及
基于所述分析产生测试报告。
24.根据权利要求23所述的方法，其进一步包括将多媒体数据传输到所述无线装置，且其中分析进一步包括将所述传输的多媒体数据与所述接收的多媒体测试数据进行比较。
25.根据权利要求23所述的方法，其中分析所接收的无线装置性能数据包含分析射频环境数据。
26.根据权利要求23所述的方法，其中分析进一步包括将所接收的多媒体测试数据和无线装置性能数据与预定阈值数据进行比较。
27.根据权利要求23所述的方法，其进一步包括将所述测试报告的至少一部分传输到另一计算机装置。
28.根据权利要求23所述的方法，其进一步包括呈现所述测试报告的至少一部分以供查看。
29.根据权利要求23所述的方法，其进一步包括基于所述无线装置的类型、与所述无线装置相关联的网络服务提供商的身份以及与所述无线装置相关联的通信协议中的至少一者从多个测试配置中选择所述测试配置。
30.一种无线设备，其包括：
用于产生测试配置的装置，所述测试配置包括可操作以测试预定多媒体应用程序编程接口的性能的测试脚本；
用于经由无线网络将所述测试配置转发到所述无线装置的装置；
用于基于所述测试配置的执行经由所述无线网络从所述无线装置接收多媒体测试数据和无线装置性能数据的装置；
用于分析所述接收的多媒体数据和无线装置性能数据的装置；以及
用于基于所述分析产生测试报告的装置。
31.一种无线设备，其包括：
信息储存库，其可操作以基于无线装置上可操作以测试驻留在所述无线装置上的多媒体应用程序编程接口的测试配置的执行，接收并存储由所述无线装置收集的多媒体测试数据和无线装置性能数据；
分析引擎，其可操作以基于预定阈值分析所述接收的多媒体测试数据和无线装置性能数据；以及
报告产生器，其可操作以基于所述对所述接收的多媒体测试数据和无线装置性能数据的分析产生测试报告。
32.根据权利要求31所述的无线设备，其中所述预定阈值包含射频环境参数、多媒体数据处理量参数和多媒体数据质量参数中的至少一者。
33.根据权利要求31所述的无线设备，其中所述报告产生器进一步可操作以经由无线网络传输所述测试报告的至少一部分以供检查。
34.根据权利要求31所述的无线设备，其进一步包括多媒体分析模块，所述多媒体分析模块具有分析控制逻辑，所述分析控制逻辑可操作以将多媒体数据传输到所述无线装置，其中所述多媒体数据可结合所述测试配置进行操作以测试所述应用程序编程接口。
35.根据权利要求34所述的无线设备，其中所述多媒体分析模块进一步可操作以允许经授权的用户访问所述执行的分析。
36.根据权利要求34所述的无线设备，其进一步包括装置控制模块，所述装置控制模块可操作以将控制命令发送到所述无线装置。
37.根据权利要求36所述的无线设备，其中所述装置控制模块可操作以从跨越无线网络定位的另一计算机装置接收所述控制命令。
38.根据权利要求31所述的无线设备，其进一步包括测试配置产生器，所述测试配置产生器可操作以产生并传输所述测试配置以供所述无线装置接收，所述测试配置包括可操作以运用和测试所述多媒体应用程序编程接口的至少一个可执行测试脚本。
39.根据权利要求38所述的无线设备，其中所述测试配置包括至少一个测试参数。
CN200680021163A 2005-04-21 2006-04-21 用于确定无线装置的多媒体性能方面的方法和设备 Expired - Fee Related CN100583056C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US67410805P 2005-04-21 2005-04-21
US60/674,108 2005-04-21

Publications (2)

Publication Number Publication Date
CN101198938A CN101198938A (zh) 2008-06-11
CN100583056C true CN100583056C (zh) 2010-01-20

Family

ID=37058802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680021163A Expired - Fee Related CN100583056C (zh) 2005-04-21 2006-04-21 用于确定无线装置的多媒体性能方面的方法和设备

Country Status (12)

Country Link
US (1) US8719419B2 (zh)
EP (1) EP1872228A2 (zh)
JP (2) JP5107899B2 (zh)
KR (1) KR100950878B1 (zh)
CN (1) CN100583056C (zh)
AU (1) AU2006239986A1 (zh)
BR (1) BRPI0610776A2 (zh)
CA (1) CA2605602A1 (zh)
IL (1) IL186823A0 (zh)
MX (1) MX2007013083A (zh)
TW (1) TW200717232A (zh)
WO (1) WO2006116120A2 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050101257A1 (en) * 2002-05-30 2005-05-12 6Lan Wireless local area network test device
US8676188B2 (en) * 2006-04-14 2014-03-18 Litepoint Corporation Apparatus, system and method for calibrating and verifying a wireless communication device
US8260278B2 (en) * 2006-05-12 2012-09-04 The Mitre Corporation Framework for agile mobile applications
US20080079738A1 (en) * 2006-09-29 2008-04-03 Inventec Corporation Method and system for testing computer graphic display controller
US8176167B2 (en) * 2006-12-05 2012-05-08 Qualcomm Incorporated Methods and apparaus for requesting wireless communication device performance data and providing the data in optimal file size
US7668299B2 (en) * 2006-12-15 2010-02-23 Verizon Patent And Licensing Inc. System using script command to generate audio quality test case to test a network
US8595784B2 (en) * 2007-01-05 2013-11-26 Verizon Patent And Licensing Inc. System for testing set-top boxes and content distribution networks and associated methods
US8127270B1 (en) 2007-04-09 2012-02-28 Cisco Technology, Inc. Abstracting transformation for model driven architecture
EP2151128A4 (en) * 2007-04-25 2011-11-16 Miovision Technologies Inc METHOD AND SYSTEM FOR ANALYZING MULTIMEDIA CONTENT
US8645976B2 (en) 2007-05-03 2014-02-04 Qualcomm Incorporated Application programming interface (API) for restoring a default scan list in a wireless communications receiver
WO2008144692A1 (en) * 2007-05-21 2008-11-27 W2Bi, Inc Mobile device throughput testing
US20120300649A1 (en) * 2007-05-21 2012-11-29 W2Bi, Inc. Mobile device throughput testing
JP5390513B2 (ja) * 2007-06-05 2014-01-15 アストリウム・リミテッド 遠隔検査システム及び方法
KR100904961B1 (ko) 2007-09-28 2009-06-26 주식회사 아카넷티비 케이블 방송 환경에서 데이터 방송 어플리케이션 동작모니터링 시스템
US8387015B2 (en) * 2008-01-31 2013-02-26 Microsoft Corporation Scalable automated empirical testing of media files on media players
US8028188B2 (en) * 2008-03-04 2011-09-27 Infosys Technologies Limited System and method for testing an application installed on a wireless communication device
JP5347401B2 (ja) * 2008-09-19 2013-11-20 富士通株式会社 無線装置、及び、無線装置の制御及び監視方法
US8204498B1 (en) * 2008-09-30 2012-06-19 Sprint Communications Company L.P. Automated content download tool
US8934866B2 (en) * 2009-04-20 2015-01-13 Aetherpal Inc. System to assist a mobile device subscriber to perform self-diagnosis of the mobile device
US8213926B2 (en) * 2009-04-29 2012-07-03 Verizon Patent And Licensing Inc. Method and apparatus for providing multiservice testing
CN101909310A (zh) * 2009-06-02 2010-12-08 鸿富锦精密工业（深圳）有限公司 电子装置测试方法
US8732145B1 (en) * 2009-07-22 2014-05-20 Intuit Inc. Virtual environment for data-described applications
CA2716436A1 (en) 2010-03-01 2011-09-01 Dundas Data Visualization, Inc. Systems and methods for generating data visualization dashboards
CA2754520A1 (en) * 2010-10-07 2012-04-07 Dundas Data Visualization, Inc. Systems and methods for dashboard image generation
US9124436B2 (en) 2010-12-16 2015-09-01 Cellco Partnership Intelligent automated data usage upgrade recommendation
US8669985B2 (en) * 2010-12-20 2014-03-11 Microsoft Corporation Assessment results viewer
US20120180108A1 (en) 2011-01-06 2012-07-12 Dundas Data Visualization, Inc. Methods and systems for providing a discussion thread to key performance indicator information
US9043455B1 (en) * 2011-04-06 2015-05-26 Cellco Partnership Universal data remote
US9723092B1 (en) 2011-04-07 2017-08-01 Cellco Partnership Universal data remote application framework
US20120331343A1 (en) * 2011-06-23 2012-12-27 Qualcomm Incorporated Apparatus and method for electronic device testing
US9021008B1 (en) * 2011-08-24 2015-04-28 Amazon Technologies, Inc. Managing targeted scripts
US20140269602A1 (en) * 2012-01-13 2014-09-18 Mitsubishi Electric Corporation Wireless communication device and wireless communication method
US8850274B2 (en) * 2012-02-01 2014-09-30 Empirix, Inc. Method of embedding configuration data in a non-configuration document
US9483344B2 (en) * 2012-04-05 2016-11-01 Assurant, Inc. System, method, apparatus, and computer program product for providing mobile device support services
US8949673B2 (en) * 2012-05-23 2015-02-03 Sap Se Software systems testing interface
US8909213B2 (en) * 2012-06-08 2014-12-09 Spirent Communications, Inc. System and method for evaluating performance of concurrent mobile services of mobile devices
US8862118B2 (en) * 2012-08-08 2014-10-14 Nokia Corporation Methods, apparatuses and computer program products for automating testing of devices
GB2516986B (en) 2013-08-06 2017-03-22 Barclays Bank Plc Automated application test system
CN104657246A (zh) * 2013-11-21 2015-05-27 英业达科技有限公司 自动化测试系统及其方法
US10146607B2 (en) * 2013-11-26 2018-12-04 Anunta Technology Management Services Ltd. Troubleshooting of cloud-based application delivery
WO2015174883A1 (en) * 2014-05-15 2015-11-19 Oracle International Corporation Test bundling and batching optimizations
US10162855B2 (en) 2014-06-09 2018-12-25 Dundas Data Visualization, Inc. Systems and methods for optimizing data analysis
US9471467B2 (en) * 2014-07-07 2016-10-18 Telefonaktiebolaget L M Ericsson (Publ) Evaluation of an application
CN104199770B (zh) * 2014-09-01 2018-05-01 上海斐讯数据通信技术有限公司 一种手机音乐apk的自动化测试方法
CN104243282B (zh) * 2014-09-12 2018-09-21 深圳创维数字技术有限公司 一种信息通知方法及服务器
CN105577293B (zh) * 2014-10-13 2018-10-30 炬芯（珠海）科技有限公司 一种蓝牙设备的测试方法、装置及系统
US9838888B2 (en) * 2015-02-27 2017-12-05 T-Mobile Usa, Inc. Network diagnostic applications
CN107924361B (zh) 2015-05-12 2021-06-15 思优泰斯特有限公司 用于自动化软件应用测试过程的方法和系统
US9578529B1 (en) * 2015-07-29 2017-02-21 Verizon Patent And Licensing Inc. Cellular data testing system
FR3044191B1 (fr) * 2015-11-20 2019-01-25 Psa Automobiles Sa. Dispositif de test d’un reseau video bidirectionnel par generation de trames non video de test pour des organes
US11128734B2 (en) * 2016-05-10 2021-09-21 Veniam, Inc. Configuring a communication system using analytics of a restful API in a network of moving things
CN105915529B (zh) * 2016-05-19 2019-04-16 微梦创科网络科技（中国）有限公司 一种报文生成方法及装置
CN106371847B (zh) * 2016-09-07 2020-05-22 湖北三江航天万峰科技发展有限公司 Windows xp系统下CPCI总线RS422通信驱动方法及系统
CN107368412A (zh) * 2017-07-03 2017-11-21 上海前隆信息科技有限公司 自动化测试方法/系统、计算机可读存储介质及电子设备
US10880197B2 (en) 2018-07-13 2020-12-29 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing a network node using source code for programming a packet forwarding plane of the network node
CN109062797B (zh) * 2018-07-26 2019-12-27 百度在线网络技术（北京）有限公司 生成信息的方法和装置
CN112005224A (zh) * 2018-10-15 2020-11-27 惠普发展公司，有限责任合伙企业 用于针对性能而监视设备的数据收集
US10686671B1 (en) 2018-11-05 2020-06-16 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing network elements of an in-band network telemetry capable network
CN110046068B (zh) * 2018-11-09 2023-08-22 创新先进技术有限公司 测试方法、装置及设备
CN109710521B (zh) * 2018-12-17 2022-04-22 百度在线网络技术（北京）有限公司 多媒体应用性能测试方法、装置、计算机设备和存储介质
US11032151B1 (en) 2019-02-06 2021-06-08 Keysight Technologies, Inc. Methods, systems, and computer readable media for providing dynamically configurable, distributed network visibility device
US10733088B1 (en) * 2019-03-01 2020-08-04 Keysight Technologies, Inc. Methods, systems, and computer readable media for testing a network node or a related application programming interface using source code metadata
US11093376B2 (en) 2019-06-19 2021-08-17 Keysight Technologies, Inc. Methods, systems, and computer readable media for configuring a test system using source code of a device being tested
US10735919B1 (en) 2019-06-26 2020-08-04 Snap Inc. Recipient-based content optimization in a messaging system
US11425020B2 (en) 2020-06-01 2022-08-23 Keysight Technologies, Inc. Methods, systems, and computer readable media for storage, retrieval, and use of programmable pipeline device profiles
US11474823B2 (en) 2020-06-15 2022-10-18 Keysight Technologies, Inc. Methods, systems, and computer readable media for on-demand, on-device compiling and use of programmable pipeline device profiles
US11297513B2 (en) 2020-06-23 2022-04-05 T-Mobile Usa, Inc. System for administering test cases from a mobile device for a telecommunications network
US11366739B2 (en) * 2020-07-16 2022-06-21 T-Mobile Innovations Llc Pipeline for validation process and testing
KR20220043651A (ko) * 2020-09-29 2022-04-05 삼성전자주식회사 무선 통신 시스템에서 네트워크 데이터 분석을 위한 구독 갱신 방법 및 장치
US20220138081A1 (en) * 2020-11-02 2022-05-05 Innovate5G, Inc. Systems and Methods for Optimization of Application Performance on a Telecommunications Network
US11599434B2 (en) * 2020-12-17 2023-03-07 T-Mobile Usa, Inc. System for recommending tests for mobile communication devices maintenance release certification
CN112787894B (zh) * 2021-02-19 2022-12-13 上海剑桥科技股份有限公司 无线设备测试系统、方法、装置、介质及设备
US11523281B1 (en) * 2021-04-23 2022-12-06 T-Mobile Usa, Inc. Validating customized user equipment (UE)
US20230054831A1 (en) * 2021-08-20 2023-02-23 U.S. Bank National Association Contactless optical internet of things user identification device and system
CN114328251A (zh) * 2021-12-30 2022-04-12 高新兴物联科技有限公司 终端测试方法、测试系统及计算机可读存储介质
CN114679752B (zh) * 2022-03-29 2024-04-19 青岛海信移动通信技术有限公司 双系统共享无线通信能力的方法及终端设备
US12117928B2 (en) 2022-07-08 2024-10-15 T-Mobile Usa, Inc. Unitary test protocols for software program applications

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495571A (en) * 1992-09-30 1996-02-27 Microsoft Corporation Method and system for performing parametric testing of a functional programming interface
JP3154312B2 (ja) 1993-12-28 2001-04-09 日本電信電話株式会社 メンテナンス情報収集方式と、該方式を構成する保守センタ側端末装置及びユーザ側端末装置
EP0830611A4 (en) 1995-06-02 2007-05-09 Cisco Systems Inc TELECONTROL OF COMPUTER PROGRAMS
US5701408A (en) * 1995-07-10 1997-12-23 International Business Machines Corporation Method for testing computer operating or application programming interfaces
US6279124B1 (en) * 1996-06-17 2001-08-21 Qwest Communications International Inc. Method and system for testing hardware and/or software applications
US5774725A (en) * 1996-06-28 1998-06-30 Microsoft Corporation Method and computer program product for simplifying construction of a program for testing computer software subroutines in an application programming interface
JPH1028088A (ja) 1996-07-11 1998-01-27 Nec Corp 携帯電話無線基地局の試験用送受信装置
US5954829A (en) * 1996-12-30 1999-09-21 Mci Communications Corporation System, method, and computer program product for digital cross connect testing
US6230006B1 (en) * 1997-09-08 2001-05-08 Acterna, Llc Test system for remotely testing switches within a telecommunications network
US6259911B1 (en) * 1998-01-06 2001-07-10 Wireless Access Network operations center hardware and software design
US6397359B1 (en) * 1999-01-19 2002-05-28 Netiq Corporation Methods, systems and computer program products for scheduled network performance testing
US6389278B1 (en) * 1999-05-17 2002-05-14 Ericsson Inc. Systems and methods for identifying a service provider from a wireless communicator based on categories of service providers that are called
US6473794B1 (en) 1999-05-27 2002-10-29 Accenture Llp System for establishing plan to test components of web based framework by displaying pictorial representation and conveying indicia coded components of existing network framework
US6901442B1 (en) * 2000-01-07 2005-05-31 Netiq Corporation Methods, system and computer program products for dynamic filtering of network performance test results
JP2001285481A (ja) 2000-03-30 2001-10-12 Matsushita Electric Ind Co Ltd マルチ表示試験装置
US7111318B2 (en) * 2000-06-02 2006-09-19 Vitale Michael J Communication system work order performance method and system
US7096474B2 (en) 2001-04-20 2006-08-22 Sun Microsystems, Inc. Mobile multimedia Java framework application program interface
JP2003124866A (ja) 2001-10-11 2003-04-25 Nec Commun Syst Ltd 移動端末故障探索システム
US6862682B2 (en) * 2002-05-01 2005-03-01 Testquest, Inc. Method and apparatus for making and using wireless test verbs
RU2321968C2 (ru) * 2002-07-01 2008-04-10 Квэлкомм Инкорпорейтед Удаленное взаимодействие через беспроводную сеть с диагностическим интерфейсом, размещенным на беспроводном устройстве
US7321766B2 (en) * 2003-01-21 2008-01-22 Agilent Technologies, Inc System and method for testing portable communication devices
US7296190B2 (en) * 2003-01-29 2007-11-13 Sun Microsystems, Inc. Parallel text execution on low-end emulators and devices
US20040162898A1 (en) * 2003-02-14 2004-08-19 Rich Jason H. Dedicated networked device monitoring system
US7359701B2 (en) * 2003-09-16 2008-04-15 Research In Motion Limited Method for conducting radiated performance tests of a wireless device
US7372946B2 (en) * 2003-12-11 2008-05-13 Agilent Technologies, Inc. Measurement deferral and aggregation for extensible test configuration
JP2006060762A (ja) 2004-07-21 2006-03-02 Hitachi Communication Technologies Ltd 無線通信システム、および、その診断方法、ならびに、無線通信システムの診断に用いる無線端末
US7415635B1 (en) * 2004-12-15 2008-08-19 Microsoft Corporation Integrated software test framework for performance testing of a software application
US20060229018A1 (en) * 2005-04-12 2006-10-12 Azimuth Systems, Inc. Apparatus and method for use in testing wireless devices

Also Published As

Publication number Publication date
MX2007013083A (es) 2008-01-14
US20060259629A1 (en) 2006-11-16
WO2006116120A3 (en) 2007-05-03
KR20070122574A (ko) 2007-12-31
EP1872228A2 (en) 2008-01-02
KR100950878B1 (ko) 2010-04-06
TW200717232A (en) 2007-05-01
CN101198938A (zh) 2008-06-11
AU2006239986A1 (en) 2006-11-02
US8719419B2 (en) 2014-05-06
CA2605602A1 (en) 2006-11-02
JP5107899B2 (ja) 2012-12-26
BRPI0610776A2 (pt) 2010-07-20
IL186823A0 (en) 2008-02-09
WO2006116120A2 (en) 2006-11-02
JP2011211730A (ja) 2011-10-20
JP5524128B2 (ja) 2014-06-18
JP2008538687A (ja) 2008-10-30

Similar Documents

Publication Publication Date Title
CN100583056C (zh) 用于确定无线装置的多媒体性能方面的方法和设备
CN101185355B (zh) 用于确定无线装置的网络存取性能的设备及方法
CN101176366B (zh) 用于对无线装置进行产品验收测试的设备和方法
US8103266B2 (en) Apparatus and methods for managing battery performance of a wireless device
CN101375617B (zh) 用于在无线装置上提供可配置任务管理的设备和方法
JP4741651B2 (ja) 無線装置の利用パターンを監視するための方法および装置
CN101167390B (zh) 用于确定无线装置的语音及/或数据处理性能的设备和方法
US8135395B2 (en) Methods and apparatus for monitoring configurable performance levels in a wireless device
CN101199222A (zh) 用于提供外部计算装置的无线装置中心控制的方法和设备
CN108027634A (zh) 用户设备功耗监测和分析
CN101176365A (zh) 用于监视无线装置中的可配置性能水平的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20210421

CF01 Termination of patent right due to non-payment of annual fee