CN111782543A

CN111782543A - 一种在云端进行的评测方法、相关设备及系统

Info

Publication number: CN111782543A
Application number: CN202010699047.7A
Authority: CN
Inventors: 王天宝; 董媛媛
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-07-20
Filing date: 2020-07-20
Publication date: 2020-10-16

Abstract

本发明公开了一种在云端进行的评测方法、相关设备及系统，其中方法包括以下步骤：云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；第二用户终端向所述云端服务器上传所述待评估文件数据；第三用户终端从所述云端服务器接收并展示评价结果信息。其中系统包括上述的云端服务器及用户终端。本发明能够为数据文件处理模块的不同开发者和用户提供了一个公平公开的测试比对平台，提供便捷的测试途径。

Description

一种在云端进行的评测方法、相关设备及系统

技术领域

本发明涉及计算机算法评估技术领域，尤其涉及一种在云端进行的评测方法、相关设备及系统。

背景技术

人机交互领域的终端设备之间，或者终端设备与存储设备之间特定信息的交换通过携带特定信息的数据文件的读取实现，这些特定信息包括以一定编码方式记录于数据文件的图片、视频、音频、文本等单一信息，或者若干单一信息的结合。终端设备通过解码器对数据文件中的特定信息解码并通过人机接口(UI)以视觉、听觉等用户可识别的方式输出特定信息。为了便于数据文件的传播和使用，开发者们提供数据文件处理模块优化数据文件，数据文件处理模块包括转录模块、数据压缩模块、降噪模块等。对于数据文件处理模块的处理质量，由于采用评价程序的不同，用户难以获得客观公正的比较结果。例如，A开发者提供了数据文件处理模块a，并公开其在第一评价程序中数据文件处理模块a的评价结果，以此证明其数据文件处理模块a较优，同时，B开发者提供了与数据文件处理模块 a功能基本相同的数据文件处理模块b，并公开了其在第二评价程序中的数据文件处理模块b的评价结果，但公众用户仍无法据此通过比较评价结果的方式获知数据文件处理模块 a和b各功能特性的优劣。数据文件处理模块可以是实现评价算法的应用软件，或者是硬件的处理器，对于一些信息采集设备的开发者，数据文件处理模块也可以是其信息采集设备的编码器。

现有机制中，评价程序包括有参考评价程序和无参考评价程序，有参考评价程序读取参考数据文件和数据文件处理模块对参考数据文件处理生成的优化数据文件，并据此输出若干评价指标，如降噪指标、保真度指标等；无参考评价程序只读取数据处理程序生成的优化数据文件，并据此输出若干评价指标，如信噪比指标、清晰度指标、音色指标等。现有的评价程序只能评价数据文件处理模块对具体参考数据文件的优化性能的评估，不能用于提供多个数据文件处理模块之间的公允评价。

发明内容

本发明提供了一种在云端进行的评测方法、相关设备及系统，能够为数据文件处理模块的不同开发者和用户提供了一个公平公开的测试比对平台，提供便捷的测试途径。

本发明第一方面提供了一种在云端进行的评测方法，用于评价数据文件处理模块，所述方法包括：

云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；所述评价程序中的指令致使所述云端服务器执行的操作包括，读取所述参考文件数据和所述待评估文件数据，输出生成所述待评估文件数据的数据文件处理模块的评价结果；

第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；

第二用户终端向所述云端服务器上传所述待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识；

第三用户终端从所述云端服务器接收并展示评价结果信息；所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。

该方法的各个实施例特别适用于对音频、视频等多媒体文件进行优化处理的数据文件处理模块，通过提供统一的参考文件供下载，在第三方的云端服务器运行评价程序，依据不同数据文件处理模块输出的同一参考文件的优化文件进行评分，参与测评的各个测试方可以在本地使用自己的数据文件处理模块生成待评估文件，上传云端服务器后，由云端运行评价程序，给不同开发者提供了一个公平公开的测试比对平台，这些测试方或者开发者包括各团队，个人，以及企业，都可以在这个平台上得到完全一致的评价结果，进而得到公平公正的对比。这种公开性，使得测试途径和记录归档也更加便捷。

一些可能的设计中，所述方法还包括：

所述待评估文件数据包括由第一数据文件处理模块根据第一参考文件生成的第一待评估文件数据，以及，由第二数据文件处理模块根据第一参考文件生成的第二待评估文件数据；

所述评价程序指令致使所述云端服务器执行的操作包括，根据所述参考文件和所述第一待评估文件数据获得第一评价结果，并且，根据所述参考文件和所述第二待评估文件数据获得第二评价结果；

所述云端服务器根据第一请求向第三用户终端发送的评价结果信息包括所述第一评价结果和所述第二评价结果；

所述第一请求包含所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识，或者，包含所述第一参考文件的标识、所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识。

该方法提供一种横向对比机制，对于不同的数据文件处理模块，对于同一参考文件处理后，会得到不同的评价结果，当同时提供多个数据文件处理模块的评价结果时，可以提供一个基于客观标准的数据文件处理模块的性能排行榜。

一些可能的设计中，所述方法还包括：

所述待评估文件数据包括由第三数据文件处理模块根据第二参考文件生成的第三待评估文件，以及，由第三数据文件处理模块根据第三参考文件生成的第四待评估文件；

所述评价程序指令致使所述云端服务器执行的操作包括，根据所述第三待评估文件获得第三评价结果，并且，根据所述第四待评估文件并获得第四评价结果；

所述云端服务器根据第二请求向第三用户终端发送的评价结果信息包括所述第三评价结果和所述第四评价结果；

所述第二请求包含所述第二参考文件的标识和所述第三参考文件的标识，或者，包含第三数据文件处理模块的标识、所述第二参考文件的标识和所述第三参考文件的标识。

该方法提供一种纵向对比机制，对于同一数据文件处理模块，处理不同的参考文件会获得得到不同的待评估文件，当对同一数据文件处理模块的多个待评估文件分别进行评估后，同时提供一个数据文件处理模块的多个评价结果时，可以体现数据文件处理模块的对某一类参考文件的处理性能的优势。本方法的一个应用场景可以是，对音频A和音频B分别使用同样的加噪方法加噪生成音频A1和音频B1，其中音频A包含人声，音频B包含乐器声，云端服务器提供参考文件音频A1和音频B1的下载，在第一用户终端运行的数据文件处理模块为一个音频去噪软件分别对A1、B1处理，生成优化后的待评估文件A2、B2，在云端服务器上一个降噪评价程序评价对比音频A和音频A2生成一个评价结果，对比音频B和音频B2生成一个评价结果，如此可得出对于该音频去噪软件更适合对人声去噪还是更适合对乐器声去噪。

一些可能的设计中，所述方法还包括：

第四用户终端根据所述第三用户终端的请求，从所述云端服务器接收并展示评价结果信息，所述评价结果信息与所述第三用户终端从所述云端服务器接收并展示的所述评价结果信息相同。即第四用户终端所接收的评价结果信息可以根据第三方用户终端的请求由云端服务器进行同步更新，以便在任何时刻，第三用户终端与第四用户终端在请求相同数据时，所获得的结果相同。一些实施例中，任一用于接收和展示评价结果信息的用户终端如果实施了可能改变云端服务器上存储的评价结果的性为，如实施了第二用户终端的操作，云端服务器将在更新其存储的评价结果后，重新向各个用户终端发送新的评价结果信息。这种同步更新有助于各个用户终端展示的一致性并且使得评价结果信息的记录或者日志是时序对齐的，有助于对共享或者开源的评测程序的迭代更新。

一些可能的设计中，所述方法还包括：

第五用户终端向所述云端服务器发送待评估文件的一个主观评分；所述待评估文件从所述云端服务器获取；

云端服务器执行评分程序中的指令；所述评分程序中的指令致使所述云端服务器执行的操作包括，读取同一待评估文件的多个主观评分，输出该待评估文件的主观评价结果；

第六用户终端从所述云端服务器接收并展示主观评价结果信息；所述主观评价结果信息包含，所述主观评价结果和该主观评价结果对应待评估文件的标识。

该方法提供一种主观评价方法，由于云端服务器提供了同样的待评估文件，评价程序全部为客观技术性的评价结果，而多媒体等一些数据文件，在使用时需要更多考虑人的主观感受，为了弥补评价程序可能给出的反直觉结论，本方法通过收集多个主观评分的方式提供结果矫正。在一个可能的应用场景中，有一个ab对比的形式，即登录用户终端的用户上传a文件和b文件，并提供形如“a更好，b更好”的选项，供广大用户投票，从而获取大多数用户的主观喜好结论。

一些可能的设计中，所述方法还包括：所述参考文件由第七用户终端上传至所述云端服务器；和/或，所述评价程序由第七用户终端上传至所述云端服务器。开放参考文件或者评价程序的上传通道，可以鼓励用户的参与度。在一个应用场景中，评价程序在云端服务器开源供用户修改上传更新，在云端服务器使用新的评价程序进行测评，这种方式有助于提高测评程序的性能，并且进一步提高本方法的公平公开性。

本发明的第二方面提供了一些设备，这些设备包括云端服务器或者用户终端，具有实现上述第一方面方法的功能，所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。软件或者硬件包括一个或者多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。

一种可能的设计中，所述云端服务器存储参考文件，其包括：

处理器；

存储器，用于存储评价程序的指令；

通信接口；

接收器、发射器；

所述处理器、所述存储器、所述接收器、所述发射器和所述通信接口通过总线互相通信；

所述处理器读取并执行所述存储器中存储的所述评价程序的指令，当所述处理器执行所述评价程序的指令时，所述评价程序中的指令致使所述处理器执行的操作包括：

通过所述发射器将所述参考文件发送至第一用户终端，所述参考文件用于运行在第一用户终端的数据文件处理模块，根据该参考文件，生成该参考文件的待评估文件；

通过所述接收器接收第二用户终端发送的待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识；

读取所述第二用户终端发送的待评估文件数据和其对应的参考文件，输出生成所述待评估文件数据的数据文件处理模块的评价结果；

通过所述发送器向第三用户终端发送评价结果信息；所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。

一种可能的设计中，所述用户终端，与上述云端服务器通信连接，所述用户终端用于，

向所述云端服务器上传所述待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识；

或者，

从所述云端服务器接收并展示所述评价结果信息。

一种可能的设计中，所述云端服务器存储待评估文件；

所述存储器，用于存储评分程序中的指令；

所述处理器读取并执行所述存储器中存储的所述评分程序的指令，当所述处理器执行所述评分程序的指令时，所述评分程序中的指令致使所述处理器执行的操作包括：

通过所述接收器接收第五用户终端发送的所述待评估文件的一个主观评分；

读取同一待评估文件的多个主观评分，输出该待评估文件的主观评价结果；

通过所述发射器向第六用户终端发送主观评价结果信息；所述主观评价结果信息包含，所述主观评价结果和该主观评价结果对应待评估文件的标识。

向所述云端服务器所述发送待评估文件的一个主观评分；

或者，

从所述云端服务器接收并展示所述主观评价结果信息。

本发明的第三方面提供了一种评测系统，所述评测系统包括，第二方面各可能设计的云端服务器以及各可能设计的用户终端。一个可能的设计中，一个用户终端可以根据登陆身份的不同实现第一方面中的第一至第七用户终端中的一个或者多个的功能，一个可能的设计中，本方面的多个运行实例中，实现第一方面中的第一至第七用户终端分别是不同的用户终端。

相较于现有技术，本发明提供的方案中，参考文件由云端服务器统一提供，形成了共同的数据比较基准；数据文件处理模块运行于第一用户终端，并生成待评估文件，完成了本地化文件生成，由于下载作为基准的参考文件的统一，生成的文件一定会含有一些同态保持的信息，可以用于防止作弊，也免除了各种数据文件处理模块的基础配置，也适用于数据文件处理模块为解码编码硬件的应用场景；第二用户终端向云端服务器上传待评估文件，云端通过评估待评估文件对器对应的数据文件处理模块评价，这个结果是第三方客观而不会收到第一用户终端的任何影响，难以被修改，任何第三用户终端获取这些评价，可以被视为公平公正的客观评价。

附图说明

图1为本发明实施例中云端服务器与多个用户终端数据交换的架构图；

图2为本发明实施例中评测系统的一种系统结构示意图；

图3为本发明实施例中评测系统的一种系统结构示意图；

图4为本发明实施例中评测系统的一种系统结构示意图；

图5为本发明实施例中评测系统的一种系统结构示意图。

具体实施方式

下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本文中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本文中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分不到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本发明实施例方案的目的。

本发明实施例提供了一种在云端进行的评测方法、相关设备及系统，用于提供数据文件处理模块的功能评估服务，以下对本文中所出现的技术名词进行详细说明。

本文中，参考文件一般为一段含有音频、视频、文本等主要表达信息的数据文件，这些数据文件可以通过数据文件处理模块基于一个或者多个优化目标进行优化处理后，生成新的数据文件，这些新的数据文件与参考文件相比仍然包含相同的主要表达信息，但是在一个评价方向上具备更好的评价指标。比如，在一个待评价的数据文件处理模块是音频压缩软件的实施例中，云端服务器提供相同的参考文件供各个数据文件处理模块处理，各个数据文件处理模块基于同一参考文件各自生成新的数据文件作为各自的待评估文件，云端服务器执行的评价程序为音质分析程序，是一种有参考评价程序，通过分析各个待评估文件的音质输出评分，由于各个评分是基于相同的参考文件做出的，各个评分具备更公平的比较基础，即评价结果信息中体现了不同数据文件处理模块对同一参考文件在不同压缩方案下的音质损失的一个排名。

本文中，所述用户终端包括用于执行指令的处理器，这些指令致使用户终端的处理器执行指定的操作，这些指令可以是存储于存储器后由所述处理器读取并执行的，也可以是使用用户终端的用户实时生成使得用户终端完成指定操作的，因此，用户终端可以具有或者不具有操作系统，所述用户可以是真实用户或者根据人工智能生成的虚拟用户。

本文中的云端服务器的存储器、处理器、接收器、发射器、通讯接口可以是具体的设备或者模块等基础硬件设资源，也可以是虚拟技术创建的设备或者模块等PaaS设备。云端服务器可以包含若干基于数据库等软件资源的应用服务器，这些应用服务器具体执行指令完成本文中云端服务器的指定操作。

其中，需要特别说明的是，本发明实施例涉及的终端或称终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理没备。无线终端可以经无线接入网(RAN,Radio Access Network)与一个或多个核心网进行通信，无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(PCS，PersonalCommunication Service)电话、无绳电话、会话发起协议(SIP)话机、无线本地环路(WI-L，Wireless Local Loop)站、个人数字助理(PDA，Persona1 Digital Assistant)等设备。无线终端也可以称为系统、订户单元(Subscriber Unit)、订户站(Subscriber Station)，移动站(Mobile Station)、移动台(Mobi1e)、远程站(Remote Station)、接入点(AccessPoint)、远程终端(Remote Terminal)、接入终端(Access Terminal)、用户终端(UserTerminal)、终端设各、用户代理(User Agent)、用户设备(User Device)、或用户装备(UserEquipment)。

由于现有技术中评价程序运行于用户终端，由不同用户终端运行各自的数据文件处理模块后公布评价结果，第三方难以获得相对客观的数据文件处理模块的评价结果，为解决上述技术问题，如图1所示，本发明实施例主要提供以下技术方案：

一、云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；所述评价程序中的指令致使所述云端服务器执行的操作包括，读取所述待评估文件数据，输出生成所述待评估文件数据的数据文件处理模块的评价结果；本文中一个参考文件可以是针对某个评价指标而进行特殊处理的数据文件，如针对一类对语音文件进行带宽扩展增强处理的数据文件处理模块，可以创建一个8k频宽的语音文件供第一用户终端处理，各个第一用户终端处理后获得不同的新的16k频宽的语音文件作为待评估文件，由云端服务器执行无参考评价程序评价各个待评估文件的清晰度指标，这些清晰度指标代表了各个数据文件处理模块的一个处理性能。

二、第一用户终端运行数据文件处理模块，以便根据从所述云端服务器获取的参考文件数据，生成该参考文件数据中参考文件的待评估文件；本文中，第一用户终端执行的操作至少包括，为数据文件处理模块提供其需要的软件和硬件的运行环境，致使数据文件处理模块生成参考文件数据中参考文件的待评估文件。一些设计中，这类数据文件处理模块主要指应用软件，如对于运行在Windows系统的数据文件处理模块，第一用户终端应当提供对应的操作系统以便数据文件处理模块运行；一些设计中，这类数据文件处理模块主要指处理芯片，如对于需要提供输入输出电路接口以便进行去噪处理的数据文件处理模块，第一用户终端应当提供对应的基础电路以便数据文件处理模块运行。本文中，第一用户终端获得的待评估文件应当包含其数据文件处理模块输出的具备评价程序所要求的特定信息，这些特定信息由具体的评价程序所限定。本文各个实施例中，参考文件数据至少完整的包含参考文件，在一些可能的设计中参考文件数据还包含创建时间、文件名称、唯一识别码、创作者等用于在参考文件本身之外区分各个参考文件的属性信息或者附加信息，属性信息是基于标准文件结构的附加在文件中指定位置的数据，附加信息是非标准的叠加在标准文件头部、尾部或者整体叠加在文件数据段的包含特定信息的数据，如带水印图片中的水印即为一种附加信息。本文中第一用户终端与云端服务器不必有直接的通信连接关系，任何致使参考文件数据从云端服务器传输到第一用户终端的方法，以参考文件数据全部到达第一用户终端之时即可视为第一用户终端获得了必要的参考文件数据。

三、第二用户终端向所述云端服务器上传所述待评估文件数据，所述待评估文件数据包含在第一用户终端生成的所述待评估文件以及生成该待评估文件的数据文件处理模块的标识。本文中，第二用户终端执行的操作至少包括，向云端服务器上传所述待评估文件数据，所述待评估文件数据至少包含完整的待评估文件，在一些可能的设计中待评估文件数据还包含创建时间、文件名称、唯一识别码、创作者、原始参考文件的属性信息或者附加信息等用于在待评估文件本身之外区分各个待评估文件的，或者，区分各个待评估文件对应的参考文件的，或者，区分各个待评估文件对应的数据处理模块的属性信息或者附加信息。

四、第三用户终端从所述云端服务器接收并展示评价结果信息；所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。本文中，第三用户终端执行的操作至少包括，从所述云端服务器接收并展示评价结果信息，这种展示可以是视觉的、听觉的、触觉的或者任何可以由人体感知的展示方式。一些可能的设计中，第三用户终端接收评价结果信息的接收模块和展示评价结果信息的展示模块是分布式的，或者是分时复用的，当一个用户终端执行指令完成上述展示操作时，即可以认为其为本发明的第三用户终端。

参照图2、3，本发明实施例提供一种在云端进行的评测方法，所述方法包括：

第一操作，第一用户终端21运行数据文件处理模块，生成参考文件数据中的一个参考文件的待评估文件。

可知，一个待评估文件与生成它的数据文件处理模块和参考文件具有对应关系，即如果使用数据文件处理模块的唯一标识和参考文件的唯一标识组合成的复合标识可以作为一个此类待评估文件的唯一标识。一个待评估文件的唯一标识可以作为该待评估文件的属性信息或者附加信息作为其待评估文件数据的一个组成部分。

一个可能的设计中，待评估文件的属性信息或者附加信息包含了其参考文件的属性信息或者附加信息，以便在文件传输中保持对文件来源的识别。

本实施例中，第一用户终端21通过网络与云端服务器10中的第一应用服务器11连接，以便从第一应用服务器11上下载包含一个或者多个参考文件的参考文件数据，这些数据可以是通过流媒体传输实时接收而不必在第一用户终端21上长期保持保存，也可以是通过http或者ftp等协议整体下载的，以支持离线处理的。

一个可能的设计中，第一用户终端21在开始第一操作时向第一应用服务器11发送一个下载请求，以便从第一应用服务器11下载时同步的运行数据文件处理模块进行实时处理。

一个可能的设计中，第一用户终端21具备显示器，第一用户终端21从第一应用服务器11获取数据以在第一用户终端21上生成操作界面，如一个网页或者基于本地com组件的瘦客户端以便调用和启动数据文件处理模块，数据文件处理模块的运行环境根据第一用户终端21从第一应用服务器11获取数据进行配置。以便进一步标准化数据文件处理模块的运行环境，增加其输出结果的客观性。

第二操作，第二用户终端22向所述云端服务器10上传由第一用户终端21生成的待评估文件数据。

可知，云端服务器10的第二应用服务器12用于接收所有的待评估文件数据，从待评估文件数据中提取每个待评估文件的及相关处理信息，在第二应用服务器12上建立待评估文件的数据库，使其在一个视图(view)的字段包含参考文件标识、数据文件处理模块标识和待评估文件标识以及评价结果，其中评价结果由第二应用服务器12执行评价程序后，根据评价程序的输出结果在记录中赋值。

本实施例中，当第二应用服务器12执行有参考评价程序时，根据待评估文件的数据库中一个待评估文件对应的参考文件标识从第二应用服务器11获取该参考文件的全部数据用于有参考评价程序的比较。

一个可能的设计中，实施完成第一操作的第一用户终端21，由于已经获得了待评估文件数据，可以即可转化为实施第二操作的第二终端设备22。这种转化也可以是在数据文件处理模块的运行中的，即一台用户终端可以同时作为第一用户终端21全部或者部分读取参考文件数据又同时作为第二用户终端22上传或者部分的待评估文件数据，如在流媒体传输的场景中。

第三操作，第三用户终端32从所述云端服务器10接收并展示评价结果信息；

可知，由于云端服务器10所存储的评价结果是不受外部环境影响的，因此各个第三用户终端32所获取的评价结果信息是一致的，可以被记录的。所述评价结果信息包含，两个以上的基于相同参考文件和/或相同数据文件处理模块的标识的所述评价结果。

本实施例中，云端服务器10中第三应用服务器23为web服务器，web服务器根据第三用户终端32的请求向第三用户终端32提供网页数据，网页数据中包含评价结果信息。

上述请求包括，

第一请求，其包含所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识，或者，包含所述第一参考文件的标识、第一数据文件处理模块的标识和所述第二数据文件处理模块的标识。本实施例中，所述评价程序指令致使所述云端服务器10中的第二应用服务器12执行的操作包括，根据所述第一待评估文件数据获得第一评价结果，并且，根据所述第二待评估文件数据获得第二评价结果；第三应用服务器13接收到第一请求后，向第三用户终端23发送包括所述第一评价结果和所述第二评价结果的评价结果信息。

第二请求，其包含所述第二参考文件的标识和所述第三参考文件的标识，或者，包含第三数据文件处理模块的标识、所述第二参考文件的标识和所述第三参考文件的标识。本实施例中，所述评价程序指令致使所述云端服务器10中的第二应用服务器12执行的操作包括，根据所述第三待评估文件获得第三评价结果，并且，根据所述第四待评估文件并获得第四评价结果；第三应用服务器13接收到第二请求后，向第三用户终端23发送包括所述第三评价结果和所述第四评价结果的评价结果信息。

示范的，本实施例第三用户终端23接收到的评价结果信息，可以如下表所示。

表1第三用户终端23展示评价结果信息

	客观指标1	客观指标2	上传者	备注
					参考文件.wav	3.3	3.23
待评估文件1.wav	4.31	3.67	乙
					待评估文件2.wav	3.87	3.89	丙

其中，云端服务器10提供参考文件.wav，云端服务器10上有无参考的评价程序1、评价程序2、评价程序3分别基于待评估文件可以输出客观指标1、客观指标2、客观指标3，待评估文件1.wav由数据文件处理模块1根据参考文件.wav生成并由用户乙在一个第二用户中终端22上传至第二应用服务器12，待评估文件2.wav由数据文件处理模块2根据参考文件.wav生成并由丙在一个第二用户终端22上传至第二应用服务器12。

该表可以通过下述方式获取，当第三应用服务器13接收到一个具体的第一请求，其包含所述评价程序1的标识、参考文件.wav的标识、数据文件处理模块1的标识和数据文件处理模块2的标识，第三应用服务器13向第三用户终端13返回表中第一列 [3.3,4.31,3.87]的评价结果数据。其可以通过两次第一请求获取上述表的内容，也可以通过包含两次第一请求的一个请求获取上述表的内容。

表2第三用户终端23展示评价结果信息

	客观指标3	上传者	备注
				参考文件1.wav
参考文件2.wav
				待评估文件1.wav	3.87	丙
待评估文件2.wav	4.21	丁

其中，云端服务器10提供参考文件1.wav、参考文件2.wav，云端服务器10上有有参考的评价程序3，基于一个待评估文件可以输出其客观指标1，待评估文件1.wav由数据文件处理模块3根据参考文件1.wav生成并由用户丙在一个第二用户中终端22上传至第二应用服务器12，待评估文件2.wav由数据文件处理模块3根据参考文件2.wav生成并由用户丁在一个第二用户终端22上传至第二应用服务器12。

该表可以通过下述方式获取，当第三应用服务器13接收到一个具体的第二请求，包含评价程序3的标识、数据文件处理模块3的标识、参考文件1.wav的标识和参考文件2.wav 的标识，第三应用服务器13向用户终端返回包含表中第一列[3.87，4.21]的评价结果数据。

在一些可能的设计中，第三用户终端23，通过在一个请求中包含上述多个第一请求和 \或第二请求的方式，在一个响应中获得包含涉及多个数据文件处理模块的多个不同评价程序的评价结果的复合的评价结果信息，评价结果信息中除了具体的评价结果，即评分，之外的其他全部或者部分数据，作为这些评价结果的索引或者排序依据使用，如文件上传者、备注信息、版本信息等。

本实施例中，以音频处理的wav格式为例，但本发明的参考文件和待评估文件均不对其具体格式做出任何限制，这些数据文件在存储音频数据时，音频编码格式可以为AAC格式、MP3、WMA、RAW等任何形式，视频编码格式也可以为H.263或H.264格式等任何形式，甚至也并未限制仅包括音频或者视频的数据文件，图像、文本等数据文件处理模块的评价方式也可以采用本发明提供的技术方案。

本实施例的一个应用中，第一用户终端21、第二用户终端22、第三用户终端23和第四用户终端24之间均是不互信的，第三用户终端23和第四用户终端24分别从第三应用服务器13通过第一请求和/或第二请求获得评价结果信息，在这些请求相同的情况下，各自所获得的评价结果信息也必然相同，而第三应用服务器13是被网络中其他用户终端相信的协调者。在一些进一步的优化设计中，这种模式适合联邦学习的需要，可以通过在第三用户终端23和第四用户终端24或者多个第一用户终端21上分布式的部署。

参照图4，基于该测评系统，本发明实施例提供一种在云端进行的评测方法，所述方法包括：

第五操作，第五用户终端25向所述云端服务器发送待评估文件的一个主观评分；所述待评估文件从所述云端服务器获取。

可知，本测评系统第五用户终端25有多个，由于一些客观测评方法必须基于具体的算法，但是这些多媒体数据文件最终的使用者主要是人，因此必须考虑人的主观感受，为了收集目标用户的不同评价，实施本方法的测评系统包括了提供主观评分的第五用户终端25，以便向执行评分程序指令的第三应用服务器13提供样本，一些简单的设计中，这些样本通过对样本平均的方式计算一个具体主观指标的最终结果，一些复杂的设计中，这些评分样本可以作为包含神经网络的评价程序或者数据文件处理模块的训练集，参与评价程序或者数据文件处理模块的优化，比如生成式对抗网络的中生成器或者判别器的训练。

本实施例中，云端服务器10的第三应用服务13执行评分程序中的指令；所述评分程序中的指令致使第三应用服务13执行的操作包括，读取同一待评估文件的多个主观评分，输出该待评估文件的主观评价结果；

第六操作，第六用户终端26从所述云端服务器接收并展示主观评价结果信息；所述主观评价结果信息包含，所述主观评价结果和该主观评价结果对应待评估文件的标识。

示范的，本实施例第六用户终端26接收到的评价结果信息，可以如下表所示。

表3第六用户终端展示评价结果信息

	主观指标1	主观指标2	上传者	备注
					参考文件1.wav	3.23	3.34
参考文件2.wav	3.52	3.12
					待评估文件1.wav	3.87	3.64	丙
待评估文件2.wav	4.21	3.93	丁

其中，云端服务器10提供参考文件1.wav、参考文件2.wav，云端服务器10上有有参考的评分程序1、评分程序2，基于一个待评估文件可以输出其主观指标1、主观指标1，待评估文件1.wav由数据文件处理模块3根据参考文件1.wav生成并由用户丙在一个第二用户中终端22上传至第二应用服务器12，待评估文件2.wav由数据文件处理模块3根据参考文件2.wav生成并由用户丁在一个第二用户终端22上传至第二应用服务器12。

该表可以通过下述方式获取，当第三应用服务器13接收到一个具体的请求，包含评分程序1或者评分程序2的标识、待评估文件1.wav或者待评估文件2.wav的标识、参考文件1.wav的标识或者参考文件2.wav的标识，第三应用服务器13用户终端返回包含表中第一列或者第二列中的各个音频文件的评价结果数据。

在一些可能的设计中，在第六用户终端26也可以实施包括第三操作，示范的，可以获得形如下表的评价结果信息。

表4第六用户终端展示评价结果信息

可知，形如上述结构的视图，可以用于分析评价程序1的结论更符合人体主观感受，同时数据文件处理模块2中的优化结果更讨好人体主观感受。虽然在客观指标2上与数据文件处理模块1之间比较并无确实的差异。

参照图5，基于该测评系统，本发明实施例提供一种在云端进行的评测方法，所述方法包括：

第七操作，由第七用户终端27所述参考文件和/或评价程序上传至所述云端服务器10。

可知，本实施例进一步开放了参考文件和/或评价程序的生成通道，以便进一步促进向第三用户终端23提供评价结果信息的公平公开。一些可能的设计中，第一应用服务器11 同时提供了运行在服务器上的编译器或者解释器为第七用户终端27提供云端的执行能力，保证同一的指令执行环境。

可知，上述第一至第七用户终端，可以是同一用户终端根据不同的登录用户身份而区别进行的各个操作，可以是不限制登陆身份的根据具体操作而称为不同的用户终端。即如第六用户终端也可以作为第三用户终端向云端服务器发送第一请求或者第二请求，第一用户终端也可以作为第七用户终端向云端服务器提供参考文件和/或评价程序。

表5第三用户终端展示评价结果信息

	客观指标1	客观指标2	客观指标3	主观评分	上传者	备注
							处理前.wav	3.3	3.23	3.45	3.02	甲
处理1.wav	4.31	3.67	3.63	3.67	乙
							处理2.wav	3.87	3.89	3.55	3.61	丙

其中，用户甲向云端服务器10提供处理前.wav作为一个参考文件，云端服务器10上有评价程序1、评价程序2、评价程序3和评分程序，基于一个待评估文件可以输出其客观指标1、客观指标2、客观指标3和主观评分，处理1.wav由数据文件处理模块1根据处理前.wav生成并由用户乙在一个第二用户中终端22上传至第二应用服务器12，作为数据文件处理模块1的一个待评估文件，处理2.wav由数据文件处理模块2根据处理前.wav生成并由用户丙在一个第二用户终端22上传至第二应用服务器12，作为数据文件处理模块 2的一个待评估文件。

该表可以通过下述方式获取，当第三应用服务器13接收到一个具体的请求，包含评价程序和评分程序的标识、待评估文件的标识、参考文件的标识，第三应用服务器13向用户终端返回包含表中数据的评价结果信息。

本实施例一些可能的设计中，将评价程序放置云端，给不同开发者提供了一个公平公开的测试比对平台，提供了便捷的测试途径和记录归档。主观评测还有一个ab对比的形式：即用户上传a文件和b文件，并提供类似以下选项：a更好，b更好，差不多，供广大用户投票，从而获取大多数喜好结论。

本发明是一种在云端进行测试的方案，当测试是针对音视频数据文件的数据文件处理模块时，被测的音视频内容可以是或者不是在音视频通话中的录制的，也可以是一些增强处理，比如一个频宽8k的语音，经过一个带宽扩展的处理，得到了16k频宽的语音，那么语音会更清晰，质量提高，具体评价提高了多少，在云端进行计算得到结果。上传的音频格式优选的都是原始无损的格式，wav而不是aac等有损压缩了的。将评测算法放在云端，把参考文件放在云端，从而保证公平公正，这些评测包括有参考和无参考的，有参考评测主要是评测失真，比如原始音频文件作为参考文件，被测的待评估文件是失真了的文件，然后跟原始文件比对，得到失真程度的指标，无参考评测，没有什么参考文件，而是单纯对文件进行打分，比如估计被评测文件的信噪比指标、频宽指标等等，它不必然参照某个参考文件，第一类评测：有参考评测，所依据的参考文件也在云端，这样对所有被评测文件而言，评测程序包括评价程序和评分程序是唯一的，公平的。

在一些处理视频文件的数据文件处理模块的实施例中，评测程序包括对图像质量主要对解析度MTF、白平衡、色彩饱和度及灰阶测试等测试指标机型评价，使用VB汇编工具软件对测量的音频和视频数据进行采样分析，结合图像分析软件及VIRTINS音频分析软件，合并所测量数据与所规定的标准值互相对比，完成评测任务。一些可能的设计中.将音视频导入到云端并通过云端下载进行评测，无需随身携带存储设备，降低了音视频文件丢失的风险，同时通过云端下载音视频速度更快，同时大大提高评测的效率。一些可能的设计中.音视频流采集的过程中，将可播放视频单元通过网络发送给云端服务器；即一边采集音视频流，一边发送可播放音视频单元，从而可大大缩短了音视频上传的时间，提高上传的效率。

需要说明的是，在本发明各实施例(包括图3以及图4所示的各实施例)中所有的接收模块对应的实体设备可以为接收器，所有的发送模块对应的实体设备可以为发射器，所有的处理模块对应的实体设备可以为处理器，所有的传感模块对应的实体设备可以为传感器，所有的显示模块对应的实体设备可以为显示屏或显示器。图3以及图4所示的各装置均可以具有如图5所示的结构，当其中一种装置具有如图5所示的结构时，图5中的处理器、发射器和接收器实现前述对应该装置的装置实施例提供的处理模块、发送模块和接收模块相同或相似的功能。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种在云端进行的评测方法，用于评价数据文件处理模块，所述方法包括：

云端服务器存储参考文件，向第一用户终端提供参考文件数据，接收第二用户终端发送的待评估文件数据，执行评价程序中的指令，向第三用户终端发送评价结果信息；所述评价程序中的指令致使所述云端服务器执行的操作包括，读取所述待评估文件数据，输出生成所述待评估文件数据的数据文件处理模块的评价结果；

2.根据权利要求1所述的评测方法，其特征在于，所述方法包括：

所述评价程序指令致使所述云端服务器执行的操作包括，根据所述第一待评估文件数据获得第一评价结果，并且，根据所述第二待评估文件数据获得第二评价结果；

所述第一请求包含所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识，或者，包含所述第一参考文件的标识、所述第一数据文件处理模块的标识和所述第二数据文件处理模块的标识；

或者，所述方法包括：

3.根据权利要求1所述的评测方法，其特征在于，所述方法包括：

第四用户终端根据所述第三用户终端的请求，从所述云端服务器接收并展示评价结果信息，所述评价结果信息与所述第三用户终端从所述云端服务器接收并展示的所述评价结果信息相同。

4.根据权利要求1所述的评测方法，其特征在于，所述方法包括：

5.根据权利要求1至4任一项所述的评测方法，其特征在于，所述方法包括：所述参考文件由第七用户终端上传至所述云端服务器；和/或，所述评价程序由第七用户终端上传至所述云端服务器。

6.一种云端服务器，所述云端服务器存储参考文件，其特征在于，所述云端服务器包括：

处理器；

存储器，用于存储评价程序的指令；

通信接口；

接收器、发射器；

7.根据权利要求6所述的云端服务器，其特征在于：所述云端服务器存储待评估文件；

所述存储器，用于存储评分程序中的指令；

8.一种用户终端，与权利要求6中的云端服务器通信连接，其特征在于：所述用户终端用于，

或者，

从所述云端服务器接收并展示所述评价结果信息。

9.一种用户终端，与权利要求7中的云端服务器通信连接，其特征在于：所述用户终端用于，

向所述云端服务器所述发送待评估文件的一个主观评分；

或者，

从所述云端服务器接收并展示所述主观评价结果信息。

10.一种评测系统，其特征在于，所述评测系统包括：

如权利要求6所述的云端服务器和如权利要求8所述的用户终端；

或者，

如权利要求7所述的云端服务器和如权利要求9所述的用户终端。