CN106657980A - 全景视频的质量测试方法和装置 - Google Patents

全景视频的质量测试方法和装置 Download PDF

Info

Publication number
CN106657980A
CN106657980A CN201610922177.6A CN201610922177A CN106657980A CN 106657980 A CN106657980 A CN 106657980A CN 201610922177 A CN201610922177 A CN 201610922177A CN 106657980 A CN106657980 A CN 106657980A
Authority
CN
China
Prior art keywords
video
test
experimenter
panoramic video
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610922177.6A
Other languages
English (en)
Inventor
刘雨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Cloud Computing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610922177.6A priority Critical patent/CN106657980A/zh
Publication of CN106657980A publication Critical patent/CN106657980A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本发明实施例公开了一种全景视频的质量测试方法和装置,涉及视频测试技术领域。所述方法包括:根据质量测试类型,构造设定排列顺序的测试全景视频序列;按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。本发明实施例提出了一种适用于全景视频主观质量测试的标准化方案,扩展了现有的基于平面视频的主观质量测试技术,满足了人们基于全景视频的主观质量测试需求。

Description

全景视频的质量测试方法和装置
技术领域
本发明实施例涉及视频测试技术,尤其涉及一种全景视频的质量测试方法和装置。
背景技术
近年来,全景视频的体验和服务日益增加,在不久的将来,传统的单视角视频服务将逐渐被多视角的全景视频服务所代替,因为全景视频能够带给人们更加沉浸式的视觉体验。因此,如何对全景视频的主观质量进行评价就显得越来越重要。
发明人在实现本发明的过程中,发现现有技术存在如下缺陷:目前为止,并没有针对全景视频主观质量的完整的测试方案。已有的主观质量的测试方案都是针对平面视频的。鉴于全景视频和平面视频之间的显著的差异性,已有的针对平面视频的主观质量测试方法无法彻底地适用于全景视频。
发明内容
有鉴于此,本发明实施例提供一种全景视频的质量测试方法和装置,以扩充现有基于平面视频的主观质量测试技术,满足人们基于全景视频的主观质量测试需求。
第一方面,本发明实施例提供了一种全景视频的质量测试方法,包括:
根据质量测试类型,构造设定排列顺序的测试全景视频序列,其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量;
按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;
根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
第二方面,本发明实施例还提供了一种全景视频的质量测试装置,包括:
视频序列构造模块,用于根据质量测试类型,构造设定排列顺序的测试全景视频序列,其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量;
视频序列播放打分模块,用于按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;
质量参数值计算模块,用于根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
本发明实施例提供的全景视频的质量测试方法及装置,通过根据质量测试类型,构造设定排列顺序的测试全景视频序列;按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值的技术手段,提出了一种适用于全景视频主观质量测试的标准化方案,扩展了现有的基于平面视频的主观质量测试技术,满足人们基于全景视频的主观质量测试需求。
附图说明
图1是本发明实施例一提供的一种全景视频的质量测试方法的流程图;
图2a是本发明实施例二提供的一种全景视频的质量测试方法的流程图;
图2b是本发明实施例二提供的一种与单激励连续质量评分测试类型对应的测试全景视频序列示意图;
图2c是本发明实施例二提供的一种与多激励连续质量评分测试类型对应的测试全景视频序列示意图;
图2d是本发明实施例二提供的一种受试者视频打分的打分类型示意图;
图3是本发明实施例三提供的一种全景视频的质量测试方法的流程图;
图4是本发明实施例的一种具体应用场景的全景视频的质量测试架构图;
图5是本发明实施例五提供的一种全景视频的质量测试装置的结构图;
图6是本发明实施例六提供的一种全景视频的质量测试装置的结构图;
图7是本发明实施例七提供的一种全景视频的质量测试设备的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的一种全景视频的质量测试方法的流程图,该方法可以由全景视频的质量测试装置执行,该装置可由软件和/或硬件实现,并一般可集成于用于完成全景视频的质量测试功能的服务器或者终端设备中。如图1所示,本实施例的方法具体包括:
110、根据质量测试类型,构造设定排列顺序的测试全景视频序列。
其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量;
在本实施例中,所述测试全景视频具体是指用于进行质量测试的360°方位的视频。为了能够准确、全面的获取受试者对测试全景视频的视频打分,可以在所述测试全景视频序列中放入至少两种内容的视频,且与同一内容的视频可以对应多种视频质量(或者说视频失真度,该失真度可以是视频编解码带来的)的视频。
其中,可以根据不同的质量测试类型,对所述测试全景视频序列中各个视频的排列顺序进行设计。
在一个具体例子中,如果希望用户能够以绝对的直观感受对测试全景视频进行视频打分,为了避免受试者的记忆效应,对同一内容的测试全景视频不能连续播放。因此,测试全景视频序列中的各视频都需要完全随机排列;
在另一个具体例子中,如果希望受试者能够对多个质量相近的测试全景视频的比较区分,因此要求含有相同内容的测试全景视频被连续在测试全景视频序列中连续排列。
120、按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分。
在本实施例中,为了使得用户能够独立、不受干扰的对每一个测试全景视频进行视频打分,因此,可以在每个测试全景视频播放结束后,接收受试者输入的视频打分。
130、根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
在本实施例中,考虑到不同受试者的个体差异性,需要统计多个受试者对于同一测试全景视频的视频打分,并采取一定的数据处理,典型的,均值计算、方差计算、均方差计算或者归一化计算等,进而得到每个测试全景视频的质量参数值。
其中,所述质量参数值具体是指与受试者的视频打分关联的,用于衡量受试者对一个测试全景视频的视频质量的主观感受值。
本发明实施例提供的全景视频的质量测试方法,通过根据质量测试类型,构造设定排列顺序的测试全景视频序列;按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值的技术手段,提出了一种适用于全景视频主观质量测试的标准化方案,扩展了现有的基于平面视频的主观质量测试技术,满足人们基于全景视频的主观质量测试需求。
实施例二
图2a为本发明实施例二提供的一种全景视频的质量测试方法的流程示意图。本实施例以上述实施例为基础进行具体化,在本实施例中,将根据质量测试类型,构造测试全景视频序列具体为:根据单激励连续质量评分测试类型,将各所述测试全景视频进行随机排列,以生成所述测试全景视频序列;以及
根据多激励连续质量评分测试类型,将各所述测试全景视频按照视频内容进行分组;将不同分组进行随机排列后,将各分组中包括的各所述测试全景视频进行随机排列,以生成所述测试全景视频序列;
同时,将在每个测试全景视频播放结束后,接收受试者输入的视频打分具体为:在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段;在黑屏阶段结束后,接收受试者输入的视频打分。相应的,本实施例的方法具体包括:
210、判断质量测试类型:如果所述质量测试类型为单激励连续质量评分测试,则执行220;如果所述质量测试类型为多激励连续质量评分测试,则执行230。
220、将各所述测试全景视频进行随机排列,以生成所述测试全景视频序列,执行250。
单激励连续质量评分(简称为SSCQS)测试方案,要求受试者以绝对的直观感受对测试全景视频序列进行视频打分。为了避免受试者的记忆效应,与同一内容对应的不同测试全景视频不能连续播放。因此,所有全景视频测试序列都需要完全随机播放。举例而言,图2b中Ai,Bi,Ci;i∈[1,3];分别表示拥有内容A、B、C的不同视频质量的原始和受损视频。在视频播放过程中,它们需要被随机播放。相应的,在构造与单激励连续质量评分测试对应的测试全景视频序列时,各所述测试全景视频需要进行全部随机排列。
230、将各所述测试全景视频按照视频内容进行分组,执行240。
240、将不同分组进行随机排列后,将各分组中包括的各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
双激励连续质量评分(简称为DSCQS)测试方案,也可称为多激励连续质量评分(简称为MSCQS)测试方案,它主要受试者对多个质量相近的测试全景视频进行比较,为了方便受试者区分,要求含有相同内容的测试全景视频需要被连续播放。而不同内容的测试全景视频分组需要被随机播放,并且每个分组内部的测试全景视频也需要打乱顺序,因此可以称为一种伪随机的播放模式。如图2c,不同视频内容A、B、C的视频分组需要随机排列,且每个视频分组内不同视频质量的视频的排序也需要随机。
250、按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段。
在本实施例中,为了在全景视频的质量测试过程中,帮助受试者对不同的测试全景视频进行区分,并一定程度上缓解受试者的用眼疲劳,在每个测试全景视频播放结束后,进入设定时间段(典型的,2s、3s或者5s等)的黑屏阶段。
260、在黑屏阶段结束后,接收受试者输入的视频打分。
在本实施例中,所述视频打分包括:用于衡量视频整体质量的整体质量打分,和/或用于衡量视频连续性的统一性程度打分。
可选的,受试者可以从两个方面对测试全景视频的质量进行打分:视频的整体质量和视频质量在不同方向的统一性。我们用A来表示视频的整体质量打分,B来表示视频质量的统一性程度打分。视频的整体质量打分最高为5分,分为五个档次:很好(4-5分),好(3-4分),一般(2-3分),差(1-2分),很差(0-1分)。视频质量的统一性程度的最高打分为5分,分为5个档次:很连续(4-5分),连续(3-4分),一般(2-3分),不连续(1-2分),很不连续(0-1分)。在图2d中示出了一种受试者视频打分的打分类型示意图。
其中,这些打分可以是连续的,即受试者可以按照自己的感受打出类似4.3或者3.2之类的分数,而非一定是整数的分数。每一个全景视频的视频打分可以为A和B分数的总和。
270、根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
本实施例的技术方案针对不同的质量测试类型,采用不同的随机方式构造测试全景视频序列,以使得测试全景视频的播放顺序更加贴近实际的测试需求,获取的受试者的视频打分更加精确,同时,通过在在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段,可以帮助受试者对不同的测试全景视频进行区分,并一定程度上缓解受试者的用眼疲劳,以进一步提高全景视频的质量测试的准确性和有效性。
实施例三
图3为本发明实施例三提供的一种全景视频的质量测试方法的流程示意图。本实施例以上述实施例为基础进行具体化,在本实施例中,还包括:在每个测试全景视频的播放过程中,捕捉受试者的头部转动情况;根据所述头部转动情况,确定受试者观看角度;根据所述受试者观看角度,确定与各测试全景视频对应的受试者观看位置;
相应的,将所述根据至少两个所述受试者的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值具体为:
根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分;根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分;将所述视频整体评分与所述视频局部区域评分的合集,作为各测试全景视频的质量参数值。
相应的,本实施例的方法具体包括:
310、根据质量测试类型,构造设定排列顺序的测试全景视频序列。
其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量。
320、按照所述排列顺序播放所述测试全景视频序列。
330、在每个测试全景视频的播放过程中,捕捉受试者的头部转动情况。
340、根据所述头部转动情况,确定受试者观看角度。
350、根据所述受试者观看角度,确定与各测试全景视频对应的受试者观看位置。
在本实施例中,考虑到全景视频的视角极为开阔,不同视频观看位置的访问次数和最终视频打分的关系可以在一定程度上反映局部的主观质量信息。
360、在每个测试全景视频播放结束后,接收受试者输入的视频打分。
370、根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分。
首先,需要明确两个概念,一个是参考视频,这一类视频一般为无失真的视频;另一类视频是由参考视频经过处理后得到的失真视频,这一类视频一般具有不同程度的失真。
相应的,在一定情况下,测试全景视频序列中可能不包括有参考视频。也即:所述同一内容的测试全景视频仅包括由无失真的参考视频经过处理后生成的失真视频;
相应的,根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分可以包括:
根据公式:计算失真视频j的平均意见分uj
其中,Sij为受试者i对失真视频j的视频打分,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
在另一种情况下,如果测试全景视频序列中同时包括有参考视频以及失真视频,也即:同一内容的测试全景视频同时包括:无失真的参考视频、以及由所述无失真的参考视频经过处理后生成的失真视频;
相应的,根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分可以包括:
根据公式计算受试者i对失真视频j的平均意见分插值dij;其中,Sij为受试者i对失真视频j的视频打分;为受试者i对与所述失真视频j关联的目标参考视频的视频打分;
分别根据公式:以及计算受试者i在观看失真视频j时对应的视频差分Zij;其中,Mi为与所述目标参考视频关联的失真视频的总数量;
将所述视频差分Zij线性映射至设定数值范围内(典型的,0~100),生成视频差分映射
根据公式计算失真视频j的平均意见差分DMOSj;其中,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见差分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
380、根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分。
在本实施例中,根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分可以包括:
预先将全景视频区域划分至少两个局部视频区域;
根据与失真视频j对应的受试者观看位置,确定所述失真视频j在各所述局部视频区域内观看频率;
获取观看频率超过设定阈值的局部视频区域作为与所述失真视频j对应的目标局部视频区域;
根据公式:计算所述失真视频j在目标局部视频区域r中的局部质量分数DMOSjr为在观看所述失真视频过程中,受试者观看位置位于所述目标局部视频区域r内的受试者;NIjr的总人数;r∈[1,K],K为与失真视频j对应的目标局部视频区域数量;
分别计算与所述失真视频j对应的各目标局部视频区域的局部质量分数构成质量分数集合;
分别计算与各所述测试全景视频对应的所述质量分数集合作为所述测试全景视频序列中各测试全景视频的视频局部区域评分。
390、将所述视频整体评分与所述视频局部区域评分的合集,作为各测试全景视频的质量参数值。
综上所述,视频j的最终质量输出形式可以为一向量:[DMOSj,DMOSj1,…,DMOSjr,…]。其中第一项为视频j的视频整体评分,其余项为不同视频局部区域的视频局部区域评分。
本实施例的技术方案根据测试全景视频序列中包括的测试全景视频类型,采取不同的数据处理方法计算各测试全景视频的质量参数值,使得最终的计算结果更加贴近实际,同时,由于综合考虑计算各测试全景视频的视频局部区域评分,使得计算结果更加符合全景视频的视频特点,最终得到的全景视频的质量参数值更加精准。
具体应用场景
在本具体应用场景中需要首先明确测试环境。
1、观看设备:不同于传统的平面视频的观看方式,全景视频一般需要佩戴专业的头盔进行观看测试,并且头盔质量的好坏将极大地影响对全景视频的主观质量评价结果;
2、全景视频播放器:全景视频播放器的选取对于全景视频质量评价也很重要,一般来说,全景视频播放器需要能够播放不同映射下的全景视频,包括球形映射,柱状映射和立方体映射等,播放器的性能应该足够优异,避免由于播放器性能的原因而导致的播放卡顿或者视频失真;
3、受试者参与主观测试的受试者的数量应该不少于15人,并且他们不能是本领域的专家。受试者的年龄范围应该足够大,在性别上应该同时包括男性和女性,并且男女的人数应尽量均衡。受试者的视力应该是正常的,这种正常包括正常的立体视觉能力和辨色能力。同时,考虑到受试者需要佩戴头盔进行测试,因此要求所有的受试者不能佩戴近视眼镜参与测试;
4、姿势:和传统的平面视频所不同的是,全景视频为360度方位的视频,因此希望受试者能够自由地转动头部来对不同角度的视频进行观看。在实验室环境下,受试者应该保持站立的姿势进行全景视频的质量测试;在家庭环境下,鉴于大部分人倾向于坐着观看视频,因此在家庭环境下,受试者应该保持坐着的姿势进行观测。
在图4中示出了本发明实施例的一种具体应用场景的全景视频的质量测试架构图,如图4所示,整体的测试流程由三个部分组成:训练部分,验证部分和测试部分。
在训练部分,实验人员需要告知受试者本次实验的目的和流程,然后受试者需要观看事先准备好的训练视频以熟悉测试和打分的过程,训练视频的质量范围应该尽量与受试者在测试部分观看到的测试视频的质量范围保持一致。观看完训练视频后,将会有3~10分钟的解疑时间,在这段时间里,实验人员将负责解答受试者关于实验内容和实验流程方面的疑问,以便他们更好地理解本次实验。
验证环节的主要目的是验证受试者经过训练环节后是否能够正确地理解实验意图,并按提供有效的,可信度高的主观分数。在这一环节中,受试者将被要求观看不同失真程度的全景视频并在观看后进行打分,注意这里受试者观看的全景视频不同于他们在正式测试环节中观看的全景视频。这一环节之后,会有3~5分钟的校正时间,如果受试者没有通过验证环节,实验人员需要重新讲解实验规则和实验内容,待受试者明白后,重新进行验证环节的验证过程,直至验证通过,受试者方可进入下一环节。
待受试者通过验证环节后,就进入正式的测试环节。在测试环节中,受试者被要求观看一系列的全景视频,并在完整观看完一个视频后进行主观打分。一般来说,测试视频分为两类,一类是参考视频,这一类视频一般为无失真的视频;另一类视频是由参考视频经过处理后得到的视频,这一类视频一般具有不同程度的失真。这两类视频被放在一起,播放顺序由质量测试类型确定。在图4中,测试环节由若干个小环节组成,每一个小环节由T1,T2和打分三部分组成,T1一般为10s,为视频播放和观看时间,在视频播放之后,会有短暂的黑屏时间,一般为T2=3s,其目的是提醒受试者该视频已经播放结束,请准备进入打分环节,T2之后,就进入针对该视频的主观打分时间,打分结束后就进入下一小环节,即观看下一个测试视频。为了避免受试者的视觉疲劳效应,建议整个测试环节的总时间不超过30分钟,如果测试视频过多,建议将其分为多个测试环节,一个测试环节之后,受试者应该通过充分的休息之后方可进入下一个测试环节。
实施例四
图5为本发明实施例四提供的一种全景视频的质量测试装置的结构图。如图5所示,所述装置包括:视频序列构造模块51,视频序列播放打分模块52以及质量参数值计算模块53。
视频序列构造模块51,用于根据质量测试类型,构造设定排列顺序的测试全景视频序列,其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量。
视频序列播放打分模块52,用于按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分。
质量参数值计算模块53,用于根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
本发明实施例提供的全景视频的质量测试装置,通过根据质量测试类型,构造设定排列顺序的测试全景视频序列;按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值的技术手段,提出了一种适用于全景视频主观质量测试的标准化方案,扩展了现有的基于平面视频的主观质量测试技术,满足人们基于全景视频的主观质量测试需求。
实施例五
图6为本发明实施例五提供的一种全景视频的质量测试装置的结构图。本实施例以上述实施例为基础进行具体化。
在本实施例中,所述视频序列构造模块,具体可以用于:
根据单激励连续质量评分测试类型,将各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
在本实施例中,所述视频序列构造模块,具体还可以用于:
根据多激励连续质量评分测试类型,将各所述测试全景视频按照视频内容进行分组;
将不同分组进行随机排列后,将各分组中包括的各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
在本实施例中,所述视频序列播放打分模块,具体可以用于:
在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段;
在黑屏阶段结束后,接收受试者输入的视频打分;
其中,所述视频打分包括:
用于衡量视频整体质量的整体质量打分,和/或用于衡量视频连续性的统一性程度打分。
在本实施例中,还可以包括,受试者观看位置获取模块61,用于:
在每个测试全景视频的播放过程中,捕捉受试者的头部转动情况;
根据所述头部转动情况,确定受试者观看角度;
根据所述受试者观看角度,确定与各测试全景视频对应的受试者观看位置;
所述质量参数值计算模块,具体可以包括:
整体评分计算模块531,用于根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分;
局部区域评分计算模块532,用于根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分;
质量参数值合成模块533,用于将所述视频整体评分与所述视频局部区域评分的合集,作为各测试全景视频的质量参数值。
在本实施例中,所述同一内容的测试全景视频包括:由无失真的参考视频经过处理后生成的失真视频;
所述整体评分计算模块,具体可以用于:
根据公式:计算失真视频j的平均意见分uj
其中,Sij为受试者i对失真视频j的视频打分,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
在本实施例中,所述同一内容的测试全景视频可以包括:无失真的参考视频、以及由所述无失真的参考视频经过处理后生成的失真视频;
所述整体评分计算模块,具体可以用于:
根据公式计算受试者i对失真视频j的平均意见分插值dij;其中,Sij为受试者i对失真视频j的视频打分;为受试者i对与所述失真视频j关联的目标参考视频的视频打分;
分别根据公式:以及计算受试者i在观看失真视频j时对应的视频差分Zij;其中,Mi为与所述目标参考视频关联的失真视频的总数量;
将所述视频差分Zij线性映射至设定数值范围内,生成视频差分映射
根据公式计算失真视频j的平均意见差分DMOSj;其中,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见差分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
在本实施例中,所述局部区域评分计算模块,具体可以用于:
预先将全景视频区域划分至少两个局部视频区域;
根据与失真视频j对应的受试者观看位置,确定所述失真视频j在各所述局部视频区域内观看频率;
获取观看频率超过设定阈值的局部视频区域作为与所述失真视频j对应的目标局部视频区域;
根据公式:计算所述失真视频j在目标局部视频区域r中的局部质量分数DMOSjr为在观看所述失真视频过程中,受试者观看位置位于所述目标局部视频区域r内的受试者;NIjr的总人数;r∈[1,K],K为与失真视频j对应的目标局部视频区域数量;
分别计算与所述失真视频j对应的各目标局部视频区域的局部质量分数构成质量分数集合;
分别计算与各所述测试全景视频对应的所述质量分数集合作为所述测试全景视频序列中各测试全景视频的视频局部区域评分。
实施例六
如图7所示,为本申请实施例六提供的全景视频的质量测试设备的硬件结构示意图,如图7所示,该全景视频的质量测试设备包括:
一个或多个处理器710,图7中以一个处理器710为例;
存储器720;
所述电子设备还可以包括:输入装置730和输出装置740。
所述电子设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接,图7中以通过总线连接为例。
存储器720作为一种非暂态计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的数据存储方法对应的程序指令/模块(例如,附图5所示的视频序列构造模块51,视频序列播放打分模块52以及质量参数值计算模块53)。处理器710通过运行存储在存储器720中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的信息处理方法。
存储器720可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非暂态性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中,存储器720可选包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。
也即:上述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现时,进行如下操作:
一种全景视频的质量测试方法,包括:
根据质量测试类型,构造设定排列顺序的测试全景视频序列,其中,所述测试全景视频序列中包括至少一种内容的测试全景视频,同一内容的测试全景视频对应至少一种视频质量;
按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;
根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
进一步的,根据质量测试类型,构造测试全景视频序列包括:
根据单激励连续质量评分测试类型,将各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
进一步的,根据质量测试类型,构造测试全景视频序列包括:
根据多激励连续质量评分测试类型,将各所述测试全景视频按照视频内容进行分组;
将不同分组进行随机排列后,将各分组中包括的各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
进一步的,在每个测试全景视频播放结束后,接收受试者输入的视频打分包括:
在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段;
在黑屏阶段结束后,接收受试者输入的视频打分;
其中,所述视频打分包括:
用于衡量视频整体质量的整体质量打分,和/或用于衡量视频连续性的统一性程度打分。
进一步的,还包括:
在每个测试全景视频的播放过程中,捕捉受试者的头部转动情况;
根据所述头部转动情况,确定受试者观看角度;
根据所述受试者观看角度,确定与各测试全景视频对应的受试者观看位置;
根据至少两个所述受试者的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值包括:
根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分;
根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分;
将所述视频整体评分与所述视频局部区域评分的合集,作为各测试全景视频的质量参数值。
进一步的,所述同一内容的测试全景视频包括:由无失真的参考视频经过处理后生成的失真视频;
根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分包括:
根据公式:计算失真视频j的平均意见分uj
其中,Sij为受试者i对失真视频j的视频打分,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
进一步的,所述同一内容的测试全景视频包括:无失真的参考视频、以及由所述无失真的参考视频经过处理后生成的失真视频;
根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分包括:
根据公式计算受试者i对失真视频j的平均意见分插值dij;其中,Sij为受试者i对失真视频j的视频打分;为受试者i对与所述失真视频j关联的目标参考视频的视频打分;
分别根据公式:以及计算受试者i在观看失真视频j时对应的视频差分Zij;其中,Mi为与所述目标参考视频关联的失真视频的总数量;
将所述视频差分Zij线性映射至设定数值范围内,生成视频差分映射
根据公式计算失真视频j的平均意见差分DMOSj;其中,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见差分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
本发明实施例所提供的全景视频的质量测试装置可用于执行本发明任意实施例提供的全景视频的质量测试方法,具备相应的功能模块,实现相同的有益效果。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种全景视频的质量测试方法,其特征在于,包括:
根据质量测试类型,构造设定排列顺序的测试全景视频序列,其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量;
按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;
根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
2.根据权利要求1所述的方法,其特征在于,根据质量测试类型,构造测试全景视频序列包括:
根据单激励连续质量评分测试类型,将各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
3.根据权利要求1所述的方法,其特征在于,根据质量测试类型,构造测试全景视频序列包括:
根据多激励连续质量评分测试类型,将各所述测试全景视频按照视频内容进行分组;
将不同分组进行随机排列后,将各分组中包括的各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
4.根据权利要求1所述的方法,其特征在于,在每个测试全景视频播放结束后,接收受试者输入的视频打分包括:
在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段;
在黑屏阶段结束后,接收受试者输入的视频打分;
其中,所述视频打分包括:
用于衡量视频整体质量的整体质量打分,和/或用于衡量视频连续性的统一性程度打分。
5.根据权利要求1所述的方法,其特征在于,还包括:
在每个测试全景视频的播放过程中,捕捉受试者的头部转动情况;
根据所述头部转动情况,确定受试者观看角度;
根据所述受试者观看角度,确定与各测试全景视频对应的受试者观看位置;
根据至少两个所述受试者的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值包括:
根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分;
根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分;
将所述视频整体评分与所述视频局部区域评分的合集,作为各测试全景视频的质量参数值。
6.根据权利要求5所述的方法,其特征在于,所述同一内容的测试全景视频包括:无失真的参考视频、以及由所述无失真的参考视频经过处理后生成的失真视频;
根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分包括:
根据公式计算受试者i对失真视频j的平均意见分插值dij;其中,Sij为受试者i对失真视频j的视频打分;为受试者i对与所述失真视频j关联的目标参考视频的视频打分;
分别根据公式:以及计算受试者i在观看失真视频j时对应的视频差分Zij;其中,Mi为与所述目标参考视频关联的失真视频的总数量;
将所述视频差分Zij线性映射至设定数值范围内,生成视频差分映射
根据公式计算失真视频j的平均意见差分DMOSj;其中,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见差分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
7.根据权利要求6所述的方法,其特征在于,根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分包括:
预先将全景视频区域划分至少两个局部视频区域;
根据与失真视频j对应的受试者观看位置,确定所述失真视频j在各所述局部视频区域内观看频率;
获取观看频率超过设定阈值的局部视频区域作为与所述失真视频j对应的目标局部视频区域;
根据公式:计算所述失真视频j在目标局部视频区域r中的局部质量分数DMOSjr为在观看所述失真视频过程中,受试者观看位置位于所述目标局部视频区域r内的受试者;NIjr的总人数;r∈[1,K],K为与失真视频j对应的目标局部视频区域数量;
分别计算与所述失真视频j对应的各目标局部视频区域的局部质量分数构成质量分数集合;
分别计算与各所述测试全景视频对应的所述质量分数集合作为所述测试全景视频序列中各测试全景视频的视频局部区域评分。
8.一种全景视频的质量测试装置,其特征在于,包括:
视频序列构造模块,用于根据质量测试类型,构造设定排列顺序的测试全景视频序列,其中,所述测试全景视频序列中同一内容的测试全景视频对应多个视频质量;
视频序列播放打分模块,用于按照所述排列顺序播放所述测试全景视频序列,并在每个测试全景视频播放结束后,接收受试者输入的视频打分;
质量参数值计算模块,用于根据至少两个所述受试者输入的所述视频打分,计算所述测试全景视频序列中各测试全景视频的质量参数值。
9.根据权利要求8所述的装置,其特征在于,所述视频序列构造模块,具体用于:
根据单激励连续质量评分测试类型,将各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
10.根据权利要求8所述的装置,其特征在于,所述视频序列构造模块,具体用于:
根据多激励连续质量评分测试类型,将各所述测试全景视频按照视频内容进行分组;
将不同分组进行随机排列后,将各分组中包括的各所述测试全景视频进行随机排列,以生成所述测试全景视频序列。
11.根据权利要求8所述的装置,其特征在于,所述视频序列播放打分模块,具体用于:
在每个测试全景视频播放结束后,进入设定时间段的黑屏阶段;
在黑屏阶段结束后,接收受试者输入的视频打分;
其中,所述视频打分包括:
用于衡量视频整体质量的整体质量打分,和/或用于衡量视频连续性的统一性程度打分。
12.根据权利要求8所述的装置,其特征在于,还包括,受试者观看位置获取模块,用于:
在每个测试全景视频的播放过程中,捕捉受试者的头部转动情况;
根据所述头部转动情况,确定受试者观看角度;
根据所述受试者观看角度,确定与各测试全景视频对应的受试者观看位置;
所述质量参数值计算模块,具体包括:
整体评分计算模块,用于根据所述至少两个所述受试者的所述视频打分,计算各测试全景视频的视频整体评分;
局部区域评分计算模块,用于根据与各测试全景视频对应的受试者观看位置,计算各测试全景视频的视频局部区域评分;
质量参数值合成模块,用于将所述视频整体评分与所述视频局部区域评分的合集,作为各测试全景视频的质量参数值。
13.根据权利要求12所述的装置,其特征在于,所述同一内容的测试全景视频包括:无失真的参考视频、以及由所述无失真的参考视频经过处理后生成的失真视频;
所述整体评分计算模块,具体用于:
根据公式计算受试者i对失真视频j的平均意见分插值dij;其中,Sij为受试者i对失真视频j的视频打分;为受试者i对与所述失真视频j关联的目标参考视频的视频打分;
分别根据公式:以及计算受试者i在观看失真视频j时对应的视频差分Zij;其中,Mi为与所述目标参考视频关联的失真视频的总数量;
将所述视频差分Zij线性映射至设定数值范围内,生成视频差分映射
根据公式计算失真视频j的平均意见差分DMOSj;其中,Nj为观看失真视频j的受试者总人数,i∈[1,Nj];j∈[1,M],M为测试全景视频序列中包括的失真视频总数;
分别计算与各所述测试全景视频对应的所述平均意见差分作为所述测试全景视频序列中各测试全景视频的视频整体评分。
14.根据权利要求13所述的装置,其特征在于,所述局部区域评分计算模块,具体用于:
预先将全景视频区域划分至少两个局部视频区域;
根据与失真视频j对应的受试者观看位置,确定所述失真视频j在各所述局部视频区域内观看频率;
获取观看频率超过设定阈值的局部视频区域作为与所述失真视频j对应的目标局部视频区域;
根据公式:计算所述失真视频j在目标局部视频区域r中的局部质量分数DMOSjr为在观看所述失真视频过程中,受试者观看位置位于所述目标局部视频区域r内的受试者;NIjr的总人数;r∈[1,K],K为与失真视频j对应的目标局部视频区域数量;
分别计算与所述失真视频j对应的各目标局部视频区域的局部质量分数构成质量分数集合;
分别计算与各所述测试全景视频对应的所述质量分数集合作为所述测试全景视频序列中各测试全景视频的视频局部区域评分。
CN201610922177.6A 2016-10-21 2016-10-21 全景视频的质量测试方法和装置 Pending CN106657980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610922177.6A CN106657980A (zh) 2016-10-21 2016-10-21 全景视频的质量测试方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610922177.6A CN106657980A (zh) 2016-10-21 2016-10-21 全景视频的质量测试方法和装置

Publications (1)

Publication Number Publication Date
CN106657980A true CN106657980A (zh) 2017-05-10

Family

ID=58855742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610922177.6A Pending CN106657980A (zh) 2016-10-21 2016-10-21 全景视频的质量测试方法和装置

Country Status (1)

Country Link
CN (1) CN106657980A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959849A (zh) * 2017-12-12 2018-04-24 广州华多网络科技有限公司 直播视频质量评测方法、存储介质以及终端
CN108271020A (zh) * 2018-04-24 2018-07-10 福州大学 一种基于视觉注意力模型的全景视频质量评价方法
CN110121080A (zh) * 2018-02-05 2019-08-13 北京大学 虚拟现实视频传输和下载播放的方法、系统及计算机设备
CN111953959A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 Vr视频质量评估方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783971A (zh) * 2010-01-26 2010-07-21 深圳市融创天下科技发展有限公司 一种视频质量主观测试方法
US20120206610A1 (en) * 2011-02-11 2012-08-16 Beibei Wang Video quality monitoring
WO2013075318A1 (en) * 2011-11-24 2013-05-30 Thomson Licensing Video quality measurement
CN103297801A (zh) * 2013-06-09 2013-09-11 浙江理工大学 一种针对视频会议的无参考视频质量评价方法
CN103686145A (zh) * 2013-11-15 2014-03-26 悉地(北京)国际建筑设计顾问有限公司 一种确定图像质量的方法和装置
CN104023226A (zh) * 2014-05-28 2014-09-03 北京邮电大学 一种基于hvs的新型视频质量评价方法
US20150382083A1 (en) * 2013-03-06 2015-12-31 Thomson Licensing Pictorial summary for video
CN105915892A (zh) * 2016-05-06 2016-08-31 乐视控股(北京)有限公司 全景视频质量判断方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783971A (zh) * 2010-01-26 2010-07-21 深圳市融创天下科技发展有限公司 一种视频质量主观测试方法
US20120206610A1 (en) * 2011-02-11 2012-08-16 Beibei Wang Video quality monitoring
WO2013075318A1 (en) * 2011-11-24 2013-05-30 Thomson Licensing Video quality measurement
US20150382083A1 (en) * 2013-03-06 2015-12-31 Thomson Licensing Pictorial summary for video
CN103297801A (zh) * 2013-06-09 2013-09-11 浙江理工大学 一种针对视频会议的无参考视频质量评价方法
CN103686145A (zh) * 2013-11-15 2014-03-26 悉地(北京)国际建筑设计顾问有限公司 一种确定图像质量的方法和装置
CN104023226A (zh) * 2014-05-28 2014-09-03 北京邮电大学 一种基于hvs的新型视频质量评价方法
CN105915892A (zh) * 2016-05-06 2016-08-31 乐视控股(北京)有限公司 全景视频质量判断方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈伟静: "基于局部不变特征的图像质量评价", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈忱: "视频及图像质量评价算法的研究及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107959849A (zh) * 2017-12-12 2018-04-24 广州华多网络科技有限公司 直播视频质量评测方法、存储介质以及终端
CN110121080A (zh) * 2018-02-05 2019-08-13 北京大学 虚拟现实视频传输和下载播放的方法、系统及计算机设备
CN108271020A (zh) * 2018-04-24 2018-07-10 福州大学 一种基于视觉注意力模型的全景视频质量评价方法
CN108271020B (zh) * 2018-04-24 2019-08-09 福州大学 一种基于视觉注意力模型的全景视频质量评价方法
CN111953959A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 Vr视频质量评估方法及装置

Similar Documents

Publication Publication Date Title
US11559202B2 (en) System for integrally measuring clinical parameters of visual function
KR101804587B1 (ko) 중심시 주시 동안 주변시를 트레이닝 및/또는 테스트하는 시스템 및 그 방법
Velloso et al. Qualitative activity recognition of weight lifting exercises
CN106657980A (zh) 全景视频的质量测试方法和装置
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
US20190347956A1 (en) A system and method to analyze and improve sports performance using monitoring devices
KR101501297B1 (ko) 단일형 시각 및 협응 시험 센터
US20130280678A1 (en) Aircrew training system
WO2011086466A1 (en) Apparatus and method for detecting and classifying so as to be able to evaluate and self-evaluate exercises
KR101031304B1 (ko) 전자매체를 기반으로 한 범용 학습 시스템 및 방법
US20120035498A1 (en) Apparatus and method for improving eye-hand coordination
CN103298527B (zh) 消费者可用测试套件
CN108171437A (zh) 一种心理学职业能力测评系统
Black et al. Can simple mobile phone applications provide reliable counts of respiratory rates in sick infants and children? An initial evaluation of three new applications
CN108055533A (zh) 一种针对全景视频的主观质量评价方法
CN110334620A (zh) 教学质量的评估方法、装置、存储介质及电子设备
Castillo-Segura et al. A cost-effective IoT learning environment for the training and assessment of surgical technical skills with visual learning analytics
JP6276836B1 (ja) 情報処理装置、情報処理方法およびシステム
CN105100791B (zh) 一种用于测量立体视觉舒适度的系统及方法
CN109451332A (zh) 一种用户属性标记方法、装置、计算机设备及介质
Miller et al. Comparison of a virtual game-day experience on varying devices
KR102095647B1 (ko) 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법
CN113095732A (zh) 一种现实场景职业测评方法
Mears Investigating the effectiveness of digital technology for elite athlete development and support from athlete, coach and support team perspectives: Final report for the IOC Olympic Studies Centre Advanced Olympic Research Grant Programme 2018/2019 Award
Obicci Political decentralization and service delivery: Evidence from Agago District, Uganda

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510