CN101248679B - 视频通信品质推测装置、方法 - Google Patents

视频通信品质推测装置、方法 Download PDF

Info

Publication number
CN101248679B
CN101248679B CN200680030787XA CN200680030787A CN101248679B CN 101248679 B CN101248679 B CN 101248679B CN 200680030787X A CN200680030787X A CN 200680030787XA CN 200680030787 A CN200680030787 A CN 200680030787A CN 101248679 B CN101248679 B CN 101248679B
Authority
CN
China
Prior art keywords
delay
time
deterioration amount
quality deterioration
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200680030787XA
Other languages
English (en)
Other versions
CN101248679A (zh
Inventor
林孝典
山岸和久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN101248679A publication Critical patent/CN101248679A/zh
Application granted granted Critical
Publication of CN101248679B publication Critical patent/CN101248679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

由多模式品质推测部(11)根据声音品质评价值(21A)与视频品质评价值(21B)，推测多模式品质值(23A)，同时，由延迟品质恶化量推测部(12)根据声音延迟时间(22A)与视频延迟时间(22B)，推测延迟品质恶化量(23B)，由视频通信品质推测部(13)根据多模式品质值(23A)与延迟品质恶化量(23B)，推测视频通信品质值(24)。

Description

视频通信品质推测装置、方法
技术领域
本发明涉及通信品质推测技术，尤其涉及对与复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测的技术。
背景技术
以前，伴随对因特网的访问线路的高速、宽带化，例如电视电话/会议等视频通信服务、协作服务(collaboration service)等、复合了声音媒体和视频媒体的双向多模式服务引人注目。
由于这种服务中利用的因特网是未必保证通信品质的网络，所以在执行复合声音媒体和视频媒体的通信的情况下，若连结用户终端间的通信路径的可使用频带窄，或网络堵塞，则对于声音和视频而言，在接收侧终端用户实际感受的用户体感品质会恶化。
具体而言，若对声音施加品质恶化，则感觉为中断、噪声、响应的延迟等，若对视频施加品质恶化，则感觉为模糊、污点、马赛克状的失真、不灵活感、响应的延迟等现象。
另外，由于声音媒体和视频媒体信号发送时的处理时间、网络中的延迟时间、以及声音媒体和视频媒体信号接收时的处理时间引起的延迟时间的每一个，有时感觉声音媒体与视频媒体的同步引起的响应延迟、即视频通信服务响应的延迟，或因响应时间的延迟错位，感觉声音媒体与视频媒体的同步错位。此时，作为声音媒体和视频媒体信号发送时的处理时间，存在声音媒体和视频媒体的编码处理时间或发送缓冲时间等。另外，作为网络中的延迟时间，存在构成网络的路由器等的处理时间、通信者间的网络的物理距离等。另外，作为声音媒体和视频媒体信号接收时的处理时间，存在接收缓冲时间、声音媒体和视频媒体的解码时间等。
为了高品质地提供这种服务，服务提供之前的品质设计或服务开始后的品质管理变得重要，因此，需要可适当表现用户享受的品质、简便且有效的品质评价技术的开发。
就推测声音品质的技术而言，例如在国际标准化机构ITU-T(International Telecommunication Union TelecommunicationStandardization Sector)建议P.862中，规定有声音品质客观评价尺度PESQ(Perceptual Evaluation of Speech Quality)。另一方面，就推测视频品质的技术而言，在ITU-T建议J.144等中记载了视频品质客观评价尺度，之后还由VQEG(Video Quality Experts Group)等继续进行议论(例如参照www.its.bldrdoc.gov/vqeg/等)。
这些客观品质评价技术可在某规定条件下，以与主观品质的统计模糊相同程度的推测误差来推测主观品质。在这种背景下，发明者们提议如下方案，将电视电话/会议等双向多模式服务作为对象，求出由上述客观品质评价尺度或主观品质评价实验求出的、声音媒体或视频媒体等个别媒体的品质、与考虑了各媒体的传送延迟时间引起的影响后的多模式服务的综合品质评价尺度(例如参照特开2005-244321号公报等)。
在电视电话/会议等双向多模式服务的情况下，各媒体从输入至输出的绝对延迟时间、或媒体间的相对延迟时间的错位引起的同步错位也可构成使服务品质恶化的原因。但是，在所述现有技术中，存在未将这些品质因素作为综合考虑的品质评价尺度进行考虑的问题。尤其是媒体间的同步错位引起的品质恶化程度虽然受编码视频媒体得到的各帧的帧速率左右，但现有技术中，由于帧速率为标准值30[帧/sec]，假设恒定，所以在帧速率与这种标准值不同的情况下，存在综合品质的推测精度降低的问题。
例如，在帧速率低的情况下，即便声音媒体与视频媒体中产生相对的错位，也不会感觉大的品质恶化，但伴随着帧速率变高，该品质恶化变得显著。如使用近年来的移动电话的电视电话服务等中所示，存在大量帧速率不能实现30[帧/sec]的系统，还考虑帧速率变化后求出综合的多模式品质是非常重要的课题。
另外，作为关联性较高的技术，提议例如根据声音品质与视频品质求出综合品质的方法(例如参照特开平8-289333号公报、特表2004-523978号公报等)，但前提是电视广播等单向声音媒体和视频媒体的广播或配送服务，由于未考虑双向性、即延迟时间或媒体间的同步错位，所以不能解决上述问题。另外，提议考虑声音媒体与视频媒体的品质与两个媒体间的同步错位后推测综合品质的方案(例如参照特表2002-519960号公报等)，这些也未考虑双向性、即延迟时间，所以不能解决上述问题。
并且，还提议用于考虑声音媒体与视频媒体的品质与延迟时间和同步错位后求出综合品质的构架(例如参照特开2006-128972号公报等)，但如上所述，存在不能考虑例如媒体间同步错位的影响与帧速率降低的相互作用等问题。另一方面，提议声音或视频信号的品质评价系统(例如参照特开2001-298428号公报等)，根本未谈及如何处理用户享受的声音或视频品质来导出综合品质。
发明内容
本发明用于解决上述课题，其目的在于提供一种可以以充分的精度对与复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测的视频通信品质推测装置、方法和程序。
为了实现这种目的，本发明涉及的视频通信品质推测装置，其对与在经网络连接的通信终端间、复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测，其中具备：多模式品质推测部，其根据声音媒体品质评价值和视频媒体品质评价值，推测多模式品质值，其中声音媒体品质评价值是针对由通信终端输出的声音媒体的品质评价值，视频媒体品质评价值是针对由通信终端输出的视频媒体的品质评价值，多模式品质值是复合了声音媒体与视频媒体的复合媒体的品质评价值；延迟品质恶化量推测部，其根据声音延迟时间和视频延迟时间，通过预先设定于存储部内的延迟品质恶化推测模型来推测由声音媒体与视频媒体的延迟产生的延迟品质恶化量，其中声音延迟时间是声音媒体在通信终端间输入至输出的延迟时间，视频延迟时间是视频媒体在通信终端间输入至输出的延迟时间；和视频通信品质推测部，其根据由多模式品质推测部推测出的多模式品质值与由延迟品质恶化量推测部推测出的所述延迟品质恶化量，推测所述视频通信的品质。
另外，本发明涉及的视频通信品质推测方法，其用于视频通信品质推测装置中，该视频通信品质推测装置对与在经网络连接的通信终端间、复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测，其中具备多模式品质推测步骤，利用多模式品质推测部，根据针对由通信终端输出的声音媒体的品质评价值、即声音媒体品质评价值、针对由通信终端输出的视频媒体的品质评价值、即视频媒体品质评价值，推测复合声音媒体与视频媒体的复合媒体的品质评价值、即多模式品质值；绝对延迟品质恶化量推测步骤，利用延迟品质恶化量推测部，根据声音媒体在通信终端间输入至输出的延迟时间、即声音延迟时间、和视频媒体在通信终端间输入至输出的延迟时间、即视频延迟时间，通过预先设定于存储部内的延迟品质恶化推测模型来推测由声音媒体与视频媒体的延迟产生的延迟品质恶化量；和视频通信品质推测步骤，利用视频通信品质推测部，根据由多模式品质推测部推测的多模式品质值与由延迟品质恶化量推测部推测的延迟品质恶化量，推测视频通信的品质。
本发明涉及的程序使对与在经网络连接的通信终端间、复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测之视频通信品质推测装置的计算机执行如下步骤：多模式品质推测步骤，利用多模式品质推测部，根据针对由通信终端输出的声音媒体的品质评价值、即声音媒体品质评价值、针对由通信终端输出的对视频媒体的品质评价值、即视频媒体品质评价值，推测复合声音媒体与视频媒体的复合媒体的品质评价值、即多模式品质值；绝对延迟品质恶化量推测步骤，利用延迟品质恶化量推测部，根据声音媒体在通信终端间输入至输出的延迟时间、即声音延迟时间、和视频媒体在通信终端间输入至输出的延迟时间、即视频延迟时间，推测由声音媒体与视频媒体的延迟产生的延迟品质恶化量；和视频通信品质推测步骤，利用视频通信品质推测部，根据由多模式品质推测部推测的多模式品质值与由延迟品质恶化量推测部推测的延迟品质恶化量，推测视频通信的品质。
根据本发明，由多模式品质推测部根据声音品质评价值与视频品质评价值，推测多模式品质值，同时，由延迟品质恶化量推测部根据声音延迟时间与视频延迟时间，推测延迟品质恶化量，由视频通信品质推测部根据多模式品质值与延迟品质恶化量，推测视频通信品质值。因此，可推测考虑了声音媒体或视频媒体的延迟引起的品质恶化后的视频通信品质值，可以充分的精度推测涉及复合声音媒体和视频媒体后双向交换的视频通信
附图说明
图1是表示本发明第1实施方式的视频通信品质推测装置的构成的框图。
图2是表示本发明第1实施方式的视频通信品质推测装置的整体处理动作的流程图。
图3是表示本发明第1实施方式的视频通信品质推测装置的多模式品质推测处理的流程图。
图4是多模式品质推测模型的特性例。
图5是表示本发明第1实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。
图6是延迟品质恶化量推测模型的特性例。
图7是表示本发明第1实施方式的视频通信品质推测装置的视频通信品质推测处理的流程图。
图8是视频通信品质推测模型的特性例。
图9是表示本实施方式中得到的视频通信品质推测值的推测结果的曲线图。
图10是表示本发明第2实施方式的视频通信品质推测装置的主要部分的构成的说明图。
图11是表示本发明第2实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。
图12是绝对延迟品质恶化量推测的特性例。
图13是相对延迟品质恶化量推测的特性例。
图14是延迟品质恶化量推测的特性例。
图15是表示本发明第3实施方式的视频通信品质推测装置的主要部分的构成的说明图。
图16是表示本发明第3实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。
图17是相对延迟品质恶化量推测的特性例。
图18是表示本发明第4实施方式的视频通信品质推测装置的主要部分的构成的说明图。
图19是表示本发明第4实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。
图20是相对延迟品质恶化量推测的特性例。
图21是斜率系数推测的特性例。
图22是表示本发明第5实施方式的视频通信品质推测装置的主要部分的构成的说明图。
图23是表示本发明第5实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。
图24是相对延迟品质恶化量推测的特性例。
图25是斜率系数推测的特性例。
图26是本发明第6实施方式的视频通信品质推测装置中使用的绝对延迟品质恶化量推测模型的特性例。
图27是本发明第7实施方式的视频通信品质推测装置中使用的相对延迟品质恶化量推测模型的特性例。
图28是本发明第7实施方式的视频通信品质推测装置中使用的相对延迟品质恶化量推测模型的另一特性例。
图29是本发明第7实施方式的视频通信品质推测装置中使用的相对延迟品质恶化量推测模型的另一特性例。
具体实施方式
下面，参照附图来说明本发明的实施方式。
首先，参照图1，说明本发明第1实施方式的视频通信品质推测装置。图1是表示本发明第1实施方式的视频通信品质推测装置的构成的框图。
视频通信品质推测装置1由对所输入的信息进行运算处理后输出的信息处理装置构成，对在与经网络连接的通信终端间复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测。
在该视频通信品质推测装置1中，作为主要功能部，设置多模式(multi-mortal)品质推测部11、延迟品质恶化量推测部12和视频通信品质推测部13。
本实施方式利用多模式品质推测部11，根据针对由通信终端输出的声音媒体对应的品质评价值、即声音媒体品质评价值21A、针对由通信终端输出的视频媒体对应的品质评价值、即视频媒体品质评价值21B，推测复合了声音媒体与视频媒体的复合媒体的品质评价值、即多模式品质值23A。
另外，利用延迟品质恶化量推测部12，根据声音媒体在通信终端间输入至输出的延迟时间、即声音延迟时间22A、和视频媒体在通信终端间输入至输出的延迟时间、即视频延迟时间22B，推测由声音媒体与视频媒体的延迟产生的延迟品质恶化量23B。
另外，利用视频通信品质推测部13，根据由多模式品质推测部11推测的多模式品质值23A与由延迟品质恶化量推测部12推测的延迟品质恶化量23B，推测视频通信品质值24。
下面，参照图1，详细说明视频通信品质推测装置1的各功能部。
多模式品质推测部11具有如下功能，即根据由通信终端输出的与声音媒体对应的品质评价值、即声音媒体品质评价值21A、针对由通信终端输出的视频媒体的品质评价值、即视频媒体品质评价值21B，推测复合了声音媒体与视频媒体的复合媒体的品质评价值、即多模式品质值23A。
在多模式品质推测部11中，作为主要功能部件，设置存储部11A与多模式品质计算部11B。
存储部11A具有如下功能，即事先存储表示声音品质评价值21A和视频品质评价值21B与多模式品质值23A的关系的多模式品质推测模型31。
多模式品质计算部11B具有如下功能，即根据存储部11A的多模式品质推测模型31，计算对应于声音品质评价值21A和视频品质评价值21B的多模式品质值23A。
声音品质评价值21A是当由一个通信终端接收从另一通信终端发送的声音媒体并再现时、用户对再现的声音媒体实际感受的用户体感品质。另外，视频品质评价值21B是当由一个通信终端接收从另一通信终端发送的视频媒体并再现时、用户对再现的视频媒体实际感受的用户体感品质。这些品质评价值可评价或推测实际执行的视频通信而得到。
延迟品质恶化量推测部12具有如下功能，即根据声音媒体在通信终端间输入至输出的延迟时间、即声音延迟时间22A、和视频媒体在通信终端间输入至输出的延迟时间、即视频延迟时间22B，推测由声音媒体与视频媒体的延迟产生的延迟品质恶化量23B。
在延迟品质恶化量推测部12中，作为主要功能部件，设置存储部12A与延迟品质恶化量计算部12B。
存储部12A具有如下功能，即事先存储表示声音延迟时间22A和视频延迟时间22B与延迟品质恶化量23B的关系的延迟品质恶化量推测模型32。
延迟品质恶化量计算部12B具有如下功能，即根据存储部12A的延迟品质恶化量推测模型32，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B。
声音延迟时间22A是声音媒体从一个通信终端输入起至由另一通信终端输出为止的延迟时间。视频延迟时间22B是视频媒体从一个通信终端输入起至由另一通信终端输出为止的延迟时间。
作为构成声音延迟时间22A、视频延迟时间22B的具体延迟时间，有声音媒体和视频媒体信号发送时的处理时间、网络中的延迟时间、以及声音媒体和视频媒体信号接收时的处理时间。此时，作为声音媒体和视频媒体信号发送时的处理时间，有声音媒体和视频媒体的编码处理时间或发送缓冲时间等。另外，作为网络中的延迟时间，存在构成网络的路由器等的处理时间、通信者间的网络的物理距离等。另外，作为声音媒体和视频媒体信号接收时的处理时间，存在接收缓冲时间、声音媒体和视频媒体的解码时间等。
在本实施方式中，利用试验，事先导出表示这些声音延迟时间22A和视频延迟时间22B与延迟品质恶化量23B的关系的延迟品质恶化量推测模型32，存储在存储部12A中，由延迟品质恶化量推测部12，根据存储部12A的延迟品质恶化量推测模型32，计算对应于新计测的声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B。
视频通信品质推测部13具有如下功能，即考虑由多模式品质推测部11推测出的多模式品质值23A与由延迟品质恶化量推测部12推测出的延迟品质恶化量23B的交互作用，推测由双向多模式服务实现的视频通信的品质值24。
在视频通信品质推测部13中，作为主要功能部件，设置存储部13A与视频通信品质计算部13B。
存储部13A具有如下功能，即事先存储表示多模式品质值23A和延迟品质恶化量23B与视频通信品质值24的关系的视频通信品质推测模型33。
视频通信品质计算部13B具有如下功能，即根据存储部13A的视频通信品质推测模型33，计算对应于多模式品质值23A和延迟品质恶化量23B的视频通信品质值24。
这些功能部中，存储各种运算处理数据或程序的存储部由存储器或硬盘等存储装置构成。另外，执行各种运算处理的运算处理部(计算机)由CPU及其外围电路构成，通过读入并执行上述存储部的程序(未图示)，使上述硬件与程序协同动作，实现各种功能部件。各功能部的存储部或运算处理部既可对每个功能部分别单独设置，也可由各功能部共用。
下面，详细说明本发明第1实施方式的视频通信品质推测装置的动作。
首先，参照图2，说明本发明第1实施方式的视频通信品质推测装置的视频通信品质推测动作。图2是表示本发明第1实施方式的视频通信品质推测装置的整体处理动作的流程图。
这里，说明作为与通信终端之间执行的任意视频通信相关的品质信息，设从外部装置、记录媒体、通信网络或键盘(未图示)输入声音品质评价值21A、视频品质评价值21B、声音延迟时间22A和视频延迟时间22B，根据这些品质信息来推测与该视频通信相关的品质值的情况。
视频通信品质推测装置1以表示品质信息的输入或执行开始的操作者操作为契机，开始图2的整体处理。
首先，视频通信品质推测装置1通过由多模式品质推测部11执行多模式品质推测步骤，推测对应于声音品质评价值21A和视频品质评价值21B的多模式品质值23A(步骤100)。
与之并行，视频通信品质推测装置1通过由延迟品质恶化量推测部12执行延迟品质恶化量推测步骤，推测对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B(步骤110)。
之后，视频通信品质推测装置1通过由视频通信品质推测部13执行视频通信品质推测步骤，推测对应于多模式品质值23A和延迟品质恶化量23B的视频通信品质值24(步骤120)，结束一连串的整体处理动作。
多模式品质推测步骤与延迟品质恶化量推测步骤既可如上所述并行执行，也可顺序执行这些步骤。
下面，参照图3，说明本发明第1实施方式的视频通信品质推测装置的多模式品质推测动作。图3是表示本发明第1实施方式的视频通信品质推测装置的多模式品质推测处理的流程图。
视频通信品质推测装置1的多模式品质推测部11在图2的步骤100中的多模式品质推测步骤中，执行图3的多模式品质推测处理。
首先，多模式品质推测部11由多模式品质计算部11B，取得从外部输入的声音品质评价值21A和视频品质评价值21B(步骤101)。接着，多模式品质计算部11B从存储部11A中读出表示多模式品质推测模型31的模型系数(步骤102)，根据该多模式品质推测模型31，计算对应于声音品质评价值21A和视频品质评价值21B的多模式品质值23A(步骤103)。
图4是多模式品质推测模型的特性例。在本发明中，将与复合声音媒体和视频媒体后双向交换的视频通信相关的品质中、未考虑视频媒体或声音媒体的延迟引起的品质恶化时的品质称为多模式品质值23A。
如图4所示，多模式品质值23A倾向于在将声音品质评价值MOSa设为恒定时，对应于视频品质评价值MOSv的增加而单调增加，在将视频品质评价值MOSv设为恒定时，对应于声音品质评价值MOSa的增加而单调增加。
因此，多模式品质值23A可用表示声音品质评价值21与视频品质评价值21B的交互作用的算式来表示。在将声音品质评价值21A设为MOSa、将视频品质评价值21B设为MOSv、将α1、β1、γ1、δ1分别设为常量、将多模式品质值23A设为MOSmm时，MOSmm可由下式(1)推测。
MOSmm＝α1·MOSa+β1·MOSv+γ1·MOSa·MOSv+δ1  …(1)
此时，多模式品质值23A为了用取数值1-5的标准MOS值(MeanOpinion Score：平均评价评点)表示，执行正规化处理。在将选择a、b中任一小的值的函数设为min(a，b)，将选择a、b中任一大的值的函数设为max(a，b)时，MOSmm可由下式(2)正规化。
MOSmm＝min｛5，max(MOSmm，1)}                    …(2)
之后，多模式品质计算部11B将计算出的多模式品质值23A输出到视频通信品质推测部13(步骤104)，结束一连串的多模式品质推测处理。
下面，参照图5，说明本发明第1实施方式的视频通信品质推测装置的延迟品质恶化量推测动作。图5是表示本发明第1实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。
视频通信品质推测装置1的延迟品质恶化量推测部12在图2的步骤110的延迟品质恶化量推测步骤中，执行图5的延迟品质恶化量推测处理。
首先，延迟品质恶化量推测部12由延迟品质恶化量计算部12B，取得从外部输入的声音延迟时间22A与视频延迟时间22B(步骤111)。接着，延迟品质恶化量计算部12B从存储部12A中读出表示延迟品质恶化量推测模型32的模型系数(步骤112)，根据该延迟品质恶化量推测模型32，计算对应于声音延迟时间22A与视频延迟时间22B的延迟品质恶化量23B(步骤113)。
图6是延迟品质恶化量推测模型的特性例。在本发明中，将与复合了声音媒体和视频媒体后双向交换的视频通信相关的品质中、视频媒体或声音媒体的延迟引起的品质恶化量称为延迟品质恶化量23B。
如图6所示，在设声音延迟时间Da恒定的情况下，延迟品质恶化量Dav具有凸型特性，即对应于视频延迟时间Dv的增加而单调增加，达到规定的最大值，对应于视频延迟时间Dv的进一步增加而单调减少。
另外，在设视频延迟时间Dv恒定的情况下，延迟品质恶化量Dav具有凸型特性，即对应于声音延迟时间Da的增加而单调增加，达到规定的最大值，对应于声音延迟时间Da的进一步增加而单调减少。
因此，延迟品质恶化量23B可由将声音延迟时间23A与视频延迟时间23B设为变量的函数式表示。在设声音延迟时间22A为Da，设视频延迟时间22B为Dv，设表示声音延迟时间22A和视频延迟时间22B与延迟品质恶化量23B的对应关系的函数式为f(Da，Dv)，设选择a、b中任一小的值的函数为min(a，b)，设选择a、b中任一大的值的函数为max(a，b)，设延迟品质恶化量23B为Dav的情况下，在MOS值的范围1-5中正规化的Dav可由下式(3)推测。
Dav＝min[5，max{f(Da，Dv)，1}]              …(3)
之后，延迟品质恶化量计算部12B将计算出的延迟品质恶化量23B输出到视频通信品质推测部13(步骤114)，结束一连串的延迟品质恶化量推测处理。
下面，参照图7，说明本发明第1实施方式的视频通信品质推测装置的多模式品质推测动作。图7是表示本发明第1实施方式的视频通信品质推测装置的视频通信品质推测处理的流程图。
视频通信品质推测装置1的视频通信品质推测部13在图2的步骤120的视频通信品质推测步骤中，执行图7的视频通信品质推测处理。
首先，视频通信品质推测部13由视频通信品质计算部13B，取得由多模式品质推测部11推测出的多模式品质值23A与由延迟品质恶化量推测部12推测出的延迟品质恶化量23B(步骤121)。接着，视频通信品质计算部13B从存储部13A中读出表示视频通信品质推测模型33的模型系数(步骤122)，根据该视频通信品质推测模型33，计算对应于多模式品质值23A和延迟品质恶化量23B的视频通信品质值24(步骤123)。
图8是视频通信品质推测模型的特性例。在本发明中，将与复合声音媒体和视频媒体后双向交换的视频通信相关的品质中、考虑了视频媒体或声音媒体的延迟引起的品质恶化量的品质称为视频通信品质值24。
如图8所示，视频通信品质值MOSall具有如下倾向，即在设多模式品质值MOSmm恒定的情况下，对应于延迟品质恶化量Dav的增加而单调减少，在设延迟品质恶化量Dav恒定的情况下，对应于多模式品质值MOSmm的增加而单调增加。
因此，视频通信品质值24可由表示多模式品质值23A与延迟品质恶化量23B的交互作用的算式来表示。在将多模式品质值23A设为MOSmm，将延迟品质恶化量23B设为Dav，将α2、β2、γ2、δ2分别设为常量、将视频通信品质值24设为MOSall时，MOSall可由下式(4)推测。
MOSall＝α2·MOSmm+β2·Dav+γ2·MOSmm·Dav+δ2  …(4)
此时，视频通信品质值24为了以取数值1-5的标准MOS值表示，执行正规化处理。在将选择a、b中任一小的值的函数设为min(a，b)，将选择a、b中任一大的值的函数设为max(a，b)时，MOSall可由下式(5)正规化。
MOSall＝min{5，max(MOSall，1)}                   …(5)
之后，视频通信品质计算部13B将计算出的视频通信品质值24输出到装置外部、记录媒体、通信网络、存储部或显示画面(未图示)(步骤124)，结束一连串的视频通信品质推测处理。
这样，本实施方式由于可由多模式品质推测部11根据声音品质评价值21A与视频品质评价值21B，推测多模式品质值23A，并且由延迟品质恶化量推测部12根据声音延迟时间22A与视频延迟时间22B，推测延迟品质恶化量23B，由视频通信品质推测部13根据多模式品质值23A与延迟品质恶化量23B，推测视频通信品质值24，所以可推测声音媒体或视频媒体的单独媒体的品质评价值、与考虑了声音媒体或视频媒体的延迟引起的品质恶化后的视频通信品质值24，可以充分的精度推测与复合声音媒体和视频媒体后双向交换的视频通信相关的品质。
另外，延迟品质恶化量推测部12根据表示声音延迟时间和视频延迟时间与延迟品质恶化量的关系的延迟品质恶化量推测模型32，推测对应于声音延迟时间22A与视频延迟时间22B的延迟品质恶化量23B，所以可正确且容易地推测延迟品质恶化量23B。
图9是表示本实施方式中得到的视频通信品质推测值的推测结果的曲线图。图9中，横轴表示本实施方式中得到的视频通信品质推测值(MOS值)，纵轴表示对设为推测对象的视频通信实际意见评价的结果、即视频通信品质实测值(MOS值)。
将本实施方式中得到的视频通信品质推测值与实测值绘制在曲线的对角线上。此时，可知确定系数变为0.91，得到高的相关度。另外，实测值的95％信赖区间的平均值为0.31，相反，推测值的均方根(RMSE：RootMean Square Error)为0.16，可知实用上具有充分的推测精度。
另外，作为延迟品质恶化量推测模型32，在设声音延迟时间Da为恒定的情况下，具有凸型特性，即延迟品质恶化量Dav对应于视频延迟时间Dv的增加而单调增加，达到规定的最大值，对应于视频延迟时间Dv的进一步增加而单调减少，在视频延迟时间Dv恒定的情况下，具有凸型特性，即延迟品质恶化量Dav对应于声音延迟时间Da的增加而单调增加，达到规定的最大值，对应于声音延迟时间Da的进一步增加而单调减少，所以可正确且容易地推测与声音媒体或视频媒体的延迟引起的品质恶化相关的人类视觉特性和听觉特性所对应的品质恶化量。
下面，参照图10，说明本发明第2实施方式的视频通信品质推测装置。图10是表示本发明第2实施方式的视频通信品质推测装置的主要部分的构成的说明图，对与上述图1相同或同等部分附加相同符号。
在第1实施方式中，举例说明了延迟品质恶化量推测部12在推测对应于声音延迟时间22A与视频延迟时间22B的延迟品质恶化量23B时，根据表示声音延迟时间和视频延迟时间与延迟品质恶化量的关系的延迟品质恶化量推测模型32，直接推测延迟品质恶化量23B的情况。
在本实施方式中，举例说明根据声音延迟时间22A与视频延迟时间22B，求出表示声音媒体与视频媒体的绝对延迟引起的品质恶化的绝对延迟品质恶化量、与表示声音媒体与视频媒体的相对延迟引起的品质恶化的相对延迟品质恶化量，根据这些绝对延迟品质恶化量与相对延迟品质恶化量来间接推测延迟品质恶化量23B的情况。
本实施方式的视频通信品质推测装置1的构成与第1实施方式(参照图1)相比，仅延迟品质恶化量推测部12不同。其它构成与第1实施方式一样，这里省略详细说明。
如图10所示，在延迟品质恶化量推测部12中，作为主要功能部件，设置存储部12A、延迟品质恶化量计算部12B、绝对延迟品质恶化量计算部12C和相对延迟品质恶化量计算部12D。
存储部12A具有事先存储表示声音延迟时间22A与视频延迟时间22B的延迟时间和与绝对延迟品质恶化量26的关系的绝对延迟品质恶化量推测模型32A、和表示声音延迟时间22A与视频延迟时间22B的延迟时间差与相对延迟品质恶化量27的关系的相对延迟品质恶化量推测模型32B的功能。
绝对延迟品质恶化量计算部12C具有如下功能，即根据存储部12A的绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26。
相对延迟品质恶化量计算部12D具有如下功能，即根据存储部12A的相对延迟品质恶化量推测模型32B，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27。
延迟品质恶化量计算部12B具有如下功能，即根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B。
绝对延迟品质恶化量是因声音媒体与视频媒体的绝对延迟而产生的品质恶化量。相对延迟品质恶化量是因声音媒体与视频媒体之间的相对延迟而产生的品质恶化量。
在复合声音媒体和视频媒体后双向交换的视频通信中，当通信终端间交换声音媒体或视频媒体时，对应于通信终端间产生的绝对延迟，用户感知与这些媒体对应的品质恶化。在本实施方式中，将这种品质恶化量定义为绝对延迟品质恶化量26，根据表示伴随声音延迟时间与视频延迟时间的延迟时间和的增加、绝对延迟品质恶化量单调增加的特性之绝对延迟品质恶化量推测模型32A，由绝对延迟品质恶化量计算部12C推测绝对延迟品质恶化量26。
另外，在复合声音媒体和视频媒体后双向交换的视频通信中，当通信终端间交换声音媒体或视频媒体时，对应于通信终端间产生的相对延迟、即媒体间的同步错位(再现定时的错位)，用户感知与这些媒体对应的品质恶化。在本实施方式中，将这种品质恶化量定义为相对延迟品质恶化量27，根据表示伴随声音延迟时间与视频延迟时间的延迟时间差的增加、相对延迟品质恶化量单调增加的特性之相对延迟品质恶化量推测模型32B，由相对延迟品质恶化量计算部12D推测相对延迟品质恶化量27。
这些功能部中，存储各种运算处理数据或程序的存储部由存储器或硬件等存储装置构成。另外，执行各种运算处理的运算处理部(计算机)由CPU及其外围电路构成，通过读入并执行上述存储部的程序(未图示)，使上述硬件与程序协同动作，实现各种功能部件。各功能部的存储部或运算处理部既可对每个功能部分别单独设置，也可由各功能部共用。
下面，参照图11，详细说明本发明第2实施方式的视频通信品质推测装置的动作中的延迟品质恶化量推测动作。图11是表示本发明第2实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。本实施方式的视频通信品质推测装置1的动作与第1实施方式相比，仅延迟品质恶化量推测动作不同。其它处理动作与第1实施方式一样，这里省略详细说明。
视频通信品质推测装置1的延迟品质恶化量推测部12在图2的步骤110中的延迟品质恶化量推测步骤中，执行图11的延迟品质恶化量推测处理。
首先，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，取得从外部输入的声音延迟时间22A与视频延迟时间22B(步骤211)。接着，延迟品质恶化量推测部12利用绝对延迟品质恶化量计算部12C，从存储部12A中读出表示绝对延迟品质恶化量推测模型32A的模型系数(步骤212)，根据该绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26(步骤213)。
图12是绝对延迟品质恶化量推测的特性例。在本发明中，将与复合声音媒体和视频媒体后双向交换的视频通信相关的品质中、对应于声音延迟时间22A与视频延迟时间22B的延迟时间和变化的品质恶化分量称为绝对延迟品质恶化量26。
如图12所示，绝对延迟品质恶化量26具有伴随着声音延迟时间Da与视频延迟时间Dv的延迟时间和Dr的增加而单调增加的倾向。
因此，绝对延迟品质恶化量26可由例如将声音延迟时间22A与视频延迟时间22B的延迟时间和设为变量的线性函数式表示。在将声音延迟时间22A设为Da、将视频延迟时间22B设为Dv、将延迟时间和设为Dr的情况下，Dr由下式(6)求出。
Dr＝Da+Dv             …(6)
另外，在分别将α3、β3设为常量、将绝对延迟品质恶化量26设为R(Dr)的情况下，R(Dr)可由下式(7)推测。
R(Dr)＝α3·Dr+β3    …(7)
另外，延迟品质恶化量推测部12利用相对延迟品质恶化量计算部12D，从存储部12A中读出表示相对延迟品质恶化量推测模型32B的模型系数(步骤214)，根据该相对延迟品质恶化量推测模型32B，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27(步骤215)。
图13是相对延迟品质恶化量推测的特性例。在本发明中，将与复合声音媒体和视频媒体后双向交换的视频通信相关的品质中、对应于声音延迟时间22A与视频延迟时间22B的延迟时间差变化的品质恶化分量称为相对延迟品质恶化量27。
如图13所示，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前表示零、伴随延迟时间差Ds的进一步增加而单调减少的倾向。
因此，相对延迟品质恶化量27可由例如将声音延迟时间22A与视频延迟时间22B的延迟时间差设为变量的线性函数式表示。在将声音延迟时间22A设为Da、将视频延迟时间22B设为Dv、将延迟时间差设为Ds的情况下，Ds由下式(8)求出。
Ds＝Da-Dv                     …(8)
另外，在分别将α4、β4设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(9)推测。
S(Ds)＝min{α4(Ds-β4),0}    …(9)
接着，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B(步骤216)。
图14是延迟品质恶化量推测的特性例。如图14所示，延迟品质恶化量23B具有伴随着绝对延迟品质恶化量R(Dr)与相对延迟品质恶化量S(Ds)的和的增加而单调增加的倾向。
因此，延迟品质恶化量23B可由例如绝对延迟品质恶化量R(Dr)与相对延迟品质恶化量S(Ds)的和表示。在将绝对延迟品质恶化量26设为R(Dr)、将延迟品质恶化量23B设为Dav、将选择a、b中任一小的值的函数设为min(a，b)、将选择a、b中任一大的值的函数设为max(a，b)时，在MOS值的范围1-5中正规化的Dav可由下式(10)求出。
Dav＝min[5，max{R(Dr)+S(Ds),1}]  …(10)
之后，延迟品质恶化量计算部12B将计算出的延迟品质恶化量23B输出到视频通信品质推测部13(步骤217)，结束一连串的延迟品质恶化量推测处理。
这样，本实施方式由于可根据声音延迟时间22A与视频延迟时间22B，求出表示基于声音媒体与视频媒体的绝对延迟的品质恶化的绝对延迟品质恶化量、和表示基于声音媒体与视频媒体的相对延迟的品质恶化的相对延迟品质恶化量，根据这些绝对延迟品质恶化量与相对延迟品质恶化量，间接地推测延迟品质恶化量23B，所以可以极简单的推测模型来推测对应于声音延迟时间22A与视频延迟时间22B的延迟品质恶化量23B，削减视频通信品质推测所需的处理负荷或处理时间。
另外，在本实施方式中，由于由绝对延迟品质恶化量计算部12C根据伴随着声音延迟时间与视频延迟时间的延迟时间和的增加、绝对延迟品质恶化量单调增加的绝对延迟品质恶化特性，推测对应于声音延迟时间与视频延迟时间的延迟时间和的绝对延迟品质恶化量，所以可以简单的处理高精度地推测考虑了感知从各媒体的输入至输出的绝对延迟引起的视频通信品质恶化等、人类的感知特性的绝对延迟品质恶化量。
另外，在本实施方式中，由于由相对延迟品质恶化量计算部12D根据伴随着声音延迟时间与视频延迟时间的延迟时间差的增加、相对延迟品质恶化量单调减少的相对延迟品质恶化特性，推测对应于声音延迟时间与视频延迟时间的延迟时间差的绝对延迟品质恶化量，所以可以简单的处理高精度地推测考虑了感知媒体间的相对延迟时间错位、即同步错位引起的视频通信品质恶化等、人类的感知特性的相对延迟品质恶化量。
下面，参照图15，说明本发明第3实施方式的视频通信品质推测装置。图15是表示本发明第3实施方式的视频通信品质推测装置的主要部分的构成的说明图，对与上述图10相同或同等部分附加相同符号。
在第2实施方式中，举例说明了根据1个相对延迟品质恶化量推测模型32B，求出对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27的情况。
本实施方式说明根据声音延迟时间22A与视频延迟时间22B的大小关系，选择相对延迟品质恶化量27的推测中使用的相对延迟品质恶化量推测模型的情况。
本实施方式的视频通信品质推测装置1的构成与第2实施方式(参照图10)相比，仅延迟品质恶化量推测部12的存储部12A与相对延迟品质恶化量计算部12D不同。其它构成与第2实施方式一样，这里省略详细说明。
如图15所示，在延迟品质恶化量推测部12中，作为主要功能部件，设置存储部12A、延迟品质恶化量计算部12B、绝对延迟品质恶化量计算部12C和相对延迟品质恶化量计算部12D。
存储部12A具有如下功能，即事先存储表示声音延迟时间22A与视频延迟时间22B的延迟时间和与绝对延迟品质恶化量26的关系的绝对延迟品质恶化量推测模型32A、和对应于声音延迟时间22A与视频延迟时间22B的大小关系的多个不同的相对延迟品质恶化量推测模型32B、32C。
绝对延迟品质恶化量计算部12C具有如下功能，即根据存储部12A的绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26。
相对延迟品质恶化量计算部12D具有如下功能，即从存储部12A中选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的相对延迟品质恶化量推测模型，和根据选择的相对延迟品质恶化量推测模型，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27。
延迟品质恶化量计算部12B具有如下功能，即根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B。
在复合了声音媒体和视频媒体后双向交换的视频通信中，当通信终端间交换声音媒体或视频媒体时，对应于通信终端间产生的相对延迟、即媒体间的同步错位(再现定时的错位)，用户感知对这些媒体的品质恶化。此时，具有用户对应于声音延迟时间与视频延迟时间的大小关系感知相对延迟品质恶化的程度变化等知觉特性。
在本实施方式中，对应于声音延迟时间与视频延迟时间的大小关系，选择相对延迟品质恶化量推测模型，根据选择到的相对延迟品质恶化量推测模型，由相对延迟品质恶化量计算部12D推测相对延迟品质恶化量27。
这些功能部中，存储各种运算处理数据或程序的存储部由存储器或硬件等存储装置构成。另外，执行各种运算处理的运算处理部(计算机)由CPU与其外围电路构成，通过读入并执行上述存储部的程序(未图示)，使上述硬件与程序协同动作，实现各种功能部件。各功能部的存储部或运算处理部既可对每个功能部分别单独设置，也可由各功能部共用。
下面，参照图16，详细说明本发明第3实施方式的视频通信品质推测装置的动作中的延迟品质恶化量推测动作。图16是表示本发明第3实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。本实施方式的视频通信品质推测装置1的动作与第2实施方式相比，仅延迟品质恶化量推测动作不同。其它处理动作与第2实施方式一样，这里省略详细说明。
视频通信品质推测装置1的延迟品质恶化量推测部12在图2的步骤110中的延迟品质恶化量推测步骤中，执行图16的延迟品质恶化量推测处理。
首先，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，取得从外部输入的声音延迟时间22A与视频延迟时间22B(步骤311)。接着，延迟品质恶化量推测部12利用绝对延迟品质恶化量计算部12C，从存储部12A中读出表示绝对延迟品质恶化量推测模型32A的模型系数(步骤312)，根据该绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26(步骤313)。这些步骤311-313与上述图11的步骤211-213相同，这里省略详细说明。
另外，延迟品质恶化量推测部12利用相对延迟品质恶化量计算部12D，选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的相对延迟品质恶化量推测模型(步骤314)。之后，从存储部12A中读出表示选择到的相对延迟品质恶化量推测模型的模型系数(步骤315)，根据该相对延迟品质恶化量推测模型，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27(步骤316)。
图17是相对延迟品质恶化量推测的特性例。在本实施方式中，用户感知的相对延迟品质恶化特性对应于声音延迟时间22A与视频延迟时间22的大小关系、这里为声音延迟时间22A是比视频延迟时间22B大还是小、即延迟时间差Ds的正负，事先在存储部12A中存储两个相对延迟品质恶化量推测模型32B、32C。其中，相对延迟品质恶化量推测模型32B适用于声音延迟时间22A比视频延迟时间22B大或相等的情况，相对延迟品质恶化量推测模型32C适用于声音延迟时间22A比视频延迟时间22B小的情况。
如图17所示，在声音延迟时间22A比视频延迟时间22B大或相等的情况下，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前表示零、伴随延迟时间差Ds的进一步增加而单调减少的倾向。另外，在声音延迟时间22A比视频延迟时间22B小的情况下，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前表示零、伴随延迟时间差Ds的进一步减少而单调减少的倾向。
因此，在声音延迟时间22A比视频延迟时间22B大或相等的情况下，相对延迟品质恶化量27可由例如将声音延迟时间22A与视频延迟时间22B的延迟时间差设为变量的线性函数式表示。在将声音延迟时间22A与视频延迟时间22B的延迟时间差设为Ds(＝Da-Dv)、将α5、β5设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(11)推测。
S(Ds)＝min{α5(Ds-β5)，0} when Ds≥0  …(11)
同样，在声音延迟时间22A比视频延迟时间22B小的情况下，相对延迟品质恶化量27可由例如将声音延迟时间22A与视频延迟时间22B的延迟时间差设为变量的线性函数式表示。在将声音延迟时间22A与视频延迟时间22B的延迟时间差设为Ds(＝Da-Dv)、将α6、β6设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(12)推测。
S(Ds)＝min{α6(Ds-β6)，0}when Ds＜0    …(12)
接着，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B(步骤317)。该步骤317与上述图11的步骤216相同，这里省略详细说明。
之后，延迟品质恶化量计算部12B将计算出的延迟品质恶化量23B输出到视频通信品质推测部13(步骤318)，结束一连串的延迟品质恶化量推测处理。
这样，本实施方式由于可由存储部12A存储多个对应于声音延迟时间22A与视频延迟时间22B的大小关系的相对延迟品质恶化量推测模型32B、32C，利用相对延迟品质恶化量计算部12D，选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的相对延迟品质恶化量推测模型，并根据选择到的相对延迟品质恶化量推测模型，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27，所以可以简单的处理高精度地推测考虑了对应于声音延迟时间与视频延迟时间的大小关系来感知相对延迟品质恶化的程度变化等、人类的感知特性的相对延迟品质恶化量。
通常，人类的感知特性具有声音媒体比视频媒体延迟再现的情况反比声音媒体比视频媒体先再现的情况更感到视频通信品质的恶化大的特性。因此，通过采用本实施方式，可推测考虑了这种感知特性的相对延迟品质恶化量，可以高精度推测视频通信品质。
下面，参照图18，说明本发明第4实施方式的视频通信品质推测装置。图18是表示本发明第4实施方式的视频通信品质推测装置的主要部分的构成的说明图，对与上述图10相同或同等部分附加相同符号。
在第2实施方式中，举例说明了根据相对延迟品质恶化量推测模型32B来求出对应于声音延迟时间22A与视频延迟时间22B的相对延迟品质恶化量27的情况。
在本实施方式中，说明除声音延迟时间22A与视频延迟时间22B外，还使用视频媒体的帧速率22C，求出对应于这些声音延迟时间22A、视频延迟时间22B和帧速率22C的相对延迟品质恶化量27的情况。所谓帧速率是构成视频媒体的帧的传送速度，由每单位时间发送的帧数来表示。
本实施方式的视频通信品质推测装置1的构成与第2实施方式(参照图10)相比，仅延迟品质恶化量推测部12的存储部12A与相对延迟品质恶化量计算部12D不同，新追加斜率系数计算部12E。其它构成与第2实施方式一样，这里省略详细说明。
如图18所示，在延迟品质恶化量推测部12中，作为主要功能部件，设置存储部12A、延迟品质恶化量计算部12B、绝对延迟品质恶化量计算部12C、相对延迟品质恶化量计算部12D、和斜率系数计算部12E。
存储部12A具有以下功能，即事先存储表示声音延迟时间22A与视频延迟时间22B的延迟时间和与绝对延迟品质恶化量26的关系的绝对延迟品质恶化量推测模型32A、表示声音延迟时间22A与视频延迟时间22B的延迟时间差与相对延迟品质恶化量27的关系的相对延迟品质恶化量推测模型32B、和表示帧速率22C与表示相对延迟品质恶化量推测模型32B的斜率的斜率系数之关系的斜率系数推测模型32D。
绝对延迟品质恶化量计算部12C具有如下功能，即根据存储部12A的绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26。
斜率系数计算部12E具有根据存储部12A的斜率系数推测模型32D、计算表示相对延迟品质恶化量推测模型32B的斜率的斜率系数的功能。
相对延迟品质恶化量计算部12D具有如下功能，即根据由斜率系数计算部12E计算出的斜率系数，确定存储部12A的相对延迟品质恶化量推测模型32B的斜率，和根据确定了斜率的相对延迟品质恶化量推测模型32B，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27。
延迟品质恶化量计算部12B具有如下功能，即根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B。
相对延迟品质恶化量的程度受视频媒体的帧速率左右。例如，在帧速率低的情况下，即便声音媒体与视频媒体中产生相对大的错位，也不会感觉大的品质恶化，但伴随着帧速率变高，该品质恶化变显著。另外，如使用近年来的移动电话的电视电话服务等中所示，存在大量帧速率不能实现30[帧/sec]的系统，还考虑帧速率变化后求出综合的多模式品质是非常重要的课题。
在本实施方式中，由相对延迟品质恶化量计算部12D，使用线性函数作为相对延迟品质恶化量推测模型32B，根据该线性函数的倾斜系数伴随着帧速率的增加而成对数函数变大的特性、即斜率系数推测模型32D，由斜率系数计算部12E计算对应于帧速率的线性函数的斜率系数。由此，可还考虑帧速率的变化来推测该视频通信的相对延迟品质恶化量。
这些功能部中，存储各种运算处理数据或程序的存储部由存储器或硬件等存储装置构成。另外，执行各种运算处理的运算处理部(计算机)由CPU与其外围电路构成，通过读入并执行上述存储部的程序(未图示)，使上述硬件与程序协同动作，实现各种功能部件。各功能部的存储部或运算处理部既可对每个功能部分别单独设置，也可由各功能部共用。
下面，参照图19，详细说明本发明第4实施方式的视频通信品质推测装置的动作中的延迟品质恶化量推测动作。图19是表示本发明第4实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。本实施方式的视频通信品质推测装置1的动作与第2实施方式相比，仅延迟品质恶化量推测动作不同。其它处理动作与第2实施方式一样，这里省略详细说明。
视频通信品质推测装置1的延迟品质恶化量推测部12在图2的步骤110中的延迟品质恶化量推测步骤中，执行图19的延迟品质恶化量推测处理。
首先，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，取得从外部输入的声音延迟时间22A、视频延迟时间22B和帧速率12C(步骤411)。接着，延迟品质恶化量推测部12利用绝对延迟品质恶化量计算部12C，从存储部12A中读出表示绝对延迟品质恶化量推测模型32A的模型系数(步骤412)，根据该绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26(步骤413)。这些步骤411-413与上述图11的步骤211-213一样，这里省略详细说明。
另外，延迟品质恶化量推测部12利用斜率系数计算部12E，从存储部12A中读出表示斜率系数推测模型32D的模型系数(步骤414)，根据该斜率系数推测模型32D，计算表示相对延迟品质恶化量推测模型32B的斜率的斜率系数(步骤415)。
图20是相对延迟品质恶化量推测的特性例。如图20所示，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前表示零、伴随延迟时间差Ds的进一步增加而单调减少的倾向。
另外，相对延迟品质恶化量推测模型32B的斜率α4具有对应于帧速率22C的下降而变平缓的倾向。
图21是斜率系数推测的特性例。如图21所示，相对延迟品质恶化量推测模型32B的斜率α4具有对应于帧速率22C的对数值增加而单调减少的倾向。
因此，斜率系数α4可由例如将帧速率22C的对数值设为变量的线性函数式表示。在将帧速率22C设为F、将其对数值设为log(F)、分别将α41、β41设为常量、将相对延迟品质恶化量推测模型32B的斜率系数设为α4的情况下，α4可由下式(13)求出。
α4＝α41·log(F)+α42    …(13)
接着，延迟品质恶化量推测部12利用相对延迟品质恶化量计算部12D，从存储部12A中读出表示相对延迟品质恶化量推测模型32B的模型系数(步骤416)，通过使该模型系数中包含由斜率系数计算部12E计算出的斜率系数α4，确定相对延迟品质恶化量推测模型32B的斜率(步骤417)。
之后，根据得到的相对延迟品质恶化量推测模型32B，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27(步骤418)。
接着，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，根据由绝对延迟品质恶化量计算部12C计算的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B(步骤419)。这些步骤418、419与上述图11的步骤215、216一样，这里省略详细说明。
之后，延迟品质恶化量计算部12B将计算的延迟品质恶化量23B输出到视频通信品质推测部13(步骤420)，结束一连串的延迟品质恶化量推测处理。
这样，本实施方式由于可使用线性函数作为相对延迟品质恶化量推测模型32B，利用斜率系数计算部12E，根据伴随着帧速率的增加、线性函数的斜率系数成对数函数变大的斜率系数推测模型，推测对应于帧速率的线性函数的斜率系数，并根据由该斜率系数确定的相对延迟品质恶化量推测模型32B，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27，所以可以简单的处理高精度地推测考虑了对应于视频媒体的帧速率来感知相对延迟品质恶化的程度变化等、人类的感知特性的相对延迟品质恶化量。
下面，参照图22，说明本发明第5实施方式的视频通信品质推测装置。图22是表示本发明第5实施方式的视频通信品质推测装置的主要部分的构成的说明图，对与上述图18相同或同等部分附加相同符号。
在第4实施方式中，举例说明如下情况，即利用根据视频媒体的帧速率22C计算的斜率系数，确定由线性函数构成的1个相对延迟品质恶化量推测模型32B的斜率，根据该确定的相对延迟品质恶化量推测模型32B，求出对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27。
在本实施方式中，说明根据声音延迟时间22A与视频延迟时间22B的大小关系，选择相对延迟品质恶化量27的推测中使用的相对延迟品质恶化量推测模型的情况。
本实施方式的视频通信品质推测装置1的构成与第2实施方式(参照图10)相比，仅延迟品质恶化量推测部12的存储部12A与相对延迟品质恶化量计算部12D不同。其它构成与第4实施方式一样，这里省略详细说明。
如图22所示，在延迟品质恶化量推测部12中，作为主要功能部件，设置存储部12A、延迟品质恶化量计算部12B、绝对延迟品质恶化量计算部12C、相对延迟品质恶化量计算部12D、和斜率系数计算部12E。
存储部12A具有以下功能，即事先存储表示声音延迟时间22A与视频延迟时间22B的延迟时间和与绝对延迟品质恶化量26的关系的绝对延迟品质恶化量推测模型32A、对应于声音延迟时间22A与视频延迟时间22B的大小关系的多个不同的相对延迟品质恶化量推测模型32B、32C、和对应于声音延迟时间22A与视频延迟时间22B的大小关系的多个不同的斜率系数推测模型32C、32D。
绝对延迟品质恶化量计算部12C具有如下功能，即根据存储部12A的绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26。
斜率系数计算部12E具有如下功能，即从存储部12A中选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的斜率系数推测模型，和根据选择的斜率系数推测模型32D，计算表示相对延迟品质恶化量推测模型32B的斜率的斜率系数。
相对延迟品质恶化量计算部12D具有如下功能，即从存储部12A中选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的相对延迟品质恶化量推测模型，和根据选择的相对延迟品质恶化量推测模型，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27。
延迟品质恶化量计算部12B具有如下功能，即根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B。
在复合声音媒体和视频媒体后双向交换的视频通信中，当通信终端间交换声音媒体或视频媒体时，对应于通信终端间产生的相对延迟、即媒体间的同步错位(再现定时的错位)，用户感知对这些媒体的品质恶化。此时，用户具有对应于声音延迟时间与视频延迟时间的大小关系来感知相对延迟品质恶化的程度变化等知觉特性。
在本实施方式中，分别对应于声音延迟时间与视频延迟时间的大小关系来选择斜率系数推测模型与相对延迟品质恶化量推测模型，并根据选择的斜率系数推测模型，由斜率系数计算部12E计算对应于视频媒体的帧速率的斜率系数，由该斜率系数来确定同样选择的相对延迟品质恶化量推测模型的斜率，根据该相对延迟品质恶化量推测模型，由相对延迟品质恶化量计算部12D来推测相对延迟品质恶化量27。
这些功能部中，存储各种运算处理数据或程序的存储部由存储器或硬件等存储装置构成。另外，执行各种运算处理的运算处理部(计算机)由CPU与其外围电路构成，通过读入并执行上述存储部的程序(未图示)，使上述硬件与程序协同动作，实现各种功能部件。各功能部的存储部或运算处理部既可对每个功能部分别单独设置，也可由各功能部共用。
下面，参照图23，详细说明本发明第5实施方式的视频通信品质推测装置的动作中的延迟品质恶化量推测动作。图23是表示本发明第5实施方式的视频通信品质推测装置的延迟品质恶化量推测处理的流程图。本实施方式的视频通信品质推测装置1的动作与第4实施方式相比，仅延迟品质恶化量推测动作不同。其它处理动作与第4实施方式一样，这里省略详细说明。
视频通信品质推测装置1的延迟品质恶化量推测部12在图2的步骤110中的延迟品质恶化量推测步骤中，执行图23的延迟品质恶化量推测处理。
首先，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，取得从外部输入的声音延迟时间22A、视频延迟时间22B和帧速率12C(步骤511)。接着，延迟品质恶化量推测部12利用绝对延迟品质恶化量计算部12C，从存储部12A中读出表示绝对延迟品质恶化量推测模型32A的模型系数(步骤5 12)，根据该绝对延迟品质恶化量推测模型32A，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26(步骤513)。这些步骤511-513与上述图11的步骤211-213一样，这里省略详细说明。
另外，延迟品质恶化量推测部12利用斜率系数计算部12E，选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的斜率系数推测模型(步骤514)。之后，从存储部12A中读出表示斜率系数推测模型32D的模型系数(步骤515)，根据该斜率系数推测模型32D，计算表示相对延迟品质恶化量推测模型32B的斜率的斜率系数(步骤516)。
图24是相对延迟品质恶化量推测的特性例。在本实施方式中，用户感知的相对延迟品质恶化特性对应于声音延迟时间22A与视频延迟时间22的大小关系、这里为声音延迟时间22A是比视频延迟时间22B大还是小、即延迟时间差Ds的正负，事先在存储部12A中存储两个相对延迟品质恶化量推测模型32B、32C。其中，相对延迟品质恶化量推测模型32B适用于声音延迟时间22A比视频延迟时间22B大或相等的情况，相对延迟品质恶化量推测模型32C适用于声音延迟时间22A比视频延迟时间22B小的情况。
如图24所示，在声音延迟时间22A比视频延迟时间22B大或相等的情况下，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前表示零、伴随延迟时间差Ds的进一步增加而单调减少的倾向。另外，在声音延迟时间22A比视频延迟时间22B小的情况下，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前表示零、伴随延迟时间差Ds的进一步减少而单调减少的倾向。
另外，相对延迟品质恶化量推测模型32B、32C的斜率α5、α6具有对应于帧速率22C的下降而变平缓的倾向。
图25是斜率系数推测的特性例。如图25所示，相对延迟品质恶化量推测模型32B的斜率α5具有对应于帧速率22C的对数值增加而单调减少的倾向。另外，相对延迟品质恶化量推测模型32C的斜率α6具有对应于帧速率22C的对数值增加而单调增加的倾向。
因此，斜率系数α5、α6可由例如将帧速率22C的对数值设为变量的线性函数式表示。在将帧速率22C设为F、将其对数值设为log(F)、分别将α51、β51设为常量、将相对延迟品质恶化量推测模型32B的斜率系数设为α5的情况下，α5可由下式(14)求出。
α5＝α51·log(F)+α52 when Ds≥0  …(14)
另外，在将帧速率22C设为F、将其对数值设为log(F)、分别将α61、β61设为常量、将相对延迟品质恶化量推测模型32C的斜率系数设为α6的情况下，α6可由下式(15)求出。
α6＝α61·log(F)+α62 when Ds＜0  …(15)
另外，延迟品质恶化量推测部12利用相对延迟品质恶化量计算部12D，选择对应于声音延迟时间22A与视频延迟时间22B的大小关系的相对延迟品质恶化量推测模型(步骤517)。之后，从存储部12A中读出表示所选择的相对延迟品质恶化量推测模型的模型系数(步骤518)，通过使该模型系数中包含由斜率系数计算部12E计算的斜率系数α5或α6，从而确定所选择的相对延迟品质恶化量推测模型的斜率(步骤519)。
之后，根据得到的相对延迟品质恶化量推测模型，计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27(步骤520)。
接着，延迟品质恶化量推测部12利用延迟品质恶化量计算部12B，根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量26与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量27，计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量23B(步骤521)。这些步骤517、518与上述图16的步骤314、315一样，步骤519与上述图19的步骤417一样，步骤520、521与上述图11的步骤215、216一样，这里省略详细说明。
之后，延迟品质恶化量计算部12B将计算出的延迟品质恶化量23B输出到视频通信品质推测部13(步骤522)，结束一连串的延迟品质恶化量推测处理。
这样，本实施方式由于对应于声音延迟时间与视频延迟时间的大小关系来分别选择斜率系数推测模型与相对延迟品质恶化量推测模型，并根据选择出的斜率系数推测模型，由斜率系数计算部12E计算对应于视频媒体的帧速率的斜率系数，由该斜率系数来确定同样选择的相对延迟品质恶化量推测模型的斜率，根据该相对延迟品质恶化量推测模型，由相对延迟品质恶化量计算部12D来推测相对延迟品质恶化量27，所以可以简单的处理高精度地推测考虑了对应于视频媒体的帧速率来感知相对延迟品质恶化的程度变化等人类的知觉特性、与对应于声音延迟时间与视频延迟时间的大小关系来感知相对延迟品质恶化的程度变化等人类的知觉特性两者的相对延迟品质恶化量。
下面，参照图26，说明本发明第6实施方式的视频通信品质推测装置。图26是本发明第6实施方式的视频通信品质推测装置中使用的绝对延迟品质恶化量推测模型的特性例。
在第2实施方式中，举例说明如下情况，即延迟品质恶化量推测部12的绝对延迟品质恶化量计算部12C在计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间和的绝对延迟品质恶化量26时，以线性函数来模型化绝对延迟品质恶化量推测模型32A。
在本实施方式中，说明以非线性函数来模型化绝对延迟品质恶化量推测模型32A的情况。其它构成或动作与第2实施方式一样，这里省略详细说明。
如图26所示，绝对延迟品质恶化量推测模型32A随着执行构成评价对象的视频通信的环境不同而一定程度地变动。因此，有时用非线性函数来模型化绝对延迟品质恶化量推测模型32A比以线性函数来模型化有助于提高推测精度。
非线性函数中存在各种函数类型。例如，在使用指数函数的情况下，当将声音延迟时间Da与视频延迟时间Dv的延迟时间和设为Dr、将α7、β7、Dr7分别设为常量、将绝对延迟品质恶化量26设为R(Dr)的情况下，R(Dr)可由下式(16)推测。
R ( Dr ) = α 7 · exp ( - Dr Dr 7 ) + β 7 · · · ( 16 )
这样，由于本实施方式以非线性函数来模型化绝对延迟品质恶化量推测模型32A，所以可实现推测精度的提高。并且，在使用指数函数的情况下，可以简单的函数式来模型化绝对延迟品质恶化量推测模型32A。另外，本实施方式不仅可适用于第2实施方式，也可适用于第3-第5实施方式，得到同样的作用效果。尤其是在第3和第5实施方式中，也可根据声音延迟时间22A与视频延迟时间22B的大小关系，使用多个相对延迟品质恶化量27的推测中使用的相对延迟品质恶化量推测模型，分别以非线性函数来模型化这些相对延迟品质恶化量推测模型。
下面，参照图27，说明本发明第7实施方式的视频通信品质推测装置。图27是本发明第7实施方式的视频通信品质推测装置中使用的相对延迟品质恶化量推测模型的特性例。
在第2实施方式中，举例说明了如下情况，即延迟品质恶化量推测部12的相对延迟品质恶化量计算部12D在计算对应于声音延迟时间22A与视频延迟时间22B的延迟时间差的相对延迟品质恶化量27时，以线性函数来模型化相对延迟品质恶化量推测模型32B。
在本实施方式中，说明以非线性函数来模型化相对延迟品质恶化量推测模型32B的情况。其它构成或动作与第2实施方式一样，这里省略详细说明。
如图27所示，相对延迟品质恶化量推测模型32B随着执行构成评价对象的视频通信的环境不同而一定程度地变动。因此，有时用非线性函数来模型化绝对延迟品质恶化量推测模型32A比以线性函数来模型化有助于提高推测精度。
非线性函数中存在各种函数类型。例如，在使用对数函数的情况下，当将声音延迟时间Da与视频延迟时间Dv的延迟时间差设为Ds、将α8、β8、Ds8分别设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(17)推测。
S ( Ds ) = α 8 · { 1 - 1 1 + ( Ds / Ds 8 ) β 8 } . . . ( 17 )
这样，由于本实施方式以非线性函数来模型化相对延迟品质恶化量推测模型32B，所以可实现推测精度的提高。并且，在使用对数函数的情况下，可以简单的函数式来模型化相对延迟品质恶化量推测模型32B。另外，本实施方式不仅可适用于第2实施方式，也可适用于第3-第5实施方式，得到同样的作用效果。
另外，在以非线性函数来模型化相对延迟品质恶化量推测模型32B的情况下，也可与第3实施方式中说明的式(11)、式(12)一样，将对应于声音延迟时间22A与视频延迟时间22B的大小关系的两个相对延迟品质恶化量推测模型32B存储在存储部12A中，根据声音延迟时间22A与视频延迟时间22B的大小关系，选择相对延迟品质恶化量27的推测中使用的相对延迟品质恶化量推测模型32B。
图28是相对延迟品质恶化量推测模型的另一特性例。在该特性例中，在声音延迟时间22A比视频延迟时间22B大或相等的情况下，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前从零开始一点点减少、伴随延迟时间差Ds的进一步增加而单调减少的倾向。另外，在声音延迟时间22A比视频延迟时间22B小的情况下，相对延迟品质恶化量27具有在声音延迟时间Da与视频延迟时间Dv的延迟时间差Ds到达规定值之前从零开始一点点减少、伴随延迟时间差Ds的进一步减少而单调减少的倾向。
因此，在声音延迟时间22A比视频延迟时间22B大或相等的情况下，相对延迟品质恶化量27可由例如将声音延迟时间22A与视频延迟时间22B的延迟时间差设为变量的对数函数式表示。在将声音延迟时间22A与视频延迟时间22B的延迟时间差设为Ds(＝Da-Dv)、将α9、β9、Ds9分别设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(18)推测。
S ( Ds ) = α 9 · { 1 - 1 1 + ( Ds / Ds 9 ) β 9 } whenDs ≥ 0 · · · ( 18 )
同样，在声音延迟时间22A比视频延迟时间22B小的情况下，相对延迟品质恶化量27可由例如将声音延迟时间22A与视频延迟时间22B的延迟时间差设为变量的对数函数式表示。在将声音延迟时间22A与视频延迟时间22B的延迟时间差设为Ds(＝Da-Dv)、将α10、β10、Ds10分别设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(19)推测。
S ( Ds ) = &alpha; 10 &CenterDot; { 1 - 1 1 + ( | Ds | / Ds 10 ) &beta; 10 } whenDs < 0 &CenterDot; &CenterDot; &CenterDot; ( 19 )
在图27和图28中，在特性例的端部，示出相对延迟品质恶化量27向系数α8-α10收敛的倾斜，但如上述式(10)所示，由于延迟品质恶化量23B在MOS值的范围1-5内正规化，所以当实际推测相对延迟品质恶化量27时，未利用特性例端部的上述倾向部分。
另外，在以非线性函数来模型化相对延迟品质恶化量推测模型32B时，也可使用利用对数函数的式(17)-式(19)以外的函数。图29是相对延迟品质恶化量推测的另一特性例。这种特性例可由指数函数来表现上述式(17)-式(19)。
例如，就式(17)而言，在将声音延迟时间Da与视频延迟时间Dv的延迟时间差设为Ds、将α11、β11、Ds11分别设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(20)推测。
S(Ds)＝α11·Dsβll             …(20)
另外，就声音延迟时间22A比视频延迟时间22B大或相等时的式(18)而言，在将声音延迟时间Da与视频延迟时间Dv的延迟时间差设为Ds、将α12、β12、Ds12分别设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(21)推测。
S(Ds)＝α12·Dsβ12 when Ds≥0  …(21)
同样，就声音延迟时间22A比视频延迟时间22B小时的式(19)而言，在将声音延迟时间Da与视频延迟时间Dv的延迟时间差设为Ds、将α13、β13、Ds13分别设为常量、将相对延迟品质恶化量27设为S(Ds)的情况下，S(Ds)可由下式(22)推测。
S(Ds)＝α13·|Ds|β13 when Ds＜0  …(22)
下面，说明导出以上各实施方式中使用的各算式的常量值的。
首先，确定利用视频通信的、例如使用的通信终端或编码方式等的通信环境、与商务会议或自由会话等假设的利用场景，构筑包含声音品质、视频帧速率的视频品质、声音、视频的延迟时间可控制的评价实验系统。可在数据包损耗率、数据包延迟时间/摇摆时间等网络品质参数可控制的网络仿真装置中使这些品质变化。另外，可利用视频通信应用程序的设定参数使视频帧速率变化。
接着，使包含声音品质、视频帧速率的视频品质、声音、视频的延迟时间在各种状态下变化，根据所述假设场景，在通信终端间执行视频通信，利用5阶段品质尺度来评价综合考虑了全部品质要素的视频通信品质。
品质由平均意见评点MOS值(Mean Opinion Score)来表现。MOS值通过向‘非常好’、‘好’、‘普通’、‘差’、‘非常差’等5阶段的品质评价尺度分别附加5-1点、评价者投票的得点的平均值求出。在主观品质评价实验中，除视频通信品质外，还同样求出声音品质评价值、视频品质评价值。另外，主观评价实验方法的细节记载于ITU-T推荐P.911中。另外，声音品质评价值与视频品质评价值也可使用适用上述ITU-T推荐P.862或ITU-T推荐J.144等客观品质推测技术导出的值。
这样，在取得各种品质评价值之后，执行导出各种算式的系数用的处理。这里，举例说明第5实施方式。
首先，根据无延迟时间影响的条件的评价结果，由所述式(1)的函数式来近似声音品质评价值MOSa和视频品质评价值MOSv与多模式品质值MOSmm的关系，导出各常量α1、β1、γ1、δ1。
接着，在声音品质与视频品质为最高等级的条件下，以所述式(6)-式(8)、式(11)、式(12)、式(14)、式(15)的函数式分别近似使声音视频的延迟时间变化时的品质恶化量，导出各常量α3、β3、β5、α51、α52、β6、α61、α62。
之后，使用全部的评价结果，以所述式(4)的函数式来近似多模式品质值MOSmm和延迟品质恶化量Dav与视频通信品质值MOSa1l的关系，导出各常量α2、β2、γ2、δ2。
这些常量是通过在哪种通信环境下利用视频通信、或适用于哪种场景来利用、执行哪种会话等变化的值，但也通过确定假设的服务利用场景，执行一次主观品质评价实验来唯一确定。本实施方式举例说明第5实施方式，但同样可适用于其它实施方式。
在上述各实施方式中，就利用多模式服务执行视频通信的各通信终端而言，以声音品质评价值与视频品质评价值具有对称性、两个通信终端得到相等的声音品质评价值与视频品质评价值的情况为前提进行说明。在这些通信终端中，在声音品质评价值与视频品质评价值无对称性，两个通信终端得不到相等的声音品质评价值与视频品质评价值的情况下，例如多模式品质推测部11也可计算合成两个通信终端的多模式品质后的多模式品质值23A。
或者，多模式品质推测部11也可对每个通信终端推测单独的多模式品质值23A，利用视频通信品质推测部13，根据这些多模式品质值23A与延迟品质恶化量23B，推测视频通信品质值24。
在第2-第5实施方式中，举例说明如下情况，即当利用延迟品质恶化量计算部12B计算对应于声音延迟时间22A和视频延迟时间22B的延迟品质恶化量Dav时，如所述式(10)所示，根据由绝对延迟品质恶化量计算部12C计算出的绝对延迟品质恶化量R(Dr)与由相对延迟品质恶化量计算部12D计算出的相对延迟品质恶化量S(Ds)的和，计算Dav，但不限于此。例如，在分别将α14、β14、γ14、δ14设为常量的情况下，Dav可由下式(23)推测，考虑R(Dr)与S(Ds)的相互作用，推测Dav。
Dav＝α14·R(Dr)+β14·S(Ds)+γ14·R(Dr)·S(Ds)+δ14  …(23)
另外，在各实施方式中，举例说明分别使用1个推测模型、或两个推测模型之一作为计算各种品质值或斜率系数用的推测模型的情况，但不限于此。
这些推测模型因执行构成评价对象的视频通信的环境不同而一定程度变动。作为左右视频通信环境的参数，例如有表示视频通信服务的通信种类的通信种类参数、表示再现视频媒体的终端的再现性能的再现性能参数、或表示再现视频媒体的终端的再现环境的再现环境参数。
作为通信种类参数的具体例，有表示在构成评价对象的视频通信服务中执行的通信种类的‘任务’。
作为再现性能参数的具体例，除涉及视频媒体编码的‘编码方式’、‘视频格式’、‘密钥帧’外，还有涉及终端中的媒体再现功能的‘监视器尺寸’、‘监视器分辨率’等。
作为再现环境参数的具体例，有终端中的媒体再现时的‘室内照度’等。
因此，也可对这种参数的每个组合，将推测模型的函数式或其系数存储在存储部中，当推测时，根据从外部输入的这些参数，选择推测模型的函数式或其系数。由此，即便在视频通信环境不同的情况下也可弹性对应，可以高精度来推测视频通信品质值。
另外，在各实施方式中，说明对由MOS值表示的品质值正规化计算的品质值、以变为MOS值取的1-5范围的情况，但如果计算的品质值原本在1-5的范围内，则也可省略正规化处理。
另外，在各实施方式中，作为正规化的具体例，举例说明使用min()或max()等函数的情况，但也可使用其它函数来进行正规化。
在各实施方式中，举例说明利用线性函数或非线性函数来模型化推测模型的情况，但这些推测模型不限于函数，也可使用函数以外的模型，例如，也可是规定推测模型输入输出的关系的表形式的数据库。另外，也可是神经元网络或事例库等仅确定输入输出特性的黑盒子模型。

Claims (12)

1.一种视频通信品质推测装置，其对与在经网络连接的通信终端间复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测，
该视频通信品质推测装置具备：
多模式品质推测部，其根据声音媒体品质评价值和视频媒体品质评价值，推测多模式品质值，其中声音媒体品质评价值是针对由所述通信终端输出的声音媒体的品质评价值，视频媒体品质评价值是针对由所述通信终端输出的视频媒体的品质评价值，多模式品质值是复合了所述声音媒体与所述视频媒体的复合媒体的品质评价值；
延迟品质恶化量推测部，其根据声音延迟时间和视频延迟时间，通过预先设定于存储部内的延迟品质恶化推测模型来推测由所述声音媒体与所述视频媒体的延迟产生的延迟品质恶化量，其中声音延迟时间是所述声音媒体在所述通信终端间输入至输出的延迟时间，视频延迟时间是所述视频媒体在所述通信终端间输入至输出的延迟时间；和
视频通信品质推测部，其根据由所述多模式品质推测部推测出的多模式品质值与由所述延迟品质恶化量推测部推测出的所述延迟品质恶化量，推测所述视频通信的品质。
2.根据权利要求1所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测部具有：
存储部，其事先存储表示声音延迟时间和视频延迟时间与延迟品质恶化量的关系的延迟品质恶化量推测模型；和
延迟品质恶化量计算部，其根据所述延迟品质恶化量推测模型，计算对应于所述声音延迟时间和所述视频延迟时间的延迟品质恶化量。
3.根据权利要求2所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测模型在所述声音延迟时间恒定的情况下，具有凸型特性，即对应于所述视频延迟时间的增加，所述延迟品质恶化量单调增加，达到规定的最大值，对应于所述视频延迟时间的进一步增加，所述延迟品质恶化量单调减少；在所述视频延迟时间恒定的情况下，具有凸型特性，即对应于所述声音延迟时间的增加，所述延迟品质恶化量单调增加，达到规定的最大值，对应于所述声音延迟时间的进一步增加，所述延迟品质恶化量单调减少。
4.根据权利要求1所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测部具有：
绝对延迟品质恶化量计算部，其根据所述声音延迟时间和所述视频延迟时间，计算因所述声音媒体与所述视频媒体的绝对延迟而产生的绝对延迟品质恶化量；
相对延迟品质恶化量计算部，其根据所述声音延迟时间和所述视频延迟时间，计算因所述声音媒体与所述视频媒体间的相对延迟而产生的相对延迟品质恶化量；和
延迟品质恶化量计算部，其根据所述绝对延迟品质恶化量与所述相对延迟品质恶化量，计算所述延迟品质恶化量。
5.根据权利要求4所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测部具有存储部，其事先存储表示伴随声音延迟时间与视频延迟时间的延迟时间和的增加、绝对延迟品质恶化量单调增加的特性的绝对延迟品质恶化量推测模型，
所述绝对延迟品质恶化量推测部根据所述绝对延迟品质恶化量推测模型，计算对应于所述声音延迟时间与所述视频延迟时间的延迟时间和的绝对延迟品质恶化量。
6.根据权利要求4所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测部具有存储部，其事先存储表示伴随声音延迟时间与视频延迟时间的延迟时间差的增加、相对延迟品质恶化量单调增加的特性的相对延迟品质恶化量推测模型，
所述相对延迟品质恶化量推测部根据所述相对延迟品质恶化量推测模型，导出对应于所述声音延迟时间与所述视频延迟时间的延迟时间差的相对延迟品质恶化量，作为所述相对延迟品质恶化量输出。
7.根据权利要求6所述的视频通信品质推测装置，其特征在于，
所述存储部存储多个对应于声音延迟时间与视频延迟时间的大小关系的相对延迟品质恶化量推测模型，
所述相对延迟品质恶化量推测部从所述存储部中选择对应于所述声音延迟时间与所述视频延迟时间的大小关系的相对延迟品质恶化量推测模型，根据选择出的相对延迟品质恶化量推测模型，计算对应于所述声音延迟时间与所述视频延迟时间的延迟时间差的相对延迟品质恶化量。
8.根据权利要求1所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测部具有绝对延迟品质恶化量推测部，其根据所述声音延迟时间和所述视频延迟时间，推测因所述声音媒体与所述视频媒体的绝对延迟产生的绝对延迟品质恶化量；和
相对延迟品质恶化量推测部，其根据所述声音延迟时间、所述视频延迟时间和所述视频媒体的帧速率，推测因所述声音媒体与所述视频媒体间的相对延迟产生的相对延迟品质恶化量。
9.根据权利要求8所述的视频通信品质推测装置，其特征在于，
所述延迟品质恶化量推测部具有：
存储部，其事先存储相对延迟品质恶化量推测模型与斜率系数推测模型，相对延迟品质恶化量推测模型由表示伴随着声音延迟时间与视频延迟时间的延迟时间差的增加、相对延迟品质恶化量单调增加的延迟时间差-相对延迟品质恶化量特性的线性函数构成，斜率系数推测模型表示伴随着帧速率的增加、所述线性函数的斜率系数以对数函数变大的斜率系数特性；和
斜率系数计算部，其根据所述斜率系数推测模型，计算对应于所述视频媒体的帧速率的所述线性函数的斜率系数，
所述相对延迟品质恶化量推测部根据由所述斜率系数确定了斜率的所述相对延迟品质恶化量推测模型，计算对应于所述声音延迟时间和所述视频延迟时间的延迟时间差的相对延迟品质恶化量。
10.根据权利要求9所述的视频通信品质推测装置，其特征在于，
所述存储部分别存储多个对应于声音延迟时间和视频延迟时间的大小关系之相对延迟品质恶化量推测模型和系数推测模型，
所述斜率系数计算部从所述存储部中选择对应于所述声音延迟时间与所述视频延迟时间的大小关系之斜率系数推测模型，根据选择出的斜率系数推测模型，计算所述斜率系数，
所述相对延迟品质恶化量推测部从所述存储部中选择对应于所述声音延迟时间与所述视频延迟时间的大小关系之相对延迟品质恶化量推测模型，利用所述斜率系数，确定斜率，根据得到的相对延迟品质恶化量推测模型，计算对应于所述声音延迟时间和所述视频延迟时间的延迟时间差之相对延迟品质恶化量。
11.根据权利要求1所述的视频通信品质推测装置，其特征在于，
所述视频通信品质推测部具有：
存储部，其事先存储表示多模式品质值和延迟品质恶化量与视频通信品质值的关系之视频通信品质推测模型；和
视频通信品质计算部，其根据所述视频通信品质推测模型，计算对应于多模式品质值和延迟品质恶化量的视频通信品质值。
12.一种视频通信品质推测方法，其用于视频通信品质推测装置中，该视频通信品质推测装置对与在经网络连接的通信终端间复合声音媒体和视频媒体后双向交换的视频通信相关的品质进行推测，
该视频通信品质推测方法包括：
多模式品质推测步骤，利用多模式品质推测部，根据声音媒体品质评价值和视频媒体品质评价值，推测多模式品质值，其中声音媒体品质评价值是针对由所述通信终端输出的声音媒体的品质评价值，视频媒体品质评价值是针对由所述通信终端输出的视频媒体的品质评价值，多模式品质值是复合了所述声音媒体与所述视频媒体的复合媒体的品质评价值；
绝对延迟品质恶化量推测步骤，利用绝对延迟品质恶化量推测部，根据声音延迟时间和视频延迟时间，通过预先设定于存储部内的绝对延迟品质恶化推测模型来推测由所述声音媒体与所述视频媒体的延迟产生的绝对延迟品质恶化量，其中声音延迟时间是所述声音媒体在所述通信终端间输入至输出的延迟时间，视频延迟时间是所述视频媒体在所述通信终端间输入至输出的延迟时间；和
视频通信品质推测步骤，利用视频通信品质推测部，根据由所述多模式品质推测部推测出的多模式品质值与由所述绝对延迟品质恶化量推测部推测出的所述绝对延迟品质恶化量，推测所述视频通信的品质。
CN200680030787XA 2005-09-06 2006-09-06 视频通信品质推测装置、方法 Active CN101248679B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2005257880 2005-09-06
JP257880/2005 2005-09-06
JP171240/2006 2006-06-21
JP2006171240 2006-06-21
PCT/JP2006/317637 WO2007029731A1 (ja) 2005-09-06 2006-09-06 映像コミュニケーション品質推定装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101248679A CN101248679A (zh) 2008-08-20
CN101248679B true CN101248679B (zh) 2010-07-14

Family

ID=37835850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680030787XA Active CN101248679B (zh) 2005-09-06 2006-09-06 视频通信品质推测装置、方法

Country Status (7)

Country Link
US (1) US8405773B2 (zh)
EP (1) EP1924101B1 (zh)
JP (1) JP4486130B2 (zh)
KR (1) KR100947275B1 (zh)
CN (1) CN101248679B (zh)
CA (1) CA2617893C (zh)
WO (1) WO2007029731A1 (zh)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008056622A1 (en) * 2006-11-06 2008-05-15 Panasonic Corporation Receiver
US8554868B2 (en) 2007-01-05 2013-10-08 Yahoo! Inc. Simultaneous sharing communication interface
US8599704B2 (en) * 2007-01-23 2013-12-03 Microsoft Corporation Assessing gateway quality using audio systems
JP4802183B2 (ja) * 2007-12-28 2011-10-26 日本電信電話株式会社 マルチメディア総合品質推定方法および装置
EP2106154A1 (en) * 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
JP5123384B2 (ja) 2008-06-11 2013-01-23 日本電信電話株式会社 オーディオ品質推定方法、オーディオ品質推定装置およびプログラム
CN102177726B (zh) * 2008-08-21 2014-12-03 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计
US8284259B2 (en) * 2009-09-23 2012-10-09 Avaya Inc. Policy-based video quality assessment
KR101345098B1 (ko) 2009-12-18 2013-12-26 한국전자통신연구원 실시간 영상품질 측정 장치 및 방법
JP5373704B2 (ja) * 2010-06-16 2013-12-18 日本電信電話株式会社 マルチメディア品質推定装置およびマルチメディア品質推定方法
EP2592829A4 (en) * 2010-07-05 2014-09-17 Mitsubishi Electric Corp IMAGE QUALITY MANAGEMENT SYSTEM
EP2732383B1 (en) 2011-07-12 2018-04-04 Snap Inc. Methods and systems of providing visual content editing functions
US8972357B2 (en) 2012-02-24 2015-03-03 Placed, Inc. System and method for data collection to validate location data
US11734712B2 (en) 2012-02-24 2023-08-22 Foursquare Labs, Inc. Attributing in-store visits to media consumption based on data collected from user devices
US10155168B2 (en) 2012-05-08 2018-12-18 Snap Inc. System and method for adaptable avatars
CN103634577B (zh) 2012-08-22 2014-12-31 华为技术有限公司 多媒体质量的监控方法和设备
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
US8775972B2 (en) 2012-11-08 2014-07-08 Snapchat, Inc. Apparatus and method for single action control of social network profile access
JP6127476B2 (ja) * 2012-11-30 2017-05-17 ヤマハ株式会社 ネットワーク音楽セッションにおける遅延測定方法及び装置
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US10082926B1 (en) 2014-02-21 2018-09-25 Snap Inc. Apparatus and method for alternate channel communication initiated through a common message thread
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
EP2953085A1 (en) 2014-06-05 2015-12-09 Mobli Technologies 2010 Ltd. Web document enhancement
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10055717B1 (en) 2014-08-22 2018-08-21 Snap Inc. Message processor with application prompts
US10423983B2 (en) 2014-09-16 2019-09-24 Snap Inc. Determining targeting information based on a predictive targeting model
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
KR101600284B1 (ko) * 2014-10-17 2016-03-07 주식회사 이노와이어리스 영상 품질 측정 방법
US9015285B1 (en) 2014-11-12 2015-04-21 Snapchat, Inc. User interface for accessing media at a geographic location
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US11388226B1 (en) 2015-01-13 2022-07-12 Snap Inc. Guided personal identity based actions
US10133705B1 (en) 2015-01-19 2018-11-20 Snap Inc. Multichannel system
US9521515B2 (en) 2015-01-26 2016-12-13 Mobli Technologies 2010 Ltd. Content request by location
US10223397B1 (en) 2015-03-13 2019-03-05 Snap Inc. Social graph based co-location of network users
KR102035405B1 (ko) 2015-03-18 2019-10-22 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9692967B1 (en) 2015-03-23 2017-06-27 Snap Inc. Systems and methods for reducing boot time and power consumption in camera systems
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10993069B2 (en) 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
US10817898B2 (en) 2015-08-13 2020-10-27 Placed, Llc Determining exposures to content presented by physical objects
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10474321B2 (en) 2015-11-30 2019-11-12 Snap Inc. Network resource location linking and visual content sharing
US9984499B1 (en) 2015-11-30 2018-05-29 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US10869072B2 (en) * 2015-12-16 2020-12-15 Nippon Telegraph And Telephone Corporation Audio-visual quality estimation device, method for estimating audio-visual quality, and program
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US11023514B2 (en) 2016-02-26 2021-06-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10679389B2 (en) 2016-02-26 2020-06-09 Snap Inc. Methods and systems for generation, curation, and presentation of media collections
US10285001B2 (en) 2016-02-26 2019-05-07 Snap Inc. Generation, curation, and presentation of media collections
US10339365B2 (en) 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
US11876941B1 (en) 2016-06-20 2024-01-16 Pipbin, Inc. Clickable augmented reality content manager, system, and network
US10805696B1 (en) 2016-06-20 2020-10-13 Pipbin, Inc. System for recording and targeting tagged content of user interest
US11201981B1 (en) 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
US11785161B1 (en) 2016-06-20 2023-10-10 Pipbin, Inc. System for user accessibility of tagged curated augmented reality content
US10334134B1 (en) 2016-06-20 2019-06-25 Maximillian John Suiter Augmented real estate with location and chattel tagging system and apparatus for virtual diary, scrapbooking, game play, messaging, canvasing, advertising and social interaction
US11044393B1 (en) 2016-06-20 2021-06-22 Pipbin, Inc. System for curation and display of location-dependent augmented reality content in an augmented estate system
US10638256B1 (en) 2016-06-20 2020-04-28 Pipbin, Inc. System for distribution and display of mobile targeted augmented reality content
US10430838B1 (en) 2016-06-28 2019-10-01 Snap Inc. Methods and systems for generation, curation, and presentation of media collections with automated advertising
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10733255B1 (en) 2016-06-30 2020-08-04 Snap Inc. Systems and methods for content navigation with automated curation
US10855632B2 (en) 2016-07-19 2020-12-01 Snap Inc. Displaying customized electronic messaging graphics
EP3800618B1 (en) 2016-08-30 2022-12-07 Snap Inc. Systems and methods for simultaneous localization and mapping
US10432559B2 (en) 2016-10-24 2019-10-01 Snap Inc. Generating and displaying customized avatars in electronic messages
CN112738408B (zh) 2016-11-07 2022-09-16 斯纳普公司 图像修改器的选择性识别和排序
US10203855B2 (en) 2016-12-09 2019-02-12 Snap Inc. Customized user-controlled media overlays
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10454857B1 (en) 2017-01-23 2019-10-22 Snap Inc. Customized digital avatar accessories
US10915911B2 (en) 2017-02-03 2021-02-09 Snap Inc. System to determine a price-schedule to distribute media content
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US11250075B1 (en) 2017-02-17 2022-02-15 Snap Inc. Searching social media content
US10074381B1 (en) 2017-02-20 2018-09-11 Snap Inc. Augmented reality speech balloon system
US10565795B2 (en) 2017-03-06 2020-02-18 Snap Inc. Virtual vision system
US10523625B1 (en) 2017-03-09 2019-12-31 Snap Inc. Restricted group content collection
US10581782B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US11170393B1 (en) 2017-04-11 2021-11-09 Snap Inc. System to calculate an engagement score of location based media content
US10387730B1 (en) 2017-04-20 2019-08-20 Snap Inc. Augmented reality typography personalization system
CN111010882B (zh) 2017-04-27 2023-11-03 斯纳普公司 在基于地图的社交媒体平台上的位置隐私关联
US11893647B2 (en) 2017-04-27 2024-02-06 Snap Inc. Location-based virtual avatars
US10212541B1 (en) 2017-04-27 2019-02-19 Snap Inc. Selective location-based identity communication
US10467147B1 (en) 2017-04-28 2019-11-05 Snap Inc. Precaching unlockable data elements
US10803120B1 (en) 2017-05-31 2020-10-13 Snap Inc. Geolocation based playlists
US11475254B1 (en) 2017-09-08 2022-10-18 Snap Inc. Multimodal entity identification
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
US10499191B1 (en) 2017-10-09 2019-12-03 Snap Inc. Context sensitive presentation of content
US10573043B2 (en) 2017-10-30 2020-02-25 Snap Inc. Mobile-based cartographic control of display content
US11265273B1 (en) 2017-12-01 2022-03-01 Snap, Inc. Dynamic media overlay with smart widget
US11017173B1 (en) 2017-12-22 2021-05-25 Snap Inc. Named entity recognition visual context and caption data
US10678818B2 (en) 2018-01-03 2020-06-09 Snap Inc. Tag distribution visualization system
US11507614B1 (en) 2018-02-13 2022-11-22 Snap Inc. Icon based tagging
US10979752B1 (en) 2018-02-28 2021-04-13 Snap Inc. Generating media content items based on location information
US10885136B1 (en) 2018-02-28 2021-01-05 Snap Inc. Audience filtering system
US10327096B1 (en) 2018-03-06 2019-06-18 Snap Inc. Geo-fence selection system
KR102574151B1 (ko) 2018-03-14 2023-09-06 스냅 인코포레이티드 위치 정보에 기초한 수집가능한 항목들의 생성
US11163941B1 (en) 2018-03-30 2021-11-02 Snap Inc. Annotating a collection of media content items
US10219111B1 (en) 2018-04-18 2019-02-26 Snap Inc. Visitation tracking system
US10896197B1 (en) 2018-05-22 2021-01-19 Snap Inc. Event detection system
US10679393B2 (en) 2018-07-24 2020-06-09 Snap Inc. Conditional modification of augmented reality object
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10698583B2 (en) 2018-09-28 2020-06-30 Snap Inc. Collaborative achievement interface
US10778623B1 (en) 2018-10-31 2020-09-15 Snap Inc. Messaging and gaming applications communication platform
US11199957B1 (en) 2018-11-30 2021-12-14 Snap Inc. Generating customized avatars based on location information
US10939236B1 (en) 2018-11-30 2021-03-02 Snap Inc. Position service to determine relative position to map features
US11032670B1 (en) 2019-01-14 2021-06-08 Snap Inc. Destination sharing in location sharing system
US10939246B1 (en) 2019-01-16 2021-03-02 Snap Inc. Location-based context information sharing in a messaging system
US11294936B1 (en) 2019-01-30 2022-04-05 Snap Inc. Adaptive spatial density based clustering
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US10936066B1 (en) 2019-02-13 2021-03-02 Snap Inc. Sleep detection in a location sharing system
US10838599B2 (en) 2019-02-25 2020-11-17 Snap Inc. Custom media overlay system
US10964082B2 (en) 2019-02-26 2021-03-30 Snap Inc. Avatar based on weather
US10852918B1 (en) 2019-03-08 2020-12-01 Snap Inc. Contextual information in chat
US11868414B1 (en) 2019-03-14 2024-01-09 Snap Inc. Graph-based prediction for contact suggestion in a location sharing system
US11852554B1 (en) 2019-03-21 2023-12-26 Snap Inc. Barometer calibration in a location sharing system
US11249614B2 (en) 2019-03-28 2022-02-15 Snap Inc. Generating personalized map interface with enhanced icons
US10810782B1 (en) 2019-04-01 2020-10-20 Snap Inc. Semantic texture mapping system
US10582453B1 (en) 2019-05-30 2020-03-03 Snap Inc. Wearable device location systems architecture
US10560898B1 (en) 2019-05-30 2020-02-11 Snap Inc. Wearable device location systems
US10893385B1 (en) 2019-06-07 2021-01-12 Snap Inc. Detection of a physical collision between two client devices in a location sharing system
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
US11821742B2 (en) 2019-09-26 2023-11-21 Snap Inc. Travel based notifications
US11218838B2 (en) 2019-10-31 2022-01-04 Snap Inc. Focused map-based context information surfacing
US10880496B1 (en) 2019-12-30 2020-12-29 Snap Inc. Including video feed in message thread
US11128715B1 (en) 2019-12-30 2021-09-21 Snap Inc. Physical friend proximity in chat
US11429618B2 (en) 2019-12-30 2022-08-30 Snap Inc. Surfacing augmented reality objects
US11343323B2 (en) 2019-12-31 2022-05-24 Snap Inc. Augmented reality objects registry
US11169658B2 (en) 2019-12-31 2021-11-09 Snap Inc. Combined map icon with action indicator
US11228551B1 (en) 2020-02-12 2022-01-18 Snap Inc. Multiple gateway message exchange
IL295544A (en) * 2020-02-13 2022-10-01 Ssimwave Inc Distributed measurement of latency and synchronization delay between audio/video streams
US11516167B2 (en) 2020-03-05 2022-11-29 Snap Inc. Storing data based on device location
US11619501B2 (en) 2020-03-11 2023-04-04 Snap Inc. Avatar based on trip
US11430091B2 (en) 2020-03-27 2022-08-30 Snap Inc. Location mapping for large scale augmented-reality
US10956743B1 (en) 2020-03-27 2021-03-23 Snap Inc. Shared augmented reality system
US11290851B2 (en) 2020-06-15 2022-03-29 Snap Inc. Location sharing using offline and online objects
US11314776B2 (en) 2020-06-15 2022-04-26 Snap Inc. Location sharing using friend list versions
US11503432B2 (en) 2020-06-15 2022-11-15 Snap Inc. Scalable real-time location sharing framework
US11483267B2 (en) 2020-06-15 2022-10-25 Snap Inc. Location sharing using different rate-limited links
US11308327B2 (en) 2020-06-29 2022-04-19 Snap Inc. Providing travel-based augmented reality content with a captured image
US11349797B2 (en) 2020-08-31 2022-05-31 Snap Inc. Co-location connection service
US11606756B2 (en) 2021-03-29 2023-03-14 Snap Inc. Scheduling requests for location data
US11645324B2 (en) 2021-03-31 2023-05-09 Snap Inc. Location-based timeline media content system
US11829834B2 (en) 2021-10-29 2023-11-28 Snap Inc. Extended QR code
US12001750B2 (en) 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system
US12020384B2 (en) 2022-06-21 2024-06-25 Snap Inc. Integrating augmented reality experiences with other components
US12020386B2 (en) 2022-06-23 2024-06-25 Snap Inc. Applying pregenerated virtual experiences in new location

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
CN1292197A (zh) * 1998-01-07 2001-04-18 汤姆森许可公司 用于提供视频口唇同步延迟的装置及其方法
CN1318947A (zh) * 2000-03-29 2001-10-24 德国汤姆森-布兰特有限公司 改变音频数据编码或视频数据编码输出延迟的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JPH08289333A (ja) 1995-04-14 1996-11-01 Nippon Telegr & Teleph Corp <Ntt> 音声映像総合品質推定方法
WO1999021173A1 (en) * 1997-10-22 1999-04-29 British Telecommunications Public Limited Company Signal processing
AU4379799A (en) 1998-06-29 2000-01-17 British Telecommunications Public Limited Company Measurement of performance of communications systems
US6453336B1 (en) * 1998-09-14 2002-09-17 Siemens Information And Communication Networks, Inc. Video conferencing with adaptive client-controlled resource utilization
JP3586719B2 (ja) * 2000-03-23 2004-11-10 日本電信電話株式会社 音声映像通信の品質監視装置および品質監視方法ならびに該方法を記録した記録媒体
JP2001298428A (ja) 2000-04-14 2001-10-26 Genista Corp 通信・放送ネットワークを介した信号伝送の品質評価システム、端末、端末の制御方法、ならびに、情報記録媒体
EP1244312A1 (en) 2001-03-23 2002-09-25 BRITISH TELECOMMUNICATIONS public limited company Multimodal quality assessment
JP2004080177A (ja) * 2002-08-13 2004-03-11 Nippon Telegr & Teleph Corp <Ntt> 映像品質評価装置、映像品質評価方法、映像品質評価プログラム及びそのプログラムを記録した記録媒体
JP4027330B2 (ja) 2004-02-24 2007-12-26 日本電信電話株式会社 音声・映像通信サービス品質推定方法及びその装置
JP4510583B2 (ja) 2004-10-28 2010-07-28 日本電信電話株式会社 双方向マルチモーダルサービス品質推定装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
CN1292197A (zh) * 1998-01-07 2001-04-18 汤姆森许可公司 用于提供视频口唇同步延迟的装置及其方法
CN1318947A (zh) * 2000-03-29 2001-10-24 德国汤姆森-布兰特有限公司 改变音频数据编码或视频数据编码输出延迟的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2005-244321PA 2005.09.08

Also Published As

Publication number Publication date
CN101248679A (zh) 2008-08-20
JPWO2007029731A1 (ja) 2009-03-19
JP4486130B2 (ja) 2010-06-23
CA2617893C (en) 2011-05-03
KR100947275B1 (ko) 2010-03-11
CA2617893A1 (en) 2007-03-15
KR20080028483A (ko) 2008-03-31
WO2007029731A1 (ja) 2007-03-15
EP1924101A4 (en) 2011-09-14
US8405773B2 (en) 2013-03-26
US20090096874A1 (en) 2009-04-16
EP1924101A1 (en) 2008-05-21
EP1924101B1 (en) 2013-04-03

Similar Documents

Publication Publication Date Title
CN101248679B (zh) 视频通信品质推测装置、方法
CN101523916B (zh) 确定视频质量的方法
US8154602B2 (en) Video quality estimation apparatus, method, and program
CN103957216B (zh) 基于音频信号特性分类的无参考音频质量评价方法和系统
US7965203B2 (en) Video quality estimation apparatus, method, and program
US7957303B2 (en) Communication quality evaluation method, derivation device, communication quality evaluation system and computer program
Chen et al. Multimedia quality of experience (QoE): current status and future requirements
JP2007194893A (ja) 映像品質評価装置および方法
JP2008301026A (ja) 映像品質推定方法、装置、およびプログラム
JP4745721B2 (ja) ネットワークコミュニケーションサービス満足度推定装置、方法、およびプログラム
TWI544786B (zh) 受到壓縮假象和通道假象所影響的視訊失真之計算方法和裝置，以及在帶寬限制的傳輸系統內對視訊串流和封包損失復原串流指定可用帶寬之方法和裝置
JP2007135040A (ja) ユーザ体感品質推定装置、方法、およびプログラム
JP4802183B2 (ja) マルチメディア総合品質推定方法および装置
CN113840131B (zh) 视频通话质量评估方法、装置、电子设备及可读存储介质
Xu et al. Optimizing the perceptual quality of real-time multimedia applications
JP2005244321A (ja) 音声・映像通信サービス品質推定方法及びその装置
JP6114702B2 (ja) ユーザ体感品質推定装置、ユーザ体感品質推定方法及びプログラム
Beerends et al. Speech quality measurement for the hearing impaired on the basis of PESQ
JP4460548B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム
CN106464981A (zh) 视频传输方法和装置
CN116647615A (zh) 语音消息发送方法、装置、电子设备和可读存储介质
CN115278362A (zh) 一种云游戏画面流畅度评估方法及装置
JP2006115256A (ja) 総合品質推定装置、方法、およびプログラム
CN112073716A (zh) 一种双层模糊推理的视频质量评估方法及系统
JP4460549B2 (ja) ユーザ体感品質推定装置、方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant