CN109716706A - 客户端装置及其本地时钟偏移校正方法 - Google Patents

客户端装置及其本地时钟偏移校正方法 Download PDF

Info

Publication number
CN109716706A
CN109716706A CN201780055610.3A CN201780055610A CN109716706A CN 109716706 A CN109716706 A CN 109716706A CN 201780055610 A CN201780055610 A CN 201780055610A CN 109716706 A CN109716706 A CN 109716706A
Authority
CN
China
Prior art keywords
time
data
media data
terminal device
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780055610.3A
Other languages
English (en)
Inventor
刘凡材
李仲宰
李恩美
李泰荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Syndicate Corp Real Sense Exchange Human Induction Research Group
Center Of Human Centered Interaction for Coexistence
Original Assignee
Syndicate Corp Real Sense Exchange Human Induction Research Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Syndicate Corp Real Sense Exchange Human Induction Research Group filed Critical Syndicate Corp Real Sense Exchange Human Induction Research Group
Publication of CN109716706A publication Critical patent/CN109716706A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/10—Distribution of clock signals, e.g. skew
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/12—Synchronisation of different clock signals provided by a plurality of clock generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0095—Arrangements for synchronising receiver with transmitter with mechanical means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/0055—Synchronisation arrangements determining timing error of reception due to propagation delay
    • H04W56/0065—Synchronisation arrangements determining timing error of reception due to propagation delay using measurement of signal travel time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/08—Clock generators with changeable or programmable clock frequency

Abstract

本发明的本地时钟偏移校正装置是与对方客户端装置同步化而提供时间感知服务(Time‑aware service)的客户端装置，包括：本地时间供应单元，根据本地时钟提供第一本地时间数据及第二本地时间数据；媒体调度单元，从上述对方客户端装置接收第一媒体数据及第二媒体数据，利用上述第一本地时间数据调度上述第一媒体数据的第一播放时间点，利用上述第二本地时间数据调度上述第二媒体数据的第二播放时间点；以及偏移监测单元，当上述第一播放时间点和上述第二播放时间点的差值超过偏移阈值时，向全球时间服务器请求全球时间数据；上述第一媒体数据和上述第二媒体数据是不同类型的媒体数据。

Description

客户端装置及其本地时钟偏移校正方法
技术领域
本发明涉及客户端装置及其本地时钟偏移校正方法。
背景技术
为了通过诸如远程视频会议、虚拟现实之类的远程用户间各种媒体共享(Share)和内容(Contents)交流来感受真实感，远程用户之间的时间(clock)必须同步化(Synchronization)。普遍的时间同步化方法通常利用一个参考时钟(Reference clock)。
典型的时间同步化方法包括网络时间协议(Network Time Protocol，NTP)和高精度时间同步协议(Precision Time Protocol，PTP)等，通常以一定周期校正时钟偏移(clock skew)。例如，在Windows环境下，系统时间的同步化利用网络时间协议以7天为周期执行本地时钟(local clock)同步化。
以一定周期进行时间同步化的方法可能会由于系统环境(中央处理器(CPU)、周边温度等)而在下一个同步时刻为止相对于参考时间产生数秒以上的差异。在一般Windows操作系统环境下较少利用时间同步化所需系统资源地进行时间同步化，亦即，照顾系统效率(Efficiency)地进行时间同步化。但是，金融、广播等时间准确性影响较大的服务(Time-aware service)中则利用Linux系列的操作系统并持续监测时钟偏移并且进行时间同步化。这是一种即使会导致系统负载增加也要专注于自身时间的准确性(Accuracy)的方法。
效率和准确性直接关系到用户环境的资源(Resource：网络负载，系统负载等)运用。也就是说，通过时间同步化减少参考时间与用户时间之间的误差时能够保证时间的准确性，但是会降低系统资源的运用效率。例如，只喜欢网上冲浪的用户可以忽略数百毫秒(milli-second)的误差，但是对于股票交易等时间依赖性高的服务，数百毫秒的差异可能会导致超越金钱损失的损害。从这方面考虑，为了远程用户之间有真实感的交流而传输各种媒体数据时，需要一种可自适应地调节时间同步化的准确性和系统资源运用效率的方法来代替固定的时间同步化方法。
专利文献1(韩国公开专利公报第10-2015-0011685号(2015年2月2日))揭示了利用网络时间协议的时间同步化管理系统。
发明内容
技术问题
本发明所要解决的技术课题是提供客户端装置及其本地时钟偏移校正方法，该方法能利用媒体数据之间的同步化容许误差自适应地变更时间同步化周期，从而可同时得到时间同步化的准确性和系统资源的运用效率。
技术方案
本发明一实施例的客户端装置是一种为与对方客户端装置同步化而提供时间感知服务(Time-aware service)的客户端装置，包括：本地时间供应单元，根据本地时钟提供第一本地时间数据及第二本地时间数据；媒体调度单元，从上述对方客户端装置接收第一媒体数据及第二媒体数据，利用上述第一本地时间数据调度上述第一媒体数据的第一播放时间点，利用上述第二本地时间数据调度上述第二媒体数据的第二播放时间点；以及偏移监测单元，当上述第一播放时间点与上述第二播放时间点之间的差值所对应的偏移量超过偏移阈值时，向全球时间服务器(global time server)请求全球时间数据；上述第一媒体数据和上述第二媒体数据是不同类型的媒体数据。
上述客户端装置还可包括存储着基于上述第一媒体数据和上述第二媒体数据各自的类型的上述偏移阈值的数据库。
上述偏移监测单元可包括：偏移量计算单元，利用上述第一播放时间点和上述第二播放时间点计算上述第一媒体数据与上述第二媒体数据之间的上述偏移量；偏移量比较单元，用于比较上述偏移阈值和上述偏移量；以及全球时间请求单元，当上述偏移量超过上述偏移阈值时，向上述全球时间服务器请求上述全球时间数据。
上述偏移量比较单元可对上述偏移量乘以加权值后得到的值和上述偏移阈值进行比较。
上述客户端装置还可包括接收上述全球时间数据后校正上述本地时钟的本地时钟校正单元。
上述客户端装置还可包括根据上述第一播放时间点和上述第二播放时间点播放上述第一媒体数据和上述第二媒体数据的渲染(rendering)单元。
上述偏移阈值可以表示不会被用户识别成上述第一媒体数据和上述第二媒体数据非同步播放的最大偏移值。
上述第一媒体数据及第二媒体数据的类型可以是“视频及音频”类型、“触觉及视频”类型、“触觉及音频”类型中的一种。
上述第一媒体数据及上述第二媒体数据可分别是从上述对方客户端装置的相应传感器捕获的媒体数据。
本发明一实施例的本地时钟偏移校正方法，是一种在为与对方客户端装置同步化而提供时间感知服务的客户端装置执行的本地时钟偏移校正方法，包括下列步骤：接收上述对方客户端装置的传感器所捕获的第一媒体数据及第二媒体数据；利用第一本地时间数据调度上述第一媒体数据的第一播放时间点，利用第二本地时间数据调度上述第二媒体数据的第二播放时间点；以及当上述第一播放时间点与上述第二播放时间点之间的差值所对应的偏移量超过偏移阈值时，向上述全球时间服务器请求全球时间数据来校正本地时钟；上述第一媒体数据和上述第二媒体数据是不同类型的媒体数据。
上述本地时钟偏移校正方法还可包括下列步骤，当上述时间感知服务开始时向全球时间服务器请求全球时间数据后校正上述客户端装置的本地时钟。
上述偏移阈值可以表示不会被用户识别成上述第一媒体数据和上述第二媒体数据非同步播放的最大偏移值。
上述第一媒体数据及第二媒体数据的类型可以是“视频及音频”类型、“触觉及视频”类型、“触觉及音频”类型中的一种。
有益效果
本发明的客户端装置及其本地时钟偏移校正方法可利用媒体数据之间的同步化容许误差来自适应地变更时间同步化周期，从而可同时得到时间同步化的准确性和系统资源的运用效率。
附图说明
图1为用于说明本发明一实施例的客户端装置的图。
图2为用于说明本发明一实施例的媒体调度单元的功能的图。
图3为用于说明媒体数据之间发生时钟偏移的延迟因素的图。
图4为用于说明全球时间和本地时间的差值的图。
图5为用于说明可发生在实际媒体数据流的总延迟时间的差值的图。
图6为用于说明媒体之间的时钟偏移的图。
图7为用于说明本发明一实施例的存储于数据库的偏移阈值的例示的图。
图8为针对基于时间同步化周期的效率和准确性进行说明的图。
图9为示出本发明一实施例的请求全球时间数据的伪代码(Pseudo Code)的图。
具体实施方式
以下，参照附图对本发明的实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施。本发明可通过多种不同形态实现，而并不限于在此所说明的实施例。
为了明确说明本发明，省略了与说明无关的部分，在整个说明书中，对于相同或类似的结构要素赋予了相同的附图标记。因此，如上所述的附图标记也可利用在其他附图中。
并且，附图所示的各个结构的大小和厚度为了便于说明而以任意的方式示出，因此，本发明并不局限于附图所示。在附图中，为了明确表示多层和区域，能够以夸张的方式示出大小和厚度。
图1为用于说明本发明一实施例的客户端装置的图。
请参照图1，本发明一实施例的客户端装置10包括本地时间供应单元110、媒体调度单元120以及偏移监测单元150。根据实施例，客户端装置10还可包括数据库140、本地时钟校正单元160以及渲染单元130。
客户端装置10能与对方客户端装置11同步化而提供时间感知服务(Time-awareservice)。在此情况下，客户端装置10和对方客户端装置11能以同步化参考时间利用全球时间服务器9的全球时间数据。
客户端装置10可以是包括至少一个处理器和存储器的计算装置。后述的客户端装置10的本地时间供应单元110、媒体调度单元120、偏移监测单元150、数据库140、本地时钟校正单元160以及渲染单元130可以是能以硬件区分计算装置的单元，但也可以是能以软件区分的单元。
所谓时间感知服务(Time-aware service)是时间同步化占据非常重要地位的实时服务，作为一例，可包括远程视频会议服务、虚拟现实服务、游戏服务等。
全球时间服务器9，作为一例，可以是网络时间协议服务器(Network TimeProtocol server)。全球时间数据，作为一例，可以是网络时间协议数据包。
下面假设客户端装置10从对方客户端装置11接收视频数据和音频数据并且播放给利用客户端装置10的用户的情况后进行说明。下述的处理器能同样适用于对方客户端装置11从客户端装置10接收视频数据和音频数据的情况。
本实施例中，假设第一媒体数据为视频数据而第二媒体数据为音频数据。另一个实施例中，第一媒体数据可以是触觉数据而第二媒体数据可以是视频数据。再一个实施例中，第一媒体数据可以是触觉数据而第二媒体数据可以是音频数据。以全屏高清视频为基准，视频数据大约是6MB大小并且以30fps捕获，音频数据大约是2KB大小并且以43fps捕获。
其中，捕获(capturing)指的是由对方客户端装置11的相应传感器获取媒体数据的处理过程。例如，视频数据可利用相机传感器获取，音频数据可利用麦克风传感器获取。本实施例例示的是对方客户端装置11向客户端装置10传输媒体数据的情况，因此以对方客户端装置11为基准说明捕获，但是在诸如远程视频会议之类的双向服务中却要求客户端设备10也设有相应的传感器。
本地时间供应单元110提供第一本地时间数据tc 1(i)和第二本地时间数据tc 1(j)。亦即，本地时间供应单元11能以客户端装置10的本地时钟为基础提供系统时间(以下称为本地时间数据)。
第一本地时间数据tc 1(i)和第二本地时间数据tc 1(j)指的是媒体调度单元120或其他功能单元在处理数据时需要本地时间时对应于请求时刻的本地时间数据。换句话说，在请求时刻不同的情况下，第一本地时间数据及第二本地时间数据可以互不相同。例如，第一本地时间数据tc 1(i)为第i次请求时刻的本地时间数据，第二本地时间数据tc 1(j)可以是第j次请求时刻的本地时间数据。
媒体调度单元120从对方客户端装置11接收第一媒体数据及第二媒体数据后利用第一本地时间数据tc 1(i)调度第一媒体数据的第一播放时间点ptv 2(i)，利用第二本地时间数据tc 1(j)调度第二媒体数据的第二播放时间点pta 2(j)。将参照图2对此进行更详细的说明。
图1所示时刻tv 2(i)指的是收到第i个第一媒体数据的时刻，时刻ta 2(j)指的是收到第j个第二媒体数据的时刻。
渲染单元130可根据第一播放时间点ptv 2(i)和第二播放时间点pta 2(j)播放第一媒体数据dv 2(i)和第二媒体数da 2(j)。第一媒体数据dv 2(i)和第二媒体数据da 2(j)可以分别是计划在第一播放时间点ptv 2(i)和第二播放时间点pta 2(j)播放的、经过媒体调度单元120调度处理的数据。
媒体调度单元120所收到的第一媒体数据及第二媒体数据和作为渲染单元130播放对象的第一媒体数据dv 2(i)及第二媒体数据da 2(j)在软件处理步骤中具体数据格式可能会互不相同。但第一媒体数据为第一类型的第i个媒体数据(例如，第i个视频数据)而第二媒体数据为第二类型的第j个媒体数据(例如，第j个音频数据)，在这一点上是共同的，因此本说明书对媒体调度单元120及渲染单元130在各个步骤中的第一媒体数据及第二媒体数据使用互相相同的名称。
作为一例，渲染单元130可通过显示装置在第一播放时间点ptv 2(i)播放作为视频数据的第一媒体数据dv 2(i)并且通过扬声器装置在第二播放时间点pta 2(j)播放作为音频数据的第二媒体数据da 2(j)。
数据库140可存储基于第一媒体数据dv 2(i)及第二媒体数据da 2(j)各自的类型的媒体间同步化(inter media synchronization)偏移阈值Sv,a。
媒体间同步化偏移阈值Sv,a可以是第一播放时间点ptv 2(i)和第二播放时间点pta 2(j)的差值会让用户把第一媒体数据dv 2(i)和第二媒体数据da 2(j)识别成非同步播放的值。
例如，在用户感觉通过显示装置显示的人嘴唇动作的视频与通过扬声器装置听到的人音频彼此不匹配的情况下，可以视为用户识别到非同步播放。再举一例，在第一媒体数据为触觉数据而第二媒体数据为视频数据的情况下，当虚拟现实上的用户被显示为撞到特定物体时，若用户感觉到没有针对该时机相应地提供振动之类的触觉刺激的话，则可以视为用户识别到非同步播放。
用户根据第一媒体数据及第二媒体数据的类型具有无法识别非同步播放的容许误差范围，可将这种容许误差范围的边界值设定为偏移阈值Sv,a。
这种偏移阈值可通过用户研究(user study)以实测资料(ground truth)获取，将在后面参照图7对此进行详细说明。
偏移监测单元150在第一播放时间点ptv 2(i)与第二播放时间点pta 2(j)之间的差值所对应的偏移量Sv,a 2(k)超过偏移阈值Sv,a的情况下向全球时间服务器9请求全球时间数据。
偏移监测单元150可包括：偏移量计算单元151，利用第一播放时间点ptv 2(i)及第二播放时间点pta 2(j)计算第一媒体数据dv 2(i)与第二媒体数据da 2(j)之间的偏移量Sv,a 2(k)；偏移量比较单元152，比较偏移阈值Sv,a和偏移量Sv,a 2(k)；以及全球时间请求单元153，当偏移量Sv,a 2(k)超过偏移阈值Sv,a时向全球时间服务器9请求全球时间数据(NTPpacket)。
例如，需要以第一播放时间点ptv 2(i)为基准经过5ms之后实现第二播放时间点pta 2(j)时，如果以第一播放时间点ptv 2(i)为基准经过7ms之后实现第二播放时间点pta 2(j)的话，偏移量计算单元151可算出(+)2ms的偏移量Sv,a 2(k)。
偏移量比较单元152可对偏移量Sv,a 2(k)乘以加权值α后得到的值和偏移阈值Sv,a进行比较。加权值α可以在误差的准确性及资源运用效率中按照媒体特性设定，后面将参照图7对齐进行详细说明。
本地时钟校正单元160可接收全球时间数据后校正本地时钟。本地时间与全球时间同步化的话可以消除针对媒体数据累积的延迟时间误差，因而可使第一媒体数据与第二媒体数据同步化而得以向用户提供高质量的服务。后面将参照图5对此进行更详细说明。
图2为用于说明本发明一实施例的媒体调度单元的功能的图。
请参照图2，图2示出了基于时间戳(timestamp)的媒体数据调度。
媒体调度单元120可以针对通过网络接收并缓冲的第一媒体数据及第二媒体数据的播放时间点进行调度。媒体调度可利用各个媒体数据所包含的序号(index)及时间戳(timestamp)执行(请参照图1)。由于媒体数据的接收时间一直变化，因此需要能按照捕获顺序和捕获时间间隔予以播放的模块，由媒体调度单元120执行上述模块的功能。
媒体的接收时间一直变化的原因很大程度上受传感器和系统的影响。后面将参照图3对此进行说明。
图3为用于说明媒体数据之间发生时钟偏移的延迟因素的图。
请参照图3，图3示出了第一客户端装置(client 1)和第二客户端装置(client 2)所提供的媒体数据流的总延迟时间。各个媒体数据经过捕获(capturing)、编码(encoding)、分包(packetizing)、网络(network)、解包(de-packetizing)、解码(decoding)、缓冲(buffering)以及渲染(rendering)的过程。
例如，由第一客户端装置(client 1)的相机传感器捕获的视频数据经过上述中间过程后最终由第二客户端装置(client 2)的显示装置予以渲染。
延迟因素大致可分为下列4种延迟，亦即，媒体捕获时间变化、编码时间延迟、网络传输时间延迟、解码时间延迟等4种。请参照图3，图3例示性地图示了各个延迟因素的大小。
不考虑这种延迟因素地，亦即，不经过媒体调度过程地播放媒体数据的话，无法保证媒体播放的质量，有时甚至无法使用服务。
然而，4种延迟因素中除了媒体捕获时间变化以外的编码时间延迟、网络传输时间延迟、解码时间延迟通常利用硬件减少延迟因素而不是利用软件减少延迟因素，比较少受参考时间的影响。
图4为用于说明全球时间和本地时间的差值的图。
请参照图4，图4示出了以分为单位对全球时间与本地时间之间的差值测量了24小时以上的图表。
请参照图4的图表，客户端装置的时间相比于全球时间最多能出现(-)28ms的误差。由此可知，在利用本地时间决定媒体捕获时间时时间误差会持续发生并累积。
图5为用于说明可发生在实际媒体数据流的总延迟时间的差值的图。
请参照图5，图5示出了与理想的媒体数据流进行比较时在实际媒体数据流中可发生的最大总时间延迟(maximum real playout delay)和最小总时间延迟(minimum realplayout delay)。
在理想的媒体同步化情况下，可以按照各个模块(捕获模块、编码模块、网络模块、解码模块、渲染模块等)计算出准确的延迟时间后反映到媒体同步化延迟误差，但是在实际的媒体同步中由于各个客户端装置的环境(中央处理器、周边温度、系统优先顺序)一直变化而影响到参考时间，进而导致客户端装置之间发生较大的时间差值，因此对媒体同步化误差给予很大影响。
图6为用于说明媒体之间时钟偏移的图。
请参照图6，图6比较并示出了利用全球时间捕获媒体数据的理想情况(idealcaptured time)与利用本地时间捕获媒体数据的实际情况(real captured time)。
在媒体获取过程中，媒体之间的时钟偏移受到传感器和系统环境的影响。例如，系统的线程优先级变化导致数据捕获处理的顺位变低的话，可能会影响捕获周期。媒体之间的时钟偏移尤其起源于全球时间和本地时间的误差会随时间增加的现象。换句话说，本地时间发生波动的话，会发生理想媒体数据捕获时间与实际媒体数据捕获时间之间的差值并且可能持续累积。
在理想的情况下，作为第一媒体数据的视频数据以30fps恒定地捕获，但实际情况下却由于本地时间发生波动而使得视频数据无法维持30fps的恒定的捕获间隔。如图所示，理想情况和实际情况具有不规则的误差间隔(15ms、8ms、11ms)。
相似地，作为第二媒体数据的音频数据相比理想的情况也具有不规则的误差间隔。
分别发生在第一媒体数据及第二媒体数据的误差间隔以第一媒体数据与第二媒体数据相互之间的时钟偏移现象呈现出来。
图7为用于说明本发明一实施例的存储着数据库的偏移阈值的例示的图。
如上所述，偏移阈值可通过用户研究以实测资料获取，在图7的表中示出了对于3种媒体类型对的例示性偏移阈值。
例如，在第一媒体数据为视频数据而第二媒体数据为音频数据的情况下，以视频数据为基准的音频数据的偏移阈值可以是(-)41ms及(+)45ms。亦即，以所显示的特定视频数据为基准，所匹配的音频数据通过扬声器领先(-)41ms以上地输出或延迟(+)45ms以上地输出时用户可识别出媒体之间的非同步。
在第一媒体数据为触觉数据而第二媒体数据为视频数据的情况下，以触觉数据为基准的视频数据的偏移阈值可以是(-)45ms及(+)45ms。亦即，以触感提供的特定触觉数据为基准，所匹配的视频数据通过显示装置领先(-)45ms以上地显示或者延迟(+)45ms以上地显示时用户可识别出媒体之间的非同步。
在第一媒体数据为触觉数据而第二媒体数据为音频数据的情况下，以触觉数据为基准的音频数据的偏移阈值可以是(-)25ms及(+)42ms。亦即，以触感提供的特定触觉数据为基准，所匹配的音频数据通过扬声器领先(-)25ms以上地输出或者延迟(+)42ms以上地输出时用户可识别出媒体之间的非同步。
图8为针对基于时间同步化周期的效率和准确性进行说明的图。
在决定时间同步化周期时，可以如图8的线801所示地强调效率地利用最大误差范围，或者可以如线803所示地强调准确性地仅允许最小的误差范围。或者可以如线802所示地取其中间值。
换句话说，能以远程用户之间系统资源的运用方面的效率和共享媒体播放的准确性区分。时间同步化周期需要按照媒体特性确定容许误差范围并且将其反映到时间同步化周期。例如，在媒体之间的时间扭曲(时钟偏移)较少或数据捕获周期较低的情况下，可以考虑效率而延长校正周期。相反地，在媒体之间的时间扭曲频繁并且捕获周期较高的情况下，需要考虑准确性而缩短校正周期，因此应该根据环境自适应地调节。
偏移量比较单元152在对应于线802地设定加权值α时，作为一例，可将加权值α设定为0和1之间的值。偏移量比较单元152在对应于线801地设定加权值α时，作为一例，可将加权值α设定为近似于0的值。偏移量比较单元152在对应于线803地设定加权值α时，作为一例，可将加权值α设定为近似于1的值。
这种加权值α可根据实施例或者时间感知服务的种类预先设定，也可以是由用户设定的值。
图9为示出本发明一实施例的请求全球时间数据的伪代码(Pseudo Code)的图。
请参照图9，客户端装置10在决定时间同步化周期时利用图7的表并且利用当前状态的偏移量和加权值α决定时间同步化周期。
作为一例，加权值α为大于0且小于1的值，越接近1越聚焦于准确性地决定时间同步化周期，符合条件时客户端装置10向全球时间服务器9请求时间同步化。
以上，所参照的附图及所记载的具体实施方式仅仅为本发明的例示，使用这些的目的仅在于说明本发明的目的，而不是为了限定含义或权利要求书所记载的本发明的范围。因此，只要是本技术领域的普通技术人员就可以理解可由此进行多种变形及等同的其他实施例。因此，本发明的真正技术保护范围应由所附权利要求书的技术思想而定。

Claims (13)

1.一种客户端装置，与对方客户端装置同步化而提供时间感知服务，其特征在于，包括：
本地时间供应单元，根据本地时钟提供第一本地时间数据及第二本地时间数据；
媒体调度单元，从所述对方客户端装置接收第一媒体数据及第二媒体数据，利用所述第一本地时间数据调度所述第一媒体数据的第一播放时间点，利用所述第二本地时间数据调度所述第二媒体数据的第二播放时间点；以及
偏移监测单元，当所述第一播放时间点与所述第二播放时间点之间的差值所对应的偏移量超过偏移阈值时，向全球时间服务器请求全球时间数据,
所述第一媒体数据和所述第二媒体数据是不同类型的媒体数据。
2.根据权利要求1所述的客户端装置，其特征在于，还包括存储着基于所述第一媒体数据和所述第二媒体数据各自的类型的所述偏移阈值的数据库。
3.根据权利要求2所述的客户端装置，其特征在于，所述偏移监测单元包括：
偏移量计算单元，利用所述第一播放时间点和所述第二播放时间点计算所述第一媒体数据与所述第二媒体数据之间的所述偏移量；
偏移量比较单元，用于比较所述偏移阈值和所述偏移量；以及
全球时间请求单元，当所述偏移量超过所述偏移阈值时，向所述全球时间服务器请求所述全球时间数据。
4.根据权利要求3所述的客户端装置，其特征在于，所述偏移量比较单元对所述偏移量乘以加权值后得到的值和所述偏移阈值进行比较。
5.根据权利要求1所述的客户端装置，其特征在于，还包括接收所述全球时间数据后校正所述本地时钟的本地时钟校正单元。
6.根据权利要求1所述的客户端装置，其特征在于，还包括根据所述第一播放时间点和所述第二播放时间点播放所述第一媒体数据和所述第二媒体数据的渲染单元。
7.根据权利要求2所述的客户端装置，其特征在于，所述偏移阈值表示不会被用户识别成所述第一媒体数据和所述第二媒体数据非同步播放的最大偏移值。
8.根据权利要求1所述的客户端装置，其特征在于，所述第一媒体数据及第二媒体数据的类型为“视频及音频”类型、“触觉及视频”类型、“触觉及音频”类型中的一种。
9.根据权利要求1所述的客户端装置，其特征在于，所述第一媒体数据及所述第二媒体数据分别是所述对方客户端装置的相应传感器所捕获的媒体数据。
10.一种本地时钟偏移校正方法，在与对方客户端装置同步化而提供时间感知服务的客户端装置中执行，其特征在于，包括下列步骤：
接收所述对方客户端装置的传感器所捕获的第一媒体数据及第二媒体数据；
利用第一本地时间数据调度所述第一媒体数据的第一播放时间点，利用第二本地时间数据调度所述第二媒体数据的第二播放时间点；以及
当所述第一播放时间点与所述第二播放时间点之间的差值所对应的偏移量超过偏移阈值时，向所述全球时间服务器请求全球时间数据来校正本地时钟；
所述第一媒体数据和所述第二媒体数据是不同类型的媒体数据。
11.根据权利要求10所述的本地时钟偏移校正方法，其特征在于，还包括下列步骤，当所述时间感知服务开始时向全球时间服务器请求全球时间数据后校正所述客户端装置的本地时钟。
12.根据权利要求10所述的本地时钟偏移校正方法，其特征在于，所述偏移阈值表示不会被用户识别成所述第一媒体数据和所述第二媒体数据非同步播放的最大偏移值。
13.根据权利要求10所述的本地时钟偏移校正方法，其特征在于，所述第一媒体数据及第二媒体数据的类型为“视频及音频”类型、“触觉及视频”类型、“触觉及音频”类型中的一种。
CN201780055610.3A 2016-09-23 2017-09-25 客户端装置及其本地时钟偏移校正方法 Pending CN109716706A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2016-0122221 2016-09-23
KR1020160122221A KR101853441B1 (ko) 2016-09-23 2016-09-23 클라이언트 장치 및 그 로컬 클럭 스큐 보정 방법
PCT/KR2017/010568 WO2018056781A1 (ko) 2016-09-23 2017-09-25 클라이언트 장치 및 그 로컬 클럭 스큐 보정 방법

Publications (1)

Publication Number Publication Date
CN109716706A true CN109716706A (zh) 2019-05-03

Family

ID=61689619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780055610.3A Pending CN109716706A (zh) 2016-09-23 2017-09-25 客户端装置及其本地时钟偏移校正方法

Country Status (4)

Country Link
US (1) US11022999B2 (zh)
KR (1) KR101853441B1 (zh)
CN (1) CN109716706A (zh)
WO (1) WO2018056781A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110100473B (zh) * 2016-12-26 2023-02-17 瑞典爱立信有限公司 在nr中快速接入相邻小区同步信号
US10346226B2 (en) * 2017-08-07 2019-07-09 Time Warner Cable Enterprises Llc Methods and apparatus for transmitting time sensitive data over a tunneled bus interface
US10838450B2 (en) 2018-09-28 2020-11-17 Apple Inc. Methods and apparatus for synchronization of time between independently operable processors
US20220210294A1 (en) * 2020-12-30 2022-06-30 Ati Technologies Ulc Software-implemented genlock and framelock

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050254440A1 (en) * 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
KR20060083397A (ko) * 2003-04-18 2006-07-20 도시바 엘리베이터 가부시키가이샤 엘리베이터의 로프 게이지
CN101212690A (zh) * 2006-12-26 2008-07-02 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
CN101778269A (zh) * 2009-01-14 2010-07-14 扬智电子（上海）有限公司 机顶盒的音视频帧的同步方法
CN103905742A (zh) * 2014-04-10 2014-07-02 北京数码视讯科技股份有限公司 视频文件的切分方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100604792B1 (ko) * 1999-09-21 2006-07-26 삼성전자주식회사 송신장치와 수신장치를 구비하는 광 전송 시스템
US7283568B2 (en) * 2001-09-11 2007-10-16 Netiq Corporation Methods, systems and computer program products for synchronizing clocks of nodes on a computer network
KR100422068B1 (ko) * 2001-09-28 2004-03-11 한국전자통신연구원 멀티미디어 스트리밍 서비스를 위한 파일 동기화 방법 및 그 장치
EP1645127B1 (en) * 2003-07-08 2010-05-19 Panasonic Corporation Contents storage system, home server apparatus, information supply apparatus, integrated circuit, and program
US7631119B2 (en) * 2004-06-25 2009-12-08 Apple Inc. Techniques for providing audio for synchronized playback by multiple devices
US8233540B2 (en) 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
US7500175B2 (en) * 2005-07-01 2009-03-03 Microsoft Corporation Aspects of media content rendering
US8020084B2 (en) * 2005-07-01 2011-09-13 Microsoft Corporation Synchronization aspects of interactive multimedia presentation management
JP2007274019A (ja) * 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd デジタル方式情報配信システムおよびその方法
US8576922B2 (en) * 2007-06-10 2013-11-05 Apple Inc. Capturing media in synchronized fashion
EP2149264B1 (en) * 2007-07-02 2011-01-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for processing and reading a file having a media data container and a metadata container
US7936790B2 (en) * 2007-08-30 2011-05-03 Silicon Image, Inc. Synchronizing related data streams in interconnection networks
US8412806B2 (en) * 2007-11-14 2013-04-02 Red Hat, Inc. Setting a preliminary time on a network appliance using a message received from a server
JP2009133776A (ja) * 2007-11-30 2009-06-18 Sony Corp 撮像装置と時刻修正方法
US8554951B2 (en) * 2011-03-08 2013-10-08 Rackspace Us, Inc. Synchronization and ordering of multiple accessess in a distributed system
US8571471B2 (en) * 2011-04-22 2013-10-29 Adam Kuenzi Batteryless lock with trusted time
US9525501B2 (en) * 2011-06-03 2016-12-20 Adobe Systems Incorporated Automatic render generation of an audio source
US10735486B2 (en) * 2012-12-28 2020-08-04 Qualcomm Incorporated Device timing adjustments and methods for supporting dash over broadcast
US9307508B2 (en) * 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
KR20150011685A (ko) * 2013-07-23 2015-02-02 한국전자통신연구원 독립형 ntp 관리 서버를 이용한 장비 시간 동기화 관리 시스템
US9739888B2 (en) * 2013-09-12 2017-08-22 Marvell World Trade Ltd. Method, system and device for position determination with predicted ephemeris
CN104581202B (zh) * 2013-10-25 2018-04-27 腾讯科技（北京）有限公司 音视频同步方法与系统及编码装置和解码装置
US9911433B2 (en) * 2015-09-08 2018-03-06 Bose Corporation Wireless audio synchronization
EP4033770A1 (en) * 2015-11-17 2022-07-27 Livestreaming Sweden AB Video distribution synchronization
US11381863B2 (en) * 2016-03-17 2022-07-05 Disney Enterprises, Inc. Systems and methods for creating custom media channels
US10444788B2 (en) * 2017-08-22 2019-10-15 Wind River Systems, Inc. Device, system, and method for synchronizing time partition windows

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083397A (ko) * 2003-04-18 2006-07-20 도시바 엘리베이터 가부시키가이샤 엘리베이터의 로프 게이지
US20050254440A1 (en) * 2004-05-05 2005-11-17 Sorrell John D Private multimedia network
CN101212690A (zh) * 2006-12-26 2008-07-02 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
CN101778269A (zh) * 2009-01-14 2010-07-14 扬智电子（上海）有限公司 机顶盒的音视频帧的同步方法
CN103905742A (zh) * 2014-04-10 2014-07-02 北京数码视讯科技股份有限公司 视频文件的切分方法及装置

Also Published As

Publication number Publication date
WO2018056781A1 (ko) 2018-03-29
KR101853441B1 (ko) 2018-05-02
US20200019208A1 (en) 2020-01-16
KR20180032917A (ko) 2018-04-02
US11022999B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109716706A (zh) 客户端装置及其本地时钟偏移校正方法
CN106507202B (zh) 播放控制方法及装置
KR102370706B1 (ko) 게임 시스템들에서 디스플레이 랙의 검출 및 보상
US8316155B2 (en) Distributed robust clock synchronization
CN107277594B (zh) 一种视音频与弹幕同步方法及装置
CN112154669B (zh) 基于系统时钟的视频流帧时间戳的相关
KR20160079862A (ko) 센서 데이터 시간 정렬
CN108449617A (zh) 一种控制音视频同步的方法及装置
US20200145704A1 (en) Synchronous playback system and synchronous playback method
CN110024411A (zh) 用于流传输内容的网络流量分发
US9350803B2 (en) Information management method and device
US20160301961A1 (en) Video smoothing method and device
JP7149323B2 (ja) リモートデータのアプリケーションによる消費を同期させるための方法と装置
CN108631897B (zh) 一种网络校时方法及装置
WO2015017173A1 (en) Self-adaptive sample period for content sharing in communication sessions
CN109547830B (zh) 一种用于多个虚拟现实设备的同步播放的方法与装置
CN110809041A (zh) 一种数据同步方法、装置、电子设备及存储介质
US20220095149A1 (en) Method and apparatus for reducing latency and collisions in a virtual reality/alternate reality system
CN116420129A (zh) 多协议同步
US10826838B2 (en) Synchronized jitter buffers to handle codec switches
KR20150036829A (ko) 네트워크 어플리케이션에서 데이터 동기화하는 방법 및 시스템
CN105389217B (zh) 一种基于安卓系统的同步执行事务方法
Lin et al. A synchronous display of partitioned images broadcasting system via VPN transmission
EP3667461B1 (en) Method computer program and driver unit for streaming gaze data packets
Liu et al. Improving Resource and Energy Efficiency for Cloud 3D through Excessive Rendering Reduction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190503