CN107211078B - 基于vlc的视频帧同步 - Google Patents

基于vlc的视频帧同步 Download PDF

Info

Publication number
CN107211078B
CN107211078B CN201580074144.4A CN201580074144A CN107211078B CN 107211078 B CN107211078 B CN 107211078B CN 201580074144 A CN201580074144 A CN 201580074144A CN 107211078 B CN107211078 B CN 107211078B
Authority
CN
China
Prior art keywords
video
processor
alignment identifier
light
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580074144.4A
Other languages
English (en)
Other versions
CN107211078A (zh
Inventor
王乐
米连科·奥普塞尼查
托马斯·梅克林
海迪-马利亚·贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN107211078A publication Critical patent/CN107211078A/zh
Application granted granted Critical
Publication of CN107211078B publication Critical patent/CN107211078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/0675—Arrangements or circuits at the transmitter end for mixing the synchronising signals with the picture signal or mutually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0075—Arrangements for synchronising receiver with transmitter with photonic or optical means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Security & Cryptography (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

拍摄场景的多个用户设备(1，2，3)的摄像机(4)检测到表示对齐标识符的VLC信号。解码来自用户设备(1，2，3)的编码视频帧(91，92，93)，并且解码之后在至少一些视频帧中识别表示所捕捉的VLC信号的光图案。将光图案解码为对齐标识符，对齐标识符用于对来自不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐，从而实现来自记录场景的多个用户设备(1，2，3)的视频数据的视频帧同步。因此，这些实施例在不需要用户设备(1，2，3)和视频同步系统(10)之间的精确时钟同步的情况下实现了视频帧同步。

Description

基于VLC的视频帧同步
技术领域
本实施例总体上涉及视频帧同步，具体地，涉及源自记录场景的多个用户设备的视频帧的同步。
背景技术
高速移动互联网的进步以及诸如手机、智能手机和平板电脑等用户设备的能力带来了消费移动直播视频流服务的新途径。用户也很需要拍摄社交事件，例如足球比赛或音乐节，以呈现用户自己的故事版本。新兴的应用允许用户以类似于制作专业的直播TV的方式协同使用多个移动摄像机制作视频。如图1所示，场景包括三个用户角色，即，制作人、导演和消费者。制作人是具有用户设备1、2、3的用户，用户设备1、2、3协作记录和流传输例如在体育场中的视频馈送到应用服务器或系统10。视频馈送的混合使导演能够进行视频指导和丰富内容主张。消费者能够基于导演的选择而不仅仅是传统TV广播提供的少数选项从不同视点观看事件的实况直播。
在社交多媒体环境中，导演希望监视来自制作人的同步比特流。仅将每个比特流同时发送到其物理输出硬件不一定能确保同步。在专业的直播视频制作中，多个摄像机馈送之间的同步通过专用硬件完成。然而，当通过无线连接流传输来自用户设备1、2、3的视频时，这种方法是不实际的。因为延迟是无线网络的固有特征，并且当数据业务量上升时，通常会发生网络拥塞。这意味着每个用户设备1、2、3都经历不同的网络延迟，对于给定的用户设备1、2、3，这可能进一步随时间而变化。因此，网络延迟的差异和变化导致每个视频流在系统10处的到达时间不同。到达时间的差异对所感知的视频帧产生了很大的影响，从而导致向导演呈现的直播馈送的不同步。这意味着导演将无法以同步方式对多个比特流进行编辑。如图2所示，图2示出了来自用户设备1、2、3的比特流或视频流81、82、83，标记的视频帧91、92、93由用户设备1、2、3的摄像机同时拍摄。由于网络延迟，标记的视频帧91、92、93到达系统10的时间是不同的。因此，社交视频流传输的最重要的要求之一是足够的同步，使得每个视频流彼此对齐。多制作人视频拍摄出现不同步的问题，这必须被解决。
在本领域中已经提出了用于实现视频流之间的同步的各种技术。
在一种解决方案中，使用时钟同步。使用由用户设备上的摄像机的内部时钟生成的时间戳来计算同步偏移。该解决方案是最有效的处理方法之一。然而，一些用户设备不具有内部高精度时钟。因此，时钟漂移和偏离可能导致用户设备不同步。此外，该解决方案要求所有用户设备都与集中式网络时间协议(NTP)服务器同步。每个用户设备与系统之间的传输延迟也将彼此不同，特别是当无线网络高度拥塞时。
在另一个解决方案中，从音频流中提取音频指纹，并将音频指纹进行比较，以在多个摄像机正记录相同事件时找到所有音频流之间的匹配。通过比较类似的声音匹配的出现，可以计算同步偏移。然而，该解决方案要求所有用户设备都足够接近事件，这是因为声音的速度比光速慢得多。当观看大型体育场中的体育比赛时，与另一个用户设备记录的声音相比，更靠近声音源的用户设备记录的声音可能会提前高达一秒。此外，人群产生的噪音也将降低找到合适的音频指纹的准确性。这意味着音频指纹通常将不能非常可靠地实现涉及多个用户设备的视频帧同步。
在另一解决方案中，采用外部硬件同步的摄像机或所谓的摄像机间同步。这样的解决方案需要将用户设备的摄像机物理地连接到外部同步硬件。它经常用于专业的直播视频制作。然而，在社交视频流传输场景中，在社交事件中同步所有用户的用户设备是不实际的，并且几乎是不可能的。
在另一个解决方案中，通过在蜂窝或移动通信网络中的基站中实现新特征，将时间戳添加到视频流。然而，问题在于并不是所有用户设备都通过相同的网络提供商连接到因特网，其中一些可能通过事件组织者提供的无线局域网(WLAN)来连接。为了克服这个问题，该解决方案必须访问每个基站和WLAN接入提供商，这在异构网络中引入了复杂的管理问题并增加了相应的成本。
另一个解决方案涉及分析输入的视频流，以及监视视频帧的序列，以发现针对多种不同类型的视觉事件中的至少一种的发生。应当在所有视频流中检测所选的视觉事件的发生，并将其作为标记来同步所有视频流。然而，该解决方案要求所有用户设备都记录至少一个公共视觉事件，以在来自每个用户设备的所有视频流中找到该标记。如果用户设备正在关注事件的不同部分，则该解决方案无法识别该标记。
US 6,317,166公开了一种同步帧发生器，其用于创建同时的容易可见的同步标记作为多通道图像产生系统的一部分。可以使用简单的检测电路在多摄像机系统产生的任何记录的回放期间检测独特的同步帧。
因此，需要一种有效的解决方案来实现源自不同用户设备的比特流的同步。
发明内容
总体目的是实现源自不同用户设备的视频流的视频同步。
该目的和其它目的由本文公开的实施例来满足。
实施例的一个方面涉及一种视频同步方法，包括用调制信号调制对齐标识符以获得光控制信号。该方法还包括向连接到具有可见光通信(VLC)能力的光源的光控制器输出光控制信号。光控制器被配置为根据光控制信号控制具有VLC能力的光源以输出VLC信号。该方法还包括从多个用户设备中的每个用户设备接收表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧的比特流。该方法还包括，针对多个用户设备中的每个用户设备，对比特流的编码视频帧进行解码，以获得解码视频帧流。该方法还包括，针对多个用户设备中的每个用户设备，在解码视频帧流的至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。该方法还包括，针对多个用户设备中的每个用户设备，将光图案解码为对齐标识符。该方法还包括，基于对齐标识符，对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
实施例的另一方面涉及一种视频同步服务器系统。视频同步系统被配置为用调制信号调制对齐标识符以获得光控制信号。视频同步系统还被配置为向光控制器输出光控制信号，所述光控制器连接到具有VLC能力的光源并被配置为根据光控制信号控制具有VLC能力的光源输出VLC信号。视频同步系统还被配置为从多个用户设备中的每个用户设备接收表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧的比特流。视频同步系统还被配置为针对多用户设备中的每个用户设备，对比特流的编码视频帧进行解码以获得解码视频帧流。视频同步系统还被配置为，针对多个用户设备中的每个用户设备，在至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。视频同步系统还被配置为，针对多个用户设备中的每个用户设备，将光图案解码为对齐标识符。视频同步系统还被配置为，基于对齐标识符对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
实施例的另一个方面涉及一种视频同步系统，包括用调制信号调制对齐标识符以获得光控制信号的调制器。视频同步系统还包括输出单元，用于输出光控制信号以发送给光控制器，所述光控制器连接到具有VLC能力的光源并被配置为根据光控制信号控制具有VLC能力的光源输出VLC信号。视频同步系统还包括帧解码器，用于针对多个用户设备中的每个用户设备，对从用户设备接收的比特流的编码视频帧进行解码，以获得解码视频帧流。比特流包括表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧。视频同步系统还包括图案识别器，用于针对多个用户设备中的每个用户设备，在至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。视频同步系统还包括图案解码器，用于针对多个用户设备中的每个用户设备将光图案解码为对齐标识符。视频同步系统还包括时间对齐器，用于基于对齐标识符对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
实施例的又一方面涉及一种包括指令的计算机程序，所述指令当被处理器执行时使得所述处理器用调制信号调制对齐标识符以获得光控制信号。还使得处理器输出光控制信号，以发送给光控制器，所述光控制器连接到具有VLC能力的光源并被配置为根据光控制信号控制具有VLC能力的光源输出VLC信号。还使得处理器针对多个用户设备中的每个用户设备对从用户设备接收的比特流的编码视频帧进行解码，以获得解码视频帧流。比特流包括表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧。还使得处理器针对多个用户设备中的每个用户设备并且，在至少一个解码视频帧中识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。还使得处理器针对多个用户设备中的每个用户设备将光图案解码为对齐标识符。还使得处理器基于对齐标识符对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
实施例的相关方面定义了一种载体，包括上文定义的计算机程序。载体是以下之一：电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质。
本实施例解决了例如在社交媒体环境中源自记录场景的不同用户设备的视频帧不同步的问题。这些实施例实现了可靠且实现友好(即低复杂度)的同步来自多个用户设备的视频流的解决方案。
附图说明
通过参考以下结合附图的描述，可以最好地理解实施例及其进一步的目的和优点，在附图中：
图1示出了体育赛事的社交视频流传输；
图2示意性地示出了从多个用户设备发送的比特流的同步缺失；
图3是示出了根据实施例的视频同步方法的流程图；
图4是示出了图3所示的视频同步方法的附加的可选步骤的流程图；
图5是示出了图3所示的视频同步方法的附加的可选步骤的流程图；
图6是示出了图3所示的视频同步方法的附加的可选步骤的流程图；
图7是示出了图3所示的视频同步方法的附加的可选步骤的流程图；
图8是示出了图3所示的视频同步方法的附加的可选步骤的流程图；
图9是示出了图3所示的视频同步方法的附加的可选步骤的流程图；
图10示意性地示出了根据实施例的用于实现视频帧的同步的用户设备和视频帧同步系统以及操作流程的概览；
图11A和11B示出了根据实施例更详细地示出了用户设备和视频同步系统之间的操作流程；
图12A和12B示出了根据实施例的示出对编码视频帧的比特流的处理的流程图；
图13示意性地示出了视频帧中的光图案的示例；
图14示意性地示出了根据实施例的视频同步服务器系统的框图；
图15示意性地示出了根据另一实施例的视频同步服务器系统的框图；
图16示意性地示出了根据另一实施例的视频同步服务器系统的框图；以及
图17示意性地示出了根据实施例的计算机程序实现方式。
具体实施方式
贯穿附图将相同的附图标记用于类似或对应的要素。
本实施例总体上涉及视频帧同步，具体地，涉及源自记录场景的多个用户设备的视频帧的同步。
由此，这些实施例例如结合诸如游戏或音乐会的社交事件实现了用于多个用户设备的视频流传输的视频帧同步。作为视频帧同步的结果，可以通过从与用户相对于记录的场景的位置相对应的不同视点提供事件的视频来进行视频指导和丰富内容主张。
实施例的视频帧同步甚至能够对源自可能属于并由此连接到不同接入网络的用户设备的视频帧进行同步。因此，即使一些用户设备连接到诸如一个或多个蜂窝或移动通信网络的第一接入网络，而其他用户设备连接到诸如WLAN的第二接入网络，这种视频帧同步也是可能的。
用户设备优选地是移动或便携式用户设备(例如，移动电话、智能电话、平板电脑、膝上型计算机、具有无线通信电路的摄影机等)的形式。
在下文中，视频帧用于表示视频流的画面或图像。因此，视频帧可以备选地在本领域中被表示为(视频)画面或(视频)图像。如视频编码领域中已知的，根据视频编码标准对视频帧进行编码以获得经编码的视频帧，例如帧内编码帧、或I帧或画面、或者帧间编码帧、或P或B帧或画面。
图3是示出了根据实施例的视频同步方法的流程图。针对多个(即至少两个)用户设备中的每个用户设备，执行如图所示的步骤S1至S6，其由阴影线示意性地指示。该方法从步骤S1开始，其包括用调制信号调制对齐标识符以获得光控制信号。在步骤S2中，光控制信号被输出到光控制器，所述光控制器与具有可见光通信(VLC)能力的光源相连。光控制器被配置为根据光控制信号控制具有VLC能力的光源以输出VLC信号。接下来的步骤S3包括从多个用户设备中的每个用户设备接收表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧的比特流。在步骤S4中，针对多个用户设备中的每个用户设备，对编码视频帧的比特流进行解码，以获得解码视频帧流。步骤S5包括：针对多个用户设备中的每个用户设备，在解码视频帧流的至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。在步骤S6中，针对多个用户设备中的每个用户设备，将光图案解码为对齐标识符。最后，步骤S7包括：基于对齐标识符，对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
因此，视频同步方法基于产生光控制信号，所述光控制信号用于控制或驱动具有VLC能力的光源以输出可被用户设备的摄像机或连接到用户设备的摄像机检测到的VLC信号。因此，摄像机将在记录场景的同时捕捉VLC信号。因此，摄像机将输出包括表示所捕捉的VLC信号的光图案在内的至少一个视频帧。摄像机生成的视频帧被编码为被接收和解码的相应比特流。识别包括光图案的各个解码视频帧，并对光图案进行解码，以获得相应对齐标识符。然后，可以使用对齐标识符以对来自不同用户设备的视频帧进行时间对齐。这是可能的，因为在不同用户设备处的同一时间点记录了包括在解码光图案之后产生相同对齐标识符的光图案在内的视频帧。因此，通过对来自各个用户设备的视频帧进行时间对齐，这些视频帧可以用作时间或同步锚点，使得所识别的包括光图案在内的视频帧是时间对齐的，从而具有相同的输出或回放时间。
由此，在一个实施例中，步骤S7基于对齐标识符的相应值对来自不同用户设备的视频帧进行时间对齐。具体地，应当对包括产生相同或相对应的值的对齐标识符的光图案在内的视频帧进行时间对齐，使得它们具有相同的输出或回放时间。
在具体实施例中，步骤S7包括：向来自不同用户设备的具有相同或相对应的值的对齐标识符的视频帧分配相同的输出或回放标识符值。备选地或附加地，步骤S7包括：向来自不同用户设备的视频帧分配输出或回放标识符值，使得来自不同用户设备的具有相同或相对应的值的对齐标识符的视频帧将被分配以相同的输出或回放标识符值。
在第一种情况下，将输出或回放标识符分配给所识别的包括光图案的视频帧，并且优选地，还分配给按照回放或输出顺序在所识别的这些视频帧之后的其他视频帧。在后一种情况下，不必将该输出或回放标识符分配给所识别的视频帧，而是分配给按照回放或输出顺序在所识别的这些视频帧之后的其他视频帧。原因是可以从各个流中移除所识别的视频帧，因为光图案可能导致噪声或失真，给观众带来视觉上烦恼的影响。在这种情况下，由于它们将被移除，所以并不绝对必要，但也确实有可能向所识别的这些视频帧分配输出或回放标识符。但是，然后以这样的方式执行将回放或输出标识符值分配给相应流的其他视频帧，使得在具有光图案的相应标识符视频帧之后每个流中的视频帧号k(假设相同的帧率)都被分配以相同的回放或输出标识符值。
回放或输出标识符的示例是画面顺序计数(POC)，其通常用于表示视频解码后的视频帧的输出顺序。输出可以是用于显示或回放的输出，但也可以表示用于存储的输出、用于转码的输出或用于某种其他形式的处理的输出。实际上，根据实施例，可以使用表示视频帧的回放或输出顺序的任何编号或标识符序列。
在另一具体实施例中，步骤S7包括在相同时间点输出来自不同用户设备的具有相同或相对应的值的对齐标识符的视频帧。因此，在本实施例中，可以不必为不同流的视频帧分配回放或输出标识符。与此形成鲜明对比的是，以在相同时间点输出具有相同或相对应的值的对齐标识符的视频帧的方式来输出视频帧。优选地，进一步输出在这些相应视频帧之后的视频帧，以保持流之间的时间对齐。这意味着优选在相同的时间点输出第一流中在包括从中获得对齐标识符的光图案的视频帧之后的视频帧号k和不同的第二流中在包括从中获得对齐标识符的光图案的视频帧之后的视频帧编号k(假定两个流具有相同帧率)。
在典型的实施例中，比特流的每个视频帧具有相应的画面号或帧号。在这种情况下，可以通过匹配来自不同用户设备的所选择的视频帧的帧号来执行时间对齐，使得这些视频帧是时间对齐的。例如，假设来自用户设备号1的帧号f1的视频帧包括产生对齐标识符AD1的光图案，来自用户设备号2的帧号f2的视频帧包括产生对齐标识符AD1的光图案，以及来自用户设备号3的帧号f3的视频帧包括产生对齐标识符AD1的光图案。然后比较这些对齐标识符的值，如果它们相等(如本情况)，则确定帧号分别为f1、f2、f3的视频帧应当时间对齐。例如，这可以通过在相同的时间点输出这三个视频帧或通过将相同的回放或输出标识符值分配给这些视频帧来实现。
在上述实施例中，比较对齐标识符的值，以查明它们是相同的值还是具有相对应的值。在后一种情况，即相对应的值的情况下，对齐标识符可以由至少两部分组成，例如，特定于给定的具有VLC能力的光源或光控制器的一部分和表示时间参考的一部分(例如以序号的形式)。这意味着可以控制不同的具有VLC能力的光源，以基于不同的光控制信号而在同一时间点输出VLC信号。然而，对来自捕捉这些不同VLC信号的用户设备的视频帧中的光图案进行解码产生具有与光源或光控制器特定部分相对应的不同部分和与时间参考或序号相对应的公共部分的对齐标识符。在该方法中，如果第一对齐标识符和第二对齐标识符具有相同的时间参考或序号，即具有相同的公共部分的值，则第一对齐标识符和第二对齐标识符可以视为具有相对应的值，即使它们在对齐标识符的光源或光控制器特定部分上具有不同的值。然后，时间参考或序号是不同的具有VLC能力的光源在相同时间点输出VLC信号的指示。
除了确定输出VLC信号的时间点之外，使用对齐标识符的不同部分可能有益于能够确定从哪个具有VLC能力的光源输出给定的VLC信号。该信息可以用于提供已捕捉相应VLC信号的用户设备的空间信息或位置信息。因此，从具有VLC能力的第一光源捕捉VLC信号的第一用户设备与从具有VLC能力的第二光源捕捉VLC信号的第二用户设备相比，通常相对于场景在不同位置或至少在不同方向上。
从相应对齐标识符获得的位置信息可以在选择将哪些视频帧流混合或组合时使用，例如仅混合来自位置在相对于场景的限定区域中的用户设备的视频帧流(例如基于对齐标识符的光源或光控制器特定部分来确定)。
用于调制图3的步骤S1中的对齐标识符的调制信号优选是脉宽调制(PWM)信号。例如，对齐标识符可以被调制到用于驱动商用和家用发光二极管(LED)照明的标准PWM信号上。调制信号可以由例如通过金属氧化物半导体场效应晶体管(MOSFET)驱动电路驱动商用LED灯的低成本微控制器来产生。
然后，光控制器根据光控制信号控制或驱动具有VLC能力的光源，以输出VLC信号，即以高频开关变化闪烁编码信号。当用户设备的摄像机或连接到用户设备的摄像机记录诸如社交事件的场景时，VLC信号被记录为视频流的一部分。然后可以以一些视频帧中存在的光图案的形式来检测VLC信号，参见图13。
例如，假设光控制器接收由10100010bin表示的光控制信号。然后，光控制器控制其连接的具有VLC能力的光源根据光控制信号的模式进行闪烁，在本示例中即，通、断、通、断、断、断、通、断。
具有VLC能力的光源按照光控制信号产生的闪烁高频运行。优选地，这种快速闪烁频率很高，人类不可察觉，但是仍被用户设备的摄像机捕捉或连接到用户设备的摄像机捕捉到。然而，在某些情况下，当摄像机捕捉VLC信号时，质量可能因一些视频帧中存在的光图案而下降。在这种情况下，可以改变产生对齐信号或光控制信号的操作，如本文进一步描述。备选地或附加地，可以对包括光图案的视频帧进行选择性处理，如图4和5进一步的公开。
图4是图3所示方法的附加、可选步骤的流程图。该方法从图3中的步骤S7继续。下一步骤S10包括识别包括光图案的至少一个解码视频帧，所述光图案表示由用户设备的摄像机或连接到用户设备摄像机捕捉的VLC信号。然后，在步骤S11中，从解码视频帧流中移除所识别的至少一个解码视频帧。下面的步骤S13包括将解码视频帧流中的视频帧编码为编码视频帧。然后该方法结束。
优选地，针对在步骤S7中时间对齐的每个解码视频帧流执行步骤S10、S11和S13的操作。这意味着移除了相应流中包括可能降低视频质量的光图案的视频帧。因此，在优选实施例中，仅输入没有任何潜在干扰光图案的视频帧，以编码并进一步由导演来处理或发送给消费者。
图5是示出了用于移除视频帧的备选实施例的流程图。该方法从图3中的步骤S7继续，并继续到步骤S10。可以如以上结合图4所述，执行该步骤S10。下一步骤S12包括用解码视频帧流中没有光图案的相邻解码视频帧替换所识别的至少一个解码视频帧。然后，该方法继续到如上结合图4所述而执行的步骤S13。
优选地，针对在步骤S7中时间对齐的每个解码视频帧流执行步骤S10、S12和S13的操作。
因此，在该实施例中，包含潜在干扰光图案的视频帧可以被替换为位于相同解码视频帧流中的相邻视频帧，并且该相邻视频帧不包括光图案。本文所使用的相邻视频帧优选是指按照输出顺序的相邻，输出顺序可以不同于视频帧的编码和编码顺序。因此，如果给定流中的视频帧号h包括光图案，则该视频帧可以由给定流中的视频帧号h-1替代，其中视频帧的编号根据输出顺序。
因此，相邻视频帧优选地对应于流中紧邻的视频帧，即，视频帧号h-1是用于视频帧号h的相邻视频帧。相邻的视频帧也可以对应于视频帧号h+1或实际上h±q，其中q是定义的整数值，优选q＝1、2或3。
通常，通过用流中的相邻视频帧替换视频帧，几乎没有可察觉的质量恶化。
可以根据不同的实施例来执行步骤S12中的替换所识别的至少一个视频帧。例如，被替换的视频帧可以根据例如使用相邻视频帧作为参考帧的H.264或H.265视频编码标准的所谓的跳过(skip)模式或合并(merge)模式来进行编码。
图6是示出了视频同步方法的附加的可选步骤的流程图。该方法从图3中的步骤S4继续。下一步骤S20包括测量多个用户设备中的每个用户设备的比特流传输的底噪。接下来的步骤S21包括针对多个用户设备的每个用户设备并且基于在步骤S20中执行的测量来检测光图案在图像频域中的频率。然后，该方法继续到图3的步骤S5，在步骤S5中识别光图案。在本实施例中，步骤S6优选地包括针对多个用户设备中的每个用户装置并且基于光图案的频率的信息对光图案进行解码。
因此，测量来自用户设备的每个传输的底噪，以便检测光图案在图像频域中的频率，从而推断脉冲VLC信号的频率。一旦发现了光图案，就可以对其进行解码以获得原始对齐标识符。比较从每个视频流确定的对齐标识符，并且将匹配视为允许视频流的时间对齐的标记。
实际上，帧可以包含多个频率。不同频率的组合可以表示有意义的符号。因此，一系列这样的符号表示对齐标识符。
关于检测光图案的频率和将光图案解码成对齐标识符的更多信息可以见于Rajagopal等人的Visual Light Landmarks for Mobile Devices，IPSN′14Proceedingsof the 13th symposium on Information processing in sensor networks，第249-260页，其中第252-254页的第IV节Visual Light Communication，将其教导并入本文，作为如何产生对齐标识符和光控制信号以及如何检测和解码光图案以获得对齐标识符的参考示例。
如前所述，一些视频帧中存在光图案在某些情况下可能在一定程度上降低视频的质量。在大多数情况下，任何这样的质量恶化都不能被观众察觉。然而，如果质量被确定或估计为低得不可接受，则可以使用实施例来监视质量，并且控制和调整对齐标识符的调制和/或产生。
图7是示出了视频同步方法的附加的可选步骤的流程图。该方法从图3中的步骤S7继续。下一步骤S30包括获得代表多个用户设备中的至少一个用户设备的比特流传输的质量的服务质量(QoS)参数。以下步骤S31包括基于QoS参数的值来控制对齐标识符(ID)的调制和/或对齐标识符的产生。
QoS参数可以是表示编码视频帧的比特流的传输质量的任何参数。根据实施例可以使用的QoS参数的示例性而非限制性的示例包括：实时传输协议(RTP)控制协议(RTCP)反馈，例如包含关于服务质量的信息的接收器报告(RR)；以及视频质量相关参数，例如帧率、丢包率、比特率、抖动和延迟。
在上述实施例中，基于获得的QoS参数来控制对齐标识符的调制和/或产生。图8示出了可以用来代替或补充基于QoS参数的调制和/或产生控制的另一实施例。该方法从图3中的步骤S7继续。下一步骤S40包括获得表示多个用户设备中的至少一个用户设备的比特流的视频数据的质量的质量得分。下一步骤S41包括基于质量得分来控制对齐标识符(ID)的调制和/或对齐标识符的产生。
相比于步骤S30中获得的QoS参数，步骤S40中获得的质量得分与视频数据的人类感知质量更相关。因此，质量得分可能是来自导演的人类反馈。例如，这可能是导演注意到但使用RTCP反馈却没有检测到的、由VLC信号引起的干扰的情况。例如，质量得分可以是平均意见得分(MOS)的形式。
两种类型的质量参数(即QoS参数和质量得分)彼此互补。QoS参数通常更容易获得，并且不需要人为干预。然而，可能存在QoS参数值表示低质量但是人类观众看不到任何视频恶化的情况，以及相反的情况。
在一个实施例中，步骤S31或S41中控制对齐标识符的调制包括：如果QoS参数的值表示比定义的最小QoS更差的QoS(步骤S31)或者质量得分的值表示比定义的最小质量更差的质量(步骤S41)，则增加调制对齐标识符的时机之间的时间间隔。
因此，如果通过QoS参数和/或质量得分评估的视频质量太低，则增加调制对齐标识符的时机之间的时间间隔。这又意味着光控制器控制具有VLC能力的光源的时机与具有VLC能力的光源输出VLC信号的时机之间的时间间隔增加。因此，在给定的时间段内，比特流中包括光图案的视频帧将更少，从而可能降低视频质量的视频帧也更少。
如果确定在调制对齐标识符的时机之间的当前时间间隔下视频质量足够高，则可以减小调制时机之间的时间间隔。在这种情况下，步骤S31或S41中的控制调制包括：如果QoS参数的值表示比定义的QoS更好的QoS(步骤S31)或者质量得分的值表示比定义的质量更好的质量(步骤S41)，则减小调制对齐标识符的时机之间的时间间隔。
这意味着，如果通过QoS参数和/或质量得分评估的视频质量足够好，则可以通过减小调制对齐标识符的时间间隔，从而减少控制具有VLC能力的光源与输出VLC信号之间的时间间隔，来更频繁地输出VLC信号。
在这种情况下，可以更频繁地和/或以更短的延迟对来自不同用户设备的视频帧执行时间对齐。
作为增加调制时机之间的时间间隔的替代或备选方案，步骤S31或S41可以包括：如果QoS参数的值表示比定义的最小QoS更差的QoS，或者如果质量得分的值表示比定义的最小质量更差的质量，则产生使VLC信号的持续时间减少的对齐标识符。
因此，可以设计或产生对齐标识符，以使VLC信号持续时间更短，即在时间上长度更短，并且因此将影响更少的视频帧或影响每个流的视频帧的更少部分。例如，产生表示N个比特的光控制信号的具有给定长度的对齐标识符，将导致光控制器使具有VLC能力的光源在N个连续时机闪烁(具有VLC能力的光源处于接通以表示1bin(或0bin)或处于关断以表示0bin(1bin))。在这种情况下，可以产生对齐标识符以减小这一数目N，从而减少具有VLC能力的光源输出VLC信号的总时间。
在示例实施例中，对齐标识符包括前导符号，可选地，之后是导频符号，然后是序号。前导符号由光控制器使用以确定对齐标识符的开始。可选的导频符号可以被包括在对齐标识符中，以允许测量VLC信号传输的底噪。该导频符号是可选的，可以省略。对齐标识符的序号用于定义从具有VLC能力的光源输出VLC信号的时间点。这意味着在一个时机下，序号具有第一值，而在另一个时机，序号具有不同的第二值。
这意味着，对齐标识符的值，具体是通过对来自每个用户设备的至少一个解码视频帧中识别的光图案进行解码而获得的序号值，被用作对齐或时间标记，以指示在不同的用户设备处在相同的时间段记录了携带有表示相同或相对应的对齐标识符或者相同序号的光图案的视频帧。
在另一实施例中，可以省略前导符号和导频符号，使得对齐标识符通常仅包括序号部分。
如上所述，可以使用具有源或控制器特定部分和在给定的输出时机下对于多个具有VLC能力的光源来说公共的另一部分的对齐标识符。在这种情况下，可以使用对齐标识符值，不仅可以基于公共部分的值来确定用户设备的摄像机或连接到用户设备的摄像机捕捉VLC信号的时间点，而且可以基于源或控制器特定部分确定所捕捉的VLC信号来源于哪一个具有VLC能力的光源。
在另一实施例中，不同的对齐标识符用于不同的具有VLC能力的光源。图9是示出了该实施例的流程图。该方法在步骤S50开始，步骤S50包括提供第一对齐标识符和第二对齐标识符。第一对齐标识符包括可选的前导符号，之后是可选的导频符号和第一序号。第二对齐标识符包括可选的前导符号，之后是可选的导频符号和不同的第二序号。然后，方法继续到图3的步骤S1至S6。在该实施例中，步骤S1包括：用调制信号调制第一对齐标识符以获得第一光控制信号，以及用调制信号调制第二对齐标识符以获得第二光控制信号。在该实施例中，步骤S2优选地包括向连接到具有VLC能力的第一光源的光控制器输出第一光控制信号，所述光控制器被配置为控制所述具有VLC能力的第一光源输出第一VLC信号。步骤S2优选地还包括向连接到具有VLC能力的第二光源的光控制器输出第二光控制信号，所述光控制器被配置为控制所述具有VLC能力的第二光源输出第二VLC信号。在步骤S3至S6之后，该方法继续到步骤S51。该步骤S51包括：基于第一对齐标识符和第二对齐标识符，从多个用户设备中选择输出携带具有表示第一VLC信号的光图案的至少一个编码视频帧的比特流的用户设备。然后该方法继续到图3的步骤S7，在该实施例中，步骤S7优选地包括对来自所选用户设备的视频帧进行时间对齐。
因此，在该实施例中，仅针对用户设备的子集尤其是被定位的用户设备来执行来自不同用户设备的视频流的混合，使得它们将检测和捕捉第一VLC信号而不是第二VLC信号。
该技术使得可以混合来自区域或体育场的不同部分的视频流，从而根据用户相对于舞台或现场的位置来混合来自不同用户的视频流。例如，可以混合来源于位于舞台正前方并由此捕捉第一VLC信号的用户设备的视频流，但是不应将来源于位于舞台侧面并由此捕捉第二或其他VLC信号的用户设备的视频流与这些视频流相混合。
这一构思当然可以进一步扩展为使用两个以上不同的对齐标识符。此外，可以不仅仅对产生携带了具有表示第一VLC信号的光图案的至少一个编码视频帧的比特流的用户设备来执行时间对齐。与之鲜明对比，根据从相应比特流中的视频帧获得的对齐标识符的值，对不同的用户设备组执行多个并行的时间对齐。
在这种情况下，具有VLC能力的不同光源在相同的时间点输出不同的VLC信号。优选地，视频同步系统存储指定第一对齐标识符和第二对齐标识符表示VLC信号传输的相同时间段的信息，即使这两个对齐标识符具有不同的序号。
互联网中的视频流量有增长趋势，因此也存在时间同步的趋势。在多个细分市场，例如在工业互联网中，需要这种时间同步。WiFi联盟正在研究假设设备连接到同一个接入网络的这种使用情况。同时，随着用户产生的视频内容的增加，在用户产生的视频的情况下也需要视频同步。因此，需要能够同步来自不同用户设备的视频流。与例如WiFi联盟呈现的使用情况不同的是，不能假设普通用户设备连接到同一个接入网络。
图10示意性地示出了根据实施例的用于实现视频帧的同步的用户设备1、2、3和视频帧同步系统10以及操作流程的概览。如图10的右侧所示，光控制器30从数据库50获取作为对齐标识符的示例的序号。序号通过脉宽调制(PWM)进行调制。在向编码序号添加了前导符号之后，将数据包从光控制器30发送到LED灯43A、43B、43C。
一旦这些LED灯43A、43B、43C中由电源模块40表示的接收器接收到数据包，则电源模块40可以通过定位前导符号来识别每个数据包的起始。然后，电源模块40根据编码模式使LED灯43A、43B、43C闪烁。当用户设备1、2、3正在使用其摄像机拍摄事件时，以比摄像机捕捉时间高得多的频率进行照明的光脉冲可能在构成视频流的图像中产生条带。这些条带与视频帧一起从用户设备1、2、3发送到视频同步系统10的接收器20。
然后，接收器20(可以有多个)能够测量每个传输的底噪，以检测图像频域中的这些条带(光图案)的频率，并且推断脉冲光的频率。一旦发现光图案，将其解码为在每个操作周期开始时发送的原始序号。视频同步系统10比较在每个视频流中发现的序号。匹配可以被视为标记以允许视频同步系统10对齐所有视频流并在流混合器70中混合视频流。
为了可扩展性，接收器功能可以分布在多个服务器或实体上。如果接收器功能是分布式的，则接收器20将需要彼此同步，以便将发送给流混合器70并进一步发送给导演的视频帧对齐。接收器20优选地连接到同一个网络，因此没有延时变化，其对所有制作人而言都一样。开始将接收器功能进行分布的触发可以依赖于例如服务器中央处理器(CPU)负载。如果CPU负载变高，则视频解码的质量可能开始下降。
在将视频帧发送到导演之前，视频同步系统10可以从视频流中移除包含VLC信息(即光图案)的视频帧。如果需要，视频同步系统10可以将一些其他类型的元数据添加到视频流中。
根据视频同步系统10所要求的精度和视频质量要求，可以调整发送编码序号的频率。为此，视频同步系统10中优选具有QoS控制功能。QoS控制器60将分析输入视频流的QoS参数。接收器20将视频流的QoS数据(例如RTCP反馈数据)存储到数据库50中，QoS控制器60将基于该数据库进行QoS分析。如果需要调整例如LED 43A、43B、43C闪烁的频率，则QoS控制器60可以通过光控制器30开放的VLC控制应用编程接口(API)进行命令。VLC控制API提供了以其他可能方式修改频率和优化光源43A、43B、43C的功能。
除了在QoS控制器60处完成的自动QoS处理之外，还可能有来自导演的人类反馈。这可以是例如存在由灯引起且被导演注意到、但仅使用RTCP反馈却未检测到的干扰的情况。
VLC可用于将复杂的元数据编码到视频流中。除了提取同步信息之外，元数据还允许导演知道视频流来自哪一座位区、摄像机所面对的方向等等，而不需要复杂的物理对象检测和识别。导演可以根据他/她的服务的需求来决定视频或帧同步中应包含哪些视频流。也可以支持各种过滤机制。因此，可以更有效和智能地完成视频同步。
目前的架构被设计为使视频处理没有瓶颈，其在制作人在制作高质量视频时可能会变得严重。此外，QoS控制器60可以以每个QoS控制器60负责处理单个视频流的质量的方式来分布。以这种方式，可以基于云中的视觉光通信来提供该服务作为视频同步服务。
此外，光控制器30和电源模块40可以对通过调制以不同频率工作的不同灯泡或光源43A、43B、43C供电。不同服务提供商的同步信息和元数据可以在不同频率工作。通过平台中的解调滤波器，其他服务提供商看不到这些信息。
为了确保视频流的质量不受VLC信息的影响，QoS控制器60被包括在视频同步系统10中，以分析视频流的QoS。为了分析，QoS控制器60可以使用两个输入源。一个输入源来自接收器20，其中，可以从数据库50收集来自接收器20的属性，所述数据库中存储了关于RTCP统计信息、视频质量相关值(例如帧率、丢包率、比特率，抖动和延迟)的信息。另一输入源来自导演，其中，MOS得分等被发送到QoS控制器60。QoS控制器60使用这些关键性能指标(KPI)来确定何时存在需要调整VLC图案和频率的恶化。
贝叶斯图形建模(参见例如Kevin Murphy所著的A Brief Introduction toGraphical Models and Bayesian Networks 1998，http：//www.cs.ubc.ca/～murphyk/Bayes/bnintro.html，以及Kevin Murphy所著的An introduction tographical models2001，http：//www.cs.ubc.ca/～murphyk/Papers/intro_gm.pdf)或其他算法可用于决定何时改变VLC模式和频率。该算法可以表示列出的变量之间的关系，并抽象出用于决策的条件独立关系。
因此，在社交多媒体环境中，需要一种技术将同步的视频流实时传送给观看通过互联网传送的分布式实时视频馈送的导演。本实施例引入了一种解决方案，其可以实现为可扩展、基于云的视频同步系统10，使用VLC将标记添加到不同视频流。当流混合器70接收视频流时，标记可以用作同步每个视频流的视频帧的指针。
社交事件组织者可以使用具有VLC能力的LED灯43A、43B、43C来部署或升级当前的照明系统。LED灯43A、43B、43C可以被编程为用高频开关变化的照明来闪烁编码信号。当移动摄像机记录社交事件时，VLC信号被记录为视频流的一部分，并被流传输到云7以向接收器20传输。接收器20可以检测VLC信号并将其与LED灯43A、43B、43C的信号图案进行比较。基于云的网络7中的接收器20对接收到的帧进行同步。当灯43A，43B，43C以特定频率工作时，人察觉不到快速闪烁。然而，在质量下降的情况下，视频同步系统10使用VLC控制API来控制例如VLC信号的频率、VLC信号之间的时间间隔和/或VLC信号的持续时间。
所提出的解决方案可以是基于云的，如图10所示。因此，该解决方案可以随着视频流的数量而动态缩放，以同步视频同步系统10中的增长或下降。这确保了视频同步系统10中有足够的处理资源来进行视频处理和分析视频流的质量。
这些实施例解决了社交媒体环境中帧内不同步的问题。与背景技术部分提到的现有解决方案相比，使用VLC将标记添加到视频帧以进行帧内同步是一种可靠且低成本的解决方案，其可以为导演提供充分的同步，以便通过不同的传输技术全面地观看来自多个源的同步视频流。此外，实施例不需要用户设备1、2、3的任何额外的软件或硬件安装或升级。
实施例可以通过在云环境中运行视频同步系统10来应对大量用户，使得视频同步系统10能够在需要时进行缩放。视频流的媒体处理是分布式的，使得在视频同步系统10中不存在瓶颈或单点故障。如果服务器或处理点或站点的负载过高，还可以将处理进一步分布。
这些实施例不限于社交视频流场景中的视频帧同步。该解决方案可以容易地被改变，以适应专业的电视或电影制作，以及需要大规模多视频源的帧内同步的其他场景。
图11A和11B示出了根据实施例更详细地示出了用户设备1和视频同步系统之间的操作流程。视频同步系统可以基于云，其包括图10中公开的功能，即一个或多个接收器20、VLC控制网关(GW)30、电源模块40、数据库50、QoS控制器60和流混合器70。
VLC控制网关30包括用于从数据库50获取对齐标识符或序号的标识符查询31。该对齐标识符可以是存储在数据库50中的预定标识符值。备选地，标识符查询31动态地生成标识符值。VLC控制网关30的调制器32利用来自PWM源33的PWM信号来调制对齐标识符。由此，VLC编码的PWM信号，即光控制信号，被发送到(参见箭头C)电源模块40。接收器41在此接收光控制信号。作为光控制器工作的LED控制器42通过使具有VLC能力的LED 43根据光控制信号高频接通和关断地进行闪烁，以控制LED 43输出VLC信号。电源模块40优选地还包括用于LED 43的AC电源44。
当用户例如在社交事件处记录场景时，LED 43输出的VLC信号被用户设备1的摄像机4或连接到用户设备1的摄像机4捕捉。由此，视频数据和VLC数据被记录并且被用户装置1的编码器5编码为比特流。编码视频帧的比特流被发送器6发送到视频同步系统的接收器20之一。
接收器20包括解码器21，所述解码器21用于对编码视频帧进行解码以产生解码视频帧流。作为解码处理的一部分，解调器22优选地用于对光图案解调制以获得对齐标识符。在模块23中，对齐标识符在不同的视频流中被标识，并且彼此进行比较以找到匹配。帧对齐器24基于对齐标识符之间的匹配将来自不同用户设备1的视频帧时间对齐。
可以存在移除模块25以从视频流中移除元帧。所述元帧是包括诸如光图案的VLC数据的视频帧。模块26可以将其他元数据添加到流中，例如丰富内容、字幕、注释和/或覆盖。元数据的另一示例可以是表示用户设备1相对于所记录场景的位置的位置信息。
经时间对齐的视频流被转发到流混合器70(参见箭头A)。选择器和混合器71用于选择应被混合以形成组合或混合视频流的视频流。该选择可以例如基于位置信息。然后，编码器72将所选择的流的视频帧编码，并且可以分发给消费者。
接收器20还可以提取和转发与比特流传输有关的QoS信息，例如以RTCP反馈数据的形式。该QoS信息被输入到数据库50中(参见箭头B)。
QoS控制器60优选地包括被配置为从数据库50获取QoS参数的QoS馈送器61。QoS分析器62可以分析QoS参数。QoS分析的结果用于在信号发生器63中产生可以被转发到VLC控制网关30的控制信号，以便控制对齐标识符的调制和/或产生。
图12A和12B表示根据实施例的示出对编码视频帧的比特流的处理的流程图。该方法开始于接收器接收编码视频帧的比特流。接收器也获得存储为QoS统计数据的一部分的QoS数据。解码器将视频帧解码为例如原始图像格式。解码视频帧被写入并存储在帧或图像缓冲器中。从原始视频数据中读取由VLC信号引起的光图案，并且可选地一起读取从中读取光图案的视频帧的帧号。如果光图案被调制，则将其解调。然后将帧信息与其他接收器同步。因此，携带相同光图案的视频帧被定义为具有相同的输出时间，从而应时间同步。从光图案获得的对齐标识符用于验证来自不同用户设备的相关视频帧是在相同的时间段产生的。这意味着，视频流号1中存在的帧号为f1且从中获得对齐标识符AD1的视频帧应当与视频流号2中存在的帧号为f2且从中获得对齐标识符AD1的视频帧时间对齐，但是不与视频流号3中存在的帧号为f3且从中获得对齐标识符AD2的视频帧时间对齐。因此，来自视频流号1的帧号f1和来自视频流号2的帧号f2应当时间同步。
关于光图案计算、VLC光强度、图案频率需求等的QoS统计数据优选存储在数据库中。
然后，接收器获得在将视频帧从帧缓冲器发出之前延迟视频帧的时间。优选地选择延迟使得来自不同流的时间同步的视频帧同时输出。
如果视频帧中的一个或多个包括由VLC信号引起的视觉干扰元数据，则可以移除这样的元帧。可以进行更多的帧处理，例如添加位置信息。
然后，根据预设QoS值，针对附加帧重复这一过程，所述预设QoS值用于定义输出VLC信号的时机之间的时间间隔。
然后基于预设的输出值发送视频帧，从而实现期望的时间同步。
图13示意性地示出了视频帧中存在的光图案的示例。在智能手机、平板电脑和消费电脑外设中使用的许多摄像机使用互补金属氧化物半导体(CMOS)传感器，因此是CMOS卷帘快门摄像机。卷帘快门以流水线方式连续地曝光和读出各个像素行。从图13可以看出，以小于帧持续时间的周期发出脉冲的光源将产生与在光源的导通时间和关断时间期间暴露的行重合的明暗条带。光源PWM信号的占空比确定明暗条带之间的高度比。图13示出了对齐标识符10101bin的示例，其导致光源接通、关断、接通、关断、接通。
实施例的另一方面涉及一种视频同步服务器系统。视频同步系统被配置为用调制信号调制对齐标识符以获得光控制信号。视频同步系统还被配置为向光控制器输出光控制信号，所述光控制器连接到具有VLC能力的光源并被配置为根据光控制信号控制具有VLC能力的光源输出VLC信号。视频同步系统还被配置为从多个用户设备中的每个用户设备接收表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧的比特流。视频同步系统还被配置为针对多用户设备中的每个用户设备，对比特流的编码视频帧进行解码以获得解码视频帧流。视频同步系统还被配置为，针对多个用户设备中的每个用户设备，在至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。视频同步系统还被配置为，针对多个用户设备中的每个用户设备，将光图案解码为对齐标识符。视频同步系统还被配置为，基于对齐标识符对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
在一个实施例中，视频同步系统被配置为，基于对齐标识符的相应值对来自不同用户设备的视频帧进行时间对齐。
在一个实施例中，视频同步系统被配置为，向来自不同用户设备的具有相同或相对应的值的对齐标识符的视频帧分配相同的输出或回放标识符值。
在一个实施例中，视频同步系统被配置为在相同时间点输出来自不同用户设备的具有相同或相对应的值的对齐标识符的视频帧。
在一个实施例中，视频同步系统被配置为识别包括光图案的至少一个解码视频帧。视频同步系统还被配置为从解码视频帧流中移除所识别的至少一个解码视频帧。视频同步系统还被配置为将解码帧流的解码视频帧编码为编码视频帧。
在一个实施例中，视频同步系统被配置为识别包括光图案的至少一个解码视频帧。视频同步系统还被配置为用解码视频帧流中没有光图案的相邻解码视频帧替换所识别的至少一个解码视频帧。视频同步系统还被配置为将解码帧流的解码视频帧编码为编码视频帧。
在一个实施例中，视频同步系统被配置为针对多个用户设备中的每个用户设备来，测量比特流传输的底噪。视频同步系统还被配置为，针对多个用户设备中的每个用户设备并且基于所述测量来检测光图案在图像频域中的频率。视频同步系统还被配置为，针对多个用户设备中的每个用户设备并且基于光图案的频率的信息，将光图案解码为对齐标识符。
在一个实施例中，视频同步系统被配置为获得表示多个用户设备中的至少一个用户设备的比特流传输的质量的QoS参数。视频同步系统还被配置为基于QoS参数的值来控制对齐标识符的调制和/或对齐标识符的产生。
在一个实施例中，视频同步系统被配置为获得表示多个用户设备中的至少一个用户设备的比特流的视频数据的质量的质量得分。视频同步系统还被配置为基于质量得分来控制对齐标识符的调制和/或对齐标识符的生成。
在具体实施例中，视频同步系统被配置为如果QoS参数的值表示比定义的最小QoS更差的QoS，或如果质量得分的值表示比定义的最小质量更差的质量，则增加调制对齐标识符的时机之间的时间间隔。
在另一具体实施例中，视频同步系统被配置为如果QoS参数的值表示比定义的QoS更好的QoS，或如果质量得分表示比定义的最小质量更好的质量，则减小调制对齐标识符的时机之间的时间间隔。
在另一具体实施例中，视频同步系统被配置为如果QoS参数的值表示比定义的最小QoS更差的QoS，或如果质量得分表示比定义的最小质量更差的质量，则产生使VLC信号的持续时间减少的对齐标识符。因此，VLC信号的长度的减小对应于VLC信号的持续时间的减小。
在一个实施例中，视频同步系统被配置为提供：i)第一对齐标识符，其包括可选的前导符号，之后是可选的导频符号和第一序号，以及ii)第二对齐标识符，其包括可选的前导符号，之后是可选的导频符号和不同的第二序号。视频同步系统还被配置为：i)用调制信号调制第一对齐标识符以获得第一光控制信号，以及ii)用调制信号调制第二对齐标识符以获得第二光控制信号。视频同步系统还被配置为：i)向连接到具有VLC能力的第一光源的光控制器输出第一光控制信号，所述光控制器被配置为根据第一光控制信号控制所述具有VLC能力的第一光源输出第一VLC信号，以及ii)向连接到具有VLC能力的第二光源的光控制器输出第二光控制信号，所述光控制器被配置为根据第二光控制信号控制所述具有VLC能力的第二光源输出第二VLC信号。视频同步系统还被配置为，基于第一对齐标识符和第二对齐标识符，从多个用户设备中选择输出携带具有表示第一VLC信号的光图案的至少一个编码视频帧的比特流的用户设备。视频同步系统还被配置为对来自所选择的用户设备的视频帧进行时间对齐。
视频同步系统可以是能够与用户设备通信的后端服务器。视频同步系统可以备选地被实现为通过有线或无线连接互连的多个(即至少两个)后端服务器的组或群集。多个后端服务器可以在本地布置在视频同步服务提供商处或分布在多个位置之间。视频同步系统的基于云的实现也是可能的并且在实施例的范围内。
应当理解，本文描述的方法和系统可以以各种方式组合和重新布置。
例如，实施例可以用硬件、或用由合适的处理电路执行的软件、或其组合来实现。
本文所述的步骤、功能、过程、模块和/或块可以使用任何常规技术在硬件中实现，例如使用分立电路或集成电路技术，包括通用电子电路和专用电路二者。
特定示例包括一个或多个合适配置的数字信号处理器和其他已知电子电路，例如用于执行专门的功能的互连的分立逻辑门、或者专用集成电路(ASIC)。
图14示出了视频同步系统100的具体硬件实现。在一个实施例中，视频同步系统100包括被配置为用调制信号调制对齐标识符的调制器101。视频同步系统100还包括被配置为向光控制器输出光控制信号的发送器102。视频同步系统100还包括被配置为从多个用户设备中的每个用户设备接收比特流的接收器103。视频同步系统100的帧解码器104被配置为针对多用户设备中的每个用户设备对编码视频帧进行解码，并且图案解码器105被配置为针对多个用户设备中的每个用户设备的光图案进行解码。视频同步服务器系统100还包括时间对齐器106，所述时间对齐器被配置为基于对齐标识符对来自不同用户设备的视频帧进行时间对齐。
调制器101优选地连接到发送器102以向其转发光控制信号。接收器103优选地连接到帧解码器104，以将比特流的编码视频帧转发给帧解码器104。帧解码器104又连接到图案解码器105以向其转发解码视频帧。图案解码器105连接到时间对齐106，以向其发送对齐标识符的信息。
备选地，本文描述的步骤、功能、过程、模块和/或块中的至少一些可以在软件中实现，例如由合适的处理电路(例如一个或多个处理器或处理单元)来执行的计算机程序。
处理电路的示例包括但不限于：一个或多个微处理器、一个或多个数字信号处理器(DSP)、一个或多个中央处理单元(CPU)、视频加速硬件、和/或任意合适的可编程逻辑电路，例如一个或多个现场可编程门阵列(FPGA)或者一个或多个可编程逻辑控制器(PLC)。
还应当理解，可以重新使用实现所提出的技术的任何常规设备或单元的通用处理能力。也可以例如通过对现有软件进行重新编程或添加新的软件组件重新使用现有的软件。
在具体示例中，视频同步系统110(参见图15)包括处理器111和存储器112，所述存储器112包括可由处理器111执行的指令。处理器111用于用于调制信号调制对齐标识符。处理器111还用于输出光控制信号以便发送给光控制器。处理器111还用于针对多个用户设备中的每个用户设备对编码视频帧进行解码。处理器111还用于针对多个用户设备中每个用户设备对光图案进行解码。处理器111还用于基于对齐标识符来对来自不同用户设备的视频帧进行时间对齐。
在特定实施例中，处理器111操作为当执行存储在存储器112中的指令时执行上述操作。由此，处理器111互连到存储器112以实现正常的软件执行。
视频同步系统110还可以包括被配置为向光控制器发送光控制信号的发送器113和被配置为从用户设备接收比特流的接收器114。
在一个实施例中，图17是示出了包括处理器210、相关联的存储器220和通信电路230的视频同步系统200的示例的示意性框图。
在该具体示例中，以计算机程序240实现本文描述的步骤、功能、过程、模块和/或块中的至少一些，计算机程序440被加载到存储器220中，用于由包括一个或更多个处理器210的处理电路执行。处理器210和存储器220彼此互连，以实现正常的软件执行。通信电路230还与处理器210和/或存储器220互连，使得能够输入和/或输出光控制信号和比特流。
术语“处理器”在一般意义上应被解释为能够执行程序代码或计算机程序指令以执行特定处理、确定或计算任务的任何系统或设备。
因此，包括一个或多个处理器的处理电路被配置为：在运行计算机程序时执行例如本文描述的那些明确定义的处理任务。
处理电路不是必须专用于仅执行上述步骤、功能、过程和/或块，而是还可以执行其他任务。
在一个实施例中，计算机程序240包括指令，所述指令当被处理器210执行时使得处理器210用调制信号调制对齐标识符以获得光控制信号。还使得处理器210输出光控制信号，以发送给连接到具有VLC能力的光源的光控制器，所述光控制器被配置为根据光控制信号控制具有VLC能力的光源输出VLC信号。还使得处理器210针对多个用户设备中的每个用户设备对从用户设备接收的比特流的编码视频帧进行解码以获得解码视频帧流。比特流包括表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧。还使得处理器210针对多个用户设备中的每个用户设备并且在至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。还使得处理器210针对多个用户设备中的每个用户设备将光图案解码为对齐标识符。还使得处理器210基于对齐标识符对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
所提出的技术还提供了包括计算机程序240的载体250。载体250是电子信号、光信号、电磁信号、磁信号、电信号、无线电信号、微波信号或计算机可读存储介质250之一。
举例说明，软件或计算机程序240可以实现为计算机程序产品，其通常被承载或存储在计算机可读介质250(优选地，非易失性计算机可读存储介质250)上。计算机可读介质250可以包括一个或多个可移除或不可移除的存储设备，包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、紧致盘(CD)、数字多用途盘(DVD)、蓝光光盘、通用串行总线(USB)存储器、硬盘驱动(HDD)存储设备、闪存、磁带或者任意其他常规存储设备。因此，计算机程序240可以被加载到由图17中的视频同步服务器系统200表示的计算机或等效处理设备的操作存储器220中，以由其处理器210执行。
因此，当由一个或多个处理器执行时，本文提出的流程图可以被认为是计算机流程图。相应的视频同步系统可以被定义为一组功能模块，其中由处理器执行的每个步骤对应于功能模块。在这种情况下，功能模块被实现为在处理器上运行的计算机程序。因此，视频同步系统可以备选地被定义为一组功能模块，其中功能模块被实现为在至少一个处理器上运行的计算机程序。
驻留在存储器中的计算机程序可以因此被组织为合适的功能模块，所述功能模块被配置为，当被处理器执行时，执行本文所述的步骤和/或任务的至少一部分。这种功能模块的示例在图16中示出，其中示出了具有功能模块的视频同步系统120的示意性框图。视频同步系统120包括调制器121，用于用调制信号调制对齐标识符以获得光控制信号。视频同步系统120还包括输出单元122，用于输出光控制信号以发送给连接到具有VLC能力的光源的光控制器，所述光控制器被配置为根据光控制信号控制具有VLC能力的光源输出VLC信号。视频同步系统120还包括帧解码器123，用于针对多个用户设备中的每个用户设备，对从用户设备接收的比特流的编码视频帧进行解码，以获得解码视频帧流。比特流包括表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的视频数据的编码视频帧。视频同步系统120还包括图案识别器124，用于针对多个用户设备中的每个用户设备并且在至少一个解码视频帧中，识别表示由用户设备的摄像机或连接到用户设备的摄像机捕捉的VLC信号的光图案。视频同步系统120还包括图案解码器125，用于针对多个用户设备中的每个用户设备将光图案解码为对齐标识符。视频同步系统120还包括时间对齐器126，用于基于对齐标识符对来自多个用户设备中的不同用户设备的视频帧进行时间对齐。
以上描述的实施例将被理解为本发明的几个说明性示例。本领域技术人员将理解，在不脱离本发明的范围的前提下，可以对实施例作出各种修改、组合和改变。尤其是，在技术上可行的其他配置中，不同实施例中的不同部分解决方案可以被组合。然而，本发明的范围由所附权利要求限定。

Claims (33)

1.一种视频同步方法，包括：
用调制信号调制(S1)对齐标识符以获得光控制信号；
向光控制器(42)输出(S2)所述光控制信号，所述光控制器(42)连接到具有可见光通信VLC能力的光源(43)并被配置为根据所述光控制信号控制所述具有VLC能力的光源(43)输出VLC信号；
从多个用户设备(1，2，3)中的每个用户设备(1，2，3)接收(S3)表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的视频数据的编码视频帧(91，92，93)的比特流(81，82，83)；
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，对所述比特流(81，82，83)的编码视频帧(91，92，93)进行解码(S4)以获得解码视频帧流；
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，在所述解码视频帧流的至少一个解码视频帧中，识别(S5)表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的VLC信号的光图案；
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，将所述光图案解码(S6)为对齐标识符；以及
基于所述对齐标识符，对来自所述多个用户设备(1，2，3)中的不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐(S7)。
2.根据权利要求1所述的视频同步方法，其中，对所述视频帧(91，92，93)进行时间对齐(S7)包括：基于所述对齐标识符的相应值，对来自所述不同用户设备(1，2，3)的所述视频帧(91，92，93)进行时间对齐(S7)。
3.根据权利要求2所述的视频同步方法，其中，对所述视频帧(91，92，93)进行时间对齐(S7)包括：向来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)分配(S7)相同的输出或回放标识符值。
4.根据权利要求2所述的视频同步方法，其中，对所述视频帧(91，92，93)进行时间对齐(S7)包括：在相同的时间点输出(S7)来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)。
5.根据权利要求1至4中任一项所述的视频同步方法，还包括：
识别(S10)包括所述光图案的至少一个解码视频帧；
从所述解码视频帧流中移除(S11)所识别的至少一个解码视频帧；以及
将所述解码视频帧流中的解码视频帧编码(S13)为编码视频帧。
6.根据权利要求1至4中任一项所述的视频同步方法，还包括：
识别(S10)包括所述光图案的至少一个解码视频帧；
用所述解码视频帧流中没有所述光图案的相邻解码视频帧替换(S12)所识别的至少一个解码视频帧；以及
将所述解码视频帧流中的解码视频帧编码(S13)为编码视频帧。
7.根据权利要求1至4中任一项所述的视频同步方法，还包括：
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，测量(S20)所述比特流(81，82，83)的传输的底噪；以及
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)并且基于所述测量，检测(S21)所述光图案在图像频域中的频率，其中对所述光图案进行解码(S6)包括：针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)并且基于所述光图案的所述频率的信息，将所述光图案解码(S6)为所述对齐标识符。
8.根据权利要求1至4中任一项所述的视频同步方法，还包括：
针对所述多个用户设备(1，2，3)中的至少一个用户设备(1，2，3)，获得(S30)表示所述比特流(81，82，83)的传输质量的服务质量QoS参数；以及
基于所述QoS参数的值来控制(S31)所述对齐标识符的调制和/或所述对齐标识符的产生。
9.根据权利要求1至4中任一项所述的视频同步方法，还包括：
针对所述多个用户设备(1，2，3)中的至少一个用户设备(1，2，3)，获得(S40)表示所述比特流(81，82，83)的视频数据的质量的质量得分；以及
基于所述质量得分来控制(S41)所述对齐标识符的调制和/或所述对齐标识符的产生。
10.根据权利要求8所述的视频同步方法，其中，控制所述对齐标识符的调制(S31，S41)包括：如果所述QoS参数的值表示比定义的最小QoS更差的QoS，则增加(S31，S41)调制所述对齐标识符的时机之间的时间间隔。
11.根据权利要求9所述的视频同步方法，其中，控制所述对齐标识符的调制(S31，S41)包括：如果所述质量得分的值表示比定义的最小质量更差的质量，则增加(S31，S41)调制所述对齐标识符的时机之间的时间间隔。
12.根据权利要求8所述的视频同步方法，其中，控制所述对齐标识符的调制(S31，S41)包括：如果所述QoS参数的值表示比定义的QoS更好的QoS，则减小(S31，S41)调制所述对齐标识符的时机之间的时间间隔。
13.根据权利要求9所述的视频同步方法，其中，控制所述对齐标识符的调制(S31，S41)包括：如果所述质量得分的值表示比定义的质量更好的质量，则减小(S31，S41)调制所述对齐标识符的时机之间的时间间隔。
14.根据权利要求8所述的视频同步方法，其中，控制所述对齐标识符的产生(S31，S41)包括：如果所述QoS参数的值表示比定义的最小QoS更差的QoS，则产生(S31，S41)使所述VLC信号的持续时间减少的对齐标识符。
15.根据权利要求9所述的视频同步方法，其中，控制所述对齐标识符的产生(S31，S41)包括：如果所述质量得分的值表示比定义的最小质量更差的质量，则产生(S31，S41)使所述VLC信号的持续时间减少的对齐标识符。
16.根据权利要求1至4中任一项所述的视频同步方法，还包括提供(S50)：i)第一对齐标识符，包括可选的前导符号，之后是可选的导频符号和第一序号，以及ii)第二对齐标识符，包括所述可选的前导符号，之后是所述可选的导频符号和不同的第二序号，其中
调制(S1)所述对齐标识符包括：i)用所述调制信号调制(S1)所述第一对齐标识符以获得第一光控制信号，以及ii)用所述调制信号调制(S1)所述第二对齐标识符以获得第二光控制信号；
输出(S2)所述光控制信号包括：i)向光控制器(42)输出(S2)所述第一光控制信号，所述光控制器连接到具有VLC能力的第一光源(43A)并被配置为根据所述第一光控制信号控制所述具有VLC能力的第一光源(43A)输出第一VLC信号；以及ii)向光控制器(42)输出(S2)所述第二光控制信号，所述光控制器连接到具有VLC能力的第二光源(43B)并被配置为根据所述第二光控制信号控制所述具有VLC能力的第二光源(43B)输出第二VLC信号，所述方法还包括：基于所述第一对齐标识符和所述第二对齐标识符，从所述多个用户设备(1，2，3)中选择(S51)输出携带具有表示所述第一VLC信号的光图案的至少一个编码视频帧(91，92，93)的比特流(81，82，83)的用户设备(1，2，3)，其中
对视频帧(91，92，93)进行时间对齐(S7)包括：对来自所选择的用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐(S7)。
17.一种视频同步系统(10，100，110)，包括：
处理器(111)；以及
存储器(112)，包括所述处理器(111)可执行的指令，其中，
所述处理器(111)用于用调制信号调制对齐标识符以获得光控制信号；
所述处理器(111)用于向光控制器(42)输出所述光控制信号，所述光控制器(42)连接到具有可见光通信VLC能力的光源(43)并被配置为根据所述光控制信号控制所述具有VLC能力的光源(43)输出VLC信号；
所述处理器(111)用于从多个用户设备(1，2，3)中的每个用户设备(1，2，3)接收表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的视频数据的编码视频帧(91，92，93)的比特流(81，82，83)；
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，对所述比特流(81，82，83)的编码视频帧(91，92，93)进行解码以获得解码视频帧流；
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，在所述解码视频帧流的至少一个解码视频帧中，识别表示由所述用户设备(1，2，3)的所述摄像机(4)或连接到所述用户设备(1，2，3)的所述摄像机(4)捕捉的VLC信号的光图案；
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，将所述光图案解码为对齐标识符；以及
所述处理器(111)用于基于所述对齐标识符，对来自所述多个用户设备(1，2，3)中的不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐。
18.根据权利要求17所述的视频同步系统，其中，所述处理器(111)用于基于所述对齐标识符的相应值对来自所述不同用户设备(1，2，3)的所述视频帧(91，92，93)进行时间对齐。
19.根据权利要求18所述的视频同步系统，其中，所述处理器(111)用于，向来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)分配相同的输出或回放标识符值。
20.根据权利要求18所述的视频同步系统，其中，所述处理器(111)用于在相同的时间点输出来自所述不同用户设备(1，2，3)的具有相同或相对应的值的所述对齐标识符的视频帧(91，92，93)。
21.根据权利要求17至20中任一项所述的视频同步系统，其中，
所述处理器(111)用于识别包括所述光图案的至少一个解码视频帧；
所述处理器(111)用于从所解码视频帧流中移除所识别的至少一个解码视频帧；以及
所述处理器(111)用于将所述解码视频帧流中的解码视频帧编码为编码视频帧。
22.根据权利要求17至20中任一项所述的视频同步系统，其中，
所述处理器(111)用于识别包括所述光图案的至少一个解码视频帧；
所述处理器(111)用于用所述解码视频帧流中没有所述光图案的相邻解码视频帧替换所识别的至少一个解码视频帧；以及
所述处理器(111)用于将所述解码视频帧流中的解码视频帧编码为编码视频帧。
23.根据权利要求17至20中任一项所述的视频同步系统，其中，
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)测量所述比特流(81，82，83)的传输的底噪；
所述处理器(111)用于为针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)并且基于所述测量来检测所述光图案在图像频域中的频率；以及
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)并且基于所述光图案的所述频率的信息，将所述光图案解码为所述对齐标识符。
24.根据权利要求17至20中任一项所述的视频同步系统，其中，
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的至少一个用户设备(1，2，3)，获得表示所述比特流(81，82，83)的传输质量的服务质量QoS参数；以及
所述处理器(111)用于基于所述QoS参数的值来控制所述对齐标识符的调制和/或所述对齐标识符的产生。
25.根据权利要求17至20中任一项所述的视频同步系统，其中，
所述处理器(111)用于针对所述多个用户设备(1，2，3)中的至少一个用户设备(1，2，3)，获得表示所述比特流(81，82，83)的视频数据的质量的质量得分；以及
所述处理器(111)用于基于所述质量得分来控制所述对齐标识符的调制和/或所述对齐标识符的产生。
26.根据权利要求24所述的视频同步系统，其中，所述处理器(111)用于：如果所述QoS参数的值表示比定义的最小QoS更差的QoS，则增加调制所述对齐标识符的时机之间的时间间隔。
27.根据权利要求25所述的视频同步系统，其中，所述处理器(111)用于：如果所述质量得分的值表示比定义的最小质量更差的质量，则增加调制所述对齐标识符的时机之间的时间间隔。
28.根据权利要求24所述的视频同步系统，其中，所述处理器(111)用于：如果所述QoS参数的值表示比定义的QoS更好的QoS，则减小调制所述对齐标识符的时机之间的时间间隔。
29.根据权利要求25所述的视频同步系统，其中，所述处理器(111)用于：如果所述质量得分的值表示比定义的最小质量更好的质量，则减小调制所述对齐标识符的时机之间的时间间隔。
30.根据权利要求24所述的视频同步系统，其中，所述处理器(111)用于：如果所述QoS参数的值表示比定义的最小QoS更差的QoS，则产生使所述VLC信号的持续时间减少的对齐标识符。
31.根据权利要求25所述的视频同步系统，其中，所述处理器(111)用于：如果所述质量得分的值表示比定义的最小质量更差的质量，则产生使所述VLC信号的持续时间减少的对齐标识符。
32.根据权利要求17至20中任一项所述的视频同步系统，其中，
所述处理器(111)用于提供：i)第一对齐标识符，包括可选的前导符号，之后是可选的导频符号和第一序号，以及ii)第二对齐标识符，包括所述可选的前导符号，之后是所述可选的导频符号和不同的第二序号；
所述处理器(111)用于：i)用所述调制信号调制所述第一对齐标识符以获得第一光控制信号，以及ii)用所述调制信号调制所述第二对齐标识符以获得第二光控制信号；
所述处理器(111)用于：i)向光控制器(42)输出所述第一光控制信号，所述光控制器连接到具有VLC能力的第一光源(43A)并被配置为根据所述第一光控制信号控制所述具有VLC能力的第一光源(43A)输出第一VLC信号，以及ii)向光控制器(42)输出第二光控制信号，所述光控制器连接到具有VLC能力的第二光源(43B)并被配置为根据所述第二光控制信号控制所述具有VLC能力的第二光源(43B)输出第二VLC信号；
所述处理器(111)用于：基于所述第一对齐标识符和所述第二对齐标识符，从所述多个用户设备(1，2，3)中选择输出携带具有表示所述第一VLC信号的光图案的至少一个编码视频帧(91，92，93)的比特流(81，82，83)的用户设备(1，2，3)；以及
所述处理器(111)用于：对来自所选择的用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐。
33.一种存储有包括指令的计算机程序(240)的计算机可读存储介质，所述指令当被处理器(210)执行时使得所述处理器(210)：
用调制信号调制对齐标识符以获得光控制信号；
输出所述光控制信号，以发送给光控制器(42)，所述光控制器(42)连接到具有可见光通信VLC能力的光源(43)并被配置为根据所述光控制信号控制所述具有VLC能力的光源(43)输出VLC信号；
针对多个用户设备(1，2，3)中的每个用户设备(1，2，3)，对从所述用户设备(1，2，3)接收的比特流(81，82，83)的编码视频帧(91，92，93)进行解码，以获得解码视频帧流，所述比特流(81，82，83)包括表示由所述用户设备(1，2，3)的摄像机(4)或连接到所述用户设备(1，2，3)的摄像机(4)捕捉的视频数据的编码视频帧(91，92，93)；
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，在所述解码视频帧流的至少一个解码视频帧中，识别表示由所述用户设备(1，2，3)的所述摄像机(4)或连接到所述用户设备(1，2，3)的所述摄像机(4)捕捉的VLC信号的光图案；
针对所述多个用户设备(1，2，3)中的每个用户设备(1，2，3)，将所述光图案解码为对齐标识符；以及
基于所述对齐标识符，对来自所述多个用户设备(1，2，3)中的不同用户设备(1，2，3)的视频帧(91，92，93)进行时间对齐。
CN201580074144.4A 2015-01-23 2015-01-23 基于vlc的视频帧同步 Active CN107211078B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SE2015/050068 WO2016118058A1 (en) 2015-01-23 2015-01-23 Vlc-based video frame synchronization

Publications (2)

Publication Number Publication Date
CN107211078A CN107211078A (zh) 2017-09-26
CN107211078B true CN107211078B (zh) 2020-07-31

Family

ID=52469887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580074144.4A Active CN107211078B (zh) 2015-01-23 2015-01-23 基于vlc的视频帧同步

Country Status (4)

Country Link
US (1) US10136034B2 (zh)
EP (1) EP3248368A1 (zh)
CN (1) CN107211078B (zh)
WO (1) WO2016118058A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3378233A1 (en) 2015-11-17 2018-09-26 Net Insight Intellectual Property AB Video distribution synchronization
US10575030B2 (en) * 2016-06-22 2020-02-25 DeNA Co., Ltd. System, method, and program for distributing video
CA3045286C (en) * 2016-10-28 2024-02-20 Axon Enterprise, Inc. Systems and methods for supplementing captured data
US10250941B2 (en) 2016-12-13 2019-04-02 Nbcuniversal Media, Llc System and method for mapping affiliated graphs using video fingerprints
EP3577894B1 (en) 2017-02-06 2022-01-26 Intuitive Surgical Operations, Inc. System and method for extracting multiple feeds from a rolling-shutter sensor
US20180278947A1 (en) * 2017-03-24 2018-09-27 Seiko Epson Corporation Display device, communication device, method of controlling display device, and method of controlling communication device
US10743087B2 (en) * 2017-06-21 2020-08-11 Z5X Global FZ-LLC Smart furniture content interaction system and method
WO2019016024A1 (en) * 2017-07-19 2019-01-24 Philips Lighting Holding B.V. DATA COMMUNICATION LIGHTING SYSTEM
TWI650962B (zh) 2017-08-04 2019-02-11 財團法人工業技術研究院 光通訊系統及其方法、傳送裝置、接收裝置
CN107592550B (zh) * 2017-09-25 2021-03-30 陕西国广数码科技有限公司 影院直播同步传输方法
CN109936677B (zh) * 2017-12-15 2021-07-27 浙江舜宇智能光学技术有限公司 应用于多目相机的视频同步方法
CN111492598B (zh) * 2018-01-08 2021-07-09 华为技术有限公司 一种相机通信方法及装置
CN110351584B (zh) * 2018-04-08 2022-04-05 腾讯科技（深圳）有限公司 视频混流方法、视频混流装置及存储介质
CN109104243B (zh) * 2018-08-01 2020-11-03 北方工业大学 一种像素通信方法、信息发送终端及信息接收终端
US10567079B1 (en) 2018-08-31 2020-02-18 Ford Global Technologies, Llc Robust visual light communication for vehicle-to-vehicle communication
US10382130B1 (en) 2018-08-31 2019-08-13 Ford Global Technologies, Llc Dual mode vehicle camera for visual light communication
CN109168013B (zh) * 2018-09-19 2020-09-25 广州华多网络科技有限公司 一种抽帧的方法、装置、设备及计算机可读存储介质
CN109348273B (zh) * 2018-10-25 2021-04-09 希诺麦田技术（深圳）有限公司 多路视频实时传输方法、装置、基站设备及存储介质
CN111615826A (zh) * 2019-06-28 2020-09-01 深圳市大疆创新科技有限公司 视频处理方法、装置、系统及介质
US11865434B2 (en) 2019-10-01 2024-01-09 Sony Interactive Entertainment Inc. Reducing latency in cloud gaming applications by overlapping receive and decode of video frames and their display at the client
US11539960B2 (en) 2019-10-01 2022-12-27 Sony Interactive Entertainment Inc. Game application providing scene change hint for encoding at a cloud gaming server
US11524230B2 (en) 2019-10-01 2022-12-13 Sony Interactive Entertainment Inc. Encoder tuning to improve tradeoffs between latency and video quality in cloud gaming applications
US11446572B2 (en) 2019-10-01 2022-09-20 Sony Interactive Entertainment Inc. Early scan-out of server display buffer at flip-time for cloud gaming applications
US10974142B1 (en) 2019-10-01 2021-04-13 Sony Interactive Entertainment Inc. Synchronization and offset of VSYNC between cloud gaming server and client
CN111565298B (zh) * 2020-04-30 2024-03-22 腾讯科技（深圳）有限公司 视频处理方法、装置、设备及计算机可读存储介质
CN112995708A (zh) * 2021-04-21 2021-06-18 湖南快乐阳光互动娱乐传媒有限公司 一种多视频同步方法及装置
CN113316001B (zh) * 2021-05-25 2023-04-11 上海哔哩哔哩科技有限公司 视频对齐方法及装置
US11743444B2 (en) 2021-09-02 2023-08-29 Sony Group Corporation Electronic device and method for temporal synchronization of videos
US11659132B2 (en) 2021-09-22 2023-05-23 Sony Group Corporation Electronic device and method for synchronization of videos
CN114598910B (zh) * 2022-02-23 2024-01-19 中科芯集成电路有限公司 一种多路异源视频高精度时间同步回放控制方法
GB2617141A (en) * 2022-03-30 2023-10-04 Sony Group Corp A method, apparatus and computer program for synchronizing video frames captured by multiple cameras
CN115474083B (zh) * 2022-11-02 2023-03-14 灵长智能科技(杭州)有限公司 一种多路音视频同步直播方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013786A (ja) * 2005-07-01 2007-01-18 Matsushita Electric Ind Co Ltd 可視光通信方法及び可視光通信装置
JP2013229799A (ja) * 2012-04-26 2013-11-07 Nippon Telegr & Teleph Corp <Ntt> 可視光通信送信装置、可視光通信受信装置、可視光通信送信方法、可視光通信受信方法及びそのプログラム
CN104038285A (zh) * 2014-06-16 2014-09-10 上海航天电子通讯设备研究所 基于tcp/ip的室内可见光通信节点及双向通信系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317166B1 (en) 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
DE10044032A1 (de) 2000-09-06 2002-03-14 Deutsche Telekom Ag 3-D Sehen
KR101364393B1 (ko) * 2007-07-19 2014-02-17 삼성전자주식회사 가시광 통신에서 통신 링크의 정렬을 위한 장치 및 방법
KR101524873B1 (ko) 2009-02-17 2015-06-02 삼성전자주식회사 가시광 통신 방법 및 시스템
JP2013074466A (ja) * 2011-09-28 2013-04-22 Jvc Kenwood Corp 動画撮影システム、動画解析装置、動画解析方法およびコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007013786A (ja) * 2005-07-01 2007-01-18 Matsushita Electric Ind Co Ltd 可視光通信方法及び可視光通信装置
JP2013229799A (ja) * 2012-04-26 2013-11-07 Nippon Telegr & Teleph Corp <Ntt> 可視光通信送信装置、可視光通信受信装置、可視光通信送信方法、可視光通信受信方法及びそのプログラム
CN104038285A (zh) * 2014-06-16 2014-09-10 上海航天电子通讯设备研究所 基于tcp/ip的室内可见光通信节点及双向通信系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Enhancing Reliability to Boost the Throughput over Screen-Camera Links;Anran Wang 等;《MOBILE COMPUTING AND NETWORKING，ACM,2PENN PLAZA,SUITE 701 NEW YOUK》;20140907;全文 *

Also Published As

Publication number Publication date
CN107211078A (zh) 2017-09-26
US20180035019A1 (en) 2018-02-01
US10136034B2 (en) 2018-11-20
EP3248368A1 (en) 2017-11-29
WO2016118058A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
CN107211078B (zh) 基于vlc的视频帧同步
US11546651B2 (en) Video stream synchronization
US10820065B2 (en) Service signaling recovery for multimedia content using embedded watermarks
US10826807B2 (en) Media player analytics
US10354354B2 (en) Content synchronization using watermark timecodes
US10123070B2 (en) Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
RU2718170C2 (ru) Определение местоположений событий доставки мультимедиа для транспортировки мультимедиа
TWI788744B (zh) 動態縮減替換內容之播放以幫助對齊替換內容之結束與已替換內容之結束
US11622163B2 (en) System and method for synchronizing metadata with audiovisual content
US20110246937A1 (en) Enhanced media content tagging systems and methods
TWI760981B (zh) 在媒體串流播放之間進行轉換的同時動態播放轉換訊框
US9854017B2 (en) Resilience in the presence of missing media segments in dynamic adaptive streaming over HTTP
CN109089129B (zh) 一种稳健的多视频捆绑直播系统及其方法
CN107079013A (zh) 管理媒体流的并发流式传输
WO2016068760A1 (en) Video stream synchronization
US20230300430A1 (en) Method and system to highlight video segments in a video stream

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant