CN104813656B - 具有摄像机抖动检测的视频会议服务器 - Google Patents

具有摄像机抖动检测的视频会议服务器 Download PDF

Info

Publication number
CN104813656B
CN104813656B CN201380062084.5A CN201380062084A CN104813656B CN 104813656 B CN104813656 B CN 104813656B CN 201380062084 A CN201380062084 A CN 201380062084A CN 104813656 B CN104813656 B CN 104813656B
Authority
CN
China
Prior art keywords
video
feature
videoconference
camera shake
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380062084.5A
Other languages
English (en)
Other versions
CN104813656A (zh
Inventor
M·法加达尔-科斯马
多比尼 德米阿德 P·昂里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN104813656A publication Critical patent/CN104813656A/zh
Application granted granted Critical
Publication of CN104813656B publication Critical patent/CN104813656B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Telephonic Communication Services (AREA)

Abstract

视频会议服务器(100)接收并且组合由多个视频客户端(101)的摄像机捕捉的视频流，并且生成用于传送到这些视频客户端(101)并且由这些视频客户端(101)播出的浸入式视频流(124，125)。在视频会议服务器(100)中的切出模块(102)生成用于从会议客户端(101)接收的视频帧(121)的前景掩模(122)。摄像机抖动检测器(103)确定用于在视频帧(121)中的特征的子集的位移向量(123)。位移向量(123)表示在背景掩模和用于从同一会议客户端(101)接收的先前视频帧的先前背景掩模之间的特征的子集的二维运动。摄像机抖动校正模块(102，104)在用于会议客户端(101)的浸入式视频流(124，125)中使用前景掩膜之前对其施加与所述位移向量(123)相反的位移，并且信令单元(104)在传送到其摄像机正在抖动的会议客户端(101)的浸入式视频流(124)中生成抖动指示(311，312)。

Description

具有摄像机抖动检测的视频会议服务器
技术领域
本发明一般地涉及浸入式视频会议，即视频会议，其中来自参与会议的多个客户端的视频流被处理和组合以建立所有参与者在单独会议室中的虚拟存在。通常，每个视频客户端通过其摄像机生成视频流。通过前景提取，背景和前景被隔离在不同的视频流中，并且不同客户端的前景图像被组合以生成由每个客户端播出的浸入式视频流。通常，所述浸入式视频流被个性化，并且为每个用户创建外观和声音的环境(look-and-soundenvironment)，从对于其所述浸入式流被个性化的用户的视角来看，仿佛所有参与者共享单独的会议室或工作台。在为单个用户生成的浸入式视频流中用户的阴影可被集成，仿佛虚拟会议室或工作台是从该用户后面的视角看到的。本发明特别关注检测并且补偿摄像机抖动或摄像机振动现象，以便改进这样的浸入式视频会议系统。
背景技术
摄像机抖动或摄像机振动的问题可通过在客户端侧的专用视频捕捉设备的使用来缓解，像例如微软Video Kinect，或基于飞行时间(TOF)摄像机的系统。然而这样的系统不便于携带，并且它们涉及专用的建立流程，所述专用的建立流程不能启用无处不在访问，即在任何时间从任何位置访问浸入式视频会议。
通过移动设备的使用，到视频会议的无处不在的访问变得可能。然而随着在视频会议中移动设备的增加的使用，遇到了摄像机抖动或摄像机振动问题，该问题通常降低了前景提取处理的输出质量，并且因此也降低从提取的前景图像生成的浸入式视频流质量。因此，摄像机抖动的可靠检测是可取的以便能够采取改进浸入式视频的质量的适当纠正和/或预防措施。
一类解决方案利用设备特定的硬件，诸如在某些移动电话、平板个人电脑等中存在的加速度计，来检测摄像机抖动。然而这些解决方案依赖于专用硬件的存在，并且因此不是设备无关的(device-agnostic)。此外，这些解决方案不能覆盖众多通常没有配备这类硬件的便携设备，例如笔记本电脑。
另一类解决方案依赖于在捕捉图像的客户端设备中检测和校正摄像机抖动的软件算法。这类算法的示例例如在来自作者P.O'Donovan的文章“Using Optical Flow forStabilizing Image Sequences”和来自作者K.Pauwels、M.Lappe和M.M.Van Hulle的文章“Fixation as a Mechanism for Stabilization of Short Image Sequences”中所描述的。由于这些算法在客户端侧执行视频流处理，因此这些解决方案不是与设备无关的，并且因此不能保证横跨所有设备的无处不在的连贯视频会议体验。此外，这些算法通常占用会议参与者的客户端设备中大量的处理能力和存储器资源。
本发明的目的是提供用于解决现有解决方案上述缺点的浸入式视频会议的方法和工具。更特别地，本发明的目的是公开浸入式视频会议解决方案，其允许以对由会议参与者使用的客户端设备是无关的方式通过检测、发出信号和校正摄像机抖动来提高浸入式视频会议的整体质量，并且根据处理能力和存储器的使用率，该解决方案可以以有限的需求来实现。
发明内容
根据本发明，上述定义的目的通过用于浸入式视频会议的视频会议服务器来实现，该视频会议服务器适于接收和组合由多个视频客户端的摄像机所捕捉的视频流，并且适于生成用于传送到多个视频客户端并且由多个视频客户端播出的浸入式视频流，其中视频会议服务器包括：
-适于生成用于从会议客户端接收的视频帧的前景掩模的切出模块；
-适于确定用于在所述视频帧中的特征的子集的位移向量的摄像机抖动检测器，所述位移向量表示在通过反转所述前景掩模所获得的背景掩模与为从会议客户端接收的先前视频帧生成的先前背景掩模之间的特征的子集的二维运动；
-适于在浸入式视频流中使用前景掩膜之前对前景掩膜施加与位移向量相反的位移从而校正会议客户端的摄像机抖动效应的摄像机抖动校正模块；以及
-适于在传送到会议客户端的浸入式视频流中生成抖动指示的信令单元。
这样，本发明是服务器侧实现的，这确保了其对于用于捕捉视频流的客户端设备是无关的。它可例如实现为在云环境——即由第三方操作和维护的远程存储和处理环境，所述第三方不同于在视频会议中涉及的各方，——中的处理器中运行的软件程序。本发明进一步利用了在浸入式视频会议系统中可用的技术的优点，即前景提取。本发明确实依赖于将从客户端接收的视频流中的背景和前景隔离的切出模块。本发明然后通过量化背景中的特征的子集的位移来计算视频流背景中的全局运动。在摄像机抖动不存在的情况下，背景应是稳定的，并且在背景中的特征的位移应接近于零。如果相反位移具有超过一定阈值的幅度，则本发明假设检测到了摄像机抖动现象。服务器应在随后向其摄像机已经抖动的客户端设备发出摄像机抖动的信号以便使其用户能够采取预防性措施。所述系统进一步应通过施加位移到视频流的前景图像来采取纠正性措施，其中在这些前景图像在被产生的用于其它客户端的浸入式视频流中被使用之前，已经检测到抖动现象。总之，本发明使得用户意识到在他们这一边的不希望的摄像机抖动现象，并且采取了针对在提取到的前景图像中的检测到的抖动现象的纠正性措施。以这种方式，本发明显著地有利于浸入式视频会议的质量，而不论用于捕捉图像的客户端的类型，并且不在这样的客户端设备中处理和存储资源的使用率方面造成负面影响。
在根据本发明的视频会议服务器的优选实施例中，摄像机抖动检测器包括：
-用于选择在视频帧和先前视频帧中的特征的集合的视频流处理器；
-用于过滤该特征的集合以获得属于视频帧的背景掩模并且属于先前帧的先前背景掩模的特征的子集的过滤逻辑；以及
-用于通过锥体Lukas-Kanade算法计算用于该特征的子集的稀疏光流的处理逻辑。
事实上，根据本发明的摄像机抖动检测器选择属于图像背景的特征的子集，并且计算根据锥体Lukas-Kanade(LK)算法的稀疏光流，即从一帧到另一帧的这些特征的位移。这产生用于特征的子集的速度向量的集合，根据该速度向量的集合，可通过各种统计方法计算全局位移向量，即量化在两帧之间的摄像机抖动的二维运动。
根据本发明的视频会议服务器的进一步的方面，摄像机抖动检测器包括：
-用于通过统计平均根据用于特征的子集的稀疏光流来计算形成位移向量的运动幅度和运动方向的统计逻辑。
事实上，通过对计算的用于在背景中特征的子集的速度向量进行评价，量化摄像机抖动的幅度和朝向或方向可被确定。可以应用多种平均技术，诸如平均值、中值、加权和、极值等。
根据本发明的视频会议服务器的可选方面，摄像机抖动检测器进一步包括：
-被配置以对于在特征的子集中的每一个特征将稀疏光流的幅度与预定阈值相比较的处理逻辑，并且该处理逻辑被配置以当稀疏光流的幅度低于预定阈值时从对位移向量的计算中丢弃该特征。
因此，根据本发明的摄像机抖动检测器优选地过滤将用于量化摄像机抖动幅度和主导方向的特征。如果特征位移保持在低于一定的幅度阈值，则它被视为噪声，并且因此从进一步的计算排除，因为它将可能引起全局位移向量的估计的误差。因此，通过过滤用于检测摄像机抖动的背景特征，准确性和可靠性得到提高。
在根据本发明的视频会议服务器的优选实施例中，摄像机抖动检测器进一步包括：
-被配置以将特征的子集中的每一个特征根据其稀疏光流方向分配给具有n个柱状容器且每个柱状容器均覆盖360度/n的范围的第一集合之中的第一容器和具有n个柱状容器且每个柱状容器均覆盖360度/n的范围的第二集合之中的第二容器的处理逻辑，其中n是正整数值，并且具有n个容器的第二集合相对于具有n个容器的第一集合旋转了180度/n；
-被配置以在具有n个容器的第一集合和具有n个容器的第二集合中选择主导容器的处理逻辑，所述主导容器包含来自所述特征的子集的最高量的特征；以及
-被配置以从对位移向量的计算中丢弃不属于主导容器的所有特征的处理逻辑。
事实上，为了确定摄像机抖动的主导方向，可考虑两个n个容器的柱状图。在这些容器中，子集的特征根据它们位移的朝向来分组。每个容器覆盖360°/n的范围。第一柱状图应该例如在0°开始。n个容器的第二柱状图应相对于第一容器旋转了180°/n。在两个柱状图之中选择包含最高量的特征的容器。不属于该容器的特征从主导方向计算中丢弃。第二柱状图是有必要的，以确保主导方向应不与两个容器之间的边界一致。再一次地，基于两个容器的柱状图，对用于主导方向计算的特征进行过滤的机制增加了本发明的准确性和可靠性。
除了视频会议服务器之外，本发明还涉及对应的在视频会议服务器中用于摄像机抖动检测的方法，所述视频会议服务器适于接收和组合由多个视频客户端的摄像机捕捉的视频流，并且生成用于传送到多个视频客户端并且由多个视频客户端播出的浸入式视频流，其中所述方法包括：
-生成用于从会议客户端接收的视频帧的前景掩模；
-确定用于视频帧中特征的子集的位移向量，该位移向量表示通过反转所述前景掩模所获得的背景掩模与为从会议客户端接收的先前视频帧而生成的先前背景掩模之间的特征的子集的二维运动；
-在浸入式视频流中使用前景掩模之前对前景掩模施加与位移向量相反的位移，从而校正所述会议客户端的摄像机抖动的影响；以及
-在被传送到会议客户端的浸入式视频流中生成抖动指示。
本发明同样涉及相应的数据处理系统，包括用于执行所述方法的装置。
本发明进一步涉及相应的计算机程序，包括适于执行所述方法的软件代码，以及计算机可读存储介质，包括所述计算机程序。
附图说明
图1是根据本发明的视频会议服务器100的实施例的功能框图；
图2示出了在本发明实施例中用于对将用于摄像机抖动确定的特征的子集进行过滤的柱状图的使用；以及
图3示出了在本发明的实施例中通过抖动指示发出摄像机抖动的信号。
具体实施方式
图1示出连接到浸入式视频会议服务器100的视频客户端101或CLIENT1。浸入式视频会议服务器100可以例如是在云环境中运行的软件应用，所述云环境即使用由第三方托管和维护的处理和存储器资源，所述第三方不同于使用系统的客户。
浸入式视频会议服务器100包括视频流收发信道111或VIDEOSTREAM1、视频流收发信道112或VIDEOSTREAM2、视频流收发信道113或VIDEOSTREAM3、视频流收发信道11i或VIDEOSTREAMi、切出模块102或CM、抖动检测器103或SD，以及场景设计器104或SC。切出模块102、抖动检测器103和场景设计器104共同形成浸入式视频会议平台的视频处理流水线(pipeline)。
视频流收发信道111接收由集成在或连接到视频会议客户端101中的摄像机所捕捉的视频流。视频流收发信道111将视频流121馈送到切出模块102、抖动检测器103和场景设计器104。切出模块102使用本领域现有的前景提取技术在每个视频帧中将前景与背景分离。向抖动检测器103提供前景掩模122，所述抖动检测器103表示了本发明中的关键单元。抖动检测器103使用从切出模块102接收的前景掩模122和来自视频会议客户端101的原始视频帧121来生成抖动检测结果，该抖动检测结果带有作为参数的表示摄像机抖动方向和幅度的二维图像坐标中的位移向量。
虽然构成本发明基础的原理可适用于三维摄像机抖动检测，但是应注意到，抖动检测器103优选地仅处理沿着图像X轴和Y轴——即在二维中——的摄像机抖动运动，以便简化摄像机抖动校正算法，并且增加鲁棒性和响应时间。
抖动检测器103实现了用于确定摄像机抖动位移向量的下述算法。从当前视频帧Ft和先前视频帧Ft-1开始，使用锥体Lukas-Kanade(LK)方式计算稀疏光流。为了增加光流估计的可靠性和准确性并且获得更大的稀疏特征的集合，在通过应用Canny运算符所获得的帧的边缘图像▽Ft和▽Ft-1之间计算光流。为了消除虚假(spurious)特征，通过对于每个特征f施加在该点中绝对帧差必须超过给定阈值Tdiff的条件来过滤通过LK算法产生的结果稀疏特征：
|Ft(f)–Ft-1(f)|>Tdiff
其结果是特征集合Φ，特征集合Φ包含稀疏特征以及从一帧到另一帧计算的它们的位移向量。
由切出模块102生成的前景掩模122由抖动检测器103反转以便获得背景掩模。该背景掩模被施加到特征集合Φ以便生成属于图像背景的特征的子集此后，抖动检测器103施加图像统计给特征的子集以便确定以二维向量123的形式的背景中的全局运动，该二维向量123被转发到场景设计器104并且返馈回切出模块102。
为了考虑仅由摄像机抖动所导致的移动特征，施加阈值Tv到每个特征的位移的幅度。如果特征的位移的幅度低于阈值Tv，则该特征被视为噪声并且将被排除，因为它将引起全局位移向量的估计的误差。
此外，每一个均具有n个容器的两个柱状图——图2中HISTOGRAM1和HISTOGRAM2——被用于根据它们的朝向将特征分组。每个容器，即用于HISTOGRAM1的211…21N和用于HISTOGRAM2的221…22n均覆盖360°/n的范围。第一柱状图从0°开始，而第二柱状图相对于第一柱状图旋转180°/n。特征，例如图2中的201，根据在两帧之间它们各个位移的朝向被全部分配至在HISTOGRAM1中的容器和在HISTOGRAM2中的容器。在两个柱状图之中选择具有最大数量的特征的容器，并且从全局位移计算中丢弃不属于该容器的所有特征。在图2中，包含最大数量的特征的容器是22n。该基于柱状图的特征过滤确保了由于光流估计误差所导致的虚假动作被消除，并且选择了主导方向。彼此相对旋转的两个柱状图的使用确保了主导方向不会与两个容器之间的边界一致，所述一致将导致沿着该主导方向位移的特征将分散在两个容器上并且采用最大量特征的寻找容器的算法可以完全不同的容器和错误的主导方向而结束。
此后，抖动检测器103在剩余特征上计算平均朝向θ。朝向的标准偏差σθ使得能够估计该结果是否可由切出算法使用来校正提取的前景图像中的摄像机抖动的影响。如果标准偏差σθ小于预定裕度σmax，则作为在客户端处摄像机抖动影响的结果的位移以足够的准确性被确定。于是特征位移的平均角度θ和平均幅度表示二维位移向量，其能够可靠地由切出模块使用以校正前景图像中的摄像机抖动影响，该前景图像将在由场景设计器104生成的用于其它客户端的浸入式视频流125中使用以及将在由场景设计器104生成的用于具有抖动的摄像机的客户端101的浸入式视频流124中使用。
抖动检测器103向切出模块102发送位移向量信息123。如果位移向量的幅度超过应用阈值Tshake，则应用纠正性措施以便获得稳定的切出前景掩模。这些纠正性措施使用与位移向量相同幅度的位移但朝向相反的方向，即θ+180°，结果是转换了在当前前景掩模中的每一个像素。
此外，抖动检测器103同样向场景设计器104发送位移向量信息123。场景设计器104负责创建浸入式场景，其中以促进自然交互的感觉以及共同虚拟空间共享的方式来集成每个用户的切出。该场景为视频会议的每个与会者所定制的。图3例如示出了从第一与会者的角度看到的场景，其中他自己的切出301显示为阴影，第二与会者的切出302和第二与会者的切出303面对着他，就像在自然对话之中似的。第一与会者可以例如是图1中视频客户端101的用户。
考虑到已经检测到客户端101的摄像机抖动，场景设计器104将在图3中插入视觉抖动指示符312到与会者的阴影表示中，以便发出该现象存在的信号。抖动指示符312伴随着与会者的阴影边界310沿着位移向量的方向的细微蠕动效果311以便向用户递送该消息而不必采取客户端侧实现的常规对话框或通知消息。
此外，在施加校正的切出掩模之前，场景设计器104将施加与切出模块102相同的转换到视频帧121以便稳定与会者的切出。该方法的优点是场景设计器104可采用新的服务器侧效果来更新，并且这些效果将由客户端显示而无需它们知道必须如何执行渲染。这允许需要很少处理能力并且可托管在例如浏览器中的瘦客户端。
根据本发明的方法应通常为在例如云服务运营商的控制下的数据处理系统或计算设备上的计算机实现。根据本发明操作的数据处理系统或计算设备可包括工作站、服务器、膝上型计算机、台式计算机、手持设备、移动设备、平板计算机或如将被本领域的技术人员所理解的其它计算设备。
数据处理系统或计算设备可以包括用于多个组件之间直接或间接的连接性的总线或网络、存储器或数据库、一个或多个处理器，输入/输出端口、电源等。本领域的技术人员将理解，总线或网络可包括一个或多个总线，诸如地址总线、数据总线，或其任何组合，或可包括一个或多个网络链路。本领域的技术人员另外将理解，取决于预期的应用和特定实施例的用途，这些组件中的多个可以由单个设备来实现。同样，在一些情况下，可以由多个设备来实现单个组件。
数据处理系统或计算设备可以包括具有能够执行根据本发明的方法的计算机程序的不同计算机可读介质或与其交互。例如，计算机可读介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、CDROM、数字多用光盘(DVD)或其它光学或全息介质、磁带盒、磁带、磁盘存储装置或可用于编码信息并且可以由数据处理系统或计算设备访问的其它磁存储设备。存储器可以包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移动的、不可移动的，或它们的任意组合。示例性硬件设备是诸如硬盘驱动器、固态存储器、光盘驱动器等设备。数据处理系统或计算设备可以包括从诸如存储器、各种I/O组件等组件读取数据的一个或多个处理器。
尽管本发明已经通过参考特定实施例示出，但对本领域技术人员来说显而易见的是：本发明不限于前述说明性实施例的细节，并且本发明可以多种变化和修改来实施，而不脱离其范围。因此介绍的实施例在所有方面都视为是说明性而非限制性的，本发明的范围由所附权利要求而不是由前面的说明书来指示，并且因此落入权利要求的等价含义和范围内的所有变化旨在被包含在其中。换句话说，其考虑到了覆盖落入本专利申请所要求的基本原理范围及其本质属性内的任何和全部修改、变化或等同物。本专利申请的读者将进一步理解，词语“包括”或“包含”不排除其它单元或步骤，词语“一”或“一个”并不排除多个，并且单个单元诸如计算机系统、处理器或另一个集成单元可以实现权利要求中列举的多个部件的功能。权利要求中的任何参考标记不应被解释为相关的权利要求的限制。术语“第一”、“第二”、“第三”、“a”、“b”、“c”等在说明书或权利要求中使用时被引入以区分类似的单元或步骤，并不一定在描述顺序或时间次序。类似地，术语“顶部”、“底部”、“之上”、“之下”等被引入用于描述性目的，并不一定表示相对位置。可以理解的是如此使用的术语在适当的情况下是可互换的，并且本发明的实施例能够根据本发明以其它顺序、或以不同于一个上述或示出的方向来操作。

Claims (8)

1.一种用于浸入式视频会议的视频会议服务器，所述视频会议服务器适于接收并组合由多个视频客户端的摄像机捕捉的视频流，并且生成用于传送到所述多个视频客户端并由所述多个视频客户端播出的浸入式视频流，
其中，所述视频会议服务器包括：
-切出模块，其适于生成用于从视频客户端接收的视频帧的前景掩模；
-摄像机抖动检测器，其适于确定用于所述视频帧中的特征的子集的位移向量，所述位移向量表示所述特征的子集在通过反转所述前景掩模所获得的背景掩模与为从所述视频客户端接收的先前视频帧生成的先前背景掩模之间的二维运动；
-摄像机抖动校正模块，其适于在所述浸入式视频流中使用所述前景掩模之前，对所述前景掩模施加与所述位移向量相反的位移，从而校正所述视频客户端的摄像机抖动的影响；以及
-信令单元，其适于在被传送到所述视频客户端的浸入式视频流中生成抖动指示。
2.根据权利要求1所述的视频会议服务器，
其中，所述摄像机抖动检测器包括：
-视频流处理器，用于在所述视频帧和所述先前视频帧中选择特征的集合；
-过滤模块，用于过滤所述特征的集合以获得属于所述视频帧的所述背景掩模并且属于所述先前视频帧的所述先前背景掩模的特征的子集；以及
-第一处理模块，用于通过锥体Lukas-Kanade算法计算用于所述特征的子集的稀疏光流。
3.根据权利要求2所述的视频会议服务器，
其中，所述摄像机抖动检测器进一步包括：
-统计模块，用于通过统计平均并根据用于所述特征的子集的所述稀疏光流来计算形成所述位移向量的运动幅度和运动方向。
4.根据权利要求2所述的视频会议服务器，
其中，所述摄像机抖动检测器进一步包括：
-第二处理模块，其被配置以对于在所述特征的子集中的每一个特征，将所述稀疏光流的幅度与预定阈值进行比较，并被配置以当所述稀疏光流的所述幅度低于所述预定阈值时，从对所述位移向量的计算中丢弃所述特征。
5.根据权利要求2所述的视频会议服务器，
其中，所述摄像机抖动检测器进一步包括：
-第三处理模块，其被配置以将所述特征的子集中的每一个特征根据其稀疏光流的方向分配给具有n个柱状容器且每个柱状容器均覆盖360度/n的范围的第一集合之中的第一容器和具有n个柱状容器且每个柱状容器均覆盖360度/n的范围的第二集合之中的第二容器，其中n是正整数值，并且所述具有n个容器的第二集合相对于所述具有n个容器的第一集合旋转了180度/n；
-第四处理模块，其被配置以在所述具有n个容器的第一集合和所述具有n个容器的第二集合之中选择主导容器，所述主导容器包含来自所述特征的子集的最高数量的特征；以及
-第五处理模块，其被配置以从对所述位移向量的计算中丢弃不属于所述主导容器的所有特征。
6.一种用于视频会议服务器中的摄像机抖动检测的方法，所述视频会议服务器适于接收并组合由多个视频客户端的摄像机捕捉的视频流，并且生成用于传送到所述多个视频客户端并由所述多个视频客户端播出的浸入式视频流，
其中，所述方法包括：
-生成用于从视频客户端接收的视频帧的前景掩模；
-确定用于所述视频帧中的特征的子集的位移向量，所述位移向量表示所述特征的子集在通过反转所述前景掩模所获得的背景掩模与为从所述视频客户端接收的先前视频帧而生成的先前背景掩模之间的二维运动；
-在所述浸入式视频流中使用所述前景掩模之前对所述前景掩模施加与所述位移向量相反的位移，从而校正所述视频客户端的摄像机抖动的影响；以及
-在被传送到所述视频客户端的浸入式视频流中生成抖动指示。
7.一种包括用于执行如权利要求6所述的方法的装置的数据处理系统。
8.一种计算机可读存储介质，在其上存储有计算机程序，其中，所述计算机程序在由处理器执行时使得所述处理器执行如权利要求6所述的方法。
CN201380062084.5A 2012-11-29 2013-11-25 具有摄像机抖动检测的视频会议服务器 Expired - Fee Related CN104813656B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12290418.8 2012-11-29
EP12290418.8A EP2739044B1 (en) 2012-11-29 2012-11-29 A video conferencing server with camera shake detection
PCT/EP2013/074528 WO2014082941A1 (en) 2012-11-29 2013-11-25 A videoconferencing server with camera shake detection

Publications (2)

Publication Number Publication Date
CN104813656A CN104813656A (zh) 2015-07-29
CN104813656B true CN104813656B (zh) 2018-03-27

Family

ID=47326002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380062084.5A Expired - Fee Related CN104813656B (zh) 2012-11-29 2013-11-25 具有摄像机抖动检测的视频会议服务器

Country Status (6)

Country Link
US (1) US9762856B2 (zh)
EP (1) EP2739044B1 (zh)
JP (1) JP6159816B2 (zh)
KR (1) KR101697495B1 (zh)
CN (1) CN104813656B (zh)
WO (1) WO2014082941A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071740B1 (en) * 2011-10-28 2015-06-30 Google Inc. Modular camera system
EP2602692A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for recognizing gestures and gesture detector
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
WO2017066736A1 (en) * 2015-10-16 2017-04-20 Tribune Broadcasting Company, Llc Media-production system with social media content interface feature
JP2017174296A (ja) * 2016-03-25 2017-09-28 隆夫 西谷 画像処理装置および画像処理方法
JP6904843B2 (ja) * 2017-08-03 2021-07-21 キヤノン株式会社 撮像装置およびその制御方法
CN110245688B (zh) * 2019-05-21 2024-05-28 中国平安财产保险股份有限公司 一种数据处理的方法及相关装置
CN114640754B (zh) * 2022-03-08 2024-06-14 京东科技信息技术有限公司 视频抖动检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189870A (zh) * 2005-04-28 2008-05-28 德州仪器公司 运动稳定
CN101278551A (zh) * 2005-09-30 2008-10-01 摩托罗拉公司 用于视频稳定化的系统和方法
JP4448177B2 (ja) * 2005-12-28 2010-04-07 富士通株式会社 Ｔｖ電話機能の撮影画像処理切り替え装置
CN102693545A (zh) * 2012-04-19 2012-09-26 浙江师范大学 高速ccd图像序列的任意运动模糊图像复原方法
EP2525573A1 (en) * 2011-05-17 2012-11-21 Alcatel Lucent Method and system for conducting a video conference

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11289524A (ja) 1998-04-01 1999-10-19 Nippon Telegr & Teleph Corp <Ntt> 仮想空間会議方法およびこの方法を記録した記録媒体
JP4283532B2 (ja) 2002-12-25 2009-06-24 パナソニック株式会社 画像認識装置および方法
JP2008124850A (ja) * 2006-11-14 2008-05-29 Matsushita Electric Ind Co Ltd 画像動き補正装置、レンズ装置および撮像装置
JP4274233B2 (ja) * 2006-11-30 2009-06-03 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US8345921B1 (en) * 2009-03-10 2013-01-01 Google Inc. Object detection with false positive filtering
US20110096137A1 (en) * 2009-10-27 2011-04-28 Mary Baker Audiovisual Feedback To Users Of Video Conferencing Applications
US8466952B2 (en) * 2009-10-27 2013-06-18 Hewlett-Packard Development Company, L.P. Analysis of video composition of participants in a video conference
US8488213B2 (en) 2010-01-29 2013-07-16 Sharp Laboratories Of America, Inc. Methods and systems for no-touch scanning
US8731152B2 (en) 2010-06-18 2014-05-20 Microsoft Corporation Reducing use of periodic key frames in video conferencing
JP2012165338A (ja) * 2011-02-09 2012-08-30 Canon Inc 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189870A (zh) * 2005-04-28 2008-05-28 德州仪器公司 运动稳定
CN101278551A (zh) * 2005-09-30 2008-10-01 摩托罗拉公司 用于视频稳定化的系统和方法
JP4448177B2 (ja) * 2005-12-28 2010-04-07 富士通株式会社 Ｔｖ電話機能の撮影画像処理切り替え装置
EP2525573A1 (en) * 2011-05-17 2012-11-21 Alcatel Lucent Method and system for conducting a video conference
CN102693545A (zh) * 2012-04-19 2012-09-26 浙江师范大学 高速ccd图像序列的任意运动模糊图像复原方法

Also Published As

Publication number Publication date
US9762856B2 (en) 2017-09-12
EP2739044A1 (en) 2014-06-04
JP6159816B2 (ja) 2017-07-05
KR101697495B1 (ko) 2017-01-18
WO2014082941A1 (en) 2014-06-05
US20150304606A1 (en) 2015-10-22
EP2739044B1 (en) 2015-08-12
CN104813656A (zh) 2015-07-29
KR20150102985A (ko) 2015-09-09
JP2016503631A (ja) 2016-02-04

Similar Documents

Publication Publication Date Title
CN104813656B (zh) 具有摄像机抖动检测的视频会议服务器
US11632532B2 (en) Three-dimensional model distribution method and three-dimensional model distribution device
US10171738B1 (en) Stabilizing video to reduce camera and face movement
CN109891189B (zh) 策划的摄影测量
KR20200146040A (ko) 깊이 추정 시스템의 자가 감독 훈련
CN112492388B (zh) 视频处理方法、装置、设备以及存储介质
US10204423B2 (en) Visual odometry using object priors
Fernandez-Sanchez et al. Background subtraction model based on color and depth cues
JP2017507557A (ja) 高解像度の動画ストリームを自身の端末で視聴するユーザの体感品質を向上するためのプロセス
KR20110096500A (ko) 위치 기반의 통신 방법 및 시스템
CN106603941A (zh) 计算复杂度自适应的hdr图像转换方法及其系统
CN112783700A (zh) 用于基于网络的远程辅助系统的计算机可读介质
KR101176743B1 (ko) 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버
US20230298143A1 (en) Object removal during video conferencing
CN107733874B (zh) 信息处理方法、装置、计算机设备和存储介质
US20230245499A1 (en) Systems and methods for predicting elbow joint poses
US10282633B2 (en) Cross-asset media analysis and processing
US10546214B2 (en) System and method for communicating visual recognition
Hossain et al. A Novel Performance Metric for the Video Stabilization Method
KR20230006083A (ko) Ai 기반 타깃 콘텐츠 변환 서비스 제공 장치의 동작을 위한 프로그램
JP2022186299A (ja) 位置特定装置、位置特定方法及び位置特定システム
KR20230006084A (ko) 딥러닝 기반 페이스 스왑 서비스를 제공하는 장치를 동작하기 위한 프로그램
KR20230006078A (ko) 얼굴 이미지 변환 처리 서비스를 제공하는 장치를 동작하기 위한 프로그램을 기록한 기록매체
KR20230006081A (ko) 페이스 스왑 서비스 제공 장치
KR20230006077A (ko) 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180327

Termination date: 20191125