CN101753851B - 背景更换的方法、虚拟场景合成的方法及相关系统和设备 - Google Patents
背景更换的方法、虚拟场景合成的方法及相关系统和设备 Download PDFInfo
- Publication number
- CN101753851B CN101753851B CN2008101862306A CN200810186230A CN101753851B CN 101753851 B CN101753851 B CN 101753851B CN 2008101862306 A CN2008101862306 A CN 2008101862306A CN 200810186230 A CN200810186230 A CN 200810186230A CN 101753851 B CN101753851 B CN 101753851B
- Authority
- CN
- China
- Prior art keywords
- background
- color
- background color
- equipment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例公开一种背景更换的方法、虚拟场景合成的方法及相关系统和设备。视频会议会场中背景更换的方法，包括：获取根据预定规则确定的背景颜色；发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。视频会议中虚拟场景合成方法，包括：获取切换后的背景颜色，所述切换后的背景颜色是由背景控制设备获取根据预定规则确定的背景颜色后，通过发送携带所述确定的背景颜色的切换命令控制背景设备按照所述确定的背景颜色进行切换后得到；根据获取的背景颜色进行虚拟场景合成。本发明实施例技术方案能够实现视频会议的背景颜色的改变。
Description
技术领域
本发明涉及通信技术领域，具体涉及一种背景更换的方法、虚拟场景合成的方法及相关系统和设备。
背景技术
网真(Telepresence)系统是一种创建虚拟会议环境的视频会议系统，所创建的虚拟会议环境充分体现了参会者的人性化因素，并尽可能地复制参会者的真实体验。Telepresence系统相对于传统视频会议系统的优点，包括：真人大小的图像、流畅的运动、精确的肢体行为、高清的演播室级的视频、以及大型用户群的近似眼神交流等等，因此Telepresence系统能够极大地提高用户的接受度，从而提高使用率和提高用户的满意度。
Telepresence系统的会议室环境工程装修是一个比较重要的问题，良好的会议室装修背景能够给参会者带来沉浸式和一致性的体验。为了使参会者的图像清晰、对比度较高，目前的Telepresence系统在选择背景颜色的原则是，以参会者图像的颜色较深，能够和背景形成较大反差为前提选择背景颜色，因此通常都采用了较浅的灰色系颜色，如黄灰色，褐灰色等，否则如果参会者的衣着颜色和背景颜色接近，则视频效果较差。
在对现有技术的研究和实践过程中，发明人发现现有技术存在以下问题：目前Telepresence系统的会议室背景颜色是固定的，由装修决定，很难更改。也就是说，目前的视频会议会场的背景颜色无法进行改变，那么就无法利用改变的背景颜色进行相关处理。
发明内容
本发明实施例要解决的技术问题是提供一种背景更换的方法、虚拟场景合成的方法及相关系统和设备，能够实现视频会议会场的背景颜色的改变。
为解决上述技术问题，本发明所提供的实施例是通过以下技术方案实现的：
本发明实施例提供一种视频会议会场中背景更换的方法，包括：
获取根据预定规则确定的背景颜色；
发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
本发明实施例提供一种视频会议中虚拟场景合成方法，包括：
获取切换后的背景颜色，所述切换后的背景颜色是由背景控制设备获取根据预定规则确定的背景颜色后，通过发送携带所述确定的背景颜色的切换命令控制背景设备按照所述确定的背景颜色进行切换后得到；
根据获取的背景颜色进行虚拟场景合成。
本发明实施例提供一种视频会议会场中的背景更换系统，包括：
背景控制设备，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换；
背景设备，用于根据所述背景控制设备的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
本发明实施例提供一种网络系统，包括：
含有背景控制模块的终端，所述终端中的背景控制模块用于获取根据预定规则确定的背景颜色，向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色；
背景设备，用于根据所述终端发送的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色；
多点控制单元设备，用于将所述终端确定的背景颜色向其他会场发送。
本发明实施例提供一种虚拟场景合成系统，包括：
含有背景控制模块的终端，所述终端中的背景控制模块用于获取根据预定规则确定的背景颜色，向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色；
背景设备，用于根据所述终端发送的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色；
虚拟场景合成设备，用于根据所述背景设备切换后的背景颜色进行虚拟场景合成；
多点控制单元设备，用于将所述虚拟场景合成设备进行虚拟场景合成得到图像向其他会场发送。
本发明实施例提供一种背景控制设备，包括：
处理单元，用于获取根据预定规则确定的背景颜色；
控制单元，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
本发明实施例提供一种背景设备，包括：
背景控制模块，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令；
切换处理模块，用于根据所述背景控制模块的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
本发明实施例提供一种视频终端，含有背景控制模块，所述背景控制模块包括：
处理单元，用于获取根据预定规则确定的背景颜色；
控制单元，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
本发明实施例提供一种中控设备，含有背景控制模块，所述背景控制模块包括：
处理单元，用于获取根据预定规则确定的背景颜色；
控制单元，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
本发明实施例提供一种虚拟场景合成设备，包括：
背景控制模块，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色；
合成处理模块，用于获取背景设备根据切换命令进行切换后的背景颜色，根据获取的背景颜色进行虚拟场景合成。
本发明实施例提供一种虚拟场景合成设备，包括：
获取模块，用于获取切换后的背景颜色，所述切换后的背景颜色是由背景控制设备获取根据预定规则确定的背景颜色后，通过发送携带所述确定的背景颜色的切换命令控制背景设备按照所述确定的背景颜色进行切换后得到；
合成模块，用于根据获取的背景颜色进行虚拟场景合成。
上述技术方案可以看出，本发明实施例提供的技术方案，由于背景设备可以提供不同的背景颜色，并且根据预定规则确定背景颜色，可以通过切换命令控制背景设备按确定的背景颜色进行切换，这样就可以实现视频会议会场的背景颜色的改变。
上述技术方案可以看出，本发明实施例提供的技术方案，由于背景设备可以提供不同的背景颜色，并且根据预定规则确定背景颜色，可以通过切换命令控制背景设备按确定的背景颜色进行切换，再根据切换的背景颜色进行虚拟场景合成，这样就实现了视频会议会场的虚拟场景合成。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一视频会议会场中背景更换的方法流程图；
图2是本发明实施例二视频会议会场中背景更换的方法流程图；
图3是本发明实施例中虚拟场景合成流程图；
图4是本发明实施例的视频通信系统示意图；
图5是本发明实施例视频会议会场中的背景更换系统结构示意图；
图6是本发明实施例网络系统结构示意图；
图7是本发明实施例虚拟场景合成系统结构示意图；
图8是本发明实施例背景控制设备结构示意图；
图9是本发明实施例背景设备结构示意图；
图10是本发明实施例视频终端结构示意图；
图11是本发明实施例的中控设备结构示意图；
图12是本发明实施例的虚拟场景合成设备结构一示意图；
图13是本发明实施例的虚拟场景合成设备结构二示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种视频会议会场中背景更换的方法方法，能够实现视频会议会场的背景颜色的改变。
现有技术中视频会议的背景颜色无法进行改变，因此现有技术中的Telepresence系统的会议室背景也就无法进行虚拟场景合成。这是因为目前虚拟场景合成技术要求背景和前景在色度上必须要有明显差异，而目前Telepresence系统的会议室背景装修一般采用较浅背景颜色，这样就很难到达虚拟场景合成技术的背景要求。此外，不同会议室的装修背景颜色可能不同，而背景颜色又无法进行改变，那么就导致在多点会议时会议背景颜色不统一，无法使参会者获得处于同一会场中的体验。
本发明实施例方法主要在视频会议系统中增加背景设备和背景控制设备，背景设备可以提供不同的背景颜色，背景控制设备可以自动选择符合虚拟场景合成条件的背景颜色，并通过切换命令控制背景设备按所述背景颜色进行切换，将切换后的背景颜色作为视频会议会场的背景颜色，这样就实现了背景颜色的改变，从而也使得虚拟场景合成设备可以根据动态切换后的背景颜色进行虚拟场景合成，也使得在多点会议时可以实现背景颜色的统一。
以下结合附图详细介绍本发明实施例。
请参阅图1，是本发明实施例一视频会议会场中背景更换的方法流程图，包括步骤：
步骤101、获取根据预定规则确定的背景颜色；
获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色。
该步骤获取过程可以为自动模式：所述背景设备的背景模式由用户输入；所述前景的图像颜色通过检测获得；所述获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色具体为：根据所述背景设备的背景模式和/或前景的图像颜色自动选择背景颜色，获取所述自动选择的背景颜色。
该步骤获取过程还可以为手动模式：获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备的背景模式和/或前景的图像颜色确定。
步骤102、发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
该步骤中，背景控制设备向背景设备发送携带所述确定的背景颜色的切换命令，指示所述背景设备将背景颜色切换成所述切换命令中携带的背景颜色，所述背景的背景颜色通过可更换幕布的颜色展示，或者通过翻转面板的颜色展示，或者通过不同背景光照形成的颜色展示。
在背景设备根据切换命令切换背景后，进一步的，虚拟场景合成设备就可以根据所述背景设备切换后的背景颜色进行虚拟场景合成，而在多点会议时，就可以将各参会方的背景颜色调为一致，从而在多点会议时实现背景颜色的统一。
从实施例一可以看出，实施例一提供的技术方案，由于背景设备可以提供不同的背景颜色，并且根据预定规则确定背景颜色，可以通过切换命令控制背景设备按确定的背景颜色进行切换，这样就可以实现视频会议会场的背景颜色的改变。
请参阅图2，是本发明实施例二视频会议会场中背景更换的流程图。实施例二与实施例一相比，更详细的提供一种背景更换处理过程。图2中包括步骤：
步骤201、获取背景设备的背景模式；
本发明实施例在视频会议系统中新增一个背景控制设备和背景设备，背景控制设备根据获取的背景设备的背景模式，可以控制背景设备进行背景切换。
本发明实施例的背景设备，可以提供不同的背景，可在两种背景模式下工作：一种是正常会议场景模式，用于正常会议场景，背景颜色为传统视频系统或Telepresence系统的装修颜色；另一种是虚拟合成会议场景模式，用于虚拟会议场景，背景颜色是接近深度饱和色的颜色，可进行虚拟场景合成。背景设备的背景模式可以根据背景控制设备的指令进行切换。
背景设备有多种实现方式：
方式1：采用类似动态广告牌的方式。预先准备好不同颜色的背景幕布放置到一个设备中，当要进行背景切换时利用机械装置，如电机和滚筒，将背景幕布拉出进行呈现，可以采用水平切换或垂直切换。这种方案的优点是切换的背景方案可以比较多。
方式2：采用可翻转面板的结构。具体是由多个三棱柱形(可显示3个图案，也可以采用四棱柱结构显示4个图案)组合而成，并设置在压板与座板的之间。连接面板和座板的轴与受电机控制的机械传动机构相连接，使面板相对于压板和座板进行360度的旋转。在旋转过程中，通过面板的组合，可呈现多幅图案。这种方案的优点是切换迅速。
方式3：采用背景灯的方式。先将背景设为纯白色，然后通过不同颜色的光照使背景呈现不同的颜色。要求背景光照均匀，并且不能太强，否则会影响作为前景的参会者，导致颜色溢出。这种方案效果比较好。
因此，步骤201中，背景控制设备首先获取用户输入的背景设备的背景模式，而用户是可以根据具体情况可以选择不同背景模式。
步骤202、判断当前会议是否为多点会议，若是，进入步骤203，若否，进入步骤204；
背景控制设备进一步判断当前要举行的会议是否为多点会议，若是，进入步骤203，若否，进入步骤204；
步骤203、获取其他会议室的背景颜色，进入步骤205；
对于正常会议场景模式下的多点会议，为了获得在相同会议室中开会的一致性体验，需要将所有会议室的背景颜色调为一致。因此，背景控制设备需要获取其它会议室的背景颜色作为参考。另外，如果其它会议室也采用了背景设备，则还需获取其它会议室所有可用的背景颜色。背景控制设备可以通过多点控制单元设备(MCU，Multipoint Control Unit)获取到其它会议室的背景颜色。
步骤204、获取当前会议室的前景的图像颜色；
对于虚拟合成会议场景模式下，背景控制设备对当前会议室的前景的图像颜色进行检测，例如对参会者的图像颜色进行检测，从而获取参会者的图像颜色。参会者的图像颜色进行检测有多种方法，例如采用简单的人脸识别和颜色分割技术，通过人脸的位置可以知道身体的近似位置，从而通过颜色分割区域获得参会者的衣着颜色，该衣着颜色作为参会者的图像颜色。需说明的是，这里前景的图像颜色只是以参会者的图像颜色举例说明但不局限于此，也可能包括其他属于前景的因素的颜色。
步骤205、进行背景颜色选择；
在非多点会议时，背景控制设备根据背景模式、前景的图像颜色等因素综合考虑，选择合适的背景颜色。
对于虚拟合成会议场景模式，背景颜色选择的原则是确定与前景的图像的色度的差异大于设定阈值的颜色作为背景颜色，也就是使背景颜色和前景的颜色具有较大反差，一般可选择深度饱和颜色作为背景颜色。该设定阈值一般可取经验值。该场景模式下，背景控制设备需要检测要进行虚拟场景合成一方的场景的颜色分布情况。一般影响场景颜色分布的主要因素是参会者的衣着颜色，因此需要进行参会者衣着颜色的检测，该操作在前面步骤204中已经提到，是可以采用人脸识别技术检测出参会者的脸所在的位置，然后根据脸所在的位置推导出参会者身体所在的位置区域，从而可以统计出每个参会者衣着的颜色。在已经知道每个参会者衣着的颜色后，自动选择一个纯色的背景颜色，使该背景颜色和每个参会者衣着的颜色差异最大或较大。这可以通过计算每个可选背景颜色到参会者衣着颜色的颜色距离得到。例如会议中有人穿绿色衣服而没有人穿蓝色衣服，则自动选择饱和蓝而不是饱和绿作为背景颜色。
对于正常会议场景模式下的多点会议的情况，为了获得在相同会议室中开会的一致性体验，需要将所有会议室的背景颜色调为一致，因此可以采用设定算法获得一个最优的背景颜色方案。为了尽量达到所有会议室的背景颜色一致，可以认为与所述其他会议方的背景颜色的色度的差异小于或等于设定阈值的颜色就是与其他会议方一致的颜色，将该颜色作为背景颜色。背景控制设备可以使用协商机制确定出每个参会方都支持的一个背景颜色。背景控制设备接收其他各参会方发送的所支持的背景颜色，然后将本会议方可支持的背景颜色与所述其他会议方的背景颜色的色度进行比较，而色度的差异小于或等于设定阈值的颜色就认为是与其他会议方一致的颜色，当然也可以是与其他会议方完全一致的颜色，此时设定阈值相当为0。确定大家都支持的一种背景颜色后，然后将该背景颜色再发送给其它参会方，由其它参会方也都根据该背景颜色切换，以获得最一致的背景效果。例如，A参会方支持1、2、3三种背景颜色，B参会方支持2、3、4三种背景颜色，C参会方支持3、4两种背景颜色，则B、C将自己的背景颜色发送给A，A将本会议方可支持的背景颜色与所述其他会议方的背景颜色的色度进行比较，确定出公共支持的背景颜色3(此时属于完全一致的颜色)发送给B和C，之后A、B、C三方可以统一根据背景颜色3进行切换。另外，如果有参会方的会议室的背景是固定不变的，并且该背景颜色也符合要求，则可以确定为选择该背景颜色，并通知其他参会方，其他参会方可以按此背景颜色或与此接近的背景颜色进行背景切换。
步骤206、进行背景切换，将切换后的背景颜色作为视频会议会场的背景颜色。
背景控制设备在确定了背景颜色后，发送包含背景颜色信息的背景切换命令到背景设备，由背景设备根据命令切换到相应的背景，将切换后的背景颜色作为视频会议会场的背景颜色。
如果是多点会议，除了本参会方按确定的背景颜色进行切换外，其他参会方的背景控制设备各自发送切换命令到所控制的背景设备进行背景切换。因此，在多点会议情况下，每个参会方根据确定的一致的背景颜色进行背景切换，将该切换后的背景颜色作为视频会议的背景颜色，这样就在多点会议时实现背景颜色的统一，使参会者获得了最大的一致性体验。
需要说明的是，上述是自动进行背景控制的方式，也可以采用一种手动方式进行控制，即用户手动输入背景模式，并手动输入选择的背景颜色，而背景控制设备获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备的背景模式和参会者的图像颜色确定。背景控制设备直接获取用户输入的背景设备的背景颜色后，就不需要执行自动选择背景颜色的过程，可以直接根据输入的背景颜色来发送切换命令，由背景设备根据命令切换到相应的背景。在手动模式下，用户也可以仅根据背景模式或前景的图像颜色确定背景颜色。
需要说明的是，该实施例在非多点会议时选择背景颜色是以根据背景模式和前景的图像颜色等因素综合考虑来选择合适的背景颜色举例说明，也可以是仅根据背景模式或前景的图像颜色选择合适的背景颜色。在仅根据背景模式时，主要原则是选择深度饱和颜色作为背景颜色。在仅根据前景的图像颜色，也是考虑与前景的图像的色度的差异大于设定阈值的颜色作为背景颜色。
在进行背景切换，将切换后的背景颜色作为视频会议的背景颜色后，还可以根据切换后的背景进行虚拟场景合成。
通过背景切换后，使得背景颜色是是接近饱和色的颜色，符合进行虚拟场景合成的要求，则此时视频会议系统的虚拟场景合成设备根据切换后的背景进行虚拟场景合成。虚拟场景合成设备能够在背景颜色和前景颜色差异大的情况下，将作为前景的参会者的视频对象提取出来，并和虚拟的外部输入的背景视频进行合成。
根据切换后的背景进行虚拟场景合成的具体内容请参见图3所示，图3是本发明实施例中虚拟场景合成流程图。
目前虚拟场景合成较成熟的技术是色度键(Chroma-Key)技术，该技术利用单一颜色背景(如蓝幕或绿幕)进行前后景分割。本发明实施例中也以采用色度键技术举例说明。
图3中包括步骤：
步骤301、提取前景对象；
该步骤利用色度键技术，从拍摄的会议场景中提取参会者视频对象，得到一个参会者视频对象的二值化掩模(Mask)。因为背景为纯色，所以采用HSV(即色度H、饱和度S、亮度V)颜色空间更容易去除背景。
首先需要求出背景颜色值，该背景颜色即前面所述步骤进行切换后的背景颜色。由于背景光照的不均匀，背景幕布不够平整以及摄像机噪声等因素的影响，背景的颜色值并不相同，不同区域的背景颜色存在差异。背景颜色值的采样主要受采样区域位置、采样区域大小和采样帧数的影响。得到背景颜色值后，可以利用背景颜色的阈值生成二值化的掩模图像。背景颜色的阈值可以进行调整，以使前景提取效果达到最好。当前景图像颜色和背景颜色的差值在HSV三个分量上都小于设定的背景颜色的阈值时，可以认为是背景，反之认为是前景。
在经过第一次前景提取后，得到了一个用于分割前后景的二值化掩模图像。
步骤302、提取前景边缘，根据边缘进行二次前景对象提取；
步骤301在经过第一次前景提取后，得到了一个用于分割前后景的二值化掩模图像。但由于颜色溢出等影响，在前景边界处的背景颜色和其它区域的背景颜色往往差别比较大，这时使用一次前景提取往往效果不好，如果加大背景颜色的阈值，会造成前景物体被误判为背景。此时，可以沿着前景边界用新的阈值再进行一次前景提取，此时阈值与第一次前景提取时的阈值不同。进行二次前景对象提取后，再得到一个二值化掩模图像。
步骤303、去除噪声和填补空洞；
通过前面两步骤处理得到的掩模图像一般还不够理想，还包括各种较大的噪点和空洞。此时，可以采用两种方法去除噪声和填补空洞：
第一种方法是基于形态学(Morphology)滤波的噪点消除和空洞填补方法，但对于较大的噪点和空洞，采用该方法无法解决问题，因此第二种方是可以采用区域标识的方法将图像中的每个连通区域标识出来，通过标识号可以计算每个连通区域的面积，面积较小的可以认为是噪点或空洞，然后根据该结果进行去除噪声和填补空洞。
步骤304、确定前后景未知区域和该区域的Alpha(图像透明度等级)值；
前后景未知区域(即前景、背景与未知区域)，总称为Trimap(三区域)区域，可以认为前景的Alpha值为1，背景的Alpha值为0，未知区域的Alpha值介于1和0之间。通常进行Alpha合成的区域在前景和背景的边界区域，因此该步骤根据前面得到的掩模图像中的前景边缘确定要进行Alpha合成的前后景未知区域，以及估计该区域中每个像素的Alpha值。
一种简单的前后景未知区域可以定义为：以边缘像素为中心，定义一个M×M个像素的处理区域R。在区域R中，像素是前后景的混合，具有半透明的Alpha值。该Alpha值沿着该区域迭代地传播，并假设相同颜色的像素值具有相同的Alpha值。
步骤305、进行虚拟场景合成。
根据掩模图像，去除待合成图像的背景部分，并和新背景图像进行合成，得到合成图像，从而完成虚拟场景合成。
该步骤获取外部输入的新的背景图像作为替换的背景对象，可以是文本、图片、视频以及计算机图形(Computer Graphic，CG)场景等，根据生成的掩模图像对前景对象和替换的背景对象进行合成，可以使用下面的公式：
I(i，j)＝α*F(i，j)+(1-α)*B(i，j)
其中I(i，j)为合成后的图像像素，F(i，j)为前景对象像素，B(i，j)为背景对象像素，α为Alpha值。
需说明的是，虚拟场景合成设备的结构根据不同的逻辑划分，可以分为编码端和解码端，因此进行虚拟场景合成可以采用三种架构来实现：一是在编码端实现，即完全由编码端实现分割和合成，然后像普通Telepresence系统一样编码传输合成后的图像。该架构的优点是解码端不做改动。二是解码端实现，即编码端发送原始拍摄图像，由解码端进行分割和合成。该架构的优点是编码端不做改动，缺点是编码过程中的有损压缩可能会影响分割效果。三是编解码端实现，即由编码端进行分割，传输分割后的前景对象和二值化掩模图像，由解码端进行合成。该架构的优点是传输码流小。
从实施例二可以看出，实施例二提供的技术方案，背景设备可以通过不同的方式提供不同的背景颜色，并且根据背景设备的背景模式和/或前景的图像颜色确定背景颜色。然后，可以通过切换命令控制背景设备按确定的背景颜色进行切换，这样就可以由虚拟场景合成设备根据切换后的背景颜色进行虚拟场景合成，避免现有技术中由于固定装修成成较浅背景颜色而无法对背景颜色进行改变，使得无法进行虚拟场景合成的缺陷。而在多点会议时，就可以将各参会方的背景颜色调为一致，从而在多点会议时实现背景颜色的统一，使参会者获得了最大的一致性体验。
上述所说的设备可以应用于视频通信系统中。请参阅图4，是本发明实施例的视频通信系统示意图。
如图4所示，包括视频终端、分组网络、网关和多点控制单元设备MCU。本发明实施例的视频通信系统建立在分组网络上(例如以太网、窄带ISDN(integrated services digital network，综合业务数字网)和宽带ISDN等)，主要由网关、多点控制单元设备MCU、视频终端等构成。网关主要为分组网络的各终端、电路交换网上的其它终端、或者其它网关之间提供实时双向通信。MCU是网络中一个端点，可以为三个或更多视频终端参加一个多点会议而服务，也可以连接两个视频终端构成点对点会议，随后可以再扩展为多点会议，为各会议方传递相关参数信息，例如背景颜色、背景模式等。MCU一般可以由两部分组成：必需的多点控制器(MC)和可选的多点处理器(MP)。其中多点控制器为会议提供控制功能，和视频终端进行能力协商传递相关参数，控制会议资源等；多点处理器在多点控制器的控制下在会议中对音频、视频和/或数据流进行混合、交换等集中处理。
本发明实施例所说的背景控制设备的一种实现方式是可以集成到视频终端中，作为视频终端的一个功能模块，通过有线或无线方式对背景设备进行控制，例如通过以太网或红外线的方式传输控制信号。另一种实现方式是将背景控制设备集成到背景设备中，作为背景设备中的一个功能模块，通过有线或无线方式对背景设备进行控制，这种方式比较适合于控制方式相对简单的场景。还有一种方式是将背景控制设备集成到会议室的中控设备中。会议室的中控设备是一个独立的设备，其负责对会议室中的各种设备，如灯光设备、窗帘设备、音频和视频等设备进行集中式管理。因此，可以将背景控制功能作为中控设备的一个功能模块，这样可以实现比较复杂的背景控制功能，并且可以简化用户的操作。上述提到的需通过网络的控制方式，背景设备需要具有网络接口并连接到会议室网络中。
本发明实施例所说的虚拟场景合成设备，可以部署在视频终端上或MCU上。如果部署在视频终端上，则作为视频终端的一个功能模块，对输入的单个视频流进行处理；如果部署在MCU上，则可能需要在多点会议中对输入的多个视频流进行处理。另外，在某些情况下，视频终端和MCU也可能是一个实体。
以下详细介绍本发明实施例的相关系统和设备。
请参阅图5，是本发明实施例视频会议会场中的背景更换系统结构示意图。
如图5所示，视频会议会场中的背景更换系统包括：背景控制设备51、背景设备52。
背景控制设备51，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令，控制所述背景设备52按照所述确定的背景颜色进行切换。
背景设备52，用于根据所述背景控制设备51的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
进一步的，背景控制设备51包括：第一获取单元511、背景颜色选择单元512、第二获取单元513、控制单元514。
第一获取单元511，用于获取输入的背景设备52的背景模式和/或获取检测到的前景的图像颜色；
背景颜色选择单元512，用于根据所述第一获取单元511获取的背景设备52的背景模式和/或前景的图像颜色自动选择背景颜色。
第二获取单元513，用于获取所述背景颜色选择单元512自动选择的背景颜色。
控制单元514，用于向所述背景设备52发送携带所述获取的背景颜色的切换命令，控制所述背景设备52按照所述背景颜色进行切换。
或者，背景控制设备51包括：第三获取单元515、控制单元514。
第三获取单元515，用于获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备52的背景模式/或前景的图像颜色确定。
控制单元514，用于向所述背景设备52发送携带所述获取的背景颜色的切换命令，控制所述背景设备52按照所述背景颜色进行切换。
进一步的，背景设备52包括：命令接收单元521、切换单元522。
命令接收单元521，用于接收所述背景控制设备51的切换命令。
切换单元522，用于根据所述命令接收单元521接收的切换命令，将背景颜色切换成所述切换命令中携带的背景颜色，所述背景的背景颜色通过可更换幕布的颜色展示，或者通过翻转面板的颜色展示，或者通过不同背景光照形成的颜色展示。
请参阅图6，是本发明实施例网络系统结构示意图。
如图6所示，网络系统包括：含有背景控制模块62的终端61、背景设备52、多点控制单元设备63。
所述终端61中的背景控制模块62用于获取根据预定规则确定的背景颜色，向背景设备52发送携带所述确定的背景颜色的切换命令，控制所述背景设备52按照所述确定的背景颜色进行切换，以使背景设备52将所述切换后的背景颜色作为视频会议会场的背景颜色；
背景设备52，用于根据所述终端发送的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色；
多点控制单元设备63，用于将所述终端61确定的背景颜色向其他会场发送。
本实施例中是将背景控制设备作为终端的一个功能模块，因此称为背景控制模块62，背景控制模块62具有图5中所示背景控制设备51的结构，背景设备52的结构与图5中的结构相同。
背景控制模块62中包括：
第一获取单元511，用于获取输入的背景设备52的背景模式和/或获取检测到的前景的图像颜色；
背景颜色选择单元512，用于根据所述第一获取单元511获取的背景设备52的背景模式和/或前景的图像颜色自动选择背景颜色；
第二获取单元513，用于获取所述背景颜色选择单元512自动选择的背景颜色；
控制单元514，用于向所述背景设备52发送携带所述获取的背景颜色的切换命令，控制所述背景设备52按照所述背景颜色进行切换。
或者所述背景控制模块62包括：
第三获取单元515，用于获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备52的背景模式和/或前景的图像颜色确定；
控制单元514，用于向所述背景设备52发送携带所述获取的背景颜色的切换命令，控制所述背景设备52按照所述背景颜色进行切换。
请参阅图7，是本发明实施例虚拟场景合成系统结构示意图。
如图7所示，虚拟场景合成系统包括：含有背景控制模块62的终端61、背景设备52、虚拟场景合成设备73、多点控制单元设备74。
所述终端61中的背景控制模块62用于获取根据预定规则确定的背景颜色，向背景设备52发送携带所述确定的背景颜色的切换命令，控制所述背景设备52按照所述确定的背景颜色进行切换，以使背景设备52将所述切换后的背景颜色作为视频会议会场的背景颜色；
背景设备52，用于根据所述终端发送的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色；
虚拟场景合成设备73，用于根据所述背景设备52切换后的背景颜色进行虚拟场景合成；
多点控制单元设备74，用于将所述虚拟场景合成设备73进行虚拟场景合成得到图像向其他会场发送。
本实施例中是将背景控制设备作为终端61的一个功能模块，因此称为背景控制模块62，背景控制模块62具有图5中所示背景控制设备51的结构。背景设备52的结构与图5中的结构相同。
所述虚拟场景合成设备73包括：获取模块731、合成模块732。
获取模块731，用于获取切换后的背景颜色；
合成模块732，用于对视频对象进行前后景分割，将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
请参阅图8，是本发明实施例背景控制设备结构示意图。
如图8所示，背景控制设备包括：处理单元81、控制单元82。
处理单元81，用于获取根据预定规则确定的背景颜色。
控制单元82，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议的背景颜色。
所述处理单元81具体用于获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色。
图8中所示的处理单元的结构，可以是包括图5中的第一获取单元511、背景颜色选择单元512、第二获取单元513，也可以具体就是图5中的第三获取单元515，至于各单元的功能描述，具体参见对图5的描述。
请参阅图9，是本发明实施例背景设备结构示意图。
如图9所示，背景设备包括：背景控制模块62、切换处理模块92。
背景控制模块62，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令。背景控制模块62具有图5中所示背景控制设备51的结构。
切换处理模块92，用于根据所述背景控制模块62的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
所述切换处理模块92包括：
命令接收单元521，用于接收所述背景控制模块62的切换命令；
切换单元522，用于根据所述命令接收单元521接收的切换命令，将背景颜色切换成所述切换命令中携带的背景颜色，所述背景的背景颜色通过可更换幕布的颜色展示，或者通过翻转面板的颜色展示，或者通过不同背景光照形成的颜色展示。
请参阅图10，是本发明实施例视频终端结构示意图。
视频终端含有背景控制模块1001，所述背景控制模块1001包括：
处理单元1003，用于获取根据预定规则确定的背景颜色；
控制单元1004，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
视频终端还包括：
虚拟场景合成模块1002，用于获取背景设备根据切换命令进行切换后的背景颜色，根据获取的背景颜色进行虚拟场景合成。
图10中所示的处理单元1003的结构，可以是包括图5中的第一获取单元511、背景颜色选择单元512、第二获取单元513，也可以具体就是图5中的第三获取单元515，至于各单元的功能描述，具体参见对图5的描述。
请参阅图11，是本发明实施例的中控设备结构示意图。
中控设备含有背景控制模块1001，所述背景控制模块1001包括：
处理单元1003，用于获取根据预定规则确定的背景颜色；
控制单元1004，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
所述处理单元1003具体用于获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色。
图11中所示的处理单元1003的结构，可以是包括图5中的第一获取单元511、背景颜色选择单元512、第二获取单元513，也可以具体就是图5中的第三获取单元515，至于各单元的功能描述，具体参见对图5的描述。
请参阅图12，是本发明实施例的虚拟场景合成设备结构一示意图。
虚拟场景合成设备包括：
背景控制模块62，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。背景控制模块62具有图5中所示背景控制设备51的结构。
合成处理模块121，用于获取背景设备根据切换命令进行切换后的背景颜色，根据获取的背景颜色进行虚拟场景合成。
所述合成处理模块121包括：获取模块731、合成模块732，合成模块732包括第一处理单元1213、第二处理单元1214。
获取模块731，用于获取背景设备根据切换命令进行切换后的背景颜色；
第一处理单元1213，用于对视频对象进行前后景分割；
第二处理单元1214，用于将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
请参阅图13，是本发明实施例的虚拟场景合成设备结构二示意图。
虚拟场景合成设备包括：
获取模块731，用于获取切换后的背景颜色，所述切换后的背景颜色是由背景控制设备获取根据预定规则确定的背景颜色后，通过发送携带所述确定的背景颜色的切换命令控制背景设备按照所述确定的背景颜色进行切换后得到；
合成模块732，用于根据获取的背景颜色进行虚拟场景合成。
所述合成模块732包括：
第一处理单元1213，用于对视频对象进行前后景分割；
第二处理单元1214，用于将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
综上所述，本发明实施例提供的技术方案，由于背景设备可以提供不同的背景颜色，并且根据预定规则确定背景颜色，可以通过切换命令控制背景设备按确定的背景颜色进行切换，这样就可以实现视频会议会场的背景颜色的改变。
本发明实施例提供的技术方案，由于背景设备可以提供不同的背景颜色，并且根据预定规则确定背景颜色，可以通过切换命令控制背景设备按确定的背景颜色进行切换，再根据切换的背景颜色进行虚拟场景合成，这样就实现了视频会议会场的虚拟场景合成。
进一步的，本发明实施例的背景设备是可以通过不同的方式提供不同的背景颜色，而且在背景设备根据切换命令切换背景后，虚拟场景合成设备就可以根据所述背景设备切换后的背景颜色进行虚拟场景合成，而在多点会议时，就可以将各参会方的背景颜色调为一致，从而在多点会议时实现背景颜色的统一，使参会者获得了最大的一致性体验。
以上对本发明实施例所提供的一种背景更换的方法、虚拟场景合成的方法及相关系统和设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (27)
1.一种视频会议会场图像中的背景更换的方法，其特征在于，包括：
获取根据预定规则确定的背景颜色；
发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，将所述切换后的背景颜色作为视频会议会场的背景颜色；
其中，所述获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式。
2.根据权利要求1所述的方法，其特征在于：
所述背景设备的背景模式由用户输入；
所述前景的图像颜色通过检测获得；
所述获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色具体为：
根据所述背景设备的背景模式和/或前景的图像颜色自动选择背景颜色，获取所述自动选择的背景颜色。
3.根据权利要求2所述的方法，其特征在于：
在参考前景的图像颜色的条件下，所述自动选择背景颜色时是确定与所述前景的图像的色度的差异大于设定阈值的颜色作为背景颜色。
4.根据权利要求1所述的方法，其特征在于：
所述获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色具体为：
获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备的背景模式和/或前景的图像颜色确定。
5.根据权利要求1所述的方法，其特征在于：
所述背景设备的背景模式为用户输入的正常会议场景模式时，若所述视频会议为多点会议，所述获取根据预定规则确定的背景颜色具体为：
获取其他会议方的背景颜色；
确定与所述其他会议方的背景颜色的色度的差异小于或等于设定阈值的颜色作为背景颜色；
获取确定的背景颜色。
6.根据权利要求1至5任一项所述的方法，其特征在于：
所述控制所述背景设备按照所述确定的背景颜色进行切换具体为：
指示所述背景设备将背景颜色切换成所述切换命令中携带的背景颜色，所述背景的背景颜色通过可更换幕布的颜色展示，或者通过翻转面板的颜色展示，或者通过不同背景光照形成的颜色展示。
7.一种视频会议图像中虚拟场景合成方法，其特征在于，包括：
获取切换后的背景颜色，所述切换后的背景颜色是由背景控制设备获取根据预定规则确定的背景颜色后，通过发送携带所述确定的背景颜色的切换命令控制背景设备按照所述确定的背景颜色进行切换后得到；其中，获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
根据获取的背景颜色进行虚拟场景合成。
8.根据权利要求7所述的方法，其特征在于：
所述根据获取的背景颜色进行虚拟场景合成具体为：
对视频对象进行前后景分割，将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
9.一种视频会议会场图像中的背景更换系统，其特征在于，包括：
背景控制设备，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换；其中，所述获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
背景设备，用于根据所述背景控制设备的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
10.根据权利要求9所述的视频会议会场图像中的背景更换系统，其特征在于，所述背景控制设备包括：
第一获取单元，用于获取输入的背景设备的背景模式和/或获取检测到的前景的图像颜色；
背景颜色选择单元，用于根据所述第一获取单元获取的背景设备的背景模式和/或前景的图像颜色自动选择背景颜色；
第二获取单元，用于获取所述背景颜色选择单元自动选择的背景颜色；
控制单元，用于向所述背景设备发送携带所述获取的背景颜色的切换命令，控制所述背景设备按照所述背景颜色进行切换。
11.根据权利要求9所述的视频会议会场图像中的背景更换系统，其特征在于，所述背景控制设备包括：
第三获取单元，用于获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备的背景模式和/或前景的图像颜色确定；
控制单元，用于向所述背景设备发送携带所述获取的背景颜色的切换命令，控制所述背景设备按照所述背景颜色进行切换。
12.根据权利要求9至11任一项所述的视频会议会场图像中的背景更换系统，其特征在于，所述背景设备包括：
命令接收单元，用于接收所述背景控制设备的切换命令；
切换单元，用于根据所述命令接收单元接收的切换命令，将背景颜色切换成所述切换命令中携带的背景颜色，所述背景的背景颜色通过可更换幕布的颜色展示，或者通过翻转面板的颜色展示，或者通过不同背景光照形成的颜色展示。
13.一种网络系统，其特征在于，包括：
含有背景控制模块的终端，所述终端中的背景控制模块用于获取根据预定规则确定的背景颜色，向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色；
背景设备，用于根据所述终端发送的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色；
多点控制单元设备，用于将所述终端确定的背景颜色向其他会场发送。
14.根据权利要求13所述的网络系统，其特征在于，所述背景控制模块包括：
第一获取单元，用于获取输入的背景设备的背景模式和/或获取检测到的前景的图像颜色；
背景颜色选择单元，用于根据所述第一获取单元获取的背景设备的背景模式和/或前景的图像颜色自动选择背景颜色；
第二获取单元，用于获取所述背景颜色选择单元自动选择的背景颜色；
控制单元，用于向所述背景设备发送携带所述获取的背景颜色的切换命令，控制所述背景设备按照所述背景颜色进行切换。
15.根据权利要求13所述的网络系统，其特征在于，所述背景控制模块包括：
第三获取单元，用于获取用户输入的背景颜色，所述背景颜色由用户根据所述背景设备的背景模式和/或前景的图像颜色确定；
控制单元，用于向所述背景设备发送携带所述获取的背景颜色的切换命令，控制所述背景设备按照所述背景颜色进行切换。
16.一种虚拟场景合成系统，其特征在于，包括：
含有背景控制模块的终端，所述终端中的背景控制模块用于获取根据预定规则确定的背景颜色，向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色；其中，获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
背景设备，用于根据所述终端发送的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场图像的背景颜色；
虚拟场景合成设备，用于根据所述背景设备切换后的背景颜色进行虚拟场景合成；
多点控制单元设备，用于将所述虚拟场景合成设备进行虚拟场景合成得到图像向其他会场发送。
17.根据权利要求16所述的虚拟场景合成系统，其特征在于，所述虚拟场景合成设备包括：
获取模块，用于获取切换后的背景颜色；
合成模块，用于对视频对象进行前后景分割，将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
18.一种控制视频会议会场图像中背景更换的背景控制设备，其特征在于，包括：
处理单元，用于获取根据预定规则确定的背景颜色；其中，所述获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
控制单元，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
19.一种对视频会议会场图像中的背景进行更换的背景设备，其特征在于，包括：
背景控制模块，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令；其中，所述获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
切换处理模块，用于根据所述背景控制模块的切换命令进行背景颜色切换，将所述切换后的背景颜色作为视频会议会场的背景颜色。
20.根据权利要求19所述的背景设备，其特征在于，所述切换处理模块包括：
命令接收单元，用于接收所述背景控制模块的切换命令；
切换单元，用于根据所述命令接收单元接收的切换命令，将背景颜色切换成所述切换命令中携带的背景颜色，所述背景的背景颜色通过可更换幕布的颜色展示，或者通过翻转面板的颜色展示，或者通过不同背景光照形成的颜色展示。
21.一种能够对视频会议会场图像中的背景进行更换的视频终端，其特征在于：含有背景控制模块，所述背景控制模块包括：
处理单元，用于获取根据预定规则确定的背景颜色；其中，所述获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
控制单元，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
22.根据权利要求21所述的视频终端，其特征在于，还包括：
虚拟场景合成模块，用于获取背景设备根据切换命令进行切换后的背景颜色，根据获取的背景颜色进行虚拟场景合成。
23.一种控制视频会议会场图像中背景更换的中控设备，其特征在于：含有背景控制模块，所述背景控制模块包括：
处理单元，用于获取根据预定规则确定的背景颜色；其中，所述获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
控制单元，用于向背景设备发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场的背景颜色。
24.一种虚拟场景合成设备，其特征在于，包括：
背景控制模块，用于获取根据预定规则确定的背景颜色，发送携带所述确定的背景颜色的切换命令，控制所述背景设备按照所述确定的背景颜色进行切换，以使背景设备将所述切换后的背景颜色作为视频会议会场图像的背景颜色；其中，获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
合成处理模块，用于获取背景设备根据切换命令进行切换后的背景颜色，根据获取的背景颜色进行虚拟场景合成。
25.根据权利要求24所述的虚拟场景合成设备，其特征在于，所述合成处理模块包括：
获取模块，用于获取背景设备根据切换命令进行切换后的背景颜色；
第一处理单元，用于对视频对象进行前后景分割；
第二处理单元，用于将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
26.一种视频会议图像中虚拟场景合成设备，其特征在于，包括：
获取模块，用于获取切换后的背景颜色，所述切换后的背景颜色是由背景控制设备获取根据预定规则确定的背景颜色后，通过发送携带所述确定的背景颜色的切换命令控制背景设备按照所述确定的背景颜色进行切换后得到；其中，获取根据预定规则确定的背景颜色具体为：获取根据背景设备的背景模式和/或前景的图像颜色确定的背景颜色；所述背景模式包括正常会议场景模式和虚拟合成会议场景模式；
合成模块，用于根据获取的背景颜色进行虚拟场景合成。
27.根据权利要求26所述的视频会议图像中虚拟场景合成设备，其特征在于，所述合成模块包括：
第一处理单元，用于对视频对象进行前后景分割；
第二处理单元，用于将背景替换为所述获取的背景颜色，得到虚拟合成的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101862306A CN101753851B (zh) | 2008-12-17 | 2008-12-17 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2008101862306A CN101753851B (zh) | 2008-12-17 | 2008-12-17 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101753851A CN101753851A (zh) | 2010-06-23 |
| CN101753851B true CN101753851B (zh) | 2011-12-28 |
Family
ID=42480152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008101862306A Active CN101753851B (zh) | 2008-12-17 | 2008-12-17 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101753851B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102056368B (zh) | 2009-10-28 | 2013-08-07 | 华为终端有限公司 | 视频通讯中会场环境控制方法及装置 |
| CN102739984A (zh) * | 2011-08-29 | 2012-10-17 | 新奥特（北京）视频技术有限公司 | 一种高清虚拟布景的实现方法及系统 |
| CN102307292A (zh) * | 2011-09-01 | 2012-01-04 | 宇龙计算机通信科技(深圳)有限公司 | 一种可视通话方法及可视终端 |
| US9154732B2 (en) * | 2012-04-09 | 2015-10-06 | Futurewei Technologies, Inc. | Visual conditioning for augmented-reality-assisted video conferencing |
| US9013536B2 (en) | 2013-03-13 | 2015-04-21 | Futurewei Technologies, Inc. | Augmented video calls on mobile devices |
| CN103997616B (zh) * | 2013-12-20 | 2019-02-05 | 三亚中兴软件有限责任公司 | 一种处理视频会议画面的方法、装置及会议终端 |
| US10586570B2 (en) | 2014-02-05 | 2020-03-10 | Snap Inc. | Real time video processing for changing proportions of an object in the video |
| EP3130130A4 (en) * | 2014-04-11 | 2017-07-26 | Diro, Inc. | Dynamic contextual device networks |
| CN104269125A (zh) * | 2014-10-20 | 2015-01-07 | 西安冉科信息技术有限公司 | 基于多角度拍摄和图像处理的三维展示方法 |
| CN104469239B (zh) * | 2014-12-05 | 2018-08-03 | 宁波菊风系统软件有限公司 | 一种智能移动终端的浸入式视频呈现方法 |
| US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
| CN105872408A (zh) * | 2015-12-04 | 2016-08-17 | 乐视致新电子科技（天津）有限公司 | 图像处理方法及设备 |
| CN106254893A (zh) * | 2015-12-30 | 2016-12-21 | 深圳超多维科技有限公司 | 主播类互动平台客户端场景切换方法及其装置、客户端 |
| CN107358637B (zh) * | 2017-06-28 | 2020-09-25 | 广州酷狗计算机科技有限公司 | 文字绘制方法及装置、终端及存储介质 |
| CN108388833A (zh) * | 2018-01-15 | 2018-08-10 | 阿里巴巴集团控股有限公司 | 一种图像识别方法、装置及设备 |
| CN108256497A (zh) * | 2018-02-01 | 2018-07-06 | 北京中税网控股股份有限公司 | 一种视频图像处理方法及装置 |
| CN109151489B (zh) * | 2018-08-14 | 2019-05-31 | 广州虎牙信息科技有限公司 | 直播视频图像处理方法、装置、存储介质和计算机设备 |
| CN111127302B (zh) * | 2018-10-31 | 2023-08-01 | 中国银联股份有限公司 | 一种图片显示方法、图片处理方法及其系统 |
| CN110599515A (zh) * | 2019-08-14 | 2019-12-20 | 北京影谱科技股份有限公司 | 一种前景对象自动分层处理方法、装置、系统及存储介质 |
| CN110704144A (zh) * | 2019-08-21 | 2020-01-17 | 努比亚技术有限公司 | 可穿戴设备替换主题的方法、可穿戴设备及存储介质 |
| CN112700513A (zh) * | 2019-10-22 | 2021-04-23 | 阿里巴巴集团控股有限公司 | 图像处理方法及装置 |
| CN111210450B (zh) * | 2019-12-25 | 2022-08-09 | 北京东宇宏达科技有限公司 | 一种针对海天背景红外图像处理方法及系统 |
| CN112672095B (zh) * | 2020-12-25 | 2022-10-25 | 联通在线信息科技有限公司 | 远程会议系统 |
| CN112911318B (zh) * | 2021-01-15 | 2023-03-31 | 广州虎牙科技有限公司 | 直播间背景替换方法、装置、电子设备及存储介质 |
| CN113691765B (zh) * | 2021-10-26 | 2022-03-25 | 广州朗国电子科技股份有限公司 | 一种视频会议场景控制方法、系统、设备、存储介质 |
| CN114584737B (zh) * | 2022-05-06 | 2022-08-12 | 全时云商务服务股份有限公司 | 一种云会议中实时多人同场景自定义的方法与系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1251235A (zh) * | 1997-03-18 | 2000-04-19 | 麦托福集团 | 实时数字修改代表原始图象的视频数据流的方法 |
| CN1353542A (zh) * | 2000-11-06 | 2002-06-12 | 北京算通数字技术研究中心有限公司 | 基于频域与搭配色彩集分析的电视文字与图形显示方法 |
| CN1547131A (zh) * | 2003-12-03 | 2004-11-17 | 谭日辉 | 一种虚拟现实交互式控制系统 |
-
2008
- 2008-12-17 CN CN2008101862306A patent/CN101753851B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1251235A (zh) * | 1997-03-18 | 2000-04-19 | 麦托福集团 | 实时数字修改代表原始图象的视频数据流的方法 |
| CN1353542A (zh) * | 2000-11-06 | 2002-06-12 | 北京算通数字技术研究中心有限公司 | 基于频域与搭配色彩集分析的电视文字与图形显示方法 |
| CN1547131A (zh) * | 2003-12-03 | 2004-11-17 | 谭日辉 | 一种虚拟现实交互式控制系统 |
Non-Patent Citations (2)
| Title |
|---|
| JP平3－285486A 1991.12.16 |
| JP昭63-13592A 1988.01.20 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101753851A (zh) | 2010-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101753851B (zh) | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 | |
| US8345082B2 (en) | System and associated methodology for multi-layered site video conferencing | |
| CN106027589B (zh) | 视频与音频处理装置及其视频会议系统 | |
| US8760485B2 (en) | System and method for displaying participants in a videoconference between locations | |
| US10264193B2 (en) | System and method for providing images and video having high dynamic range | |
| US9619887B2 (en) | Method and device for video-signal processing, transmitter, corresponding computer program product | |
| US20100302446A1 (en) | Video Superposition for Continuous Presence | |
| WO2005025219A2 (en) | Video communications method and system | |
| US8427520B2 (en) | Removing a self image from a continuous presence video image | |
| CA2724203A1 (en) | Techniques to manage a whiteboard for multimedia conference events | |
| US9911193B2 (en) | Semi-background replacement based on rough segmentation | |
| EP2641393A1 (en) | System and method for skipping video coding in a network environment | |
| CN106878631B (zh) | 一种图像显示方法及装置 | |
| US10999499B2 (en) | Background replacement from video images captured by a plenoptic camera | |
| CN106134188B (zh) | 基本视频比特流分析 | |
| US9992450B1 (en) | Systems and methods for background concealment in video conferencing session | |
| CN109194946A (zh) | 数据处理方法及装置、电子设备及存储介质 | |
| CN114584737A (zh) | 一种云会议中实时多人同场景自定义的方法与系统 | |
| CN113556504A (zh) | 视频会议的显示图像的处理方法及装置、视频会议系统 | |
| US8199184B2 (en) | Visually enhancing a conference | |
| KR20090125905A (ko) | 영상통신단말기의 영상 합성 장치 및 방법 | |
| WO2022049020A1 (en) | Orchestrating a multidevice video session | |
| CN111179317A (zh) | 互动教学系统及方法 | |
| US11887313B2 (en) | Computing platform using machine learning for foreground mask estimation | |
| US11681488B2 (en) | Collaborative distributed workspace using real-time processing network of video projectors and cameras |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong. Patentee after: Huawei terminal (Shenzhen) Co.,Ltd. Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong. Patentee before: HUAWEI DEVICE Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190109 Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province Patentee after: HUAWEI DEVICE Co.,Ltd. Address before: 518129 Building 2, B District, Bantian HUAWEI base, Longgang District, Shenzhen, Guangdong. Patentee before: Huawei terminal (Shenzhen) Co.,Ltd. |