CN103795959B - 多方视频通话装置及利用该装置的多方视频输出方法 - Google Patents
多方视频通话装置及利用该装置的多方视频输出方法 Download PDFInfo
- Publication number
- CN103795959B CN103795959B CN201310479026.4A CN201310479026A CN103795959B CN 103795959 B CN103795959 B CN 103795959B CN 201310479026 A CN201310479026 A CN 201310479026A CN 103795959 B CN103795959 B CN 103795959B
- Authority
- CN
- China
- Prior art keywords
- image
- composograph
- participant
- video calls
- party video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开一种多方视频通话装置及利用该装置的多方视频输出方法。根据本发明一个实施例的多方视频通话装置包括:接收模块,从服务器接收多方视频通话参与者的合成图像;图像分离模块,从通过所述接收模块接收的所述合成图像中分离出所述多方视频通话参与者各自的图像;显示模块,将分离的图像按照预先设定的布局进行布置而显示于画面上。
Description
技术领域
本发明的实施例涉及一种多方视频通话技术。
背景技术
近来,随着信息通讯技术的发达,利用便携终端已不仅可以进行语音通话,而且还能进行视频通话。视频通话服务是一种利用附带于便携终端的摄像机拍摄自己的图像之后,分别传送给各对象便携终端,从而实现相互之间边看对方的脸边进行通话的服务。
视频通话服务可分为发送方与接收方之间一对一的视频通话以及多方视频通话。其中,多方视频通话主要通过一种称为多点控制单元(MCU:Multipoint Control Unit)的控制装置而实现。多点控制单元是一种接收由各便携终端传送的语音和图像,并将多个语音和图像分别合成为一个语音和图像之后传送给各便携终端的装置。然而对于利用现有技术中的多点控制单元的多方视频通话而言,便携终端仅仅能够将通过多点控制单元接收的图像显示于画面上,却并不能将多方视频通话画面的布局构成为多彩多样。
发明内容
本发明旨在解决如上所述的技术问题,本发明实施例的目的在于提供一种在利用多点控制单元的多方视频通话中,可根据需求将视频通话终端所显示的画面的布局构成为多种的方案。
为了解决上述技术问题,根据本发明一个实施例的多方视频通话装置包括:接收模块,从服务器接收多方视频通话参与者的合成图像;图像分离模块,从通过所述接收模块接收的所述合成图像中分离出所述多方视频通话参与者各自的图像;显示模块,将分离的图像按照预先设定的布局进行布置而显示于画面上。
另外,为了解决上述技术问题,根据本发明一个实施例的多方视频通话输出方法包括如下步骤:在接收模块中,从服务器接收多方视频通话参与者的合成图像;在图像分离模块中,从通过所述接收模块接收的所述合成图像中分离出所述多方视频通话参与者各自的图像;在显示模块中,将分离的所述图像按照预先设定的布局进行布置而显示于画面上。
本发明的实施例具有在多方视频通话过程中可根据终端的特性及用户的需求等而将视频通话终端的通话画面的布局构成为多种多样的优点。
附图说明
图1为用于说明根据本发明一个实施例的多方视频通话系统100的模块图。
图2为表示根据本发明一个实施例的视频通话终端104的详细构成的图。
图3和图4为表示根据本发明的一个实施例而从多方视频通话控制服务器102接收的合成图像的一例的图。
图5为用于说明当包含于合成图像中的参与者们的图像具有相同的分辨率的情况下在图像分离模块202中进行的图像分离过程的图。
图6a和图6b为用于举例说明根据本发明一个实施例的视频通话画面布局的图。
图7a和图7b为用于说明在视频通话中有一部分参与者退出的情况下合成图像的构成的图。
图8为用于说明在视频通话画面上附加各参与者ID的画面布局的一例的图。
图9为表示根据本发明一个实施例的多方视频输出方法(900)的顺序图。
图10为表示根据本发明一个实施例的多方视频通话控制服务器102的详细构成的图。
符号说明:
100:多方视频通话系统 102:多方视频通话控制服务器
104:视频通话终端 200:接收模块
202:图像分离模块 204:显示模块
300、400:合成图像 1000:接收模块
1002:图像合成模块 1004:发送模块
具体实施方式
以下,参照附图说明本发明的具体实施方式。然而这仅仅是示例,本发明并不局限于此。
在对本发明进行说明时,当判断为对有关本发明的公知技术的具体说明有可能造成本发明主旨的混乱时,省略其详细说明。并且,后述的术语均为考虑在本发明中的功能而定义的术语,因此可能根据使用者、运用者的意图或习惯等而不同。因此要以整个说明书的内容为基础对其进行定义。
本发明的技术思想由权利要求书中所请求的范围来确定,以下实施例只是用于将本发明的技术思想有效地说明给本发明所属技术领域中具有普通知识的人员的一种手段。
图1为用于说明根据本发明一个实施例的多方视频通话系统100的模块图。如图所示,根据本发明一个实施例的多方视频通话系统100包括多方视频通话控制服务器102以及多个视频通话终端104。另外,在本发明中多方视频通话是指包含两人以上的通话。
多方视频通话控制服务器102是用于控制多个视频通话终端104之间的视频通话的服务器。多方视频通话控制服务器102包含多点控制单元(MCU:Multipoing ControlUnit)而构成,并利用所述多点控制单元而分别从多个视频通话终端104接收到视频通话参与者们的图像之后对其进行合成,并将合成图像发送给各视频通话终端104。例如,多方视频通话控制服务器102从各视频通话终端104接收图像,并对每一帧分别连续地存储于缓冲存储器,且在必要时用适当的视频编解码器(例如H.264等)对接收的图像进行编码之后,变换为RTP(Real-Time Transport Protocol,实时传输协议)包而传送给各视频通话终端104。然而这仅仅是一例,除了上述方法以外,多方视频通话控制服务器102还可以通过多种方法生成所述合成图像而传送给各视频通话终端104。
视频通话终端104是由根据多方视频通话控制服务器102的控制而参与视频通话的视频通话参与者们使用的终端。视频通话终端104包括用于拍摄视频通话参与者的图像拍摄单元以及用于显示其他视频通话参与者的图像的显示单元。具体而言,视频通话终端104利用所述图像拍摄单元而拍摄相关视频通话参与者的图像并将此发送给多方视频通话控制服务器102。而且,视频通话终端104从多方视频通话控制服务器102接收参与视频通话的各参与者的图像合成而得到的合成图像,并从接收的所述合成图像中分离出多方视频通话参与者各自的图像,并将分离的图像按照预先设定的布局进行布置而显示于画面上。
图2为表示根据本发明一个实施例的视频通话终端104的详细构成的图。如图所示,根据本发明一个实施例的视频通话终端104包括接收模块200、图像分离模块202、以及显示模块204。
接收模块200从多方视频通话控制服务器102接收多方视频通话参与者们的合成图像。
图3和图4为表示根据本发明一个实施例而从多方视频通话控制服务器102接收的合成图像之一例的图。如图3所示,在本发明的实施例中,合成图像可被构成为使具有相同分辨率的各视频通话参与者的图像沿一个方向连续。在图示的实施例中表示的是具有相同分辨率的四名参与者的图像300-1、300-2、300-3、以及300-4被连续衔接而构成的合成图像的示例。此时,关于构成所述合成图像的各图像的大小,既可以使视频通话终端104预先掌握,也可以在传送所述合成图像的前后或者在传送所述合成图像的同时从多方视频通话控制服务器102向视频通话终端104发送各图像的大小信息。此时,所述图像的大小在由视频通话终端104分离各图像时可被应用为地址值。即,由于构成各图像的比特数因图像的大小而不同,由此存储有各图像的存储区域的地址也会不同,因此视频通话终端104可利用所述大小信息而计算出各图像在存储器中存储的区域的地址。
另外,如图4所示,包含于合成图像中的各参与者的图像还可以被构成为分别具有不同的分辨率。例如,包含于合成图像中的各图像可以与从视频通话终端104接收的图像分辨率成比例地合成。在此情况下,接收模块200为了从合成图像分离各参与者的图像,从视频通话控制服务器102另行接收合成到合成图像的各图像的分辨率信息。
此时,如前所述,关于构成所述合成图像的各图像的大小,既可以使视频通话终端104预先掌握,也可以在传送所述合成图像的前后或者在传送所述合成图像的同时从多方视频通话控制服务器102向视频通话终端104发送各图像的大小信息。此时,如前所述,所述图像的大小在由视频通话终端104分离各图像时可被应用为地址值。
然后,图像分离模块202从通过接收模块200接收的合成图像中分离多方视频通话参与者们各自的图像。例如,图像分离模块202接收构成为多个RTP包形态的合成图像,并将接收的所述RTP包进行组合之后,利用视频解码器而对合成图像进行解码,然而本发明并不局限于特定的图像接收方法。然后,图像分离模块202将解码的合成图像数据存储于存储区域中。其中,所述存储区域是一种临时缓存区,图像分离模块202可根据构成所述合成图像的各图像的分辨率信息而预先分配好适当容量的临时缓存区之后将上述解码的合成图像存储于分配好的临时缓存区中。当然,本发明并不局限于特定的图像接收方法,除了上述方法以外也可以用多种方式实现。
如图3所示,如果包含于合成图像300中的各图像构成为具有相同的分辨率,则包含于接收的合成图像300中的各参与者的图像在合成图像内将占用相等的容量。
图5为用于说明当如此地包含于合成图像中的参与者们的图像具有相同的分辨率时在图像分离模块202中进行的图像分离过程的图。如图所示,当图3中的合成图像300存储于视频通话终端104的存储区域500时,包含于合成图像中的四名参与者的图像将在存储区域500内依次占用相等的容量。即,图像1(300-1)在存储区域500中占用1~10000号地址、图像2(300-2)占用10001~20000号地址、图像3(300-3)占用20001~30000号地址、图像4(300-4)占用30001~40000号地址,据此,图像分离模块202利用存储有合成图像的存储区域500的地址信息而分离出多方视频通话参与者各自的图像。另外,如前所述,在各图像分别具有互不相同的分辨率的情况下,图像分离模块202利用合成图像及另行接收的各图像的分辨率信息而从合成图像中分离各参与者的图像。例如,图像分离模块202从接收的合成图像的左侧上端分离出对应于所接收图像1的分辨率大小的区域,并从其余图像的左侧上端分离出对应于所接收图像2的分辨率大小的区域,并反复运用以上方式而分离出各参与者的图像。
然后,显示模块204将分离的图像按照预先设定的布局进行布置而显示于画面上。显示模块204可根据视频通话终端104用户的设定而将所述图像输出为多种多样的形态。例如,既可以如图6a所示将各图像以相等的大小布置于画面上,也可以如图6b所示将特定参与者的图像输出为大于其他参与者图像大小的尺寸。并且,也可以根据用户的设定或操作等而调节所显示的图像的大小,或者旋转一些图像,或者调节显示位置。正如这样,根据本发明的实施例,在视频通话时可根据用户的需要而将对方的图像以多种方式显示于画面上,从而具有可大幅提高用户方便性的优点。
另外,在本发明的实施例中,可能出现多方视频通话过程中参与者发生变更的情况。即,可能出现在多方视频通话过程中有参与者中的一部分人终止视频通话或者新的参与者加入多方视频通话的情况。对此,分为包含于合成图像中的各参与者图像的分辨率全部相等的情形和互不相等的情形进行说明。
首先对包含于合成图像中的各参与者的图像的分辨率全部相等的情形进行说明。例如,假定在最初有四名参与的视频通话中第二名参与者和第四名参与者依次终止了视频通话。在此情况下,多方视频通话控制服务器102可用预先设定的替代图像替换终止了视频通话的参与者的图像而传送给视频通话终端104。此时,所述替代图像可以是单色(例如黑色)画面。图7a用于举例表示这种情况,其中(a)表示四名参与者的图像均得到正常合成的情形,(b)表示第二名参与者退出而相关图像被替换为黑色画面的情形,(c)表示第四名参与者追加退出而相关图像被替换为黑色画面的情形。在此情况下,显示模块204可从分离的各图像中辨识替代图像,并只将除了替代图像以外的其他图像显示于画面上。在这样构成的情况下,即使在多方视频通话的参与者发生变更时合成图像的大小以及各图像在合成图像中的位置也不会发生变化,因此即使在参与者发生变更时也可以用相同的方法从合成图像中分离出各图像,故能够减轻视频通话终端104的负担。
另外,当有一些参与者如上所述地终止视频通话时,视频通话控制服务器102可除去终止视频通话的参与者的图像之后重新构成合成图像。即,如图7b所示,在这种情况下,整个合成图像的大小由于参与者们的视频通话的终止而变小。正如这样,合成图像由于一些参与者的退出而重新构成时,视频通话控制服务器102可将此通知给视频通话终端104。或者也可以感测视频通话终端104所接收的合成图像的容量变化并据此反映部分参与者的变更。
当进行多方视频通话的过程中出现新的参与者时,视频通话控制服务器102重新构成所述合成图像,以使所述合成图像中附加包含从新的参与者接收的图像。此时,附加的所述图像可被附加于所述合成图像的末尾部分。并且,如果在增加所述参与者之前有部分参与者退出,从而使部分区域被替换为替代图像,则附加的所述图像可代替所述替代图像而被附加于所述合成图像中。在此情况下,视频通话终端104可感测出已有的替代图像被替换为新的参与者图像,并重新构成包含该新的参与者图像的视频通话画面而予以显示。
接着,对包含于合成图像中的各参与者的图像分辨率互不相同的情形进行说明。如果参与多方视频通话的参与者中的部分参与者终止视频通话,则多方视频通话控制服务器102将已终止视频通话的参与者的图像替换为预先设定的替代图像,或者用除了终止视频通话的参与者的图像以外的其他图像重新构成合成图像。当重新构成合成图像时,视频通话控制服务器102将重新构成的合成图像中的各图像的分辨率信息重新发送给视频通话终端104。
当进行多方视频通话的过程中出现新的参与者时,视频通话控制服务器102重新构成所述合成图像,以使所述合成图像中附加包含从新的参与者接收的图像。此时,附加的所述图像可被附加于所述合成图像的末尾部分。并且,如果在增加所述参与者之前有部分参与者退出,从而使部分区域被替换为替代图像,则附加的所述图像可代替所述替代图像而被附加于所述合成图像。在此情况下,可在附加图像的分辨率等于或小于替代图像分辨率时,替换所述替代图像而附加于合成图像中。
而且,当附加的图像的分辨率大于替代图像分辨率时,相关替代图像既可以被附加于已有合成图像的末尾部分,也可以根据实施例而重新构成包含附加的图像的整个图像。
另外,在本发明的实施例中,接收模块200可从多方视频通话控制服务器102接收合成图像的同时还附加性地接收多方视频通话参与者各自的识别信息(ID或名称等)以及各参与者在合成图像内的布置顺序信息,且显示模块204可根据接收的布置顺序而将各参与者的识别信息与分离的图像进行匹配而显示于屏幕上。例如,假定图3所示各参与者的ID分别如下。
图像1(300-1):Grace
图像2(300-2):Brad
图像3(300-3):Kate
图像4(300-4):John
如果由接收模块200接收到以上各ID信息以及各ID与图像之间的匹配信息,则显示模块204便可以如图8所示地一并显示匹配于各图像的ID信息。
而且在此情况下,如果根据视频通话终端104用户的设定而设置了自我隐藏(self-hide)功能,则显示模块204便利用所述识别信息而识别出对应于相关终端用户的图像,并只将除了相关图像之外的其他图像显示于屏幕。这是因为在屏幕上没有必要单独输出自己的图像。
另外,接收模块200可在添加多方视频通话参与者或者有参与者退出时,从多方视频通话控制服务器102接收变更的参与者识别信息及合成图像内的布置顺序信息。并且,在多方视频通话控制服务器102中的合成图像内的图像布置顺序发生变更的情况下,接收模块200也能从多方视频通话控制服务器102接收变更的图像布置顺序信息并将其反映。
而且,接收模块200可从多方视频通话控制服务器102附加性地接收当前正在说话中的视频通话参与者的识别信息。在此情况下,显示模块204可将分离的图像显示在画面上且显示成从分离的图像中视觉上突显当前正在说话的视频通话参与者的图像。例如,显示模块204可通过采用将当前正在说话中的视频通话参与者的图像显示为大于其他图像的尺寸或者将相关图像的轮廓线用另外的颜色表示等方式而在视觉上突显图像。
图9为表示根据本发明一个实施例的多方视频输出方法900的顺序图。首先,在视频通话终端104的接收模块200中,从多方视频通话控制服务器102接收多方视频通话参与者们的合成图像(902)。
然后,在视频通话终端104的图像分离模块202中,从通过接收模块200接收的合成图像中分离出各多方视频通话参与者的图像(904)。
此时,如果所述合成图像被构成为具有相同分辨率的各视频通话参与者的图像沿一个方向延续,则图像分离模块202便可以如前所述地利用存储有所接收合成图像的存储区域的地址信息而分离出各多方视频通话参与者的图像。
并且,在包含于所述合成图像中的图像的分辨率互不相同的情况下,接收模块可在上述步骤902中从多方视频通话控制服务器102一并接收合成到合成图像的各参与者的图像所对应的分辨率信息,且在这种情况下,图像分离模块202可根据在上述步骤902中接收的分辨率信息而从合成图像中分离出各多方视频通话参与者的图像。
而且,接收模块200可在上述步骤902中从多方视频通话控制服务器102附加性地接收各多方视频通话参与者的识别信息以及各参与者在合成图像中的布置顺序信息。在此情况下,当出现多方视频通话参与者的加入或退出时,可从多方视频通话控制服务器102重新接收变更的参与者识别信息以及合成图像内的布置顺序信息。
然后按照预先设定的布局对在视频通话终端104的显示模块204分离的图像进行布置并显示于画面上(906)。
其中,当在上述步骤904中分离的各图像中包含有在视频通话中退出的用户的替代图像时,显示模块204便只将除了相关替代图像以外的其他图像显示于屏幕上。
并且,在已接收到所述图像在所述合成图像内的布置顺序以及各识别信息的情况下,显示模块204可根据接收的布置顺序而将识别信息与分离的图像进行匹配而显示于画面上,且在必要时还可以将使用视频通话终端104的用户的图像除外之后予以显示(自我隐藏模式)。
而且,在上述步骤902中还可以从多方视频通话控制服务器102中附加性地接收当前说话中的视频通话参与者的识别信息,且在这种情况下,在上述步骤906中可将分离的图像在画面上显示为在视觉上突显出分离的图像中的正在说话的视频通话参与者的图像。
图10为表示根据本发明一个实施例的多方视频通话控制服务器102的详细构成的图。如图所示,根据本发明一个实施例的多方视频通话控制服务器102包括接收模块1000、图像合成模块1002、以及发送模块1004。
接收模块1000从加入到多方视频通话中的多个视频通话终端104接收各视频通话参与者的图像。图像合成模块1002由通过各视频通话终端104接收的图像生成合成图像。并且,发送模块1004将由图像合成模块1002生成的所述合成图像发送给所述各视频通话终端。
图像合成模块1002可将所述合成图像生成为使接收的所述图像沿一个方向延续。在此情况下,如果包含于所述合成图像中的各参与者的图像的分辨率各不相同,则发送模块1004便可以将合成到所述合成图像的各参与者的图像的分辨率信息与所述合成图像一并发送给各视频通话终端104。此时,关于构成所述合成图像的各图像的大小,既可以使视频通话终端104预先掌握,也可以在传送所述合成图像的前后或者在传送所述合成图像的同时从多方视频通话控制服务器102向视频通话终端104发送各图像的大小信息。
在加入到所述多方视频通话的所述视频通话终端104中的至少一个视频通话终端终止所述多方视频通话时,图像合成模块1002可以将从终止了视频通话的视频通话终端接收的图像替换为预先设定的替代图像。此时,如果出现上述退出之后又有新的视频通话终端参与到所述多方视频通话中,则图像合成模块1002便可以用从新添加的视频通话终端接收的附加图像替换包含于所述合成图像中的替代图像。而在包含于所述合成图像中的各图像的分辨率互不相同的情况下,所述图像合成模块1002首先判断所述替代图像与所述附加图像的分辨率是否相等,并在附加图像的分辨率等于或小于替代图像分辨率的情况下,将替代图像替换为所述附加图像。另外,与此相反,也可以根据新添加的图像的分辨率而将新添加图像附加于所述合成图像的末尾部分,这已在前面说明。并且,也可以根据需要重新构成包含附加图像的整个合成图像。
而且,在加入到所述多方视频通话中的视频通话终端104当中至少有一个视频通话终端104从所述多方视频通话中退出或者有新的视频通话终端加入的情况下,图像合成模块1002可以反映所述退出或加入而重新构成所述合成图像。
另外,接收模块1000可从多个视频通话终端104附加性地接收各视频通话参与者的识别信息,而发送模块1004可将接收的所述多方视频通话参与者各自的识别信息及各参与者的所述合成图像内的布置顺序信息发送给上述各视频通话终端。在此情况下,如果发生所述多方视频通话参与者的参与或退出,则发送模块1004便将变更的参与者识别信息以及合成图像内的布置顺序信息重新发送给各视频通话终端104。而且,当所述合成图像内的所述多方视频通话参与者的图像布置顺序发生变更时,发送模块1004同样将变更的图像布置顺序信息重新发送给各视频通话终端104。
并且,也可以将附加图像的分辨率转换为退出图像的分辨率而附加上去,还可以利用退出者以及参与者的图像分辨率信息而重新构成整个合成图像。
另外,本发明的实施例中可以包括记录有用于在计算机上执行本说明书中记载的方法的程序的计算机可读记录介质。所述计算机可读记录介质可将程序命令、本地数据文件、本地数据结构等单独或者组合而包括在内。所述介质既可以是为了本发明而专门设计构成的,也可以是被计算机软件领域中具有普通知识的人员公知而可以取用的。计算机可读记录介质中例如有硬盘、软盘、磁带之类的磁介质;只读光盘(CD-ROM)、DVD之类的光记录介质;软盘之类的磁光介质;以及只读存储器(ROM)、随机存储器(RAM)、闪存等为了存储并执行程序命令而专门构成的硬件装置。程序命令的实例中不仅包括通过编译器得到的机械码,而且还可以包括利用解释器等而在计算机上执行的高级语言代码。
以上已通过代表性实施例对本发明进行了详细说明,然而本发明所属技术领域中具有普通知识的人员应当能够明白可在不脱离本发明范围的限度内对上述实施例进行多种变形。
因此,本发明的权利范围不能局限于已说明的实施例而确定,而要根据权利要求书及其等价内容来确定。
Claims (26)
1.一种多方视频通话装置,包括:
接收模块,从服务器接收多方视频通话参与者的合成图像;
图像分离模块,从通过所述接收模块接收的所述合成图像中分离出所述多方视频通话参与者各自的图像;
显示模块,将分离的图像按照预先设定的布局进行布置而显示于画面上,
其中,当包含于所述合成图像中的各参与者的图像的分辨率互不相同时,所述接收模块从所述服务器接收合成到所述合成图像的各参与者的图像的分辨率信息。
2.如权利要求1所述的多方视频通话装置,其中,所述合成图像被构成为所述视频通话参与者各自的图像沿一个方向延续。
3.如权利要求2所述的多方视频通话装置,其中,所述图像分离模块利用存储有接收的所述合成图像的存储区域的地址信息而分离出将所述多方视频通话参与者各自的图像。
4.如权利要求1所述的多方视频通话装置,其中,所述显示模块根据用户请求而旋转分离的所述图像中的至少一个图像或者改变所述至少一个图像的大小或位置而进行显示。
5.如权利要求1所述的多方视频通话装置,其中,在分离的各图像中包含有从视频通话中退出的用户的替代图像时,所述显示模块将除了该替代图像之外的其余图像显示于画面上。
6.如权利要求1所述的多方视频通话装置,其中,所述接收模块从所述服务器接收所述合成图像的同时,一并接收所述多方视频通话参与者各自的识别信息以及各参与者的所述合成图像内的布置顺序信息,
所述显示模块按照接收的所述布置顺序而将所述识别信息与分离的图像进行匹配而显示于画面上。
7.如权利要求6所述的多方视频通话装置,其中,当出现所述多方视频通话参与者的加入或退出时,所述接收模块从所述服务器接收变更的参与者识别信息以及合成图像内的布置顺序信息。
8.如权利要求6所述的多方视频通话装置,其中,所述接收模块从所述服务器接收当前正在说话中的视频通话参与者的识别信息,
所述显示模块将分离的所述图像在画面上显示为在视觉上突显出所述分离图像当中正在说话的视频通话参与者的图像。
9.如权利要求1所述的多方视频通话装置,其中,所述图像分离模块根据接收的所述分辨率信息而从所述合成图像中分离出所述多方视频通话参与者各自的图像。
10.一种多方视频通话控制服务器,包括:
接收模块,从参与到多方视频通话中的多个视频通话终端接收各视频通话参与者的图像;
图像合成模块,通过从各个所述视频通话终端接收的图像来生成合成图像;
发送模块,将由所述图像合成模块生成的所述合成图像发送给所述多个视频通话终端,
其中,当包含于所述合成图像中的各参与者的图像的分辨率互不相同时,所述发送模块将合成到所述合成图像中的各参与者的图像的分辨率信息发送给各个所述视频通话终端。
11.如权利要求10所述的多方视频通话控制服务器,其中,所述图像合成模块将所述合成图像生成为使接收的所述图像沿一个方向延续。
12.如权利要求10所述的多方视频通话控制服务器,其中,在参与到所述多方视频通话中的所述视频通话终端当中至少有一个视频通话终端终止了所述多方视频通话时,所述图像合成模块将从终止了视频通话的视频通话终端接收的图像替换为预先设定的替代图像。
13.如权利要求10所述的多方视频通话控制服务器,其中,当所述合成图像中至少有一部分图像被替换为替代图像之后有新的视频通话终端加入到所述多方视频通话时,所述图像合成模块将包含于所述合成图像中的替代图像替换为由新加入的视频通话终端附加的图像。
14.如权利要求13所述的多方视频通话控制服务器,其中,当所述替代图像与附加图像的分辨率相等时,所述图像合成模块将所述替代图像替换为附加的所述图像。
15.如权利要求10所述的多方视频通话控制服务器,其中,在参与到所述多方视频通话中的所述视频通话终端当中至少有一个视频通话终端从所述多方视频通话中退出或者有新的视频通话终端加入到所述多方视频通话时,所述图像合成模块反映所述退出或加入而重新构成所述合成图像。
16.如权利要求11所述的多方视频通话控制服务器,其中,所述接收模块从所述多个视频通话终端接收各视频通话参与者的识别信息,
所述发送模块将接收的所述多方视频通话参与者各自的识别信息以及各参与者的所述合成图像内的布置顺序信息发送给所述多个视频通话终端。
17.如权利要求16所述的多方视频通话控制服务器,其中,当出现所述多方视频通话参与者的加入或退出时,所述发送模块重新发送变更的参与者识别信息以及合成图像内的布置顺序信息。
18.一种多方视频通话输出方法,包括如下步骤:
在接收模块中,从服务器接收多方视频通话参与者的合成图像;
在图像分离模块中,从通过所述接收模块接收的所述合成图像中分离出所述多方视频通话参与者各自的图像;
在显示模块中,将分离的所述图像按照预先设定的布局进行布置而显示于画面上,
其中,在上述接收合成图像的步骤中,还包括当包含于所述合成图像中的各参与者的图像的分辨率互不相同时,从所述服务器接收合成到所述合成图像的各参与者的图像的分辨率信息的步骤。
19.如权利要求18所述的多方视频通话输出方法,其中,所述合成图像被构成为具有相同分辨率的所述视频通话参与者各自的图像沿一个方向延续。
20.如权利要求19所述的多方视频通话输出方法,其中,在上述分离图像的步骤中,利用存储有接收的所述合成图像的存储区域的地址信息而分离出所述多方视频通话参与者各自的图像。
21.如权利要求18所述的多方视频通话输出方法,其中,在上述进行显示的步骤中,根据用户请求而旋转上述分离的图像中的至少一个图像或者改变所述至少一个图像的大小或位置而进行显示。
22.如权利要求18所述的多方视频通话输出方法,其中,在上述进行显示的步骤中,当分离的各图像中包含有从视频通话中退出的用户的替代图像时,将除了该替代图像之外的其余图像显示于画面上。
23.如权利要求18所述的多方视频通话输出方法,其中,在上述接收合成图像的步骤中,还包括从所述服务器接收所述多方视频通话参与者各自的识别信息以及各参与者的所述合成图像内的布置顺序信息的步骤,
在上述进行显示的步骤中,按照接收的所述布置顺序而将所述识别信息与分离的图像进行匹配而显示于画面上。
24.如权利要求23所述的多方视频通话输出方法,其中,在上述接收合成图像的步骤中,当出现所述多方视频通话参与者的加入或退出时,从所述服务器接收变更的参与者识别信息以及合成图像内的布置顺序信息。
25.如权利要求23所述的多方视频通话输出方法,其中,在上述接收合成图像的步骤中,还包括从所述服务器接收当前正在说话中的视频通话参与者的识别信息的步骤,
在上述进行显示的步骤中,将分离的所述图像在画面上显示为在视觉上突显出所述分离图像当中正在说话的视频通话参与者的图像。
26.如权利要求18所述的多方视频通话输出方法,其中,在上述分离图像的步骤中,根据接收的所述分辨率信息而从所述合成图像中分离出所述多方视频通话参与者各自的图像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120121799A KR101955202B1 (ko) | 2012-10-31 | 2012-10-31 | 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법 |
KR10-2012-0121799 | 2012-10-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103795959A CN103795959A (zh) | 2014-05-14 |
CN103795959B true CN103795959B (zh) | 2017-05-31 |
Family
ID=50546708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310479026.4A Active CN103795959B (zh) | 2012-10-31 | 2013-10-14 | 多方视频通话装置及利用该装置的多方视频输出方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9172910B2 (zh) |
KR (1) | KR101955202B1 (zh) |
CN (1) | CN103795959B (zh) |
WO (1) | WO2014069785A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104754282A (zh) * | 2013-12-23 | 2015-07-01 | 鸿富锦精密工业(深圳)有限公司 | 基于ip的视频会议控制系统及方法 |
CN104754281A (zh) * | 2013-12-23 | 2015-07-01 | 鸿富锦精密工业(深圳)有限公司 | 视频会议控制系统及方法 |
CN105407408B (zh) * | 2014-09-11 | 2019-08-16 | 腾讯科技(深圳)有限公司 | 一种在移动终端实现多人音视频的方法及移动终端 |
US9705936B2 (en) * | 2015-04-24 | 2017-07-11 | Mersive Technologies, Inc. | System and method for interactive and real-time visualization of distributed media |
KR20170025273A (ko) | 2015-08-28 | 2017-03-08 | 삼성에스디에스 주식회사 | 다자간 영상 통신에서 임시 발언권 관리 방법 및 그 장치 |
CN105451022A (zh) * | 2015-11-17 | 2016-03-30 | 深圳联友科技有限公司 | 一种将多路视频流压缩成一路视频流的方法及系统 |
CN105578112B (zh) * | 2015-12-23 | 2020-06-09 | 南京秦淮紫云创益企业服务有限公司 | 一种视频通话方法和装置 |
CN106067960A (zh) * | 2016-06-20 | 2016-11-02 | 努比亚技术有限公司 | 一种处理视频数据的移动终端和方法 |
CN108076301A (zh) * | 2016-11-11 | 2018-05-25 | 联芯科技有限公司 | VoLTE视频多方电话的视频处理方法和系统 |
JP6473469B2 (ja) * | 2017-02-28 | 2019-02-20 | 株式会社ピクセラ | 映像配信システム |
KR102352570B1 (ko) * | 2017-08-08 | 2022-01-18 | 라인 가부시키가이샤 | 그룹 통화 화면을 제공하는 방법 및 시스템 |
KR102162102B1 (ko) * | 2019-03-25 | 2020-10-20 | 주식회사 하이퍼커넥트 | 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체 |
KR102254253B1 (ko) | 2019-12-18 | 2021-05-20 | 라인플러스 주식회사 | 인스턴트 메시징 어플리케이션을 통한 그룹 이벤트 참여 방법 |
KR102345503B1 (ko) | 2020-03-03 | 2022-01-03 | 주식회사 하이퍼커넥트 | 중개 방법 및 컴퓨터 판독 가능한 기록매체 |
KR102376348B1 (ko) * | 2020-09-04 | 2022-03-18 | 네이버 주식회사 | 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체 |
KR102403259B1 (ko) * | 2020-09-10 | 2022-05-30 | 네이버 주식회사 | 다중 라이브 송출 환경에서의 채널 간 고속 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체 |
KR20220048598A (ko) | 2020-10-13 | 2022-04-20 | 삼성에스디에스 주식회사 | 다자간 영상 통화 품질 제어 장치 및 방법 |
CN114697732A (zh) * | 2020-12-30 | 2022-07-01 | 华为技术有限公司 | 一种拍摄方法、系统及电子设备 |
US20220337781A1 (en) | 2021-04-16 | 2022-10-20 | Hyperconnect, Inc. | Methods, Systems, and Computer Program Products for Providing Video Call Service |
KR102603220B1 (ko) * | 2021-12-01 | 2023-11-16 | 주식회사 엘지유플러스 | 타일 기반 멀티뷰 영상을 재생하는 방법 및 이를 위한 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6124881A (en) * | 1997-04-25 | 2000-09-26 | Fujitsu Limited | System for generating composed signals of multiple pictures for use in a video conference system |
CN101286314A (zh) * | 2008-05-26 | 2008-10-15 | 杭州华三通信技术有限公司 | 一种多画面拼接方法和装置 |
CN101803387A (zh) * | 2007-09-10 | 2010-08-11 | 思科技术公司 | 利用灵活宏块排序对任意数目的源流进行视频合成 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7034860B2 (en) * | 2003-06-20 | 2006-04-25 | Tandberg Telecom As | Method and apparatus for video conferencing having dynamic picture layout |
US8125508B2 (en) * | 2006-01-24 | 2012-02-28 | Lifesize Communications, Inc. | Sharing participant information in a videoconference |
JP4916749B2 (ja) * | 2006-03-30 | 2012-04-18 | 京セラ株式会社 | テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法 |
KR100893206B1 (ko) * | 2007-07-02 | 2009-04-16 | 주식회사 케이티프리텔 | 다자간 영상통화 중 화자 추가 서비스 제공 방법 및 장치 |
US8139100B2 (en) * | 2007-07-13 | 2012-03-20 | Lifesize Communications, Inc. | Virtual multiway scaler compensation |
KR20090020748A (ko) * | 2007-08-24 | 2009-02-27 | 주식회사 케이티 | 하이브리드 영상 컨퍼런싱 서비스 제공 시스템 및 그 제공방법 |
KR101417002B1 (ko) * | 2007-08-29 | 2014-07-08 | 엘지전자 주식회사 | 다자 영상 통화 기능을 제공하는 이동 통신 단말기 및 다자영상 통화의 모드 전환 방법 |
KR101432830B1 (ko) * | 2008-06-25 | 2014-08-26 | 주식회사 케이티 | 다자간 영상 통화 제어 방법, 이동통신 단말기 및 기록매체 |
NO331338B1 (no) * | 2009-06-24 | 2011-11-28 | Cisco Systems Int Sarl | Fremgangsmate og anordning for endring av en videokonferanse-layout |
KR20110018073A (ko) * | 2009-08-17 | 2011-02-23 | 에스케이 텔레콤주식회사 | 화자 이미지 표시 방법 및 시스템 |
JP5849484B2 (ja) * | 2010-09-16 | 2016-01-27 | 株式会社リコー | 伝送端末、表示データ送信方法、プログラム、情報提供装置及び伝送システム |
JP5740969B2 (ja) * | 2010-12-22 | 2015-07-01 | 株式会社リコー | Tv会議システム |
US20120249877A1 (en) * | 2011-03-28 | 2012-10-04 | Hernandez Costa Fabio J | Determining video stream display positioning |
WO2013019638A1 (en) * | 2011-07-29 | 2013-02-07 | Cisco Technology, Inc. | Method, computer- readable storage medium, and apparatus for modifying the layout used by a video composing unit to generate a composite video signal |
-
2012
- 2012-10-31 KR KR1020120121799A patent/KR101955202B1/ko active IP Right Grant
-
2013
- 2013-09-10 WO PCT/KR2013/008171 patent/WO2014069785A1/ko active Application Filing
- 2013-10-14 CN CN201310479026.4A patent/CN103795959B/zh active Active
- 2013-10-30 US US14/067,291 patent/US9172910B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6124881A (en) * | 1997-04-25 | 2000-09-26 | Fujitsu Limited | System for generating composed signals of multiple pictures for use in a video conference system |
CN101803387A (zh) * | 2007-09-10 | 2010-08-11 | 思科技术公司 | 利用灵活宏块排序对任意数目的源流进行视频合成 |
CN101286314A (zh) * | 2008-05-26 | 2008-10-15 | 杭州华三通信技术有限公司 | 一种多画面拼接方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US9172910B2 (en) | 2015-10-27 |
WO2014069785A1 (ko) | 2014-05-08 |
KR20140055252A (ko) | 2014-05-09 |
KR101955202B1 (ko) | 2019-03-07 |
US20140118467A1 (en) | 2014-05-01 |
CN103795959A (zh) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103795959B (zh) | 多方视频通话装置及利用该装置的多方视频输出方法 | |
US9900553B2 (en) | Multi-stream video switching with selective optimized composite | |
US8966095B2 (en) | Negotiate multi-stream continuous presence | |
US9172979B2 (en) | Experience or “sentio” codecs, and methods and systems for improving QoE and encoding based on QoE experiences | |
CA2884320C (en) | System and method for optimizing a communication session between multiple terminals involving transcoding operations | |
US20150121252A1 (en) | Combined Data Streams for Group Calls | |
US9596433B2 (en) | System and method for a hybrid topology media conferencing system | |
US20150188928A1 (en) | Private-public chat functionality | |
US8787547B2 (en) | Selective audio combination for a conference | |
US8984156B2 (en) | Multi-party mesh conferencing with stream processing | |
WO2013163951A1 (zh) | 多人会话时数据呈现的方法、服务器、用户端及系统 | |
EP1964109A1 (en) | Conference captioning | |
US8836753B2 (en) | Method, apparatus, and system for processing cascade conference sites in cascade conference | |
WO2012021174A2 (en) | EXPERIENCE OR "SENTIO" CODECS, AND METHODS AND SYSTEMS FOR IMPROVING QoE AND ENCODING BASED ON QoE EXPERIENCES | |
EP2067355A2 (en) | Apparatus for synthesizing information, apparatus for controlling information, and computer program product | |
US9380098B2 (en) | Method for transmitting a video stream | |
US9354697B2 (en) | Detecting active region in collaborative computing sessions using voice information | |
CN102082945A (zh) | 实现多方视频通话的方法、视频终端及系统 | |
KR102069695B1 (ko) | 분산 텔레프레즌스 서비스 제공 방법 및 장치 | |
JP2017092802A (ja) | 会議通話システム及びそれに用いられるバックエンドシステム | |
KR20100129131A (ko) | 다자간 영상 통신 방법. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |