CN102685443B - 多方视频会议系统及方法 - Google Patents

多方视频会议系统及方法 Download PDF

Info

Publication number
CN102685443B
CN102685443B CN201210064892.2A CN201210064892A CN102685443B CN 102685443 B CN102685443 B CN 102685443B CN 201210064892 A CN201210064892 A CN 201210064892A CN 102685443 B CN102685443 B CN 102685443B
Authority
CN
China
Prior art keywords
mentioned
video
meeting
multipart
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210064892.2A
Other languages
English (en)
Other versions
CN102685443A (zh
Inventor
李澔锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
(strain) ICNC
Original Assignee
PDK CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110023616A external-priority patent/KR101099369B1/ko
Priority claimed from KR1020120005107A external-priority patent/KR101219457B1/ko
Application filed by PDK CO Ltd filed Critical PDK CO Ltd
Publication of CN102685443A publication Critical patent/CN102685443A/zh
Application granted granted Critical
Publication of CN102685443B publication Critical patent/CN102685443B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G03B21/62—Translucent screens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种多方视频会议系统，更详细地涉及如下的多方视频会议系统及方法：通过在多方视频会议系统对互不相同的多数地区的参与者视频会议数据进行多路复用技术，来不受地区限制地进行多方视频会议，并且将投影仪设置在与屏幕前方的视频会议空间隔断的屏幕的后方，以防止从投影仪向屏幕照射的影像受到光的影响，来向屏幕的后表面照射影像。

Description

多方视频会议系统及方法
技术领域
本发明涉及一种多方视频会议系统，更详细地涉及如下的多方视频会议系统及方法：通过在多方视频会议系统对在互不相同的多个地区的参与者的影像数据进行多路复用，来不受地区限制地进行多方视频会议，并且从投影仪向屏幕照射的影像不受视频会议空间的光的影响。
背景技术
近来，在远程地区面对面进行会议的视频会议系统迅速向公共机关、金融圈、教育、通信社、医院以及企业等供给，并且，近来，随着对视频会议的认识性变化、视频会议技术的发展、解决方法的多样化及高速互联网等的支持，国内视频会议系统市场也快速增大。
图1是表示普通的视频会议系统的结构的图。
参照图1，普通的视频会议系统由多方视频会议服务器部20和能够进行多方视频会议的视频会议终端部10构成。当进行视频会议时，虽然也能够传输参与者的音频数据，但本发明涉及的是影像，因此在以下的说明中以影像数据为主进行说明。
上述多方视频会议服务器部20和视频会议终端部10通过如广域网(Wide Area Network：WAN)、局域网(Local Area Network：LAN)等互联网等的网络15相连接。
视频会议终端部10包括多个摄像机2、多个显示装置及视频处理终端5，以使多数参与者参与并参加视频会议。
各个摄像机2将拍摄各参与者来输出到视频处理终端5。
如图1所示，显示装置可由屏幕1和投影仪3构成，也可由液晶显示器(LiquidCrystal Display：LCD)和电视机等构成。如图1所示，显示装置可在一个画面仅显示对于一个参与者的影像，也可在一个画面显示对于多数参与者全体的影像。
视频处理终端5可成为个人计算机、单独的编解码装置等，通过网络将以文件形式包括对于通过各个上述摄像机2拍摄的各个参与者的影像数据的视频会议数据提供给多方视频会议服务器部10，并从多方视频会议服务器部10接收的对方的视频会议数据分割出与各参与者对应的影像数据之后通过相应显示装置进行显示。
多方视频会议服务器部20包括多方视频会议单元(MultiConference Unit：MCU)服务器和/或者万维网(Wed)服务器等，如图1所述，形成一个地区的视频会议终端部10-1与另一个地区的视频会议终端部10-2的视频会议信道，转换从视频会议终端部10-1及视频会议终端部10-2发送的视频会议数据后提供给对方视频会议终端部。
如上所述，现有的多方视频会议系统具有如下问题：由于多方视频会议单元服务器仅限于在两个地区之间形成的参与者之间收发视频会议数据，因而只能进行两个地区之间的视频会议，而不能进行三个地区以上的参与者之间的视频会议。
并且，现有的多方视频会议系统具有如下问题：由于视频会议终端部将两个地区各自的参与者拍摄的影像数据以各自的文件形式通过多方视频会议单元服务器来传输到对方视频会议终端部，因而向对方供给的影像数据具有各自的背景画面，并非统一的背景，因此使参与者觉得处在互不相同的场所，并且不能带给参与者正在进行会议的感觉和投入感。
发明内容
因此，本发明的一目的在于，提供不受地区限制地使互不相同的多地区的多数参与者进行多方会议的多方视频会议系统及方法。
本发明的再一目的在于，提供通过对显示在任意参与者一侧的多数参与者的背景画面进行色度镶迭(Chroma Key)来进行显示，以使参与者觉得在同一场所进行会议的多方视频会议系统及方法。
本发明的另一目的在于，提供采用弯曲型屏幕，并能够将多方视频会议影像无失真地显示在弯曲型屏幕的多方视频会议系统及方法。
本发明的还一目的在于，提供通过将投影仪设置在与屏幕前方的视频会议空间隔断的屏幕的后方，以防止从投影仪向平面式或弯曲型屏幕照射的影像受到视频会议空间的光的影响，来向屏幕的后表面照射影像的多方视频会议系统及方法。
用于达成上述目的的本发明的多方视频会议系统，其特征在于，包括：多个视频会议终端部，拍摄一人以上的参与者来发送各参与者的影像数据，接收多方视频会议影像数据来进行显示；多方视频会议服务器部，其通过用于进行多方视频会议的互不相同的两个地区以上的视频会议终端部来决定多方视频会议组，生成将从所决定的上述多方视频会议组的视频会议终端部接收的多个影像数据合成为一个画面的多方视频会议影像数据，来发送到上述视频会议终端部。
本发明的特征在于，包括：一个以上的摄像机，其用于分别拍摄一人以上的参与者；屏幕；投影仪，其将上述多方视频会议影像数据显示在上述屏幕；视频处理终端，其将在上述摄像机拍摄而输入的影像数据发送给上述多方视频会议服务器部，接收上述多方视频会议影像数据，来通过上述投影仪显示在上述屏幕。
本发明的特征在于，上述屏幕为弯曲型屏幕。
本发明的特征在于，具有两个以上的上述投影仪；上述视频处理终端在转换上述多方视频会议影像数据使其与上述屏幕的弯曲面相对应之后，根据预先设定的要显示在上述屏幕上的影像的大小来分割上述多方视频会议影像数据后，通过上述投影仪照射到上述屏幕。
本发明的特征在于，上述视频处理终端对上述多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据使其与上述屏幕的弯曲面相对应。
本发明的特征在于，上述视频处理终端为了使通过上述两个以上的投影仪将转换后的上述多方视频会议影像数据投射到上述屏幕上时重叠的重叠区域显得自然而对上述重叠区域进行调和处理来转换该重叠区域。
本发明的特征在于，上述视频处理终端对上述多方视频会议影像数据的背景进行色度镶迭来将其转换为统一的背景画面。
本发明的特征在于，上述投影仪设置在投影仪设置空间，向上述屏幕的后表面照射影像；上述屏幕为为半透射型屏幕，该半透射型屏幕设置在具有用于照射光的照明的视频会议空间和上述投影仪设置空间之间，来隔断上述光射向上述投影仪设置空间，并以上述视频会议空间为基准使得向后表面投射的影像进行半透射而显示在前表面。
本发明的特征在于，上述视频处理终端在对上述多方视频会议影像数据进行左右对称翻转处理，以使多方视频会议影像进行左右对称翻转之后，通过上述投影仪使上述多方视频会议影像显示在上述半透射型屏幕
本发明的特征在于，上述半透射型屏幕为弯曲型屏幕。
本发明的特征在于，具有两个以上的上述投影仪；上述视频处理终端在转换上述多方视频会议影像数据使其与上述屏幕的弯曲面相对应之后，根据预先设定的要显示在上述屏幕上的影像的大小来分割上述多方视频会议影像数据后通过上述投影仪照射到上述屏幕。
本发明的特征在于，上述视频处理终端对上述多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据，以使其与上述屏幕的弯曲面相对应。
本发明的特征在于，上述视频处理终端为了使通过上述两个以上的投影仪将转换后的上述多方视频会议影像数据投射到上述屏幕上时重叠的重叠区域显得自然而对上述重叠区域进行调和处理来转换该重叠区域。
本发明的特征在于，上述视频处理终端对上述多方视频会议影像数据的背景进行色度镶迭来将其转换为统一的背景画面。
用于达成上述目的的本发明的多方视频会议方法，其特征在于，包括如下过程：供给多方视频会议影像的过程，上述多方视频会议服务器部将把从位于互不相同的两个地区以上的多方视频会议组的多个视频会议终端部接收的影像数据合成为一个画面的多方视频会议影像数据发送到各个上述多方视频会议组的多个视频会议终端部；显示过程，各个上述视频终端部接收上述多方会议影像数据来进行显示。
本发明的特征在于，上述供给多方视频会议影像的过程包括如下步骤：决定多方视频组的步骤，通过用于进行多方视频会议的互不相同的两个地区以上的视频会议终端部来决定多方视频会议组；接收影像数据的步骤，从决定了组的上述多方视频会议组的视频会议终端部接收影像数据；合成步骤，生成将所接收的上述影像数据合成为一个画面的多方视频会议影像数据；发送多方会议影像的步骤，将上述多方视频会议影像数据发送到视频会议终端部。
本发明的特征在于，上述显示过程包括如下步骤：接收步骤，接收上述多方视频会议影像数据；分割步骤，与预先设定的屏幕画面的大小对应地、按照投影仪的数量来分割所接收的上述多方视频会议影像数据；显示步骤，通过相应投影仪将分割后的上述多方视频会议影像数据分别投射到屏幕。
本发明的特征在于，上述显示过程还包括左右对称翻转步骤，在该左右对称翻转步骤中，对上述多方视频会议影像数据进行左右对称翻转处理，以使多方视频会议影像进行左右对称翻转；在上述显示步骤中，在将分割后的上述多方视频会议影像数据分别转换为分割多方视频会议影像之后，通过设置在投影仪设置空间的相应投影仪投射到半透射型屏幕的后表面来进行显示，其中，上述投影仪设置空间为设置在视频会议空间和投影仪设置空间之间的半透射型屏幕的后方空间。
本发明的特征在于，上述接收步骤之后还包括扭曲步骤，在该扭曲步骤中，通过根据上述弯曲面对多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据，以能够在弯曲型屏幕的弯曲面显示为最佳视频。
本发明的特征在于，上述接收步骤之后还包括色度镶迭步骤，在该色度镶迭步骤中，对上述多方视频会议影像数据的背景进行色度镶迭来将其转换为统一的背景画面。
本发明的特征在于，上述色度镶迭步骤之后还包括扭曲步骤，在该扭曲步骤中，根据上述弯曲面，而对多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据，以能够在弯曲型屏幕的弯曲面显示为最佳视频。
本发明的特征在于，上述扭曲步骤及分割步骤之后还包括调和步骤，在该调和步骤中，为了使在将分割后的多方视频会议影像数据显示在弯曲型屏幕时产生的重叠区域显得自然而对上述分割后的多方视频会议影像数据的重叠区域进行调和处理来转换该重叠区域。
本发明的多方视频会议单元将对于处在不同地区的多数参与者各自的影像合成起来后传输到进行多方会议的对方，因此具有不受地区限制，且能够与不同地区的多数参与者进行视频会议的效果。
并且，本发明对背景画面和参与者的影像进行色度镶迭后进行显示，因此具有使处在不同地区的参与者觉得在同一场所进行会议的效果。
并且，本发明采用弯曲型屏幕，以参与者为中心弯曲地显示多方视频会议数据，因此具有使参与者对视频会议更加集中的效果。
并且，本发明将投影仪设置在与视频会议空间隔断的屏幕的背后空间，来向屏幕的后表面投射影像，因此具有不受有参与者的在视频会议空间中存在的照明的光的影响，能够通过屏幕看见更加清楚而清晰的影像的效果。
并且，本发明将投影仪设置在屏幕的背后，因此具有无需为了视频会议将投影仪设置在有参与者的视频会议空间的天花板或桌子上，并且能够将视频会议空间构成为更加简单而洁净的效果。
附图说明
图1是表示普通的多方视频会议系统结构的图。
图2是表示本发明第一实施例的多方视频会议系统的结构的图。
图3是表示本发明第一实施例的多方视频会议系统的视频处理终端的详细框结构的图。
图4是用于说明本发明第一实施例的视频会议影像数据的扭曲及调和的图。
图5是表示本发明第一实施例的多方视频会议系统中的多方视频会议方法的步骤图。
图6是表示本发明第一实施例的视频会议终端部中的多方视频会议方法的步骤图。
图7是表示本发明第二实施例的多方视频会议系统的结构的图。
图8是用于说明光对从本发明第一实施例及第二实施例的视频会议终端部的投影仪照射的影像造成的影响的图。
图9是表示本发明第二实施例的多方视频会议系统的多方视频处理终端的详细框结构的图。
图10是表示设置有本发明第二实施例的多方视频会议系统的视频会议终端部的视频会议空间的俯视图的图。
图11是用于说明本发明第二实施例的视频会议影像数据的扭曲及调和的图。
图12是表示本发明第二实施例的在多方视频会议系统的视频会议终端部中多方视频会议的视频影像显示方法的流程图。
附图标记的说明
100：视频会议终端部           101、102：屏幕
103：重叠区域                 110：视频处理终端
111：影像获取部               112：通信部
113：影像分割部               114：扭曲部
115：调和部                   116：影像输出部
117：色度镶迭处理部           118：左右对称翻转部
120、121：投影仪              130：摄像机
150：网络                     160：视频会议空间
170：投影仪设置空间           200：多方视频会议服务器部
具体实施方式
下面，参照附图对本发明第一实施例及第二实施例的多方视频会议系统及其动作进行说明。
(第一实施例)
图2是表示本发明第一实施例的多方视频会议系统的结构的图。
本发明的多方视频会议系统由多个视频会议终端部100和多方视频会议服务器部200构成。
上述多个视频会议终端部100和多方视频会议服务器部200通过如广域网(Wide Area Network：WAN)、局域网(Local AreaNetwork：LAN)等互联网等的网络15相连接，来根据传输控制协议/因特网互联协议(TCP/IP协议)和/或用户数据包协议(UDP协议)进行数据通信。
视频会议终端部100包括显示装置、摄像机130以及视频处理终端110。图2表示视频会议终端部100的显示装置由弯曲型屏幕101及投影仪120构成的情况。
视频会议终端部100在连接上述多方视频会议服务器部200并利用用户名和密码等登录之后，参与多方视频会议组，多方视频会议一开始，便拍摄一人以上的参与者来将参与者的影像数据提供给多方视频会议服务器部200。并且，视频会议终端部100把要在其本身包括的显示装置中显示的多方视频会议影像的大小信息提供给多方视频会议服务器部200。
多方视频会议服务器部200可由多方视频会议单元(MCU)服务器及万维网服务器构成，也可以使多方视频会议单元服务器兼具万维网服务器的功能。这种多方视频会议服务器部200提供编组单元，以使多个视频会议终端部100的要登录及已登录的两个地区以上的位于互不相同的场所的多个视频会议终端部100进行多方视频会议，从经编组后的各个视频会议终端部100接收对于一人以上的参与者的影像数据，并生成对以与传输了所接收的上述影像数据的视频会议终端部100的画面大小相对应的方式接收的影像数据进行了合成的多方视频会议影像数据，来发送到相应视频会议终端部100。此时，要传输的视频会议终端部100的参与者的影像数据未合成到上述多方视频会议影像数据中。
图3是表示本发明第一实施例的多方视频会议系统的视频处理终端的详细框结构的图，是表示由弯曲型屏幕和投影仪构成显示装置时的视频处理终端的结构的图，图4是用于说明本发明第一实施例的视频会议影像数据的扭曲及调和的图。下面，参照图2至图4进行说明。
视频处理终端110包括影像获取部111、通信部112、影像分割部113、扭曲部114、调和部115、影像输出部116、色度镶迭处理部117以及控制部119。
控制部119控制本发明视频处理终端110的整体动作。特别是，控制部119在连接多方视频会议服务器部200时，接收登录信息之后通过通信部112将该登录信息提供给多方视频会议服务器部200，登录时、多方视频会议编组时或者视频会议开始时把要通过影像输出部116和投影仪120显示在屏幕101的影像的大小信息提供给多方视频会议服务器部200。并且，控制部119具有弯曲型屏幕101的弯曲面的弯曲角度信息、连接在影像输出部116的投影仪120的数量等信息。
影像获取部111生成对于通过摄像机120拍摄的影像的影像数据后进行输出。
通信部112连接网络150来与上述多方视频会议服务器部200进行数据通信。
色度镶迭处理部117在所接收的多方视频会议影像中仅检测出参与者，并且将所检测出的参与者的影像和从控制部119输入的新的背景影像合成起来后进行输出。上述背景影像可成为会议室背景影像等。
影像分割部113受到控制部119的控制来与投影仪120的数量相对应地分割经色度镶迭处理后的上述多方视频会议影像数据，其中，上述投影仪120与影像输出部116相连接。
扭曲部114受到上述控制部119的控制来缩小或放大要在上述弯曲型屏幕101的弯曲面显示的影像的一部分以防止该影像失真或歪斜，而后进行转换影像的扭曲(Warping)处理以使该影像符合投影环境，即屏幕101的弯曲面的弯曲角度等的环境后进行输出。为此，扭曲部114采用像素(Pixel)单位的画面调整和部分影像的压缩方式。图3虽表示了在上述影像分割部113后端构成扭曲部114的情况，但也可以在影像分割部113的前端构成扭曲部114。即，扭曲处理也可以在分割多方视频会议影像数据之前进行。
调和部115为了消除因通过多个投影仪120向弯曲型屏幕101的弯曲面投射经分割、扭曲后的上述多方视频会议影像数据而产生的图4的重叠区域103，对上述重叠区域103进行调和(Blending)处理后进行输出。
具体说明如下，在两个以上的投影仪120向一个画面投射的情况下会产生重叠区域103，这种重叠区域103由于两个影像重叠，因而亮度增大，所以显得突出。将调节像这样变亮的重叠区域103的亮度(Br ightnes s)和对比度(Contrast)来消除重叠区域103的突出部分的处理称为调和。
影像输出部116通过相应投影仪120投射从上述调和部115输出的分割后的多方视频会议影像数据。
上述图2至图4对硬件结构进行了说明。下面，将参照图5对本发明的多方视频会议方法进行说明。图5是表示本发明多方视频会议方法的步骤图。
首先，任意的视频会议终端部100连接多方视频会议服务器部200并登录之后，请求多方视频会议(步骤S511)。
那么，多方视频会议服务器部200根据仅将视频会议终端部100-1所邀请的视频会议终端部100-2及视频会议终端部100-3编组成多方会议组的邀请方式或者上述多方视频会议请求而生成视频会议室(Room)，视频会议终端部100-2及视频会议终端部100-3分别进入上述视频会议室，从而借助对视频会议组进行编组的室方式等来编组多方会议组(步骤S513)。
如上所述，多方会议组的编组一结束，便根据视频会议终端部100-1等的视频会议开始请求而开始视频会议(步骤S515)，那么，视频会议终端部100开始将各自的影像数据发送给多方视频会议服务器部200，那么，多方视频会议服务器部200使从上述视频会议终端部100接收的影像数据的大小一致之后进行合成，来生成多方视频会议影像数据(步骤S517)。此时，上述多方视频会议影像数据中不包含要接收多方视频会议影像数据的视频会议终端部100的影像数据。举例说明，向视频会议终端部100-1传输的多方视频会议影像数据中不包含由上述视频会议终端部100-1传输的影像数据。
上述多方视频会议影像数据一生成，多方视频会议服务器部200便将所生成的多方视频会议影像数据传输到经编组的视频会议终端部100(步骤S519)。
图6是表示本发明第一实施例的在视频会议终端部中的多方视频会议方法步骤图。
如图5的步骤S515，多方视频会议一开始(步骤S711)，视频处理终端110便通过影像获取部111控制摄像机130，使其拍摄参与者来获取影像数据，并开始通过通信部112来将所获取的影像数据传输到多方视频会议服务器部200(步骤S713)。
上述影像数据的发送一开始，视频处理终端110便检查是否从多方视频会议服务器部200接收多方视频会议影像数据(步骤S715)。
如果开始接收多方视频会议影像数据，视频处理终端110便进行将上述多方视频会议影像数据的背景合成为统一的背景画面的色度镶迭处理(步骤S716)。
上述色度镶迭处理一结束，视频处理终端110便通过影像分割部113来与投影仪120的数量相对应地分割上述多方视频会议影像数据(步骤S717)。
并且，在扭曲部114对分割后的上述多方视频会议影像数据分别进行扭曲处理(步骤S719)之后，在调和部115对从各投影仪120投射的影像重叠在一起的重叠区域102进行调和处理(步骤S721)。
上述调和处理一结束，视频处理终端110便通过影像输出部116通过相应投影仪120将分割后的多方视频会议影像数据投射到弯曲型屏幕101(步骤S723)。
(第二实施例)
图7是表示本发明第二实施例的视频会议系统的结构的图，图8是用于说明光对从本发明第一实施例及第二实施例的视频会议终端部的从投影仪照射的影像造成的影响的图，图8的(a)是表示投影仪设置在视频会议空间部160的情况，图8的(b)是表示投影仪设置在投影仪设置空间部170的情况。下面，将参照图7及图8进行说明。应当注意，参照以下的附图进行说明时，对于与上述第一实施例相同的结构采用了相同的附图标记。
本发明视频会议系统由多个视频会议终端部100和多方视频会议服务器部200构成。
上述多个视频会议终端部100和多方视频会议服务器部200通过如广域网(Wide Area Network：WAN)、局域网(Local AreaNetwork：LAN)等互联网等的网络150相连接，来根据传输控制协议/因特网互联协议(TCP/IP协议)和/或用户数据包协议(UDP协议)进行数据通信。
视频会议终端部100包括屏幕102、投影仪121、摄像机130以及视频处理终端110。
如图8所示，存在视频会议终端部100的视频会议空间部由视频会议空间160和投影仪设置空间170构成。
上述屏幕102设置在视频会议空间160和投影仪设置空间170之间，并且，上述屏幕102与墙壁形成一体，以最大限度地防止从照明6照射的光透射到投影仪设置空间170，并使得从后方投射的影像进行半透射而显示在前表面。上述屏幕102由能够使影像半透射以仅仅使得从后方的投影仪121投射的影像显示在屏幕的前表面上的材质形成。上述屏幕102的材质可以利用聚碳酸酯(Polycarbonate：PC)系列的塑料。上述屏幕102的形态可以采用平面型，也可以采用弯曲型(或称为“曲面型”)。但是，优选地，本发明采用弯曲型，以造成投入感。
如图8所示，在作为屏幕102的背后空间的投影仪设置空间170设置一个以上的投影仪121，来向屏幕102的后表面投射视频会议影像。
在上述屏幕102的上、下、左、右侧具有一个以上摄像机130，来将拍摄视频会议空间160的影像输出到视频处理终端110。
如上所述，能够通过设置屏幕102和投影仪121，来防止在像图8的(a)那样在视频会议空间160同时设置屏幕102和投影仪121时可能发生照明6的光12对影像11造成影响的情况。
并且，由于将投影仪121设置于在屏幕102的背后形成的投影仪设置空间170，因而视频会议中无需关闭视频会议空间160的照明6或减少亮度，由此能够为在视频会议空间160进行视频会议的参与者营造更加舒适的环境，也能给摄像机130提供充分的光，因而也能给对方侧提供视频效果光亮而鲜明的视频会议影像。
视频会议终端部100的视频处理终端110通过参与者来连接上述多方视频会议服务器部200，并利用上述参与者输入的用户名和密码等登录之后，参与多方视频会议组，多方视频会议一开始，便利用一个以上的摄像机130拍摄视频会议空间之后将处在该视频会议空间的参与者的影像数据提供给多方视频会议服务器部200。并且，视频会议终端部100把要显示在其本身的屏幕102的多方视频会议影像的大小信息提供给多方视频会议服务器部200。并且，视频处理终端110按照所设置的投影仪121的数量来分割从多方视频会议服务器部200接收的多方视频会议影像数据，并根据屏幕102的形态转换该多方视频会议影像数据之后输出到各投影仪121。
多方视频会议服务器部200可由多方视频会议单元(MCU)服务器及万维网服务器构成，也可以使多方视频会议单元服务器兼具万维网服务器的功能。这种多方视频会议服务器部200提供编组单元，以使多个视频会议终端部100的要登录及已登录的两个地区以上的位于互不相同的场所的多个视频会议终端部100进行多方视频会议，从经编组后的各个视频会议终端部100接收对于一人以上的参与者的影像数据，并生成对以与传输了所接收的上述影像数据的视频会议终端部100的画面大小相对应的方式接收的影像数据进行了合成的多方视频会议影像数据，来发送到相应视频会议终端部100。此时，要传输的视频会议终端部100的参与者的影像数据未合成到上述多方视频会议影像数据中。
图9是表示本发明第二实施例的多方视频会议系统的视频处理终端的详细框结构的图，图10是表示设置有本发明第二实施例的多方视频会议系统的视频会议终端部的视频会议空间的俯视图的图，图11是用于说明采用本发明的弯曲型屏幕的视频会议影像的扭曲及调和的图。下面，将参照图7至图11进行说明。
视频处理终端110包括影像获取部111、通信部112、影像分割部113、左右对称翻转部118、扭曲部114、调和部115、影像输出部116、色度镶迭处理部117以及控制部119。
控制部119控制本发明的视频处理终端110的整体动作。特别是，控制部119在连接多方视频会议服务器部200时，接收登录信息之后通过通信部将该登录信息提供给多方视频会议服务器部200，登录时、多方视频会议编组时或者视频会议开始时把要通过影像输出部116和投影仪120显示在屏幕101的影像的大小信息提供给多方视频会议服务器部200。并且，控制部119具有弯曲型屏幕101的弯曲面的弯曲角度信息、连接在影像输出部116的投影仪120的数量等信息。
影像获取部111生成对于通过摄像机120拍摄的影像的影像数据后进行输出。
通信部112连接网络150来与上述多方视频会议服务器部200进行数据通信。
色度镶迭处理部117在所接收的多方视频会议影像中仅检测出参与者，并将所检测出的参与者的影像和从控制部119输入的新的背景影像合成起来后进行输出。上述背景影像可成为会议室背景影像等。
左右对称翻转部118使从上述色度镶迭处理部117输入的多方视频会议影像进行左右翻转后进行输出。这是因为，由于本发明的投影仪121从屏幕102的背后投射影像，因而为了防止在参与者的立场看影像时左右颠倒。
影像分割部113受到控制部119的控制来与投影仪120的数量相对应地分割经色度镶迭处理、左右翻转后的上述多方视频会议影像数据后进行输出，其中，上述投影仪120与影像输出部116相连接。
扭曲部114受到上述控制部119的控制来缩小或放大要根据上述屏幕102的形态在屏幕102显示的影像的一部分以防止该影像失真或歪斜，而后进行转换影像的扭曲(Warping)处理，以使该影像符合投影环境，即屏幕102的弯曲角度等的环境后进行输出。为此，扭曲部114采用像素(Pixel)单位的画面调整和部分影像的压缩方式。例如，在采用弯曲型屏幕，并如本申请的发明一样从屏幕102的背后投射影像的情况下，会向屏幕的凸出的一面投射影像。由此，扭曲部114采用像素(Pixel)单位的画面调整和部分影像压缩方式来进行扭曲处理，以使该影像与屏幕102的凸出的弯曲面的弯曲角度相对应。图9表示在上述影像分割部113后端构成扭曲部114的情况，但也可以在影像分割部113的前端构成扭曲部114。即，扭曲处理也可以在分割多方视频会议影像数据之前进行。
调和部115为了消除因通过多个投影仪121向屏幕102投射经分割、扭曲后的上述多方视频会议影像数据而产生的图10及图11的重叠区域103，对上述重叠区域103进行调和(Blending)处理后进行输出。
具体说明如下，在两个以上的投影仪120向一个画面投射的情况下会产生重叠区域103，这种重叠区域103由于两个影像重叠，因而亮度增大，所以显得突出。将调节像这样变亮的重叠区域103的亮度(Brightness)和对比度(Contrast)来消除重叠区域103的突出部分的处理称为调和。
影像输出部116通过相应投影仪120投射从上述调和部115输出的分割后的多方视频会议影像数据。
上述图7至图11对硬件结构进行了说明。下面，将参照图12对在视频会议终端部100的影像显示方法进行说明。
图12是表示本发明的在视频会议终端部的根据多方视频会议的视频影像显示方法的流程图。
视频会议一开始，视频处理终端110便通过影像获取部111控制摄像机130，使其拍摄参与者来获取影像数据，并开始通过通信部112来将获取的影像数据传输到多方视频会议服务器部200。
上述影像数据的发送一开始，视频处理终端110便检查是否从多方视频会议服务器部200接收多方视频会议影像数据(步骤S811)。
如果开始接收多方视频会议影像数据，视频处理终端110便进行将上述多方视频会议影像数据的背景合成为统一的背景画面的色度镶迭处理(步骤S813)。
上述色度镶迭处理一结束，视频处理终端110便使经色度镶迭处理后的多方视频会议影像数据进行左右翻转后进行输出(步骤S815)。
上述多方视频会议影像的左右翻转一结束，视频处理终端110便通过影像分割部113来与投影仪120的数量相对应地分割上述多方视频会议影像数据后进行输出(步骤S817)。
并且，在扭曲部114对分割后的上述多方视频会议影像数据分别进行扭曲处理(步骤S819)之后，在调和部115对从投影仪120投射的影像重叠在一起的重叠区域102进行调和处理(步骤S821)。
上述调和处理一结束，视频处理终端110便通过影像输出部116通过相应投影仪120将分割后的多方视频会议影像数据投射到屏幕101(步骤S823)。
由此，如图8所示，由于从设置在视频会议空间160的照明6照射的光不向投影仪设置空间170投射，因而不会对从投影仪121向屏幕102的背面投射的影像造成影响。由此，在屏幕102的前表面显示的影像变得鲜明而清晰。
并且，由于可以不关闭视频会议空间160的照明6，因而摄像机能够确保用于拍摄被拍摄体的充分的照明度，所以能够给对方传输鲜明而清晰的影像。
另一方面，本发明不局限于上述典型的优选实施例，对于本发明所属技术领域的普通技术人员来说，应当理解，在不脱离本发明的主旨的范围内，能够实施多种改进、变更、替换或附加。只要根据改进、变更、替换或附加进行的实施属于所附的权利要求书的范畴，就应视为其技术思想也属于本发明。

Claims (18)

1.一种多方视频会议系统，其特征在于，包括：
多个视频会议终端部，拍摄一人以上的参与者来发送各参与者的影像数据，接收多方视频会议影像数据来进行显示；
多方视频会议服务器部，其通过用于进行多方视频会议的互不相同的两个地区以上的视频会议终端部来决定多方视频会议组，生成将从所决定的上述多方视频会议组的视频会议终端部接收的多个影像数据合成为一个画面的多方视频会议影像数据，来发送到上述视频会议终端部；
一个以上的摄像机，其用于分别拍摄一人以上的参与者；
视频处理终端，其将在上述摄像机拍摄而输入的影像数据发送给上述多方视频会议服务器部，接收上述多方视频会议影像数据，
其中，上述视频处理终端对上述多方视频会议影像数据的背景进行色度镶迭来将其转换为统一的背景画面，并在所接收的多方视频会议影像中检测参与者，将检测出的参与者影像与所述统一的背景画面合成。
2.根据权利要求1所述的多方视频会议系统，其特征在于，包括：
屏幕；
投影仪，其将上述多方视频会议影像数据显示在上述屏幕，上述视频处理终端通过上述投影仪显示在上述屏幕。
3.根据权利要求2所述的多方视频会议系统，其特征在于，上述屏幕为弯曲型屏幕。
4.根据权利要求3所述的多方视频会议系统，其特征在于，
具有两个以上的上述投影仪；
上述视频处理终端在转换上述多方视频会议影像数据使其与上述屏幕的弯曲面相对应之后，根据预先设定的要显示在上述屏幕上的影像的大小来分割上述多方视频会议影像数据后通过上述投影仪照射到上述屏幕。
5.根据权利要求4所述的多方视频会议系统，其特征在于，上述视频处理终端对上述多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据使其与上述屏幕的弯曲面相对应。
6.根据权利要求4所述的多方视频会议系统，其特征在于，上述视频处理终端为了使通过上述两个以上的投影仪将转换后的上述多方视频会议影像数据投射到上述屏幕上时重叠的重叠区域显得自然而对上述重叠区域进行调和处理来转换该重叠区域。
7.根据权利要求2所述的多方视频会议系统，其特征在于，
上述投影仪设置在投影仪的设置空间，向上述屏幕的后表面照射影像；
上述屏幕为半透射型屏幕，该半透射型屏幕设置在具有用于照射光的照明的视频会议空间和上述投影仪设置空间之间，来隔断上述光射向上述投影仪设置空间，并以上述视频会议空间为基准使得向后表面投射的影像进行半透射而显示在前表面。
8.根据权利要求7所述的多方视频会议系统，其特征在于，上述视频处理终端在对上述多方视频会议影像数据进行左右对称翻转处理以使多方视频会议影像进行左右对称翻转之后，通过上述投影仪使上述多方视频会议影像显示在上述半透射型屏幕。
9.根据权利要求7或8所述的多方视频会议系统，其特征在于，上述半透射型屏幕为弯曲型屏幕。
10.根据权利要求9所述的多方视频会议系统，其特征在于，
具有两个以上的上述投影仪；
上述视频处理终端在转换上述多方视频会议影像数据使其与上述屏幕的弯曲面相对应之后，根据预先设定的要显示在上述屏幕上的影像的大小来分割上述多方视频会议影像数据后通过上述投影仪照射到上述屏幕。
11.根据权利要求10所述的多方视频会议系统，其特征在于，上述视频处理终端对上述多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据，以使其与上述屏幕的弯曲面相对应。
12.根据权利要求10或11所述的多方视频会议系统，其特征在于，上述视频处理终端为了使通过上述两个以上的投影仪将转换后的上述多方视频会议影像数据投射到上述屏幕上时重叠的重叠区域显得自然而对上述重叠区域进行调和处理来转换该重叠区域。
13.一种多方视频会议方法，其特征在于，包括如下过程：
供给多方视频会议影像的过程，多方视频会议服务器部将把从位于互不相同的两个地区以上的多方视频会议组的多个视频会议终端部接收的影像数据合成为一个画面的多方视频会议影像数据发送到各个上述多方视频会议组的多个视频会议终端部；
显示过程，各个上述视频会议终端部接收上述多方视频会议影像数据来进行显示，
其中上述显示过程包括：
接收步骤，接收上述多方视频会议影像数据；
色度镶迭步骤，对多方视频会议影像数据的背景进行色度镶迭来将其转换为统一的背景画面，并在所接收的多方视频会议影像中检测参与者，将检测出的参与者影像与所述统一的背景画面合成。
14.根据权利要求13所述的多方视频会议方法，其特征在于，上述供给多方视频会议影像的过程包括如下步骤：
决定多方视频组的步骤，通过用于进行多方视频会议的互不相同的两个地区以上的视频会议终端部来决定多方视频会议组；
接收影像数据的步骤，从决定了组的上述多方视频会议组的视频会议终端部接收影像数据；
合成步骤，生成将所接收的上述影像数据合成为一个画面的多方视频会议影像数据；
发送多方会议影像的步骤，将上述多方视频会议影像数据发送到视频会议终端部。
15.根据权利要求13所述的多方视频会议方法，其特征在于，上述显示过程还包括如下步骤：
分割步骤，与预先设定的屏幕画面的大小对应地、按照投影仪的数量来分割所接收的上述多方视频会议影像数据；
显示步骤，通过相应投影仪将分割后的上述多方视频会议影像数据分别投射到屏幕。
16.根据权利要求15所述的多方视频会议方法，其特征在于，
上述显示过程还包括左右对称翻转步骤，在该左右对称翻转步骤中，对上述多方视频会议影像数据进行左右对称翻转处理，以使多方视频会议影像进行左右对称翻转；
在上述显示步骤中，在将分割后的上述多方视频会议影像数据分别转换为分割多方视频会议影像之后，通过设置在投影仪设置空间的相应投影仪投射到半透射型屏幕的后表面来进行显示，其中，上述投影仪设置空间为设置在视频会议空间和投影仪设置空间之间的
半透射型屏幕的后方空间。
17.根据权利要求15或16所述的多方视频会议方法，其特征在于，上述接收步骤之后还包括扭曲步骤，在该扭曲步骤中，通过根据弯曲型屏幕的弯曲面对多方视频会议影像数据进行扭曲处理来转换该多方视频会议影像数据，以能够在上述弯曲面显示为最佳视频。
18.根据权利要求17所述的多方视频会议方法，其特征在于，上述扭曲步骤及分割步骤之后还包括调和步骤，在该调和步骤中，为了使在将分离后的多方视频会议影像数据显示在弯曲型屏幕时产生的重叠区域显得自然而对上述分离后的多方视频会议影像数据的重叠区域进行调和处理来转换该重叠区域。
CN201210064892.2A 2011-03-17 2012-03-13 多方视频会议系统及方法 Expired - Fee Related CN102685443B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2011-0023616 2011-03-17
KR1020110023616A KR101099369B1 (ko) 2011-03-17 2011-03-17 다자간 화상 회의 시스템 및 방법
KR1020120005107A KR101219457B1 (ko) 2012-01-17 2012-01-17 화상 회의 단말장치 및 그 장치에서의 화상 표시 방법
KR10-2012-0005107 2012-01-17

Publications (2)

Publication Number Publication Date
CN102685443A CN102685443A (zh) 2012-09-19
CN102685443B true CN102685443B (zh) 2015-05-06

Family

ID=46816738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210064892.2A Expired - Fee Related CN102685443B (zh) 2011-03-17 2012-03-13 多方视频会议系统及方法

Country Status (2)

Country Link
CN (1) CN102685443B (zh)
WO (1) WO2012124929A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2889053A1 (en) * 2012-10-31 2014-05-08 Milestone Av Technologies Llc Integrated projection screen
CN111372032B (zh) * 2020-03-25 2021-04-23 苏州科达科技股份有限公司 视频合成测试方法、装置、设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472134A (zh) * 2007-12-29 2009-07-01 深圳华为通信技术有限公司 视频会议与会人员联系系统、方法、终端、多点控制单元

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05292498A (ja) * 1992-04-16 1993-11-05 Hitachi Ltd 画像合成方式およびそれを用いた多地点間テレビ会議装置
KR19990061602A (ko) * 1997-12-31 1999-07-26 전주범 화상회의 시스템의 영상 구성 제어 방법
KR100275930B1 (ko) * 1998-02-25 2000-12-15 강상훈 화상회의 시스템에서 복수의 픽쳐를 하나의 화면에 표시하기 위한 화면 형성방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101472134A (zh) * 2007-12-29 2009-07-01 深圳华为通信技术有限公司 视频会议与会人员联系系统、方法、终端、多点控制单元

Also Published As

Publication number Publication date
WO2012124929A2 (ko) 2012-09-20
WO2012124929A3 (ko) 2012-12-27
CN102685443A (zh) 2012-09-19

Similar Documents

Publication Publication Date Title
US8760485B2 (en) System and method for displaying participants in a videoconference between locations
US9210373B2 (en) System and method for scaling a video presentation based on presentation complexity and room participants
US7707247B2 (en) System and method for displaying users in a visual conference between locations
JP5508450B2 (ja) マルチストリームかつマルチサイトのテレプレゼンス会議システムのための自動的なビデオレイアウト
US8860776B2 (en) Conference terminal, conference server, conference system and data processing method
US8289367B2 (en) Conferencing and stage display of distributed conference participants
EP3329670B1 (en) Virtual video driver bridge system for multi-source collaboration within a web conferencing system
US20140063178A1 (en) System and method for collaboration revelation and participant stacking in a network environment
CN103597468A (zh) 用于视频通信系统中改进的交互式内容共享的系统和方法
US20090019112A1 (en) Audio and video conferencing using multicasting
US20150208036A1 (en) Video conference display method and device
US20100066806A1 (en) Internet video image producing method
JP2005286972A (ja) 多地点会議接続システム、並びに多地点会議接続方法
KR101099369B1 (ko) 다자간 화상 회의 시스템 및 방법
WO2012059280A2 (en) System and method for multiperspective telepresence communication
WO2012059279A1 (en) System and method for multiperspective 3d telepresence communication
CN102685443B (zh) 多方视频会议系统及方法
Han et al. Design of multi-party meeting system for interactive collaboration
US8421844B2 (en) Apparatus for correcting gaze, a method of videoconferencing and a system therefor
Gorzynski et al. The halo B2B studio
JP2016072844A (ja) 映像システム
EP3012998B1 (en) Multi-content media communication method, device and system
KR20070039669A (ko) 화상회의 시스템
WO2022135648A1 (en) System and method of conducting conference calls using a mount for positioning and orienting a mobile computer device
CN117097865A (zh) 一种无延时感的远程会议系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160303

Address after: Gyeonggi Do, South Korea

Patentee after: (strain) ICNC

Address before: Seoul, South Kerean

Patentee before: PDK Co Ltd

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150506

Termination date: 20200313