JP2013225850A - 映像通信装置、映像通信サーバー及び映像通信のための映像処理方法 - Google Patents

映像通信装置、映像通信サーバー及び映像通信のための映像処理方法 Download PDF

Info

Publication number
JP2013225850A
JP2013225850A JP2013082215A JP2013082215A JP2013225850A JP 2013225850 A JP2013225850 A JP 2013225850A JP 2013082215 A JP2013082215 A JP 2013082215A JP 2013082215 A JP2013082215 A JP 2013082215A JP 2013225850 A JP2013225850 A JP 2013225850A
Authority
JP
Japan
Prior art keywords
video
video communication
processing method
communication device
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2013082215A
Other languages
English (en)
Inventor
Ji-Hye Chung
知 恵 鄭
大 雨 ▲ちょう▼
Dae-Woo Cho
Jae-Hong Ahn
在 弘 安
Sung Wook Choi
成 旭 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2013225850A publication Critical patent/JP2013225850A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00246—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with an optical device, e.g. an optical viewing aid
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00222—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of image data generation or reproduction, e.g. scan-to-email or network printing
    • H04N1/00225—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of image data generation or reproduction, e.g. scan-to-email or network printing details of image data generation, e.g. scan-to-email or network scanners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/324—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter intermediate the transmitter and receiver terminals, e.g. at an exchange
    • H04N1/32406—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter intermediate the transmitter and receiver terminals, e.g. at an exchange in connection with routing or relaying, e.g. using a fax-server or a store-and-forward facility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/32459—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter for changing the arrangement of the stored data
    • H04N1/3247—Changing the arrangement of data in a page, e.g. reversing the order to produce a mirror image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals

Abstract

【課題】 ディスプレイ装置のように撮像領域が制限的な映像通信装置を通じて多数のユーザ間の映像通信が可能なシステムを提供する。
【解決手段】 本発明による映像通信のための映像処理方法は、第１映像通信装置から第１映像を取得し、第２映像通信装置から第２映像を取得する段階と、第１映像及び第２映像を合成して前記第１映像通信装置から映像の送信が要請された映像受信装置に送信する第３映像を生成する段階と、前記第３映像をエンコーディングして前記映像受信装置に送信する段階と、を含む。
【選択図】 図１

Description

本発明は、映像通信装置、映像通信サーバー及び映像通信のための映像処理方法に関する。
一般的に、通信技術の発達によって映像データを音声データと共に送信する映像通信装置が登場し、このような映像通信機能はデジタル処理に基づくＤＴＶ（Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ）システムに通信機能が加わってＤＴＶ上でも具現されることになった。即ち、ＤＴＶにカメラモジュールを付着してユーザを撮影し、撮影された映像データと音声データをインターネット網または移動通信網等を通して他の装置に送信することが可能になった。
既存の映像通信装置は一つのカメラモジュールを利用してユーザを撮影する方式で制限的な撮像可能領域内だけ通話が可能である。小型端末機とは異なるように、映像通信装置がＤＴＶのようなディスプレイ装置で具現される場合、映像通信装置自体を移動させることが容易ではないので、カメラモジュールが撮影する範囲が固定的でなければならなかった。また、多数のユーザを撮影した映像データを生成するためには全てのユーザがカメラの撮像可能領域内になければならないのに、撮像範囲を広げるとユーザの個人空間の露出の危険が大きい。
従って、本発明の目的は、多数の映像通信装置がそれぞれのユーザを撮影してマルチビューを生成することによって、ディスプレイ装置のように撮像領域が制限的な映像通信装置で多数のユーザ間の映像通信が可能なシステムを提供することを目的とする。
前記解決課題は、映像受信装置と映像通信を行なう映像通信装置において、被写体を撮影して第１映像を取得する映像取得部と、連結されたスレーブ装置で撮影された第２映像を受信する通信部と、送信する第３映像を生成する送信映像生成部と、前記第１映像及び前記第２映像を合成して前記第３映像を生成するように前記送信映像生成部を制御し、前記第３映像をエンコーディングして前記通信部を通じて送信するように制御する制御部と、を含むことを特徴とする映像通信装置によって達成されることができる。
ここで、前記送信映像生成部は前記第１映像及び前記第２映像が一つの画面の一領域に各々表示されるように前記第３映像を生成することができる。ここで、前記送信映像生成部は所定のイベントに従って前記第１映像及び前記第２映像が選択的に表示されるように前記第３映像を生成することができる。
ここで、映像を表示するディスプレイ部と、前記ディスプレイ部を通じて出力される第４映像を生成する出力映像生成部と、をさらに含むことができる。
ここで、前記制御部は映像通信装置と有線／無線で通信可能な外部の装置を検出し、検出された外部の装置が映像通信機能を備えた装置である場合、前記外部の装置から前記第２映像を受信することができる。
ここで、第１音声を取得する音声取得部をさらに含み、前記通信部は前記スレーブ装置から第２音声をさらに受信し、前記制御部はユーザの選択に従って、前記第１音声と前記第２音声の中で何れか一つを選択的に送信することができる。
また、前記解決課題は映像通信サーバーにおいて、第１映像通信装置から第１映像及びシンク情報を受信し、第２映像通信装置から第２映像を受信する通信部と、前記第１映像通信装置から映像の送信が要請された映像受信装置に送信する第３映像を生成する送信映像生成部と、前記シンク情報に基づいて前記第１映像及び前記第２映像を合成して前記第３映像を生成するように前記送信映像生成部を制御し、前記第３映像をエンコーディングして前記通信部を通じて前記映像受信装置に送信するように制御する制御部と、を含むことを特徴とする映像通信サーバーによって、達成されることもできる。
ここで、前記送信映像生成部は前記第１映像及び前記第２映像が一つの画面の一領域に各々表示されるように前記第３映像を生成することができる。ここで、前記送信映像生成部は所定のイベントに従って前記第１映像及び前記第２映像が選択的に表示されるように前記第３映像を生成することができる。
ここで、前記通信部は前記第１映像通信装置から第１音声を受信し、前記第２映像通信装置から第２音声を受信し、前記制御部は前記第１映像通信装置の選択に従って、前記第１音声または前記第２音声の中で何れか一つを選択的に前記映像受信装置に送信することができる。
ここで、前記制御部は前記第１映像通信装置及び前記第２映像通信装置の接続ＩＤに従って前記第３映像の生成可否を決めることができる。ここで、前記生成された第３映像を保存する保存部をさらに含むことができる。
また、前記目的は本発明に従って第１映像通信装置、第２映像通信装置及び映像通信サーバーを含む映像通信システムにおいて、前記映像通信サーバーは前記第１映像通信装置によって取得した第１映像と前記第２映像通信装置によって取得した第２映像を合成して生成された第３映像をエンコーディングし、前記第１映像通信装置から映像の送信が要請された映像受信装置に前記第３映像を一つの映像ストリームとして送信することを特徴とする映像通信システムによって達成されることもできる。
また、前記目的は映像通信のための映像処理方法において、第１映像通信装置から第１映像を取得し、第２映像通信装置から第２映像を取得する段階と、第１映像及び第２映像を合成して前記第１映像通信装置から映像の送信が要請された映像受信装置に送信する第３映像を生成する段階と、前記第３映像をエンコーディングして前記映像受信装置に送信する段階と、を含むことを特徴とする映像処理方法によって達成されることもできる。
ここで、前記第１映像通信装置で前記第２映像を受信する段階をさらに含み、前記第３映像を生成する段階は、前記第１映像通信装置で行なわれることができる。
ここで、映像通信サーバーで前記第１映像通信装置から前記第１映像及びシンク情報を受信し、前記第２映像通信装置から前記第２映像を受信する段階をさらに含み、前記第３映像を生成する段階は、前記映像処理サーバーで前記シンク情報に基づいて前記第３映像を生成することができる。
ここで、前記第３映像を生成する段階は、前記第１映像及び前記第２映像が一つの画面の一領域に各々表示されるように前記第３映像を生成することができる。ここで、前記第３映像を生成する段階は、所定のイベントに従って前記第１映像及び前記第２映像が選択的に表示されるように前記第３映像を生成することができる。
ここで、前記第１映像通信装置は映像を表示するディスプレイ部を含み、前記ディスプレイ部を通じて出力される第４映像を生成する段階をさらに含むことができる。ここで、前記第１映像通信装置から第１音声を取得し、前記第２映像通信装置から前記第２音声を取得する段階と、前記第１映像通信装置の選択に従って、前記第１音声または前記第２音声の中で何れか一つを選択的に前記映像受信装置に送信する段階と、を含むことができる。
ここで、前記第１映像通信装置及び前記第２映像通信装置の接続ＩＤに従って、前記第３映像の生成可否を決める段階をさらに含むことができる。ここで、前記第３映像を映像通信サーバーに保存する段階をさらに含むことができる。
以上、前述ように、本発明によれば、ディスプレイ装置のように撮像領域が制限的な映像通信装置を通じて多数のユーザ間の映像通信が可能なシステムを提供することができる。
本発明による映像通信システムを簡略に示す図である。 本発明の一実施形態による映像通信装置の制御ブロック図である。 本発明の他の実施形態による映像通信サーバーの制御ブロック図である。 本発明による映像通信のための映像処理方法の第１フローチャートである。 本発明による映像通信のための映像処理方法の第２フローチャートである。 本発明による映像通信のための映像処理方法の第３フローチャートである。
以下、添付図面を参考して、本発明の実施形態に対して本発明の属する技術分野で通常の知識を有する者が容易に実施することができるように詳細に説明する。本発明はいろいろ異なる形態で具現されることができるし、ここで説明する実施形態に限定されない。本発明を明確に説明するために説明と関係ない部分は省略し、明細書全体を通じて同一または類似の構成要素に対しては同じ参照符号を付けるようにする。
図１は、本発明による映像通信システムを簡略に示す。映像通信システムは、複数の映像通信装置１００、２００、４００と映像通信サーバー３００を含む。それぞれの映像通信装置１００、２００、４００は、ユーザを撮影して映像データを生成し、ユーザの音声を獲得して音声データを生成する。
本発明で、複数の映像通信装置の中で一部１００、２００で生成される映像は一つで映像ストリームで他の一つの映像通信装置４００に転送され、実施形態に従って、映像を生成して送信する側を映像通信装置１００とスレーブ装置２００と言い、受信する側を映像受信装置４００と言ったり、送信する側を第１映像通信装置１００と第２映像通信装置２００と記載し、受信する側を映像受信装置４００と記載するようにする。説明の便宜のため、二つの映像通信装置を通じて説明するが、多数の映像通信装置を通じて映像通信システムを具現することができる。
第１映像通信装置１００は、ＤＴＶ（Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ）等のディスプレイ装置で具現され、第２映像通信装置２００は、移動通信が可能な携帯電話、ＰＤＡなどの端末機で具現されることが好ましいが、具体的な具現例にあって限定される必要はない。
図２は本発明の一実施形態による映像通信装置１００の制御ブロック図である。本実施形態において、映像通信装置１００は、映像取得部１１０、通信部１２０、送信映像生成部１３０及び制御部１４０を含み、ディスプレイ部１５０、出力映像生成部１６０及び音声取得部１７０をさらに含むことができる。映像通信装置１００はＤＴＶのように外部の映像供給源から受信した映像信号を処理して表示できるディスプレイ装置で具現されることが好ましい。
映像取得部１１０は、被写体を撮影して第１映像を取得する。映像取得部１１０は、公知のカメラモジュールで具現されることができ、映像通信装置１００の前面に設けられて、ユーザを撮影して映像データを生成することができる。映像通信装置１００がディスプレイ装置で具現される場合、移動または回転が容易ではないので、映像取得部１１０は、制限的な範囲だけを撮影することができる。
通信部１２０は、スレーブ装置２００で撮影された第２映像を受信する。通信部１２０は、外部装置とデータ通信を遂行できる公知の通信モジュールを含み、スレーブ装置２００から第２映像及び第２音声を受信する以外に、映像通信サーバー３００及び映像受信装置４００とも通信を行なうことができる。スレーブ装置２００は、カメラ
モジュールを備え、映像通信機能を備えた端末機の形態で具現されることが好ましい。
送信映像生成部１３０は、後述する制御部１４０の制御に従って、外部に送信する第３映像を生成する。第３映像は、第１映像と第２映像に基づいて生成されることで、その形態は多様である。例えば、ＰＩＰの形態、画面を左右または上下で分けて表示される形態等のように、画面の一領域に第１映像と第２映像が同時に表示される形態で生成されることができる。他の実施形態として、所定のイベントに従って第１映像及び第２映像が選択的に表示される形態で生成されることもできるのに、ここでイベントの例として、映像受信装置４００のユーザが第１映像と第２映像の中で何れか一つを表示するように所定のキーを入力する場合、映像受信装置４００は、このような情報を映像通信装置１００に直ちに送信し、映像通信装置１００は受信した情報に基づいてユーザによって選択された一つの映像だけを表示するように第３映像を生成することができる。
制御部１４０は、映像通信装置１００の映像通信機能に関する全般的な制御を担当するマイクロプロセッサーで具現されることができる。制御部１４０は、映像取得部１１０で取得した第１映像と通信部１２０を通じてスレーブ装置２００から受信した第２映像を合成して第３映像を生成するように送信映像生成部１３０を制御する。この時、第２映像は、スレーブ装置２００でエンコーディングされて映像ストリームで映像通信装置１００に転送されるのでデコーディング過程を経て１映像と合成されることができる。
制御部１４０は、送信映像生成部１３０によって第３映像が生成されれば、第３映像をエンコーディングして通信部１２０を通じて送信するように制御する。送信映像生成部１３０によって生成された第３映像は、実施形態に従って、通信部１２０を経て、映像受信装置４００に直接に転送されたり、サーバーを経て最終的に映像受信装置４００に転送されることができる。第３映像は、一つの映像ストリームで転送されるので、これを受信する映像受信装置４００は、第１映像と第２映像を合成するための別途のハードウェア/ソフトウェア的な構成がなくても受信した第３映像をデコーディングして表示することができて、これは第１映像と第２映像を各々受信する方法に比べてデータ送信量の側面でも有利である。
前述のように、映像通信装置１００は、ディスプレイ装置で具現されることが望ましくて、この場合映像を表示するディスプレイ部１５０をさらに含むことができる。また、ディスプレイ部１５０を通じて出力される第４映像を生成する出力映像生成部１６０をさらに含むこともできる。出力映像生成部１６０では、第４映像は第１映像または第２映像の中で何れか一つだけを含めるし、ＰＩＰ形態のように第１映像と第２映像を合成して生成された映像であることもできる。第４映像は、映像通信装置１００のユーザに提供されることで、映像受信装置４００に転送される第３映像と同一な必要はない。ディスプレイ部１５０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａｌ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等で具現されて、第４映像を表示でき、その他に外部から受信した映像信号に基づいた映像または保存された映像データに基づいた映像を表示することができる。
制御部１４０は、映像通信装置１００と有線/無線で通信可能な外部の装置を検出し、外部の装置が映像通信機能を備えたかを確認して、映像通信のためのデータを共有する。即ち、映像通信装置１００が映像受信装置４００と映像通信を行なうことにあって、映像通信が可能な外部の装置をスレーブ装置２００で設定して第２映像を受信する。映像通信の途中にスレーブ装置２００との連結が終了されると、映像通信装置１００は、再び第１映像だけを映像受信装置４００に送信する。
本発明を通じて行なわれる映像通信機能は、音声データの送信も含む。映像通信装置１００は、第１音声を取得する音声取得部１７０をさらに含めるし、音声取得部１７０は、公知のマイクロホンで具現されてユーザの音声を取得することができる。スレーブ装置２００は、第２音声を取得することができるし、通信部１２０は、スレーブ装置２００から第２音声をさらに受信することができる。制御部１４０は、ユーザの選択に従って、第１音声と第２音声の中で何れか一つを選択的に映像通信サーバー３００または映像受信装置４００に送信することができる。この時転送される音声は、第３映像と共に転送されることが好ましい。
図３は、本発明の他の実施形態による映像通信サーバー３００の制御ブロック図である。図３に示すように、第１映像通信装置及び第２映像通信装置は、図２に示す映像通信装置及びスレーブ装置とその構成が大部分一致し、以下で説明する映像通信サーバー３００の細部構成は、図２を通じて説明した映像通信サーバー３００と類似なことが好ましい。映像通信サーバー３００は、第１映像通信装置１００の一部に含まれたり、別途に設けられて第１映像通信装置１００及び第２映像通信装置２００と有無線でデータを送受信することができる。
本実施形態において、映像通信サーバー３００は、通信部３１０、送信映像生成部３２０、制御部３３０を含み、保存部３４０をさらに含むことができる。映像通信サーバー３００は、ネットワークを通じて第１映像通信装置１００、第２映像通信装置２００及び映像受信装置４００とデータを送受信することができる。
通信部３１０は、第１映像通信装置１００から第１映像及びシンク情報を受信し、第２映像通信装置２００から第２映像を受信する。ここで、第１映像は、第１映像通信装置１００のユーザを撮影した映像であり、第２映像は、第２映像通信装置２００のユーザを撮影した映像であり、シンク情報は、第１映像と第２映像を同調するための情報を含む。
送信映像生成部３２０は、後述する制御部３３０の制御に従って、第１映像通信装置１００から映像の送信が要請された映像受信装置４００に送信する第３映像を生成する。生成される第３映像の形態は、図２の映像通信装置によって生成されることのように、第１映像及び第２映像が一つの画面の一領域に各々表示される形態であったり、所定のイベントに従って第１映像及び第２映像が選択的に表示される形態でありうる。
制御部３３０は、本実施形態による映像通信サーバー３００の映像通信機能に関する全般的な制御を担当する。制御部３３０は、第１映像通信装置１００から受信したシンク情報に基づいて、第１映像及び第２映像を合成して第３映像を生成するように送信映像生成部３２０を制御する。
送信映像生成部３２０によって第３映像が生成されたとき、制御部３３０は、第３映像をエンコーディングして、通信部３１０を通じて映像受信装置４００に送信するように制御する。第３映像は、一つの映像ストリームで転送されるので、これを受信する映像受信装置４００は、第１映像と第２映像を合成するための別途のハードウェア/ソフトウェア的な構成がなくても受信した第３映像をデコーディングして表示でき、これは第１映像と第２映像を各々受信する方法に比べてデータ送信量の側面でも有利である。
本実施形態の映像通信機能も、音声データの送信も含めるし、通信部３１０は、第１映像通信装置１００から第１音声を受信し、第２映像通信装置２００から第２音声を受信し、制御部３３０は、第１映像通信装置１００の選択に従って第１音声または第２音声の中で何れか一つを選択的に映像受信装置４００に送信することができる。この時転送される音声データは、第３映像と共に転送されることが好ましい。
映像通信サーバー３００の制御部３３０は、第１映像通信装置１００及び第２映像通信装置２００の接続ＩＤに従って第３映像の生成可否を決めることができる。即ち、第１映像通信装置１００と第２映像通信装置２００が同じＩＤまたは所定のファミリーＩＤで接続した場合、一つのグループで第３映像を生成して映像受信装置４００に送信することができる。
映像通信サーバー３００は、生成された第３映像を保存する保存部３４０をさらに含むことができる。映像の送信が要請された映像受信装置４００が映像通信サーバー３００に接続されていない場合、映像メッセージの形態で保存部３４０に保存されて、映像受信装置４００がこの後に映像通信サーバー３００に接続すれば保存部３４０に保存された第３映像を受信することができる。映像通信サーバー３００は、各装置のＩＤに基づいて、映像及び音声データの送信可否を決めることができるので、映像受信装置４００のユーザは、他の映像受信装置を利用しても、同じＩＤを通じて接続する場合、保存部３４０に保存された第３映像を確認することができる。
前述した本発明の第１実施形態及び第２実施形態によれば、第１映像処理装置１００のカメラと第２映像処理装置２００のカメラを利用して、多数の機器で撮影した映像をマルチビュー形態の一つの映像で生成して送信できる映像通信システムを具現することができる。
図４は、本発明による映像通信のための映像処理方法の第１フローチャートである。図４では、映像処理方法の基本的な流れが図示されている。
第１映像通信装置は、ユーザを撮影して第１映像を取得し、第２映像通信装置は、ユーザを撮影して第２映像を取得する（Ｓ１１０）。取得された第１映像及び第２映像は、第１映像通信装置または映像処理サーバーに転送され、第１映像及び第２映像を合成した第３映像を生成する（Ｓ１２０）。生成された第３映像は、一つの映像ストリームで映像受信装置に転送される（Ｓ１３０）。
図５は、本発明による映像通信のための映像処理方法の第２フローチャートである。図５では、本発明の第１実施形態に対して具体的に記述する。
本実施形態を具現するためには、映像を取得して送信する第１映像通信装置及び第２映像通信装置と、映像を受信する映像受信装置が要求され、映像通信サーバーが要求されることもできる。第１映像通信装置は、カメラ
モジュールを含むＤＴＶなどのディスプレイ装置で具現され、第２映像通信装置は、映像通信機能を備えた端末機で具現されることができる。
第１映像通信装置及び第２映像通信装置は、映像受信装置との映像通信のため映像通信サーバーに接続することができる（Ｓ２１０）。接続が完了されると、映像通信のために第１映像通信装置及び第２映像通信装置は、それぞれのユーザを撮影して第１映像及び第２映像を取得する（Ｓ２２０）。
第２映像通信装置で取得した第２映像は、第１映像通信装置に転送され（Ｓ２３０）、第１映像通信装置は、第１映像と第２映像を合成して映像受信装置に送信する第３映像を生成する（Ｓ２５０）。即ち、本実施形態において、第３映像を生成する段階は、第１映像通信装置で行なわれる。
第３映像は、第１映像と第２映像に基づいて生成されることでその形態はさまざまである。例えば、ＰＩＰの形態、画面を左右または上下で分けて表示される形態等のように、画面の一領域に第１映像と第２映像が同時に表示される形態で生成されることができる。他の実施形態で、所定のイベントに従って第１映像及び第２映像が選択的に表示される形態で生成されることもできるのに、ここでイベントの例として、映像受信装置のユーザが第１映像と第２映像の中で何れか一つを表示するように所定のキーを入力する場合、映像受信装置は、このような情報を映像通信装置に直ちに送信し、映像通信装置は受信した情報に基づいてユーザによって選択された一つの映像だけを表示するように第３映像を生成することができる。
この時、第１映像通信装置と第２映像通信装置が映像通信サーバーに接続した接続ＩＤに従って、第３映像の生成可否が決定されることができる（Ｓ２４０）。例えば、第１映像通信装置と第２映像通信装置が同じＩＤまたは所定のファミリーＩＤで接続した場合、一つのグループで第３映像を生成して映像受信装置に送信することができる。
前述のように、第１映像通信装置は、ディスプレイ装置で具現されることが好ましくて、この場合、第１映像通信装置で出力される第４映像を生成し、これをディスプレイ部に表示することができる。
第３映像が生成されれば、第１映像通信装置は、生成された第３映像をエンコーディングして映像通信サーバーに送信したり（Ｓ２６０）、映像受信装置に直接に送信することもできる。映像通信サーバーが第３映像を受信する場合、受信した第３映像を映像通信サーバー内に保存することができる（Ｓ２７０）。
映像通信サーバーで映像受信装置に第３映像を送信し（Ｓ２９０）、映像受信装置が映像通信サーバーに接続中である場合（Ｓ２８０）、映像受信装置は、第３映像を受信して、デコーディング過程を経て出力され（Ｓ２９５）、映像通信サーバーに接続されない場合、第３映像が映像通信サーバーに保存されて、映像受信装置がこの後に映像通信サーバーに接続すれば保存部に保存された第３映像を受信することができる。映像通信サーバーは、各装置のＩＤに基づいて、映像及び音声データの送信可否を決めることができるので、映像受信装置のユーザは、他の映像受信装置を利用しても、同じＩＤを通じて接続する場合、保存部に保存された第３映像を確認することができる。
本発明を通じて行なわれる映像通信機能は、音声データの送信も含む。第１映像通信装置及び第２映像通信装置は、第１音声及び第２音声を取得し、第１映像通信装置は、第２音声を第２映像通信装置から取得して、第１音声または第２音声の中で何れか一つを選択的に送信することができる。この時、音声データの送信は、第３映像データと共に転送されることが好ましい。
図６は、本発明による映像通信のための映像処理方法の第３フローチャートである。図６に示すように、本発明の第２実施形態に対して具体的に記述し、前述の内容と同じ内容に対しては説明を省略する。
映像通信サーバーに第１映像通信装置及び第２映像通信装置が接続されたとき（Ｓ３１０）、第１映像通信装置及び第２映像通信装置は、それぞれのユーザを撮影して第１映像及び第２映像を取得する（Ｓ３２０）。
映像通信サーバーは、第１映像通信装置から第１映像とシンク情報を受信し、第２映像通信装置から第２映像を受信する（Ｓ３３０）。映像通信サーバーは、受信したシンク情報に基づいて第１映像と第２映像を合成して、第３映像を生成する（Ｓ３５０）。即ち、本実施形態において映像受信装置に送信する第３映像の生成は、映像通信サーバーによって行なわれる。
映像通信サーバーは、生成された第３映像を保存し（Ｓ３６０）、映像受信装置に送信し（Ｓ３８０）、受信した映像受信装置は、第３映像をデコーディングして出力する（Ｓ３９０）。
本実施形態でも音声データの送信も含み、これは前述と同じである。
詳述した本発明によれば、第３映像は、一つの映像ストリームで転送されるので、これを受信する映像受信装置は、第１映像と第２映像を合成するための別途のハードウェア/ソフトウェア的な構成がなくても受信した第３映像をデコーディングして表示できて、これは第１映像と第２映像を各々受信する方法に比べて、データ送信量の側面でも有利である。
以上、多様な実施形態を通じて本発明に対して図示し説明したが、本発明はこれに限定されず、本発明の属する技術分野の通常の知識を有する人であれば本発明の原則や精神から外れることなく本発明の一実施形態を変形し得ることを理解することができる。発明の範囲は、特許請求の範囲とその均等物によって定まれる。
１００ 映像通信装置または第１映像通信装置
１１０ 映像取得部
１２０ 通信部
１３０ 送信映像生成部
１４０ 制御部
１５０ ディスプレイ部
１６０ 出力映像生成部
１７０ 音声取得部
２００ スレーブ装置または第２映像通信装置
３００ 映像通信サーバー
３１０ 通信部
３２０ 送信映像生成部
３３０ 制御部
３４０ 保存部
４００ 映像受信装置

Claims (15)

  1. 映像受信装置と映像通信を行なう映像通信装置において、
    被写体を撮影して第１映像を取得する映像取得部と、
    連結されたスレーブ装置で撮影された第２映像を受信する通信部と、
    送信する第３映像を生成する送信映像生成部と、
    前記第１映像及び前記第２映像を合成して前記第３映像を生成するように前記送信映像生成部を制御し、前記第３映像をエンコーディングして前記通信部を通じて送信するように制御する制御部と、
    を含むことを特徴とする映像通信装置。
  2. 前記送信映像生成部は、前記第１映像及び前記第２映像が一つの画面の一領域に各々表示されるように前記第３映像を生成する、
    ことを特徴とする請求項１に記載の映像通信装置。
  3. 前記送信映像生成部は、所定のイベントに従って前記第１映像及び前記第２映像が選択的に表示されるように前記第３映像を生成する、
    ことを特徴とする請求項１に記載の映像通信装置。
  4. 映像を表示するディスプレイ部と、
    前記ディスプレイ部を通じて出力される第４映像を生成する出力映像生成部と、
    をさらに含むことを特徴とする請求項１乃至３の何れか一項に記載の映像通信装置。
  5. 前記制御部は、映像通信装置と有線/無線で通信可能な外部の装置を検出し、検出された外部の装置が映像通信機能を備えた装置である場合、前記外部の装置から前記第２映像を受信する、
    ことを特徴とする請求項１乃至４の何れか一項に記載の映像通信装置。
  6. 第１音声を取得する音声取得部をさらに含み、
    前記通信部は前記スレーブ装置から第２音声をさらに受信し、
    前記制御部はユーザの選択に従って、前記第１音声と前記第２音声の中で何れか一つを選択的に送信する、
    ことを特徴とする請求項１乃至５の何れか一項に記載の映像通信装置。
  7. 映像通信のための映像処理方法において、
    第１映像通信装置から第１映像を取得し、第２映像通信装置から第２映像を取得する段階と、
    第１映像及び第２映像を合成して前記第１映像通信装置から映像の送信が要請された映像受信装置に送信する第３映像を生成する段階と、
    前記第３映像をエンコーディングして前記映像受信装置に送信する段階と、
    を含むことを特徴とする映像処理方法。
  8. 前記第１映像通信装置で前記第２映像を受信する段階をさらに含み、
    前記第３映像を生成する段階は、前記第１映像通信装置で行なわれる、
    ことを特徴とする請求項７に記載の映像処理方法。
  9. 映像通信サーバーで前記第１映像通信装置から前記第１映像及びシンク情報を受信し、前記第２映像通信装置から前記第２映像を受信する段階をさらに含み、
    前記第３映像を生成する段階は、前記映像処理サーバーで前記シンク情報に基づいて前記第３映像を生成する、
    ことを特徴とする請求項７又は８に記載の映像処理方法。
  10. 前記第３映像を生成する段階は、
    前記第１映像及び前記第２映像が一つの画面の一領域に各々表示されるように前記第３映像を生成する、
    ことを特徴とする請求項７乃至９の何れか一項に記載の映像処理方法。
  11. 前記第３映像を生成する段階は、
    所定のイベントに従って前記第１映像及び前記第２映像が選択的に表示されるように前記第３映像を生成する、
    ことを特徴とする請求項７乃至９の何れか一項に記載の映像処理方法。
  12. 前記第１映像通信装置は映像を表示するディスプレイ部を含み、
    前記ディスプレイ部を通じて出力される第４映像を生成する段階をさらに含む、
    ことを特徴とする請求項７乃至１１の何れか一項に記載の映像処理方法。
  13. 前記第１映像通信装置から第１音声を取得し、前記第２映像通信装置から前記第２音声を取得する段階と、
    前記第１映像通信装置の選択に従って前記第１音声または前記第２音声の中で何れか一つを選択的に前記映像受信装置に送信する段階と、
    を含むことを特徴とする請求項７乃至１２の何れか一項に記載の映像処理方法。
  14. 前記第１映像通信装置及び前記第２映像通信装置の接続ＩＤに従って前記第３映像の生成可否を決める段階をさらに含む、
    ことを特徴とする請求項７乃至１３に記載の映像処理方法。
  15. 前記第３映像を映像通信サーバーに保存する段階をさらに含む、
    ことを特徴とする請求項７乃至１４の何れか一項に記載の映像処理方法。
JP2013082215A 2012-04-19 2013-04-10 映像通信装置、映像通信サーバー及び映像通信のための映像処理方法 Withdrawn JP2013225850A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0040794 2012-04-19
KR20120040794A KR20130117991A (ko) 2012-04-19 2012-04-19 영상통신장치, 영상통신서버 및 영상통신을 위한 영상처리방법

Publications (1)

Publication Number Publication Date
JP2013225850A true JP2013225850A (ja) 2013-10-31

Family

ID=47915427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013082215A Withdrawn JP2013225850A (ja) 2012-04-19 2013-04-10 映像通信装置、映像通信サーバー及び映像通信のための映像処理方法

Country Status (5)

Country Link
US (1) US20130278781A1 (ja)
EP (1) EP2653963A3 (ja)
JP (1) JP2013225850A (ja)
KR (1) KR20130117991A (ja)
CN (1) CN103379244A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014133191A1 (ja) * 2013-02-28 2014-09-04 グリー株式会社 サーバ、サーバの制御方法、およびプログラム
US20160323542A1 (en) * 2013-12-16 2016-11-03 Samsung Electronics Co., Ltd. User terminal device and method for providing interaction service therefor
KR101598921B1 (ko) * 2014-02-18 2016-03-02 홍익대학교 산학협력단 공간 축척을 초월한 영상 촬영 시스템 및 방법
CN106681674A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 一种虚拟现实显示器的显示控制方法及系统
KR20180089706A (ko) * 2017-02-01 2018-08-09 삼성전자주식회사 이미지를 촬영하고 표시하는 전자 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253308A (ja) * 1993-03-01 1994-09-09 Fujitsu Ltd 映像通信制御方式
JP4016388B2 (ja) * 2003-01-21 2007-12-05 日本電気株式会社 テレビ電話機能付き携帯電話端末
KR20050094229A (ko) * 2004-03-22 2005-09-27 엘지전자 주식회사 멀티미디어 채팅 시스템 및 그 운용방법
US9001215B2 (en) * 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
KR100686019B1 (ko) * 2005-08-26 2007-02-26 엘지전자 주식회사 이동통신단말기 및 이를 이용한 이미지 전송방법
KR20080012054A (ko) * 2006-08-02 2008-02-11 삼성전자주식회사 영상처리장치 및 정보표시방법
KR101328950B1 (ko) * 2007-04-24 2013-11-13 엘지전자 주식회사 화상 디스플레이 방법 및 이를 구현할 수 있는 화상통신용단말기
KR20110038429A (ko) * 2009-10-08 2011-04-14 삼성전자주식회사 영상 컨텐츠에 적용된 영상처리 내용에 따라 영상 촬영환경을 설정하는 촬영 제어방법 및 이를 적용한 촬영장치
US8436887B2 (en) * 2009-11-13 2013-05-07 Samsung Electronics Co., Ltd. Mobile terminal, display apparatus and control method thereof
CN101841662A (zh) * 2010-04-16 2010-09-22 华为终端有限公司 移动终端获得相框合成图像的方法及移动终端
US20110276898A1 (en) * 2010-05-04 2011-11-10 Qwest Communications International Inc. Integrated Messaging Interface
US20130162842A1 (en) * 2011-12-21 2013-06-27 Adam Anthony Greyson Image capture

Also Published As

Publication number Publication date
CN103379244A (zh) 2013-10-30
EP2653963A2 (en) 2013-10-23
US20130278781A1 (en) 2013-10-24
KR20130117991A (ko) 2013-10-29
EP2653963A3 (en) 2015-04-08

Similar Documents

Publication Publication Date Title
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
CN108900859B (zh) 直播方法及系统
JP6805861B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP6186090B2 (ja) 接続方法、装置、プログラム及び記録媒体
US20170311004A1 (en) Video processing method and device
WO2013132828A1 (ja) 通信システムおよび中継装置
KR20080080591A (ko) 무선 스테레오 비디오 스트리밍을 위한 방법 및 장치
JP2018110354A (ja) 通信端末、画像通信システム、通信方法、及びプログラム
TW201244472A (en) Image overlay in a mobile device
US10205776B2 (en) Method and device for wireless connection
JP2013110738A (ja) 画像通信装置および撮像装置
JP2013197838A (ja) 遠隔会議システム及び遠隔会議端末
CN109413453B (zh) 视频播放方法、装置、终端及存储介质
JP2013225850A (ja) 映像通信装置、映像通信サーバー及び映像通信のための映像処理方法
CN107147927B (zh) 基于直播连麦的直播方法及装置
CN110996117B (zh) 视频转码方法、装置、电子设备和存储介质
JP2017501598A (ja) ストリーム・メディア・データをブロードキャストする方法および装置
JP2013192029A (ja) 撮影機能を有する携帯端末およびそれを用いる画像取得システム
CN112153404B (zh) 码率调整方法、检测方法、装置、设备及存储介质
KR101341862B1 (ko) 플로우 모션 영상 촬영 방법 및 시스템
US20140139661A1 (en) Method and apparatus for acquiring and transmitting dynamic videos
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
JP2006217439A (ja) 通信端末装置
KR101630018B1 (ko) 촬영 단말기 및 그 제어방법, 촬영 단말기와 통신하는 그룹 영상 관리 시스템 및 그 제어방법과 이를 위한 기록 매체
JP2017184162A (ja) 映像表示システム及び映像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160411

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20161116