JP2010109654A - Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis - Google Patents

Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis Download PDF

Info

Publication number
JP2010109654A
JP2010109654A JP2008279204A JP2008279204A JP2010109654A JP 2010109654 A JP2010109654 A JP 2010109654A JP 2008279204 A JP2008279204 A JP 2008279204A JP 2008279204 A JP2008279204 A JP 2008279204A JP 2010109654 A JP2010109654 A JP 2010109654A
Authority
JP
Japan
Prior art keywords
terminal
signal
user terminal
user
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008279204A
Other languages
Japanese (ja)
Inventor
Yuan Yuan Lin
淵源 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VIBO TELECOM Inc
Original Assignee
VIBO TELECOM Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VIBO TELECOM Inc filed Critical VIBO TELECOM Inc
Priority to JP2008279204A priority Critical patent/JP2010109654A/en
Publication of JP2010109654A publication Critical patent/JP2010109654A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable simultaneous connection between AV terminals and a plurality of user terminals. <P>SOLUTION: The method of providing audio and/or video (AV) signal on the remotely-controlled real-time basis includes a step of displaying an AV terminal list recording a plurality of AV terminals (131, 132, 141, 151 and 152) and requesting selection of an AV terminal from the AV terminal list to user terminals (111, 112, 113, 121 and 122), a step of determining whether connection to the selected AV terminal has been established, a step of establishing, when it is determined that connection is not yet established, connection with the selected AV terminal and transferring AV signal of the selected AV terminal to the user terminal, and a step of generating a copy of the AV signal of the selected AV terminal and transferring the copied AV signal to the user terminal when it is determined that connection is established. Moreover, a communication frame work for executing the method is also disclosed. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、遠隔リアルタイムにオーディオおよび/またはビデオ信号を提供する方法と、その方法を用いて遠隔リアルタイムにオーディオおよび/またはビデオ信号を提供する通信フレームワークに関する。   The present invention relates to a method for providing audio and / or video signals in remote real time and a communication framework for providing audio and / or video signals in remote real time using the method.

遠隔リアルタイムにオーディオおよび/またはビデオ(AV)信号を提供する従来の通信フレームワークは、複数のユーザー端末と1つのAV端末を含む。ユーザー端末、例えばパケットまたは第三世代(3G)に対応するユーザー端末の各々は、アクセス、すなわち、例えばインターネットまたは3G電気通信網等のネットワークを介して、例えばIPカメラまたは3G対応カメラのようなAV端末との接続を確立し、AV信号を受信する動作が可能である。   A conventional communication framework that provides audio and / or video (AV) signals in remote real-time includes multiple user terminals and one AV terminal. Each user terminal, eg a user terminal corresponding to a packet or a third generation (3G), is accessed via a network such as eg the Internet or a 3G telecommunications network, eg an AV such as an IP camera or a 3G compatible camera. An operation for establishing a connection with a terminal and receiving an AV signal is possible.

上述した従来の通信フレームワークは、単にユーザー端末とAV端末との間で1対1の接続のみを許容するものであるという欠点がある。このように、従来の通信フレームワークは、一度にユーザー端末のうちの1台しかAV端末にアクセスすることができない。   The conventional communication framework described above has a drawback that it only allows a one-to-one connection between a user terminal and an AV terminal. Thus, the conventional communication framework can access only one of the user terminals at a time to the AV terminal.

それ故に、本発明の目的は、多数のユーザー端末が同時にAV端末にアクセスすることを許容する、遠隔リアルタイムにオーディオおよび/またはビデオ(AV)信号を提供する通信フレームワーク、方法およびシステムを提供することである。   Therefore, it is an object of the present invention to provide a communication framework, method and system for providing audio and / or video (AV) signals in remote real time that allows multiple user terminals to access AV terminals simultaneously. That is.

本発明の一態様によれば、遠隔リアルタイムにオーディオおよび/またはビデオ(AV)信号を提供する方法は、以下のステップを備える。
(A)ユーザー端末からログイン要求が受信されたとき、周囲環境のAV信号を提供する複数のAV端末を記録するAV端末リストを表示し、AV端末リストのAV端末のうちの1台を選択することをユーザー端末に要求するステップ
(B)選択されたAV端末について接続が確立されているかどうかを判定するステップ
(C)選択されたAV端末について接続が確立されていないと判定された場合に、選択されたAV端末との接続を確立し、選択されたAV端末のAV信号を受信し、AV信号をユーザー端末に転送するステップ
(D)選択されたAV端末について接続が確立されていると判定された場合は、選択されたAV端末のAV信号の複製を生成し、複製のAV信号をユーザー端末に転送するステップ
According to one aspect of the invention, a method for providing audio and / or video (AV) signals in remote real time comprises the following steps.
(A) When a login request is received from a user terminal, an AV terminal list that records a plurality of AV terminals that provide an ambient environment AV signal is displayed, and one of the AV terminals in the AV terminal list is selected. (B) determining whether or not a connection is established for the selected AV terminal (C) if it is determined that a connection is not established for the selected AV terminal, A step of establishing a connection with the selected AV terminal, receiving an AV signal of the selected AV terminal and transferring the AV signal to the user terminal (D) determining that a connection has been established for the selected AV terminal If so, generating a copy of the AV signal of the selected AV terminal and transferring the duplicate AV signal to the user terminal

本発明の別の態様によれば、通信フレームワークは、複数のAV端末、AVプラットフォームおよびユーザー端末を備える。各AV端末は信号を生成する。AVプラットフォームは、電気通信網を介してAV端末に接続され、AV端末のうちの少なくとも一部を記録するAV端末リストを提供する。ユーザー端末は、電気通信網を介してAVプラットフォームに接続され、AV端末リストを受信し、前記AV端末リストのなかの選択された1つのAV端末を含むAV端末選択信号を生成し、AV端末選択信号をAVプラットフォームに送信するための動作が可能である。選択されたAV端末によって生成された信号は、AV端末選択信号に基づいて、AVプラットフォームを介してユーザー端末に転送される。   According to another aspect of the present invention, the communication framework includes a plurality of AV terminals, an AV platform, and a user terminal. Each AV terminal generates a signal. The AV platform is connected to an AV terminal via a telecommunications network and provides an AV terminal list that records at least a part of the AV terminals. The user terminal is connected to the AV platform via the telecommunication network, receives the AV terminal list, generates an AV terminal selection signal including one AV terminal selected in the AV terminal list, and selects the AV terminal. An operation for transmitting the signal to the AV platform is possible. The signal generated by the selected AV terminal is transferred to the user terminal via the AV platform based on the AV terminal selection signal.

本発明の更に別の態様によれば、少なくとも1つのユーザー端末に対して遠隔リアルタイムにAV信号を提供するシステムは、複数のAV端末と1つのAVプラットフォームを備える。AV端末の各々は、周囲環境のAV信号を提供する。AVプラットフォームは、AV端末に結合され、ユーザー端末に結合するのに適し、AV端末およびユーザー端末に関連する情報を格納する。AVプラットフォームがユーザー端末からログイン要求を受信するとき、AVプラットフォームは、ユーザー端末に対応するAV端末を記録するAV端末リストをユーザー端末に提示し、AV端末リストのなかのAV端末のうちの1つを選択することをユーザー端末に要求し、選択されたAV端末との接続が確立されているかどうかを判定する。選択されたAV端末との接続が確立されていないと判定された場合に、AVプラットフォームは、選択されたAV端末との接続を確立し、選択されたAV端末のAV信号を受信し、選択されたAV端末のAV信号をユーザー端末に転送する。選択されたAV端末との接続が確立されていると判定された場合に、AVプラットフォームは、選択されたAV端末のAV信号の複製を作成し、複製のAV信号をユーザー端末に転送する。   According to still another aspect of the present invention, a system for providing an AV signal in remote real time to at least one user terminal includes a plurality of AV terminals and one AV platform. Each AV terminal provides an ambient environment AV signal. The AV platform is coupled to the AV terminal, suitable for coupling to the user terminal, and stores information related to the AV terminal and the user terminal. When the AV platform receives a login request from the user terminal, the AV platform presents an AV terminal list that records the AV terminal corresponding to the user terminal to the user terminal, and one of the AV terminals in the AV terminal list. Is selected from the user terminal, and it is determined whether or not the connection with the selected AV terminal is established. When it is determined that the connection with the selected AV terminal is not established, the AV platform establishes a connection with the selected AV terminal, receives the AV signal of the selected AV terminal, and is selected. The AV signal of the received AV terminal is transferred to the user terminal. When it is determined that the connection with the selected AV terminal has been established, the AV platform creates a duplicate of the AV signal of the selected AV terminal and transfers the duplicated AV signal to the user terminal.

本発明のその他の特徴および利点は、添付の図面を参照して行う以下の好ましい実施形態の詳細な説明において明らかになる。   Other features and advantages of the present invention will become apparent in the following detailed description of the preferred embodiments with reference to the accompanying drawings.

図1を参照すると、本発明によるオーディオおよび/またはビデオ(AV)信号を提供する通信フレームワークの好ましい実施形態は、システムおよび複数のユーザー端末111、112、113、121、122を含むことが示されている。   Referring to FIG. 1, a preferred embodiment of a communication framework for providing audio and / or video (AV) signals according to the present invention includes a system and a plurality of user terminals 111, 112, 113, 121, 122. Has been.

このシステムは、以下に記述する方法によって、電気通信網またはインターネットを介して、ユーザー端末111、112、113、121、122に対してリアルタイムにAV信号を提供する。   This system provides AV signals in real time to user terminals 111, 112, 113, 121, and 122 via a telecommunication network or the Internet by the method described below.

本実施形態において、電気通信網は、第三世代(3G)電気通信網である。   In this embodiment, the telecommunications network is a third generation (3G) telecommunications network.

このシステムは、複数のAV端末131、132、141、151、152およびAVプラットフォーム3を含む。   This system includes a plurality of AV terminals 131, 132, 141, 151, 152 and an AV platform 3.

各AV端末131、132は、3G対応カメラであり、識別コード、すなわち電話番号を有し、電気通信網に接続される。   Each AV terminal 131, 132 is a 3G-compatible camera, has an identification code, that is, a telephone number, and is connected to a telecommunication network.

AV端末141は、3G対応携帯電話であり、識別コード、すなわち電話番号を有し、電気通信網に接続される。   The AV terminal 141 is a 3G-compatible mobile phone, has an identification code, that is, a telephone number, and is connected to a telecommunication network.

更に図2を参照すると、AV端末131は、コントローラ133、画像キャプチャーユニット134、音声キャプチャーユニット135、電気通信網伝送インターフェイス136および音声ブロードキャストユニット137を含む。   Still referring to FIG. 2, the AV terminal 131 includes a controller 133, an image capture unit 134, an audio capture unit 135, a telecommunication network transmission interface 136, and an audio broadcast unit 137.

画像キャプチャーユニット134は、コントローラ133に接続され、周囲環境の画像をキャプチャーするための動作が可能である。音声キャプチャーユニット135は、コントローラ133に接続され、周囲環境の音声を取得するための動作が可能である。コントローラ133は、画像キャプチャーユニット134によってキャプチャーされた画像、すなわちビデオ信号と、音声キャプチャーユニット135により取得された音声、すなわちオーディオ信号と、および/または制御信号とを1つのAV信号に合成する。電気通信網伝送インターフェイス136は、電気通信網とコントローラ133に接続され、電気通信網を介してAV信号を伝送するための動作が可能である。   The image capture unit 134 is connected to the controller 133 and can perform an operation for capturing an image of the surrounding environment. The audio capture unit 135 is connected to the controller 133 and can operate to acquire audio of the surrounding environment. The controller 133 combines the image captured by the image capture unit 134, that is, the video signal, the audio acquired by the audio capture unit 135, that is, the audio signal, and / or the control signal into one AV signal. The telecommunications network transmission interface 136 is connected to the telecommunications network and the controller 133, and can operate to transmit AV signals via the telecommunications network.

AV端末131は、電気通信網を介してAVプラットフォーム3に異常フィードバック報告要求を発行するための動作が可能である。特に、AV端末131は、更に、検出ユニット17、信号変換ユニット16および通信ポート138を含む。検出ユニット17は、公知技術の方法で、アクティベートされたときに作動信号を生成するための動作が可能である。本実施形態において、検出ユニット17は、対盗難検出器、煙感知器または動き検出器を含む。信号変換ユニット16は、検出ユニット17と接続され、作動信号をアナログ信号からデジタル信号に変換するための動作が可能である。例えば汎用シリアルバス(USB)ポートのような通信ポート138は、コントローラ133と信号変換ユニット16に接続され、作動信号を受信するための動作が可能である。コントローラ133は、更に、そこにインストールされる異常フィードバック報告プログラム139により、通信ポート138からの作動信号に応答して異常フィードバック報告要求を生成するための動作が可能である。電気通信網伝送インターフェイス136は、更に、電気通信網を介して異常フィードバック報告要求を伝送するための動作が可能である。   The AV terminal 131 can perform an operation for issuing an abnormality feedback report request to the AV platform 3 via the telecommunication network. In particular, the AV terminal 131 further includes a detection unit 17, a signal conversion unit 16, and a communication port 138. The detection unit 17 is operable in a known manner to generate an activation signal when activated. In the present embodiment, the detection unit 17 includes an anti-theft detector, a smoke detector or a motion detector. The signal conversion unit 16 is connected to the detection unit 17 and can operate to convert the operation signal from an analog signal to a digital signal. For example, a communication port 138 such as a universal serial bus (USB) port is connected to the controller 133 and the signal conversion unit 16 and is capable of receiving an operation signal. The controller 133 is further operable to generate an abnormal feedback report request in response to an operation signal from the communication port 138 by the abnormal feedback report program 139 installed therein. The telecommunications network transmission interface 136 is further operable to transmit an abnormal feedback report request over the telecommunications network.

なお、AV端末131は、AV電話呼出またはショートメッセージによって、電気通信網を介してAVプラットフォーム3に異常フィードバック報告要求を発行できることに注意されたい。   It should be noted that the AV terminal 131 can issue an abnormal feedback report request to the AV platform 3 via the telecommunication network by an AV telephone call or a short message.

代替の実施形態では、AV端末141は、プリセットされたファンクションキーまたはそのキーの組み合わせが押されたときに、異常フィードバック報告要求を生成する。   In an alternative embodiment, AV terminal 141 generates an anomaly feedback report request when a preset function key or key combination is pressed.

各AV端末151、152は、IPカメラであり、例えばインターネットプロトコル(IP)アドレスのような識別コードを有し、インターネットに接続される。   Each AV terminal 151, 152 is an IP camera, has an identification code such as an Internet protocol (IP) address, and is connected to the Internet.

AV端末151、152は、AV端末131、132、141のように、コントローラ133、画像キャプチャーユニット134、音声キャプチャーユニット135、電気通信網伝送インターフェイス136、音声ブロードキャストユニット137、検出ユニット17、信号変換ユニット16および通信ポート138を含む。しかしながら、AV端末151、152の電気通信網伝送インターフェイス136は、電気通信網の代りにインターネットに接続され、インターネットを介してAV信号および異常フィードバック報告要求を伝送するための動作が可能である。   AV terminals 151 and 152, like AV terminals 131, 132, and 141, are a controller 133, an image capture unit 134, an audio capture unit 135, a telecommunications network transmission interface 136, an audio broadcast unit 137, a detection unit 17, and a signal conversion unit. 16 and a communication port 138. However, the telecommunications network transmission interface 136 of the AV terminals 151 and 152 is connected to the Internet instead of the telecommunications network, and can operate to transmit AV signals and abnormality feedback report requests via the Internet.

代替の実施形態では、AV端末131、132、141、151、152は、画像キャプチャーユニット134および音声キャプチャーユニット135のいずれかをなしで済ませることができる。   In an alternative embodiment, AV terminals 131, 132, 141, 151, 152 can dispense with either image capture unit 134 or audio capture unit 135.

もう一度図1を参照すると、AVプラットフォーム3は、コンピュータサーバとして実装され、コントロールユニット31、電気通信網AV処理モジュール32、インターネットAV処理モジュール35、インターネットユーザーインターフェイス処理モジュール36、ユーザーデータベース33およびAVデータベース34を含む。   Referring once again to FIG. 1, the AV platform 3 is implemented as a computer server, and includes a control unit 31, a telecommunication network AV processing module 32, an Internet AV processing module 35, an Internet user interface processing module 36, a user database 33 and an AV database 34. including.

コントロールユニット31は、AVプラットフォーム3の動作を制御し、電気通信網AV処理モジュール32によって、電気通信網を介したユーザー端末111、112、113およびAV端末131、132、141との接続を確立するための動作が可能である。   The control unit 31 controls the operation of the AV platform 3, and establishes connection with the user terminals 111, 112, 113 and AV terminals 131, 132, 141 via the telecommunications network by the telecommunications network AV processing module 32. Operation is possible.

コントロールユニット31は、更に、インターネットAV処理モジュール35によって、インターネットを介したAV端末151、152との接続を確立するための動作が可能である。   Further, the control unit 31 can be operated by the Internet AV processing module 35 to establish a connection with the AV terminals 151 and 152 via the Internet.

コントロールユニット31は、更に、インターネットユーザーインターフェイス処理モジュール36によって、インターネットを介したユーザー端末121、122との接続を確立するための動作が可能である。   Further, the control unit 31 can be operated by the Internet user interface processing module 36 to establish a connection with the user terminals 121 and 122 via the Internet.

電気通信網AV処理モジュール32は、電気通信網およびコントロールユニット31に接続され、電気通信網を介してAV端末131、132、141のAV信号および異常フィードバック報告要求を受信し、AV端末131、132、141のAV信号および異常フィードバック報告要求を、電気通信網を介してユーザー端末111、112、113に転送するための動作が可能である。インターネットユーザーインターフェイス処理モジュール36は、インターネットおよびコントロールユニット31に接続され、電気通信網AV処理モジュール32からのAV信号および異常フィードバック報告要求を、インターネットを介してユーザー端末121、122に転送するための動作が可能である。本実施形態において、最初にAV信号は、電気通信網AV処理モジュール32によってオーディオおよびビデオおよび/または制御信号に分離され、次にオーディオおよびビデオおよび/または制御信号は、適宜処理され、AV信号をユーザー端末111、112、113、121、122に転送する前に、コントロールユニット31によってAV信号に再び合成される。   The telecommunications network AV processing module 32 is connected to the telecommunications network and the control unit 31, receives AV signals of the AV terminals 131, 132, and 141 and the abnormal feedback report request via the telecommunications network, and receives the AV terminals 131, 132. , 141 can be operated to transfer the AV signal and the abnormal feedback report request to the user terminals 111, 112, 113 via the telecommunication network. The Internet user interface processing module 36 is connected to the Internet and the control unit 31 and operates to transfer the AV signal and the abnormality feedback report request from the telecommunications network AV processing module 32 to the user terminals 121 and 122 via the Internet. Is possible. In this embodiment, the AV signal is first separated into audio and video and / or control signals by the telecommunications network AV processing module 32, and then the audio and video and / or control signals are processed as appropriate to convert the AV signal. Before being transferred to the user terminals 111, 112, 113, 121, 122, it is again synthesized with the AV signal by the control unit 31.

インターネットAV処理モジュール35は、インターネットおよびコントロールユニット31に接続され、インターネットを介してAV端末151、152のAV信号および異常フィードバック報告要求を受信するための動作が可能である。インターネットユーザーインターフェイス処理モジュール36は、更に、インターネットAV処理モジュール35からのAV信号および異常フィードバック報告要求を、インターネットを介してユーザー端末121、122に伝送するための動作が可能である。電気通信網AV処理モジュール32は、更に、インターネットAV処理モジュール35からのAV信号を、電気通信網を介してユーザー端末111、112、113に伝送するための動作が可能である。本実施形態において、最初にAV信号は、インターネットAV処理モジュール35によってオーディオおよびビデオおよび/または制御信号に分離され、次にオーディオおよびビデオおよび/または制御信号は、適宜処理され、AV信号をユーザー端末111、112、113、121、122に転送する前に、コントロールユニット31によってAV信号に再び合成される。   The Internet AV processing module 35 is connected to the Internet and the control unit 31, and is capable of receiving an AV signal and an abnormal feedback report request from the AV terminals 151 and 152 via the Internet. The Internet user interface processing module 36 is further operable to transmit the AV signal and the abnormality feedback report request from the Internet AV processing module 35 to the user terminals 121 and 122 via the Internet. The telecommunications network AV processing module 32 is further operable to transmit the AV signal from the Internet AV processing module 35 to the user terminals 111, 112, 113 via the telecommunications network. In this embodiment, the AV signal is first separated into audio and video and / or control signals by the Internet AV processing module 35, and then the audio and video and / or control signals are processed as appropriate, and the AV signal is processed into the user terminal. Before being transferred to 111, 112, 113, 121, 122, it is again synthesized with the AV signal by the control unit 31.

本実施形態において、コントロールユニット31は、更に、ユーザー端末111、112、113、121、122に転送されているAV端末131、132、141、151、152のAV信号の複製を作成するための動作が可能である。   In the present embodiment, the control unit 31 further operates to create a duplicate of the AV signal of the AV terminals 131, 132, 141, 151, 152 transferred to the user terminals 111, 112, 113, 121, 122. Is possible.

ユーザーデータベース33は、コントロールユニット31に接続され、AV端末131、132、141の識別コード、すなわち電話番号と、AV端末151、152の識別コード、すなわちインターネットプロトコル(IP)アドレスを格納する。   The user database 33 is connected to the control unit 31 and stores the identification codes of the AV terminals 131, 132, 141, that is, telephone numbers, and the identification codes of the AV terminals 151, 152, that is, Internet protocol (IP) addresses.

本実施形態において、ユーザーデータベース33は、更に、AV端末131、132、141、151、152のうちの少なくとも1つを含む第1のリストと、AV端末131、132、141、151、152のうちの少なくとも1つを含む第2のリストと、ユーザー端末111、112、113、121、122のうちの少なくとも1つを含む第3のリストとを格納する。   In the present embodiment, the user database 33 further includes a first list including at least one of the AV terminals 131, 132, 141, 151, 152, and the AV terminal 131, 132, 141, 151, 152. And a third list including at least one of the user terminals 111, 112, 113, 121, and 122.

本実施形態において、第1のリストは、AV端末131を含み、ユーザー端末111に固有である。すなわち、第1のリストのAV端末131は、ユーザー端末111によってアクセス可能であり、例えばユーザー端末111によるAV端末131のAV信号のダウンロードが許容されている。また、第2のリストは、AV端末132を含み、ユーザー端末112に固有である。すなわち、第2のリストのAV端末132は、ユーザー端末112によってアクセス可能である。更に、第3のリストは、ユーザー端末111、112を含み、AV端末131に固有である。すなわち、第3のリストのユーザー端末111、112だけは、AV端末131が異常フィードバック報告要求を発行したときに、AV端末131にアクセスすることが可能である。   In the present embodiment, the first list includes the AV terminal 131 and is unique to the user terminal 111. That is, the AV terminal 131 in the first list can be accessed by the user terminal 111, and for example, the user terminal 111 is allowed to download the AV signal of the AV terminal 131. The second list includes the AV terminal 132 and is specific to the user terminal 112. In other words, the AV terminal 132 in the second list can be accessed by the user terminal 112. Further, the third list includes user terminals 111 and 112 and is specific to the AV terminal 131. That is, only the user terminals 111 and 112 in the third list can access the AV terminal 131 when the AV terminal 131 issues an abnormal feedback report request.

加えて、ユーザーデータベース33は、更に、ユーザー端末111、112、113、121、122によってアクセス可能であるAV端末151を含む第4のリストを格納する。   In addition, the user database 33 further stores a fourth list including AV terminals 151 accessible by the user terminals 111, 112, 113, 121, 122.

AVデータベース34は、コントロールユニット31に接続され、AV端末131、132、141、151、152に固有であって、ユーザー端末111、112、113、121、122に転送されているAV端末131、132、141、151、152のAV信号に付加される、プリセットされたボイスオーバー、例えばナレーションを格納する。本実施形態において、AVデータベース34は、ユーザー端末111、112、113、121、122に転送されているAV端末131、132、141、151、152のAV信号のバックアップを格納するための動作が可能である。   The AV database 34 is connected to the control unit 31, is specific to the AV terminals 131, 132, 141, 151, 152, and is transferred to the user terminals 111, 112, 113, 121, 122. , 141, 151, 152 are stored as preset voice-overs, for example, narration, to be added to the AV signals. In the present embodiment, the AV database 34 is capable of storing an AV signal backup of the AV terminals 131, 132, 141, 151, 152 transferred to the user terminals 111, 112, 113, 121, 122. It is.

ユーザー端末111、112、113は、3G携帯電話であり、識別コード、すなわち電話番号を有し、電気通信網に接続され、AV端末131、132、141、151、152の識別コードを格納し、電気通信網を介してAVプラットフォーム3の電気通信網AV処理モジュール32からのAV信号を受信し、電気通信網を介してオーディオおよびビデオおよび/または制御信号を含むAV信号を伝送するための動作が可能である。   The user terminals 111, 112, and 113 are 3G mobile phones, have identification codes, that is, telephone numbers, are connected to a telecommunication network, and store identification codes of AV terminals 131, 132, 141, 151, and 152. An operation for receiving an AV signal from the telecommunications network AV processing module 32 of the AV platform 3 via the telecommunications network and transmitting an AV signal including audio and video and / or control signals via the telecommunications network. Is possible.

ユーザー端末121、122は、例えばパーソナルコンピュータのようなパケット電子デバイスであり、識別コード、すなわちIPアドレスを有し、インターネットに接続され、AV端末131、132、141、151、152の識別コードを格納し、インターネットを介してAVプラットフォーム3のインターネットユーザーインターフェイス処理モジュール36からAV信号を受信し、インターネットを介してオーディオおよびビデオおよび/または制御信号を含むAV信号を伝送するための動作が可能である。   The user terminals 121 and 122 are packet electronic devices such as personal computers, have identification codes, that is, IP addresses, are connected to the Internet, and store the identification codes of the AV terminals 131, 132, 141, 151, and 152. Then, an operation for receiving an AV signal from the Internet user interface processing module 36 of the AV platform 3 via the Internet and transmitting an AV signal including audio and video and / or control signals via the Internet is possible.

AVプラットフォーム3の電気通信網AV処理モジュール32は、更に、電気通信網を介してユーザー端末111、112、113のAV信号を受信し、それによって受信されたAV信号を、電気通信網を介してAV端末131、132、141のうちの選択された1つに転送するための動作が可能である。本実施形態において、最初にAV信号は、電気通信網AV処理モジュール32によってオーディオおよびビデオおよび/または制御信号に分離され、次にオーディオおよびビデオおよび/または制御信号は、ユーザー端末111、112、113の識別コードとAV信号の制御信号に基づいて処理され、AV信号をAV端末131、132、141のうちの選択された1つに転送する前に、コントロールユニット31によってAV信号に再び合成される。   The telecommunications network AV processing module 32 of the AV platform 3 further receives the AV signals of the user terminals 111, 112 and 113 via the telecommunications network, and receives the received AV signals via the telecommunications network. An operation for transferring to a selected one of the AV terminals 131, 132, 141 is possible. In this embodiment, the AV signal is first separated into audio and video and / or control signals by the telecommunications network AV processing module 32, and then the audio and video and / or control signals are transmitted to the user terminals 111, 112, 113. And the AV signal is synthesized again by the control unit 31 before transferring it to a selected one of the AV terminals 131, 132, 141. .

インターネットユーザーインターフェイス処理モジュール36は、更に、インターネットを介してユーザー端末121、122のAV信号を受信するための動作が可能である。インターネットAV処理モジュール35は、更に、インターネットユーザーインターフェイス処理モジュール36からのAV信号を、インターネットを介してAV端末151、152のうちの選択された1つに転送するための動作が可能である。本実施形態において、最初にAV信号は、インターネットユーザーインターフェイス処理モジュール36によってオーディオおよびビデオおよび/または制御信号に分離され、次にオーディオおよびビデオおよび/または制御信号は、ユーザー端末121、122の識別コードおよびAV信号の制御信号に基づいて処理され、AV信号をAV端末151、152のうちの選択された1つに転送する前に、コントロールユニット31によってAV信号に再び合成ざれる。   The Internet user interface processing module 36 is further operable to receive AV signals from the user terminals 121 and 122 via the Internet. The Internet AV processing module 35 is further operable to transfer the AV signal from the Internet user interface processing module 36 to a selected one of the AV terminals 151 and 152 via the Internet. In this embodiment, the AV signal is first separated into audio and video and / or control signals by the Internet user interface processing module 36, and then the audio and video and / or control signals are identified by the identification codes of the user terminals 121, 122. And is processed again based on the control signal of the AV signal and is again synthesized with the AV signal by the control unit 31 before transferring the AV signal to a selected one of the AV terminals 151, 152.

AV端末131、132、141の電気通信網伝送インターフェイス136(図2を参照)は、更に、電気通信網を介して電気通信網AV処理モジュール32からのAV信号を受信するための動作が可能である。AV端末131、132、141の音声ブロードキャストユニット137は、電気通信網伝送インターフェイス136からのAV信号のオーディオ信号に対応する音声を生成するための動作が可能である。   The telecommunications network transmission interface 136 (see FIG. 2) of the AV terminals 131, 132, and 141 is further operable to receive an AV signal from the telecommunications network AV processing module 32 via the telecommunications network. is there. The audio broadcast unit 137 of the AV terminals 131, 132, and 141 can perform an operation for generating audio corresponding to the audio signal of the AV signal from the telecommunication network transmission interface 136.

AV端末151、152の電気通信網伝送インターフェイス136(図2を参照)は、更に、インターネットを介してインターネットAV処理モジュール35からのAV信号を受信するための動作が可能である。AV端末151、152の音声ブロードキャストユニット137は、電気通信網伝送インターフェイス136からのAV信号のオーディオ信号に対応する音声を生成するための動作が可能である。   The telecommunications network transmission interface 136 (see FIG. 2) of the AV terminals 151 and 152 is further capable of receiving an AV signal from the Internet AV processing module 35 via the Internet. The audio broadcast unit 137 of the AV terminals 151 and 152 can perform an operation for generating audio corresponding to the audio signal of the AV signal from the telecommunication network transmission interface 136.

なお、ユーザー端末111、112、113、121、122の識別コードは、アカウント名およびパスワードを更に含めることができることに注意されたい。   Note that the identification codes of the user terminals 111, 112, 113, 121, and 122 can further include an account name and a password.

ユーザーデータベース33は、更に、ユーザー端末111、112、113、121、122の識別コードを格納する。   The user database 33 further stores identification codes of the user terminals 111, 112, 113, 121, and 122.

AVプラットフォーム3は、複数の識別コード、すなわち電話番号およびIPアドレス)を有する。   The AV platform 3 has a plurality of identification codes, that is, a telephone number and an IP address.

ユーザー端末111、112、113およびAV端末131、132、141は、更に、AVプラットフォーム3の電話番号のうちの1つを格納する。   The user terminals 111, 112, 113 and AV terminals 131, 132, 141 further store one of the telephone numbers of the AV platform 3.

ユーザー端末121、122およびAV端末151、152は、更に、AVプラットフォーム3のIPアドレスのうちの1つを格納する。   The user terminals 121 and 122 and the AV terminals 151 and 152 further store one of the IP addresses of the AV platform 3.

本実施形態において、AV端末131、132、141およびユーザー端末111、112、113の各々は、電気通信網上で、3G.324Mプロトコルまたはワイヤレス・アプリケーション・プロトコル/リアルタイム・ストリーミング・プロトコル(WAP/RTSP)を介して、AVプラットフォーム3の電気通信網AV処理モジュール32と通信する。また、AV端末151、152およびユーザー端末121、122の各々は、インターネット上で、セッション・イニシエーション・プロトコル/リアルタイム・トランスポート・プロトコル(SIP/RTP)またはRTSPを介して、AVプラットフォーム3のインターネットAV処理モジュール35と通信する。更に、電気通信網AV処理モジュール32、インターネットAV処理モジュール35およびインターネットユーザーインターフェイス処理モジュール36の各々は、セッション・イニシエーション・プロトコル/インターネット・プロトコル(SIP/IP)を介して、コントロールユニット31と通信する。   In the present embodiment, each of the AV terminals 131, 132, 141 and the user terminals 111, 112, 113 is 3G. It communicates with the telecommunications network AV processing module 32 of the AV platform 3 via the 324M protocol or wireless application protocol / real-time streaming protocol (WAP / RTSP). Further, each of the AV terminals 151 and 152 and the user terminals 121 and 122 is connected to the Internet AV of the AV platform 3 via the session initiation protocol / real-time transport protocol (SIP / RTP) or RTSP on the Internet. Communicate with the processing module 35. Further, each of the telecommunications network AV processing module 32, the Internet AV processing module 35, and the Internet user interface processing module 36 communicates with the control unit 31 via a session initiation protocol / Internet protocol (SIP / IP). .

本実施形態において、ユーザーデータベース33は、更に、複数の電話番号を格納し、AV端末151、152の各々のIPアドレスを、電話番号のそれぞれの1つにマップする。このように、ユーザー端末111、112、113、121、122は、IPアドレスの代りに、単純にAV端末151、152の電話番号を格納することができる。   In the present embodiment, the user database 33 further stores a plurality of telephone numbers, and maps the IP addresses of the AV terminals 151 and 152 to respective ones of the telephone numbers. Thus, the user terminals 111, 112, 113, 121, and 122 can simply store the telephone numbers of the AV terminals 151 and 152 instead of the IP address.

本発明による上述した通信フレームワークを使用して実現される、遠隔リアルタイムにAV信号を提供する方法の好ましい実施形態は、更に図3−6を参照して記載される。   A preferred embodiment of a method for providing an AV signal in remote real time, implemented using the communication framework described above according to the present invention, will be further described with reference to FIGS. 3-6.

AV端末131が作動信号を受信するとき、ステップ181において、プリセットされた異常フィードバック報告モード、すなわちAV電話モードまたはショートメッセージモードが判定される。   When the AV terminal 131 receives the activation signal, in step 181, the preset abnormal feedback report mode, that is, the AV telephone mode or the short message mode is determined.

ステップ182において、異常フィードバック報告モードがAV電話モードであると判定された場合に、フローはステップ183に進む。さもなければ、フローはステップ184に進む。   If it is determined in step 182 that the abnormal feedback report mode is the AV telephone mode, the flow proceeds to step 183. Otherwise, flow proceeds to step 184.

ステップ183において、コントローラ133は、AV端末131を介してAVプラットフォーム3にAV電話呼出を行い、画像キャプチャーユニット134によってキャプチャーされたビデオ信号および音声キャプチャーユニット135によってキャプチャーされたオーディオ信号をAV信号に処理し、電気通信網を介してAV信号をAVプラットフォーム3に転送し、それによりAVプラットフォーム3がAV信号をプリセットされたユーザー端末に(以下に記載する方法で)転送することを許容する。   In step 183, the controller 133 makes an AV telephone call to the AV platform 3 via the AV terminal 131, and processes the video signal captured by the image capture unit 134 and the audio signal captured by the audio capture unit 135 into an AV signal. Then, the AV signal is transferred to the AV platform 3 via the telecommunication network, thereby allowing the AV platform 3 to transfer the AV signal to the preset user terminal (in the manner described below).

ステップ184において、コントローラ133は、ショートメッセージを生成し、AVプラットフォーム3に送信し、それによりAVプラットフォーム3がその後の処理を(以下に記載する方法で)実行することを許容する。それ故、AV端末131は、異常状態が発生した場合に、その後の処理を実行するために、AV電話呼出またはショートメッセージを介してAVプラットフォーム3に通知することができる。   In step 184, the controller 133 generates a short message and sends it to the AV platform 3, thereby allowing the AV platform 3 to perform further processing (in the manner described below). Therefore, when an abnormal state occurs, the AV terminal 131 can notify the AV platform 3 via an AV telephone call or a short message in order to execute subsequent processing.

なお、上述した異常フィードバック報告機能は、AV端末141と同様に、AV端末131、132に組み込むことができることに注意されたい。また、作動信号は、検出ユニット17の他に、AV端末141のファンクションキーを押すことによって、または、AVプラットフォーム3に一組のコードを入力することによって、生成されるようにすることもできる。更に、作動信号に応答して、AV端末141は、AV電話呼出またはショートメッセージを介してAVプラットフォーム3に異常フィードバック報告要求を発行する。   It should be noted that the abnormality feedback reporting function described above can be incorporated in the AV terminals 131 and 132 in the same manner as the AV terminal 141. In addition to the detection unit 17, the activation signal may be generated by pressing a function key of the AV terminal 141 or by inputting a set of codes to the AV platform 3. Further, in response to the activation signal, the AV terminal 141 issues an abnormal feedback report request to the AV platform 3 via an AV telephone call or a short message.

ステップ411において、AVプラットフォーム3は、ログイン要求が受信されたどうかを判定する。ログイン要求が受信されたと判定された場合に、フローはステップ412に進む。さもなければ、フローはステップ421に進む。   In step 411, the AV platform 3 determines whether a login request has been received. If it is determined that a login request has been received, the flow proceeds to step 412. Otherwise, the flow proceeds to step 421.

このステップにおいて、ユーザー端末111、112、113によってログイン要求が発行されたとき、AVプラットフォーム3の電気通信網AV処理モジュール32は、ログイン要求を受信し、ログイン要求をコントロールユニット31によって必要とされるストリームパケット信号に変換し、ストリームパケット信号をコントロールユニット31に送信する。一方、ユーザー端末121、122によってログイン要求が発行されたとき、AVプラットフォーム3のインターネットユーザーインターフェイス処理モジュール36はログイン要求を受信し、ログイン要求をコントロールユニット31によって必要とされるストリームパケット信号に変換して、ストリームパケット信号をコントロールユニット31に送信する。   In this step, when a login request is issued by the user terminal 111, 112, 113, the telecommunications network AV processing module 32 of the AV platform 3 receives the login request and the login request is required by the control unit 31. The stream packet signal is converted into a stream packet signal, and the stream packet signal is transmitted to the control unit 31. On the other hand, when a login request is issued by the user terminals 121 and 122, the Internet user interface processing module 36 of the AV platform 3 receives the login request and converts the login request into a stream packet signal required by the control unit 31. Then, the stream packet signal is transmitted to the control unit 31.

ステップ412において、コントロールユニット31は、ログイン要求を発行したユーザー端末、例えばユーザー端末111のアイデンティティを照合するために、ログイン要求をユーザーデータベース33のユーザー情報と比較する。   In step 412, the control unit 31 compares the login request with the user information in the user database 33 in order to verify the identity of the user terminal that issued the login request, for example, the user terminal 111.

ステップ413において、コントロールユニット31は、ユーザー端末にAV端末リストを提供し、ユーザー端末はAV端末リストを表示し、ユーザーに選択することを許容する。   In step 413, the control unit 31 provides the AV terminal list to the user terminal, and the user terminal displays the AV terminal list and allows the user to select it.

AV端末リストは、ユーザーデータベース33に記録され、ユーザー端末によってアクセス可能である複数のAV端末を含む。例えば、ユーザー端末111がAV端末131の管理者であってユーザー端末112、121がユーザー端末111のグループメンバであるとき、ユーザー端末112がAV端末132の管理者であってユーザー端末111,121がユーザー端末112の個人情報においてグループメンバとして設定されているとき、AV端末151がパブリックなAV端末であるとき、ユーザー端末111がAV端末141、152の管理者でないとき、そしてユーザー端末111がAV端末141、152の管理者によってグループメンバとして設定されているとき、AV端末リストは、AV端末131、132、151を含む。ユーザー端末111がAV端末131、132、151のうちの1つを選択するとき、ユーザー端末111は、選択されたAV端末を収容するAV端末選択信号を生成し、AV端末選択信号をAVプラットフォーム3のコントロールユニット31に転送する。   The AV terminal list includes a plurality of AV terminals recorded in the user database 33 and accessible by the user terminals. For example, when the user terminal 111 is an administrator of the AV terminal 131 and the user terminals 112 and 121 are group members of the user terminal 111, the user terminal 112 is an administrator of the AV terminal 132 and the user terminals 111 and 121 are When set as a group member in the personal information of the user terminal 112, when the AV terminal 151 is a public AV terminal, when the user terminal 111 is not an administrator of the AV terminals 141 and 152, and when the user terminal 111 is an AV terminal The AV terminal list includes AV terminals 131, 132, and 151 when set as group members by the managers 141 and 152. When the user terminal 111 selects one of the AV terminals 131, 132, 151, the user terminal 111 generates an AV terminal selection signal that accommodates the selected AV terminal, and sends the AV terminal selection signal to the AV platform 3 To the control unit 31.

AV端末リストが、AVプラットフォーム3が接続を確立したAV端末を含むことができることは、当業者にとって明らかなはずである。   It should be apparent to those skilled in the art that the AV terminal list can include AV terminals with which the AV platform 3 has established a connection.

ユーザー端末111がAV端末131を選択するとき、ステップ414において、コントロールユニット31は、AVプラットフォーム3がAV端末131との接続を確立しているかどうかを判定する。AVプラットフォーム3がAV端末131との接続を確立していなかったと判定された場合に、フローはステップ415に進む。さもなければ、すなわちAVプラットフォーム3がAV端末131との接続を確立している場合に、フローはステップ416に進む。   When the user terminal 111 selects the AV terminal 131, in step 414, the control unit 31 determines whether the AV platform 3 has established a connection with the AV terminal 131. If it is determined that the AV platform 3 has not established a connection with the AV terminal 131, the flow proceeds to step 415. Otherwise, if the AV platform 3 has established a connection with the AV terminal 131, the flow proceeds to step 416.

ステップ415において、コントロールユニット31は、電気通信網AV処理モジュール32を介してAV端末131との接続を確立し、AV端末131にそのAV信号をAVプラットフォーム3に転送するよう命令する。   In step 415, the control unit 31 establishes a connection with the AV terminal 131 via the telecommunications network AV processing module 32 and instructs the AV terminal 131 to transfer the AV signal to the AV platform 3.

ステップ416において、コントロールユニット31は、ユーザー端末、例えばユーザー端末112、に転送されているAV端末131のAV信号の複製を作成する。   In step 416, the control unit 31 creates a copy of the AV signal of the AV terminal 131 being transferred to the user terminal, eg, the user terminal 112.

ステップ417において、AV端末131がプリセットされたボイスオーバーを有するかどうかが判定される。AV端末131がプリセットボイスオーバーを有すると判定された場合に、フローはステップ418に進む。さもなければ、フローはステップ419に進む。   In step 417, it is determined whether the AV terminal 131 has a preset voice over. If it is determined that the AV terminal 131 has preset voice over, the flow proceeds to step 418. Otherwise, flow proceeds to step 419.

ステップ418において、コントロールユニット31は、AVデータベース34のなかのプリセットボイスオーバーおよび複製のAV信号のビデオ信号を取得し、プリセットボイスオーバーとビデオ信号を合成し、合成ざれたプリセットボイスオーバーとビデオ信号のフォーマットを変換した後に、電気通信網AV処理モジュール32を介して合成されたプリセットボイスオーバーとビデオ信号をユーザー端末111に転送する。その後、フローは、ステップ420に進む。   In step 418, the control unit 31 acquires the video signal of the preset voice over and duplicate AV signal in the AV database 34, synthesizes the preset voice over and the video signal, and combines the preset voice over and the video signal. After converting the format, the preset voice-over and video signal synthesized through the telecommunications network AV processing module 32 are transferred to the user terminal 111. Thereafter, the flow proceeds to step 420.

ステップ419において、コントロールユニット31は、電気通信網AV処理モジュール32を介して複製のAV信号をユーザー端末111に転送する。   In step 419, the control unit 31 transfers the duplicate AV signal to the user terminal 111 via the telecommunication network AV processing module 32.

このステップにおいて、ユーザー端末、例えばユーザー端末111、112、121は、AV端末131にアクセスしながら、会談することができる。すなわち、ユーザー端末111、112、121の各々は、例えば、オーディオ信号またはユーザー端末のユーザーの声のようなボイス信号を送信することができる。また、ユーザー端末のユーザーは、ユーザー情報の設定情報から、AV端末をミュートし、ボイス信号がAV端末に転送されるかどうかを設定することができる。   In this step, user terminals such as the user terminals 111, 112, and 121 can talk while accessing the AV terminal 131. That is, each of the user terminals 111, 112, and 121 can transmit a voice signal such as an audio signal or a voice of the user of the user terminal. Also, the user of the user terminal can set whether or not the voice signal is transferred to the AV terminal by muting the AV terminal from the setting information of the user information.

ステップ420において、コントロールユニット31は、プリセットボイスオーバーが終了したかどうかを判定する。プリセットボイスオーバーが終了したと判定された場合に、フローはステップ419に戻る。さもなければ、フローはステップ418に戻る。   In step 420, the control unit 31 determines whether or not the preset voice over has ended. If it is determined that the preset voice over has ended, the flow returns to step 419. Otherwise, flow returns to step 418.

コントロールユニット31は、ユーザー端末111、112、113、121、122の各々に基づき、例えば、AV信号をボイスオーバーと合成することによって、または、AV信号のフォーマットを変換することによって、AV信号を処理する。このように、AV端末のAV信号は、異なるユーザー端末111、112、113、121、122に転送できる。   The control unit 31 processes the AV signal based on each of the user terminals 111, 112, 113, 121, and 122, for example, by synthesizing the AV signal with voice over or by converting the format of the AV signal. To do. Thus, the AV signal of the AV terminal can be transferred to different user terminals 111, 112, 113, 121, 122.

AVプラットフォーム3は、AV端末131、132、141、151、152およびユーザー端末111、112、113、121、122との間の媒体として働き、AV端末131、132、141、151、152の各々のAV信号またはユーザー端末111、112、113、121、122の各々の信号を、ビデオ、オーディオおよび制御信号に分離する。ビデオ、オーディオおよび制御信号の各々は、ストリームパケット信号に変換され、例えば、アイデンティティ照合、AV信号の複製、画像キャプチャー、AV混合、そして信号フォーマット変換などのその後の処理のために、コントロールユニット31に転送される。このように、AV端末131は、ユーザー端末111、112によってアクセス可能であるばかりでなく、AV端末131は、電気通信網およびインターネットを介してユーザー端末121によってもアクセス可能である。例えば、コントロールユニット31は、AV端末131のAV信号のフォーマットがインターネットユーザーインターフェイス処理モジュール36によって変換された後、AV端末のAV信号をユーザー端末に転送する。このことは、AVプラットフォーム3を介して、異なるユーザー端末にAV端末のAV信号の異なるフォーマットにアクセスすることを許容する。更に、コントロールユニット31は、AV信号のビデオ信号およびボイスオーバーが新しいAV信号に合成されるように、AV端末のAV信号を編集することができる。ボイスオーバーは、例えばバックグラウンドまたはロケーションのようなAV端末131の相対情報を記述することができる。   The AV platform 3 functions as a medium between the AV terminals 131, 132, 141, 151, and 152 and the user terminals 111, 112, 113, 121, and 122, and each of the AV terminals 131, 132, 141, 151, and 152 The AV signal or each of the user terminals 111, 112, 113, 121, and 122 is separated into video, audio, and control signals. Each of the video, audio and control signals is converted into a stream packet signal, for example, to the control unit 31 for subsequent processing such as identity verification, AV signal replication, image capture, AV mixing, and signal format conversion. Transferred. As described above, the AV terminal 131 can be accessed not only by the user terminals 111 and 112 but also by the user terminal 121 via the telecommunication network and the Internet. For example, after the format of the AV signal of the AV terminal 131 is converted by the Internet user interface processing module 36, the control unit 31 transfers the AV signal of the AV terminal to the user terminal. This allows different user terminals to access different formats of the AV signal of the AV terminal via the AV platform 3. Furthermore, the control unit 31 can edit the AV signal of the AV terminal so that the video signal and the voice over of the AV signal are combined into a new AV signal. The voice over can describe relative information of the AV terminal 131 such as background or location.

ステップ421において、コントロールユニット31は、異常フィードバック報告要求が受信されたかどうかを判定する。異常フィードバック報告要求が受信されたと判定された場合に、フローはステップ434に進む。さもなければ、フローはステップ411に戻る。   In step 421, the control unit 31 determines whether an abnormal feedback report request has been received. If it is determined that an abnormal feedback report request has been received, the flow proceeds to step 434. Otherwise, the flow returns to step 411.

ステップ422において、コントロールユニット31は、ボイス信号がユーザー端末111、112、121から受信されたかどうかを判定する。ボイス信号が受信されたと判定された場合に、フローはステップ423に進む。さもなければ、フローはステップ424に進む。   In step 422, the control unit 31 determines whether a voice signal has been received from the user terminals 111, 112, 121. If it is determined that a voice signal has been received, the flow proceeds to step 423. Otherwise, flow proceeds to step 424.

ステップ423において、コントロールユニット31は、ユーザーの設定情報に基づいて、ボイス信号とAV端末131のAV信号を合成し、合成されたボイス信号とAV信号をAV端末131にアクセスする別のユーザー端末に転送する。コントロールユニット31は、設定情報に基づいて、ブロードキャストのためにボイス信号をAV端末に転送するかどうかを判定する。特に、ユーザー端末111によってオーディオ信号が生成されたとき、コントロールユニット31は、ユーザーデータベース33のなかのユーザー端末111のユーザー情報から、AV端末131をミュートするように設定されているか否か、そして会話をAV端末に転送するか否かの会話モードを判定する。AV端末131が、会話モードにおいて、ミュートするように設定され、会話がAV端末131に転送されるように設定されているとき、コントロールユニット31は、ボイス信号とAV端末131のAV信号のビデオ信号を合成し、合成されたボイス信号とビデオ信号をAV端末131にアクセスするユーザー端末112、121に転送し、ボイス信号をブロードキャストするためにAV端末131に転送する。一方、AV端末131がミュートするように設定されておらず、会話がAV端末131に転送されるように設定されていないとき、コントロールユニット31は、ボイス信号、AV端末131のAV信号のビデオ信号およびオーディオ信号を合成し、合成されたボイス、ビデオおよびオーディオ信号をAV端末131にアクセスするユーザー端末112、121に転送する。このように、ボイス信号の他に、ユーザー端末112、211は、AV端末131のオーディオ信号をも聞くことができる。従って、ユーザー端末111、112、121の各々は、会談するためにボイス信号を生成することができ、それによりユーザーとAV端末との間の交流を強化する。   In step 423, the control unit 31 combines the voice signal and the AV signal of the AV terminal 131 based on the user setting information, and sends the combined voice signal and AV signal to another user terminal that accesses the AV terminal 131. Forward. The control unit 31 determines whether or not to transfer the voice signal to the AV terminal for broadcasting based on the setting information. In particular, when an audio signal is generated by the user terminal 111, the control unit 31 determines whether or not the AV terminal 131 is set to be muted from the user information of the user terminal 111 in the user database 33, and the conversation. Is determined as to whether or not to transfer to the AV terminal. When the AV terminal 131 is set to be muted in the conversation mode and the conversation is set to be transferred to the AV terminal 131, the control unit 31 performs the voice signal and the video signal of the AV signal of the AV terminal 131. Are transferred to the user terminals 112 and 121 accessing the AV terminal 131, and transferred to the AV terminal 131 for broadcasting the voice signal. On the other hand, when the AV terminal 131 is not set to be muted and the conversation is not set to be transferred to the AV terminal 131, the control unit 31 performs the voice signal and the video signal of the AV signal of the AV terminal 131. And the audio signal are synthesized, and the synthesized voice, video and audio signals are transferred to the user terminals 112 and 121 accessing the AV terminal 131. As described above, in addition to the voice signal, the user terminals 112 and 211 can also listen to the audio signal of the AV terminal 131. Thus, each of the user terminals 111, 112, 121 can generate a voice signal for a meeting, thereby enhancing the interaction between the user and the AV terminal.

ステップ424において、コントロールユニット31は、制御信号がユーザー端末111から受信されたかどうかを判定する。制御信号が受信されたと判定された場合に、フローはステップ425に進む。さもなければ、フローはステップ427に進む。   In step 424, the control unit 31 determines whether a control signal is received from the user terminal 111. If it is determined that a control signal has been received, the flow proceeds to step 425. Otherwise, flow proceeds to step 427.

なお、制御信号は、ユーザー端末111、112、113がAVプラットフォーム3を介して選択されたAV端末を制御することを許容することに注意されたい。また、制御信号は、例えばデュアルトーン多重周波数(DTMF)信号のようなデジタル信号である。   It should be noted that the control signal allows the user terminals 111, 112, and 113 to control the selected AV terminal via the AV platform 3. The control signal is a digital signal such as a dual tone multi-frequency (DTMF) signal.

ステップ425において、コントロールユニット31は、ユーザー端末111に権限が有るかどうかを判定する。これは、許可されていないユーザー端末がAV端末131を制御することを防止するためである。ユーザー端末111に権限が有ると判定された場合に、フローはステップ426に進む。さもなければ、制御信号は無視され、フローはステップ427に進む。   In step 425, the control unit 31 determines whether the user terminal 111 has authority. This is to prevent an unauthorized user terminal from controlling the AV terminal 131. If it is determined that the user terminal 111 has authority, the flow proceeds to step 426. Otherwise, the control signal is ignored and the flow proceeds to step 427.

本実施形態において、ユーザー端末111がAV端末131の管理者であるとき、ユーザー端末111は、コントロールユニット31によって権限が与えられているか判定される。   In the present embodiment, when the user terminal 111 is an administrator of the AV terminal 131, it is determined whether the user terminal 111 is authorized by the control unit 31.

ステップ426において、コントロールユニット31は、制御信号に対応する制御を実行する。   In step 426, the control unit 31 executes control corresponding to the control signal.

例えば、制御信号が複製信号であるとき、コントロールユニット31は、AV端末131のAV信号をユーザー端末111に転送しながら、AV信号の複製を作成し、AVデータベース34に格納する。なお、AVデータベース34に格納される複製のAV信号は、第三世代パートナーシップ・プロジェクト(3GPP)によって定められた3Gパートナーシップ・プロジェクト(3GP)フォーマットであることに注意されたい。一方、制御信号が、AV端末131の機能、例えば、ズームイン、ズームアウト、ミュート、オーディオの受信、そしてレンズの調整、を制御するためのものであるとき、コントロールユニット31は、電気通信網AV処理モジュール32を介して制御信号をAV端末131に転送する。次に、AV端末131は、制御信号に対応する制御、例えば、焦点距離の調節、または周囲環境の音声および画像のキャプチャーを停止する、を実行する。このように、ユーザー端末111は、AV端末131のAV信号を受信することの他に、AV信号の複製を作成するなどのAV信号を処理することに、AVプラットフォーム3を使用することができる。   For example, when the control signal is a duplicate signal, the control unit 31 creates a duplicate of the AV signal while transferring the AV signal of the AV terminal 131 to the user terminal 111 and stores it in the AV database 34. Note that the duplicate AV signal stored in the AV database 34 is in the 3G partnership project (3GP) format defined by the third generation partnership project (3GPP). On the other hand, when the control signal is for controlling the function of the AV terminal 131, for example, zoom in, zoom out, mute, audio reception, and lens adjustment, the control unit 31 performs telecommunications network AV processing. The control signal is transferred to the AV terminal 131 via the module 32. Next, the AV terminal 131 executes control corresponding to the control signal, for example, adjustment of focal length or stopping capturing of sound and images in the surrounding environment. As described above, the user terminal 111 can use the AV platform 3 to process the AV signal such as creating a duplicate of the AV signal in addition to receiving the AV signal of the AV terminal 131.

現在では、インターネットに接続できる電気機器は、同時にいくつかのウィンドウを開くことができる。このように、ステップ427において、コントロールユニット31は、別のAV端末、例えばAV端末132、の選択が、AV端末131にアクセスするユーザー端末121から受信されたかどうかを判定する。これは、ユーザー端末121がAV端末132にアクセスしたいことを示す。AV端末132の選択が受信されたと判定された場合に、フローはステップ428に進む。さもなければ、フローはステップ429に進む。   Currently, an electrical device that can connect to the Internet can open several windows simultaneously. Thus, in step 427, the control unit 31 determines whether a selection of another AV terminal, for example, the AV terminal 132, has been received from the user terminal 121 that accesses the AV terminal 131. This indicates that the user terminal 121 wants to access the AV terminal 132. If it is determined that the selection of the AV terminal 132 has been received, the flow proceeds to step 428. Otherwise, flow proceeds to step 429.

ステップ428において、コントロールユニット31は、ユーザー端末121がネットワークユーザーであるかどうかを判定する。ネットワークユーザーは、インターネットに接続されているユーザーである。ユーザー端末がネットワークユーザーであると判定された場合に、フローはAV端末132のAV信号をユーザー端末121に提供するためにステップ413に戻る。さもなければ、AV端末132の選択は無視され、フローはステップ429に進む。   In step 428, the control unit 31 determines whether the user terminal 121 is a network user. A network user is a user connected to the Internet. If it is determined that the user terminal is a network user, the flow returns to step 413 to provide the AV signal of the AV terminal 132 to the user terminal 121. Otherwise, the selection of AV terminal 132 is ignored and the flow proceeds to step 429.

ステップ429において、コントロールユニット31は、視聴終了要求が受信されたかどうかを判定する。例えば、AV端末131にアクセスするユーザー端末111は、視聴終了要求を発行する。視聴終了要求が受信されたと判定された場合に、フローはステップ430に進む。さもなければ、フローは別の制御信号または要求を待つためにステップ422に戻る。   In step 429, the control unit 31 determines whether a viewing end request has been received. For example, the user terminal 111 accessing the AV terminal 131 issues a viewing end request. If it is determined that a viewing end request has been received, the flow proceeds to step 430. Otherwise, the flow returns to step 422 to wait for another control signal or request.

ステップ430において、コントロールユニット31は、AV端末、例えばAV端末131のAV信号の、ユーザー端末、例えばユーザー端末111への転送を停止する。   In step 430, the control unit 31 stops the transfer of the AV signal of the AV terminal, for example, the AV terminal 131, to the user terminal, for example, the user terminal 111.

ステップ431において、コントロールユニット31は、AV端末、例えばAV端末131が、別のユーザー端末によってアクセスされているかどうかを判定する。AV端末がアクセスされていると判定された場合に、フローはステップ432に進む。さもなければ、フローはステップ433に進む。   In step 431, the control unit 31 determines whether the AV terminal, for example, the AV terminal 131 is being accessed by another user terminal. If it is determined that the AV terminal is being accessed, the flow proceeds to step 432. Otherwise, flow proceeds to step 433.

ステップ432において、AVプラットフォーム3は、AV端末131との接続を維持し、そのAV信号を受信して別のユーザー端末に転送することを継続する。   In step 432, the AV platform 3 maintains the connection with the AV terminal 131, and continues to receive and transfer the AV signal to another user terminal.

ステップ433において、コントロールユニット31は、AV端末131から切断する。   In step 433, the control unit 31 disconnects from the AV terminal 131.

ステップ432および433の後、フローは、ステップ429において視聴終了要求を発行したユーザー端末111にAV端末リストを提供するために、ステップ413に戻り、それにより、ユーザー端末111に別のAV端末を選択してアクセスすることを許容する。   After steps 432 and 433, the flow returns to step 413 to provide the AV terminal list to the user terminal 111 that issued the viewing end request in step 429, thereby selecting another AV terminal for the user terminal 111. To allow access.

ステップ433は、ユーザー端末111がAVプラットフォーム3にログアウト要求を発行することを許容するサブステップを含み、それにより、その間の接続を切断する。   Step 433 includes a sub-step that allows the user terminal 111 to issue a logout request to the AV platform 3, thereby disconnecting the connection therebetween.

ステップ434において、コントロールユニット31は、AV端末のユーザーを識別するために、AV端末のアイデンティティを照合する。   In step 434, the control unit 31 verifies the identity of the AV terminal to identify the user of the AV terminal.

ステップ435において、コントロールユニット31は、ユーザーデータベース33のユーザー情報に基づいて、プリセットされたユーザー端末を取得する。
プリセットユーザー端末は、AV端末の管理者によって設定され、ユーザーデータベース33に格納され、1つ以上のユーザー端末を含むことができる。
In step 435, the control unit 31 acquires a preset user terminal based on the user information in the user database 33.
The preset user terminal is set by the administrator of the AV terminal, stored in the user database 33, and may include one or more user terminals.

ステップ436において、異常フィードバック報告要求がAV電話呼出であるかどうかが判定される。異常フィードバック報告要求がAV電話呼出であると判定された場合に、フローはステップ437に進む。さもなければ、すなわち、異常フィードバック報告要求がショートメッセージである場合に、フローはステップ438に進む。   In step 436, it is determined whether the abnormal feedback report request is an AV telephone call. If it is determined that the abnormal feedback report request is an AV telephone call, the flow proceeds to step 437. Otherwise, if the abnormal feedback report request is a short message, the flow proceeds to step 438.

ステップ437において、AV端末のAV信号および異常フィードバック報告要求は、AV端末とAVプラットフォーム3の確立された接続を介してAVプラットフォーム3に転送される。次に、コントロールユニット31は、プリセットユーザー端末との接続を確立し、AV信号をプリセットユーザー端末に転送する。このように、プリセットユーザー端末は、即座に通知され、AV端末のAV信号のビデオ信号を介してAV端末の現在の状態を認知することができる。その後、フローはステップ422に戻る。   In step 437, the AV signal of the AV terminal and the abnormality feedback report request are transferred to the AV platform 3 via the established connection between the AV terminal and the AV platform 3. Next, the control unit 31 establishes a connection with the preset user terminal and transfers the AV signal to the preset user terminal. Thus, the preset user terminal is notified immediately and can recognize the current state of the AV terminal via the video signal of the AV signal of the AV terminal. Thereafter, the flow returns to step 422.

ステップ438において、コントロールユニット31は、プリセットユーザー端末と、電気通信網AV処理モジュール32を介して異常フィードバック報告要求を発行したAV端末との接続を確立し、AV端末のAV信号のビデオ信号をプリセットユーザー端末に転送する。その後、フローはステップ422に戻る。   In step 438, the control unit 31 establishes a connection between the preset user terminal and the AV terminal that has issued the abnormal feedback report request via the telecommunications network AV processing module 32, and presets the video signal of the AV signal of the AV terminal. Transfer to user terminal. Thereafter, the flow returns to step 422.

ステップ437および438において、2台以上のプリセットユーザー端末があるとき、プリセットユーザー端末は、ステップ422および423を実行して会談することができ、違反者に警告するブロードキャストのために、ボイス信号をAV端末に転送することができる。   In steps 437 and 438, when there are two or more preset user terminals, the preset user terminals can talk by executing steps 422 and 423, and the audio signal is transmitted to the AV for broadcast to alert the offender. Can be transferred to the terminal.

なお、上述したステップ411、421、422、424、427および429のシーケンスは、必要に応じて変更できることに注意されたい。   Note that the sequence of steps 411, 421, 422, 424, 427, and 429 described above can be changed as necessary.

本発明の上述の説明から、AVプラットフォーム3は、セキュリティ対策のため、ユーザー端末にAV端末へのアクセスを認める前に、ユーザー端末のアイデンティティを照合する。また、AVプラットフォーム3は、AV信号の処理の前に、AV信号をビデオ、オーディオおよび制御信号に分離する。このように、AV端末のAV信号は、異なるユーザー端末に提供することができる。更に、AVプラットフォーム3は、ユーザー端末に会談することを許容する。加えて、AVプラットフォーム3は、AV信号の複製を作成するか、またはユーザー端末によって発行された制御信号の受領をもってAV端末を制御し、ネットワークユーザーに多重のAV端末に同時にアクセスすることを許容し、AV端末によって発行された異常フィードバック報告信号の受領をもってAV端末のAV信号をプリセットユーザー端末に自動的に転送する。   From the above description of the present invention, the AV platform 3 verifies the identity of the user terminal before allowing the user terminal to access the AV terminal for security measures. The AV platform 3 separates the AV signal into video, audio and control signals before processing the AV signal. Thus, the AV signal of the AV terminal can be provided to different user terminals. Furthermore, the AV platform 3 allows a user terminal to talk. In addition, the AV platform 3 creates a copy of the AV signal or controls the AV terminal upon receipt of a control signal issued by the user terminal, allowing a network user to access multiple AV terminals simultaneously. Upon receipt of the abnormal feedback report signal issued by the AV terminal, the AV signal of the AV terminal is automatically transferred to the preset user terminal.

本発明は最も実際的で好ましい実施形態と関連して記載されているが、本発明は、開示された実施形態に限定されるものではなく、すべてのこの種の変形および等価な配置を包含する最も広い記述の精神と範囲に含まれる種々な変形に及ぶことを意味するものと理解される。   Although the invention has been described in connection with the most practical and preferred embodiments, the invention is not limited to the disclosed embodiments and encompasses all such variations and equivalent arrangements. It is understood to mean a variety of variations that fall within the spirit and scope of the broadest description.

本発明による遠隔リアルタイムにオーディオおよび/またはビデオ(AV)信号を提供する通信フレームワークの好ましい実施形態の概略ブロック図である。1 is a schematic block diagram of a preferred embodiment of a communication framework for providing audio and / or video (AV) signals in remote real time according to the present invention. FIG. AV端末の好ましい実施形態の概略ブロック図である。1 is a schematic block diagram of a preferred embodiment of an AV terminal. 本発明による通信フレームワークを使用して遠隔リアルタイムにAV信号を提供する方法の好ましい実施形態を例示するフローチャート(その1)である。2 is a flowchart (part 1) illustrating a preferred embodiment of a method for providing an AV signal in remote real-time using the communication framework according to the present invention. 本発明による通信フレームワークを使用して遠隔リアルタイムにAV信号を提供する方法の好ましい実施形態を例示するフローチャート(その2)である。6 is a flowchart (part 2) illustrating a preferred embodiment of a method for providing an AV signal in remote real-time using the communication framework according to the present invention. 本発明による通信フレームワークを使用して遠隔リアルタイムにAV信号を提供する方法の好ましい実施形態を例示するフローチャート(その3)である。6 is a flowchart (part 3) illustrating a preferred embodiment of a method for providing an AV signal in remote real-time using the communication framework according to the present invention. 本発明による通信フレームワークを使用して遠隔リアルタイムにAV信号を提供する方法の好ましい実施形態を例示するフローチャート(その4)である。6 is a flowchart (part 4) illustrating a preferred embodiment of a method for providing an AV signal in remote real-time using the communication framework according to the present invention.

符号の説明Explanation of symbols

111、112、113、121、122 ユーザー端末
131、132、141、151、152 AV端末
3 AVプラットフォーム
111, 112, 113, 121, 122 User terminal 131, 132, 141, 151, 152 AV terminal 3 AV platform

Claims (25)

遠隔リアルタイムにオーディオおよび/またはビデオ(AV)信号を提供する方法であって、
(A)ユーザー端末からログイン要求が受信されたとき、周囲環境のAV信号を提供する複数のAV端末が記録されるAV端末リストを表示し、AV端末リストのなかから1つのAV端末を選択することをユーザー端末に要求するステップ、
(B)選択されたAV端末との接続が確立されているかどうかを判定するステップ、
(C)選択されたAV端末との接続が確立されていないと判定された場合に、選択されたAV端末との接続を確立し、選択されたAV端末のAV信号を受信し、AV信号をユーザー端末に転送するステップ、
(D)選択されたAV端末との接続が確立されていると判定された場合に、選択されたAV端末のAV信号の複製を生成し、複製のAV信号をユーザー端末に転送するステップ、
を備える方法。
A method for providing audio and / or video (AV) signals in remote real-time, comprising:
(A) When a login request is received from a user terminal, an AV terminal list in which a plurality of AV terminals providing an ambient environment AV signal is recorded is displayed, and one AV terminal is selected from the AV terminal list. Requesting the user terminal to
(B) determining whether a connection with the selected AV terminal has been established;
(C) When it is determined that the connection with the selected AV terminal is not established, the connection with the selected AV terminal is established, the AV signal of the selected AV terminal is received, and the AV signal is Transferring to the user terminal,
(D) generating a copy of the AV signal of the selected AV terminal when it is determined that a connection with the selected AV terminal has been established, and transferring the duplicate AV signal to the user terminal;
A method comprising:
前記ステップ(A)において、ユーザー端末からログイン要求が受信されたとき、ユーザー端末のアイデンティティが照合されるものであって、AV端末リストはユーザーのアイデンティティに基づいている、請求項1に記載の方法。   The method according to claim 1, wherein in step (A), when a login request is received from a user terminal, the identity of the user terminal is verified, and the AV terminal list is based on the identity of the user. . 前記AV端末のAV信号は、ビデオ信号、オーディオ信号および制御信号を含み、前記ステップ(C)および(D)において、最初にAV信号はオーディオ信号、ビデオ信号および制御信号に分離され、オーディオ信号、ビデオ信号および制御信号は同一のフォーマットに変換される、請求項1に記載の方法。   The AV signal of the AV terminal includes a video signal, an audio signal, and a control signal. In the steps (C) and (D), the AV signal is first separated into an audio signal, a video signal, and a control signal. The method of claim 1, wherein the video signal and the control signal are converted to the same format. 前記ステップ(C)および(D)において、AV信号をユーザー端末に転送する前に、選択されたAV端末がプリセットされたボイスオーバーを有するかどうかが判定され、
選択されたAV端末がプリセットされたボイスオーバーを有すると判定された場合に、プリセットされたボイスオーバーとAV信号は合成されてユーザー端末に転送され、
選択されたAV端末がプリセットされたボイスオーバーを有しないと判定された場合に、AV信号がユーザー端末に転送される、
請求項3に記載の方法。
In the steps (C) and (D), before transferring the AV signal to the user terminal, it is determined whether the selected AV terminal has a preset voice over,
When it is determined that the selected AV terminal has a preset voice over, the preset voice over and the AV signal are combined and transferred to the user terminal,
An AV signal is transferred to the user terminal when it is determined that the selected AV terminal does not have a preset voice over;
The method of claim 3.
(E)ボイス信号がユーザー端末から受信されたときであって、選択されたAV端末のAV信号が別のユーザー端末に転送されているとき、ボイス信号とAV信号を合成し、合成されたボイス信号とAV信号を前記別のユーザー端末に転送するステップ、
を更に備える、請求項3に記載の方法。
(E) When a voice signal is received from a user terminal and the AV signal of the selected AV terminal is transferred to another user terminal, the voice signal and the AV signal are synthesized, and the synthesized voice Transferring a signal and an AV signal to the other user terminal;
The method of claim 3, further comprising:
前記ステップ(E)において、前記ボイス信号が、更に選択されたAV端末に転送される、請求項5に記載の方法。   The method according to claim 5, wherein in the step (E), the voice signal is further transferred to a selected AV terminal. (F)ユーザー端末から制御信号が受信されたとき、ユーザー端末に権限が与えられているかどうかを判定し、ユーザー端末に権限が与えられていると判定された場合に、制御信号に対応する制御を実行するステップ、
を更に備える、請求項1に記載の方法。
(F) When a control signal is received from the user terminal, it is determined whether or not the user terminal is authorized. If it is determined that the user terminal is authorized, the control corresponding to the control signal is performed. Steps to perform,
The method of claim 1, further comprising:
前記ステップ(F)において、制御信号が複製信号であって、ユーザー端末に権限が与えられているとき、AV信号をユーザー端末に転送しながら、AV信号が格納される、請求項7に記載の方法。   8. In the step (F), when the control signal is a duplicate signal and the user terminal is authorized, the AV signal is stored while transferring the AV signal to the user terminal. Method. 前記ステップ(F)において、制御信号が選択されたAV端末の機能を制御するものであって、ユーザー端末に権限が与えられているとき、制御信号は選択されたAV端末に転送される、請求項7に記載の方法。   In step (F), when the control signal controls the function of the selected AV terminal and the user terminal is authorized, the control signal is transferred to the selected AV terminal. Item 8. The method according to Item 7. (G)ユーザー端末からAV端末リストのなかの別のAV端末の選択が受信されたとき、ユーザー端末がネットワークユーザーであるかどうかを判定し、ユーザー端末がネットワークユーザーであると判定された場合に、ステップ(B)を実行し、ユーザー端末がネットワークユーザーでないと判定された場合に、前記別のAV端末の選択を無視するステップ、
を更に備える、請求項3に記載の方法。
(G) When a selection of another AV terminal in the AV terminal list is received from the user terminal, it is determined whether the user terminal is a network user, and when the user terminal is determined to be a network user. Performing step (B) and ignoring the selection of the other AV terminal when it is determined that the user terminal is not a network user;
The method of claim 3, further comprising:
(H)ユーザー端末から視聴終了要求が受信されたとき、AV信号のユーザー端末への転送を停止し、選択されたAV端末のAV信号が別のユーザー端末に転送される必要があるかどうかを判定し、選択されたAV端末のAV信号が別のユーザー端末に転送される必要があると判定された場合に、選択されたAV端末との接続を維持し、選択されたAV端末のAV信号が別のユーザー端末に転送される必要がないと判定された場合に、選択されたAV端末との接続を切断するステップ、
を更に備える、請求項1に記載の方法。
(H) When a viewing end request is received from the user terminal, whether or not the transfer of the AV signal to the user terminal is stopped and whether or not the AV signal of the selected AV terminal needs to be transferred to another user terminal If it is determined that the AV signal of the selected AV terminal needs to be transferred to another user terminal, the connection with the selected AV terminal is maintained, and the AV signal of the selected AV terminal is maintained. Disconnecting from the selected AV terminal when it is determined that does not need to be transferred to another user terminal;
The method of claim 1, further comprising:
(I)AV端末リストのなかの1つのAV端末から異常フィードバック報告要求が受信されたとき、対応するプリセットされたユーザー端末の情報を取得し、前記1つのAV端末のAV信号をプリセットされたユーザー端末に転送するステップ、
を更に備える、請求項1に記載の方法。
(I) When an abnormal feedback report request is received from one AV terminal in the AV terminal list, information on the corresponding preset user terminal is obtained, and the AV signal of the one AV terminal is preset. Transferring to device,
The method of claim 1, further comprising:
それぞれがAV信号を生成する複数のAV端末と、
電気通信網を介して前記AV端末に接続され、前記AV端末のうちの少なくとも一部を記録するAV端末リストを提供するAVプラットフォームと、
電気通信網を介して前記AVプラットフォームに接続され、前記AV端末リストを受信し、前記AV端末リストのなかの選択された1つのAV端末を含むAV端末選択信号を生成し、AV端末選択信号を前記AVプラットフォームに送信するための動作が可能であるユーザー端末を備え、
前記選択されたAV端末によって生成された信号が、AV端末選択信号に基づいて、前記AVプラットフォームを介して前記ユーザー端末に転送される、通信フレームワーク。
A plurality of AV terminals each generating an AV signal;
An AV platform connected to the AV terminal via a telecommunication network and providing an AV terminal list for recording at least a part of the AV terminals;
Connected to the AV platform via a telecommunication network, receives the AV terminal list, generates an AV terminal selection signal including one AV terminal selected in the AV terminal list, Comprising a user terminal capable of transmitting to the AV platform;
A communication framework in which a signal generated by the selected AV terminal is transferred to the user terminal via the AV platform based on an AV terminal selection signal.
前記AVプラットフォームは、前記ユーザー端末に結合される電気通信網AV処理モジュールと、前記電気通信網AV処理モジュールに結合され、前記電気通信網AV処理モジュールによって提供された信号を受信して処理するコントロールユニットを含む、請求項13に記載の通信フレームワーク。   The AV platform is coupled to the telecommunications network AV processing module coupled to the user terminal, and is coupled to the telecommunications network AV processing module, and receives and processes a signal provided by the telecommunications network AV processing module. The communication framework according to claim 13, comprising a unit. 前記AV端末の各々によって生成される信号は、オーディオ信号およびビデオ信号の少なくともいずれかを含み、前記ユーザー端末に転送される信号は、AV信号および制御信号の少なくともいずれかである、請求項13に記載の通信フレームワーク。   The signal generated by each of the AV terminals includes at least one of an audio signal and a video signal, and the signal transferred to the user terminal is at least one of an AV signal and a control signal. The described communication framework. 前記AVプラットフォームは、前記コントロールユニットに結合されるインターネットAV処理モジュールおよびインターネットユーザーインターフェイス処理モジュールを含む、請求項14に記載の通信フレームワーク。   The communication framework of claim 14, wherein the AV platform includes an Internet AV processing module and an Internet user interface processing module coupled to the control unit. インターネットに結合され、インターネットを介して前記インターネットAV処理モジュールが結合されている、複数のAV端末と、
インターネットを介して前記AVプラットフォームの前記インターネットユーザーインターフェイス処理モジュールと結合されるユーザー端末と、
を更に備える、請求項16に記載の通信フレームワーク。
A plurality of AV terminals coupled to the Internet and coupled to the Internet AV processing module via the Internet;
A user terminal coupled with the Internet user interface processing module of the AV platform via the Internet;
The communication framework of claim 16, further comprising:
前記AVプラットフォームは、前記コントロールユニットに結合されるAVデータベースとユーザーデータベースの少なくともいずれかを含む、請求項14に記載の通信フレームワーク。   The communication framework according to claim 14, wherein the AV platform includes at least one of an AV database and a user database coupled to the control unit. 前記AV端末の各々は、画像キャプチャーユニット、音声キャプチャーユニットおよび音声ブロードキャストユニットの少なくともいずれかを含む、請求項13に記載の通信フレームワーク。   The communication framework according to claim 13, wherein each of the AV terminals includes at least one of an image capture unit, an audio capture unit, and an audio broadcast unit. 前記AVプラットフォームのAV端末リストは、前記AVプラットフォームとの接続を確立するものである、および/または、ユーザー端末がその信号を受信することを許容するものである、前記AV端末のうちの少なくとも1つを記録する、請求項13に記載の通信フレームワーク。   The AV terminal list of the AV platform establishes a connection with the AV platform and / or allows a user terminal to receive the signal, at least one of the AV terminals 14. The communication framework according to claim 13, wherein one is recorded. 少なくとも1つのユーザー端末に対して遠隔リアルタイムにオーディオおよび/またはビデオ(AV)信号を提供するシステムであって、
それぞれが周囲環境のAV信号を提供する複数のAV端末と
前記AV端末に結合され、ユーザー端末に結合されるのに適しており、前記AV端末とユーザー端末に関連する情報を格納するAVプラットフォームとを備え、
前記AVプラットフォームは、ユーザー端末からログイン要求を受信したとき、ユーザー端末に対応するAV端末に対応するものを記録するAV端末リストを提示し、前記AV端末リストのなかの前記AV端末のうちの1つを選択することをユーザー端末に要求し、前記選択されたAV端末との接続が確立されているかどうかを判定し、
前記選択されたAV端末との接続が確立されていないと判定された場合に、前記AVプラットフォームは、前記選択されたAV端末との接続を確立し、前記選択されたAV端末のAV信号を受信し、前記選択されたAV端末のAV信号をユーザー端末に転送し、
前記選択されたAV端末との接続が確立されていると判定された場合に、前記AVプラットフォームは、前記選択されたAV端末のAV信号の複製を生成し、複製のAV信号をユーザー端末に転送する、
システム。
A system for providing audio and / or video (AV) signals in remote real time to at least one user terminal comprising:
A plurality of AV terminals each providing an AV signal of an ambient environment, an AV platform coupled to the AV terminal and suitable for being coupled to a user terminal, and storing information related to the AV terminal and the user terminal; With
When the AV platform receives a login request from a user terminal, the AV platform presents an AV terminal list that records information corresponding to the AV terminal corresponding to the user terminal, and one of the AV terminals in the AV terminal list is displayed. Requesting the user terminal to select one, determining whether a connection with the selected AV terminal has been established,
When it is determined that a connection with the selected AV terminal is not established, the AV platform establishes a connection with the selected AV terminal and receives an AV signal of the selected AV terminal. And transfer the AV signal of the selected AV terminal to the user terminal,
When it is determined that a connection with the selected AV terminal is established, the AV platform generates a duplicate of the AV signal of the selected AV terminal and transfers the duplicated AV signal to the user terminal To
system.
前記AV端末の少なくともいずれかは、第三世代(3G)カメラおよび3G携帯電話のいずれかであって、
前記AVプラットフォームは、
前記AVプラットフォームの動作を制御するコントロールユニットと、
電気通信網に結合され、前記3Gカメラおよび前記3G携帯電話のうちの1つからのAV信号を受信し、AV信号をオーディオ信号およびビデオ信号に分離し、オーディオ信号およびビデオ信号を前記コントロールユニットに転送する、電気通信網AV処理モジュールと、
を更に含む、請求項21に記載のシステム。
At least one of the AV terminals is either a third generation (3G) camera or a 3G mobile phone,
The AV platform is
A control unit for controlling the operation of the AV platform;
It is coupled to a telecommunication network, receives an AV signal from one of the 3G camera and the 3G mobile phone, separates the AV signal into an audio signal and a video signal, and sends the audio signal and the video signal to the control unit. A telecommunications network AV processing module to transfer,
The system of claim 21, further comprising:
前記AV端末の少なくともいずれかは、パケット・カメラであり、
前記AVプラットフォームは、インターネットに結合され、前記パケット・カメラからAV信号を受信し、AV信号をオーディオ信号およびビデオ信号に分離し、オーディオ信号およびビデオ信号を前記コントロールユニットに転送する、インターネットAV処理モジュールを更に含む、請求項22に記載のシステム。
At least one of the AV terminals is a packet camera;
The AV platform is coupled to the Internet, receives an AV signal from the packet camera, separates the AV signal into an audio signal and a video signal, and transfers the audio signal and the video signal to the control unit. 24. The system of claim 22, further comprising:
前記AVプラットフォームは、AVデータベースを含み、AV信号を受信するユーザー端末は、前記AVプラットフォームに対して複製信号を発行するための動作が可能であり、前記コントロールユニットは、前記AVプラットフォームの前記コントロールユニットが複製信号を受信するとき、ユーザー端末に転送されたAV信号の複製を作成し、複製のAV信号を格納する、請求項22に記載のシステム。   The AV platform includes an AV database, and a user terminal that receives an AV signal can operate to issue a duplicate signal to the AV platform, and the control unit includes the control unit of the AV platform. 23. The system of claim 22, wherein when receiving a duplicate signal, it creates a duplicate of the AV signal transferred to the user terminal and stores the duplicate AV signal. 前記AVプラットフォームは、前記AV端末のそれぞれについてのプリセットされたユーザー端末を格納するユーザーデータベースを含み、前記AV端末の各々は、作動信号に対応し、前記AVプラットフォームに転送される異常フィードバック報告要求を生成するための動作が可能であり、前記AVプラットフォームは、異常フィードバック報告を発行した前記AV端末のAV信号を、プリセットされたユーザー端末に転送する、請求項21に記載のシステム。   The AV platform includes a user database that stores preset user terminals for each of the AV terminals, each of the AV terminals corresponding to an activation signal and sending an abnormal feedback report request forwarded to the AV platform. 23. The system of claim 21, wherein the AV platform is operable to generate and the AV platform forwards the AV signal of the AV terminal that issued the anomaly feedback report to a preset user terminal.
JP2008279204A 2008-10-30 2008-10-30 Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis Pending JP2010109654A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008279204A JP2010109654A (en) 2008-10-30 2008-10-30 Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008279204A JP2010109654A (en) 2008-10-30 2008-10-30 Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis

Publications (1)

Publication Number Publication Date
JP2010109654A true JP2010109654A (en) 2010-05-13

Family

ID=42298656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008279204A Pending JP2010109654A (en) 2008-10-30 2008-10-30 Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis

Country Status (1)

Country Link
JP (1) JP2010109654A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242516B1 (en) 2011-10-25 2013-03-12 아주대학교산학협력단 System and method for broadcasting audio signal
CN105611316A (en) * 2014-11-21 2016-05-25 华为终端(东莞)有限公司 Method, device and system for adjusting frame rate

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163919A (en) * 2001-11-27 2003-06-06 Matsushita Electric Ind Co Ltd Picture server system
JP2003219400A (en) * 2002-01-22 2003-07-31 Megafusion Corp Remote management system
JP2003309847A (en) * 2002-02-18 2003-10-31 Hitachi Kokusai Electric Inc Image transmission method and image transmission apparatus
JP2004193979A (en) * 2002-12-11 2004-07-08 Canon Inc Video distribution system
JP2005318412A (en) * 2004-04-30 2005-11-10 Canon Inc Camera server, information processing apparatus and network camera system
JP2006054921A (en) * 2002-01-31 2006-02-23 Hitachi Kokusai Electric Inc Method of transmitting video signal, method of receiving video signal, and video-signal transmission/reception system
JP2008017529A (en) * 2004-01-22 2008-01-24 Hitachi Kokusai Electric Inc Video distribution device
JP2008227626A (en) * 2007-03-08 2008-09-25 System K:Kk Communication system and communication method of network camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163919A (en) * 2001-11-27 2003-06-06 Matsushita Electric Ind Co Ltd Picture server system
JP2003219400A (en) * 2002-01-22 2003-07-31 Megafusion Corp Remote management system
JP2006054921A (en) * 2002-01-31 2006-02-23 Hitachi Kokusai Electric Inc Method of transmitting video signal, method of receiving video signal, and video-signal transmission/reception system
JP2003309847A (en) * 2002-02-18 2003-10-31 Hitachi Kokusai Electric Inc Image transmission method and image transmission apparatus
JP2004193979A (en) * 2002-12-11 2004-07-08 Canon Inc Video distribution system
JP2008017529A (en) * 2004-01-22 2008-01-24 Hitachi Kokusai Electric Inc Video distribution device
JP2005318412A (en) * 2004-04-30 2005-11-10 Canon Inc Camera server, information processing apparatus and network camera system
JP2008227626A (en) * 2007-03-08 2008-09-25 System K:Kk Communication system and communication method of network camera

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101242516B1 (en) 2011-10-25 2013-03-12 아주대학교산학협력단 System and method for broadcasting audio signal
CN105611316A (en) * 2014-11-21 2016-05-25 华为终端(东莞)有限公司 Method, device and system for adjusting frame rate
CN105611316B (en) * 2014-11-21 2019-05-03 华为终端(东莞)有限公司 A kind of method, apparatus and system adjusting frame per second

Similar Documents

Publication Publication Date Title
US8300079B2 (en) Apparatus and method for transferring video
KR100909515B1 (en) Systems, methods, and computer readable media for video teleconferencing and multimedia presentations
US8473994B2 (en) Communication system and method
US7996540B2 (en) Method and system for replacing media stream in a communication process of a terminal
US20060001737A1 (en) Video conference arrangement
CN112738559B (en) Screen projection implementation method, device and system
EP2892210B1 (en) Providing video telephony using broadcast receiving apparatus and SMS message
JP2006217592A (en) Video call method for providing image via third display device
JP2007511110A (en) A camera that transmits streaming media to remote clients
CN105763832A (en) Video interaction and control method and device
WO2019129088A1 (en) Method for realizing interactive voice and video response, terminal and serving end system
KR100805255B1 (en) method and system for monitoring using watch camera
WO2014183540A1 (en) Method and system for video surveillance content adaptation, and central server and device
WO2014063511A1 (en) Monitoring method and internet protocol television set top box
WO2007115462A1 (en) Method for realizing remote monitoring service and video terminal device
CN111147789A (en) Method, device and equipment for recording audio and video stream and storage medium
CN108322429B (en) Recording control method in real-time communication, real-time communication system and communication terminal
US20080261517A1 (en) Communication Framework and Method and System for Providing a Real-Time Audio and/or Video Signal
JP2006352319A (en) Communication system and communication method
JP2010109654A (en) Framework, method and system of communication for providing audio and/or video signal on remotely-controlled real time basis
JP2010081279A (en) Receiving apparatus, transmitting and receiving system, and receiving method
JP6295522B2 (en) Transmission system, transmission terminal and transmission terminal program
US20080263613A1 (en) Communication Framework and Connection Method for Providing a Remote Real-Time Audio and/or Video (AV) Signal
JP4400598B2 (en) Call center system and control method for videophone communication
US20050151833A1 (en) Method and apparatus for video conferencing

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120207