JP2005277654A - Portable telephone communication system, virtual terminal device, portable telephone terminal, and program - Google Patents

Portable telephone communication system, virtual terminal device, portable telephone terminal, and program Download PDF

Info

Publication number
JP2005277654A
JP2005277654A JP2004086541A JP2004086541A JP2005277654A JP 2005277654 A JP2005277654 A JP 2005277654A JP 2004086541 A JP2004086541 A JP 2004086541A JP 2004086541 A JP2004086541 A JP 2004086541A JP 2005277654 A JP2005277654 A JP 2005277654A
Authority
JP
Japan
Prior art keywords
signal
audio
network
image signal
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004086541A
Other languages
Japanese (ja)
Other versions
JP4424027B2 (en
Inventor
Hiroyuki Shinpo
宏之 新保
Akira Idogami
彰 井戸上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2004086541A priority Critical patent/JP4424027B2/en
Publication of JP2005277654A publication Critical patent/JP2005277654A/en
Application granted granted Critical
Publication of JP4424027B2 publication Critical patent/JP4424027B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system or the like by which the entire radio link for a voice signal and for data can be effectively utilized and processing loads of a portable telephone terminal can be reduced. <P>SOLUTION: The portable telephone communication system has the portable telephone terminal which is connected to a voice network and a data network, a virtual terminal device which is connected to the voice network and the data network, and an opponent communication device connected to the virtual terminal device. The virtual terminal device has an application processor which interprets user data received from the opponent communication device and sorts the user data into a voice signal and an image signal, a virtual screen for developing the image signal on a virtual screen, and a synchronization processor which imparts a synchronizing signal to the voice signal and the image signal, transmits the voice signal to the voice network, and transmits the image signal to the data network. The portable telephone terminal has a synchronization processor which synchronizes the voice signal received via the voice network with the image signal received via the data network, a voice device for emitting a voice based on the voice signal, and an image device for displaying the image signal. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラムに関する。特に、仮想端末ソフトウェアを応用したシステム等に関する。   The present invention relates to a mobile phone communication system, a virtual terminal device, a mobile phone terminal, and a program. In particular, the present invention relates to a system using virtual terminal software.

従来、パーソナルコンピュータのような端末の間で、仮想的に、一方の端末をサーバとし、他方の端末をクライアントとして構成するソフトウェアがある（例えば非特許文献１及び２参照）。これは、サーバとなる第１の端末に「仮想端末サーバプログラム」を起動させ、クライアントとなる第２の端末に「仮想端末クライアントプログラム」を起動させる。第１の端末は、第２の端末からの要求に対して画像信号を第２の端末へ送信し、第２の端末は、その画像信号をディスプレイに表示し、ユーザの要求となる入力を待つ。第２の端末は、ユーザによって入力されたキーボード等の情報を第１の端末へ送信し、その第１の端末からの更なる画像信号を受信する。   Conventionally, there is software that virtually configures one terminal as a server and the other terminal as a client between terminals such as personal computers (see, for example, Non-Patent Documents 1 and 2). This activates the “virtual terminal server program” on the first terminal serving as the server, and activates the “virtual terminal client program” on the second terminal serving as the client. In response to the request from the second terminal, the first terminal transmits an image signal to the second terminal, and the second terminal displays the image signal on the display and waits for an input that is requested by the user. . The second terminal transmits information such as a keyboard input by the user to the first terminal, and receives a further image signal from the first terminal.

このような仮想端末ソフトウェアによれば、第１の端末から第２の端末に対して、画像信号しか送信されないために、その処理に伴う様々なプログラムを送信する場合と比較して、狭い通信帯域しか必要としない。特に、画像情報は、データ圧縮及び差分転送等の技術を用いることにより、更に狭い通信帯域で送信することが可能となる。また、クライアントとなる第２の端末は、画像信号を表示するだけであり、その処理に伴う様々なプログラムを実行する必要がない。そのプログラムの実行は、サーバとなる第１の端末で行われるので、第２の端末は、比較的小さいＣＰＵの能力で実現できる。   According to such virtual terminal software, since only the image signal is transmitted from the first terminal to the second terminal, the communication bandwidth is narrower than in the case of transmitting various programs associated with the processing. I only need it. In particular, image information can be transmitted in a narrower communication band by using techniques such as data compression and differential transfer. Further, the second terminal serving as the client only displays the image signal, and there is no need to execute various programs associated with the processing. Since the program is executed by the first terminal serving as a server, the second terminal can be realized with a relatively small CPU capability.

図１は、従来の携帯電話通信システムの構成図である。   FIG. 1 is a configuration diagram of a conventional mobile phone communication system.

図１によれば、携帯電話事業者設備１と、設備１と無線リンクで接続された携帯電話端末２と、設備１と電話網５を介して接続され且つ音声信号を送受信する電話機３と、設備１とインターネット６を介して接続され且つデータを送受信するサーバ４及びクライアント７とから構成されている。携帯電話事業者設備１は、音声信号を転送する音声網１１と、データを転送するデータ網１２と、携帯電話端末２と無線リンクで接続する基地局１３とを有する。携帯電話端末２と基地局１３との間は、音声信号用無線リンクと、データ用無線リンクとによって接続されている。音声信号用無線リンクは音声網１１と接続され、データ用無線リンクはデータ網１２と接続されている。   According to FIG. 1, a mobile phone operator equipment 1, a mobile phone terminal 2 connected to the equipment 1 through a wireless link, a telephone 3 connected to the equipment 1 via a telephone network 5 and transmitting and receiving voice signals; The server 4 and the client 7 are connected to the facility 1 via the Internet 6 and transmit / receive data. The cellular phone operator equipment 1 includes a voice network 11 that transfers voice signals, a data network 12 that transfers data, and a base station 13 that is connected to the mobile phone terminal 2 via a wireless link. The mobile phone terminal 2 and the base station 13 are connected by a voice signal radio link and a data radio link. The voice signal radio link is connected to the voice network 11, and the data radio link is connected to the data network 12.

携帯電話端末２は、音声信号用無線リンクから受信した音声信号をスピーカから発声し、データ用無線リンクから受信したデータを解釈して、その画像のディスプレイへの表示や、音声のスピーカからの発声を行う。   The cellular phone terminal 2 utters the audio signal received from the audio signal radio link from the speaker, interprets the data received from the data radio link, displays the image on the display, and utters the audio from the audio speaker. I do.

携帯電話端末２は、無線送受信部２１と、アプリケーション処理部２２と、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５とを有する。音声デバイス部２３は、無線送受信部２１から通知された音声信号についてデジタルからアナログへ変換してスピーカから発声し、マイクから取得された音声信号についてアナログからデジタルに変換して無線送受信部２１へ通知する。画像デバイス部２５は、アプリケーション処理部２２から通知された画像信号をディスプレイに表示し、カメラから取得された画像信号をアプリケーション処理部２５へ通知する。入力デバイス部２４は、キーパッドから、ユーザの操作であるキー入力データを取得する。   The cellular phone terminal 2 includes a wireless transmission / reception unit 21, an application processing unit 22, an audio device unit 23, an input device unit 24, and an image device unit 25. The audio device unit 23 converts the audio signal notified from the wireless transmission / reception unit 21 from digital to analog, utters from the speaker, converts the audio signal acquired from the microphone from analog to digital, and notifies the wireless transmission / reception unit 21 To do. The image device unit 25 displays the image signal notified from the application processing unit 22 on the display, and notifies the application processing unit 25 of the image signal acquired from the camera. The input device unit 24 acquires key input data, which is a user operation, from the keypad.

無線送受信部２１は、音声信号用無線リンクと音声デバイス部２３との間で音声信号を送受信し、データ用無線リンクとアプリケーション処理部２２との間でデータ信号を送受信する。   The wireless transmission / reception unit 21 transmits / receives an audio signal between the audio signal wireless link and the audio device unit 23, and transmits / receives a data signal between the data wireless link and the application processing unit 22.

アプリケーション処理部２２は、例えばＷｅｂブラウザと同様の機能を有し、データ用無線リンクを介して受信されたＨＴＭＬ(Hypertext Markup Language）データを解釈する。要求されたＷｅｂページが動画像データを含むものであれば、画像信号及び音声信号が取得され、画像信号は画像デバイス部２５へ通知され、音声信号は音声デバイス部２３へ通知される。一方、アプリケーション処理部２２は、画像デバイス部２５から受信した画像信号を、インターネットで送受信可能な形式に変換し、ＩＰパケット化して、無線送受信部２１を介して、データ用無線リンクに送信する。また、アプリケーション処理部２２は、入力デバイス部２４から取得した入力信号をアプリケーションで処理した後、処理した内容について、無線送受信部２１を介して、データ用無線リンクに送信する。   The application processing unit 22 has the same function as, for example, a Web browser, and interprets HTML (Hypertext Markup Language) data received via the data wireless link. If the requested web page includes moving image data, an image signal and an audio signal are acquired, the image signal is notified to the image device unit 25, and the audio signal is notified to the audio device unit 23. On the other hand, the application processing unit 22 converts the image signal received from the image device unit 25 into a format that can be transmitted / received via the Internet, converts the image signal into an IP packet, and transmits the IP packet to the data wireless link via the wireless transmission / reception unit 21. The application processing unit 22 processes the input signal acquired from the input device unit 24 with an application, and then transmits the processed content to the data wireless link via the wireless transmission / reception unit 21.

仮想端末ソフトウェア”ＶＮＣ”、[online]、[平成１６年３月１２日検索]、インターネット<URL:http://www.realvnc.com>Virtual terminal software “VNC”, [online], [March 12, 2004 search], Internet <URL: http: //www.realvnc.com> ＷｉｎｄｏｗｓＸＰ”リモートデスクトップ”、[online]、[平成１６年３月１２日検索]、インターネット<http://www.atmarkit.co.jp/fwin2k/xp_feature/012remotedesktop/remotedesktop_01.html>Windows XP “Remote Desktop”, [online], [Search March 12, 2004], Internet <http://www.atmarkit.co.jp/fwin2k/xp_feature/012remotedesktop/remotedesktop_01.html> ３ＧＰＰ２ ３Ｇ−３２４Ｍ（３ＧＰＰ ＴＲ２６．９１１ Version５．１０）、[online]、[平成１６年３月１２日検索]、インターネット<http://www.3gpp.org/ftp/Specs/html-info/26911.htm>3GPP2 3G-324M (3GPP TR26.911 Version 5.10), [online], [March 12, 2004 search], Internet <http://www.3gpp.org/ftp/Specs/html-info/26911 .htm> マイクロソフト、「Windows Messengerにおける通信の仕組み」の「音声とビデオ」、[online]、[平成１６年３月１２日検索]、インターネット<URL:http://www.microsoft.com/japan/technet/treeview/default.asp?url=/japan/technet/prodtechnol/winxppro/evaluate/insid01.asp>Microsoft, “Audio and Video” of “Communication Mechanism in Windows Messenger”, [online], [Search March 12, 2004], Internet <URL: http: //www.microsoft.com/technet/ treeview / default.asp? url = / japan / technet / prodtechnol / winxppro / evaluate / insid01.asp>

前述したような「仮想端末クライアントプログラム」は、画像信号のみを対象としている。これに対し、インターネットにおいて送受信されるユーザデータには、文字データ又は画像データだけでなく、ＶｏＩＰのような音声データ又はＭＰＥＧのような動画データも含まれる。このようなデータは、画像信号（文字データと動画像データの画像信号とを含む）と、音声信号（動画像データの音声データも含む）とに大きく区別される。従って、携帯電話端末との間でデータ網を介して送受信されるユーザデータにも、音声信号の成分が含まれることになる。このような場合に従来の「仮想端末クライアントプログラム」をそのまま適用した場合、音声信号が扱えないという問題が生じる。   The “virtual terminal client program” as described above targets only an image signal. On the other hand, user data transmitted / received on the Internet includes not only character data or image data but also audio data such as VoIP or moving image data such as MPEG. Such data is largely classified into image signals (including character data and image data of moving image data) and audio signals (including audio data of moving image data). Therefore, the user data transmitted / received to / from the mobile phone terminal via the data network also includes the audio signal component. In such a case, when the conventional “virtual terminal client program” is applied as it is, there arises a problem that an audio signal cannot be handled.

図１に示すようなネットワークを介して、サーバからのユーザデータを受信する場合、ユーザデータに音声データが含まれていても、ユーザデータは全てデータ用無線リンクを介して受信することになる。従って、音声データであるにもかかわらず、データ用無線リンクだけが使用される。そのため、音声信号用無線リンク及びデータ用無線リンクの全体を有効に利用することができない。   When receiving user data from a server via a network as shown in FIG. 1, even if voice data is included in the user data, all user data is received via the data wireless link. Therefore, only the data radio link is used in spite of the voice data. Therefore, the entire voice signal radio link and data radio link cannot be used effectively.

また、携帯電話端末は、受信したデータを解釈し、画像信号や音声信号に復元しなければならないために、ユーザデータに含まれるデータ種別が高度になるほど、より高性能なＣＰＵ又は周辺装置が携帯電話端末に必要になる。このようなＣＰＵ等の高性能化は、消費電力の増大、即ち携帯電話端末の待ち受け時間の短縮にもつながる。   In addition, since the mobile phone terminal must interpret the received data and restore it to an image signal or an audio signal, the higher the data type included in the user data, the more powerful the CPU or peripheral device becomes. Necessary for telephone terminals. Such high performance of the CPU or the like leads to an increase in power consumption, that is, a reduction in standby time of the mobile phone terminal.

従って、本発明は、音声信号用及びデータ用の無線リンク全体を有効に利用することができ、携帯電話端末における処理負荷が少なくて済むようなシステム、装置及びプログラムを提供することを目的とする。   Accordingly, an object of the present invention is to provide a system, apparatus, and program that can effectively use the entire radio link for voice signals and data, and can reduce the processing load on the mobile phone terminal. .

本発明の携帯電話通信システムによれば、
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、
仮想端末装置は、相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理手段と、画像信号を仮想画面に展開する仮想画面手段と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理手段とを有し、
携帯電話端末は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理手段と、音声信号を発声する音声デバイス手段と、画像信号を表示する画像デバイス手段とを有することを特徴とする。 According to the mobile phone communication system of the present invention,
A voice network, a data network, a mobile phone terminal connected to the voice network and the data network, a virtual terminal device connected to the voice network and the data network, and a partner communication device connected to the virtual terminal device Have
The virtual terminal device interprets user data received from the partner communication device and distributes the audio signal and the image signal into an application processing means, a virtual screen means for developing the image signal on a virtual screen, and a synchronization with the audio signal and the image signal. Synchronization processing means for providing a signal, transmitting the audio signal to an audio network, and transmitting the image signal to a data network;
The cellular phone terminal includes a synchronization processing unit that synchronizes an audio signal received through the audio network and an image signal received through the data network, an audio device unit that utters the audio signal, and an image that displays the image signal. And device means.

また、本発明の携帯電話通信システムにおける他の実施形態よれば、
携帯電話端末は、利用者の操作内容を取得する入力デバイス手段と、該操作内容を入力信号としてデータ網へ送信する入力処理手段とを更に有し、
仮想端末装置は、入力信号から得られる操作内容をアプリケーション処理手段へ通知する入力処理手段を更に有し、該アプリケーション処理手段は、操作内容を解釈して相手通信装置へユーザデータを要求するように構成されていることも好ましい。 According to another embodiment of the mobile phone communication system of the present invention,
The mobile phone terminal further includes input device means for acquiring the operation content of the user, and input processing means for transmitting the operation content to the data network as an input signal,
The virtual terminal device further includes an input processing means for notifying the application processing means of the operation content obtained from the input signal, and the application processing means interprets the operation content and requests user data from the counterpart communication device. It is also preferable that it is configured.

また、本発明の携帯電話通信システムによれば、
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、仮想端末装置に接続された相手通信装置とを有し、
携帯電話端末は、音声信号を取得する音声デバイス手段と、画像信号を取得する画像デバイス手段と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理手段とを有し、
仮想端末装置は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理手段と、同期された音声信号及び画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信するアプリケーション処理手段とを有することを特徴とする。 Moreover, according to the mobile phone communication system of the present invention,
A voice network; a data network; a voice network; a mobile phone terminal connected to the data network; a virtual terminal device connected to the voice network and the data network; and a partner communication device connected to the virtual terminal device. Have
The mobile phone terminal includes an audio device means for acquiring an audio signal, an image device means for acquiring an image signal, an audio signal and a synchronization signal added to the image signal, and transmitting the audio signal to an audio network. Synchronization processing means for transmitting to the data network,
The virtual terminal device generates synchronization data that synchronizes the audio signal received via the audio network and the image signal received via the data network, and integrated data that integrates the synchronized audio signal and image signal. And an application processing means for transmitting the integrated data to the counterpart communication device.

また、本発明の携帯電話通信システムにおける他の実施形態によれば、
仮想端末装置は、アプリケーション処理手段の結果に基づいて携帯電話端末を制御する指示信号を生成し、該指示信号を携帯電話端末へ送信する、及び携帯電話端末からの指示信号を受信し、仮想制御装置の仮想画面を制御する指示処理手段を更に有し、
携帯電話端末は、仮想端末装置から受信した指示信号に基づいて音声デバイス手段及び画像デバイス手段を制御する、及び仮想端末装置の仮想画面と同期を取るために指示信号を生成し、該指示信号を仮想端末装置へ送信する指示処理手段を更に有することも好ましい。 According to another embodiment of the mobile phone communication system of the present invention,
The virtual terminal device generates an instruction signal for controlling the mobile phone terminal based on the result of the application processing means, transmits the instruction signal to the mobile phone terminal, receives the instruction signal from the mobile phone terminal, and performs virtual control. Further comprising instruction processing means for controlling the virtual screen of the device;
The mobile phone terminal controls the voice device means and the image device means based on the instruction signal received from the virtual terminal device, generates an instruction signal to synchronize with the virtual screen of the virtual terminal device, and outputs the instruction signal It is also preferable to further include instruction processing means for transmitting to the virtual terminal device.

本発明の仮想端末装置によれば、
音声網及びデータ網に接続されており、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、音声網から受信された音声信号及びデータ網から受信された画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
画像信号を仮想画面に展開する仮想画面手段と、
音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能と、音声網を介して受信した音声信号とデータ網を介して受信した画像信号とを同期させる機能とを有する同期処理手段とを有することを特徴とする。 According to the virtual terminal device of the present invention,
Connected to voice network and data network,
Interpreting user data received from the partner communication device, and generating integrated data that integrates the audio signal received from the audio network and the image signal received from the data network, and the function of distributing the audio signal and the image signal Application processing means having a function of transmitting integrated data to a partner communication device;
Virtual screen means for expanding an image signal into a virtual screen;
A synchronization signal is added to the audio signal and image signal, the audio signal is transmitted to the audio network, the image signal is transmitted to the data network, and the audio signal received via the audio network and received via the data network. And synchronization processing means having a function of synchronizing the image signal.

本発明の携帯電話端末によれば、
音声網及びデータ網に接続されており、
音声信号を発声し且つ取得する音声デバイス手段と、
画像信号を表示し且つ取得する画像デバイス手段と、
音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させ、音声信号を音声デバイスへ通知し、画像信号を画像デバイス手段へ通知する機能と、音声デバイスから通知された音声信号と画像デバイス手段から通知された画像信号とに同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能とを有する同期処理手段と、
を有することを特徴とする。 According to the mobile phone terminal of the present invention,
Connected to voice network and data network,
Audio device means for uttering and acquiring audio signals;
Image device means for displaying and acquiring image signals;
Synchronize the audio signal received via the audio network with the image signal received via the data network, notify the audio device of the audio signal, notify the image device means of the image signal, and notify from the audio device Synchronization processing means having a function of giving a synchronization signal to the audio signal and the image signal notified from the image device means, transmitting the audio signal to the audio network, and transmitting the image signal to the data network;
It is characterized by having.

本発明の仮想端末プログラムによれば、
音声網及びデータ網に接続されており、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、音声網から受信された音声信号及びデータ網から受信された画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
画像信号を仮想画面に展開する仮想画面手段と、
音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能と、音声網を介して受信した音声信号とデータ網を介して受信した画像信号とを同期させる機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする。 According to the virtual terminal program of the present invention,
Connected to voice network and data network,
Interpreting user data received from the counterpart communication device, and generating integrated data that integrates the audio signal received from the voice network and the image signal received from the data network, and a function for distributing the voice signal and the image signal, Application processing means having a function of transmitting integrated data to a partner communication device;
Virtual screen means for expanding an image signal into a virtual screen;
A synchronization signal is added to the audio signal and image signal, the audio signal is transmitted to the audio network, the image signal is transmitted to the data network, and the audio signal received via the audio network and received via the data network. The computer is caused to function as a synchronization processing unit having a function of synchronizing the image signal.

本発明の携帯電話端末プログラムによれば、
音声網及びデータ網に接続されており、
音声信号を発声し且つ取得する音声デバイス手段と、
画像信号を表示し且つ取得する画像デバイス手段と、
音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させ、音声信号を音声デバイスへ通知し、画像信号を画像デバイス手段へ通知する機能と、音声デバイスから通知された音声信号と画像デバイス手段から通知された画像信号とに同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする。 According to the mobile phone terminal program of the present invention,
Connected to voice network and data network,
Audio device means for uttering and acquiring audio signals;
Image device means for displaying and acquiring image signals;
Synchronize the audio signal received via the audio network with the image signal received via the data network, notify the audio device of the audio signal, notify the image device means of the image signal, and notify from the audio device A computer as a synchronization processing unit having a function of adding a synchronization signal to the received audio signal and the image signal notified from the image device unit, transmitting the audio signal to the audio network, and transmitting the image signal to the data network Is made to function.

本発明の仮想端末装置及びネットワークシステムによれば、音声データに対しては音声網及び音声用無線リンクが用いられるために、無線リンク全体を有効に利用することができる。また、携帯電話端末に搭載されるＣＰＵは、単純な音声／画像信号のみを処理すればよく、携帯電話端末がユーザデータを解釈する必要がない。従って、高性能なＣＰＵ等が不要となり、消費電力の消費も比較的少なく済み、携帯電話端末の待ち受け時間の延長につながる。   According to the virtual terminal device and the network system of the present invention, since the voice network and the voice radio link are used for voice data, the entire radio link can be used effectively. Further, the CPU mounted on the mobile phone terminal only needs to process simple audio / image signals, and the mobile phone terminal does not need to interpret user data. Therefore, a high-performance CPU or the like is not required, power consumption is relatively small, and the standby time of the mobile phone terminal is extended.

更に、携帯電話端末の表示能力の表示画面サイズは一定であるので、画像信号を転送するデータ用無線リンクの通信帯域を一定にすることができる。また、仮想端末の方式を採用することにより、ユーザデータの全てを転送する必要がないため、無線リンクで必要となる帯域を抑制することができる。   Further, since the display screen size of the display capability of the mobile phone terminal is constant, the communication band of the data wireless link for transferring the image signal can be made constant. In addition, by adopting the virtual terminal method, it is not necessary to transfer all user data, so that the bandwidth required for the wireless link can be suppressed.

更に、携帯電話端末は、音声デバイス部によって取得された音声信号と、画像デバイス部によって取得された画像信号とをアプリケーション処理することなく別々に仮想端末装置へ送信することができるので、この点においても、携帯電話端末の処理負荷の軽減となる。   Furthermore, since the mobile phone terminal can separately transmit the audio signal acquired by the audio device unit and the image signal acquired by the image device unit to the virtual terminal device without performing application processing. This also reduces the processing load on the mobile phone terminal.

以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.

図２は、本発明における携帯電話通信システムの構成図である。   FIG. 2 is a configuration diagram of a mobile phone communication system according to the present invention.

図２によれば、図１と比較して、インターネット６とデータ網１２との間に仮想端末装置１０を備えている点が相違する。仮想端末装置１０は、データ網１２と音声網１１とに接続されている。図１の従来技術によれば、携帯電話端末２がアプリケーション処理部２２を有するのに対し、図２の本発明によれば、仮想携帯端末装置１０が、携帯電話端末のアプリケーション処理部を有することに特徴がある。本発明による携帯電話端末は、仮想端末装置１０との間で、音声網を介して音声信号を送受信し、データ網を介して画像信号（その他データを含む）を送受信する。   2 is different from FIG. 1 in that a virtual terminal device 10 is provided between the Internet 6 and the data network 12. The virtual terminal device 10 is connected to the data network 12 and the voice network 11. According to the prior art of FIG. 1, the mobile phone terminal 2 has the application processing unit 22, whereas according to the present invention of FIG. 2, the virtual mobile terminal device 10 has the application processing unit of the mobile phone terminal. There is a feature. The cellular phone terminal according to the present invention transmits and receives audio signals to and from the virtual terminal device 10 via the audio network, and transmits and receives image signals (including other data) via the data network.

仮想端末装置１０は、アプリケーション処理部１０１と、仮想画面部１０２と、入力処理部１０３と、指示処理部１０４と、同期処理部１０５とを有する。勿論、これら機能部は、プログラムとして実現可能である。   The virtual terminal device 10 includes an application processing unit 101, a virtual screen unit 102, an input processing unit 103, an instruction processing unit 104, and a synchronization processing unit 105. Of course, these functional units can be realized as a program.

アプリケーション処理部１０１は、既存の携帯電話端末に搭載されるアプリケーション処理の機能を有する。この機能は、インターネット６を介して受信されたＩＰパケットのデータの内容を解釈するものである。例えばＷｅｂページを受信した場合、既存の携帯電話端末に搭載されているブラウザ機能と同じ処理を行う。Ｗｅｂページが例えばＨＴＭＬ(HyperText Markup Language)データと動画像データとを含む場合、ディスプレイに表示するための画像信号と、音声デバイス部に出力するための音声信号とを取り出すことができる。アプリケーション処理結果から画像信号や音声信号を取り出す方式は、既存の方式（例えば非特許文献３参照）を用いる。   The application processing unit 101 has a function of application processing installed in an existing mobile phone terminal. This function interprets the content of IP packet data received via the Internet 6. For example, when a web page is received, the same processing as the browser function installed in the existing mobile phone terminal is performed. When the Web page includes, for example, HTML (HyperText Markup Language) data and moving image data, it is possible to extract an image signal to be displayed on the display and an audio signal to be output to the audio device unit. An existing method (see, for example, Non-Patent Document 3) is used as a method for extracting an image signal and an audio signal from the application processing result.

また、アプリケーション処理部１０１は、音声網１１及びデータ網１２を介して受信された音声信号及び画像信号から、アプリケーション処理によって統合データを生成する機能を有する（例えば非特許文献４参照）。例えば、音声信号及び画像信号から動画像データのストリームデータを生成することができ、ＨＴＴＰ(HyperText Transfer Protocol)によってインターネット６を介して相手通信端末へ送信される。   In addition, the application processing unit 101 has a function of generating integrated data by application processing from audio signals and image signals received via the audio network 11 and the data network 12 (see, for example, Non-Patent Document 4). For example, stream data of moving image data can be generated from an audio signal and an image signal, and transmitted to a partner communication terminal via the Internet 6 by HTTP (HyperText Transfer Protocol).

更に、アプリケーション処理部１０１は、携帯電話端末２に対して指示信号を送信する機能も有する。指示信号とは、携帯電話端末２の音声デバイス部２３及び画像デバイス部２５を制御させるための信号である。これは、アプリケーションの処理によって携帯電話端末２を制御するために用いられる。   Furthermore, the application processing unit 101 has a function of transmitting an instruction signal to the mobile phone terminal 2. The instruction signal is a signal for controlling the audio device unit 23 and the image device unit 25 of the mobile phone terminal 2. This is used to control the mobile phone terminal 2 by application processing.

仮想画面部１０２は、アプリケーション処理部１０１から出力された画像信号を、仮想画面に描画する機能を有する。これにより、現在、携帯電話端末の画面上に描画されている内容を把握することができる。あくまで、仮想的に画面描画するものであり、実際にディスプレイに表示するものではない。   The virtual screen unit 102 has a function of drawing the image signal output from the application processing unit 101 on the virtual screen. This makes it possible to grasp the contents currently drawn on the screen of the mobile phone terminal. The screen is virtually drawn on the screen, and is not actually displayed on the display.

入力処理部１０３は、携帯電話端末２から受信した入力信号を解釈し、利用者が入力した内容、例えばキーパッドからの入力の内容を、アプリケーション処理部１０１へ通知する。   The input processing unit 103 interprets the input signal received from the mobile phone terminal 2 and notifies the application processing unit 101 of the content input by the user, for example, the content of input from the keypad.

指示処理部１０４は、アプリケーション処理部１０１の処理結果に基づいて、携帯電話端末２のカメラを起動するような制御、又は、無線状況によって携帯電話端末のディスプレイと仮想端末装置の仮想画面との内容を同期させるような制御のための指示信号を生成し、データ網１２へ送信する。加えて、携帯電話端末２への指示に対する応答、又は、携帯電話端末２から送信される仮想画面同期制御のための指示信号をデータ網から受信する。   The instruction processing unit 104 controls the activation of the camera of the mobile phone terminal 2 based on the processing result of the application processing unit 101, or the contents of the display of the mobile phone terminal and the virtual screen of the virtual terminal device depending on the wireless status An instruction signal for control to synchronize the data is generated and transmitted to the data network 12. In addition, a response to an instruction to the mobile phone terminal 2 or an instruction signal for virtual screen synchronization control transmitted from the mobile phone terminal 2 is received from the data network.

同期処理部１０５は、動画像データのように画像信号と同期信号とを同期させなくてはならない場合に、画像信号及び音声信号に同期信号を埋め込んで携帯電話端末２へ送信する機能を有する。また、携帯電話端末２から受信した画像信号及び音声信号について同期をとってアプリケーション処理部１０１へ通知する機能も有する。   The synchronization processing unit 105 has a function of embedding the synchronization signal in the image signal and the audio signal and transmitting it to the mobile phone terminal 2 when the image signal and the synchronization signal must be synchronized as in the case of moving image data. Further, it has a function of synchronizing the image signal and audio signal received from the mobile phone terminal 2 and notifying the application processing unit 101.

音声信号及び画像信号に付加される同期信号は、タイムスタンプのようなものであって、それぞれの信号について時間的に同じ部分は、同じ値が入ることになる。同期信号は、音声信号及び画像信号のヘッダ部分に付加される。携帯電話網では、音声信号もデジタル化されているために、このようなヘッダを付けることは容易である。   The synchronization signal added to the audio signal and the image signal is like a time stamp, and the same value enters the same part in time for each signal. The synchronization signal is added to the header portion of the audio signal and the image signal. In the mobile phone network, since the audio signal is also digitized, it is easy to attach such a header.

例えば、同期処理部１０５は、データ網から画像信号は受信されているけれども、音声網から音声信号が受信されていない場合（又はその逆）、同一の同期信号を有する音声信号（又は画像信号）が到着するまで、画像信号（又は音声信号）を蓄積する機能も有する。これにより、同一の同期信号を有する音声信号（又は画像信号）信号が到着しだい、同一タイミングで、画像信号及び音声信号をアプリケーション処理部１０１へ通知する。   For example, the synchronization processing unit 105 receives an audio signal (or an image signal) having the same synchronization signal when the image signal is received from the data network but the audio signal is not received from the audio network (or vice versa). It also has a function of accumulating image signals (or audio signals) until. As a result, as soon as an audio signal (or image signal) signal having the same synchronization signal arrives, the application processor 101 is notified of the image signal and the audio signal at the same timing.

加えて、同期処理部１０５は、アプリケーション処理部１０１から通知された音声信号と、画像信号とが動画像データのようなものであって、同期をとる必要がある場合には、音声信号及び画像信号に同期信号を埋め込んで、音声網１１とデータ網１２に送信する機能も有する。尚、音声信号と画像信号とについて同期を取る必要がなければ、それぞれの信号を単独に送信する。   In addition, when the audio signal notified from the application processing unit 101 and the image signal are like moving image data and need to be synchronized, the synchronization processing unit 105 outputs the audio signal and the image. It also has a function of embedding a synchronization signal in the signal and transmitting it to the voice network 11 and the data network 12. If it is not necessary to synchronize the audio signal and the image signal, each signal is transmitted independently.

また、電波状況の悪化によって通信できない場合に、携帯電話端末２に反映された情報と、仮想端末装置１０の情報とを同期させる機能を有する。本機能は、通信が可能になった場合、携帯電話端末の画像情報から、仮想画面を再構築するためのものである。   In addition, when communication is not possible due to deterioration of radio wave conditions, the information reflected on the mobile phone terminal 2 and the information on the virtual terminal device 10 are synchronized. This function is for reconstructing a virtual screen from image information of a mobile phone terminal when communication becomes possible.

本発明による携帯電話端末２は、無線送受信部２１と、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５と、同期処理部２６と、入力処理部２７と、指示処理部２８とを有する。無線送受信部２１と、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５とは、図１の説明と同様である。   The cellular phone terminal 2 according to the present invention includes a wireless transmission / reception unit 21, an audio device unit 23, an input device unit 24, an image device unit 25, a synchronization processing unit 26, an input processing unit 27, and an instruction processing unit 28. Have The wireless transmission / reception unit 21, the audio device unit 23, the input device unit 24, and the image device unit 25 are the same as described in FIG.

同期処理部２６は、動画像データのように画像信号及び音声信号を同期させなくてはならない場合、音声網１１から受信した音声信号とデータ網１２から受信した画像信号とに埋め込まれている同期信号を用いて、これら信号を同期させる。同期させた音声信号は音声デバイス部２３へ通知され、画像信号は画像デバイス部２５へ通知される。   The synchronization processing unit 26 synchronizes the audio signal received from the audio network 11 and the image signal received from the data network 12 when the image signal and the audio signal have to be synchronized like moving image data. These signals are synchronized using signals. The synchronized audio signal is notified to the audio device unit 23, and the image signal is notified to the image device unit 25.

例えば、同期処理部２６は、データ網から画像信号は受信されているけれども、音声網から音声信号が受信されていない場合（又はその逆）、同一の同期信号を有する音声信号（又は画像信号）が到着するまで、画像信号（又は音声信号）を蓄積する機能も有する。これにより、同一の同期信号を有する音声信号（又は画像信号）信号が到着しだい、同一タイミングで、音声信号を音声デバイス部２３へ通知し、画像信号を画像デバイス部２５へ通知する。   For example, the synchronization processing unit 26 receives an audio signal (or an image signal) having the same synchronization signal when the image signal is received from the data network but the audio signal is not received from the audio network (or vice versa). It also has a function of accumulating image signals (or audio signals) until. As a result, as soon as an audio signal (or image signal) signal having the same synchronization signal arrives, the audio signal is notified to the audio device unit 23 and the image signal is notified to the image device unit 25 at the same timing.

加えて、同期処理部２６は、音声デバイス部２３から受信した音声信号と、入力デバイス部２４から受信した画像信号とが動画像データのようなものであって、同期をとる必要がある場合には、音声信号及び画像信号に同期信号を埋め込んで無線送受信部２１へ通知する機能も有する。尚、音声信号と画像信号とについて同期をとる必要がなければ、それぞれの信号を単独に送信する。   In addition, the synchronization processing unit 26 is used when the audio signal received from the audio device unit 23 and the image signal received from the input device unit 24 are like moving image data and need to be synchronized. Also has a function of embedding a synchronization signal in an audio signal and an image signal and notifying the wireless transmission / reception unit 21. If it is not necessary to synchronize the audio signal and the image signal, the respective signals are transmitted independently.

入力処理部２７は、例えばキーパッドのような入力デバイス部２４から入力の内容を受信する。そして、入力の内容に基づく入力信号を同期処理部２６へ通知する。これにより、入力信号は、データ用無線リンクを介して仮想端末装置１０へ送信される。また、入力された内容を、画像デバイス部２５へ通知し、ディスプレイにその内容を表示させる。   The input processing unit 27 receives input contents from the input device unit 24 such as a keypad. Then, the synchronization processing unit 26 is notified of an input signal based on the content of the input. As a result, the input signal is transmitted to the virtual terminal device 10 via the data wireless link. Further, the input content is notified to the image device unit 25, and the content is displayed on the display.

また、入力処理部２７は、入力されたデータを保持し、利用者のアクション（送信ボタン等の押下）により、仮想端末装置１０へ送信するようにすることができる。携帯電話通信システムは、基本的に往復遅延が大きいために、最終的な結果のみを仮想端末装置へ送信することにより、遅延対策又は帯域節約を行う。   Further, the input processing unit 27 can hold the input data and transmit it to the virtual terminal device 10 by a user action (pressing a transmission button or the like). Since the mobile phone communication system basically has a large round-trip delay, only the final result is transmitted to the virtual terminal device, so that a countermeasure for delay or bandwidth saving is performed.

指示処理部２８は、仮想端末装置１０から受信した指示信号に基づいて、音声デバイス部２３と、入力デバイス部２４と、画像デバイス部２５とを制御する。例えば、指示信号に基づいて画像デバイス部２５のカメラを起動させたり、音声デバイス部２３のマイクを起動させることができる。加えて、仮想端末装置１０からの指示信号への応答や、仮想端末装置１０へ仮想画面同期制御のための指示信号を生成し、送信することができる。指示信号は、データ用無線リンクを介して仮想端末装置１０と送受信される。   The instruction processing unit 28 controls the audio device unit 23, the input device unit 24, and the image device unit 25 based on the instruction signal received from the virtual terminal device 10. For example, the camera of the image device unit 25 can be activated or the microphone of the audio device unit 23 can be activated based on the instruction signal. In addition, a response to an instruction signal from the virtual terminal device 10 and an instruction signal for virtual screen synchronization control can be generated and transmitted to the virtual terminal device 10. The instruction signal is transmitted / received to / from the virtual terminal device 10 via the data wireless link.

図３は、サーバから携帯電話端末へＷｅｂページを送信するシーケンス図である。   FIG. 3 is a sequence diagram for transmitting a Web page from the server to the mobile phone terminal.

（Ｓ３０１）携帯電話端末２を操作するユーザが、サーバ４に、動画像データを有するＷｅｂページ（例えばＭＰＥＧ形式及び文字から構成）を要求する。このページ要求は、ユーザが携帯電話端末２を操作して、所定のボタンを押下したことがトリガとなる。このユーザの操作は、入力デバイス部２４が検出する。
（Ｓ３０２）入力デバイス部２４は、ユーザが携帯電話端末２に入力した情報を入力処理部２７へ通知し、入力処理部２７は入力信号を生成する。その入力信号は、データ用無線リンクとデータ網１２とを介して、仮想端末装置１０へ送信される。その後、入力信号は、仮想端末装置１０の入力処理部１０３へ通知され、入力された内容（画面上の位置及びボタンが押下されたこと）が、アプリケーション処理部１０１へ通知される。
（Ｓ３０３）アプリケーション処理部１０１は、入力された内容に基づいて、ユーザが当該Ｗｅｂページを要求をしていることを把握する。これは、既存の携帯電話端末におけるハイパーリンクのクリックと同様の処理である。
（Ｓ３０４）仮想端末装置１０は、当該Ｗｅｂページを要求する。サーバ４と仮想端末装置１０との間は、既存の携帯電話端末と同様に、ＨＴＴＰによって実現される。従って、Ｗｅｂページの要求は、HTTP Requestによって行われる。
（Ｓ３０５）サーバ４は、Ｗｅｂページのデータ（ＨＴＭＬデータ＋動画像）を返信する。
（Ｓ３０６）仮想端末装置１０のアプリケーション処理部１０１は、受信したデータの内容を解釈する。この解釈処理は、既存の携帯電話端末に搭載されているブラウザが行う処理と同じである。解釈の結果、取得したＷｅｂページには、ＨＴＭＬデータと動画とが含まれていることを把握する。そして、アプリケーション処理部１０１は、ＨＴＭＬデータ及び動画像から、ディスプレイに表示するための画像信号と、スピーカから出力するための音声信号とに振り分ける。
（Ｓ３０７）アプリケーション処理部１０１は、Ｓ３０６で生成された画像信号を、仮想画面部１０２へ通知する。
（Ｓ３０８）仮想画面部１０２は、Ｓ３０６で生成された画像信号を、仮想端末装置の仮想画面上に描画する。これは、仮想端末装置内で携帯電話端末の画面表示を把握するために行われる。
（Ｓ３０９）仮想画面部１０２は、画像信号を同期処理部１０５へ通知する。
（Ｓ３１０）アプリケーション処理部１０１は、Ｓ３０６で生成された音声信号を、同期処理部１０５へ通知する。
（Ｓ３１１）同期処理部１０５は、Ｓ３０９及びＳ３１０で通知された画像信号及び音声信号に対して、同期信号を付加する。
（Ｓ３１２）同期処理部１０５は、画像信号をデータ網１２へ送信する。
（Ｓ３１３）同期処理部１０５は、音声信号を音声網１１へ送信する。
（Ｓ３１４）携帯電話端末２は、データ用無線リンクを介して画像信号を受信し、音声信号用無線リンクを介して音声信号を受信する。同期処理部２６は、受信された画像信号及び音声信号について同期信号の同期をとり、同期がずれている場合は、同一タイミングの同期信号を有する信号が来るまで一旦蓄積する。
（Ｓ３１５）同期処理部２６は、同期がとられた画像信号を、画像デバイス部２５へ通知する。
（Ｓ３１６）同期処理部２６は、同期がとられた音声信号を、音声デバイス部２３へ通知する。
（Ｓ３１７）画像デバイス部２５は、通知された画像信号をディスプレイに表示する。また、音声デバイス部２３は、通知された音声信号をスピーカから発声させる。 (S301) A user operating the mobile phone terminal 2 requests the server 4 for a Web page (for example, composed of MPEG format and characters) having moving image data. This page request is triggered by the user operating the cellular phone terminal 2 and pressing a predetermined button. The user operation is detected by the input device unit 24.
(S302) The input device unit 24 notifies the input processing unit 27 of information input by the user to the mobile phone terminal 2, and the input processing unit 27 generates an input signal. The input signal is transmitted to the virtual terminal device 10 via the data wireless link and the data network 12. Thereafter, the input signal is notified to the input processing unit 103 of the virtual terminal device 10, and the input contents (the position on the screen and the button being pressed) are notified to the application processing unit 101.
(S303) The application processing unit 101 grasps that the user is requesting the Web page based on the input content. This is the same processing as the click of a hyperlink in an existing mobile phone terminal.
(S304) The virtual terminal device 10 requests the Web page. The server 4 and the virtual terminal device 10 are realized by HTTP as in the existing mobile phone terminal. Therefore, the request for the Web page is made by HTTP Request.
(S305) The server 4 returns Web page data (HTML data + moving image).
(S306) The application processing unit 101 of the virtual terminal device 10 interprets the content of the received data. This interpretation processing is the same as the processing performed by the browser installed in the existing mobile phone terminal. As a result of the interpretation, it is understood that the acquired Web page includes HTML data and a moving image. Then, the application processing unit 101 sorts HTML data and moving images into an image signal to be displayed on a display and an audio signal to be output from a speaker.
(S307) The application processing unit 101 notifies the virtual screen unit 102 of the image signal generated in S306.
(S308) The virtual screen unit 102 draws the image signal generated in S306 on the virtual screen of the virtual terminal device. This is performed in order to grasp the screen display of the mobile phone terminal in the virtual terminal device.
(S309) The virtual screen unit 102 notifies the synchronization processing unit 105 of the image signal.
(S310) The application processing unit 101 notifies the synchronization processing unit 105 of the audio signal generated in S306.
(S311) The synchronization processing unit 105 adds a synchronization signal to the image signal and the audio signal notified in S309 and S310.
(S 312) The synchronization processing unit 105 transmits an image signal to the data network 12.
(S313) The synchronization processing unit 105 transmits an audio signal to the audio network 11.
(S314) The mobile phone terminal 2 receives the image signal via the data radio link and receives the audio signal via the audio signal radio link. The synchronization processing unit 26 synchronizes the synchronization signal with respect to the received image signal and audio signal. If the synchronization signal is out of sync, the synchronization processing unit 26 temporarily accumulates signals having synchronization signals with the same timing.
(S315) The synchronization processing unit 26 notifies the image device unit 25 of the synchronized image signal.
(S316) The synchronization processing unit 26 notifies the audio device unit 23 of the synchronized audio signal.
(S317) The image device unit 25 displays the notified image signal on the display. The audio device unit 23 causes the speaker to utter the notified audio signal.

図４は、携帯電話端末２からクライアント７へ動画像データを送信するシーケンス図である。   FIG. 4 is a sequence diagram for transmitting moving image data from the mobile phone terminal 2 to the client 7.

（Ｓ４０１）携帯電話端末２を所持しているユーザが、クライアント７へ動画像データ（画像信号＋音声信号）を送信したいとする。この送信は、ユーザが携帯電話端末２を操作して、所定のボタンを押下したことがトリガとなる。このユーザの操作は、入力デバイス部２４が検出する。
（Ｓ４０２）入力デバイス部２４は、ユーザが携帯電話端末２に入力した情報（ボタンの押下）を入力処理部２７へ通知し、入力処理部２７は、入力信号を生成する。その入力信号は、データ用無線リンクとデータ網１２とを介して、仮想端末装置１０へ送信される。その後、入力信号は、仮想端末装置１０の入力処理部１０３へ通知され、入力された内容（画面上の位置及びボタンが押下されたこと）が、アプリケーション処理部１０１へ通知される。
（Ｓ４０３）アプリケーション処理部１０１は、入力された内容に基づいて、ユーザがクライアント７へ動画像データを送信したいことを把握する。
（Ｓ４０４）アプリケーション処理部１０１は、受信先となるクライアント７へ動画像送信待機要求を送信する。尚、Ｓ４０４及びＳ４０５の処理は、既存のストリーミングデータ送信方式（例えば非特許文献４参照）を用いて行われる。
（Ｓ４０５）サーバ４は、動画像を受信する準備ができた場合、動画像受信待機応答を仮想端末装置１０へ返信する。
（Ｓ４０６）仮想端末装置１０のアプリケーション処理部１０１は、携帯電話端末２のカメラ又はマイクを起動して動画像データの送信を開始すべきことを、指示処理部１０４へ通知する。指示処理部１０４は、その旨の指示信号を生成し、携帯電話端末２へ送信する。携帯電話端末２の指示処理部２８は、受信した指示信号に基づいて、画像デバイス部２５へカメラを起動することと、音声デバイス部２３へマイクを起動することとを通知する。
（Ｓ４０７）画像デバイス部２５はカメラを起動し、音声デバイス部はマイクを起動する。
（Ｓ４０８）画像デバイス部２５は、カメラによって取得された画像信号を同期処理部２６へ通知する。
（Ｓ４０９）音声デバイス部２３は、マイクによって取得された音声をデジタル化した音声信号を、同期処理部２６へ通知する。音声信号には、データとして送信することを示す情報をヘッダ部分に付加する。
（Ｓ４１０）同期処理部２６は、Ｓ４０８及びＳ４１０で通知された画像信号及び音声信号に対して、同期信号を付加する。
（Ｓ４１１）携帯電話端末２は、画像信号をデータ網１２を介して送信する。
（Ｓ４１２）携帯電話端末２は、音声信号を音声網１１を介して送信する。
（Ｓ４１３）仮想端末装置１０は、データ網を介して画像信号を受信し、音声網を介して音声信号を受信する。同期処理部１０５は、受信された画像信号及び音声信号について同期信号の同期をとり、同期がずれている場合は、同一タイミングの同期信号を有する信号が来るまで一旦蓄積する。
（Ｓ４１４）同期処理部１０５は、画像信号をアプリケーション処理部１０１へ通知する。
（Ｓ４１５）音声信号にはデータとして処理することを示すフラグが立っているので、同期処理部１０５は、その音声信号をアプリケーション処理部１０１へ通知する。
（Ｓ４１６）アプリケーション処理部１０１は、受信した画像信号を仮想画面部１０２へ通知し、携帯電話端末上の画面との同期をとる。
（Ｓ４１７）アプリケーション処理部１０１は、画像信号及び音声信号から、例えばストリーミングデータのような動画像データを作成する（例えば非特許文献４参照）。
（Ｓ４１８）アプリケーション処理部１０１は、作成した動画像データを、例えばインターネット６を介してクライアント７へ送信する。
（Ｓ４１９）クライアント７は、受信した動画データを解釈し、表示／発声を行う。 (S401) It is assumed that a user who has the mobile phone terminal 2 wants to transmit moving image data (image signal + audio signal) to the client 7. This transmission is triggered by the user operating the cellular phone terminal 2 and pressing a predetermined button. The user operation is detected by the input device unit 24.
(S402) The input device unit 24 notifies the input processing unit 27 of information (button pressing) input to the mobile phone terminal 2 by the user, and the input processing unit 27 generates an input signal. The input signal is transmitted to the virtual terminal device 10 via the data wireless link and the data network 12. Thereafter, the input signal is notified to the input processing unit 103 of the virtual terminal device 10, and the input contents (the position on the screen and the button being pressed) are notified to the application processing unit 101.
(S403) The application processing unit 101 recognizes that the user wants to transmit moving image data to the client 7 based on the input content.
(S404) The application processing unit 101 transmits a moving image transmission standby request to the client 7 serving as a reception destination. Note that the processing of S404 and S405 is performed using an existing streaming data transmission method (see, for example, Non-Patent Document 4).
(S405) When the server 4 is ready to receive a moving image, the server 4 returns a moving image reception standby response to the virtual terminal device 10.
(S406) The application processing unit 101 of the virtual terminal device 10 notifies the instruction processing unit 104 that the camera or microphone of the mobile phone terminal 2 should be activated to start transmitting moving image data. The instruction processing unit 104 generates an instruction signal to that effect and transmits it to the mobile phone terminal 2. Based on the received instruction signal, the instruction processing unit 28 of the mobile phone terminal 2 notifies the image device unit 25 that the camera is activated and the audio device unit 23 that the microphone is activated.
(S407) The image device unit 25 activates the camera, and the audio device unit activates the microphone.
(S408) The image device unit 25 notifies the synchronization processing unit 26 of the image signal acquired by the camera.
(S409) The audio device unit 23 notifies the synchronization processing unit 26 of an audio signal obtained by digitizing the audio acquired by the microphone. Information indicating transmission as data is added to the header portion of the audio signal.
(S410) The synchronization processing unit 26 adds a synchronization signal to the image signal and the audio signal notified in S408 and S410.
(S411) The mobile phone terminal 2 transmits an image signal via the data network 12.
(S412) The mobile phone terminal 2 transmits an audio signal via the audio network 11.
(S413) The virtual terminal device 10 receives an image signal via a data network and receives an audio signal via a voice network. The synchronization processing unit 105 synchronizes the synchronization signal with respect to the received image signal and audio signal. If the synchronization signal is out of sync, the synchronization processing unit 105 temporarily accumulates signals having synchronization signals with the same timing.
(S414) The synchronization processing unit 105 notifies the application processing unit 101 of an image signal.
(S415) Since the flag indicating that the audio signal is to be processed is set, the synchronization processing unit 105 notifies the application processing unit 101 of the audio signal.
(S416) The application processing unit 101 notifies the received image signal to the virtual screen unit 102 and synchronizes with the screen on the mobile phone terminal.
(S417) The application processing unit 101 creates moving image data such as streaming data from the image signal and the audio signal (see, for example, Non-Patent Document 4).
(S418) The application processing unit 101 transmits the created moving image data to the client 7 via the Internet 6, for example.
(S419) The client 7 interprets the received moving image data and performs display / speech.

図５は、本発明の仮想端末装置における携帯電話端末への送信のフローチャートである。   FIG. 5 is a flowchart of transmission to the mobile phone terminal in the virtual terminal device of the present invention.

（Ｓ５０１）サーバ４から受信したユーザデータの内容を解釈する。前述したように、既存の携帯電話端末におけるアプリケーション処理である。
（Ｓ５０２）ユーザデータに含まれている信号種別を判断する。音声＋画像信号であれば、ユーザデータを仮想画面に描画し、画像信号と音声信号とを取得し、それら信号に必要であれば同期信号を付加する。画像信号のみであれば、ユーザデータを仮想画面に描画し、画像信号を取得する。更に、音声信号が含まれていれば、音声網へ送信するために、フラグ「音声信号送信」＝１にし、画像信号が含まれていれば、データ網へ送信するために、フラグ「画像信号送信」＝１にする。
（Ｓ５０３）送信すべき指示信号があれば、データ網へ送信するために、フラグ「画像信号送信」＝１にする。
（Ｓ５０４）フラグ「画像信号送信」＝１ならば、携帯電話端末２へ、データ網を介して画像信号又は指示信号を送信する。
（Ｓ５０５）フラグ「音声信号送信」＝１ならば、携帯電話端末２へ、音声網を介して音声信号を送信する。 (S501) The contents of the user data received from the server 4 are interpreted. As described above, it is application processing in an existing mobile phone terminal.
(S502) The signal type included in the user data is determined. If it is an audio + image signal, user data is drawn on a virtual screen, an image signal and an audio signal are acquired, and a synchronization signal is added to these signals if necessary. If there is only an image signal, the user data is drawn on the virtual screen and the image signal is acquired. Further, if an audio signal is included, the flag “audio signal transmission” = 1 is set for transmission to the audio network, and if an image signal is included, the flag “image signal” is transmitted to the data network. “Transmit” = 1.
(S503) If there is an instruction signal to be transmitted, the flag “image signal transmission” = 1 is set in order to transmit to the data network.
(S504) If the flag “image signal transmission” = 1, an image signal or an instruction signal is transmitted to the mobile phone terminal 2 via the data network.
(S505) If the flag “voice signal transmission” = 1, the voice signal is transmitted to the mobile phone terminal 2 via the voice network.

図６は、本発明の仮想端末装置における携帯電話端末からの受信のフローチャートである。   FIG. 6 is a flowchart of reception from the mobile phone terminal in the virtual terminal device of the present invention.

（Ｓ６０１）携帯電話端末から指示信号を受信している場合、アプリケーション処理部で指示内容を処理する。例えば、携帯電話端末と仮想端末装置の仮想画面の内容を同期する必要がある場合に用いられる。
（Ｓ６０２）受信されたユーザデータに含まれている信号種別を判断する。音声信号が含まれていれば、フラグ「音声信号受信」＝１にし、画像信号が含まれていればフラグ「画像信号受信」＝１にする。
（Ｓ６０３）携帯電話端末から受信した音声信号及び画像信号のそれぞれに同期信号が含まれていれば、両信号の同期をとる。このとき、タイミングがずれていれば、同期をとるために、一方の信号を同期信号処理部で一時的に蓄積する。
（Ｓ６０４）音声信号があれば、アプリケーション処理部へ通知する。
（Ｓ６０５）画像信号があれば、アプリケーション処理部へ通知する。また、入力信号がある場合、入力信号を入力処理部で入力データとし、それをアプリケーション処理部に通知する。
（Ｓ６０６）音声信号又は画像信号があれば、アプリケーション処理部でＩＰパケットを生成し、相手通信装置へ送信する。また、画像信号があれば、その画像信号は仮想画面部へ通知される。 (S601) When the instruction signal is received from the mobile phone terminal, the application processor processes the instruction content. For example, it is used when it is necessary to synchronize the contents of a virtual screen of a mobile phone terminal and a virtual terminal device.
(S602) A signal type included in the received user data is determined. If an audio signal is included, the flag “audio signal reception” = 1, and if an image signal is included, the flag “image signal reception” = 1.
(S603) If a synchronization signal is included in each of the audio signal and the image signal received from the mobile phone terminal, both signals are synchronized. At this time, if the timing is shifted, one signal is temporarily stored in the synchronization signal processing unit in order to synchronize.
(S604) If there is an audio signal, the application processor is notified.
(S605) If there is an image signal, it notifies the application processing unit. When there is an input signal, the input signal is converted into input data by the input processing unit and notified to the application processing unit.
(S606) If there is an audio signal or an image signal, the application processing unit generates an IP packet and transmits it to the partner communication device. If there is an image signal, the image signal is notified to the virtual screen unit.

図７は、本発明の携帯電話端末における仮想端末装置からの受信のフローチャートである。   FIG. 7 is a flowchart of reception from the virtual terminal device in the mobile phone terminal of the present invention.

（Ｓ７０１）仮想端末装置から指示信号を受信している場合、指示処理部で指示内容を把握し、音声デバイス部及び画像デバイス部を制御する。
（Ｓ７０２）受信した信号の種別を判断する。音声信号であればフラグ「音声信号受信」＝１にし、画像信号であればフラグ「画像信号受信」＝１にする。
（Ｓ７０３）同期信号が受信した信号に含まれていれば、画像信号及び音声信号を同期させる。このとき、タイミングがずれていれば、同期をとるために、一方の信号を同期信号処理部で一時的に蓄積する。
（Ｓ７０４）音声信号があれば、音声デバイス部へ通知する。
（Ｓ７０５）画像信号があれば、画像デバイス部へ通知する。 (S701) When the instruction signal is received from the virtual terminal device, the instruction processing unit grasps the instruction content and controls the audio device unit and the image device unit.
(S702) The type of the received signal is determined. For an audio signal, the flag “receive audio signal” = 1, and for an image signal, set the flag “receive image signal” = 1.
(S703) If the synchronization signal is included in the received signal, the image signal and the audio signal are synchronized. At this time, if the timing is shifted, one signal is temporarily stored in the synchronization signal processing unit in order to synchronize.
(S704) If there is an audio signal, the audio device unit is notified.
(S705) If there is an image signal, the image device unit is notified.

図８は、本発明の携帯電話端末における仮想端末装置への送信のフローチャートである。   FIG. 8 is a flowchart of transmission to the virtual terminal device in the mobile phone terminal of the present invention.

（Ｓ８０１）仮想端末装置から受信した信号の種別を判断する。音声信号であればフラグ「音声信号送信」＝１にし、画像信号であればフラグ「画像信号送信」＝１にする。また、入力信号であればフラグ「画像信号送信」＝１にする。音声信号及び画像信号を受信しており同期処理が必要であれば、それぞれの信号に同期信号を付加する。
（Ｓ８０２）送信すべき音声信号があり、その音声信号が電話網向けのものでなければ、その音声信号にデータ用である旨の情報を付加する。そして、その音声信号を音声網へ送信する。
（Ｓ８０３）送信すべき入力信号があるならば、必要に応じて入力信号を画像信号化して表示デバイスに通知し、入力内容を入力信号化する。また、入力された画像信号があるならば、表示デバイスに通知する。その後、入力／画像信号についてデータ網を通して送信する。 (S801) The type of the signal received from the virtual terminal device is determined. If it is an audio signal, the flag “audio signal transmission” = 1, and if it is an image signal, the flag “image signal transmission” = 1. If it is an input signal, the flag “image signal transmission” = 1 is set. If an audio signal and an image signal are received and synchronization processing is necessary, a synchronization signal is added to each signal.
(S802) If there is an audio signal to be transmitted and the audio signal is not intended for the telephone network, information indicating that it is for data is added to the audio signal. Then, the voice signal is transmitted to the voice network.
(S803) If there is an input signal to be transmitted, the input signal is converted into an image signal as necessary and notified to the display device, and the input content is converted into an input signal. If there is an input image signal, the display device is notified. Thereafter, the input / image signal is transmitted through the data network.

前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。   In the various embodiments of the present invention described above, various changes, modifications, and omissions in the scope of the technical idea and the viewpoint of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

従来の携帯電話通信システムの構成図である。It is a block diagram of the conventional mobile telephone communication system. 本発明における携帯電話通信システムの構成図である。It is a block diagram of the mobile telephone communication system in this invention. サーバから携帯電話端末へＷｅｂページを送信するシーケンス図である。It is a sequence diagram which transmits a Web page from a server to a mobile phone terminal. 携帯電話端末からクライアントへ動画像データを送信するシーケンス図である。It is a sequence diagram which transmits moving image data to a client from a mobile telephone terminal. 本発明の仮想端末装置における携帯電話端末への送信のフローチャートである。It is a flowchart of the transmission to the mobile telephone terminal in the virtual terminal device of this invention. 本発明の仮想端末装置における携帯電話端末からの受信のフローチャートである。It is a flowchart of reception from the mobile phone terminal in the virtual terminal device of the present invention. 本発明の携帯電話端末における仮想端末装置からの受信のフローチャートである。It is a flowchart of reception from the virtual terminal device in the mobile phone terminal of the present invention. 本発明の携帯電話端末における仮想端末装置への送信のフローチャートである。It is a flowchart of the transmission to the virtual terminal device in the mobile phone terminal of the present invention.

符号の説明Explanation of symbols

１ 携帯電話事業者設備
１０ 仮想端末装置
１０１ アプリケーション処理部
１０２ 仮想画面部
１０３ 入力処理部
１０４ 指示処理部
１０５ 同期処理部
１１ 音声網
１２ データ網
１３ 基地局
２ 携帯電話端末
２１ 無線送受信部
２２ アプリケーション処理部
２３ 音声デバイス部
２４ 入力デバイス部
２５ 画像デバイス部
２６ 同期処理部
２７ 入力処理部
２８ 指示処理部
３ 電話機
４ サーバ
５ 電話網
６ インターネット
７ クライアント
DESCRIPTION OF SYMBOLS 1 Cellular phone provider equipment 10 Virtual terminal device 101 Application processing unit 102 Virtual screen unit 103 Input processing unit 104 Instruction processing unit 105 Synchronization processing unit 11 Voice network 12 Data network 13 Base station 2 Mobile phone terminal 21 Wireless transmitting / receiving unit 22 Unit 23 Voice device unit 24 Input device unit 25 Image device unit 26 Synchronization processing unit 27 Input processing unit 28 Instruction processing unit 3 Telephone 4 Server 5 Telephone network 6 Internet 7 Client

Claims (8)

音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、前記音声網及び前記データ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、
前記仮想端末装置は、前記相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理手段と、前記画像信号を仮想画面に展開する仮想画面手段と、前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する同期処理手段とを有し、
前記携帯電話端末は、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させる同期処理手段と、前記音声信号を発声する音声デバイス手段と、前記画像信号を表示する画像デバイス手段とを有する
ことを特徴とする携帯電話通信システム。 A voice network, a data network, a mobile phone terminal connected to the voice network and the data network, a virtual terminal device connected to the voice network and the data network, and a partner communication connected to the virtual terminal device Having a device,
The virtual terminal device interprets user data received from the counterpart communication device, and distributes the audio signal and the image signal into an application processing unit, a virtual screen unit that develops the image signal on a virtual screen, the audio signal, and Synchronization processing means for providing a synchronization signal to the image signal, transmitting the audio signal to the audio network, and transmitting the image signal to the data network;
The mobile phone terminal synchronizes the audio signal received via the audio network with the image signal received via the data network, audio device means for uttering the audio signal, A cellular phone communication system comprising image device means for displaying the image signal. 前記携帯電話端末は、利用者の操作内容を取得する入力デバイス手段と、該操作内容を入力信号として前記データ網へ送信する入力処理手段とを更に有し、
前記仮想端末装置は、前記入力信号から得られる前記操作内容を前記アプリケーション処理手段へ通知する入力処理手段を更に有し、該アプリケーション処理手段は、前記操作内容を解釈して前記相手通信装置へユーザデータを要求するように構成されていることを特徴とする請求項１に記載の携帯電話通信システム。 The mobile phone terminal further includes input device means for acquiring user operation content, and input processing means for transmitting the operation content to the data network as an input signal,
The virtual terminal device further includes input processing means for notifying the application processing means of the operation content obtained from the input signal, and the application processing means interprets the operation content and transmits the operation content to the partner communication device. The mobile telephone communication system according to claim 1, wherein the mobile telephone communication system is configured to request data. 音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、前記音声網及び前記データ網に接続された仮想端末装置と、前記仮想端末装置に接続された相手通信装置とを有し、
前記携帯電話端末は、音声信号を取得する音声デバイス手段と、画像信号を取得する画像デバイス手段と、前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する同期処理手段とを有し、
前記仮想端末装置は、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させる同期処理手段と、同期された前記音声信号及び前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信するアプリケーション処理手段とを有する
ことを特徴とする携帯電話通信システム。 A voice network, a data network, a mobile phone terminal connected to the voice network and the data network, a virtual terminal device connected to the voice network and the data network, and a partner communication connected to the virtual terminal device Having a device,
The mobile phone terminal provides audio device means for acquiring an audio signal, image device means for acquiring an image signal, a synchronization signal to the audio signal and the image signal, and transmits the audio signal to the audio network. And a synchronization processing means for transmitting the image signal to the data network,
The virtual terminal device includes synchronization processing means for synchronizing the audio signal received via the audio network and the image signal received via the data network, and the synchronized audio signal and the image signal. A cellular phone communication system comprising: application processing means for generating integrated integrated data and transmitting the integrated data to the counterpart communication device. 前記仮想端末装置は、前記アプリケーション処理手段の結果に基づいて前記携帯電話端末を制御する指示信号を生成し、該指示信号を前記携帯電話端末へ送信する、及び前記携帯電話端末からの指示信号を受信し、仮想制御装置の仮想画面を制御する指示処理手段を更に有し、
前記携帯電話端末は、前記仮想端末装置から受信した指示信号に基づいて前記音声デバイス手段及び前記画像デバイス手段を制御する、及び前記仮想端末装置の仮想画面と同期を取るために指示信号を生成し、該指示信号を前記仮想端末装置へ送信する指示処理手段を更に有する
ことを特徴とする請求項３に記載の携帯電話通信システム。 The virtual terminal device generates an instruction signal for controlling the mobile phone terminal based on a result of the application processing means, transmits the instruction signal to the mobile phone terminal, and receives an instruction signal from the mobile phone terminal. Further comprising instruction processing means for receiving and controlling the virtual screen of the virtual control device;
The mobile phone terminal controls the audio device means and the image device means based on the instruction signal received from the virtual terminal apparatus, and generates an instruction signal to synchronize with the virtual screen of the virtual terminal apparatus. The cellular phone communication system according to claim 3, further comprising instruction processing means for transmitting the instruction signal to the virtual terminal device. 音声網及びデータ網に接続された仮想端末装置であって、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、前記音声網から受信された前記音声信号及び前記データ網から受信された前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
前記画像信号を仮想画面に展開する仮想画面手段と、
前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と前記データ網を介して受信した前記画像信号とを同期させる機能とを有する同期処理手段と
を有することを特徴とする仮想端末装置。 A virtual terminal device connected to a voice network and a data network,
A function of interpreting user data received from the partner communication device and distributing the voice signal and the image signal, and integrated data obtained by integrating the voice signal received from the voice network and the image signal received from the data network. An application processing unit having a function of generating and transmitting the integrated data to the counterpart communication device;
Virtual screen means for expanding the image signal into a virtual screen;
A function of giving a synchronization signal to the audio signal and the image signal, transmitting the audio signal to the audio network, and transmitting the image signal to the data network; and the audio signal received via the audio network; A virtual terminal device comprising: synchronization processing means having a function of synchronizing the image signal received via the data network. 音声網及びデータ網に接続された携帯電話端末であって、
前記音声信号を発声し且つ取得する音声デバイス手段と、
前記画像信号を表示し且つ取得する画像デバイス手段と、
前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させ、前記音声信号を前記音声デバイスへ通知し、前記画像信号を前記画像デバイス手段へ通知する機能と、前記音声デバイスから通知された前記音声信号と前記画像デバイス手段から通知された前記画像信号とに同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能とを有する同期処理手段と、
を有することを特徴とする携帯電話端末。 A mobile phone terminal connected to a voice network and a data network,
Audio device means for uttering and acquiring the audio signal;
Image device means for displaying and acquiring the image signal;
The audio signal received via the audio network is synchronized with the image signal received via the data network, the audio signal is notified to the audio device, and the image signal is notified to the image device means. A synchronization signal is added to the audio signal notified from the audio device and the image signal notified from the image device means, the audio signal is transmitted to the audio network, and the image signal is transmitted to the audio network. Synchronization processing means having a function of transmitting to a data network;
A mobile phone terminal characterized by comprising: 音声網及びデータ網に接続された仮想端末プログラムであって、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、前記音声網から受信された前記音声信号及び前記データ網から受信された前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
前記画像信号を仮想画面に展開する仮想画面手段と、
前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と前記データ網を介して受信した前記画像信号とを同期させる機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする仮想端末プログラム。 A virtual terminal program connected to a voice network and a data network,
A function of interpreting user data received from the partner communication device and distributing the voice signal and the image signal, and integrated data obtained by integrating the voice signal received from the voice network and the image signal received from the data network. An application processing unit having a function of generating and transmitting the integrated data to the counterpart communication device;
Virtual screen means for expanding the image signal into a virtual screen;
A function of giving a synchronization signal to the audio signal and the image signal, transmitting the audio signal to the audio network, and transmitting the image signal to the data network; and the audio signal received via the audio network; A virtual terminal program for causing a computer to function as a synchronization processing means having a function of synchronizing the image signal received via the data network. 音声網及びデータ網に接続された携帯電話端末プログラムであって、
前記音声信号を発声し且つ取得する音声デバイス手段と、
前記画像信号を表示し且つ取得する画像デバイス手段と、
前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを同期させ、前記音声信号を前記音声デバイスへ通知し、前記画像信号を前記画像デバイス手段へ通知する機能と、前記音声デバイスから通知された前記音声信号と前記画像デバイス手段から通知された前記画像信号とに同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする携帯電話端末プログラム。
A mobile phone terminal program connected to a voice network and a data network,
Audio device means for uttering and acquiring the audio signal;
Image device means for displaying and acquiring the image signal;
The audio signal received via the audio network is synchronized with the image signal received via the data network, the audio signal is notified to the audio device, and the image signal is notified to the image device means. A synchronization signal is added to the audio signal notified from the audio device and the image signal notified from the image device means, the audio signal is transmitted to the audio network, and the image signal is transmitted to the audio network. A mobile phone terminal program for causing a computer to function as a synchronization processing means having a function of transmitting to a data network.
JP2004086541A 2004-03-24 2004-03-24 Mobile phone communication system, virtual terminal device, mobile phone terminal and program Expired - Fee Related JP4424027B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004086541A JP4424027B2 (en) 2004-03-24 2004-03-24 Mobile phone communication system, virtual terminal device, mobile phone terminal and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004086541A JP4424027B2 (en) 2004-03-24 2004-03-24 Mobile phone communication system, virtual terminal device, mobile phone terminal and program

Publications (2)

Publication Number Publication Date
JP2005277654A true JP2005277654A (en) 2005-10-06
JP4424027B2 JP4424027B2 (en) 2010-03-03

Family

ID=35176865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004086541A Expired - Fee Related JP4424027B2 (en) 2004-03-24 2004-03-24 Mobile phone communication system, virtual terminal device, mobile phone terminal and program

Country Status (1)

Country Link
JP (1) JP4424027B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2061214A1 (en) 2007-11-19 2009-05-20 NTT DoCoMo, Inc. Virtual terminal server, mobile communication terminal, communication control system, and communication control method
WO2011152389A1 (en) 2010-06-04 2011-12-08 日本電気株式会社 Communication system, method, and device
JP2017199017A (en) * 2017-06-26 2017-11-02 国立研究開発法人防災科学技術研究所 Virtual reality experience system of simulation earthquake damage, and virtual reality experience method of simulation earthquake damage
WO2018007048A1 (en) * 2016-07-08 2018-01-11 Deutsche Telekom Ag Method for using a mobile terminal in a mobile communication network, wherein a network node of the mobile communication network or a network node related or assigned to the mobile communication network hosts or provides a virtualized user equipment functionality, system for using a mobile terminal in a mobile communication network, mobile communication network, mobile terminal, program and computer program product

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2061214A1 (en) 2007-11-19 2009-05-20 NTT DoCoMo, Inc. Virtual terminal server, mobile communication terminal, communication control system, and communication control method
US8050667B2 (en) 2007-11-19 2011-11-01 Ntt Docomo, Inc. Virtual terminal server, mobile communication terminal, communication control system, and communication control method
WO2011152389A1 (en) 2010-06-04 2011-12-08 日本電気株式会社 Communication system, method, and device
US9245528B2 (en) 2010-06-04 2016-01-26 Nec Corporation Communication system, method, and apparatus
WO2018007048A1 (en) * 2016-07-08 2018-01-11 Deutsche Telekom Ag Method for using a mobile terminal in a mobile communication network, wherein a network node of the mobile communication network or a network node related or assigned to the mobile communication network hosts or provides a virtualized user equipment functionality, system for using a mobile terminal in a mobile communication network, mobile communication network, mobile terminal, program and computer program product
JP2017199017A (en) * 2017-06-26 2017-11-02 国立研究開発法人防災科学技術研究所 Virtual reality experience system of simulation earthquake damage, and virtual reality experience method of simulation earthquake damage

Also Published As

Publication number Publication date
JP4424027B2 (en) 2010-03-03

Similar Documents

Publication Publication Date Title
CN110730952B (en) Method and system for processing audio communication on network
KR100914239B1 (en) System, method and computer program product for establishing a conference session and synchronously rendering content during the same
KR100706967B1 (en) Method and System for Providing News Information by Using Three Dimensional Character for Use in Wireless Communication Network
KR20070085601A (en) System, method and computer program product for providing content to a terminal and directing the rendering of such content at the terminal
EP2779571B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2790383B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
KR20120079416A (en) Method and apparatus for sharing contents service of web page and thereof system
RU2765682C1 (en) Detection method, subscriber equipment and network device
EP2778981B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
CN112423076B (en) Audio screen-throwing synchronous control method, equipment and computer readable storage medium
EP2779661A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP3051826A1 (en) Distribution management device, distribution method, and program
EP2779674A1 (en) Distribution control system and distribution system
JP2022008330A (en) Business negotiation support device, method, and computer program
KR20110041322A (en) Terminal transmitting data during packet communication and service system including the same
EP1593050B1 (en) System and method for processing a message in a server of a computer network sent by a mobile computer device
JP2007281618A (en) Information processor, information processing method and program
JP4424027B2 (en) Mobile phone communication system, virtual terminal device, mobile phone terminal and program
CN107734012B (en) Message pushing method, system and computer readable storage medium
CN110198452B (en) Live video previewing method, device and system
JP2004015250A (en) Mobile terminal
CN111327766B (en) Information sharing method, terminal and readable storage medium
KR20120138449A (en) System and method for providing advertisement using voise recognition when telephone conversation on the voip base
US20230178081A1 (en) Display control system, display control method and information storage medium
JP6499582B2 (en) SENDING COMPUTER, RECEIVING COMPUTER, METHOD EXECUTED BY THE SAME, AND COMPUTER PROGRAM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151218

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees