【０００１】
【発明の属する技術分野】
本発明は、画像音声情報を配信するシステムにおいて、電話回線（一般加入電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯電話）やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網の違いによる通信速度差を吸収し、適切な情報量を伝送することを特徴とする画像音声信号の配信方法及びその装置に関するものである。
【０００２】
【従来の技術】
コンピュータネットワークに接続する手段として、電話回線（一般加入電話、ＰＨＳ、携帯電話）、ＬＡＮ等がある。カメラの画像情報、マイクからの音声情報を取得する端末、画像、音声情報をデータベースに蓄積するサーバ、画像、音声情報を閲覧するクライアントが、コンピュータネットワークに接続されている場合、端末からサーバの間の回線と、サーバからクライアントの間の回線の速度差を吸収するような対応手段を講じていないのが現状である。また、特定の電話回線上の伝送量も、回線状況（基地局との距離等）によっては、変動が見られるのが現状である。
【０００３】
【発明が解決しようとする課題】
カメラの画像情報、マイクからの音声情報を取得する端末、画像情報をデータベースに蓄積するサーバ、画像情報を閲覧するクライアントが、コンピュータネットワークに接続されている場合、各通信網で接続された機器のバッファリング、ネットワークトラフィック状況、さらに回線状況によっては、画像音声情報の配信中断、若しくは、遅延時間の増大という問題が発生する。画像音声情報を配信するシステムにとって、情報伝達の中断、遅延時間の増大は大きな問題である。
【０００４】
【課題を解決するための手段】
本発明の第一は、画像、音声等の情報を取得する端末、端末から得た情報を受信、蓄積し、クライアントへ送出するサーバ及びその情報を受け取るクライアントからなる画像音声配信システムにおいて、サーバにて端末からサーバへ送られる情報の中から任意の連続した数フレームにおける平均伝送速度を測定すると共に、端末からサーバ間の上記平均伝送速度とサーバからクライアント間の回線速度に応じてサーバで受け取ったフレーム数に対しサーバからクライアントへ送出するフレーム数を決定し、送出することを特徴としたものである。
【０００５】
本発明の第二は、サーバからクライアントへ情報を送信する際、サーバにて端末からサーバ間、サーバからクライアント間の伝送速度を比較し、後者の伝送速度が前者より遅い場合は、サーバにてクライアントへ送出するフレームを間引く処理を行うことにより回線に応じた情報量を送信することを特徴としたものである。
【０００６】
本発明の第三は、サーバからクライアントへ情報を送信する際、サーバにて端末からサーバ間、サーバからクライアント間の伝送速度を比較し、後者の伝送速度が前者より速いまたは同等の場合は、サーバが端末から受け取ったフレームを間引くことなくクライアントへ送出することを特徴としたものである。
【０００７】
本発明の第四は、画像、音声等の情報を取得する端末、端末から得た情報を受信、蓄積し、クライアントへ送出するサーバ及びその情報を受け取るクライアントからなる画像音声配信システムにおいて、前記端末からサーバ間の平均伝送速度とサーバとクライアント間の回線速度に応じてサーバよりクライアントへの送出フレーム数を決定する通信速度調整手段をサーバに設けたことを特徴としたものである。
【０００８】
本発明の第五は、前記通信速度調整手段は、端末からサーバに送られる複数フレームの平均伝送速度を演算する測定手段と、この平均伝送速度とサーバからクライアントへの伝送速度を比較し、クライアントへの伝送速度が前記平均伝送速度より遅い場合には送出フレームを間引く間引手段とを有することを特徴としたものである。
【０００９】
【発明の実施の形態】
以下、この発明の実施の形態について説明する。
【００１０】
図１は、本発明における構成図を示しているが、本図において、１１は端末で、この端末１１はカメラの画像情報、マイクからの音声情報を取得する。１２はサーバで端末１１より伝送路１５を介して送信された音声、画像情報をデータベースに蓄積する。蓄積された情報を閲覧するクライアント１３は、通信回線網１４を介してサーバと接続されている。
【００１１】
図２は他の実施形態を示したもので、図１との相違点は、端末１１は通信回線網１４を介してサーバ１２と接続されており、サーバ１２とクライアント１３は伝送路１５を介して接続されていることであり、他は図１と同様である。また、図３はさらに他の実施形態を示したもので、端末１１、サーバ１２およびクライアント１３はそれぞれ伝送路１５に接続された場合を示したものである。本発明は、上記のような構成に使用されるサーバに通信速度調整手段を設けたものである。
【００１２】
図４は本構成において端末１１からサーバ１２へ送られる情報の中から任意の連続した数フレームを抽出した図を示したもので、ここでは抽出する連続したフレーム数をＮ個とし、各フレームは、それぞれＢｉビット（ｉ＝１〜Ｎ）の情報を持ち、端末からサーバへＴｉ秒（ｉ＝１〜Ｎ）で伝送されたとする。
【００１３】
ここで（１）式を用いて任意の連続したＮフレームにおける平均伝送速度Ｖを算出する。
【００１４】
【数１】
【００１５】
（１）式の計算及び以下に述べるサーバからクライアントへ送出するフレーム数を決定し、クライアントへ送出する処理は、画像、音声情報配信中に逐次行われる処理であるが、その間隔は前述の任意に設定されたＮによって定まる。このＮは、抽出するフレーム数であると同時に端末、サーバ間の回線状況をチェックする周期となる。よってＮはできるだけ小さな値にすることが望ましいが、計算処理を行うコンピュータの性能を考慮の上、設定する。
【００１６】
一方、サーバからクライアントの間における通信速度をＶ’とする。Ｖ’は、サーバからクライアント間で使用されている通信サービスによって決定するものとし、例えばサーバからクライアント間の通信サービスにディジタル移動通信サービスのＰＨＳを使用する場合は、Ｖ’は６４ｋｂｐｓであるというように定める。
【００１７】
（２）式、（３）式は、ＶとＶ’の大小関係により、クライアントへ伝送するフレーム数ＮＭを決定する式を示しており、（２）式はＶ＞Ｖ’の場合、（３）式はＶ≦Ｖ’の場合に使用する。なお、（２）式において［］はガウス記号を表わし、例えば［ａ］はａを超えない最大整数を意味する。（以下の式においても同様とする。）
【００１８】
【数２】
【００１９】
【数３】
【００２０】
（２）式は、Ｖ＞Ｖ’の場合にサーバからクライアントへ送出するフレーム数を算出する式であるが、これは端末からサーバが受信したＮフレームの情報をそのままサーバからクライアントへ送出すると、情報伝達の中断、遅延時間の増大の惧れがあるので、送出するフレーム数を削減することにより、これに対応するものである。
仮にＶ＝１５、Ｖ’＝１０、Ｎ＝９とすると、（２）式より、ＮＭ＝６となる。
【００２１】
これに対し、（３）式は、Ｖ≦Ｖ’の場合にサーバからクライアントへ送出するフレーム数を算出する式であるが、サーバからクライアント間の速度が端末からサーバ間の
速度と等しいかまたは速い場合は、端末からサーバへ送出されたＮフレームに対し、同数のフレームをサーバからクライアントへ送出しても問題ないので、この場合、サーバからクライアントへ送出するフレーム数ＮＭはＮと等しくなる。
【００２２】
Ｖ＞Ｖ’の場合、（２）式より端末からサーバへ送信されたＮ個のフレームに対し、サーバからクライアントへ送出するフレーム数ＮＭを決定したが、実際にＮ個のフレームからＮＭ個のフレームを選択するにはＮ−ＮＭ個のフレームを間引く必要がある。（４）はその間引くフレームを決定するための計算式である。
【００２３】
【数４】
【００２４】
例えば、Ｎ＝９、ＮＭ＝６であったとしたとき、間引くフレームは、（４）式より３、６及び９となる。
【００２５】
以上のような計算を逐次サーバ上にて行うことにより、端末からサーバへ送出された画像、音声情報は情報伝達の中断、遅延時間の増大を防ぎつつサーバからクライアントへ送出することができる。
【００２６】
【発明の効果】
上記のようにこの発明によれば、端末からサーバ間及びサーバからクライアント間の伝送速度をサーバ上においてチェックすることにより、サーバからクライアント間の伝送速度が端末からサーバ間の伝送速度に比べて遅い場合はサーバにて端末から受け取ったフレームを間引く処理することで、クライアントへ送出するフレーム数を調整し、回線状況に応じた画像、音声情報をサーバからクライアントへ送出することができるので、情報伝達の中断、遅延時間の増大を防ぐことができる。
【００２７】
また、サーバからクライアント間の通信速度が端末からサーバ間の伝送速度に比べて同じ若しくは速い場合においては、サーバにてフレームを間引くことなくサーバからクライアントへフレームを送出することができる。
【図面の簡単な説明】
【図１】本発明の実施形態を示す構成図。
【図２】本発明の実施形態を示す他の構成図。
【図３】本発明の実施形態を示す他の構成図。
【図４】フレームの説明図。
【符号の説明】
１１・・・端末
１２・・・サーバ
１３・・・クライアント
１４・・・通信回線網
１５・・・伝送路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention absorbs a communication speed difference due to a difference in a communication network such as a telephone line (a general subscriber telephone, a PHS (Personal Handyphone System), a mobile telephone) or a LAN (Local Area Network) in a system for distributing image and voice information. The present invention relates to a method and apparatus for distributing an image / audio signal, characterized by transmitting an appropriate amount of information.
[0002]
[Prior art]
As means for connecting to a computer network, there are a telephone line (general subscriber telephone, PHS, mobile telephone), a LAN, and the like. When a terminal that acquires camera image information and audio information from a microphone, a server that stores image and audio information in a database, and a client that browses image and audio information are connected to a computer network, between the terminal and the server At present, no measures are taken to absorb the speed difference between the line and the line between the server and the client. In addition, the amount of transmission on a specific telephone line also fluctuates depending on the line conditions (distance from a base station, etc.).
[0003]
[Problems to be solved by the invention]
If a terminal that acquires camera image information and audio information from a microphone, a server that stores image information in a database, and a client that browses image information are connected to a computer network, the devices connected to each communication network Depending on buffering, network traffic conditions, and line conditions, problems such as interruption of video / audio information distribution or an increase in delay time occur. Interruption of information transmission and increase in delay time are serious problems for a system that distributes image and audio information.
[0004]
[Means for Solving the Problems]
A first aspect of the present invention is a video and audio distribution system including a terminal that acquires information such as images and sounds, a server that receives and accumulates information obtained from the terminal, sends the information to a client, and a client that receives the information. The average transmission speed in any number of consecutive frames was measured from the information sent from the terminal to the server, and received by the server according to the average transmission speed between the terminal and the server and the line speed between the server and the client. The number of frames transmitted from the server to the client is determined with respect to the number of frames, and transmitted.
[0005]
The second aspect of the present invention is that, when transmitting information from the server to the client, the server compares the transmission speed between the terminal and the server and between the server and the client. If the transmission speed of the latter is lower than the former, the server transmits The present invention is characterized in that an amount of information according to a line is transmitted by performing a process of thinning out frames to be transmitted to a client.
[0006]
Third, when transmitting information from the server to the client, the server compares the transmission speed between the terminal and the server, and compares the transmission speed between the server and the client.If the transmission speed of the latter is higher than or equal to the former, It is characterized in that the server sends the frame received from the terminal to the client without thinning out.
[0007]
A fourth aspect of the present invention is an image / audio distribution system including a terminal for acquiring information such as images and sounds, a server for receiving, storing, and transmitting information obtained from the terminal and a client for receiving the information. And a communication speed adjusting means for determining the number of frames transmitted from the server to the client in accordance with the average transmission speed between the server and the line speed between the server and the client.
[0008]
A fifth aspect of the present invention is the communication speed adjusting unit, comprising: a measuring unit that calculates an average transmission speed of a plurality of frames sent from the terminal to the server; and comparing the average transmission speed with the transmission speed from the server to the client. And a thinning means for thinning out the transmission frame when the transmission speed to the transmission is lower than the average transmission speed.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
[0010]
FIG. 1 shows a configuration diagram of the present invention. In the figure, reference numeral 11 denotes a terminal, and this terminal 11 acquires image information of a camera and audio information from a microphone. Reference numeral 12 denotes a server which stores voice and image information transmitted from the terminal 11 via the transmission path 15 in a database. The client 13 that browses the stored information is connected to a server via a communication network 14.
[0011]
FIG. 2 shows another embodiment. The difference from FIG. 1 is that the terminal 11 is connected to the server 12 via a communication network 14, and the server 12 and the client 13 are connected via a transmission line 15. The other components are the same as those in FIG. FIG. 3 shows still another embodiment, in which a terminal 11, a server 12, and a client 13 are connected to a transmission path 15, respectively. According to the present invention, a server used in the above configuration is provided with a communication speed adjusting unit.
[0012]
FIG. 4 shows a diagram in which an arbitrary number of consecutive frames are extracted from information transmitted from the terminal 11 to the server 12 in this configuration. Here, the number of consecutive frames to be extracted is N, and each frame is each have information B i bits (i = 1 to N), and transmitted by T i seconds to the server (i = 1 to N) from the terminal.
[0013]
Here, the average transmission rate V in any continuous N frames is calculated using the equation (1).
[0014]
(Equation 1)
[0015]
The calculation of the expression (1) and the processing of determining the number of frames to be transmitted from the server to the client described below and transmitting the frame to the client are processings that are sequentially performed during the distribution of image and audio information. Is determined by N set to. This N is the number of frames to be extracted and also the period for checking the line status between the terminal and the server. Therefore, N is desirably set to a value as small as possible, but is set in consideration of the performance of the computer that performs the calculation processing.
[0016]
On the other hand, the communication speed between the server and the client is V ′. V ′ is determined by the communication service used between the server and the client. For example, when the PHS of the digital mobile communication service is used for the communication service between the server and the client, V ′ is 64 kbps. Set forth in
[0017]
(2), (3) equation, V and V 'by magnitude relation, shows an equation for determining a frame number N M to be transmitted to the client, (2) the V>V' case, ( Equation 3) is used when V ≦ V ′. In the formula (2), [] represents a Gaussian symbol, and for example, [a] means a maximum integer not exceeding a. (The same applies to the following equations.)
[0018]
(Equation 2)
[0019]
[Equation 3]
[0020]
Equation (2) is an equation for calculating the number of frames to be transmitted from the server to the client when V> V '. When the information of N frames received by the server from the terminal is directly transmitted from the server to the client, Since there is a fear that the transmission of information may be interrupted and the delay time may increase, the number of frames to be transmitted is reduced to cope with this.
Assuming that the V = 15, V '= 10 , N = 9, from equation (2), and N M = 6.
[0021]
On the other hand, equation (3) is an equation for calculating the number of frames to be transmitted from the server to the client when V ≦ V ′, but the speed between the server and the client is equal to the speed between the terminal and the server, or the faster to N frame sent from the terminal to the server, so no problem by sending the same number of frames from the server to the client, in this case, the frame number N M to be sent from the server to the client will be equal to N .
[0022]
For V> V ', (2) with respect to N frames sent from the terminal to the server from the equation have been determined frame number N M to be sent from the server to the client, N M actually from N frames In order to select the number of frames, it is necessary to thin out N−N M frames. (4) is a calculation formula for determining a frame to be thinned.
[0023]
(Equation 4)
[0024]
For example, when N = 9 and N M = 6, the frames to be thinned out are 3, 6, and 9 according to the expression (4).
[0025]
By performing the above calculations sequentially on the server, the image and audio information transmitted from the terminal to the server can be transmitted from the server to the client while preventing interruption of information transmission and increase in delay time.
[0026]
【The invention's effect】
As described above, according to the present invention, by checking the transmission speed between the terminal and the server and between the server and the client on the server, the transmission speed between the server and the client is lower than the transmission speed between the terminal and the server. In this case, the server can reduce the number of frames transmitted to the client by thinning out the frames received from the terminal, and can transmit image and audio information according to the line conditions from the server to the client, so that information transmission is possible. Interruption and delay time increase can be prevented.
[0027]
In addition, when the communication speed between the server and the client is equal to or higher than the transmission speed between the terminal and the server, the server can transmit the frame to the client without thinning the frame.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of the present invention.
FIG. 2 is another configuration diagram showing the embodiment of the present invention.
FIG. 3 is another configuration diagram showing the embodiment of the present invention.
FIG. 4 is an explanatory diagram of a frame.
[Explanation of symbols]
11 Terminal 12 Server 13 Client 14 Communication network 15 Transmission path
