JP2019071593A - Communication device, communication system, communication method, and program - Google Patents
Communication device, communication system, communication method, and program Download PDFInfo
- Publication number
- JP2019071593A JP2019071593A JP2017197922A JP2017197922A JP2019071593A JP 2019071593 A JP2019071593 A JP 2019071593A JP 2017197922 A JP2017197922 A JP 2017197922A JP 2017197922 A JP2017197922 A JP 2017197922A JP 2019071593 A JP2019071593 A JP 2019071593A
- Authority
- JP
- Japan
- Prior art keywords
- packet
- communication
- communication network
- packets
- communication device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 317
- 238000000034 method Methods 0.000 title claims description 14
- 230000005540 biological transmission Effects 0.000 abstract description 21
- 238000012545 processing Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、パケット通信において、通信網上で生じるパケットロスによる影響を緩和する技術に関連するものである。 The present invention relates to a technique for mitigating the effect of packet loss occurring on a communication network in packet communication.
昨今のスマートフォンのような携帯端末の技術的進歩により、携帯電話網のような無線通信網に接続される携帯端末でもリアルタイム通信を行うケースが増えている。 Recent technological advances in mobile terminals such as smart phones have increased the number of cases where mobile terminals connected to a wireless communication network such as a mobile telephone network perform real-time communication.
無線通信網においては電波状態等により、パケットロスが生じる場合が多い。パケットロスの影響を緩和するための技術として、TCP(Transmission Control Protocol)のようなパケットの再送技術、及び、FEC(Forward Error Correction)にような信号に冗長性を持たせる技術等が知られている。 In a wireless communication network, packet loss often occurs due to radio wave conditions and the like. As techniques for mitigating the effects of packet loss, packet retransmission techniques such as Transmission Control Protocol (TCP) and techniques for providing redundancy to signals such as Forward Error Correction (FEC) are known. There is.
しかし、TCPのようなパケット再送技術では、パケットロスを検知してから再度送信する過程を経るため、再送されたデータを利用できるようになるまでに待機時間が発生し、ビデオ通話等のリアルタイム通信では利用することが難しい。 However, with packet retransmission technology such as TCP, since a process of detecting packet loss and retransmitting is performed, a waiting time occurs before the retransmitted data can be used, and real-time communication such as video call etc. It is difficult to use it.
また、FECのような信号に冗長性を持たせる技術では、欠落した部分の直前や直後の情報を利用することにより欠落部分の補完を行うが、例えば無線通信網では、電波状況により一連の信号が全て欠損してしまういわゆるバーストでの欠損が見られ、このような場合、信号に冗長性を持たせる技術では欠落部分を補完することができない。 In addition, in the technique of giving redundancy to signals such as FEC, the missing part is complemented by using information immediately before and after the missing part, but in a wireless communication network, for example, a series of signals according to radio wave conditions. In this case, it is not possible to compensate for the missing part by the technique of making the signal redundant, in such a case.
本発明は上記の点に鑑みてなされたものであり、パケット通信において、通信網上でのパケットロスの影響を緩和するための技術を提供することを目的とする。 The present invention has been made in view of the above points, and it is an object of the present invention to provide a technique for alleviating the influence of packet loss on a communication network in packet communication.
開示の技術によれば、順次受信するパケットにシーケンス番号を付与し、シーケンス番号が付された各パケットを1つの通信網又は複数の通信網に振り分けるパケット振り分け手段と、
前記1つの通信網又は前記複数の通信網に振り分けられた各パケットを、振り分け先の通信網を利用して受信側に送信する送信手段と
を備えることを特徴とする通信装置が提供される。
According to the disclosed technique, packet distributing means for assigning sequence numbers to sequentially received packets and distributing each packet with the sequence number to one communication network or a plurality of communication networks;
There is provided a communication apparatus comprising: transmission means for transmitting each packet distributed to the one communication network or the plurality of communication networks to a receiving side using a communication network of a distribution destination.
開示の技術によれば、パケット通信において、通信網上でのパケットロスの影響を緩和することが可能となる。 According to the disclosed technology, in packet communication, it is possible to mitigate the influence of packet loss on a communication network.
以下、図面を参照して本発明の実施の形態(本実施の形態)を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiments described below are merely examples, and the embodiments to which the present invention is applied are not limited to the following embodiments.
(システム構成)
図1は、本実施の形態における通信システムの構成例を示す図である。図1に示すように、当該通信システムは、送信側の通信装置100と受信側の通信装置200を有し、これらが通信網A、通信網B、通信網Cに接続されている。また、通信装置100には端末300が接続され、通信装置200には端末400が接続されている。
(System configuration)
FIG. 1 is a diagram showing a configuration example of a communication system in the present embodiment. As shown in FIG. 1, the communication system includes a
通信網A、通信網B、通信網Cはそれぞれ、携帯電話網、無線LANのような無線により通信を行う通信網である。例えば、通信網Aは携帯電話会社Dの通信網であり、通信網Bは携帯電話会社Sの通信網であり、通信網Cは携帯電話会社Kの通信網である。ただし、これに限られるわけではなく、通信網A、通信網B、通信網Cのいずれか又は全部が有線の通信網(例:固定電話網)であってもよい。本実施の形態では、複数の通信網の回線を束ねて仮想的な高品質の回線として利用している。 The communication network A, the communication network B, and the communication network C are wireless communication networks such as a cellular phone network and a wireless LAN. For example, communication network A is a communication network of mobile phone company D, communication network B is a communication network of mobile phone company S, and communication network C is a communication network of mobile phone company K. However, the present invention is not limited to this, and any or all of the communication network A, the communication network B, and the communication network C may be a wired communication network (for example, a fixed telephone network). In this embodiment, lines of a plurality of communication networks are bundled and used as a virtual high-quality line.
なお、図1には3つの通信網を使用する例を示しているが、使用する通信網の数は3つに限られず、例えば、2つでもよいし、3つよりも多くの通信網を使用してもよい。 In addition, although the example which uses three communication networks is shown in FIG. 1, the number of communication networks to be used is not restricted to three, for example, two may be sufficient, and more than three communication networks may be used. You may use it.
図1の構成において、通信装置100は端末300からパケットを順次受信し、受信したパケットにシーケンス番号を付与し、シーケンス番号が付与された各パケットを通信網A、通信網B、通信網Cのうちの1つ又は複数の通信網に振り分けて送信する。
In the configuration of FIG. 1, the
通信装置200は、通信網A、通信網B、及び通信網Cから、通信装置100により送信されたパケットを受信し、パケットに付与されたシーケンス番号に基づいて、シーケンス番号の順番で、パケットを端末400に送信する。
The
通信装置100はパケット送信機能を備え、通信装置200はパケット受信機能を備えることを想定しているが、通信装置100と通信装置200のいずれも、パケット送信機能とパケット受信機能の両方を備えてもよい。なお、各通信装置を「コントローラ」と称してもよい。
The
送信側の端末300は、例えばカメラを備える装置であり、その場合、端末300はカメラにより撮影された映像のパケットを送出する。また、この場合、受信側の端末400は、受信したパケットのデータを復号・再生することにより映像を表示する。
The
送信されるパケットが映像のパケットであることは一例に過ぎない。本発明に係る技術は基本的にパケットの種類に関わらずに適用可能である。 It is only an example that the packet to be transmitted is a video packet. The technique according to the present invention is basically applicable regardless of the type of packet.
図2は、送信側の通信装置100の機能構成図である。図2に示すように、通信装置100は、入力部110、シーケンス番号付与部120、パケット振り分け処理部130、通信部140を有する。
FIG. 2 is a functional configuration diagram of the
入力部110は、端末300から出力されたパケットを入力する。シーケンス番号付与部120は、入力された順番でパケットにシーケンス番号を付与する。パケット振り分け処理部130は、各パケットについて、対向の通信装置200に送信するために使用する通信網を決定し、決定された通信網へパケットを振り分ける。なお、パケット振り分け処理部130が、同一パケットを複数の通信網に振り分ける場合には、当該パケットを複製(コピー)し、元のパケットと複製したパケットとを複数の通信網に振り分ける。なお、パケット振り分け処理部130が、ある通信網にパケットを振り分けるとは、より詳細には、例えば、通信部140における当該通信網を使用した無線通信を行う機能部に対してパケットを渡すことである。
The
通信部140は、通信網Aを使用した通信を行う機能部、通信網Bを使用した通信を行う機能部、及び通信網Cを使用した通信を行う機能部を含む。また、通信部140は、通信網A、通信網B、及び通信網Cのそれぞれの品質(受信強度(RSRP等)、受信品質(RSSI)、遅延等)を測定する機能を含む。測定された各通信網の品質は、パケット振り分け処理部130に渡される。パケット振り分け処理部130は、各通信網の品質を、パケットの振り分け先の通信網を選択する際に利用することができる。
The
図3は、受信側の通信装置200の機能構成図である。図3に示すように、通信装置200は、通信部210、パケット順序整列部220、出力部230を有する。
FIG. 3 is a functional block diagram of the
通信部210は、通信網Aを使用した通信を行う機能部、通信網Bを使用した通信を行う機能部、及び通信網Cを使用した通信を行う機能部を含む。また、通信部210は、各通信網の品質を測定する機能を含む。
パケット順序整列部220は、受信したパケットのシーケンス番号を用いて、パケットをシーケンス番号の順番に並べる機能を有する。また、パケット順序整列部220は、通信部210から同じシーケンス番号の複数のパケットを受信した場合には、複数のパケットから1つのパケットを選択し、他のパケットを廃棄する。なお、選択にあたっては、複数のパケットのうち、最も品質の良い通信網から受信したパケットを選択することとしてもよい。
The packet
出力部230は、パケット順序整列部220からシーケンス番号の順番で渡される各パケットからシーケンス番号を削除して、当該パケットを端末400に向けて出力する。
The
上述した各装置(端末300、通信装置100、通信装置200、端末400)はいずれも、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、コンピュータに内蔵されるCPUやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
Each of the above-described devices (the
図4は、上記装置のハードウェア構成例を示す図である。図4の装置は、それぞれバスBで相互に接続されているドライブ装置1000、補助記憶装置1002、メモリ装置1003、CPU1004、インタフェース装置1005、表示装置1006、及び入力装置1007等を有する。なお、通信装置100と通信装置200においては、表示装置1006及び入力装置1007を備えないこととしてもよい。
FIG. 4 is a diagram showing an example of the hardware configuration of the above-mentioned apparatus. The device of FIG. 4 includes a
当該装置での処理を実現するプログラムは、例えば、CD−ROM又はメモリカード等の記録媒体1001によって提供される。プログラムを記憶した記録媒体1001がドライブ装置1000にセットされると、プログラムが記録媒体1001からドライブ装置1000を介して補助記憶装置1002にインストールされる。但し、プログラムのインストールは必ずしも記録媒体1001より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置1002は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
A program for realizing processing in the device is provided by a
メモリ装置1003は、プログラムの起動指示があった場合に、補助記憶装置1002からプログラムを読み出して格納する。CPU1004は、メモリ装置1003に格納されたプログラムに従って当該装置に係る機能を実現する。インタフェース装置1005は、ネットワークに接続するためのインタフェースとして用いられる。例えば、インタフェース装置1005は、通信装置100における入力部110及び通信部140として使用される。また、例えば、インタフェース装置1005は、通信装置200における通信部210及び出力部230として使用される。
The
表示装置1006はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置1007はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
The
以下、上述した構成を有する通信システムの動作例を説明する。動作例の説明においては、図2、図3に示した機能部の名称を適宜使用する。なお、どの動作を行うかに関しては、例えば、通信装置100、200に対する設定により切り替えることができる。
Hereinafter, an operation example of the communication system having the above-described configuration will be described. In the description of the operation example, the names of the functional units shown in FIG. 2 and FIG. 3 are appropriately used. The operation to be performed can be switched, for example, by setting the
(動作例1)
まず、図5を参照して動作例1を説明する。図5において、パケットを番号(シーケンス番号に相当)で示している。また、便宜上、通信装置100に入力されるパケット(シーケンス番号付与前のパケット)、及び通信装置200から出力されるパケット(シーケンス番号削除後のパケット)についても番号で示している。
(Operation example 1)
First, an operation example 1 will be described with reference to FIG. In FIG. 5, the packets are indicated by numbers (corresponding to sequence numbers). Also, for convenience, packets (packets before sequence number assignment) input to the
図5に示す動作例1では、通信装置100に入力され、シーケンス番号が付与された各パケットは、全ての通信網に送信される。すなわち、図5に示すように、通信装置100にパケットが順次入力され、入力されたパケットの順番で、シーケンス番号付与部120により、パケット1、パケット2、パケット3、パケット4、パケット5のようにシーケンス番号が付与される。パケット振り分け処理部130は、パケット1を複製して、通信網A、通信網B、及び通信網Cに振り分ける。通信部140は、通信網Aでパケット1を送信し、通信網Bでパケット1を送信し、通信網Cでパケット1を送信する。パケット2〜5のそれぞれについてもパケット1に対する動作と同様の動作が実行される。
In operation example 1 shown in FIG. 5, each packet input to the
パケット1、パケット2、パケット3、パケット4、パケット5は、通信網A、通信網B、及び通信網Cのそれぞれで通信装置200に送信される。ただし、送信されてから通信装置200にパケットが到着するまでの間において、例えば電波状況の悪化により、パケットロスが生じており、通信装置200の通信部210は、通信網Aからパケット1、パケット3を受信し、通信網Bからパケット1、パケット2、パケット3、パケット4を受信し、通信網Cからパケット1、パケット3、パケット5を受信する。
The
通信装置200のパケット順序整列部220は、受信した3つのパケット1から1つのパケット1を選択し、受信した3つのパケット3から1つのパケット3を選択し、パケット1、パケット2、パケット3、パケット4、パケット5の順にパケットを出力部230に渡し、出力230は、正しい順番で、シーケンス番号が削除されたパケットを出力する。
The packet
動作例1のように、同一パケットを複数の通信網(ここでは、通信装置100が接続する全ての通信網)で送信することで、一部の通信網でパケットロスが発生しても、残りの通信網でパケットロスが発生していなければ、受信側の通信装置200はそのパケットを受信できる。一般に複数の通信網において、品質の良い通信網と品質の悪い通信網が存在するので、動作例1により、受信側の通信装置200は、送信側の通信装置100から送信された全てのパケットを受信できる可能性が高くなる。また、パケットロスが発生した場合でも、その個数を小さく抑えることができる。
As in the first operation example, by transmitting the same packet through a plurality of communication networks (here, all communication networks connected with the communication apparatus 100), even if packet loss occurs in some of the communication networks, the remaining packets are left If there is no packet loss in the communication network of (1), the
(動作例2)
次に、図6を参照して動作例2を説明する。動作例2において、通信装置100は、同一パケットを1つの通信網で送信するが、順次受信するパケットを複数通信網に振り分けることで、通信速度を向上させる。
(Operation example 2)
Next, an operation example 2 will be described with reference to FIG. In the second operation example, the
図6に示す例では、通信装置100にパケットが順次入力され、入力されたパケットの順番で、シーケンス番号付与部120により、パケット1、パケット2、パケット3、パケット4、パケット5のようにシーケンス番号が付与される。パケット振り分け処理部130は、パケット1、パケット2を通信網Aに振り分け、パケット3、パケット4、パケット5を通信網Cに振り分ける。通信部140によりこれらのパケットが該当通信網で送信される。
In the example illustrated in FIG. 6, packets are sequentially input to the
図6は、品質の良い通信網A、Cを使用したため、パケットロスが生じなかった例を示している。 FIG. 6 shows an example in which no packet loss occurs because communication networks A and C with high quality are used.
受信側の通信装置200では、通信部210により通信網Aから受信したパケット1、パケット2、及び、通信網Cから受信したパケット3、パケット4、パケット5が、正しい順序で出力部230から出力される。
In the
送信側のパケット振り分け処理部130は、例えば、品質の最も悪い通信網を除いた通信網にパケットを振り分けてもよいし、品質が上位N番(Nは自然数)までの複数の通信網にパケットを振り分けてもよい。
For example, the packet
また、例えば、パケット振り分け処理部130は、奇数番号のパケットを通信網Aに振り分け、偶数番号のパケットを通信網Bに振り分けるといった振り分けを行ってもよい。また、パケット振り分け処理部130は、シーケンス番号を、通信網の数で割った余りにより振り分けを行ってもよい。例えば、通信網数が3である図6に示す例において、パケット振り分け処理部130は、シーケンス番号を3で割った余りが0であれば通信網Aに振り分け、シーケンス番号を3で割った余りが1であれば通信網Bに振り分け、シーケンス番号を3で割った余りが2であれば通信網Cに振り分ける動作を行う。
Also, for example, the packet
また、動作例1を組み合わせてもよい。例えば、図6の例で、通信網Cの品質が最良である場合に、通信網Cを用いてパケット3、パケット4、パケット5を送信し、通信網Aと通信網Bのそれぞれで、パケット1とパケット2を送信することとしてもよい。
Also, the operation example 1 may be combined. For example, in the example of FIG. 6, when the quality of the communication network C is the best, the packet 3, packet 4, packet 5 are transmitted using the communication network C, and packets are transmitted in the communication network A and the communication network B respectively. 1 and
なお、一般に広域網(携帯電話網、インターネット等)におけるパケット転送速度は、構内網(ユーザ宅内のネットワーク等)におけるパケット転送速度よりも低速であるので、動作例2の適用が効果的である。 In general, the packet transfer rate in the wide area network (mobile phone network, Internet, etc.) is lower than the packet transfer rate in the local area network (network, etc. of the user's home), so the application of the operation example 2 is effective.
すなわち、構内網での通信になる端末300から通信装置100への通信及び通信装置200から端末400への通信の速度よりも、通信装置100から通信装置200への通信の速度は大幅に低速であるため、通信装置100から通信装置200への通信が全体のボトルネックになり得るが、動作例2を適用することにより、通信装置100から通信装置200への通信を高速化でき、ボトルネック化を回避できる。
That is, the speed of communication from the
(動作例3)
次に、動作例3を説明する。動作例3は、VR(Virtual Reality)向けの映像転送用途を想定しているが、動作例3の用途はVRに限られない。
(Operation example 3)
Next, an operation example 3 will be described. Operation example 3 assumes a video transfer application for VR (Virtual Reality), but the application of operation example 3 is not limited to VR.
人間の視野角は水平方向で約90度であるが、集中して見ているのは中心40度であり、眼球の構造上周辺視野には色すらついていない。そこで、動作例3では、送信側の端末300においてユーザの視線方向をセンサで検出し、中心視野に該当する映像部分のパケットを高品質の通信網で転送し、中心視野に該当する映像部分以外のパケットを高品質ではない通信網で送信することとしている。 The viewing angle of human beings is about 90 degrees in the horizontal direction, but it is the central 40 degrees that is viewed intensively, and the peripheral vision of the eyeball is not even colored. Therefore, in the operation example 3, the direction of the user's line of sight is detected by the sensor in the terminal 300 on the transmission side, and the packet of the video portion corresponding to the central view is transferred through the high quality communication network. Packets are to be transmitted over a communication network that is not of high quality.
この場合の端末300の構成例を図7に示す。図7に示すように、端末300は、視線検出部310、カメラ320、パケット送信部330を有する。視線検出部310は、カメラ320で撮影している映像の画面範囲の中で、ユーザの視線の位置(例えば、集中して見ている円形の所定の大きさの範囲)を検出し、その位置の情報をパケット送信部330に通知する。
A configuration example of the terminal 300 in this case is shown in FIG. As shown in FIG. 7, the terminal 300 includes a
パケット送信部330は、カメラ320で撮影された映像を、画面を分割することによりパケット化するとともに、そのパケットに対応する画面上での位置を取得する。そして、例えば、パケット送信部330は、ユーザの視線の位置に対応する映像部分のパケットには、そのことを示す識別子(メタデータと称してもよい)を付して通信装置100に送信する。ユーザの視線の位置に対応しない映像部分のパケットについては、識別子を付さない。
The
上記のパケット+識別子、又は、パケットのみを受信する通信装置100では、これまでに説明したとおりにパケットへのシーケンス番号付与がなされるとともに、パケット振り分け処理部130は、識別子の付されたパケットを、例えば最も品質の高い通信網(例えば通信網A)に振り分け、識別子の付されていないパケットは、最も品質の高い通信網以外の通信網(例えば、通信網B、C)に振り分ける。
In the
識別子の付されたパケットについては、重要なパケットであるため、パケット振り分け処理部130は、動作例1を適用して、品質の高い複数通信網(例えば、通信網A、B)の両方に振り分けてもよい。
Since the packet to which the identifier is attached is an important packet, the packet
識別子の付されないパケットについては、データ量(パケット数)が多いことが想定されることから、動作例2を適用して、複数通信網を利用して送信することとしてもよい。 Since it is assumed that the amount of data (the number of packets) is large for packets to which an identifier is not attached, operation example 2 may be applied to transmit using a plurality of communication networks.
受信側の通信装置200において、各通信網から受信したパケットをシーケンス番号の順番で端末400に送信する。端末400では、例えば、高品質通信網で転送された中心視野の映像と、低品質通信網で転送された周辺視野の映像とが結合させて表示される。
The
図8は、上記の処理のイメージを示している。図8に示すとおり、中心視野の部分に該当する男の子の映像のパケットが高品質の通信網で転送され、周辺視野の映像のパケットは低品質の通信網で転送される。受信側では、これらが結合されて表示される。 FIG. 8 shows an image of the above process. As shown in FIG. 8, a packet of a boy's image corresponding to the central view portion is transferred by a high quality communication network, and a packet of a peripheral view image is transferred by a low quality communication network. On the receiving side, these are combined and displayed.
図8の例において、例えば、男の子の映像が高品質で届けば、低品質通信網で送信される川の映像にノイズが載ってもユーザ満足度は大きくは低下しない。また、周辺視野はユーザが集中して観察しないため、ノイズに気づかない可能性もある。 In the example of FIG. 8, for example, if the video of a boy is delivered with high quality, the user satisfaction does not greatly decrease even if noise appears on the video of the river transmitted by the low quality communication network. In addition, since the peripheral visual field is not observed intensively by the user, there is a possibility that the user may not notice noise.
<識別子(メタデータ)を使用しない例>
送信側において、端末300がパケットに識別子を付する機能を備えないこととしてもよい。その場合、例えば、映像のパケットを端末300から受信した通信装置100において、パケット振り分け処理部130が、受信したパケットを用いて画像認識を行うことにより、映像の画面の中央部分の範囲(例:予め定めた大きさの円形の範囲)に該当するパケットを識別し、そのパケットを、上記の識別子がついたパケットと同様に高品質の通信網に振り分け、それ以外のパケットを高品質の通信網以外の通信網に振り分けてもよい。また、パケット振り分け処理部130は、受信したパケットを用いて画像認識を行うことにより、映像の画面の中央部分の範囲に該当するパケットと、映像の画面の中央部分の範囲に該当しないパケットとを生成し、上記の送信を行ってもよい。
<Example where identifier (metadata) is not used>
On the transmission side, the terminal 300 may not have a function of adding an identifier to the packet. In that case, for example, in the
また、パケット振り分け処理部130が、受信したパケットを用いて画像認識を行うことにより、映像の画面の中の人に該当する部分のパケットを識別し、そのパケットを、上記の識別子がついたパケットと同様に高品質の通信網に振り分け、それ以外のパケットを高品質の通信網以外の通信網に振り分けてもよい。また、パケット振り分け処理部130は、受信したパケットを用いて画像認識を行うことにより、映像の画面の中の人に該当する部分のパケットと、映像の画面の中の人に該当する部分に該当しないパケットとを生成し、上記の送信を行ってもよい。
Also, the packet
<音の例>
なお、動作例3では、映像を送信する例を示しているが、音を送信する場合にも同様の処理を適用できる。例えば、端末300は、ユーザが発話を行う環境で音を収集し、収集した音のパケットを通信装置100に送信する。パケットを受信した通信装置100のパケット振り分け処理部130が、受信したパケットを用いて音声認識を行うことにより、ユーザの発話音声のパケットと、それ以外のパケット(例:環境音のパケット)とを分離し、発話音声のパケットを、上記の識別子がついたパケットと同様に高品質の通信網に振り分け、それ以外のパケットを高品質の通信網以外の通信網に振り分けてもよい。すなわち、パケット振り分け処理部130は、発話者の音声のパケットと、それ以外の音のパケットとを識別し、これらを上記のように各通信網に振り分ける。
<Example of sound>
Although operation example 3 shows an example of transmitting a video, the same processing can be applied to the case of transmitting a sound. For example, the terminal 300 collects sounds in an environment where the user speaks, and transmits the collected sound packets to the
<その他>
また、上述した例では、映像、音声についての重要と考えられる部分のパケットを優先的に高品質の通信網に転送することとしているが、パケットを送信するための通信網を選択する観点はこれらに限られるわけではない。
<Others>
Also, in the above-described example, packets of portions considered to be important for video and audio are preferentially transferred to a high quality communication network, but from the viewpoint of selecting a communication network for transmitting packets, It is not limited to
例えば、端末300が自身で歩くロボットであるとして、当該端末300(ロボット)が、自身のセンサ(カメラ、マイク等を含む)で把握した種々のデータをパケットとして受信側の端末400(例:操縦者の端末)に送信する場合を想定する。
For example, assuming that the terminal 300 is a walking robot, the terminal 300 (robot) receives various data grasped by its sensor (including a camera, a microphone, etc.) as a packet on the receiving
この場合、例えば、端末300(ロボット)には、操縦に必要な映像を高品質で送ることが重要であることが設定されており、端末300(ロボット)は、カメラで検出した映像のパケットを、重要であることを示す識別子を付して通信装置100に送信する。端末300(ロボット)は、上記パケット以外にも、周辺の状況を示す種々のパケットを通信装置100に送信している。パケットを受信した通信装置100は、識別子の付されたパケットを高品質の通信網で送信し、それ以外のパケットを高品質の通信網以外の通信網で送信する。これにより、受信側の端末400のユーザは、ロボットにおける状況等を素早く把握でき、適切な操縦を行うことができる。
In this case, for example, it is set that it is important to send a video necessary for maneuvering with high quality to the terminal 300 (robot), and the terminal 300 (robot) sets the packet of the video detected by the camera. , An identifier indicating that it is important, and transmits it to the
また、例えば、端末300(ロボット)が誰かと会って会話をする際には当該会話の音質を優先し、通信装置100は、当該会話の音声のパケットを高品質の通信網で送信することとしてもよい。また、例えば、端末300(ロボット)が工作を開始した場合には、音声よりも触覚情報を優先し、通信装置100は、当該触覚情報のパケットを高品質の通信網で送信することとしてもよい。
Also, for example, when the terminal 300 (robot) meets someone and makes a conversation, priority is given to the sound quality of the conversation, and the
また、例えば、端末300(ロボット)には、人と接近することが重要であることが設定されており、端末300(ロボット)は、センサで検出した人との距離が所定閾値以下になった場合に、そのことを示すデータのパケットを、重要であることを示す識別子を付して通信装置100に送信することとしてもよい。端末300(ロボット)は、上記パケット以外にも周辺の状況を示す種々のパケットを通信装置100に送信している。パケットを受信した通信装置100は、識別子の付されたパケットを高品質の通信網で送信し、それ以外のパケットを高品質の通信網以外の通信網で送信する。これにより、受信側の端末400のユーザは、ロボットに接近する人の状況等を素早く把握できる。
Also, for example, it is set that it is important for the terminal 300 (robot) to approach a person, and the distance between the terminal 300 (robot) and the person detected by the sensor has become equal to or less than a predetermined threshold In this case, a packet of data indicating that fact may be transmitted to the
また、例えば、端末300(ロボット)が本を読み、その内容を受信側の端末400に送信するような場合には、パケットロスによる誤りを回避するために、動作例1を適用してパケット送信を行うこととしてもよい。
Also, for example, when the terminal 300 (robot) reads a book and transmits the contents to the receiving
また、通信装置100において、パケット振り分け処理部130は、AIを利用して、どの通信網を利用してパケットを送信するかを決定してもよい。例えば、受信するパケットの頻度、量、送信された時刻等の状況と、パケットの重要性との関係を事前にAIに学習させ、パケット振り分け処理部130は、AIにより特定の状況を検知した場合に、そのときのパケットを高品質の通信網に振り分ける。
In addition, in the
(実施の形態のまとめ)
本実施の形態に係る技術により、例えば、無線環境におけるリアルタイム通信でのパケットロスの影響を緩和することが可能となる。例えば、複数の携帯キャリアの電波を利用することで、片方のキャリアの電波が極端に弱い状態になっても、もう一方のキャリアの電波で通信を継続することが可能である。また、本実施の形態に係る技術は、通信網側でのインフラの更新を行わなくとも実施することが可能である。
(Summary of the embodiment)
With the technology according to the present embodiment, for example, it is possible to mitigate the influence of packet loss in real time communication in a wireless environment. For example, by using the radio waves of a plurality of mobile carriers, even if the radio waves of one carrier become extremely weak, it is possible to continue communication with the radio waves of the other carrier. Further, the technology according to the present embodiment can be implemented without updating the infrastructure on the communication network side.
以上、説明したように、本実施の形態によれば、順次受信するパケットにシーケンス番号を付与し、シーケンス番号が付された各パケットを1つの通信網又は複数の通信網に振り分けるパケット振り分け手段と、前記1つの通信網又は前記複数の通信網に振り分けられた各パケットを、振り分け先の通信網を利用して受信側に送信する送信手段とを備えることを特徴とする通信装置が提供される。 As described above, according to the present embodiment, packet distributing means for assigning a sequence number to sequentially received packets and distributing each packet with the sequence number to one communication network or a plurality of communication networks, and A communication apparatus is provided, comprising: transmitting means for transmitting each packet distributed to the one communication network or the plurality of communication networks to a receiving side using a communication network of a distribution destination. .
前記パケット振り分け手段は、例えば、前記シーケンス番号が付された各パケットを、前記通信装置が接続される複数の全ての通信網に振り分ける。 The packet distribution unit, for example, distributes each packet to which the sequence number is assigned to all the plurality of communication networks to which the communication device is connected.
前記パケット振り分け手段は、パケットに付されたシーケンス番号に基づいて、当該パケットの振り分け先の通信網を選択することとしてもよい。 The packet distribution unit may select a communication network to which the packet is to be distributed based on the sequence number assigned to the packet.
前記パケット振り分け手段は、順次受信するパケットのうち、特定のパケットを特定の通信網に振り分け、当該特定のパケット以外のパケットを、当該特定の通信網以外の通信網に振り分けることとしてもよい。 The packet distribution unit may distribute a specific packet to a specific communication network among packets to be sequentially received, and distribute packets other than the specific packet to a communication network other than the specific communication network.
前記パケット振り分け手段は、所定の識別子が付されたパケットを前記特定のパケットであると判断することとしてもよい。また、前記パケットが映像のパケットである場合において、前記パケット振り分け手段は、前記パケットが、映像における特定の部分に対応するか否かを判断することにより、当該パケットが前記特定のパケットであるか否かを判断することとしてもよい。また、前記パケットが音のパケットである場合において、前記パケット振り分け手段は、前記パケットが、発話者の音声に対応するか否かを判断することにより、当該パケットが前記特定のパケットであるか否かを判断することとしてもよい。 The packet distribution unit may determine that the packet with a predetermined identifier is the specific packet. In addition, when the packet is a video packet, the packet distribution unit determines whether the packet is the specific packet by determining whether the packet corresponds to a specific part in the video. It may be determined whether or not. In addition, when the packet is a sound packet, the packet distribution unit determines whether the packet is the specific packet by determining whether the packet corresponds to the voice of the speaker. You may decide to
また、本実施の形態により、前記通信装置と、当該通信装置から送信されたパケットを受信する受信側通信装置とを備える通信システムであって、前記受信側通信装置は、前記通信装置から送信されたパケットを前記1つの通信網又は前記複数の通信網から受信する受信手段と、前記受信手段により順次受信するパケットを、当該パケットに付されているシーケンス番号の順番で出力する出力手段と、を備えることを特徴とする通信システムが提供される。 Further, according to the present embodiment, there is provided a communication system comprising the communication device and a receiving communication device for receiving a packet transmitted from the communication device, wherein the receiving communication device is transmitted from the communication device. Receiving means for receiving the received packet from the one communication network or the plurality of communication networks, and outputting means for outputting the packets sequentially received by the receiving means in the order of the sequence numbers attached to the packets A communication system is provided, characterized in that it comprises.
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the present embodiment has been described above, the present invention is not limited to such a specific embodiment, and various modifications and changes may be made within the scope of the subject matter of the present invention described in the claims. It is possible.
100 通信装置
110 入力部
120 シーケンス番号付与部
130 パケット振り分け処理部
140 通信部
200 通信装置
210 通信部
220 パケット順序整列部
230 出力部
300 端末
310 視線検出部
320 カメラ
330 パケット送信部
400 端末
1000 ドライブ装置
1001 記録媒体
1002 補助記憶装置
1003 メモリ装置
1004 CPU
1005 インタフェース装置
1006 表示装置
1007 入力装置
100
1005
Claims (10)
前記1つの通信網又は前記複数の通信網に振り分けられた各パケットを、振り分け先の通信網を利用して受信側に送信する送信手段と
を備えることを特徴とする通信装置。 Packet distribution means for assigning a sequence number to sequentially received packets and distributing each packet with the sequence number to one communication network or a plurality of communication networks;
A communication device comprising: transmitting means for transmitting each packet distributed to the one communication network or the plurality of communication networks to a receiving side using a communication network of a distribution destination.
ことを特徴とする請求項1に記載の通信装置。 The communication device according to claim 1, wherein the packet distribution unit distributes each packet to which the sequence number is assigned to all the plurality of communication networks to which the communication device is connected.
ことを特徴とする請求項1に記載の通信装置。 The communication apparatus according to claim 1, wherein the packet distribution unit selects a communication network to which the packet is to be distributed, based on the sequence number attached to the packet.
ことを特徴とする請求項1に記載の通信装置。 The packet distribution means distributes a specific packet to a specific communication network among packets sequentially received, and distributes a packet other than the specific packet to a communication network other than the specific communication network. The communication device according to Item 1.
ことを特徴とする請求項4に記載の通信装置。 5. The communication apparatus according to claim 4, wherein the packet distribution unit determines that the packet to which a predetermined identifier is attached is the specific packet.
ことを特徴とする請求項4に記載の通信装置。 When the packet is a video packet, the packet distribution unit determines whether the packet is the specific packet by determining whether the packet corresponds to a specific part in the video. The communication apparatus according to claim 4, wherein:
ことを特徴とする請求項4に記載の通信装置。 If the packet is a sound packet, the packet distribution unit determines whether the packet is the specific packet by determining whether the packet corresponds to the voice of the speaker. The communication apparatus according to claim 4, wherein the communication apparatus determines.
前記受信側通信装置は、
前記通信装置から送信されたパケットを前記1つの通信網又は前記複数の通信網から受信する受信手段と、
前記受信手段により順次受信するパケットを、当該パケットに付されているシーケンス番号の順番で出力する出力手段と、を備える
ことを特徴とする通信システム。 A communication system comprising: the communication device according to any one of claims 1 to 7; and a receiving communication device for receiving a packet transmitted from the communication device,
The receiving communication device is
Receiving means for receiving a packet transmitted from the communication device from the one communication network or the plurality of communication networks;
A communication system, comprising: output means for outputting the packets sequentially received by the receiving means in the order of the sequence numbers attached to the packets.
順次受信するパケットにシーケンス番号を付与し、シーケンス番号が付された各パケットを1つの通信網又は複数の通信網に振り分けるパケット振り分けステップと、
前記1つの通信網又は前記複数の通信網に振り分けられた各パケットを、振り分け先の通信網を利用して受信側に送信する送信ステップと
を備えることを特徴とする通信方法。 A packet communication method executed by a communication device, comprising
A packet distribution step of assigning a sequence number to sequentially received packets and distributing each packet with the sequence number to one communication network or a plurality of communication networks;
A transmitting step of transmitting each packet distributed to the one communication network or the plurality of communication networks to a receiving side using a communication network of a distribution destination.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017197922A JP7271080B2 (en) | 2017-10-11 | 2017-10-11 | Communication device, communication system, communication method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017197922A JP7271080B2 (en) | 2017-10-11 | 2017-10-11 | Communication device, communication system, communication method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019071593A true JP2019071593A (en) | 2019-05-09 |
JP7271080B2 JP7271080B2 (en) | 2023-05-11 |
Family
ID=66441963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017197922A Active JP7271080B2 (en) | 2017-10-11 | 2017-10-11 | Communication device, communication system, communication method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7271080B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002252633A (en) * | 2001-02-23 | 2002-09-06 | Nippon Telegr & Teleph Corp <Ntt> | Traffic distribution frame relay method and device |
JP2006324945A (en) * | 2005-05-19 | 2006-11-30 | Matsushita Electric Ind Co Ltd | Communication terminal apparatus |
JP2010114693A (en) * | 2008-11-06 | 2010-05-20 | Nomura Research Institute Ltd | Transmitter |
JP2010165105A (en) * | 2009-01-14 | 2010-07-29 | Nec Corp | Communication equipment and control program for the same |
JP2011010356A (en) * | 2003-02-21 | 2011-01-13 | Nec Corp | Image data distribution control method, device, system, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4305752B2 (en) | 2003-10-24 | 2009-07-29 | ソニー株式会社 | VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION METHOD, AND VIDEO DISTRIBUTION PROGRAM |
CA2697604A1 (en) | 2007-09-28 | 2009-04-02 | Voiceage Corporation | Method and device for efficient quantization of transform information in an embedded speech and audio codec |
-
2017
- 2017-10-11 JP JP2017197922A patent/JP7271080B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002252633A (en) * | 2001-02-23 | 2002-09-06 | Nippon Telegr & Teleph Corp <Ntt> | Traffic distribution frame relay method and device |
JP2011010356A (en) * | 2003-02-21 | 2011-01-13 | Nec Corp | Image data distribution control method, device, system, and program |
JP2006324945A (en) * | 2005-05-19 | 2006-11-30 | Matsushita Electric Ind Co Ltd | Communication terminal apparatus |
JP2010114693A (en) * | 2008-11-06 | 2010-05-20 | Nomura Research Institute Ltd | Transmitter |
JP2010165105A (en) * | 2009-01-14 | 2010-07-29 | Nec Corp | Communication equipment and control program for the same |
Also Published As
Publication number | Publication date |
---|---|
JP7271080B2 (en) | 2023-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7258041B2 (en) | Sidelink transmission method and terminal | |
WO2021088750A1 (en) | Harq-ack codebook generation method, information transmission method, and device | |
CN102859480A (en) | Screen sharing | |
JP6582100B2 (en) | Method and apparatus for providing voice service | |
CN112422241B (en) | Data transmission method, device, storage medium and computer equipment | |
WO2020192718A1 (en) | Transport block size determination method and communication device | |
CN107147656B (en) | Method and system for establishing remote control and readable storage medium | |
KR102121035B1 (en) | Information processing device, control method and program of information processing device | |
US11870940B2 (en) | Method and system for facilitating high-fidelity audio sharing | |
WO2021115361A1 (en) | Sending method, receiving method, network device, and terminal | |
CN109600677A (en) | Data transmission method and device, storage medium, electronic equipment | |
CN113037751B (en) | Method and system for creating audio/video receiving stream | |
WO2021018130A1 (en) | Physical uplink control channel transmission method, apparatus, device, and medium | |
CN103414867B (en) | Multimedia session control method, terminal and system | |
JP7271080B2 (en) | Communication device, communication system, communication method, and program | |
WO2020020219A1 (en) | Random access method, terminal device, and network device | |
CN110475367B (en) | Transmission method, mobile communication terminal and network side equipment | |
CN111835547A (en) | Quality of service (QoS) management method and related equipment | |
JP5508605B1 (en) | COMMUNICATION CONTROL SYSTEM, COMMUNICATION CONTROL METHOD, COMMUNICATION CONTROL PROGRAM, TERMINAL, AND TERMINAL PROGRAM | |
JP7359967B2 (en) | Uplink transmission methods, devices, equipment and storage media | |
US10594361B2 (en) | Communication system, communication apparatus, communication method, hopping pattern determining method and program | |
CN112468982B (en) | Calling method and calling device | |
CN112533154B (en) | Data processing method, device and storage medium | |
US9306824B2 (en) | Communication control apparatus, communication control method, and computer-readable non-transitory recording medium | |
JP6500366B2 (en) | Management device, terminal device, transmission system, transmission method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220830 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220913 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221129 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230220 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230314 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20230411 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7271080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |