JP2017038141A - 通信システム、リレー装置、管理装置および通信方法 - Google Patents

通信システム、リレー装置、管理装置および通信方法 Download PDF

Info

Publication number
JP2017038141A
JP2017038141A JP2015157155A JP2015157155A JP2017038141A JP 2017038141 A JP2017038141 A JP 2017038141A JP 2015157155 A JP2015157155 A JP 2015157155A JP 2015157155 A JP2015157155 A JP 2015157155A JP 2017038141 A JP2017038141 A JP 2017038141A
Authority
JP
Japan
Prior art keywords
data
terminal
type
relay device
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015157155A
Other languages
English (en)
Other versions
JP6470142B2 (ja
Inventor
康弘 持田
Yasuhiro Mochida
康弘 持田
大介 白井
Daisuke Shirai
大介 白井
竜也 藤井
Tatsuya Fujii
竜也 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015157155A priority Critical patent/JP6470142B2/ja
Publication of JP2017038141A publication Critical patent/JP2017038141A/ja
Application granted granted Critical
Publication of JP6470142B2 publication Critical patent/JP6470142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】本発明は、遠隔地に分散した複数の端末93を用いるユーザ同士がリアルタイムにコミュニケーションするために、リアルタイム性よりも信頼性が重要なデータと、信頼性よりもリアルタイム性が重要なデータの両方を適切に取り扱うユーザインタフェースを実現することを目的とする。【解決手段】本発明は、データのタイプがユーザプロファイルかリクエストかそれ以外かを判定し、種別に応じた処理を行うことにより、リアルタイム性よりも信頼性が重要なデータと、信頼性よりもリアルタイム性が重要なデータの両方を分けて取り扱う。【選択図】図2

Description

本発明は、通信システムおよび通信方法に関し、特にリレー装置および管理装置を用いた通信システムおよび通信方法に関する。
遠隔地に分散した複数のユーザ同士がリアルタイムにコミュニケーションするためのユーザインタフェース(UI:User Interface)を実現するためには、リアルタイムかつ双方向にデータを送受信するための仕組みが必要である。その仕組みのひとつとして、ウェブブラウザにおいてリアルタイムかつ双方向の通信をするためのプロトコルであるWebSocket(非特許文献1参照。)がある。
非特許文献2には、WebSocketを用いてポインタをリアルタイムに動かすUIの一例が示されている。非特許文献2の方法によれば、一人のユーザが自分のウェブブラウザで動作するUI用ページ上でマウスを動かすと、ディスプレイ用ページ上で対応する位置にリアルタイムにポインタが動くことにより、指示点を共有することができる。
しかし、WebSocketのようなTCP(Transmission Control Protocol)上で動作するプロトコルにおいては、パケットロスが生じるとロスしたパケットの再送を行い、その到着までは後続パケットの処理も遅延される。図1に、Round Trip Time(RTT)が大きい拠点間通信網95上でWebSocketサーバ96を介して通信を行う通信システムの一例を示す。端末93#1及び93#2のそれぞれは、表示部34と、ウェブブラウザ35と、通信プログラム36と、を備える。端末93#1は拠点#1に配置され、端末93#2は拠点#2に配置されている。端末93#1、93#2及びWebSocketサーバ96は、それぞれ、拠点間通信網95とルータ94#1〜#3で接続される。
ウェブブラウザ35#1及び35#2同士が通信プログラム36#1及び36#2を用いて通信する場合、パケットロスが生じると、再送を待つ間は表示部31#1及び31#2に表示されたポインタの動きが停止するというような問題が生じる。この場合、ロスしたパケットは再送せず、後続のパケットを順次処理して、表示部34#1又は34#2に表示されたポインタの位置を更新するほうがユーザ体感品質の観点では望ましい。
特開2015−46708号公報
RFC6445 T.Marrinan,etc.,"SAGE2:A new approach for data intensive collaboration using Scalable Resolution Shared Displays,"Collaborative Computing:Networking,Applications and Worksharing(CollaborateCom),2014 International Conference on, pp.177−186,Oct.,2014
本発明は、遠隔地に分散した複数の端末93を用いるユーザ同士がリアルタイムにコミュニケーションするために、リアルタイム性よりも信頼性が重要なデータと、信頼性よりもリアルタイム性が重要なデータの両方を適切に取り扱うユーザインタフェースを実現することを目的とする。
上記目的を達成するために、本発明は、データのタイプがユーザプロファイルかリクエストかそれ以外かを判定し、種別に応じた処理を行うことにより、リアルタイム性よりも信頼性が重要なデータと、信頼性よりもリアルタイム性が重要なデータの両方を分けて取り扱う。
具体的には、本発明に係る通信システムは、
拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムであって、
前記複数の端末の拠点ごとに備わり、前記端末と信頼性を有する第1の方式を用いて接続される複数のリレー装置と、
前記拠点間通信網に接続された管理装置と、
を備え、
前記複数のリレー装置のうちの前記一方の端末の拠点に配置される第1リレー装置は、
前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した転送可能な第2の方式を用いて送信し、
前記複数のリレー装置のうちの前記他方の端末の拠点に配置される前記第2リレー装置は、
前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、前記他方の端末に、前記第1の方式を用いて送信し、
前記管理装置は、
前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信する。
本発明に係る通信システムでは、
前記第2のタイプのデータは、前記一方の端末において行われた操作の情報及び当該操作の時間の情報を含み、
前記第2リレー装置は、前記第2のタイプのデータに含まれる前記操作の情報を、当該第2のタイプのデータに含まれる前記時間の情報と共に又は前記時間の情報に従って、前記他方の端末に送信してもよい。
本発明に係る通信システムでは、
前記第1のリレー装置、前記第2のリレー装置及び前記管理装置のすくなくともいずれかは、前記一方の端末から送信されたデータを記憶し、前記一方の端末からの要求を受けると、要求に応じて、記憶しているデータの処理を行ってもよい。
前記第1の方式は、TCP(Transmission Control Protocol)を用いた通信方式であってもよい。特に、前記第1の方式は、WebSocketを用いて、前記端末のブラウザと通信してもよい。
前記第2の方式は、UDP(User Datagram Protocol)を用いた通信方式であってもよい。
具体的には、本発明に係るリレー装置は、
拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わるリレー装置であって、
自己の拠点に配置された前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定するデータ解析部と、
前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信する拠点間データ通信部と、
前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、己の拠点に配置された前記他方の端末に、前記第1の方式を用いて送信する拠点内データ通信部と、
を備える。
具体的には、本発明に係る管理装置は、
拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わる管理装置であって、
前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを前記拠点間通信網を介して受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定するデータ解析部と、
前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信するデータ通信部と、
を備える。
具体的には、本発明に係る通信方法は、
拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムの通信方法であって、
前記通信システムは、
前記複数の端末の拠点ごとに備わり、前記端末と信頼性を有する第1の方式を用いて接続される複数のリレー装置と、
前記拠点間通信網に接続された管理装置と、
を備え、
前記複数のリレー装置のうちの前記一方の端末の拠点に配置される第1リレー装置は、
前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信し、
前記複数のリレー装置のうちの前記他方の端末の拠点に配置される前記第2リレー装置は、
前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、前記他方の端末に、前記第1の方式を用いて送信し、
前記管理装置は、
前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信する。
具体的には、本発明に係るリレー装置の通信方法は、
拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わるリレー装置の通信方法であって、
前記一方の端末の拠点に配置された第1リレー装置である場合、
前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信し、
前記他方の端末の拠点に配置された前記第2リレー装置である場合、
前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、前記他方の端末に、前記第1の方式を用いて送信する。
具体的には、本発明に係る管理装置の通信方法は、
拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わる管理装置の通信方法であって、
前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを前記拠点間通信網を介して受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信する。
なお、上記各発明は、可能な限り組み合わせることができる。
本発明により、遠隔地に分散した複数の端末を用いるユーザ同士がリアルタイムにコミュニケーションするために、リアルタイム性よりも信頼性が重要なデータと、信頼性よりもリアルタイム性が重要なデータの両方を適切に取り扱うユーザインタフェースを実現することができる。
本発明に関連する通信システムの一例を示す。 本発明の実施形態に係る通信システムの一例を示す。 本発明の実施形態に係るリレー装置91の一例を示す。 本発明の実施形態に係るリレー装置91の動作フローチャートの一例を示す。 本発明の実施形態に係る管理装置92の一例を示す。 本発明の実施形態に係る管理装置92の動作フローチャートの一例を示す。 本発明の実施形態1に係る通信システムの一例を示す。 本発明の実施形態1での表示部34への表示の第1例を示す。 本発明の実施形態1での表示部34への表示の第2例を示す。 本発明の実施形態1でのポインタの位置を送信する場合の信号の流れ及び順序の一例を示す。 本発明の実施形態1での付箋及びチャットのデータを送信する場合の信号の流れ及び順序の一例を示す。 本発明の実施形態1で用いるデータの第1例を示す。 本発明の実施形態1で用いるデータの第2例を示す。 本発明の実施形態1で用いるデータの第3例を示す。 本発明の実施形態2での表示部34の表示の一例を示す。 本発明の実施形態2での信号の流れ及び順序の一例を示す。 本発明の実施形態2で用いるデータの第1例を示す。 本発明の実施形態2で用いるデータの第2例を示す。 本発明の実施形態2で用いるデータの第3例を示す。 本発明の実施形態2で用いるデータの第4例を示す。 本発明の実施形態2で用いるデータの第5例を示す。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
図2に、本実施形態に係る通信システムの構成例を示す。本実施形態に係る通信システムは、#1及び#2の端末93と、拠点#1及び#2に配置される#1及び#2のリレー装置94と、拠点#3に配置されるひとつの管理装置92と、を備える。
端末93#1及び端末93#2は、遠隔地に配置され、拠点間通信網95を用いて互いに接続されている。例えば、端末93#1は拠点#1に配置され、端末93#2は拠点#2に配置される。
リレー装置91は、端末93の存在する各拠点に配置される。例えば、リレー装置91#1は拠点#1に配置され、リレー装置91#2は拠点#2に配置される。各拠点内での通信のRTTは、拠点間通信のRTTに比べて十分に小さいものとし、この条件を満たす範囲であればリレー装置91#1及び91#2を各拠点内通信網の外側に配置してもよい。
管理装置92は拠点間通信網95に接続される。管理装置92はどこに設置してもよい。例えば、端末93の存在する拠点とは異なる拠点#3に配置してもよい。また、管理装置92は、リレー装置91と同一の物理マシン上で動作させてもよい。
端末93とリレー装置91、及び、端末93と管理装置92は、信頼性を重視した第1の方式を用いてデータの送受信を行う。第1の方式は、信頼性を有する通信方式であり、例えば、TCPベースのプロトコルである。リレー装置91同士は、リアルタイム性を重視した第2の方式を用いてデータの送受信を行う。第2の方式は、第1の方式よりもリアルタイム転送に適した方式であり、例えば、UDP(User Datagram Protocol)である。第2の方式は、欠損パケットを再送しない代わりに、受信したパケットを順次処理することによりリアルタイム転送に適している。本実施形態に係る通信システムは、リレー装置91及び管理装置92を用いて、一方の端末93#1において行われた操作に起因する動作を、他方の端末93#2において動作させる。
本実施形態に係る通信システムは、本実施形態に係る通信方法を実行する。
具体的には、本実施形態に係る通信方法は、リレー装置転送手順と、管理装置転送手順と、を有する。本実施形態では、リアルタイム性よりも信頼性が重要なデータと、信頼性よりもリアルタイム性が重要なデータの両方を分けて取り扱う。
リレー装置転送手順では、リレー装置91#1及び#2が、第2のタイプのデータを転送する。端末93#1において行われた操作によって発生したデータがリアルタイム性を重視すべきデータである場合、当該データは第2のタイプのデータとなる。第2のタイプのデータは、例えば、ポインタの位置等のデータ、線分描画データ、頭部位置の計測データ等を含む。
管理装置転送手順では、管理装置92が、第1のタイプのデータを転送する。端末93#1において行われた操作によって発生したデータが信頼性を重視すべきデータである場合、当該データは第1のタイプのデータとなる。第1のタイプのデータは、例えば、ユーザプロファイル又はリクエスト、テキストを含む。
(リレー装置91)
図3に、本実施形態に係るリレー装置91の構成例を示す。本実施形態に係るリレー装置91は、拠点内データ通信部12と、拠点間データ通信部16と、ユーザテーブル13と、データ蓄積部15と、時刻情報管理部11と、データ解析部14と、を備える。
リレー装置91は、コンピュータを、拠点内データ通信部12と、拠点間データ通信部16と、ユーザテーブル13と、データ蓄積部15と、時刻情報管理部11と、データ解析部14として機能させることで実現してもよい。この場合、リレー装置91が備えるリレー装置CPU(Central Processing Unit)(不図示)がリレー装置記憶部(不図示)に記憶されたコンピュータプログラムを実行することで、各構成を実現する。ここで、リレー装置91を実現する際のコンピュータは、コンピュータによって制御される任意の機器をさらに備えてもよい。また、リレー装置91を実現する際のプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
リレー装置91は、同一拠点内の端末93と、第1の方式を用いて接続され、通信する。リレー装置91は、他の拠点の端末93に対してデータを送信する場合には、該当拠点のリレー装置91まで、第2の方式であるUDP等で送信する。このことにより、リレー装置91は、RTTの大きな拠点間通信網を介した通信におけるリアルタイム性を改善する。
拠点内データ通信部12は、リレー装置91が設置された拠点内の端末93と通信し、データの送受信を行う。ひとつのリレー装置91に対して複数の端末93が通信することができるが、リレー装置91はIPアドレス等によって通信相手の端末93を識別する。リレー装置91が拠点内の端末93の識別のために用いる情報を接続IDと呼ぶことにする。
拠点内データ通信部12は、同じ拠点に配置された端末93からデータを受信した場合には、受信したデータをデータ解析部14とデータ蓄積部15に渡す。拠点内データ通信部12が端末93から受信するデータは、端末93において行われた操作の情報及び当該操作の時間の情報を含むことが好ましい。ここで、操作の情報は、操作を示す情報であり、例えば、ポインタの位置である。操作の時間の情報は、操作のタイミングを示す情報であり、例えば、ポインタの位置に紐付けされた時刻情報である。
拠点内データ通信部12は、データ解析部14からデータを受け取った場合には、同時に指定される同じ拠点に配置された端末93に対してデータを送信する。その際、拠点内データ通信部12は、第1の方式を用いて通信を行う。また、拠点内データ通信部12は、データ解析部14から受け取ったデータに時刻情報が含まれている場合には、当該時刻情報に従って、データを端末93へ送信してもよい。
拠点内データ通信部12は、時刻情報管理部11から時刻情報を受け取った場合には、自身に接続している全ての端末93に時刻情報を送信する。
拠点間データ通信部16は、他のリレー装置91とUDPでデータを送受信する。他のリレー装置91からデータを受信した場合には、拠点間データ通信部16は、データをデータ解析部14とデータ蓄積部15に渡す。データ解析部14からデータを受け取った場合には、拠点間データ通信部16は、同時に指定される他の拠点のリレー装置91に対してUDPでデータを送信する。拠点間データ通信部16は、リレー装置91間でのUDP伝送の信頼性を高めるために、誤り訂正符号を利用してもよい。
ユーザテーブル13は、ユーザを一意に特定可能なユーザ名とユーザがいる拠点名と接続IDの組を保持する。ただし、各リレー装置91のユーザテーブル13で保持される接続IDは、当該装置の拠点内データ通信部12で使用されているものである。他のリレー装置91に接続している端末93についての接続IDは持つ必要がない。データ解析部14または管理装置92によって、このユーザテーブル13は更新される。
データ蓄積部15は、拠点内データ通信部12または拠点間データ通信部16から受けとったデータを保存する。データ解析部14からデータ要求と、データの送信先の宛先ユーザ名を受け取ると、要求されたデータの宛先ユーザ名をデータ解析部14から受け取ったユーザ名に書き換えた後にデータ解析部14に渡す。
時刻情報管理部11は、外部のシステムから受け取った時刻情報を、必要であればフォーマットを変換し、拠点内データ通信部12に渡す。複数のシステムから時刻情報を受信して管理する場合には、それらを区別できる形式で拠点内データ通信部12に渡す。
データ解析部14は、受信したデータの処理方法を判断する。データ解析部14の動作フローチャートを図4に示す。データには当該データのタイプを判定するための情報が含まれる。データ解析部14は、まず、データのタイプがユーザプロファイルか、リクエストか、それ以外かを判定する(ステップS101)。ユーザプロファイルは少なくとも、ユーザ名と操作種別(追加、削除、変更等)を示すフラグを含む。
データのタイプが「ユーザプロファイル」である場合には(ステップS101でユーザプロファイル)、データ解析部14は、操作種別に従ってユーザテーブル13を更新する(ステップS121)。例えば、操作種別が追加の場合には、データ解析部14は、ユーザプロファイルが送られてきた端末93の接続IDを、当該ユーザの接続IDとして、ユーザテーブル13に追加して更新する(ステップS121)。
データのタイプが「リクエスト」の場合は(ステップS101でリクエスト)、データ解析部14は、要求するデータの指定とデータを転送する宛先ユーザ名をデータ蓄積部15に渡す(ステップS111)。リクエストは、例えば、特定のデータの送信要求である。リクエストは少なくとも、要求するデータの指定とデータを転送する宛先ユーザ名を含まなければならない。
データのタイプが、「それ以外」のタイプの場合は(ステップS101でそれ以外)、データ解析部14は、データから宛先ユーザ名を抽出し、ユーザテーブル13を参照してユーザ名に対応する端末93が配置された拠点名を得る(ステップS102及びS103)。データのタイプがそれ以外の場合、データは、例えば、ポインタの位置データ、チャットのデータ、映像ストリームのデータである。データのタイプがそれ以外の場合、当該データは少なくとも宛先ユーザ名を含まなければならない。
宛先ユーザ名に対応する端末93が、自身に接続している端末93である場合には(ステップS104でYES)、拠点内データ通信部12にデータを渡して該当する端末93宛に当該データを転送させる(ステップS105)。宛先ユーザ名に対応する端末93が他拠点にある場合には(ステップS104でNO)、データを拠点間データ通信部16に渡し、該当拠点のリレー装置91宛に転送させる(ステップS106)。
(管理装置92)
図5に、本実施形態に係る管理装置92の構成を示す。管理装置92は、データ通信部22と、データ蓄積部25と、ユーザテーブル23と、データ解析部24と、を備える。管理装置92は、これらの構成を用いて、信頼性が必要な第1のタイプのデータの伝送と、リレー装置91のユーザテーブル13の更新を行う。
管理装置92は、コンピュータを、データ通信部22と、データ蓄積部25と、ユーザテーブル23と、データ解析部24として機能させることで実現してもよい。この場合、管理装置92が備える管理装置CPU(不図示)が管理装置記憶部(不図示)に記憶されたコンピュータプログラムを実行することで、各構成を実現する。ここで、管理装置92を実現する際のコンピュータは、コンピュータによって制御される任意の機器をさらに備えてもよい。また、管理装置92を実現する際のプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
データ通信部22は、全拠点の端末93と通信し、データの送受信を行う。ここでの通信は、信頼性が保証される第1の方式を使用する。リレー装置91の拠点内データ通信部12同様、データ通信部22は、接続IDによって端末93を区別する。端末93からデータを受信した場合には、データ通信部22は、データをデータ解析部24とデータ蓄積部25に渡す。データ解析部24からデータを受け取った場合には、データ通信部22は、同時に指定される端末93に対してデータを送信する。
データ蓄積部25は、データ通信部22から受けとったデータを保存する。データ解析部24からデータ要求と宛先ユーザ名を受け取ると、データ蓄積部25は、要求されたデータの宛先ユーザ名をデータ解析部24から受け取ったユーザ名に書き換えた後にデータ解析部24に渡す。
ユーザテーブル23は、ユーザ情報のユーザテーブルを保持する。管理装置92のユーザテーブル23は接続IDとして、データ通信部22が使用する接続IDを保持する。データ解析部24によって、このユーザテーブル23は更新される。ユーザテーブル23の更新が完了すると、続いてリレー装置91のユーザテーブル13を更新する。
データ解析部24は、受信したデータの処理方法を判断する。データ解析部24の動作フローチャートを図6に示す。データ解析部24は、データ通信部22からデータを受け取ると、まずデータのタイプを判定する(ステップS201)。
データのタイプが「ユーザプロファイル」である場合には(ステップS201でユーザプロファイル)、データ解析部24は、内容に応じてユーザテーブル23を更新し(ステップS221)、つづいてデータ通信部22は、リレー装置91のユーザテーブル13を更新する(ステップS222)。データ通信部22とリレー装置91の通信には、第1の方式であるTCPベースのプロトコルを用いる。
データのタイプが「リクエスト」の場合(ステップS201でリクエスト)のデータ解析部24の振る舞いは、リレー装置91と同様である(ステップS211)。ただし、リクエストは、端末93から受信した操作及び当該操作の時間の情報を含む損失番号通知をも含む。
データのタイプが「それ以外」の場合は(ステップS201でそれ以外)、データ解析部24は、データから宛先ユーザ名を抽出し(ステップS202)、次にユーザテーブル23を参照し(ステップS203)、データ通信部22にデータを渡す。データ通信部22は、受け取ったデータを、ユーザテーブル23に記載されている宛先ユーザ名に該当する端末93に転送する(ステップS204)。
(接続シーケンス)
端末93が新たに接続される場合、ユーザテーブル13及び23を更新する。
例えば、端末93#1は、管理装置92と自拠点にあるリレー装置91#1に接続し、ユーザ追加を要求するユーザプロファイルを送信する。このとき、管理装置92に送信するユーザプロファイルは少なくともユーザ名とユーザの拠点名とユーザ追加を要求するフラグを含み、リレー装置91#1に送信するユーザプロファイルは少なくとも、ユーザ名とユーザ追加を要求するフラグを含む。
端末93#1は、端末93#1の接続を切断する場合及びユーザプロファイルを更新する場合も、管理装置92及びリレー装置91#1にユーザプロファイルを送信する。
このように、端末93#1がユーザプロファイルを管理装置92及びリレー装置91#1に送信することで、管理装置92及びリレー装置91#1がユーザテーブル13及び23を更新する。ユーザプロファイルを受信した場合の管理装置92及びリレー装置91の動作は、図4及び図6において説明したとおりである。
ユーザテーブル13の更新については、管理装置92は、受信したユーザプロファイルをリレー装置91#1へ送信することで行ってもよい(図6に示すステップS222)。この場合、リレー装置91#1は、管理装置92から受信したユーザプロファイルを、自装置のユーザテーブル13に追加し、更新する(図4に示すステップS121)。
(実施形態1)
図7に、実施形態1に係る通信システムの一例を示す。本実施形態では、テキストを書き込める付箋と、付箋の位置を動かすことができるポインタを用いたリアルタイムのブレインストーミング用ウェブアプリケーションの構成を示す。本実施形態に係る通信システムは、図2に示した通信システムのうち、拠点#1及び拠点#2に映像エンコーダ81、映像デコーダ83、時刻情報配信装置82及び84をさらに備え、拠点#3にHTTPサーバ85をさらに備える。
HTTPサーバ85はいずれかのリレー装置91または管理装置92と物理マシンを共有してもよい。また、HTTPサーバ85で使用される通信プロトコルは、HTTPSのようにSSL/TSLによって保護されたプロトコルであってもよい。管理装置92のデータ通信部22とリレー装置91の拠点内データ通信部12は、WebSocketサーバとして実装されている。
ウェブブラウザ35#1でスクリプトが置かれたHTTPサーバ85に接続すると、HTTPサーバ85は、図8のようなユーザ情報を入力するページを、端末93#1に備わる表示部34#1に表示する。このとき、ウェブブラウザ35#1は管理装置92のデータ通信部22と自拠点のリレー装置91#1の拠点内データ通信部12#1にWebSocketで接続される。
端末93#1は、図8のようなユーザ情報入力ページで、ユーザ名をユーザ名入力部41に入力し、端末93#1が配置された拠点名を拠点名選択部42#1〜#3から選択し、使用するポインタの色等を色選択部43#1〜#5から選択し、移動ボタン44をクリックする。そうすると、表示部34#1の表示は切り替わり、表示部34#1は、図9のように、付箋46#1〜#5とポインタ45#1〜#3と、チャット47を表示する。
付箋46#1〜#5とポインタ45#1〜#3の動きは、操作の情報として全ての端末93に送信される。特定の端末93だけにチャット47でメッセージを送ることもできる。リアルタイム性が重要なポインタ45#1〜#3の位置情報は、第2のタイプのデータとして、図10に示すように、リレー装置91を経由してUDPで転送される(ステップS501〜S503)。信頼性が要求される付箋46#1〜#5やチャット47のテキストは、第1のタイプのデータとして、図11に示すように、管理装置92を経由してWebSocketで送受信する(ステップS601及びS602)。このように、ウェブブラウザ35上では標準化されたWebSocketを利用しながら、データの特性に合わせた伝送方法を選択することができる。
本実施形態では、特許文献1に示された方法で、ポインタ45#1〜#3の動きを別途伝送する映像に同期させ、配信される映像の時刻情報に対して同期して動作させることもできる。具体的には、各拠点のリレー装置91は、映像エンコーダ81の後段に配置された時刻情報配信装置82#1と映像デコーダ83の前段に配置された時刻情報配信装置84#1から、映像ストリームから抽出された時刻情報を受け取り、WebSocketを通して端末93に備わるウェブブラウザ35に配信する。
例えば、拠点#1であるロンドンの端末93#1に対応するAliceのウェブブラウザ35#1からポインタ位置情報を送信する際に、時刻情報配信装置82#1は、映像エンコーダ81#1でエンコードされた映像ストリームから時刻情報を抽出し、その時点での時刻情報を計算し、リレー装置91#1に送信する。リレー装置91#1は時刻情報をウェブブラウザ35#1に転送する。ウェブブラウザ35#1は、第2のタイプのデータとして、ポインタ位置情報と時刻情報を合わせてリレー装置91#1へと送信する。これにより、第2のタイプのデータ及び時刻情報がリレー装置91#2に転送される。
ここで、ウェブブラウザ35#1は、第1のタイプのデータとして、ポインタ位置情報と時刻情報を合わせて管理装置92へ送信してもよい。
なお、リレー装置91#1は、時刻情報配信装置82#1から取得した時刻情報を、ウェブブラウザ35#1に送信することなく、第2のタイプのデータと共に、リレー装置91#2に送信してもよい。
リレー装置91#2は、リレー装置91#1から受信したデータを端末93#2へと送信する。このとき、リレー装置91#2は、ポインタ位置情報と共に時刻情報を、端末93#2に送信する。これにより、リレー装置91#2からこれらを受信した拠点#2である東京の端末93#2のBobのウェブブラウザ35#2では、拠点#1のロンドンの映像ストリームから抽出した時刻情報に合わせてポインタ位置情報を更新することで、ポインタの動きを拠点#1のロンドンの映像に同期させて表示することができる。
なお、リレー装置91#2は、リレー装置91#1からポインタ位置情報と共に時刻情報を受信すると、時刻情報に従って、ポインタ位置情報を端末93#2に送信してもよい。
図12〜図14は送信するデータ形式の例である。ここでは、JSON(JavaScript Object Notation)形式で記述している(JavaScriptは登録商標)。”type”によって、データのタイプを判別する。ユーザプロファイルでは、”type”をprofileとして、ユーザプロファイルであると判定できるようにしている(図12参照)。
ユーザプロファイルには、要求する操作を表す”action”やユーザ名(”name”)、ユーザのいる拠点名(”location”)が含まれる。“type”がprofile以外の場合は、通常のデータ送信と判定され、”destination”で指定されたユーザに転送される(図13及び図14参照)。
図13に示すように、“destination”にALLと書いた場合には、全てのユーザに送信される。映像信号に同期させる場合には、自身の拠点名(”location”)と、自拠点の映像ストリームで抽出した時刻情報から計算したその時点での時刻情報(”timecode”)を追加する。
(実施形態2)
本実施形態では、描画をリアルタイム共有するウェブアプリケーションを示す。本実施形態での通信システムの構成は実施形態1と同じである。本実施形態での表示部34#2に表示された描画のイメージの一例を図15に示す。
本実施形態では、ウェブブラウザ35#1は、表示部34#1上でのドラッグを検出し、移動ベクトルデータを使って、短い線分を連続して描画することで任意の形状を描画する。しかし、リレー装置91#1を利用して線分位置データを送信するため、リレー装置91#1及び91#2間でパケットロスが生じた場合には、図15の車の右側タイヤ上部の欠落部分48のように、データの一部が欠けてしまう場合がある。
本実施形態では、リレー装置91#1内のデータ蓄積部15の蓄積データを用いて、欠落したデータを回復することが可能である。図16に、本実施形態に係る通信システムのシーケンスの一例を示す。
端末93#1は、第2のタイプである線分位置データを操作の情報として、図17に示すデータを、リレー装置91#1へと送信する(ステップS801)。その際、端末93#1は、線分位置データに、送信する毎に一つずつインクリメントする番号(”number”)を操作の時間の情報として含めておく。次に、リレー装置91#1は、線分位置データをリレー装置91#2へと送信する(ステップS802)。次に、リレー装置91#2は、線分位置データを端末93#2へと送信する(ステップS803)。
一方で、拠点#1にいる端末93#1に対応するAliceのウェブブラウザ35#1は、第1のタイプのデータとして、例えば1秒に1回自分が送信した番号を含む送信済み番号通知(図18参照)を、管理装置92とのWebSocketを通して他の端末93に備わるウェブブラウザ35に送信する(ステップS811及びS812)。この送信済み番号通知を受け取った拠点#2の端末93#2に対応するBobのウェブブラウザ35#2は、これまでに自分が受け取った線分位置データの番号と比較して、受信した線分位置データに漏れがないかを判定することができる。
受信した線分位置データに漏れがある場合には、端末93#2は、管理装置92を経由して端末93#1に対応するAliceに対して漏れている番号(“number”)123を含む損失番号通知(図19参照)を送信する(ステップS821及びS822)。
損失番号通知を受け取った端末93#1に対応するAliceのウェブブラウザ35#1は、拠点#1のリレー装置91#1に対し、要求する番号(”number”)を含み、宛先(”destination”)をBobとする再送要求(図20参照)を送信する(ステップS831)。これにより、リレー装置91#1からリレー装置91#2を介して端末93#2へと123番のデータが再送する(ステップS832及びS833)。これにより、端末93#2に対応するBobのウェブブラウザ35#2は、欠落部分48を受け取り、端末93#1の描画データを即座に回復することができる。
同様の方法で、データの時刻情報(”timecode”)を利用して作業記録の再生が可能である。図21の再送要求のように、再生開始点(”start”)と再生終了点(“end”)を指定した要求を端末93#1へと送ることで、過去の作業記録を再生することができる。したがって、本実施形態に係る通信システムは、時刻情報の管理による外部システムとの同期動作、および作業データ蓄積による欠損データの回復、記録の再生を可能とすることができる。
本発明は、通信産業に適用することができる。
11:時刻情報管理部
12:拠点内データ通信部
13:ユーザテーブル
14:データ解析部
15:データ蓄積部
16:拠点間データ通信部
22:データ通信部
23:ユーザテーブル
24:データ解析部
25:データ蓄積部
34:表示部
35:ウェブブラウザ
36:通信プログラム
41:ユーザ名入力部
42:拠点名選択部
43:色選択部
44:移動ボタン
45:ポインタ
46:付箋
47:チャット
48:欠落部分
81:映像エンコーダ
82:時刻情報配信装置
83:映像デコーダ
84:時刻情報配信装置
85:HTTPサーバ
91:リレー装置
92:管理装置
93:端末
94:ルータ
95:拠点間通信網
96:WebSocketサーバ

Claims (10)

  1. 拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムであって、
    前記複数の端末の拠点ごとに備わり、前記端末と信頼性を有する第1の方式を用いて接続される複数のリレー装置と、
    前記拠点間通信網に接続された管理装置と、
    を備え、
    前記複数のリレー装置のうちの前記一方の端末の拠点に配置される第1リレー装置は、
    前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
    前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信し、
    前記複数のリレー装置のうちの前記他方の端末の拠点に配置される前記第2リレー装置は、
    前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、前記他方の端末に、前記第1の方式を用いて送信し、
    前記管理装置は、
    前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
    前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信する、
    通信システム。
  2. 前記第2のタイプのデータは、前記一方の端末において行われた操作の情報及び当該操作の時間の情報を含み、
    前記第2リレー装置は、
    前記第2のタイプのデータに含まれる前記操作の情報を、当該第2のタイプのデータに含まれる前記時間の情報と共に又は前記時間の情報に従って、前記他方の端末に送信する、
    請求項1に記載の通信システム。
  3. 前記第1のリレー装置、前記第2のリレー装置及び前記管理装置のすくなくともいずれかは、前記一方の端末から送信されたデータを記憶し、前記一方の端末からの要求を受けると、要求に応じて、記憶しているデータの処理を行う、
    請求項1又は2に記載の通信システム。
  4. 前記第1の方式は、TCP(Transmission Control Protocol)を用いた通信方式であり、
    前記第2の方式は、UDP(User Datagram Protocol)を用いた通信方式である、
    請求項1から3のいずれかに記載の通信システム。
  5. 前記第1の方式は、WebSocketを用いて、前記端末のブラウザと通信する、
    請求項4に記載の通信システム。
  6. 拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わるリレー装置であって、
    自己の拠点に配置された前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定するデータ解析部と、
    前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信する拠点間データ通信部と、
    前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、己の拠点に配置された前記他方の端末に、前記第1の方式を用いて送信する拠点内データ通信部と、
    を備えるリレー装置。
  7. 拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わる管理装置であって、
    前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを前記拠点間通信網を介して受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定するデータ解析部と、
    前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信するデータ通信部と、
    を備える管理装置。
  8. 拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムの通信方法であって、
    前記通信システムは、
    前記複数の端末の拠点ごとに備わり、前記端末と信頼性を有する第1の方式を用いて接続される複数のリレー装置と、
    前記拠点間通信網に接続された管理装置と、
    を備え、
    前記複数のリレー装置のうちの前記一方の端末の拠点に配置される第1リレー装置は、
    前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
    前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信し、
    前記複数のリレー装置のうちの前記他方の端末の拠点に配置される前記第2リレー装置は、
    前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、前記他方の端末に、前記第1の方式を用いて送信し、
    前記管理装置は、
    前記一方の端末から送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
    前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信する、
    通信方法。
  9. 拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わるリレー装置の通信方法であって、
    前記一方の端末の拠点に配置された第1リレー装置である場合、
    前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
    前記データのタイプが予め定められた第2のタイプである場合、当該データを、前記他方の端末の拠点に配置されている第2リレー装置に、前記第1の方式よりもリアルタイム転送に適した第2の方式を用いて送信し、
    前記他方の端末の拠点に配置された前記第2リレー装置である場合、
    前記第1リレー装置から前記第2の方式を用いてデータを受信すると、当該データを、前記他方の端末に、前記第1の方式を用いて送信する、
    リレー装置の通信方法。
  10. 拠点間通信網で接続された複数の端末の一方の端末において行われた操作に起因する動作を、前記複数の端末の他方の端末において動作させるための通信システムに備わる管理装置の通信方法であって、
    前記一方の端末から信頼性を有する第1の方式を用いて送信されたデータを前記拠点間通信網を介して受信すると、前記データのタイプが予め定められた所定のタイプであるか否かを判定し、
    前記データのタイプが予め定められた第1のタイプである場合、当該データを、前記他方の端末に、前記第1の方式を用いて送信する、
    管理装置の通信方法。
JP2015157155A 2015-08-07 2015-08-07 通信システム、リレー装置および通信方法 Active JP6470142B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015157155A JP6470142B2 (ja) 2015-08-07 2015-08-07 通信システム、リレー装置および通信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015157155A JP6470142B2 (ja) 2015-08-07 2015-08-07 通信システム、リレー装置および通信方法

Publications (2)

Publication Number Publication Date
JP2017038141A true JP2017038141A (ja) 2017-02-16
JP6470142B2 JP6470142B2 (ja) 2019-02-13

Family

ID=58048503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015157155A Active JP6470142B2 (ja) 2015-08-07 2015-08-07 通信システム、リレー装置および通信方法

Country Status (1)

Country Link
JP (1) JP6470142B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011115A (ja) * 2020-06-29 2022-01-17 株式会社ステラリンク リアルタイム配信システム及びリアルタイム配信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004093406A1 (ja) * 2003-04-16 2004-10-28 Sony Computer Entertainment Inc. データ伝送装置、データ伝送方法、ゲーム機およびゲームシステム
JP2005221657A (ja) * 2004-02-04 2005-08-18 Yamaha Corp 通信端末
US7006494B1 (en) * 2000-01-04 2006-02-28 Cisco Technology, Inc. System and method for a virtual telephony intermediary
JP2015118478A (ja) * 2013-12-17 2015-06-25 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信アダプタ装置、通信システム、トンネル通信方法、及びプログラム
US20150195309A1 (en) * 2012-07-06 2015-07-09 Telefonaktiebolaget L M Ericsson (Publ) Method for adding client capability data to a sip message

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006494B1 (en) * 2000-01-04 2006-02-28 Cisco Technology, Inc. System and method for a virtual telephony intermediary
WO2004093406A1 (ja) * 2003-04-16 2004-10-28 Sony Computer Entertainment Inc. データ伝送装置、データ伝送方法、ゲーム機およびゲームシステム
JP2005221657A (ja) * 2004-02-04 2005-08-18 Yamaha Corp 通信端末
US20150195309A1 (en) * 2012-07-06 2015-07-09 Telefonaktiebolaget L M Ericsson (Publ) Method for adding client capability data to a sip message
JP2015118478A (ja) * 2013-12-17 2015-06-25 エヌ・ティ・ティ・コミュニケーションズ株式会社 通信アダプタ装置、通信システム、トンネル通信方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
持田 康弘,北村 匡彦,白井 大介,藤井 竜也: "REMOCOP:遠隔協調作業のための基盤システム", 映像情報メディア学会技術報告, vol. 37, no. 54, JPN6018027960, 2013, JP, pages 第1-6頁 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011115A (ja) * 2020-06-29 2022-01-17 株式会社ステラリンク リアルタイム配信システム及びリアルタイム配信方法

Also Published As

Publication number Publication date
JP6470142B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
US10798199B2 (en) Network traffic accelerator
JP6164747B2 (ja) 協働環境におけるフロー制御のためのおよび信頼性のある通信のための方法
JP2017500819A (ja) 協働するネットワークコントローラに基づくマルチドメイン送信元ルート選択転送
US10003999B2 (en) HTTP-based buffer status updating method and device, and buffer status processor
JP6801409B2 (ja) 経路探索システム、経路探索方法及び経路探索プログラム
US9848067B2 (en) Managing sequence values with added headers in computing devices
JP5523130B2 (ja) 通信装置、通信方法、及びプログラム
JP2022505424A (ja) パケット処理方法および装置
US10680922B2 (en) Communication control apparatus and communication control method
JP6470142B2 (ja) 通信システム、リレー装置および通信方法
JP4798495B2 (ja) 映像配信品質測定システム、装置および方法
JP6393475B2 (ja) 通信アダプタ装置、通信システム、トンネル通信方法、及びプログラム
CN109347674B (zh) 一种数据传输的方法、装置及电子设备
JP6237357B2 (ja) パケット転送システムおよびパケット転送方法
JP2016162324A (ja) 情報処理システム、制御プログラム及び制御方法
JP6200870B2 (ja) データ転送制御装置、方法及びプログラム
JP6599263B2 (ja) 通信制御装置及び通信制御方法
WO2018225330A1 (ja) 通信装置、中継装置、情報処理システム、通信システム、通信方法、およびプログラム
KR101627796B1 (ko) 네트워크 기반 av 시스템에서 디바이스 상태 정보 전송 방법
WO2013000371A1 (en) Transparent cache for mobile users
KR20130070330A (ko) 모바일 환경에서 에이치티티피 라이브 스트리밍 프토토콜을 알티에스피 프로토콜로 변환하는 시스템 및 그 방법
WO2015164079A1 (en) Managing sequence values with added headers in computing devices
JP5910551B2 (ja) フレーム伝送装置
JP6134571B2 (ja) 疎通確認装置、ネットワークシステム、疎通確認方法、および疎通確認プログラム
JP2020127181A (ja) キャッシュ装置、データ配信システム、再送方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190117

R150 Certificate of patent or registration of utility model

Ref document number: 6470142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150