JP2017028347A - 情報処理装置、通信システム、プログラム - Google Patents

情報処理装置、通信システム、プログラム Download PDF

Info

Publication number
JP2017028347A
JP2017028347A JP2015141531A JP2015141531A JP2017028347A JP 2017028347 A JP2017028347 A JP 2017028347A JP 2015141531 A JP2015141531 A JP 2015141531A JP 2015141531 A JP2015141531 A JP 2015141531A JP 2017028347 A JP2017028347 A JP 2017028347A
Authority
JP
Japan
Prior art keywords
communication
transmission
session
terminals
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015141531A
Other languages
English (en)
Inventor
達也 永瀬
Tatsuya Nagase
達也 永瀬
浅井 貴浩
Takahiro Asai
貴浩 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015141531A priority Critical patent/JP2017028347A/ja
Priority to EP16178961.5A priority patent/EP3119085A1/en
Priority to US15/208,995 priority patent/US9955118B2/en
Publication of JP2017028347A publication Critical patent/JP2017028347A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1069Session establishment or de-establishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1094Inter-user-equipment sessions transfer or sharing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】通信プラットフォームを切り替える際に通信の途絶が生じることを抑制する情報処理装置を提供すること。
【解決手段】複数の通信プラットフォームに対応した通信端末と他の通信端末との通信確立を制御する情報処理装置50であって、第一セッションによる通信が確立している状態で第二セッションによる通信を確立させる通信確立手段54と、前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させる通信開始手段56と、を有する。
【選択図】図1

Description

本発明は、情報処理装置、通信システム及びプログラムに関する。
インターネット等の通信ネットワークを介して複数の端末装置間でテレビ会議を行う伝送システムの一例としてテレビ会議システムが知られている。ところで、複数の伝送端末間で画像データ及び音声データを送信するための通信プラットフォーム(通信を行うための基盤システムや仕組み)の多様化が進んでいる。このため、同じ拠点同士でテレビ会議を行う場合でも、サービス提供者やユーザは複数の通信プラットフォームのうち2つ以上を採用しうる状況が生じることがある。
従来から、複数の通信プラットフォームのうち適切なプラットフォームを選択する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、セキュリティ上のリスクの少ない形でビデオ会議を実施する目的で、システムが対応する複数のプラットフォームから自動的にビデオ会議を実施するプラットフォームを選択する技術が開示されている。
しかしながら、従来の通信プラットフォームの切り替え技術では、一方の通信プラットフォームから他方の通信プラットフォームへの切り替えの際に生じうる通信の途絶について考慮されていないという問題がある。すなわち、一方の通信プラットフォームを終了させてから他方の通信プラットフォームによる通信を開始するまでの間に、通信が途絶してしまうおそれがある。
本発明は、上記課題に鑑み、通信プラットフォームを切り替える際に通信の途絶が生じることを抑制する情報処理装置を提供することを目的とする。
上記課題に鑑み、本発明は、通信端末と他の通信端末との通信確立を制御する情報処理装置であって、第一セッションによる通信が確立している状態で第二セッションによる通信を確立させる通信確立手段と、前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させる通信開始手段とを有する。
通信プラットフォームを切り替える際に通信の途絶が生じることを抑制する情報処理装置を提供することができる。
通信プラットフォームの切り替えを説明する図の一例である。 伝送システムの一例の概略図である。 伝送端末のハードウェア構成図の一例である。 伝送管理システムのハードウェア構成図の一例である。 伝送端末及び伝送管理システムの機能ブロック図の一例である。 伝送システムがXの通信PFからYの通信PFに切り替える際のシーケンス図の一例である。 伝送端末が2台から3台に増加した場合に、伝送システムがαの通信PFからβの通信PFに切り替える際のシーケンス図の一例である。 PF切替判定部が通信PFを切り替えるか否かを判定する処理を説明するフローチャート図の一例である。 PF切替開始判定部が通信PFの切り替えを開始するか否かを判定する処理を説明するフローチャート図の一例である。 伝送端末及び伝送管理システムの機能ブロック図の一例である(実施例2)。 伝送管理システムが通信PFを切り替えるか否かを判定する手順を示すシーケンス図の一例である。
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
<通信プラットフォームの切り替えの概略>
図1は、本実施例における通信プラットフォームの切り替えを説明する図の一例である。図1(a)では、通信ネットワーク2に伝送端末10aa、10ab(通信端末の一例)及び伝送管理システム50が接続されている。伝送管理システム50は伝送端末10aaと10abの通信接続を制御するサーバである。伝送管理システム50は伝送端末10aaと10abに対し両者の存在を互いに通知して(シグナリングして)、伝送端末10aaと10abに通信を開始させている。伝送端末10aaと10abは例えばWebRTC(Web Real-Time Communication)というAPI(Application Interface)を用いて1対1(Peer To Peer)の通信態様でコンテンツデータCD(画像データ及び音声データ)を送受信する。あるいは、中継装置を介して通信してもよい。この通信プラットフォームをXの通信プラットフォーム(以下、通信PFという)と称することにする。
次に、伝送端末10aa又は10abが通信状況の変化(例えば、通信帯域の変更、拠点数の変更など)を検出したものとする。伝送管理システム50は通信状況の変化に対し、通信PFを切り替えると判定する。そこで、まず、伝送端末10aaと10abの間でYという通信PFのセッションを確立させる。図10(b)に示すように、伝送端末10aaと10abは、Xの通信PFでコンテンツデータCDを送受信したまま、Yの通信PFのセッションを確立する。なお、X(第一セッション)とY(第二セッション)の通信PFは、音声や映像の圧縮方式が異なっていたり、通信経路が異なっていたりする。
セッションを確立させると伝送端末10aa、10abはそれぞれセッション確立通知3を伝送管理システム50に送信する。これにより、伝送管理システム50は通信PFを切り替える準備ができたことを確認する。
次に、図1(c)に示すように、伝送管理システム50は伝送端末10aa、10abに対し、Yの通信PFへの切り替えを指示し、Xの通信PFのセッションを切断する。
このように、本実施例の伝送システム1は、通信PFの切り替えを行なう際、切り替え前の通信PFにおける通信を維持したまま、切り替え後の通信PFのセッションを確立する。全ての伝送端末10でセッションが確立すると(通信の準備が整うと)通信PFを切り替えるので、通信PFの切り替えに要する時間は短くなり、ユーザから見ると通信の途絶を感じにくくなる。
<通信PF>
本実施例で用いる通信PFについて説明する。通信PFとは、呼制御の方式、通信経路、及び、映像や音声の圧縮方式等の1つ以上を組み合わせて得られる通信のための基盤システムや仕組みをいう。例えば、図1(a)の例では、WebRTCというAPIを用いて呼制御し伝送端末10が互いに通信する通信PFが使用されていた場合、図1(b)(c)では、伝送端末10aa,10abが中継装置を介する通信に切り替わるか、又は、同じくWebRTCというAPIのまま、音声や映像の圧縮方式が変更される。
この他、通信PFの構成要素となりうるものには以下のようなものがある。ただし、これらには限られない。
・呼制御… (1)H.323(中継装置を介して通信する)、(2)WebRTC(上記)、(3)SIP(Session Initiation Protocol)、(4)SIPを拡張したプロトコル、(5)インスタントメッセンジャーのプロトコル、(6)SIPのMESSAGEメソッドを利用したプロトコル、(7)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(8)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。
・通信経路…中継装置30の有無、中継装置30の切り替え、同じ中継装置30内の機能(インタフェース)の切り替え等。
・映像圧縮方式…H.264、H.264/AVC、H.264/SVC、H.265/HEVC、MPEG4等。
・音声圧縮方式…G.711/G.722、Speex、Opus、iSAC/iLBC等。
なお、映像圧縮方式と音声圧縮方式は独立に切り替えてもよいし、映像圧縮方式と音声圧縮方式はセットで切り替えられてもよい。例えば、呼制御や通信経路の切り替えが映像圧縮方式と音声圧縮方式の切り替えを伴う場合はセットで切り替えられる。呼制御や通信経路の切り替えが映像圧縮方式と音声圧縮方式の切り替えを伴わない場合は、映像圧縮方式と音声圧縮方式のどちらも切り替える必要はないし両方又は一方を切り替えてもよい。また、呼制御や通信経路に関係なく映像圧縮方式と音声圧縮方式のいずれかを独立に切り替えることも可能である。
なお、呼制御の例えばSIPはアプリケーション層の通信プロトコルに分類される場合がある。また、RTP(Real-time Transport Protocol)、HTTP、HTTPs、TCP/IP、UDP/IP等の通信プロトコルについては、各呼制御に適切なものが用いられる。このため呼制御と共に切り替えられるとしてもよいし、呼制御が切り替わっても同じ通信プロトコルが使用されてもよい。
<用語について>
2つ以上の伝送端末10の間でコンテンツデータCDの送受信の準備ができることを、セッションが確立したと称する。セッションの厳密な定義はないが、例えば内容につながりがある一連の通信などがセッションと呼ばれる。セッション確立を通信確立と称する場合がある。
また、本実施例ではセッションが確立した状態で、2つ以上の伝送端末10の間でコンテンツデータCDが送受信される。コンテンツデータCDには伝送端末10に接続された情報処理装置が表示する文書ファイル等の表示データも含まれる。
なお、本実施例の通信IDは、それぞれ伝送端末若しくはこの伝送端末を利用するユーザを一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、通信IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
<伝送システム1の構成例>
図2は、本実施例に係る伝送システム1の一例の概略図である。伝送システム1(通信システムの一例)は、伝送管理システム50を介して複数の伝送端末間で情報や感情等を相互に伝達するためのコミュニケーションシステムである。伝送システム1には、テレビ会議システム、テレビ電話システム、音声会議システム、音声電話システム、PC(Personal Computer)画面共有システム、テキストチャットシステム等が例として挙げられる。また、伝送システム1には、伝送管理システム50を介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを伝送するデータ提供システムが含まれる。
本実施例では、コミュニケーションシステムの一例としてのテレビ会議を行うことができるシステムを想定して説明する。
図2に示されている伝送システム1は、複数の伝送端末(10aa,10ab,・・・)、複数の携帯端末(20aa,20ab,・・・)、各伝送端末(10aa,10ab,・・・)用のディスプレイ(120aa,120ab,・・・)、複数の中継装置(30a,30b,・・・)、伝送管理システム50、及び、プログラム提供システム90によって構築されている。
複数の伝送端末10は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。すなわち、複数の伝送端末10は、テレビ会議サービスを利用することができるテレビ会議端末である。本実施例では、伝送端末10はテレビ会議に専用の端末であるとする。
他方、複数の携帯端末20は、コンテンツデータの一例としての画像データ及び音声データの送受信を行う。携帯端末20はテキストデータを送受信可能であってもよい。すなわち、複数の携帯端末20は、テレビ会議だけでなく、テキストチャットを利用できてもよい。本実施例では、携帯端末20は、特に断らない限り、タブレット型端末、携帯電話、スマートフォン、PDA(Personal Digital Assistant)、ウェアラブルPC、ゲーム機器、汎用PC端末、カーナビゲーション端末、電子ホワイトボード、プロジェクタ、監視カメラ、通信機能を備えた産業用機器などであってもよい。また、産業用機器には、MFP(Multifunction Peripheral/Printer/Product)等のオフィス機器、内視鏡等の医療用機器、耕耘機等の農業用機器などが含まれる。ウェアラブルPCには腕時計やヘッドマウントディスプレイ等が含まれる。なお、携帯端末20は、例えば携帯電話通信網やWiFi(Wireless Fidelity)などを介して通信ネットワーク2に無線で接続されている。
後述するハードウェア構成から明らかなように伝送端末10及び携帯端末20は情報処理装置と称される。
伝送端末10及び携帯端末20は、伝送システム1の呼制御を管理する伝送管理システム50により管理される。
なお、以下では、複数の伝送端末(10aa,10ab,・・・)のうちの任意の伝送端末は「伝送端末10」と表され、複数の携帯端末(20aa,20ab,・・・)のうちの任意の携帯端末は「携帯端末20」と表されている。ディスプレイ120、中継装置30、ルータ70についても同様とする。
また、一方の伝送端末10又は携帯端末20から他方の伝送端末10又は携帯端末20へテレビ会議の開始を要求する端末は「要求元端末」と表され、要求先である宛先としての端末は「宛先端末」と表されている。
また、伝送システム1において、要求元端末と宛先端末との間では、伝送管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、コンテンツデータを送受信するためのセッションが確立される。なお、コンテンツデータのセッションでは、必ず中継装置30を介する必要はなく、伝送管理システム50を介して通信してもよいし、要求元端末と宛先端末とが直接、通信してもよい。
中継装置30は、上記のように、複数の伝送端末10と携帯端末20との間で、コンテンツデータの中継を行う。
伝送管理システム50は、伝送端末10又は携帯端末20の間で呼制御を行う。その他、伝送端末10及び携帯端末20のログイン認証、通話状況の管理、宛先リストの管理、及び、中継装置30に対しコンテンツデータの送信先を通知したり通話状況を管理させたりする等を行う。
伝送管理システム50は情報処理装置であるが、又は、監視カメラ、通信機能を備えた産業用機器、ウェアラブルPC等であってもよい。また、産業用機器には、MFP等のオフィス機器、内視鏡等の医療用機器、耕耘機等の農業用機器などが含まれる。ウェアラブルPCには腕時計やヘッドマウントディスプレイ等が含まれる。
プログラム提供システム90は、後述のHD(Hard Disk)204に、伝送端末10や携帯端末20に各種機能を実現させるための端末用プログラムを記憶しており、伝送端末10や携帯端末20に端末用プログラムを送信することができる。プログラム提供システム90は後述するHD304に、伝送管理システム50に各種機能を実現させるための伝送管理用プログラムをも記憶しており、伝送管理システム50に伝送管理用プログラムを送信することができる。
伝送端末(10aa,10ab,10ac,・・・)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。伝送端末(10ba,10bb,10bc,・・・)、携帯端末(20aa、20ab、…)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。また、携帯端末(20aa,20ab,・・・)は、地域Aで利用されている。
一方、伝送端末(10ca,10cb,10cc,・・・)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。伝送端末(10da,10db,10dc,・・・)、携帯端末(20ac、20ad、…)、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。また、携帯端末(20ac,20ad,・・・)は、地域Bで利用されている。
また、伝送管理システム50及びプログラム提供システム90は、インターネット2iを介して、伝送端末10、携帯端末20及び中継装置30と通信可能に接続されている。伝送管理システム50又はプログラム提供システム90は、地域A又は地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、図2において、各伝送端末10、各携帯端末20、各中継装置30、伝送管理システム50、各ルータ70、及び、プログラム提供システム90の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。
<ハードウェア構成>
<<伝送端末>>
次に、図3を用いて、伝送端末10のハードウェア構成について説明する。図3は、本実施例に係る伝送端末のハードウェア構成図の一例である。図3に示されているように、本実施例の伝送端末10は、伝送端末10全体の動作を制御するCPU(Central Processing Unit)101を有する。また、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、及び、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103を有する。また、端末用プログラム130、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104を有する。また、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105を有する。また、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、及び、伝送端末10の宛先を選択する場合などに操作される操作ボタン108を有する。また、伝送端末10の電源のON/OFFを切り換えるための電源スイッチ109、及び、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、伝送端末10は、CPU101の制御にしたがって被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、及び、音声を入力する内蔵型のマイク114を有する。また、音声を出力する内蔵型のスピーカ115、及び、CPU101の制御にしたがってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116を有する。また、CPU101の制御にしたがって外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、及び、各種の外部機器を接続するための外部機器接続I/F118を有する。また、認証受付I/F119、及び、上記各構成要素を図3に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示装置である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。伝送端末10のディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続されているが、これに限られず、ディスプレイ120は、伝送端末10に内蔵されていてもよい。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。
認証受付I/F119は、ユーザから認証情報の入力を受け付けるインタフェースであり、具体的には、ICカードリーダや(例えばNFC(Near field communication))、SDカードやSIMカード等の読み取り器が該当する。
さらに、端末用プログラム130は、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア106等の、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、端末用プログラム130は、フラッシュメモリ104ではなくROM102に記憶させるようにしてもよい。
携帯端末20のハードウェア構成については伝送端末10のハードウェア構成と重複している部分が多く、また、その相違があるとしても伝送システム1を構築する上で支障がないものとする。
<<伝送管理システム、中継装置、プログラム提供システム≫
次に、図4を用いて、伝送管理システム50のハードウェア構成について説明する。図4は、本実施例に係る伝送管理システム50のハードウェア構成図の一例である。
なお、図示する伝送管理システム50等のハードウェア構成は、1つの筐体に収納されていたりひとまとまりの装置として備えられていたりする必要はなく、伝送管理システム50等が備えていることが好ましいハード的な要素を示す。また、クラウドコンピューティングに対応するため、本実施例の伝送管理システム50等の物理的な構成は固定的でなくてもよく、負荷に応じてハード的なリソースが動的に接続・切断されることで構成されてよい。
伝送管理システム50は、伝送管理システム50全体の動作を制御するCPU301、IPL等のCPU301の駆動に用いられるプログラムを記憶したROM302、及び、CPU301のワークエリアとして使用されるRAM303を有する。また、伝送管理用プログラム320等の各種データを記憶するHD304、及び、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)305を有する。また、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ307、及び、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ308を有する。また、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F309、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード311、及び、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス312を有する。また、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)313に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ314を有する。さらに、上記各構成要素を図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン310を備えている。
なお、上記伝送管理用プログラム320は、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア306やCD−ROM313等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記伝送管理用プログラム320は、HD304ではなくROM302に記憶されるようにしてもよい。
また、中継装置30及びプログラム提供システム90は、上記の伝送管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。
<機能構成>
次に、図5を用いて、伝送端末10,及び、伝送管理システム50の機能構成について説明する。図5は、伝送端末10,及び、伝送管理システム50の機能ブロック図の一例である。なお、プログラム提供システム90は、本実施例では直接関係ないため、図5では省略されている。また、携帯端末20は伝送端末10とほぼ同様の機能を備え、相違があるとしても本実施例を実現する上で支障がないものとする。
<<伝送端末の各機能構成>>
伝送端末10は、送受信部11、表示制御部12、撮像部13、音声入力部14a、音声出力部14b、宛先リスト作成部15、操作入力受付部16、ログイン要求部17、状況変化通知部18、通信PF管理部21、及び、記憶・読出処理部19を有している。
伝送端末10が有する各部は、図3に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末用プログラム130に従ったCPU101からの命令によって動作することで実現される機能、又は機能される手段である。
また、伝送端末10は、図3に示されているフラッシュメモリ104によって構築される不揮発性記憶部1000を有している。
伝送端末10の送受信部11は、図3に示されているCPU101からの命令、及び図3に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の伝送端末10、伝送管理システム50,及び中継装置30等と各種データの送受信を行う。
送受信部11にはα用機能部11a、β用機能部11b、X用機能部11c、及び、Y用機能部11dが接続されている。α用機能部11aはαの通信PFに必要な処理を行い、β用機能部11bはβの通信PFに必要な処理を行う。αの通信PFは第一通信プラットフォームの一例であり、βの通信PFは第二通信プラットフォームの一例である。
α用機能部11aは、例えば、WebRTCで用いられるグローバルIPアドレスとポート番号を宛先に通信を行い、β用機能部11bは、中継装置30のIPアドレス(グローバルIPアドレスでもプライベートIPアドレスでもよい)を宛先に通信を行う。また、αの通信PFとβの通信PFの通信プロトコルが異なる場合は、α用機能部11aはαの通信PFに用いられる通信プロトコルで通信し、β用機能部11bはβの通信PFに用いられる通信プロトコルで通信する。さらに、αの通信PFとβの通信PFの映像や音声の圧縮方式が異なる場合、α用機能部11aはαの通信PFに用いられる圧縮方式で圧縮された映像や音声を圧縮・伸張し、β用機能部11bはβの通信PFに用いられる圧縮方式で圧縮された映像や音声を圧縮・伸張する。X用機能部11cとY用機能部11dについても同様であり、X用機能部11cはXの通信PFに必要な処理を行い、Y用機能部11dはYの通信PFに必要な処理を行う。
表示制御部12は、図3に示されているCPU101からの命令、及び図3に示されているディスプレイI/F117によって実現され、外付けのディスプレイ120に対して画像データを送信(出力)するための制御を行う。
撮像部13は、図3に示されているCPU101からの命令、及びカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。
音声入力部14aは、図3に示されているCPU101からの命令、及び音声入出力I/F116によって実現され、マイク114によってユーザの音声が音声信号に変換された後、この音声信号に係る音声データを入力する。
音声出力部14bは、図3に示されているCPU101からの命令、及び音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカ115に出力し、スピーカ115から音声を出力させる。
宛先リスト作成部15は、図3に示されているCPU101からの命令によって実現され、伝送管理システム50から受信した宛先状態情報(宛先候補端末及び宛先候補の伝送端末10及び携帯端末20の稼動状態)に基づいて、宛先リストの作成及び更新を行う。
操作入力受付部16は、図3に示されているCPU101からの命令、操作ボタン108及び電源スイッチ109によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、図3に示されている電源スイッチ109をONにすると、操作入力受付部16が電源ONを受け付けて電源をONにする。
ログイン要求部17は、図3に示されているCPU101からの命令によって実現され、上記電源ONの受け付けを契機として(又はユーザの認証操作を契機として)動作する。すなわち、送受信部11から通信ネットワーク2を介して伝送管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。
状況変化通知部18は図3に示されているCPU101からの命令、及び図3に示されているネットワークI/F111によって実現され、通信帯域の変更など通信状況の変化を伝送管理システム50に通知する。
通信PF管理部21は、図3に示されているCPU101からの命令等により実現され、伝送管理システム50からの指示に応じて伝送端末10が使用すべき通信PFを管理する。
記憶・読出処理部19は、図3に示されているCPU101からの命令、及び図3に示すSSD105によって実現され、不揮発性記憶部1000に各種データを記憶したり、不揮発性記憶部1000に記憶された各種データを読み出したりする処理を行う。この不揮発性記憶部1000には、通信先としての伝送端末10の端末又はユーザを識別するための通信ID(Identification)、タイプ識別情報(伝送端末10や携帯端末20の区別を示す情報)、及びパスワード等が記憶される。なお、通信ID及びパスワードは不揮発性記憶部1000に記憶されていなくてもよく、例えば伝送管理システム50に対してログイン要求を行う際に都度、ユーザが入力するようにしてもよい。
<<伝送管理システムの機能構成>>
伝送管理システム50は、送受信部51、PF切替判定部52、認証部53、セッション管理部54、通信状況検出部55、PF切替開始判定部56、及び、記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された伝送管理用プログラム320に従ったCPU301からの命令によって動作することで実現される機能又は機能される手段である。また、伝送管理システム50は、伝送管理システム50の電源をOFFにしても各種データの記憶が維持される不揮発性記憶部5000を有しており、この不揮発性記憶部5000は図4に示されているHD304により構築されている。
以下、不揮発性記憶部5000に記憶された各データベースについて説明する。なお、切替制限条件管理DB5006については後述する。
Figure 2017028347
不揮発性記憶部5000には、表1に示されているようなセッション管理テーブルによって構成されているセッション管理DB5001が構築されている。このセッション管理テーブルでは、セッションを識別するセッションID毎に、同じセッションに参加している伝送端末10の端末ID、通信PFが関連付けられて管理される。
表1(a)のセッション管理テーブルは、通信PFが切り替わる前のセッション管理テーブルを示し、表1(b)のセッション管理テーブルは、通信PFが切り替わった後のセッション管理テーブルを示している。詳細は後述するが、表1(a)でセッションID=「Se_001」のXの通信PFが、表1(b)でセッションID=「Se_003」のセッションとして登録されている。そして、通信PFがXからYに切り替わっている。
Figure 2017028347
不揮発性記憶部5000には、表2に示されているような宛先情報を管理する宛先リスト管理テーブルによって構成されている宛先リスト管理DB5002が構築されている。宛先リスト管理テーブルでは、テレビ会議における接続の開始(発呼)を要求する要求元端末の通信IDに対して、全ての宛先候補の伝送端末10又は携帯端末20の通信IDが関連付けられて管理される。この宛先候補の通信IDは、要求元端末が通信を開始できる伝送端末10又は携帯端末20である。
Figure 2017028347
不揮発性記憶部5000には、表3に示されているような端末管理テーブルによって構成されている端末管理DB5003が構築されている。この端末管理テーブルでは、伝送端末10の通信ID毎に、各伝送端末の稼動状態、各通信IDを宛先とした場合の名称、及び、端末のIPアドレス、が関連付けられて管理される。
Figure 2017028347
不揮発性記憶部5000には、表4に示されているような認証管理テーブルによって構成されている認証管理DB5004が構築されている。この認証管理テーブルでは、伝送端末10又はユーザの通信ID毎に、各伝送端末10又はユーザのパスワードが関連付けられて管理される。
Figure 2017028347
不揮発性記憶部5000には、表5(a)に示されているようなPF判定テーブルによって構成されているPF判定管理DB5005が構築されている。表5(a)のPF判定テーブルでは、1つでも通信帯域が所定以下(例えば1Mbps)の伝送端末10があるか否かに応じて通信PFが関連付けられて管理される。Xの通信PFは、WebRTCを用いるが例えば映像や音声の圧縮率が高い通信PFであり、Yの通信PFは映像や音声の圧縮率が相対的に低い通信PFを意味する。
また、PF判定テーブルには種々のものが考えられ、その一例として表5(b)のPF判定テーブルでは、拠点数に応じて通信PFが関連付けられて管理される。αの通信PFは例えばWebRTCを用いた通信を意味し、βの通信PFは中継装置30を介する通信を意味する。
<<伝送管理システムの各機能構成>>
次に、伝送管理システム50の各機能構成について詳細に説明する。送受信部51は、図4に示されているCPU301からの命令、及び図4に示されているネットワークI/F309によって実現され、通信ネットワーク2を介して伝送端末10や中継装置30と各種データの送受信を行う。
認証部53は、図4に示されているCPU301からの命令等によって実現される。認証部53は送受信部51を介して受信されたログイン要求情報に含まれている通信ID及びパスワードの組み合わせが認証管理DB5004に登録されているものと一致するか否かに応じて伝送端末10又はユーザを認証する。なお、認証方法はこれに限られず、クライアント証明書(公開鍵と秘密鍵を用いた認証方法)を用いてもよい。
セッション管理部54は、図4に示されているCPU301からの命令によって実現される。セッション管理部54は、認証部53により認証が成立した伝送端末10から宛先端末との接続を要求されると(開始要求情報を取得すると)、セッション管理DB5001に、セッションID、セッションに参加している伝送端末10の通信ID(要求元端末の通信ID、宛先端末の通信ID)、及び、通信PFを関連付けて記憶して管理する。セッション管理部54は通信PFごとに適切なセッションを確立する。
通信状況検出部55は、図4に示されているCPU301からの命令によって実現され、伝送端末10同士及び伝送端末10と伝送管理システム50間の通信状況を検出する。本実施例の通信状況の一例としては通信帯域や拠点数が上げられる。つまり、伝送端末10の状況変化通知部18が通信情報の変化を通知する場合も、伝送管理システム50の通信状況検出部55が通信状況の変化を検出する場合もある。
PF切替判定部52は、図4に示されているCPU301からの命令によって実現され、通信状況に応じてPF判定テーブルを参照して適切な通信PFを選択する(決定する)。通信PFの決定や切り替えの判定について詳細は後述する。通信PFを切り替えると判定した場合、セッション管理部54に切り替え後の通信PFを通知してセッションの確立を要求する。
PF切替開始判定部56は、図4に示されているCPU301からの命令によって実現され、通信PFの切り替えを伝送端末10に開始させるか否かを判定する。PF切替開始判定部56は、全ての伝送端末10が通信PFを切り替える準備ができたことを確認すると、通信PFの切り替えを伝送端末10に開始させる。
記憶・読出処理部59は、図4に示されているCPU301からの命令、及び図4に示されているHDD305によって実現され、不揮発性記憶部5000に各種データを記憶したり、不揮発性記憶部5000に記憶された各種データを読み出したりする処理を行う。
<セッションの確立から通信PFの切り替えの動作手順>
<<伝送端末10が2台の場合>>
まず、図6を用いて伝送端末10が2台のまま伝送システム1が通信PFを切り替える手順を説明する。図6は、伝送システム1がXの通信PFからYの通信PFに切り替える際のシーケンス図の一例である。
S1:まず、ユーザが電源スイッチ109をONにすると、操作入力受付部16が電源ONを受け付けて、伝送端末10aaを起動させる。
S2:ログイン要求部17は上記電源ONを契機とし、送受信部11を介して伝送管理システム50にログイン要求を示すログイン要求情報を自動的に送信する。ログイン要求は電源ON時だけでなくユーザ操作によって任意のタイミングで送信されることができる。ログイン要求情報には、要求元である伝送端末10aaを識別するための通信ID、及びパスワードが含まれている。
なお、伝送端末10abも同様に伝送管理システム50に対しログインしているため、伝送管理システム50は伝送端末10aa、10abのIPアドレスとポート番号等を検出する。伝送管理システム50が互いのIPアドレスとポート番号等を互いに通知することで伝送端末10aa、10abが通信可能になる。伝送管理システム50はXの通信PFを伝送端末10aa,abに指示する。伝送端末10aa,abの通信PF管理部21はXの通信PFで通信することを検出する。
S3:伝送端末10aaの送受信部11は伝送端末10abに対し発呼し、伝送端末10abの送受信部11はこの発呼を受信して着信音を吹鳴させる。
S4:伝送端末10abのユーザがオフフック操作を行うと操作入力受付部16がそれを受け付けて、伝送端末10aaと10abでXの通信PFによる通信が可能になる。すなわち、伝送端末10aaと10abの間でXの通信PFのセッションが確立する。伝送端末10aaと10abはXの通信PFを利用して通信(コンテンツデータCDの送受信)を行う。
そして、Xの通信PFのセッションが確立したまま(通信したまま)、通信PFの切り替えの契機となる状態変化が生じたものとする。例えば、通信帯域が1Mbpsを超えるようになったものとする。
S5:伝送端末10aaの状況変化通知部18は通信状況が変化すると伝送管理システム50に状況変化通知を送信する。伝送管理システム50の通信状況検出部55は状況変化通知を取得する。本実施例では通信帯域の変化が検知されたものとし、状況変化通知には変化後の通信帯域が含まれる。
S5.1:状況変化通知を取得すると、伝送管理システム50のPF切替判定部52は通信PFを切り替えるか否かを判定する。すなわち、PF切替判定部52はPF判定テーブルを参照して、伝送端末10aaの通信帯域に基づき通信PFを決定する。ここでは、伝送端末10aaの通信帯域が1Mbpsを超えたため、Yの通信PFへ切り替える必要があると判定されたものとする。
S5.2:伝送管理システム50のPF切替判定部52はYの通信PFへのPF切替指示を伝送端末10aaに通知する。
S5.3:伝送管理システム50のPF切替判定部52はYの通信PFへのPF切替指示を伝送端末10abに通知する。
S5.2.1:伝送端末10aaの送受信部11は伝送端末10abに対し発呼し、伝送端末10abの送受信部11はこの発呼を受信して着信音を吹鳴させる。
S5.2.1.1:伝送端末10abのユーザがオフフック操作を行うと操作入力受付部16がそれを受け付けて、伝送端末10aaと10abでYの通信PFのセッションが確立する。つまり、伝送端末10aaと10abはYの通信PFで通信が可能な状態になる。この状態では、まだ、伝送端末10aaと10abはYの通信PFで通信を行わない。
このように、Xの通信PFで通信したまま、伝送管理システム50は切り替え後のYの通信PFでのセッションを確立する。なお、伝送管理システム50のセッション管理部54は、セッション管理テーブルにYの通信PFに関するセッションID、伝送端末10の通信ID、通信PFを登録する(表1(b))。
S5.2.1.2:Yの通信PFのセッションを確立した伝送端末10abは、通信PFの切り替え準備が完了したことを知らせるセッション確立通知を伝送管理システム50に送信する。
S5.2.1.1.1:Yの通信PFのセッションを確立した伝送端末10aaは、セッション確立通知を伝送管理システム50に送信する。
S5.2.1.1.1.1:伝送管理システム50のPF切替開始判定部56は、通信PFの切り替えを開始するか否かを判定する。判定の基準は、Yの通信PFのセッションが確立されたかどうか(セッション確立通知を全ての伝送端末10aa、10abから受け取ったかどうか)である。セッション確立通知を全ての伝送端末10から受け取ったか否かの判定には、表1(b)のセッション管理テーブルを使用する。新たに確立されたYの通信PFに登録されている全ての伝送端末10からセッション確立通知を受け取ったか否かを判定する。
S5.2.1.1.1.1.1:セッション確立通知を全ての伝送端末10から受け取ったことを確認すると、伝送管理システム50のPF切替開始判定部56は、PF切替開始通知を伝送端末10abに指示する。PF切替開始通知は、新たな通信PFへの切替を行わせる通知である。
S5.2.1.1.1.1.2:伝送管理システム50のPF切替開始判定部56は、PF切替開始通知を伝送端末10aaに指示する。
これにより、伝送端末10aa、10abの通信PF管理部21はYの通信PFで通信することを検出する。これにより、通信PFの切り替えを行う。なお、PF切替開始通知の送り先の伝送端末10は、セッション管理テーブルで新たに確立されたYの通信PFに登録されている全ての伝送端末10である。
S5.2.1.1.1.1.1.1:PF切替開始通知を受け取った伝送端末10abの通信PF管理部21は通信PFを切り替える。すなわち、伝送端末10abは送受信部11とX用機能部11cによる通信を終了し、送受信部11とY用機能部11dによる通信を開始する。
S5.2.1.1.1.1.2.1:PF切替開始通知を受け取った伝送端末10aaの通信PF管理部21は通信PFを切り替える。すなわち、伝送端末10aaは送受信部11とX用機能部11cによる通信を終了し、送受信部11とY用機能部11dによる通信を開始する。
このようにして、伝送端末10aaと10abはYの通信PFによる通信を開始する。
S5.2.1.1.1.1.3:次に、伝送管理システム50のPF切替開始判定部56は切り替え前のXの通信PFのセッションを切断する。このため、PF切替開始判定部56は伝送端末10abにセッション切断通知を送信する。
S5.2.1.1.1.1.4:伝送管理システム50のPF切替開始判定部56は伝送端末10aaにセッション切断通知を送信する。
S5.2.1.1.1.1.3.1:伝送端末10abの通信PF管理部21は、Xの通信PFのセッションを切断させる。
S5.2.1.1.1.1.4.1:伝送端末10aaの通信PF管理部21は、Yの通信PFのセッションを切断させる。なお、セッションを切断させるとは、例えば、コンテンツデータCDの送受信に関係なく行う定期的な死活通知を含む一切の通信を終了することをいう。また、通信相手のIPアドレスやポート番号などの通信に必要な情報も破棄される。
このように、本実施例の伝送システム1は、区間T3でXの通信PFでコンテンツデータCDを送受信したまま、区間T3で切り替え後のYの通信PFのセッションが確立している。この状態で、区間T3でYの通信PFで通信を開始し(通信PFを切り替える)、また、通信PFの切り替えの後に区間T4でXの通信PFのセッションを切断するため、通信PFの切り替えの際に、音声や画像が途絶することを抑制できる。
また、全ての伝送端末10からセッション確立通知が送信されると、通信PFの切り替えが開始されるので、全ての伝送端末10が新しい通信PFによる通信の準備をできると、通信PFを切り替える。したがって、全ての伝送端末10において音声や画像が途絶することを抑制できる。
コンテンツデータCDの送受信に用いられる通信PFは、ステップS5.2.1.1.1.1.1.1とステップS5.2.1.1.1.1.2.1で切り替えられるので、同じ音声と画像が重複して送信されることもない。
<<伝送端末10が2台から3台に増加する場合>>
次に、伝送端末10が2台から3台に増加する場合を説明する。まず、この例で使用するセッション管理テーブルを説明する。
Figure 2017028347
表1と同様に、表6(a)のセッション管理テーブルは、通信PFが切り替わる前のセッション管理テーブルを示し、表6(b)のセッション管理テーブルは、通信PFが切り替わった後のセッション管理テーブルを示している。表6(a)でセッションID=「Se_001」のαの通信PFが、表6(b)ではセッションID=「Se_003」のセッションとして登録されている。そして、表6(b)で伝送端末10の数が3つに増え、通信PFがβに切り替わっている。
図7は、伝送端末10が2台から3台に増加した場合に、伝送システム1がαの通信PFからβの通信PFに切り替える際のシーケンス図の一例である。
S1〜S4:図6と同様である。これにより、まず伝送端末10aaと10abの間でαの通信PFによる通信が行われている。
S5:次に、伝送端末10acの送受信部11が伝送端末10aa又は10abに対する通信の開始要求を伝送管理システム50に送信する。伝送管理システム50はこれを状況変化通知として取得する。
S5.1:状況変化通知を取得すると、伝送管理システム50のPF切替判定部52は通信PFを切り替えるか否かを判定する。すなわち、PF切替判定部52はPF判定テーブルを参照して、セッションに参加する伝送端末10の数に基づき通信PFを決定する。ここでは、セッションに参加する伝送端末10の数が3台に増加したため、βの通信PFへ切り替えると判定されたものとする(表5(b))。
S5.2:伝送管理システム50のPF切替判定部52はβの通信PFへのPF切替指示を伝送端末10aaに通知する。
S5.3:伝送管理システム50のPF切替判定部52はβの通信PFへのPF切替指示を伝送端末10abに通知する。
なお、伝送端末10acは、βの通信PFで伝送端末10abと通信するための情報(IPアドレス、ポート番号等)を伝送管理システム50から取得している。
S5.2.1:伝送端末10aaの送受信部11は伝送端末10abに対し発呼し、伝送端末10abの送受信部11はこの発呼を受信して着信音を吹鳴させる。
S5.2.1.1:伝送端末10abのユーザがオフフック操作を行うと操作入力受付部16がそれを受け付けて、伝送端末10aaと10abでβの通信PFのセッションが確立する。
S6:伝送端末10acの送受信部11は伝送端末10abに対し発呼し、伝送端末10abの送受信部11はこの発呼を受信して着信音を吹鳴させる。
S5.2.1.2:伝送端末10abのユーザがオフフック操作を行うと操作入力受付部16がそれを受け付けて、伝送端末10acと10abでβの通信PFのセッションが確立する。
このように、αの通信PFを確立したまま、伝送端末10aaと10ab、伝送端末10acと10abが切り替え後のβの通信PFでのセッションを確立する。なお、伝送管理システム50のセッション管理部54は、セッション管理テーブルに新たに確立したβの通信PFに関し、セッションID、伝送端末10の通信ID、及び、通信PFを登録する(表6(b))。
S5.2.1.3:βの通信PFのセッションを確立した伝送端末10abは、通信PFの切り替えを知らせるセッション確立通知を伝送管理システム50に送信する。
S7:βの通信PFのセッションを確立した伝送端末10acは、通信PFの切り替えを知らせるセッション確立通知を伝送管理システム50に送信する。
S5.2.1.1.1:βの通信PFのセッションを確立した伝送端末10aaは、通信PFの切り替えを知らせるセッション確立通知を伝送管理システム50に送信する。
S5.2.1.1.1.1:伝送管理システム50のPF切替開始判定部56は、通信PFの切り替えを開始するか否かを判定する。判定の基準は、図6と同様である。
S5.2.1.1.1.1.1:セッション確立通知を全ての伝送端末10から受け取ったことを確認すると、伝送管理システム50のPF切替開始判定部56は、PF切替開始通知を伝送端末10abに指示する。これにより、伝送端末10abの通信PF管理部21はβの通信PFで通信することを検出する。
S5.2.1.1.1.1.2:伝送管理システム50のPF切替開始判定部56は、PF切替開始通知を伝送端末10aaに指示する。これにより、伝送端末10aaの通信PF管理部21はβの通信PFで通信することを検出する。
S5.2.1.1.1.1.1.1:PF切替開始通知を受け取った伝送端末10abの通信PF管理部21は通信PFを切り替える。すなわち、伝送端末10abは送受信部11とβ用機能部11bによる通信を開始する。
S5.2.1.1.1.1.2.1:PF切替開始通知を受け取った伝送端末10aaの通信PF管理部21は通信PFを切り替える。すなわち、伝送端末10aaは送受信部11とβ用機能部11bによる通信を開始する。
S5.2.1.1.1.1.3:伝送管理システム50のPF切替開始判定部56は、PF切替開始通知を伝送端末10acに指示する。これにより、伝送端末10acの通信PF管理部21はβの通信PFで通信することを検出する。
このようにして、伝送端末10aa、10ab、10acはβの通信PFによる通信を開始することができる。
S5.2.1.1.1.1.4:次に、伝送管理システム50のPF切替開始判定部56は切り替え前のαの通信PFのセッションを切断する。このため、PF切替開始判定部56は伝送端末10abにセッション切断通知を送信する。
S5.2.1.1.1.1.5:伝送管理システム50のPF切替開始判定部56は伝送端末10aaにセッション切断通知を送信する。
S5.2.1.1.1.1.4.1:伝送端末10abの通信PF管理部21は、αの通信PFのセッションを切断させる。
S5.2.1.1.1.1.5.1:伝送端末10aaの通信PF管理部21は、αの通信PFのセッションを切断させる。
このように、セッションに参加する伝送端末10の台数が増える場合も、通信PFの切り替えに伴う通信の途絶を抑制することができる。
<<通信PFの切り替えの判定>>
図8は、PF切替判定部52が通信PFを切り替えるか否かを判定する処理を説明するフローチャート図の一例である。
まず、伝送管理システム50の送受信部11は状態変更通知を伝送端末10から受信する(S10)。状態変更通知を送信する伝送端末10は主に端末管理テーブルに登録されている伝送端末10であるが、これに限られない。状態変更通知には、PF判定テーブルに基づく判定を行うための情報が含まれる。すなわち、上記の通信帯域やセッションに参加する伝送端末10の数に関する情報である。また、伝送管理システム50の通信状況検出部55が通信状況の変化を検出する場合がある。
次に、伝送管理システム50のPF切替判定部52はPF判定テーブルを参照し、通信PFを切り替えるか否かを判定する(S20)。
ステップS20の判定がYesの場合、PF切替判定部52はPF切替指示を各伝送端末10に指示する(S30)。
ステップS20の判定がNoの場合、PF切替判定部52は通信PFを切り替えないので、現在の通信PFが維持される。
<<通信PF切替開始判定>>
図9は、PF切替開始判定部56が通信PFの切り替えを開始するか否かを判定する処理を説明するフローチャート図の一例である。図9は、図6,7のS5.2.1.1.1.1の処理を詳細に説明するフローチャート図である。
セッションが確立され複数の伝送端末10が通信(会議)を行っている(S10)。
この状態で伝送管理システム50のPF切替開始判定部56は、セッション確立通知を待ち受ける状態となる(S20)。
その後、セッションの確立を要求された各伝送端末からセッション確立通知を受信する(S30)。
セッション確立通知を受け取ったら、PF切替開始判定部56は同じセッションに参加している全ての伝送端末10からセッション確立通知を受信したか否かを判定する(S40)。すなわち、セッション管理テーブルの切り替え前の通信PF(表1(a)、表6(a)のSe_001のレコード)に対応づけられている全ての伝送端末10からセッション確立通知を受信したか否かを判定する。
ステップS40の判定がYesの場合、PF切替開始判定部56はPF切替開始通知を各伝送端末10に送信する(S50)。すなわち、セッション管理テーブルの切り替え後の通信PF(表1(b)、表6(b)のSe_003のレコード)に対応づけられている全ての伝送端末10にPF切替開始通知を送信する。
次に、PF切替開始判定部56は切り替え前の通信PFのセッション切断を各伝送端末10に送信する(S60)。すなわち、セッション管理テーブルの切り替え前の通信PF(表1(a)、表6(a)のSe_001のレコード)に対応づけられている全ての伝送端末10にセッション切断を送信する。
PF切替開始判定部56は会議が終了するまで図9の処理を繰り返す(S70)。会議が終了するとは、ログアウトや伝送端末10の電源OFFなどによりセッションに参加する伝送端末10がゼロになることをいう。
このように、本実施例の伝送管理システム50は、全ての伝送端末10からセッション確立通知を受信すると通信PFを切り替えさせるので、全ての伝送端末10が切り替え後の通信PFで通信する準備ができた場合に、通信PFを切り替えることができる。
<その他のPF判定テーブルの例 切り替えの制限>
続いて、上記以外の好適なPF判定テーブルや切り替えの制限について説明する。
Figure 2017028347
このPF判定テーブルでは、6つの条件に通信PFが対応づけられている。条件1は拠点数が少ないという条件を含むため、WebRTC・高レートで通信するαの通信PFが対応づけられている。条件2は利用可能帯域が大きいという条件を含むため、高レート・高解像度の通信であるδの通信PFが対応づけられている。条件3は移動体通信網を利用しているという条件を含むため、通信帯域の変動に対応しやすいように低品質な通信であるεの通信PFが対応づけられている。条件4は相互に宛先リストに載っていない伝送端末があるという条件を含むため、WebRTC・低レートの通信であるδの通信PFが対応づけられている。条件5は全ての伝送端末10が有線接続であるという条件を含むため、高レート・低から中解像度の通信であるηの通信PFが対応づけられている。
条件1について補足する。全拠点が社内ネットワークに接続されていることは遅延も少ないため、拠点数が少なければWebRTCを用いてもストレスの少ない通信を期待できる。条件2について補足する。利用可能帯域が大きいという条件は全ての伝送端末10に当てはまる場合に成り立つものとする。また、利用可能帯域は伝送端末10が伝送管理システム50に通知しても、伝送管理システム50が判定してもよい。
条件3について補足する。移動体通信網があるかどうかは伝送端末10や携帯端末20が伝送管理システム50に通知するものとする。伝送端末10のタイプ識別情報や携帯端末20のOSから判別してもよい。
条件4について補足する。本実施例の伝送管理システム50では宛先リストに載っていない伝送端末10を相手にして伝送端末10が接続要求することはできない。例えば、伝送端末10aaと伝送端末10abは相互に宛先リストに登録され、伝送端末10abと伝送端末10acは相互に宛先リストに登録されているとする。この場合、伝送端末10aaと伝送端末10abは通信でき、伝送端末10abと伝送端末10acは通信できる。しかし、伝送端末10aaと10acは相互に宛先リストに登録されていないので通信できない。伝送端末10aa、10ab、10acによるテレビ会議を可能とするため、伝送端末10abから見て通信可能な伝送端末10aaと10acの間の通信をWebRTCにより通信できるようにするための条件が条件4である。伝送管理システム50は、セッション管理テーブルにおいて2つのセッションに共通する伝送端末10がある場合、条件4が成立すると判定する。条件4を満たす場合、伝送管理システム50が伝送端末10abに通信PFを切り替えるか問い合わせてもよいし、伝送端末10abのユーザが通信PFの切り替えを要求してもよい。切り替える場合、セッション管理部54は伝送端末10aa、10ab、10acに対し新たに1つのセッションIDを割り当てる。
条件5について補足する。伝送端末10の全てが有線接続であるかどうかは、伝送端末10や携帯端末20が伝送管理システム50に通知することが好ましい。なお、携帯端末20が伝送管理システム50に接続されている場合は有線接続でないと判定できる。
Figure 2017028347
不揮発性記憶部5000には、表8に示されているような切替制限条件テーブルによって構成されている切替制限条件管理DB5006が構築されている。この切替制限条件テーブルでは、PF切替テーブルの条件を満たしてもPFを切り替えることができない制限内容が登録されている。
ユーザがテレビ会議を行っている最中に通信PFが切り替えられることは、長いタイムスパンでは通信をより効果的に実施することを可能にする。しかし、短期的には画面レイアウトが更新されるなどのデメリットが生じる可能性がある。このため、本実施例のように、高頻度な通信PFの切り替えを抑制したり(切替制限条件テーブルの2,3の制限種別)、大きな効果が見込まれない通信PFへの切り替え(切替制限条件テーブルの1の制限種別)を実施したりしない、等の制限があることが有効である。
Figure 2017028347
伝送システム1が対応する通信PFの種類が多い場合、表8の切替制限条件テーブルに登録すべき制限種別(切替制限条件テーブルの1の制限種別)が肥大化する場合が生じ得る。これは、多くの通信PFがあるとその分、制限内容も増えるためであり、また、切替制限条件テーブルに不備があり切替先の通信PFが存在しない場合に制限内容の追加が必要になるためである。
そこで、表9のようなPF切替テーブルを用いることが有効である。表9はPF切替テーブルの別の一例を示す。表9のPF切替テーブルでは、現在の通信PFに対し切替条件と切替先の通信PFが対応づけて管理されている。すなわち、PF切替判定部52は現在の通信PFをキーとして、切替条件が揃った場合に切替先の通信PFに切り替えると判定する。PF切替テーブルを先頭から走査して現在の通信PFの切替条件に適合する場合に限って通信PFを切り替えることで、切替制限条件テーブルが肥大化することを抑制できる。
本実施例では、ユーザごとに別々のPF切替テーブルを用いて通信PFを切り替える伝送システム1について説明する。
実施例1では、伝送管理システム50がPF切替テーブルを管理していた。しかし、ユーザによっては異なる切り替え条件を適用したい場合もあると考えられる。これを実現するには、伝送端末10が独自のPF切替テーブルを保持しておくか、各伝送端末10の通信IDに対して伝送管理システム50がそれぞれのPF切替テーブルを保持しておく(伝送端末10は例えばログイン時にPF切替テーブルを伝送管理システム50から取得する。)。各伝送端末10は、自分のPF切替テーブルに基づいて個別に切り替えの是非を判定することでユーザごとに異なる切り替え条件を適用することができる。
しかし、それぞれの伝送端末10が同じ通信PFに切り替えると判定するとは限らないという不都合が生じる。
そこで、本実施例では、多数決方式で通信PFを切り替えるか否かを決定することで、上記不都合を解消する。
図10は、伝送端末10及び伝送管理システム50の機能ブロック図の一例である。なお、図10において、図5と同一の符号を付した構成要素については、一度説明した構成要素の説明を省略あるいは相違点についてのみ説明する場合がある。
本実施例では伝送端末10がPF切替判定部52を有している。PF切替判定部52の機能は実施例1と同様である。また、不揮発性記憶部1000にはPF切替テーブルにより構成されるPF判定管理DB5005が構築されている。PF切替テーブルの内容も実施例1と同様である。
さらに、本実施例の伝送管理システム50は多数決判定部57を有している。多数決判定部57は、図4に示されているCPU301からの命令等によって実現され、伝送端末10から通信PFの切り替えのリクエスト(切替要求)を取得した場合に、多数決で通信PFの切り替えを行うかどうかを決定する。
図11は、伝送管理システム50が通信PFを切り替えるか否かを判定する手順を示すシーケンス図の一例である。なお、伝送端末10aa、10ab、10acはαの通信PFで通信中である。
S1:伝送端末10aaの状況変化通知部18は何らかの通信状況の変化を検出する。例えば、通信帯域の変更、拠点数の変更などである。
S2:伝送端末10aaのPF切替判定部52は自分のPF切替テーブルを参照して通信PFをβに切り替えると判定する。このため、送受信部11はβの通信PFへの切り替えをリクエストする。
S3:伝送管理システム50の多数決判定部57は通信PFを切り替えるか否かを判定する。ここでは、伝送端末10ab,10acは通信PFの変更をリクエストしていないので、切り替えないと判定する。
S4:次に、伝送端末10abの状況変化通知部18は何らかの通信状況の変化を検出する。例えば、通信帯域の変更、拠点数の変更などである。
S5:伝送端末10abのPF切替判定部52は自分のPF切替テーブルを参照して通信PFをγに切り替えると判定する。このため、送受信部11はγの通信PFへの切り替えをリクエストする。
S6:伝送管理システム50の多数決判定部57は通信PFを切り替えるか否かを判定する。ここでは、γへのリクエストは1つしかないので、切り替えないと判定する。
S7:次に、伝送端末10acの状況変化通知部18は何らかの通信状況の変化を検出する。例えば、通信帯域の変更、拠点数の変更などである。
S8:伝送端末10acのPF切替判定部52は自分のPF切替テーブルを参照して通信PFをβに切り替えると判定する。このため、送受信部11はβの通信PFへの切り替えをリクエストする。
S9:伝送管理システム50の多数決判定部57は、βへのリクエストが2つになりテレビ会議を行っている全端末数の過半数を超えたので、通信PFをβに切り替えると判定する。なお、リクエストの数をカウントする期間を限定してもよいし(例えば、10分ごとにリクエストの数が初期化される)、会議開始からの全てのリクエストを累積してカウントしてもよい。
S10〜S12:伝送管理システム50の多数決判定部57は伝送端末10aa、10ab、10acにβの通信PFへのプラットフォーム切替指示通知を送信する。すなわち、図6,7のステップS5.2,S5.3のプラットフォーム切替指示通知を送信する。以降の手順は図6,7と同様である。
これにより、通信の途絶を生じさせずに、伝送端末10aa、10ab、10acは通信PFをβに切り替えてテレビ会議を継続できる。
したがって、本実施例の伝送システム1又は通信方法によれば、ユーザごとに別々のPF切替テーブルを用いてそれぞれが通信PFの切り替えをリクエストできると共に、最もリクエストが多い通信PFに切り替えることができる。
なお、多数決による決定の他、会議主催者からのリクエストを優先してもよい。また、通信PFに優先度をつけておきリクエストされた通信PFのうち最も優先度の高いものを選択してもよい。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、図5などの構成例は、伝送管理システム50及び伝送端末10による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。伝送管理システム50及び伝送端末10の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
また、伝送管理システム50が不揮発性記憶部5000に有する各データベースの1つ以上は通信ネットワーク上に存在していてもよい。伝送端末10が不揮発性記憶部1000に有するデータベースについても同様である。
また、伝送システム1が複数の伝送管理システム50を有していてもよく、伝送管理システム50の機能が複数のサーバに分散して配置されていてもよい。
なお、PF切替判定部52は判定手段の一例である。通信状況検出部55は状況検出手段の一例である。セッション管理部54は通信確立手段の一例である。PF切替開始判定部56は通信開始手段の一例である。
1 伝送システム
2 通信ネットワーク
10 伝送端末
18 状況変化通知部
21 通信PF管理部
50 伝送管理システム
52 PF切替判定部
54 セッション管理部
55 通信状況検出部
56 PF切替開始判定部
米国特許第8838699号明細書

Claims (10)

  1. 通信端末と他の通信端末との通信確立を制御する情報処理装置であって、
    複数の通信端末の間で第一セッションによる通信が確立している状態で、前記複数の通信端末の間で第二セッションによる通信を確立させる通信確立手段と、
    前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させる通信開始手段と、を有する情報処理装置。
  2. 前記第一セッションは第一通信プラットフォームを用いた通信のためのセッションであり、前記第二セッションは第二通信プラットフォームを用いた通信のためのセッションであり、
    前記第一通信プラットフォームを前記第二通信プラットフォームに切り替える際、前記通信開始手段は、前記複数の通信端末の間で前記第二通信プラットフォームを用いた通信が確立したことを確認した場合、前記第二通信プラットフォームを用いた通信を前記複数の通信端末に開始させる請求項1に記載の情報処理装置。
  3. 前記通信開始手段は、前記第一通信プラットフォームを用いて通信している全ての通信端末から前記第二通信プラットフォームを用いた通信が確立したという通知を取得することで、前記複数の通信端末の間で前記第二通信プラットフォームを用いた通信が確立したことを確認する請求項2に記載の情報処理装置。
  4. 前記複数の通信端末の間で前記第二通信プラットフォームを用いた通信が確立したことを確認した場合、前記通信開始手段は前記複数の通信端末に前記第一通信プラットフォームを用いたデータの通信から、前記第二通信プラットフォームを用いたデータの通信に切り替えさせる請求項2又は3に記載の情報処理装置。
  5. 前記通信開始手段は前記複数の通信端末の間で前記第二通信プラットフォームを用いた通信が確立したことを確認した場合、
    前記複数の通信端末の間で確立している前記第一通信プラットフォームによる通信を切断させる請求項2〜4いずれか1項に記載の情報処理装置。
  6. 前記複数の通信端末の間の通信状況又は通信端末と前記情報処理装置と間の通信状況を検出する状況検出手段と、
    前記通信状況が変化した場合、前記第一通信プラットフォームから前記第二通信プラットフォームに切り替えると判定する判定手段を有する請求項2〜4のいずれか1項に記載の情報処理装置。
  7. 通信端末と他の通信端末とが通信する通信システムであって、
    複数の通信端末の間で第一セッションによる通信が確立している状態で第二セッションによる通信を確立させる通信確立手段と、
    前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させる通信開始手段と、を有する通信システム。
  8. 通信状況の変化を情報処理装置に対し通知するコンピュータにより実行可能なプログラムと、
    複数の通信端末の間で第一セッションによる通信が確立している状態で第二セッションによる通信を確立させる通信確立手段と、
    前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させる通信開始手段と、を有する通信システム。
  9. 情報処理装置にインストールされると、前記情報処理装置を、
    複数の通信端末の間で第一セッションによる通信が確立している状態で第二セッションによる通信を確立させる通信確立手段と、
    前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させる通信開始手段と、として機能させるプログラム。
  10. 通信端末と他の通信端末との通信確立を制御する情報処理装置が行う通信方法であって、
    通信確立手段が、複数の通信端末の間で第一セッションによる通信が確立している状態で、前記複数の通信端末の間で第二セッションによる通信を確立させるステップと、
    通信開始手段が、前記複数の通信端末の間で前記第二セッションによる通信が確立したことを確認した場合、前記第二セッションを用いた通信を前記複数の通信端末に開始させるステップと、を有する通信方法。
JP2015141531A 2015-07-15 2015-07-15 情報処理装置、通信システム、プログラム Pending JP2017028347A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015141531A JP2017028347A (ja) 2015-07-15 2015-07-15 情報処理装置、通信システム、プログラム
EP16178961.5A EP3119085A1 (en) 2015-07-15 2016-07-12 Information processing apparatus, communication system, and recording medium
US15/208,995 US9955118B2 (en) 2015-07-15 2016-07-13 Information processing apparatus, communication system, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015141531A JP2017028347A (ja) 2015-07-15 2015-07-15 情報処理装置、通信システム、プログラム

Publications (1)

Publication Number Publication Date
JP2017028347A true JP2017028347A (ja) 2017-02-02

Family

ID=56883485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015141531A Pending JP2017028347A (ja) 2015-07-15 2015-07-15 情報処理装置、通信システム、プログラム

Country Status (3)

Country Link
US (1) US9955118B2 (ja)
EP (1) EP3119085A1 (ja)
JP (1) JP2017028347A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123791A (ja) * 2019-01-29 2020-08-13 株式会社リコー 遠隔コミュニケーションシステム、通信方法、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494490B2 (ja) * 2015-10-30 2019-04-03 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
JP6825342B2 (ja) 2016-12-13 2021-02-03 株式会社リコー 通信端末、通信システム、通信方法及びプログラム
JP2020030626A (ja) * 2018-08-23 2020-02-27 セイコーエプソン株式会社 処理システム、制御システム、中継装置及び通信方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8838699B2 (en) 2004-02-27 2014-09-16 International Business Machines Corporation Policy based provisioning of Web conferences
US7711848B2 (en) * 2006-06-15 2010-05-04 Oracle International Corporation System using session initiation protocol for seamless network switching in a media streaming session
US8248456B2 (en) * 2009-04-13 2012-08-21 Hewlett-Packard Development Company, L.P. Endpoints associated with a session
JP5541092B2 (ja) 2010-03-03 2014-07-09 株式会社リコー 伝送端末、伝送方法、及び伝送端末用プログラム
US8730297B2 (en) * 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
JP6136174B2 (ja) 2012-10-05 2017-05-31 株式会社リコー 通信システム及び通信方法
JP2014233068A (ja) 2013-04-30 2014-12-11 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
US8970660B1 (en) * 2013-10-11 2015-03-03 Edifire LLC Methods and systems for authentication in secure media-based conferencing
US10091461B2 (en) * 2013-10-15 2018-10-02 Polycom, Inc. System and method for real-time adaptation of a conferencing system to current conditions of a conference session
JP6634686B2 (ja) * 2015-03-11 2020-01-22 株式会社リコー 情報処理装置、プログラム、通信プラットフォーム決定方法、伝送システム
US9973562B2 (en) * 2015-04-17 2018-05-15 Microsoft Technology Licensing, Llc Split processing of encoded video in streaming segments

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020123791A (ja) * 2019-01-29 2020-08-13 株式会社リコー 遠隔コミュニケーションシステム、通信方法、プログラム
JP7164833B2 (ja) 2019-01-29 2022-11-02 株式会社リコー 遠隔コミュニケーションシステム、通信方法、プログラム

Also Published As

Publication number Publication date
US9955118B2 (en) 2018-04-24
US20170019637A1 (en) 2017-01-19
EP3119085A1 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
JP6221489B2 (ja) 通信システム、管理装置、通信方法およびプログラム
JP6303324B2 (ja) 通信システム、管理装置、通信方法およびプログラム
JP6634686B2 (ja) 情報処理装置、プログラム、通信プラットフォーム決定方法、伝送システム
JP6051782B2 (ja) 通信システムおよびプログラム
US9864563B2 (en) Information processing apparatus, image display method, and communication system
JP6399204B2 (ja) 情報処理装置、画面切り替え方法、プログラム、伝送システム
JP6269609B2 (ja) 情報処理装置、画像表示方法、通信システム、プログラム
JP2016171424A (ja) 通信システム、伝送端末、通信方法、プログラム
JP6557976B2 (ja) 伝送システム、情報処理装置、伝送方法、プログラム
US9955118B2 (en) Information processing apparatus, communication system, and recording medium
EP3065373A1 (en) Communication system, communication method, relay device, and computer program product
JP2020088489A (ja) 通信システム、プログラム、端末装置
US10178348B2 (en) Information processing apparatus, image display method, and communication system
JP2016171373A (ja) サービス提供装置、通信方法、通信システム、及び、プログラム
JP2017034374A (ja) 伝送管理システム、伝送システム、情報処理装置、伝送管理方法、及びプログラム
EP2950527B1 (en) Transmission terminal, transmission system, relay device selecting method, and carrier means
JP2015153103A (ja) 情報処理装置および情報処理システム
JP6405936B2 (ja) 管理システム、管理装置、通信システム、情報送信方法、及びプログラム
JP2017195468A (ja) 管理システム、中継装置の選択方法、及びプログラム
JP2017055349A (ja) 情報処理装置、プログラム、情報処理方法
JP2016171553A (ja) 状態情報管理装置、状態情報処理方法、プログラム、及び、伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200114