JP2023140161A - 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム - Google Patents

通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム Download PDF

Info

Publication number
JP2023140161A
JP2023140161A JP2022046052A JP2022046052A JP2023140161A JP 2023140161 A JP2023140161 A JP 2023140161A JP 2022046052 A JP2022046052 A JP 2022046052A JP 2022046052 A JP2022046052 A JP 2022046052A JP 2023140161 A JP2023140161 A JP 2023140161A
Authority
JP
Japan
Prior art keywords
communication terminal
communication
request
user
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022046052A
Other languages
English (en)
Inventor
雄一 荒海
Yuichi Araumi
靖浩 冨井
Yasuhiro Tomii
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2022046052A priority Critical patent/JP2023140161A/ja
Priority to US18/121,591 priority patent/US20230308705A1/en
Publication of JP2023140161A publication Critical patent/JP2023140161A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】本開示は、映像配信が開始された後であっても、特定のユーザに遠隔操作移動装置の遠隔操作を行える機会を与えることを目的とする。【解決手段】本開示は、独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な通信端末であって、映像配信中に所定の操作権の適用対象の指定を受け付ける受付部と、前記通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求を送信する送信部と、前記要求に対する結果を示す結果情報を受信する受信部と、を有することを特徴とする通信端末である。【選択図】図21

Description

本開示内容は、通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラムに関する。
インターネットやLAN(Local Area Network)等の通信ネットワークを介して、複数の拠点の間で通信端末が通信して、互いに映像及び(又は)音声を送受信する通信システムが普及している。この通信システムを利用することで遠隔地の拠点にいるユーザ同士が意志疎通を図ることができ、例えば遠隔会議を開催することができる。
また、遠隔会議、ロボット、遠隔操作の技術を組み合わせたテレプレゼンスロボット(以降「ロボット」と示す)が知られている(特許文献1参照)。これは、遠隔地の拠点からのリモートコントロールとロボット技術を組み合わせて、ユーザが遠隔地の拠点からロボットを操作し、ある場所でユーザがあたかも存在(プレゼンス)しているように振る舞わせる技術である。
ロボットは、通常ディスプレイを備えており、それを使用した遠隔会議装置と、遠隔操作による移動能力を有する。ユーザは、PC(Personal Computer)、スマートフォン又はタブレット端末を使用して遠隔会議を行いながら、相手側にいるロボットを遠隔地の拠点から制御することで、自分が主体となって誰と意思疎通を図るか、どこの場所に行くかを制御できる。従来の遠隔会議技術とは異なり、ロボットがユーザである自分の分身として別の場所を移動したり、対話を行ったりすることで、遠隔地の相手に今までにない存在感を提供することができる。
また、博物館や美術館といった特定の分野に対して価値のある事物、学術資料、美術品等を来訪者に展示の形で開示している施設がある。昨今のCOVID-19による外出制限から来訪者の減少に対して、オンラインでの体験ツアーといったサービスの提供が始まっている。また、企業のショールームにおいてもこうしたサービスを導入する動きがある。
このようなサービスでは、遠隔地にいるユーザにオンラインで施設を自由に見学できるように、ロボットを活用した遠隔ツアーの導入に向けた実証実験がおこなわれている。遠隔ツアーでは、遠隔地にいる複数のユーザに対し、ロボットによって撮影された映像を閲覧することで、あたかも施設を見学しているような疑似体験を提供する。さらに遠隔ツアーでは、ユーザがロボットを遠隔操作することで、施設を自由に見学することもできる。
しかしながら、1人のユーザがロボット等の遠隔操作移動装置を占有して制御することが前提であるが、遠隔ツアーのような複数のユーザが遠隔操作移動装置によって撮影された映像を閲覧している場合、遠隔操作移動装置に対する遠隔操作の制御をどう管理するかが問題となってくる。現状、あるユーザが遠隔操作移動装置の操作をしようとすると、別のユーザが遠隔操作移動装置を操作していても遠隔操作移動装置にアクセスできるような状況であり、様々なユーザが入り乱れて操作を行えるような事態となっている。これにより、例えば、あるユーザの遠隔操作によりロボット等の遠隔操作移動装置が右に移動して目的位置に移動中に、別のユーザの遠隔操作により同じ遠隔操作移動装置が左に移動することで別の目的位置に移動してしまうような事態が生じてしまう。そのため、事前に特定のユーザにロボットの遠隔操作を独占的に行わせるようにしてもよいが、ユーザによっては、映像配信が開始された後に映像内容を閲覧すること等により、遠隔操作移動装置の遠隔操作を独占的に行いたいというニーズがある。
本発明は、上述の課題を鑑みてなされたもので、映像配信が開始された後であっても、特定のユーザに遠隔操作移動装置の遠隔操作を行える機会を与えることを目的とする。
上記課題に鑑み、請求項1に係る発明は、独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な通信端末であって、映像配信中に所定の操作権の適用対象の指定を受け付ける受付部と、前記通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求を送信する送信部と、前記要求に対する結果を示す結果情報を受信する受信部と、を有することを特徴とする通信端末である。
本発明によれば、映像配信が開始された後であっても、特定のユーザに遠隔操作移動装置の遠隔操作を行える機会を与えることができるという効果を奏する。
通信システムの概略を説明する図の一例である。 広角撮影装置が撮像した全天球映像の表示例を説明する図である。 一実施形態に係る通信システムの構成例を示す図である。 一実施形態に係る通信端末のハードウェア構成例を示す図である。 通信管理システムのハードウェア構成例を示す図である。 移動装置のハードウェア構成例を示す図である。 広角撮影装置の一例のハードウェア構成図である。 広角撮影装置の使用イメージ図の一例である。 広角撮影装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。 広角撮影装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 図11の立体斜視図等の一例を示す図である。 所定領域情報と所定領域の画像の関係との関係を示した図の一例である。 通信システムを構築する各装置又はシステムの機能ブロック図である。 通信システムを構築する各装置又はシステムの機能ブロック図である。 通信システムの通信の準備段階の処理の例を示すシーケンス図である。 通信端末に表示される宛先選択画面の一例を示す図である。 通信システムの通信処理の例を示すシーケンス図である。 操作権情報の表示画面を示す図である。 テレプレゼンスロボットを遠隔操作する処理を示すシーケンス図である。 操作権の設定の処理を示すシーケンス図である。 操作権の設定要求の画面を示す図である。 操作権の設定可否の画面を示す図である。 操作権の設定要求の結果の画面を示す図である。 本実施形態を美術館のオンラインツアーに適用したイメージ図である。 美術館のオンラインツアー中の通信端末10Aで表示される画面例である。 本実施形態をリモートショッピングに適用したイメージ図である。 リモートショッピング中の通信端末10Aで表示される画面例である。
〔通信システムの概略〕
図1を用いて通信システム1の概略を説明する。図1(a)は、テレプレゼンスロボット(以降「ロボット」と示す)Rを用いた通信システムの概略構成図の一例を示す。
ロボットRは、主に、広角撮影装置9、通信端末10X、及びロボットRを移動させる移動装置20によって構成されている。ロボットRは、遠隔操作移動装置の一例である。遠隔操作移動装置は、遠隔操作により、地上、空中、宇宙、水上、水中、又は地下を移動する装置であり、自律移動装置も含まれる。遠隔操作移動装置には、走行性能を備えた遠隔操作走行装置が含まれる。自律移動装置には、走行性能を備えた自律走行装置が含まれる。ロボットRは、遠隔操作走行装置又は自律走行装置の一種である。なお、ロボットRには、温度センサ、湿度センサ、酸素センサ、又は二酸化炭素センサ等の環境センサが設けされ、ロボットRの周囲を照らす照明装置等も設けられている。
例えば、社内801にロボットRが配置されており、自宅802にユーザである操作者810が存在している。ロボットRは移動装置20に搭載された通信端末10Xと広角撮影装置9を有している。また、遠隔の操作者になり得るユーザaは通信端末10Aを有している。遠隔の操作者になり得るユーザbは通信端末10Bを有している。遠隔の操作者になり得るユーザcは通信端末10Cを有している。
また、図1(b)の状況では、ロボットRの拠点(現地)には説明員mがおり、専用の通信端末10Mを用いて各他拠点のユーザa,b,cと遠隔会議を行うことができる。ロボットRは、各拠点のユーザa,b,cに映像及び音で現地の状況を伝えることができるが、それを補うために説明員mがロボットRに同行している。なお、図1(b)では、3名のユーザ及び3つの通信端末が表示されているが、4名以上及び4つ以上であってもよい。また、1名のユーザ及び1つの通信端末、又は2名のユーザ及び2つの通信端末であってもよい。
広角撮影装置9は通信端末10Xに後述する全天球映像(第2の映像の一例)を送信する。通信端末10α、10Mは、それぞれ後述の狭角撮影部14とマイクを有しており、互いに映像と音声とを送受信する。通信端末10Xは全天球映像と正面映像831、背面映像832の少なくとも1つを通信端末10α、10B、10C、10Mに送信し、通信端末10A、10B、10C、10Mは各ユーザa,b,c,mの正面映像831を通信端末10Xに送信する。
また、通信端末10A、10B、10C、10Mでは移動装置20の移動に関する操作を受け付けるアプリケーションソフト(以下、「アプリ」と示す)が動作している。各ユーザa,b,cは通信端末10Xが送信する映像を確認しながら操作指示を入力する。操作者810が入力した遠隔操作(操作指示)を示す操作情報は通信端末10Aから通信ネットワーク2を介して通信端末10Xに送信される。
通信端末10Xと移動装置20はBluetooth(登録商標)などの近距離無線で通信することができる。通信端末10Xは、操作権をする特定のユーザによる操作指示に基づいて移動装置20を制御するため、特定のユーザは遠隔地(自宅802)から移動装置20を移動させることができる。
操作権は、複数のユーザ(通信端末を含む)のうち特定のユーザ(特定の通信端末を含む)が、ロボットRの各操作対象(狭角撮影部14、移動装置20等)を独占的に遠隔操作可能な権利(独占的な操作権)である。操作対象毎に異なる操作権が設定される。操作権は、特定のユーザが遠隔操作を行える専用の権利ということもできる。即ち、操作権を有していないユーザは、ロボットRの各操作対象に対して遠隔操作を行うことができない。なお、ユーザには、人だけでなく、部署や企業等の組織も含まれる。
また、通信端末10Xに内蔵された狭角撮影装置が正面又は後方しか撮像できないと、ユーザが移動装置20の周囲の状況(例えば、足下や左右)を確認しづらいため、通信端末10Xには、周囲360度を撮像できる広角撮影装置9が搭載されている。広角撮影装置9は通信端末10Xに搭載されていてもよいし、移動装置20に搭載されていてもよい。広角撮影装置9は広角な範囲を撮像できるため、例えば、周囲が遮られにくいロボットRの上方に配置される。図1では通信端末10Xの上側に配置されているが、左側又は右側に配置されてもよいし、移動装置20のポール部分に配置されてもよい。また、広角撮影装置9は通信端末10Xに内蔵されていてもよいし、外付けされてもよい。
〔全天球映像の表示〕
図2を用いて、周囲360度の被写体が写った全天球映像のある方向をユーザが見ている場合に、移動装置20が向いている方向を把握できるように表示する表示例を説明する。図2は広角撮影装置9が撮像した全天球映像の一部である所定領域映像の表示例を説明する図である。本実施形態では移動装置20が向いている方向を操作者であるユーザ(例えば、ユーザa)が把握できる表示例の3つのパターンを説明する。
なお、移動装置20の向きはロボットRの向きと同じであるため、向きに関しては移動装置20とロボットRを同一視してよい。また、移動装置20の向きとは移動装置20が向いている方向であり、例えば、正面方向又は前進方向をいう。移動装置20が向いている方向をユーザが把握可能であれば、横向き、上向き、下向きなどを移動装置20の向きとしてもよい。
図2(a)は、パターン1によって全天球映像を表示する全天球映像表示画面1010の一例を示す。パターン1は、現在、ユーザが見ている全天球映像にロボットRの画像840を重ねて表示することで、移動装置20の向きをユーザに把握させる。ユーザは移動装置20の向きに対し、どの方向を見ているか分かる。なお、ロボットRの画像840はロボットRの向きが分かる態様で表されている。
ユーザは通信端末10Aに任意の所定領域映像を表示させる。全天球映像表示画面1010に表示されている映像が所定領域映像である。図2(a)では開放的な居室の一部が表示されている。所定領域映像は、全天球映像のうち通信端末10Aの表示装置(後述する表示部109)に表示されている一部の領域の映像である。表示部109はエリアを設けユーザはこのエリア内に所定領域映像を表示する。全天球映像は、撮影対象が湾曲して表示されるため(図9(c)参照)、全天球映像の一部の領域である所定領域映像(図12(b)、(d)参照)が表示されると、ユーザは閲覧し易くなる。
また、上記のように、移動装置20の正面方向と一致するとは限らない。通信端末10Aは移動装置20の正面方向と所定領域映像を定める撮像方向(所定領域映像の中心を示す方向)との差異に基づいてロボットRを回転させ、回転させたロボットRを全天球映像に表示させる。表示されるロボットRの画像840は実空間のロボットRではなくCG(コンピュータグラフィック)で作成されたものである。CGとはコンピュータを用いて描かれた画像である。CGは主に2次元と3次元があるが、本実施形態では3次元のCGが利用される。
全天球映像の中でロボットR(移動装置20)がどの方向を向いているのか分かる。図2(a)の例では、ロボットRがユーザaの方のやや右側を向いている。ロボットRの画像840を見ることで、操作者はこのまま前進させた場合にどの方向に移動するかを容易に判断できる。
なお、図2(a)では説明の便宜上、ロボットRの画像840の全体像が表示されているが、全天球映像はロボットRの上側に配置されているので、ロボットRの画像840もより視点側に(手前に)表示することが好ましい。このため、ロボットRの画像840の全体像が写っていなくてよい。
続いて、パターン2について説明する。図2(b)は、パターン2によって全天球映像を表示する全天球映像表示画面1010の一例を示す。パターン2は、操作者810が見ている全天球映像の一部の所定領域映像853とは別に、ロボットRを基準に操作者810が見ている方向を表示する。具体的には、ロボットRの画像854と撮像方向の矢印8を表示する。
図2(b)に示すように、通信端末10Aはユーザaの操作に応じて全天球映像欄1001に任意の所定領域映像853を表示する。図2(b)では陳列された商品が写っている。また、通信端末10Aは、全天球映像欄1001とは別にロボットRの表示欄1002を表示する。ロボットRの表示欄1002には、所定領域映像853がロボットRからみてどの方向かを示す撮像方向の矢印8を表示する。つまり、撮像方向矢印8はユーザaが見ている撮像方向を立体的に表す。立体的にとは、方位角と仰角の情報を有することを意味する。表示されるロボットRの画像854は実空間のロボットRではなくCGで作成されたものである。撮像方向の矢印8も同様である。図2(b)ではロボットRの正面方向が撮像方向である。
このように、ユーザは、全天球映像がロボットRから見てどの方向の映像であるかを把握できる。また、ユーザはロボットRがどの方向を向いているかも把握できる。また、図2(b)では、前進することで商品にロボットRが接近することが分かる。パターン1と比べると全天球映像にロボットRが重ならないというメリットがある。
図2(c)は、パターン3によって全天球映像を表示する全天球映像表示画面1010の一例を示す。全天球映像表示画面1010に表示されている映像が所定領域映像である。パターン3では、所定領域映像の中心方向(上記の撮像方向)とロボットRの正面方向が略一致する場合にのみ通信端末10Aが操作ボタン860を表示する。図2(c)の左図c-1では、撮像方向とロボットRの正面方向が略一致していないため操作ボタン860が表示されていない。図2(c)の右図c-2では、撮像方向とロボットRの正面方向が略一致しているため操作ボタン860が表示されている。略一致とは、移動装置20の移動に支障がない程度に一致すればよいことをいう。完全に一致することを求めると、遠隔でロボットRを操作するための操作ボタン860がめったに表示されず、操作できないことになるため、操作性が低下しない程度の幅をもって判断される。例えば、水平方向と仰角方向にそれぞれ±10~20度くらいのずれは許容されてよい。また、操作者810がずれの大きさを設定できてよい。
パターン3では撮像方向とロボットRの正面方向が略一致している時に操作ボタン860が表示されるので、ユーザは所定領域映像を変更させてみて操作ボタン860が表示された時に、撮像方向とロボットRの正面方向が略一致していると判断できる。したがって、撮像方向とユーザが見ている全天球映像の方向を一致させることができる。また、ロボットRの正面方向とユーザが見ている全天球映像の方向を一致させた時にだけ操作ボタン860が表示されるので、前進させた場合にどこに移動するかをユーザが把握できる。
〔システム構成〕
図3は、一実施形態に係る通信システムの構成例を示す図である。通信システム1は、複数の通信端末(10A、10B、10C、10M、10X)、移動装置20、中継装置30、及び、通信管理システム50等を有する。なお、以下の説明の中で、複数の通信端末(10A、10B、10C、10M、10X)のうち、任意の通信端末を示す場合「通信端末10」を用いる。また、ユーザ側の通信端末(10A、10B、10C)のうち、任意の通信端末を示す場合「通信端末10α」を用いる。また、図3の通信端末10の数は一例である。
通信端末10、中継装置30、通信管理システム50は、それぞれ、通信ネットワーク2を介して、他の通信端末10、装置、システムとの間で通信可能に接続されている。通信ネットワーク2は、例えば、LAN(Local Area Network)、インターネット、携帯電話網、又は専用線等を含んでいてもよい。
通信端末10は、例えば、タブレット端末、スマートフォン、PC等の汎用の情報処理装置、又は専用の遠隔会議装置等の通信端末である。通信端末10は、他の1つ以上の通信端末10との間で、例えば、映像及び(又は)音声を送受信することにより、遠隔会議等を行うことができる。なお、遠隔会議は、映像通話の一例である。映像通話は、会議を行う場合には限られない。また、映像通話は、映像配信の一例である。映像配信は、通話を行う場合に限られない。
通信端末10αは、通信システム1に対応するアプリを実行させることにより、通信端末10X、10Mと遠隔会議を行うと共に、通信端末10Xを介して、移動装置20を遠隔操作することができる。例えば、通信端末10αは、遠隔会議の表示画面に表示された操作ボタン860を操作することにより、通信端末10Xを搭載した移動装置20を、例えば、前後、左右等に移動させることができる。なお、通信端末10αはブラウザソフトウェア(以下、「ブラウザソフト」と示す)を動作させることも可能であり、ブラウザソフトが映像を表示し、ブラウザソフトに対する移動装置20の操作を受け付けることもできる。
通信端末10Mは、基本的な通信機能は通信端末αと同じである。通信端末10Mは、通信端末αから、後述の操作権の設定要求を受け付け、説明員が設定の可否を入力するための端末である。
ロボットRの移動装置20は、移動装置20に取り付けられた通信端末10Xからの制御に応じて、例えば、複数の車輪を駆動することにより、「前進」、「後退」、「右旋回」、「左旋回」等の移動を行う走行機能を有する装置である。ユーザが、遠隔操作により左右への移動を指示した場合、「右旋回」後又は「左旋回」後に前進する。なお、図3に示す移動装置20の外観はあくまで一例である。移動装置20は、移動装置20に搭載された通信端末10Xからの操作指示に応じて、通信端末10Xと共に移動可能であればよい。
中継装置30は、例えば、情報処理装置、又は1つ以上の情報処理装置を含むシステムであり、複数の通信端末10間で送受信されるコンテンツデータ(映像、音を含む)を中継する。この音には、音声、雑音等が含まれる。ただし、中継装置30を介することなく、複数の通信端末10が直接、コンテンツデータを送受信してもよい。
通信管理システム50は、例えば、情報処理装置、又は1つ以上の情報処理装置を含むシステムである。通信管理システム50は、例えば、通信端末10からのログイン認証、通信端末10の通信状況の管理、宛先リストの等の管理、及び複数の通信端末10間で中継装置30を介して通信を行うセッションの制御等を行う。
一実施形態において、セッションは、中継装置30が、複数の通信端末10間で映像及び(又は)音声を含むコンテンツデータを中継することで実現される。
上記の構成において、例えば、通信端末10Aのユーザaは、通信端末10Xと通信を行い、通信端末10X及び移動装置20を遠隔操作により移動させることができる。これにより、通信端末10Aのユーザaは、通信端末10X及び移動装置20を任意の相手の近くに移動させて、遠隔会議等を行うことができる。
〔ハードウェア構成〕
<通信端末のハードウェア構成>
図4は、本発明の一実施形態に係る通信端末のハードウェア構成例を示す図である。通 信端末10は、一般的なコンピュータの構成を含み、例えば、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、フラッシュメモリ104、及びSSD(Solid State Drive)105等を有する。また、通信端末10は、メディアI/F(Interface)107、入力部108、表示部109、ネットワークI/F111、カメラ112、撮像素子I/F113、マイク114、スピーカ115、及び音声入出力I/F116等を有する。更に、通信端末10は、外部機器接続I/F117、近距離無線通信部118、及びバス119等を有する。
CPU101は、例えば、ROM102や、フラッシュメモリ104等からプログラムやデータを読み出し、処理を実行することで、通信端末10が備える各機能を実現する演算装置である。ROM102は、IPL(Initial Program Loader)等のCPU101の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM103は、CPU101のワークエリア等として利用される揮発性のメモリである。
フラッシュメモリ104は、例えば、OS(Operating System)、アプリケーションソフトのプログラム、及び各種のデータ等を記憶するストレージデバイスである。SSD105は、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し、書き込みを制御する。メディアI/F107は、例えば、メモリカード等の記録媒体である記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御する。記録媒体には通信端末10を制御する、コンピュータが読み取り可能なプログラムが記憶され得る。
入力部108は、例えば、タッチパネル、キーボード、ポインティングデバイス等の操作者からの入力操作を受け付けるための入力装置である。音声入力が可能でもよい。表示部109は、操作者に向けた各種の表示を行う表示装置である。なお、入力部108、及び表示部109は、例えば、タッチパネルとディスプレイが一体化されたタッチパネルディスプレイ等の表示入力部110であっても良い。また、表示部109は、通信端末10に設けられたディスプレイだけなく、通信端末10の外付けのディスプレイ、通信端末10の外付けの他の通信端末のディスプレイ、又はプロジェクタで映し出されるスクリーン(プロジェクションマッピングの被表示対象も含む)であっても良い。
ネットワークI/F111は、通信端末10が通信ネットワーク2を利用してデータを送信したり受信したりするための通信インタフェースである。カメラ112は、CPU101の制御にしたがって被写体を撮像するための撮像素子を含む。撮像素子I/F113は、カメラ112による撮像を制御すると共に、撮像したデータを所定の画像データに変換する。カメラ112は狭角撮影装置であり、広角撮影装置9よりも狭い画角で撮像するが、広角撮影装置9よりも高解像度である。解像度とはデジタル画像の細かさを表す度合いのことであり、解像度はデジタル画像を構成する個々の単位点(ドット、ピクセル)の細かさを数値化することによって表現される。解像度を表す単位には一般に「ドット」が用いられる。ディスプレイの場合は、多くの場合「1024×768ドット」のようにヨコ×タテに並んでいる数で表される。同じ撮像範囲で比較すると、広角撮影装置9のドット数はカメラ112のドット数よりも少ない。
マイク114は、収録した音声を音声データに変換する。スピーカ115は、音声データを音声に変換して出力する。音声入出力I/F116は、マイク114及びスピーカ115による音声の入出力を制御する。
外部機器接続I/F117は、例えば、USB(Universal Serial Bus)等の外部機器を接続するためのインタフェースである。外部機器には、例えば、図3の移動装置20等が含まれる。
近距離無線通信部118は、例えば、Bluetooth(登録商標)や、Bluetooth(登録商標)Low Energy等の近距離無線通信により、外部機器(例えば移動装置20)と通信するための通信インタフェースである。バス119は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
<通信システムのハードウェア構成>
図5は、一実施形態に係る通信管理システムのハードウェア構成例を示す図である。通信管理システム50は、一般的なコンピュータの構成を有しており、例えば、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、メディアドライブ507、及びディスプレイ508等を有する。また、通信管理システム50は、ネットワークI/F509、キーボード511、マウス512、CD-ROMドライブ514、及びバス510等を有する。
CPU501は、例えば、ROM502、HD504等に格納されたプログラムやデータを読み出し、処理を実行することにより、通信管理システム50が備える各機能を実現する演算装置である。ROM502は、IPL等のCPU501の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM503は、CPU501のワークエリア等として利用される揮発性のメモリである。
HD504は、例えば、OSや、アプリケーションソフトのプログラムや、各種のデータを記憶するストレージ装置である。HDDコントローラ505は、CPU501の制御にしたがって、HD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ508は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示装置である。
ネットワークI/F509は、通信ネットワーク2を利用してデータ通信を行うための通信インタフェースである。キーボード511は、システム管理者による文字、数値、各種指示などの入力操作を受け付けるための入力装置の一例である。マウス512は、システム管理者による各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付けるポインティングデバイスの一例である。
なお、ディスプレイ508、キーボード511及びマウス512に関して、通信管理システム50又は中継装置30は普段は有していなくてもよい。この場合、必要に応じて接続されてよい。
メディアドライブ507は、例えば、メモリカード等の記録メディア506に対するデータの読み出しや、書き込み(記憶)を制御する。CD-ROMドライブ514は、着脱可能な記録媒体の一例としてのディスク513に対するデータの読み出し又は書き込みを制御する。バス510は、上記の各構成要素を電気的に接続し、アドレス信号、データ信号、及び各種の制御信号等を伝達する。なお、上記のコンピュータのハードウェア構成はあくまで一例である。
<中継装置のハードウェア構成>
中継装置30は、通信管理システム50と同様のハードウェア構成を有しているものとする。なお、通信端末10、中継装置30、及び通信管理システム50用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク、USBメモリ等が挙げられる。また、各プログラムが記憶されたCD-ROM等の記録メディア、並びに、これらプログラムが記憶されたHD504は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<移動装置のハードウェア構成>
図6は、一実施形態に係る移動装置のハードウェア構成例を示す図である。移動装置20は、例えば、CPU401、RAM402、ROM403、外部機器I/F404、近距離無線通信部405、車輪駆動部406、操舵部407等を有する。
CPU401は、ROM403等に格納されたプログラムを実行することにより、移動 装置20の各機能を実現する演算装置である。RAM402は、CPU401のワークエ リア等として用いられる揮発性のメモリである。ROM403は、移動装置20のプログ ラム等を記憶する不揮発性のメモリである。ROM403は、例えば、フラッシュROM 等の書き換え可能な不揮発性メモリであっても良い。
外部機器I/F404は、通信端末10の外部機器接続I/F117等と有線接続し、通信を行うための有線通信インタフェースである。
近距離無線通信部405は、例えば、通信端末10の近距離無線通信部118と同じ無線通信方式により無線通信を行うための無線通信インタフェースである。移動装置20は、例えば、外部機器I/F404、又は近距離無線通信部405により、通信端末10と通信可能であれば良い。
車輪駆動部406は、移動装置20を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部406には、例えば、モータ等が含まれる。
操舵部407は、車輪駆動部406によって移動する移動装置20の操舵を行う操舵装置の一例である。操舵部407は、例えば、車輪の向きや傾きを変えるものであっても良いし、左右の車輪の回転数や速度等を制御することにより、移動装置20の向きを変えるもの等であっても良い。
<広角撮影装置のハードウェア構成>
図7を用いて、広角撮影装置9のハードウェア構成を説明する。図7は、広角撮影装置9の一例のハードウェア構成図である。以下では、広角撮影装置9は、2つの撮像素子を使用した全天球(全方位)広角撮影装置9であるが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に広角撮影装置9と同じ機能を有するようにしてもよい。
図7に示されているように、広角撮影装置9は、撮像ユニット301、画像処理ユニット304、撮像制御ユニット305、マイク308、音処理ユニット309、CPU311、ROM312、SRAM313、DRAM314、操作部315、ネットワークI/F316、通信部317、アンテナ317a、電子コンパス318、ジャイロセンサ319、及び、加速度センサ320なども接続される。
このうち、撮像ユニット301は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)302a、302bと、各広角レンズに対応させて設けられている2つの撮像素子303a、303bを備えている。撮像素子303a、303bは、魚眼レンズ302a、302bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD( Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット301の撮像素子303a、303bは、各々、画像処理ユニット304とパラレルI/Fバスで接続されている。一方、撮像ユニット301の撮像素子303a、303bは、撮像制御ユニット305とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット304、撮像制御ユニット305及び音処理ユニット309は、バス310を介してCPU311と接続される。更に、バス310には、ROM312、SRAM313、DRAM314、操作部315、ネットワークI/F316、通信部317、及び電子コンパス318なども接続される。
画像処理ユニット304は、撮像素子303a、303bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図9(c)に示されているような正距円筒射影画像のデータを作成する。
撮像制御ユニット305は、一般に撮像制御ユニット305をマスタデバイス、撮像素子303a、303bをスレーブデバイスとして、I2Cバスを利用して、撮像素子303a、303bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU311から受け取る。また、撮像制御ユニット305は、同じくI2Cバスを利用して、撮像素子303a、303bのレジスタ群のステータスデータ等を取り込み、CPU311に送る。
また、撮像制御ユニット305は、操作部315のシャッターボタンが押下されたタイミングで、撮像素子303a、303bに画像データの出力を指示する。広角撮影装置9によっては、ディスプレイ(例えば、通信端末10Xのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子303a、303bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
撮像制御ユニット305は、後述するように、CPU311と協働して撮像素子303a、303bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、広角撮影装置9にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク308は、収録した音声を音声データに変換する。音処理ユニット309は、マイク308から出力される音声データをI/Fバスを通して取り込み、音声データに対して所定の処理を施す。
CPU311は、広角撮影装置9の全体の動作を制御すると共に必要な処理を実行する 。ROM312は、CPU311のための種々のプログラムを記憶している。SRAM313及びDRAM314はワークメモリであり、CPU311で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM314は、画像処理ユニット304での処理途中の画像データ及び処理済みの正距円筒射影画像のデータを記憶する。
操作部315は、シャッターボタンなどの操作ボタンの総称である。操作者は操作部315を操作することで、種々の撮像モードや撮像条件などを入力する。
ネットワークI/F316は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路(USBI/F等)の総称である。また、ネットワークI/F316としては、無線、有線を問わない。DRAM314に記憶された正距円筒射影画像のデータは、このネットワークI/F316を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F316を介して通信端末10X等の外部端末(装置)に送信されたりする。
通信部317は、広角撮影装置9に設けられたアンテナ317aを介して、Wi-Fi、NFC、Bluetooth(登録商標)等の近距離無線通信技術によって、通信端末10Xの外部端末(装置)と通信を行う。この通信部317によっても、正距円筒射影画像のデータを通信端末10X等の外部端末(装置)に送信することができる。
電子コンパス318は、地球の磁気から広角撮影装置9の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ319は、広角撮影装置9の移動に伴う角度の変化(ロール角、ピッチング角、ヨー角)を検出する。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ320は3軸方向の加速度を検出する。検出した加速度に基づいて広角撮影装置9の姿勢(重力方向に対する角度)を検出する。ジャイロセンサ319と加速度センサ320は両方を有することで画像補正の精度が向上する。
〔全天球映像について〕
次に、図8を用いて、広角撮影装置9の使用状況を説明する。なお、図8は、広角撮影装置9の使用イメージ図である。広角撮影装置9は、図8に示されているように、例えば、人が持って周りの被写体や風景を撮像するために用いられる。この場合、図7に示されている撮像素子303a及び撮像素子303bによって、それぞれ、人の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図9及び図10を用いて、広角撮影装置9で撮像された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、図9(a)は広角撮影装置9で撮像された半球画像(前側)、図9(b)は広角撮影装置9で撮像された半球画像(後側)、図9(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図10(a)は正距円筒射影画像で球を被う状態を示した概念図、図10(b)は全天球画像を示した図である。
図9(a)に示されているように、撮像素子303aによって得られた画像は、後述の魚眼レンズ302aによって湾曲した半球画像(前側)となる。また、図9(b)に示されているように、撮像素子303bによって得られた画像は、魚眼レンズ302bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、広角撮影装置9によって合成され、図9(c)に示されているように、正距円筒射影画像ECが作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図10(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図10(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions) 及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、上記の「所定領域映像」に相当)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図11及び図12を用いて説明する。所定領域映像は動画でも静止画でもよい。
図11は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見る操作者の視点の位置に相当するものである。また、図12(a)は図11の立体斜視図、図12(b)はディスプレイに表示された場合の所定領域映像を表す図である。また、図12(a)では、図11に示されている全天球画像が、三次元の立体球CSで表されている。このように生成された全天球画像CEが、立体球CSであるとすると、図12に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域映像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(図13参照)。
図12(a)に示されている所定領域映像Qは、図12(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。図12(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって 表された所定領域映像である。以下では、仮想カメラICの撮像方向(ea、aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域(X、Y、Z)によって示してもよい。
また、図12(a)の状態から、図12(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、通信端末10のディスプレイには、図12(b)に示されている画像が、図12(d)に示されている画像に変更表示される。
次に、図13を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図13は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図13に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。即ち、撮像方向(ea、aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。図13に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CPが、所定領域情報の(x、y)パラメータとなる。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図13では、一般的に以下の(式1)で示される三角関数が成り立つ。
(L/f)=tan(α/2)・・・(式1)
〔通信システムの機能〕
次に、図14及び図15を用いて通信システムの機能について説明する。図14及び図15は、通信システムを構築する各装置又はシステムの機能ブロック図である。
<通信端末10α(A,B,C)、10Mの機能構成>
通信端末10αは、例えば、移動装置20等の機器の制御のための操作指示を受け付けるが、移動装置20等の機器の制御機能を持たない通信端末10である。通信端末10αは、送受信部11、操作入力受付部12、通信制御部13、狭角撮影部14、音声入力部15a、音声出力部15b、表示制御部16、及び記憶・読出部17を有している。これらの各部は、図4に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された通信端末10α用のプログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。また、通信端末10αは、図4に示されているRAM103、及び図4に示されているフラッシュメモリ104によって実現される記憶部1000を有している。なお、通信端末10Mは、基本的に通信端末αと同様の機能を有し、同じ機能には同じ符号を付すことで、説明を省略する。
<通信端末10Xの機能構成>
通信端末10Xは、移動装置20に搭載された通信端末である。通信端末10Xは、例えば、移動装置20等の機器の制御機能を有する通信端末の一例である。通信端末10Xは、上前述した通信端末10Aの機能構成に加えて、操作権確認部18、操作指示受信部19a、全天球映像受信部19b、機器制御部19c、及び機器間通信部19d等を有する。
(通信端末10の各機能構成)
次に、通信端末10(通信端末10α及び通信端末10X)の各機能構成について詳細に説明する。送受信部11は、通信ネットワーク2を介して他の通信端末、装置又はシステムと各種データ(又は情報)の送受信を行う。送受信部11は、所望の宛先端末と通話を開始する前から、通信管理システム50より、宛先候補としての各通信端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各通信端末10の稼動状態(ONラインかOFFラインかの状態)だけでなく、ONラインの場合、更に通話可能であるか、通話中であるか等の詳細な状態を示す。
操作入力受付部12は、操作者による通信端末に対する各種入力を受け付ける。例えば、操作者が、通信端末10の電源をONさせる操作を行うと、操作入力受付部12が操作を受け付けて電源をONに制御する。
通信制御部13は、例えば、上記電源ONの受付を契機として、送受信部11から通信ネットワーク2を介して通信管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、操作者が、通信端末10の電源をOFFする操作を行うと、送受信部11が通信管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源をOFFにする。これにより、通信管理システム50側では、通信端末10が電源ONから電源OFFになったことを把握することができる。また、通信制御部13は、中継装置30を介して、他の通信端末10とコンテンツデータの送受信を行うセッションの確立や、切断等、様々な通信制御を行う。なお、本実施形態に係る通信制御部13は、通信管理システム50に送信するセッションの制御情報(例えば、後述する開始要求情報、開始応答情報等)に、通信端末10の通信ID(Identification)を含めて送信する。
通信IDは、通信端末10を用いてコンテンツデータの送受信を行うセッションに参加可能なアカウントの識別情報の一例である。通信IDは、例えば、操作者の識別情報であるユーザID、アプリの識別情報であるアプリID、通信端末10の契約者の識別情報である契約ID等であっても良い。また、通信IDとしては、文字、数字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた情報が挙げられる。メールアドレスなどでもよい。
狭角撮影部14は、一般的なデジタルカメラ、スマートフォン、タブレット端末、ノートPC等に搭載されているカメラと同様の機能を有し、視野角は最大180度である。この点で、視野角が360°の広角撮影装置9とは異なる。狭角撮影部14は、被写体等を撮像して得られた撮像データを、所定の画像(映像)データに変換して出力する。狭角撮影部14は通信端末の正面側に1つ(正面映像を撮像)、背面側に1つある(背面映像を撮像)。これ以上の数の撮影部があってもよい。
音声入力部15aは、マイク114によって操作者の音声が音声信号に変換された後、この音声信号を所定の音声データに変換して出力する。音声出力部15bは、音声データを音声信号に変換してスピーカに出力して、スピーカ115から音声を出力させる。
表示制御部16は、例えば、通信端末10が受信したコンテンツデータに含まれる画像データを表示部109、又は表示入力部110等に表示させる。また、表示制御部16は、通信管理システム50から受信した宛先リストの情報を表示部109に送信して、表示部109に宛先リストを表示させることができる。
記憶・読出部17は、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。
記憶部1000には、例えば、前述した通信IDと通信IDに対応するパスワード等の認証情報が記憶される。記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによって表示部109等に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
続いて、通信端末10Xに含まれる各機能構成について説明する。
全天球映像受信部19bは、例えば、Bluetooth(登録商標)などの無線通信又はUSBケーブルなどの有線通信で広角撮影装置9から正距円筒射影映像を受信する。正距円筒射影映像は動画と見なせる程度の頻度で繰り返し送信される動画である。ただし、静止画でもよいし、動画と静止画を切り替え可能であってもよい。
操作指示受信部19aは、送受信部11を介して、通信端末10Aから通信端末10Xに対する機器(移動装置20)の制御を要求する操作情報を受信する。この操作情報には、例えば、操作情報を送信した通信端末10の通信ID、及び要求する制御内容を示す操作指示等が含まれる。
機器制御部19cは、操作指示受信部19aで受信された操作情報に含まれる操作内容に基づいて、移動装置20を制御する。操作情報は、通信端末αからロボットRの各機能を遠隔操作するための指示内容を示す情報である。例えば、操作情報には、ロボットRの移動装置20を駆動させてロボットRを右に回転移動させる、広角撮影装置9による撮影を行わせる等の操作内容が示されている。
機器間通信部19dは、近距離無線通信部118を用いて移動装置20及び広角撮影装置9と通信を行う。
操作権確認部18は、通信端末αが送信した操作情報を通信端末10Xが受信した場合に、送信元の通信端末α(又はユーザ)に、この操作情報で示される操作対象の操作権が設定されているかを確認する。
なお、記憶部1000には、操作権管理DB1006が記憶されている。この操作権管理DB1006で管理される操作権情報は、通信管理システム50が操作権管理DB5006で管理している情報と同じ内容であり、通信管理システム50が操作権情報を更新する度に、通信端末10Xに送信する。この操作権情報に関しては、後ほど詳細に説明する。なお、通信端末10Xが操作権確認部18を有しない場合には、通信端末10Xは操作権管理DB1006を有しなくても良い。
<移動装置の機能構成>
移動装置20は、例えば、機器間通信部21、及び走行制御部22等を有する。機器間通信部21は、例えば、図6に示されているCPU401からの命令、及び外部機器I/F404、又は近距離無線通信部405等によって実現される。ここでは、機器間通信部21は、近距離無線通信部405を用いて通信端末10Xと通信を行うものとする。
走行制御部22は、通信端末10Aから取得した制御内容に応じて、例えば、図6の車輪駆動部406、及び操舵部407を制御することにより、移動装置20を前進、後退、左旋回、右旋回等の移動(走行)を制御する。
<広角撮影装置の機能構成>
広角撮影装置9は、例えば、広角画像送信部31、広角画像撮像部32、及び視点情報管理部33等を有する。広角画像撮像部32は周囲360度の広角な正距円筒射影映像を所定のフレームレートで撮像する。静止画を撮像してもよい。広角画像送信部31は、図7に示した通信部317により実現されており、動画又は静止画の正距円筒射影映像を通信端末10Xに送信する。
視点情報管理部33は、図12に示す仮想カメラICの視点に関する視点情報を管理している。視点情報は、所定領域Tを特定するための情報である。視点情報は、正距円筒射影映像と共に通信端末10Xに送信される。通信端末10Xが各通信端末αに対して正距円筒射影映像と共に視点情報を送信することで、各通信端末10αでは、図9(c)に示すような湾曲した画像ではなく、通信端末10Xからの指示(視点情報)に従って、図12(b)、(d)に示すような一般的な画像を表示させることができる。
<通信管理システムの機能構成>
通信管理システム50は、送受信部51、端末認証部52、端末管理部53、端末抽出部54、セッション管理部55、及び記憶・読出部57、操作権確認部58、及び操作権情報作成部60等を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム50用のプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム50は、図5に示されているHD504等により実現される記憶部5000を有している。まずは、通信管理システム50の記憶部5000に記憶されている各管理DBについて説明する。
(認証管理DB)
Figure 2023140161000002
通信管理システム50の記憶部5000には、表1に示されるような認証管理テーブル602で構成された認証管理DB5002が構築されている。この認証管理テーブル602では、通信管理システム50によって管理される通信端末10の通信IDと、通信IDに対応するパスワードとが関連付けられて管理されている。例えば、表1に示されている認証管理テーブル602において、通信IDが「01aa」の通信端末10のパスワードは、「aaaa」であることが示されている。
(端末管理DB)
Figure 2023140161000003
通信管理システム50の記憶部5000には、表2に示されるような端末管理テーブル603で構成された端末管理DB5003が構築されている。この端末管理テーブル603では、通信端末10の通信ID毎に、各通信端末10を宛先とした場合の宛先名、各通信端末10の稼動状態、後述のログイン要求情報が通信管理システム50で受信された受信日時、及び通信端末10のIPアドレスが関連付けられて管理される。例えば、表2に示されている端末管理テーブル603において、通信IDが「01aa」の通信端末10は、端末名が「日本 本社」で、稼動状態が「ONライン(通信可能)」であることが示されている。また、通信IDが「01aa」の通信端末10は、通信管理システム50でログイン要求情報が受信された日時が「20xx年4月10日の13時40分」で、IPアドレスが「1.2.1.3」であることが示されている。
(宛先リスト管理DB)
Figure 2023140161000004
通信管理システム50の記憶部5000には、表3に示されるよう宛先リスト管理テーブル701で構成された宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブル701では、遠隔会議における通信の開始を要求する要求元端末の通信IDに対して、宛先端末の候補として登録されている宛先端末の通信IDが全て関連付けられて管理される。例えば、表3に示されている宛先リスト管理テーブル701において、通信IDが「01aa」である要求元端末から通信の開始を要求することができる宛先端末の候補は、通信IDが「01b1」、「01b2」、及び「01b3」の通信端末である。この宛先端末の候補は、任意の要求元端末から通信管理システム50に対する追加又は削除の要請により、通信管理システム50によって追加又は削除されることで更新される。
このような構成によれば、要求元端末(例えば、01aa)は予め登録されている宛先端末の候補(例えば、01b1)としか通信を開始できない。この宛先端末(例えば、01b1)も要求元端末(例えば、01aa)を宛先端末として宛先リスト管理テーブル701に登録しておかなければ要求元端末と通信できない。このような仕組みは想定外の通信端末10同士が通信する可能性を低減できる点で好ましい。ただし、宛先リスト管理テーブル701への登録を不要にして任意に通信端末10同士が通信できてもよい。
(セッション管理DB)
Figure 2023140161000005
通信管理システム50の記憶部5000には、表4に示されるようなセッション管理テーブル702で構成されたセッション管理DB5005が構築されている。このセッション管理テーブル702には、セッションの識別情報であるセッションID毎に、中継に使用される中継装置30の中継装置ID、要求元端末の通信ID、宛先端末の通信ID、及びセッション参加日時等の情報が管理される。例えば、表4に示されているセッション管理テーブル702において、セッションID「se2」のセッションは、要求元端末の通信ID「01ad」と宛先端末の通信ID「01ca」との間で行われていることが示されている。また、セッションID「se2」のセッションは、中継装置ID「111b」の中継装置30を介して、「20xx/4/10 13:11:11」に開始されたことが示されている。
Figure 2023140161000006
通信管理システム50の記憶部5000には、表5に示されるような操作権管理テーブル703で構成された操作権管理DB5006が構築されている。この操作権管理テーブル703には、操作権の適用対象(ユーザの操作対象)ID毎に、操作権の適用対象(即ち、操作対象)の名称、操作権の被設定端末(又は被設定ユーザ)の通信ID、及び操作権の適用経過時間を示す情報が関連付けて管理されている。
操作権の適用対象は、ユーザによる操作対象でもあり、ロボットR内の各機能やロボットRを構成する各装置を示す。即ち、操作権という権利の側面では適用対象と示すことができ、ユーザによる操作の側面では操作対象と示すことができる。
操作権の適用対象IDは、操作権の適用対象を識別するための適用対象識別情報の一例である。操作権の操作対象IDは、ユーザが遠隔操作するための操作対象を識別するための操作対象識別情報の一例である。
操作権の被設定端末(被設定ユーザ)は、操作権が設定された特定の通信端末10又は特定のユーザを識別するための識別情報である。操作権の適用経過時間は、操作権が設定された時点からの経過時間を示している。
なお、操作権管理テーブルでは、狭角撮影部及び温度センサの操作権が設定されていない状況が示されている。
(通信管理システムの各機能構成)
次に、通信管理システム50の各機能構成について詳細に説明する。送受信部51は、通信ネットワーク2を介して他の通信端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
端末認証部は、送受信部51を介して受信されたログイン要求情報に含まれている通信ID及びパスワードの組み合せが、認証管理DB(Database)5002に含まれるか否かを判断することにより通信端末10の認証を行う。
端末管理部53は、端末管理DB5003に、通信ID毎の、宛先名、稼動状態、要求情報等の受信日時、及び要求元端末のIPアドレス等を関連付けて記憶して、管理する。例えば、端末管理部53は、操作者が通信端末10の電源をONからOFFにすることで、通信端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末管理DB5003の稼動状態をONラインからOFFラインに変更する。
端末抽出部54は、ログイン要求した要求元端末の通信IDをキーとして、宛先リスト管理DB5004を検索し、要求元端末と通話することができる宛先端末の通信IDを抽出する。更に、端末抽出部54は、宛先リスト管理DB5004を検索し、上記要求元端末の通信IDを宛先端末の候補として登録している他の通信端末の通信IDも抽出する。
更に、端末抽出部54は、抽出された宛先端末の候補の通信IDを検索キーとして、前述した端末管理DB5003を検索し、抽出された通信ID毎に稼動状態を読み出す。これにより、端末管理部53は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末管理部53は、要求元の通信IDを検索キーとして、前述した端末管理DB5003を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
セッション管理部55は、通信管理システム50が管理するセッションの制御を行う。セッションの制御には、例えば、セッションを確立するための制御、確立されたセッションに通信端末10を参加させる制御、セッションを切断する制御、セッションIDの生成等が含まれる。また、セッション管理部55は、セッションの識別情報であるセッションIDに対応づけて、セッションの開始を要求した通信端末10の通信ID、及び宛先端末の通信ID等を、セッション管理DB5005に記憶して、管理する。
記憶・読出部57は、図5に示されているCPU501からの命令及びHDDコントローラ505によって実現され、又はCPU501からの命令によって実現される。記憶・読出部57は、記憶部5000への各種データを記憶、及び記憶部5000からの各種データの読み出しを行う。
操作権確認部58は、通信端末αが送信した操作情報を通信端末10Xが受信した場合に、送信元の通信端末α(又はユーザ)に、この操作情報で示される操作対象の操作権が設定されているかを確認する。
操作権情報作成部60は、端末管理DB5003に管理されている宛先名と、操作権管理DB5006に管理されている操作権の適用対象(操作対象)ID、操作権の適用対象(操作対象)及び適用経過時間とに基づいて、操作権情報を作成する(S908参照)。
〔通信システムの処理の流れ〕
次に、通信システム1の処理の流れについて説明する。
<準備段階の処理>
図16は、通信システムの通信の準備段階の処理の例を示すシーケンス図である。ここでは、一例として、通信端末10Aと通信端末10Xによるセッションを開始する前の準備段階における処理について説明する。なお、以下の説明の中で、通信端末10Aの通信IDは「01aa」、通信端末10Xの通信IDは「01b」であるものとする。
まず、要求元端末である通信端末10Aの操作者であるユーザaが、例えば、通信端末10Aの電源をONにする操作を行うと、操作入力受付部12が電源ONにする操作を受け付けて、通信端末10Aの電源をONにする(ステップS21)。
そして、通信制御部13は、上記の電源ONを契機とし、送受信部11から通信ネットワーク2を介して通信管理システム50に、ログインを要求するログイン要求情報を送信する(ステップS22)。なお、ログイン要求情報が、通信端末10Aの電源をONにする操作によって送信されるのは一例であって、例えば、操作者による入力部108への操作や、アプリの起動等によって送信されるものであっても良い。
また、ログイン要求情報には、要求元としての自機である通信端末10Aを識別するための通信ID(要求元端末の通信ID)及びパスワードが含まれている。これら通信ID及びパスワードは、例えば、記憶・読出部17を介して記憶部1000から読み出された情報である。また、通信端末10Aから通信管理システム50へログイン要求情報が送信される際に、受信側である通信管理システム50は、送信側である通信端末10AのIPアドレスを把握することができる。
次に、通信管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている通信ID及びパスワードを検索キーとして、前述した認証管理テーブル602を検索する。端末認証部52は、通信端末10Aから受信したログイン要求情報に含まれる通信ID及びパスワードの組み合せが、認証管理テーブル602に含まれるか否かによって認証を行う(ステップS23)。
端末認証部52により、正当な利用権限を有する通信端末10Aからのログイン要求であると判断された場合、端末管理部53は、端末管理テーブル603に記録されている通信端末10Aの通信ID「01aa」の稼動状態を、「ONライン(通信可能)」に変更する。このとき、端末管理部53は、受信日時を更新し、また、必要に応じて、通信端末10のIPアドレスを更新する(ステップS24)。これにより、端末管理テーブル603には、通信端末10Aの通信ID「01aa」に、稼動状態「ONライン(通信可能)」、受信日時「20xx.4.10.13:40」及び通信端末10AのIPアドレス「 1.2.1.3」が関連付けて管理される。
そして、通信管理システム50の送受信部51は、上記の端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末である通信端末10Aに送信する(ステップS25)。ここでは、端末認証部52によって正当な利用権限を有する通信端末であると判断された場合について、以下で説明する。
通信管理システム50の端末抽出部54は、ログイン要求した要求元端末(通信端末10A)の通信ID「01aa」を検索キーとして、宛先リスト管理テーブル701を検索する。これにより、端末管理部53は、要求元端末(通信端末10A)と通信することができる宛先端末の候補の通信IDを抽出する(ステップS26)。ここでは、一例として、要求元端末(通信端末10A)の通信ID「01aa」に対応する宛先端末の通信IDとして、「01b1」、「01b2」、「01b3」が抽出されるものとする。
次に、端末抽出部54は、抽出された宛先端末の候補の通信ID(「01b1」、「01b2」、「01b3」)を検索キーとして、端末管理テーブル603を検索する。これにより、抽出された通信ID毎に稼動状態を読み出すことにより、通信ID(「01b1」、「01b2」、「01b3」)の各稼動状態を取得する(ステップS27)。
次に、送受信部51は、宛先端末の候補の通信ID(「01b1」、「01b2」、「01b3」)のそれぞれの稼動状態が含まれた宛先状態情報を、要求元端末(通信端末10A)に送信する(ステップS28)。これにより、要求元端末(通信端末10A)は、この要求元端末(通信端末10A)の宛先端末の候補となる通信ID(「01b1」、「01b2」、「01b3」)の現時点の稼動状態を把握することができる。通信端末10Aは図16に示される宛先選択画面を表示する。
更に、通信管理システム50の端末抽出部54は、ログイン要求してきた要求元端末(通信端末10A)の通信ID「01aa」を検索キーとして、宛先リスト管理テーブル701を検索する。これにより、端末抽出部54は、要求元端末(通信端末10A)の通信ID「01aa」を宛先端末の候補として登録している他の要求元端末の通信IDを抽出する(ステップS29)。表3に示されている宛先リスト管理テーブル701では、抽出される他の要求元端末の通信IDは、「01b1」、「01b2」及び「01b3」である。
次に、通信管理システム50の端末管理部53は、上記ログイン要求して来た要求元端末(通信端末10A)の通信ID「01aa」を検索キーとして、端末管理テーブル603を検索する。これにより、端末管理部53は、ログイン要求してきた要求元端末(通信端末10A)の稼動状態を取得する(ステップS30)。
そして、通信管理システム50の端末管理部53は、上記ステップS29で抽出された通信ID(「01b1」、「01b2」、「01b3」)のうち、端末管理テーブル603で稼動状態が「ONライン(通信可能)」となっている通信ID(「01b1」、「01b2」、「01b3」)を抽出する。
また、送受信部51は、抽出された通信ID(「01b1」、「01b2」、「01b3」)に対応する通信端末10Xに、要求元端末(通信端末10A)の通信ID「01aa」と稼動状態「ONライン(通信可能)」が含まれる宛先状態情報を送信する(ステップS31)。
一方、他の通信端末10Xでも、例えば、電源ONの操作等に応じて、上記ステップS22~S32の処理と同様の処理を行う。通信端末10Xの電源ONは例えば移動装置20の管理者などによって行われる。
<宛先選択画面>
図17は、通信端末10Aに表示される宛先選択画面の一例を示す図である。図17に示す宛先選択画面1201には、操作者に宛先の通信端末10の選択を促すメッセージ1202と、宛先の通信端末10を選択する複数のボタン1203が表示されている。通信端末10Aの操作者は、例えば、表示された複数のボタン1203の中から1つのボタン1203を選択することにより、セッションへの参加を要求する宛先端末を選択する。つまり、どの移動装置20を制御するかを選択する。図16に示すように、操作者が複数の通信端末10Xを選択できることで、操作者は異なる拠点の状況を同じ場所から把握できる。
<通信処理>
図17は、通信システム1の通信処理の例を示すシーケンス図である。ここでは、通信端末10Aと、移動装置20を制御可能な機器制御端末である通信端末10Xとの間で通信を開始する通信管理方法の例について説明する。
通信端末10Aの操作入力受付部12は通信端末10Aの操作者による、宛先端末(通信端末10X)の選択操作を受け付ける(ステップS901)。
通信端末10Aの送受信部11は通信管理システム50にセッションの開始を要求する開始要求情報を送信する(ステップS902)。この開始要求情報には、例えば、要求元端末である通信端末10Aの通信IDである要求元端末の通信ID、宛先端末である通信端末10Xの通信IDである宛先端末の通信ID等が含まれる。また、開始要求情報には、通信端末10AのIPアドレス(要求元IPアドレス)等の情報も含まれる。
通信端末10Aから開始要求情報を受信した通信管理システム50の端末管理部53は、開始要求情報に含まれる要求元端末(通信端末10A)の通信ID「01aa」に基づいて、端末管理DB5003を更新する(ステップS903)。例えば、端末管理部53は、通信端末10Aの通信ID「01aa」に対応する稼動状態の情報を「ONライン(通信中)」に変更し、受信日時の情報も更新する。
通信管理システム50のセッション管理部55は、宛先端末である通信端末10Xにセッションの開始を要求する開始要求情報を送信する(ステップS904)。この開始要求情報には、例えば、要求元端末である通信端末10Aの要求元端末の通信IDが含まれる。
通信管理システム50から開始要求情報を受信した通信端末10Xは、通信管理システム50に開始応答情報を送信する(ステップS905)。この開始応答情報には、例えば、通信端末10Xの宛先端末の通信ID等が含まれる。本実施形態では、通信端末10X側の操作は必要なく開始応答情報が送信されるものとするが、通信端末10Xを管理者が操作することを条件としてもよい。
通信端末10Xから開始応答情報を受信した通信管理システム50の端末管理部53は、開始応答情報に含まれる通信端末10Xの通信ID「01b1」に基づいて、端末管理DB5003を更新する(ステップS906)。例えば、端末管理部53は、通信端末10Xの通信ID「01b1」に対応する稼動状態の情報を「ONライン(通信中)」に変更し、受信日時の情報を更新する。
通信管理システム50のセッション管理部55は、セッションを識別するための識別情報であるセッションIDを採番する(ステップS907)また、セッション管理部55は、作成されたセッションIDを、要求元端末の通信ID(通信端末10Aの通信ID)、及び宛先端末の通信ID(通信端末10Xの通信ID)と対応づけてセッション管理DB5005に記憶する(ステップS907)。
記憶・読出部57が、ステップS907でセッション管理DB5005に記憶した通信IDを検索キーとして操作権管理DB5006を検索することにより、この通信IDを含む各操作権管理情報(各レコード)を読み出す(ステップS908)。また、記憶・読出部57が、ステップS907でセッション管理DB5005に記憶した通信IDを検索キーとして端末管理DB5003を検索することにより、対応する宛先名を読み出す(ステップS908)。そして、操作権情報作成部60は、操作権管理情報及び宛先名に基づいて、操作権情報を作成する(ステップS908)。
通信管理システム50のセッション管理部55は、中継装置30に、セッション情報を送信する(ステップS909)。このセッション情報には、例えば、ステップS907で作成されたセッションID等の情報が含まれる。中継装置30はセッションIDに基づいてセッション管理DB5005からセッション情報を取得できる。
通信管理システム50のセッション管理部55は、通信端末10Aにセッションの開始を指示する開始指示情報、及びステップS908で作成された操作権情報を送信する(ステップS910a)。同様に、通信管理システム50のセッション管理部55は、通信端末10Xにセッションの開始を指示する開始指示情報、及びステップS908で作成された操作権情報を送信する(ステップS910b)。開始指示情報にはセッションIDが含まれ、通信端末10はセッションIDに基づいてセッション管理DB5005からセッション情報を取得できる。これにより、通信端末10Aでは、表示制御部16が表示部109に対して、図19に示されるような操作権情報の画面900を表示させる。
操作権情報の画面900には、現在の操作権の設定状況が示されている。操作権の適用対象(ユーザの操作対象)毎に、操作権の被設定端末(被設定ユーザ)、及び操作権の適用経過時間が示されている。また、この画面900は、映像配信を開始するための画面を兼ねており、映像配信を開始するための「開始」ボタン910、及び映像配信の開始を中止するための「中止」ボタン920が表示されている。なお、操作権管理テーブルに従い、図19では狭角撮影部及び温度センサの操作権が設定されていない状況が示されている。また、ここでは、ユーザaが「開示」ボタン910を押下した場合について、以下、説明を続ける。
操作入力受付部12が「開示」ボタン910の押下を受け付けると、通信端末10Aの送受信部11は、中継装置30との間で映像及び音用のセッションを確立する(ステップS911a)。なお、通信端末10Aの送受信部11は、「開示」ボタン910を押下によらず、開始指示情報の受信を契機として、中継装置30との間でセッションを確立してもよい。この場合、図19の操作権情報は、映像配信が開始された直後又は映像配信中の所定の操作により表示される。同様に、通信端末10Xの送受信部11は、受信した開始指示情報に基づいて、中継装置30との間でセッションを確立する(ステップ911b)。これにより、同じセッションによる遠隔コミュニケーション(映像配信)に通信端末10Aと10B1が参加できる。通信端末10B,10Cに関しても、通信端末10Aと同様の処理により、同じセッションによる遠隔コミュニケーション(映像配信)に参加できる。
広角撮影装置9の広角画像送信部31は正距円筒射影映像を通信端末10Xに送信する(ステップS911c)。例えば、通信端末10Xがセッションを確立すると、通信端末10Xが正距円筒射影映像の撮像と送信の開始を広角撮影装置9に指示する。あるいは、広角撮影装置9の電源がONの間、常に、広角撮影装置9が正距円筒射影映像を通信端末10Xに送信してもよい。また、正距円筒射影映像はセッションの確立前から送信されてもよい。
通信端末10Aと通信端末10Xは、同じセッションIDのセッションに参加し、画像データや音声データ等のコンテンツデータを送受信することにより、例えば、遠隔会議を行うことができる(ステップS912)。
<遠隔操作の処理>
続いて、図20を用いて、映像配信中に、ユーザaが通信端末10AからロボットRに対して遠隔操作する処理について説明する。図20は、テレプレゼンスロボットを遠隔操作する処理を示すシーケンス図である。
映像及び音の送受信は中継装置30を介して行われるが、遠隔操作は通信管理システムを介した制御セッションにより行われる。なお、ユーザaには、ロボットRの所定の操作対象(ここでは、広角撮影装置9、移動装置20)に対して独占的に遠隔操作することができる操作権が設定されている。ユーザaではなく通信端末10Aに操作権を設定することも可能であるが、ここでは、これらをまとめてユーザaに操作権が設定されているものとして説明する。
通信端末10Aでは、操作入力受付部12がユーザaの遠隔操作を受け付けると、送受信部11が通信管理システム50に対して操作情報を送信する(ステップS201)。この操作情報には、ユーザaの通信ID、遠隔操作の対象を識別するための操作対象ID、及び操作内容が含まれている。操作内容は、ロボットRを直進させるために移動装置20を駆動させることや、広角撮影装置9による撮影を開始させること等が示されている。これにより、通信管理システム50の送受信部51は、操作情報を受信する。
通信管理システム50では、操作権確認部58が、ステップS201で受信された通信IDで示されるユーザaに、ステップS201で受信された操作対象IDで示される操作対象の操作権が設定されているかを確認する(ステップS202)。具体的には、操作権確認部58が、操作権管理DB5006において、ステップS201で受信された通信ID及び操作対象IDの組が管理されているか否かの確認を行う。
そして、操作権が設定されている場合には、送受信部51は、ロボットRの通信端末10Xに対して、操作情報を転送する(ステップS203)。これにより、通信端末10Xの送受信部11は操作情報を受信し、機器間通信部19dが操作内容に基づいて操作対象(広角撮影装置9、移動装置20)に対して制御の指示を送信する。
一方、操作権が設定されていない場合には、送受信部51は、送信元の通信端末10Aに対して、遠隔操作を拒否する旨の通知を送信する(ステップS205)。これにより、通信端末10Aの送受信部11は拒否する旨の通知を受信し、通信端末10Aの表示制御部16が表示部109に遠隔操作が拒否された旨を表示させる。なお、ステップS205の処理が実行されず、通信管理システム50は、拒否したまま放置してもよい。
以上により、操作権を利用した遠隔操作の説明は終了する。
<操作権の設定の処理>
続いて、図21乃至図24を用いて、遠隔会議等の映像配信中に行う操作権の設定の処理について説明する。図21は、操作権の設定の処理を示すシーケンス図である。なお、映像配信中以外で操作権の設定の処理を行うことも可能である。
映像及び音の送受信は中継装置30を介して行われるが、操作権の設定の処理は通信管理システムを介した制御セッションにより行われる。なお、ここでは、ユーザaには、ロボットRの所定の操作対象(ここでは、広角撮影装置9、移動装置20)に対して独占的に遠隔操作することができる操作権が設定されている。ユーザaではなく通信端末10Aに操作権を設定することも可能であるが、ここでは、これらをまとめてユーザaに操作権が設定されているものとして説明する。また、ユーザaが説明員mに対して、操作権の設定を要求する場合について説明する。
まず、映像配信中に、ユーザaが、後述の図26における「設定要求」ボタン250を押下すると、操作入力受付部12が押下を受け付け、表示制御部16が通信端末10Aの表示部109に、図22に示すような「操作権の設定要求」の画面400を表示させる(ステップS401)。画面400には、図19に示す操作権情報に加え、操作権の適用対象毎に設定要求する適用対象を指定するための指定欄が示されている。また、この画面400には、設定の要求を行うための「要求」ボタン410、及び設定の要求を中止するための「中止」ボタン420が表示されている。図22では、狭角撮影部及び温度センサの操作権が設定されていないため、狭角撮影部及び温度センサの操作権の設定が可能である。
ここで、ユーザaが所望の操作権の適用対象に対して指定(選択でもよい)を行うと、操作入力受付部12が指定を受け付ける(ステップS402)。図22では、チェックにより、設定されていない操作権の適用対象(狭角撮影部及び温度センサ)が指定されている。
ユーザaが「要求」ボタン410を押下すると、操作入力受付部12が押下を受け付け、通信端末10Aの送受信部11が、通信管理システム50に対して、操作権の設定要求を送信する(ステップS403)。この設定要求には、ユーザaに指定された操作権の適用対象の適用対象ID、及び設定要求元であるユーザaの通信IDが含まれている。これにより、通信管理システム50の送受信部51は、操作権の設定要求を受信する。なお、送受信部11が、操作権の設定要求を送信してから、後述のステップS421で要求の応答である結果情報を受信するまでの間、表示制御部16は表示部109に対して、操作権の設定要求中である旨を表示させる。
次に、通信管理システム50では、記憶・読出部57が、ステップS403で受信された通信IDを検索キーとして端末管理DB5003を検索することにより、対応する宛先名を読み出す(ステップS404)。即ち、記憶・読出部57は、設定要求元のユーザaの名称を読み出す。また、記憶・読出部57は、ステップS403で受信された適用対象IDを検索キーとして操作権管理DB5006を検索することにより、対応する操作権の被設定ユーザの通信IDを読み出すことで、要求先を特定する(ステップS405)。なお、被設定ユーザの通信IDが読み出せない場合には、要求先が説明員Mであると予め決められている。
そして、送受信部51は、特定された要求先の通信端末(ここでは、通信端末10M)に対して、操作権の設定要求を送信する(ステップS406)。この設定要求には、ステップS403で受信された適用対象ID、及びステップS404で読み出された宛先名である要求元名が含まれいる。これにより、通信端末10Mの送受信部11は、操作権の設定要求を受信する。
通信端末10Mでは、表示制御部16が、既にステップS910aで取得している操作権情報のうち、ステップS406で受信された適用対象IDに係る情報(レコード部分)を抽出すると共に、ステップS406で受信された要求元名を用いたメッセージを作成し、図23に示すような「操作権の設定可否」の画面450を表示部109に表示させる。図23は、操作権の設定可否の画面を示す図である。この画面450には、要求元名を含むメッセージ、操作権情報から抽出された操作権の適用対象を含む情報(レコード部分)に加え、未設定の操作権の適用対象に対して設定要求の可否を指定するための指定欄が示されている。なお、画面450には、図22の画面400と同様に、最初は設定要求された指定欄にチェックが表示されている。これにより、操作員mは、設定要求された適用対象を把握することができる。
また、この画面450には、指定欄で指定された状態で設定要求に対する可否を決定するための「決定」ボタン460、及び指定を全て取り消すための「全取消」ボタン470が表示されている。
次に、操作入力受付部12は説明員mから、操作権の適用対象毎に設定要求に対する許可又は拒絶を受け付け、「決定」ボタン460の押下を受け付ける(ステップS408)。図23では、操作権の適用対象として、説明員mによって移動装置のチェックが外されることで操作権の設定が拒絶され、説明員mによって広角撮影装置のチェックがそのままにされることで操作権の設定が許可された場合が示されている。
次に、通信端末10Mの送受信部11は、通信管理システム50に対して、操作権の設定又は非設定の要求を送信する(ステップS409)。この要求には、適用対象ID毎に、操作権の設定又は非設定を示す結果が含まれている。これにより、通信管理システム50の送受信部51は、操作権の設定又は非設定の要求を受信する。
通信管理システム50は、操作権の設定(又は放置)を行う(ステップS410)。具体的には、操作権の設定の場合には、記憶・読出部57は、操作権管理DB5006において、変更要求の適用対象IDに対応する「操作権の被設定端末(被設定ユーザ)の通信ID)」欄に、要求先の通信IDを管理する。この際、記憶・読出部57は、操作権の適用経過時間のカウントを開始する。一方、操作権の非設定の場合には、記憶・読出部57は、操作権管理DB5006に対して設定を行わない(放置する)。
次に、送受信部51は、通信端末10Aに対して、ステップS403の設定要求に対する応答として、結果情報を送信する(ステップS411)。この結果情報には、設定要求された操作権の適用対象毎に要求結果(許可又は拒絶)が含まれている。これにより、通信端末10Aの送受信部11は、結果情報を受信する。
次に、通信端末10Aでは、表示制御部16が表示部109に、図24に示すような「操作権の設定要求の結果」の画面480を表示させる。図24は、操作権の設定要求の結果の画面を示す図である。この画面480には、ユーザaが設定要求した操作権の適用対象毎に要求結果(許可又は拒絶)が示されている。図24では、狭角撮像部に係る設定要求が許可され、温度センサに係る設定要求が拒絶された旨が示されている。また、「操作権の被設定端末(被設定ユーザ)」欄には、設定後の最新のユーザが示されている。更に、「操作権の適用経過時間」欄では、許可された適用対象に対しては、カウント開始により「00:00」が示され、拒絶された適用対象に関しては、適用経過時間が示されていない。
また、画面480には、ユーザaが結果を確認後に、画面450を閉じて映像配信の画面(図26参照)に戻るための「確認」ボタン490が表示されている。ユーザaが「確認」ボタン490を押下すると、操作入力受付部12が押下を受け付け、表示制御部16が映像配信の画面(図26参照)に切り替える。
以上により、操作権の設定の処理の説明は終了する。
〔本実施形態の適用例〕
続いて、図25乃至図28を用いて本実施形態の適用例を説明する。
<美術館のオンラインツアー>
図25は、本実施形態を美術館のオンラインツアーに適用したイメージ図である。図26は、美術館のオンラインツアー中の通信端末10Aで表示される画面例である。
図25に示されているように、ロボットRは美術館内に位置し、遠隔操作によって美術館内を撮影しながら移動することができる。図25では、説明員がロボットRに同行している状態が示されている。
一方、通信端末10Aの表示部109には、通信端末10Aの表示制御部16によって、図26に示すような表示画面200が表示されている。この表示画面200には、ロボットRの通信端末10Xから送られて来た美術館内の映像を表示する表示領域210が表示されている。更に、表示領域に210には、通信端末10Aのユーザaの操作権に関する情報220が表示されている。操作権に関する情報としては、移動装置20等の操作権の適用対象、及びこの適用対象としての操作対象に操作権が適用されてからの適用経過時間が挙げられる。これにより、ユーザaは、映像配信中であっても、自分が独占して遠隔操作可能な操作対象と適用経過時間を把握することができる。
また、表示領域210には、ロボットRを遠隔操作するための複数の操作アイコン230が表示されている。ユーザaは、この操作アイコン230に対する操作(画面操作)を行うことで、美術館のロボットRを遠隔操作することができる。なお、操作権に関する情報220及び操作アイコン230の表示位置は、図26に示される位置でなくてもよく、表示領域210の外に位置してもよい。
更に、表示画面200には、図22の「操作権の設定要求」の画面400を表示するための「設定要求」ボタン250が表示されている。
また、表示画面200の右側には、自拠点の映像241、及び他拠点から送られて来た映像242,243が表示されている。例えば、映像241,242,243は、それぞれ、ユーザa、ユーザb,ユーザcの映像である。これにより、ユーザaは、自分及び他人の表情を考慮して映像配信を行うことができる。
<リモートショッピング>
図27は、本実施形態をリモートショッピングに適用したイメージ図である。図28は、リモートショッピング中の通信端末10Aで表示される画面例である。なお、図28に示す表示形態は、基本的に図26に示す表示形態と同じであり、同じ符号が付された部分は同じ内容を示すため、これらの説明を省略する。
リモートショッピングでは、図27に示されているように、ロボットRが店員に近づくことで、図28に示すように、通信端末10Aの表示部109の表示画面200には、店員と商品が映し出されるため、ユーザaは、店員との映像配信により購入する商品を決めることができる。また、他のユーザb,cからのアドバイスも受けることができる。
〔その他の適用例〕
本実施形態では、陸上を走行する移動装置20を例に説明したが、移動装置20はドローンなどのように空中を飛行してもよい。また、海上を航行してもよいし、水中を移動してもよい。また、地下、狭路、地中を移動してもよい。また、陸上を移動する場合、車輪で移動してもよいし、2足、3足、4足などの多脚移動を行ってもよいし、キャタピラー(登録商標)で移動してもよい。
また、本実施形態では、中継装置30を介して通信端末10が通信しているが、通信端末10は中継装置を介さずに通信してもよい。このような通信の通信プロトコルとして例えばWebRTC(Web Real-Time Communication)がある。
また、本実施形態では説明の都合上、通信管理システム50と中継装置30を別々の装置として説明したが、両者の機能が統合された装置が通信管理システム50と中継装置30の機能を提供してもよい。
また、通信システム1が複数の通信管理システム50を有していてもよく、通信管理シ ステム50の機能が複数のサーバに分散して設置されていてもよい。また、通信管理システム50が記憶部5000に有する各データベースの1つ以上は通信ネットワーク2上に存在していてもよい。
〔実施形態の効果〕
以上説明したように、本実施形態によれば、操作権を利用することで、複数のユーザがロボットR等の遠隔操作移動装置を遠隔操作する場合であっても、複数のユーザが入り乱れて行う操作を抑制することができるという効果を奏する。
また、映像配信が開始された後であっても、特定のユーザに遠隔操作移動装置の遠隔操作を行える機会を与えることができるという効果を奏する。
1 通信システム
9 広角撮影装置
10 通信端末
10A 通信端末(通信端末の一例/他の通信端末の一例)
10B 通信端末
10C 通信端末
10M 通信端末(他の通信端末の一例/通信端末の一例)
10X 通信端末
11 送受信部(送信部の一例、受信部の一例)
12 操作入力受付部(受付部の一例)
14 狭角撮影部
16 表示制御部
20 移動装置
30 中継装置
50 通信管理システム
51 送受信部(第1の送信部の一例、第1の受信部の一例、第2の送信部の一例、第2の受信部の一例)
57 記憶・読出部(設定部の一例、変更部の一例)
58 操作権確認部
109 表示部
R テレプレゼンスロボット(遠隔操作移動装置の一例)
特開2020-17829号公報

Claims (21)

  1. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な通信端末であって、
    映像配信中に所定の操作権の適用対象の指定を受け付ける受付部と、
    前記通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求を送信する送信部と、
    前記要求に対する結果を示す結果情報を受信する受信部と、
    を有することを特徴とする通信端末。
  2. 前記受付部は、前記遠隔操作移動装置の複数の操作対象である複数の前記所定の操作権の適用対象の指定を受け付け、
    前記送信部は、複数の前記所定の操作権を設定するための前記要求を送信する、
    ことを特徴とする請求項1に記載の通信端末。
  3. 請求項1又は2に記載の通信端末であって、
    映像配信中の表示部の画面に前記通信端末又は当該通信端末のユーザに設定されている前記操作権に関する情報を表示部に表示させる表示制御部を有し、
    前記受付部は、前記表示部に表示された操作権の適用対象のうち、前記所定の操作権の適用対象の指定を受け付けることを特徴とする通信端末。
  4. 前記表示制御部は、前記送信部が前記要求を送信後、前記受信部が前記結果情報を受信するまでの間に、前記表示部に前記要求中である旨を表示させることを特徴とする請求項3に記載の通信端末。
  5. 前記表示制御部は、他の通信端末又は当該他の通信端末を有する他のユーザに設定されている前記操作権に関する情報を前記表示部に表示させることを特徴とする請求項3に記載の通信端末。
  6. 前記操作権に関する情報には、当該操作権の適用対象としての操作対象に前記操作権が適用されてからの適用経過時間を表示することを特徴とする請求項5に記載の通信端末。
  7. 前記遠隔操作移動装置は、テレプレゼンスロボットであることを特徴とする請求項1乃至6のいずれか一項に記載の通信端末。
  8. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な通信端末が実行する処理方法であって、
    前記通信端末は、
    映像配信中に所定の操作権の適用対象の指定を受け付け、
    前記通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求を送信する、
    ことを特徴とする処理方法。
  9. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能なコンピュータに対して、
    映像配信中に所定の操作権の適用対象の指定を受け付けさせ、
    通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求を送信させる、
    ことを特徴とするプログラム。
  10. 独占的な操作権の適用対象として他の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う通信端末であって、
    映像配信中に他の通信端末から設定を要求された所定の操作権の適用対象のうち、特定の操作権の適用対象の指定を受け付ける受付部と、
    前記操作権の設定を行う通信管理システムに対して、前記他の通信端末又は当該他の通信端末を有する他のユーザに前記特定の操作権を設定するための要求を送信する送信部と、
    を有することを特徴とする通信端末。
  11. 前記受付部は、前記遠隔操作移動装置の複数の操作対象である複数の前記特定の操作権の適用対象の指定を受け付け、
    前記送信部は、複数の前記特定の操作権を設定するための前記要求を送信する、
    ことを特徴とする請求項10に記載の通信端末。
  12. 請求項10又は11に記載の通信端末であって、
    他の通信端末から設定を要求された所定の操作権の適用対象を表示部に表示させる表示制御部を有し、
    前記受付部は、前記表示部に表示された前記所定の操作権の適用対象のうち、特定の操作権の適用対象の指定を受け付けることを特徴とする通信端末。
  13. 独占的な操作権の適用対象として他の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う通信端末が実行する処理方法であって、
    前記通信端末は、
    映像配信中に他の通信端末から設定を要求された所定の操作権の適用対象のうち、特定の操作権の適用対象の指定を受け付け、
    前記操作権の設定を行う通信管理システムに対して、前記他の通信端末又は当該他の通信端末を有する他のユーザに前記特定の操作権を設定するための要求を送信する、
    をことを特徴とする処理方法。
  14. 独占的な操作権の適用対象として他の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行うコンピュータに対して、
    映像配信中に他の通信端末から設定を要求された所定の操作権の適用対象のうち、特定の操作権の適用対象の指定を受け付けさせ、
    前記操作権の設定を行う通信管理システムに対して、前記他の通信端末又は当該他の通信端末を有する他のユーザに前記特定の操作権を設定するための要求を送信させる、
    をことを特徴とするプログラム。
  15. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な第1の通信端末、及び独占的な操作権の適用対象として前記第1の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う第2の通信端末に対して通信可能な通信管理システムであって、
    前記第1の通信端末から、所定の操作権を前記第1の通信端末又は当該第1の通信端末の第1のユーザに設定するため設定要求を受信する第1の受信部と、
    前記第2の通信端末に対して、前記設定要求を送信する第1の送信部と、
    前記所定の操作権のうち、前記第2の通信端末から、前記第1の通信端末又は前記第1のユーザに特定の操作権を設定するための設定要求を受信する第2の受信部と、
    前記第1の通信端末又は前記第1のユーザに前記特定の操作権を設定する設定部と、
    前記第1の通信端末に対して、前記設定部によって設定された結果を示す結果情報を送信する第1の送信部と、
    を有することを特徴とする通信管理システム。
  16. 前記所定の操作権の適用対象は複数であることを特徴とする請求項15に記載の通信管理システム。
  17. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な第1の通信端末、及び独占的な操作権の適用対象として前記第1の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う第2の通信端末に対して通信可能な通信管理システムが実行する通信管理方法であって、
    前記通信管理システムは、
    前記第1の通信端末から、所定の操作権を前記第1の通信端末又は当該第1の通信端末の第1のユーザに設定するため第1の設定要求を受信し、
    前記第2の通信端末に対して、前記第1の設定要求を送信し、
    前記所定の操作権のうち、前記第2の通信端末から、前記第1の通信端末又は前記第1のユーザに特定の操作権を設定するための第2の設定要求を受信し、
    前記第1の通信端末又は前記第1のユーザに前記特定の操作権を設定し、
    前記第1の通信端末に対して、前記設定された結果を示す結果情報を送信する、
    ことを特徴とする通信管理方法。
  18. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な第1の通信端末、及び独占的な操作権の適用対象として前記第1の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う第2の通信端末に対して通信可能なコンピュータに、
    前記第1の通信端末から、所定の操作権を前記第1の通信端末又は当該第1の通信端末の第1のユーザに設定するための設定要求を受信させ、
    前記第2の通信端末に対して、前記設定要求を送信させ、
    前記所定の操作権のうち、前記第2の通信端末から、前記第1の通信端末又は前記第1のユーザに特定の操作権を設定するための設定要求を受信させ、
    前記第1の通信端末又は前記第1のユーザに前記特定の操作権を設定させ、
    前記第1の通信端末に対して、前記設定された結果を示す結果情報を送信させる、
    ことを特徴とするプログラム。
  19. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な第1の通信端末と、独占的な操作権の適用対象として前記第1の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う第2の通信端末と、前記第1の通信端末及び前記第2の通信端末に対して通信可能な通信管理システムと、を有する通信システムであって、
    前記第1の通信端末は、
    映像配信中に所定の操作権の適用対象の指定を受け付け、
    前記通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求である第1の設定要求を送信し、
    前記通信管理システムは、
    前記第1の通信端末から前記第1の設定要求を送信し、
    前記第2の通信端末に対して前記第1の設定要求を送信し、
    前記第2の通信端末は、
    映像配信中に他の通信端末から設定を要求された所定の操作権の適用対象のうち、特定の操作権の適用対象の指定を受け付け、
    前記通信管理システムに対して、前記他の通信端末又は当該他の通信端末を有する他のユーザに前記特定の操作権を設定するための要求である第2の設定要求を送信し、
    前記通信管理システムは、
    前記第2の通信端末から前記第2の設定要求を受信し、
    前記第1の通信端末又は前記ユーザに前記特定の操作権を設定し、
    前記第1の通信端末に対して、前記設定された結果を示す結果情報を送信する、
    ことを特徴とする通信システム。
  20. 前記所定の操作権の適用対象は複数であることを特徴とする請求項19に記載の通信システム。
  21. 独占的な操作権の適用対象として設定された遠隔操作移動装置の操作対象に対して遠隔操作可能な第1の通信端末と、独占的な操作権の適用対象として前記第1の通信端末が遠隔操作可能な遠隔操作移動装置の操作対象を設定する可否の処理を行う第2の通信端末と、前記第1の通信端末及び前記第2の通信端末に対して通信可能な通信管理システムと、を有する通信システムが実行する通信方法であって、
    前記第1の通信端末は、
    映像配信中に所定の操作権の適用対象の指定を受け付け、
    前記通信端末又は当該通信端末を有するユーザに前記所定の操作権を設定するための要求である第1の設定要求を送信し、
    前記通信管理システムは、
    前記第1の通信端末から前記第1の設定要求を送信し、
    前記第2の通信端末に対して前記第1の設定要求を送信し、
    前記第2の通信端末は、
    映像配信中に他の通信端末から設定を要求された所定の操作権の適用対象のうち、特定の操作権の適用対象の指定を受け付け、
    前記通信管理システムに対して、前記他の通信端末又は当該他の通信端末を有する他のユーザに前記特定の操作権を設定するための要求である第2の設定要求を送信し、
    前記通信管理システムは、
    前記第2の通信端末から前記第2の設定要求を受信し、
    前記第1の通信端末又は前記ユーザに前記特定の操作権を設定し、
    前記第1の通信端末に対して、前記設定された結果を示す結果情報を送信する、
    ことを特徴とする通信方法。
JP2022046052A 2022-03-22 2022-03-22 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム Pending JP2023140161A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022046052A JP2023140161A (ja) 2022-03-22 2022-03-22 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム
US18/121,591 US20230308705A1 (en) 2022-03-22 2023-03-15 Communication terminal, communication management system, remote operation method, processing method, and communication management method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022046052A JP2023140161A (ja) 2022-03-22 2022-03-22 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023140161A true JP2023140161A (ja) 2023-10-04

Family

ID=88204499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022046052A Pending JP2023140161A (ja) 2022-03-22 2022-03-22 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2023140161A (ja)

Similar Documents

Publication Publication Date Title
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
JP6805861B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US10764513B2 (en) Communication terminal, image data communication system, and communication method
US10944798B2 (en) Communication terminal, image communication system, and display control method
JP6075066B2 (ja) 画像管理システム、画像管理方法、及びプログラム
US10666898B2 (en) Communication management system, communication system, and communication method
US12075167B2 (en) Communication terminal, display method, and non-transitory computer-readable medium for displaying images and controller
JP7346830B2 (ja) 通信端末、プログラム、表示方法、記録媒体、システム
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP7115097B2 (ja) 通信端末、プログラム、表示方法、記録媒体
JP7338755B2 (ja) 通信端末、通信システム、通信方法及びプログラム
JP2023140161A (ja) 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム
JP2023140159A (ja) 通信端末、通信管理システム、通信システム、処理方法、通信管理方法、通信方法、及びプログラム
JP2023140160A (ja) 通信端末、通信管理システム、遠隔操作移動装置、通信システム、遠隔操作方法、通信管理方法、制御方法、通信方法、及びプログラム
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
US20230308705A1 (en) Communication terminal, communication management system, remote operation method, processing method, and communication management method
US20240112422A1 (en) Communication management server, communication system, and method for managing communication
US20240323240A1 (en) Communication control server, communication system, and communication control method
US20240323538A1 (en) Display terminal, communication system, display method, and recording medium
JP7567980B2 (ja) 通信端末、通信方法及びプログラム
JP7279825B2 (ja) 通信端末、通信システム、通信方法、表示制御方法及びプログラム
US20240323537A1 (en) Display terminal, communication system, display method, and recording medium
JP7279452B2 (ja) Vr端末、vrシステム、表示方法、及びプログラム
JP7331405B2 (ja) Vrシステム、通信方法、及びプログラム