JP2023184430A - 表示端末、通信システム、表示方法、通信方法、及びプログラム - Google Patents

表示端末、通信システム、表示方法、通信方法、及びプログラム Download PDF

Info

Publication number
JP2023184430A
JP2023184430A JP2023050521A JP2023050521A JP2023184430A JP 2023184430 A JP2023184430 A JP 2023184430A JP 2023050521 A JP2023050521 A JP 2023050521A JP 2023050521 A JP2023050521 A JP 2023050521A JP 2023184430 A JP2023184430 A JP 2023184430A
Authority
JP
Japan
Prior art keywords
image
display
wide
information
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023050521A
Other languages
English (en)
Inventor
拓也 高橋
Takuya Takahashi
大輔 齊藤
Daisuke Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP23179315.9A priority Critical patent/EP4294019A1/en
Priority to US18/210,665 priority patent/US20240007610A1/en
Publication of JP2023184430A publication Critical patent/JP2023184430A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Figure 2023184430000001
【課題】本開示は、録画後に広視野画像を再生表示する際に、録画の際に所定の通信端末で表示されていた広視野画像における所定領域が分かるように表示することを目的とする。
【解決手段】本開示は、通信端末に配信される際に録画された動画を再生表示する表示端末(30)であって、前記録画された動画に係る広範囲の視野角を有する広視野画像の再生表示を受け付ける受付部32と、前記受付部による受け付けによって、前記配信の際に所定の通信端末によって表示されていた前記広視野画像における所定領域を特定するための視点情報に基づいて、前記広視野画像における前記所定領域を示す表示領域651bを表示部に表示させる表示制御部33と、を有することを特徴とする表示端末である。
【選択図】図40

Description

本開示は、表示端末、通信システム、表示方法、通信方法、及びプログラムに関する。
一方の拠点から1つ以上の他の拠点にリアルタイムに画像や音声を送信し、遠隔地にいるユーザ同士で画像や音声を用いた遠隔コミュニケーションを行う通信システムがある。この画像として、通常の画角では確認しきれないような箇所も含む撮像範囲として例えば360度の全周囲が撮像された360度画像(全天球画像、全方位画像、全周囲画像ともいう)を含む広い撮像範囲で撮像された広い視野角を有する広視野の画像(以下、「広視野画像」と示す。)が知られている。ユーザは、通信端末を操作して通信端末の表示画面に表示された広視野画像における所定領域について仮想的な視点を変更することで、広視野画像における変更後の別の所定領域を閲覧することができる。
また、従来、煩雑な操作をすることなく、より好適な所定領域を広視野画像から切り出す技術が開示されている(特許文献1)。
更に、動画に係る広視野画像が所定の拠点に配信される場合、所定の拠点のユーザは、それぞれ独自に広視野画像における所望の所定領域を変更しながら閲覧することができる。また、作業現場等を撮影して得られた動画に係る広視野画像が所定の拠点に配信される際に録画されていれば、ユーザは後から、録画されている広視野画像を再生表示して閲覧することもできる。仮に、録画後に閲覧するユーザが、録画の際に所定の拠点における所定の通信端末において広視野画像のどの所定領域が表示されていたのかを把握することができれば、所定の拠点ではどの所定領域が注目されていたのかを把握することができるため、その後の考えや行動の参考にすること等が可能である。
しかしながら、録画後に閲覧するユーザが、録画後の動画に係る広視野画像を再生表示する場合、録画の際に所定の通信端末では広視野画像のどの所定領域が表示されていたのかを把握することができない。
本発明は上述の課題に鑑みてなされたもので、録画後に広視野画像を再生表示する際に、録画の際に所定の通信端末で表示されていた広視野画像における所定領域が分かるように表示することを目的とする。
請求項1に係る発明は、通信端末に配信される際に録画された動画を再生表示する表示端末であって、前記録画された動画に係る広範囲の視野角を有する広視野画像の再生表示を受け付ける受付部と、前記受付部による受け付けによって、前記配信の際に所定の通信端末によって表示されていた前記広視野画像における所定領域を特定するための視点情報に基づいて、前記広視野画像における前記所定領域を示す表示領域を表示部に表示させる表示制御部と、を有することを特徴とする表示端末である。
以上説明したように本発明によれば、録画後に広視野画像を再生表示する際に、録画の際に所定の通信端末で表示されていた広視野画像における所定領域が分かるように表示することができるという効果を奏する。
広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。 通信システムの構成概略図の一例である。 撮像装置のハードウエア構成図の一例である。 通信端末、情報処理システムのハードウエア構成図の一例である。 (a)は撮像装置の左側面図であり、(b)は撮像装置の正面図であり、(c)は撮像装置の平面図である。 撮像装置の使用イメージ図である。 (a)は撮像装置で撮像された半球画像(前)、(b)は撮像装置で撮像された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)正距円筒射影画像で球を被う状態を示した概念図、(b)全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 球座標による三次元ユークリッド空間内の点を示した図である。 通信システムの機能構成図の一例である。 (a)、(b)は、画像管理情報記憶部に記憶される画像管理情報を示す概念図である。 (a)仮想ルーム情報記憶部に記憶される仮想ルーム情報を示す概念図、(b)テナント情報記憶部に記憶されているテナント情報を示す概念図である。 視点関連情報記憶部に記憶される視点関連情報を示す概念図である。 (a)は入室画面の一例を示す図である。(b)はユーザが仮想ルームに入室したことで、通信端末が表示する画像閲覧画面の一例を示す図である。 ユーザ(又は通信端末)が仮想ルームに入室する処理を説明するシーケンス図の一例である。 通信端末が表示するデバイス登録画面の一例を示す図である。 (a)は、撮像装置登録ダイアログを示す図の一例である。(b)は、二次元コード画面の一例を示す図である。 VRゴーグル登録ボタンが押下された場合に表示されるVRゴーグル登録画面の一例を示す図である。 仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面(その1)の一例を示す図である。 仮想ルーム対応付け画面(その2)の一例を示す図である。 仮想ルーム対応付け画面(その3)の一例を示す図である。 通信端末が表示する広視野画像送信開始停止ダイアログの一例を示す図である。 ユーザが仮想ルームに撮像装置を登録する手順を示すシーケンス図の一例である。 広視野画像が共有される流れを説明するシーケンス図の一例である。 広視野画像の共有時において、通信端末からユーザが撮像装置に撮像を要求する処理を説明するシーケンス図の一例である。 通信端末が表示する画像閲覧画面の一例を示す図である。 通信端末において、撮像ボタンが押下されたことでダウンロードボタンが表示された画像閲覧画面の一例を示す図である。 (a)は、ユーザがダウンロードボタンを押下する前に表示される画像閲覧画面を示す図の一例である。(b)は、ユーザがダウンロードボタンを押下した後に表示される画像閲覧画面を示す図の一例である。 サムネイル画像が表示された画像閲覧画面を示す図の一例である。 3つの画像欄がある場合の画像閲覧画面の一例を示す図である。 広視野画像の共有時において、通信端末からユーザが撮像装置に撮像を要求する処理を説明するシーケンス図の変形例を示す図である。 ユーザがストレージに保存されている広視野画像を閲覧する処理を説明するシーケンスである。 任意のユーザが通信端末をストレージに接続させて表示した仮想ルームリスト画面の一例を示す図である。 各拠点における表示画像のサムネイルを選択するための拠点表示画像選択画面の一例を示す図である。 再生画面の変更処理を示すフローチャートである。 録画時の所定領域を示す表示領域(表示枠)651bを表した再生画面を示す図である。 仮想的な視点の変更に伴い、表示領域(表示枠)651bの位置が変更する例を示した図である。 再生経過時間の変更に伴い、変更後の再生経過時間の映像を表した再生画面を示す図である。 全画面表示をした場合の再生画面を示す図である。 拠点の入れ替えを行った場合の再生画面を示す図である。 通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。 遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面の一例を示す図である。 任意のユーザが通信端末をストレージに接続させて表示した仮想ルームリスト画面の一例を示す図である。 各拠点における表示画像のサムネイルを選択するための拠点表示画像選択画面の一例を示す図である。
以下、本発明を実施するための形態の一例として、情報処理システムと情報処理システムが行う画像送信方法について説明する。
<遠隔コミュニケーションの一例>
図1は、広視野画像を用いた遠隔コミュニケーションの一例を説明する図である。図1では、3つの拠点A~Cが情報処理システム50を介して通信している。拠点の数は一例に過ぎず、2拠点でも、4拠点以上でもよい。
拠点Aは一例として、工事現場である。拠点B,Cはどこでもよいが、例えばオフィス等、広視野画像を通信可能な場所であればよい。拠点Aには、被写体等を撮像することで、例えば全天球画像と言われる広視野画像や、上下方向又は水平方向に180~360度といった周囲の広角な広視野画像を生成可能な撮像装置10が配置されている。以下ではこのような広角な画像を単に「広視野画像」という。拠点A~Cには広視野画像を閲覧する各種の通信端末30A~30Cが配置されている。なお、以下では、通信端末30A~30Cのうち任意の通信端末を「通信端末30」と称する。
工事現場は、各場所で様々な工事が作業員により進められており、撮像装置が工事現場が映された広視野画像を生成するために工事現場の全体を撮像しつつ、各拠点A~Cのユーザが着目したい工事や作業があれば、拠点A~Cの各ユーザa~cが仮想的な視点を任意に変えて確認できる。この場合の視点とは、広視野画像全体のうちディスプレイ等の表示画面に表示される所定領域の中心位置又は範囲である。
撮像装置10は三脚86に取り付けられたり、ジンバル87を介してアーム85に取り付けられたりする。工事現場には中継装置(図1では通信端末30Aが中継装置を兼ねている)が設置されており、通信端末30Aが有線又は無線で撮像装置10から受信した広視野画像を、情報処理システム50に送信する。通信端末30Aは、広視野画像の閲覧用の端末にもなり得る。通信端末30にカメラ9が接続されており(内蔵していてもよい)、カメラ9が撮像した通常の画角の画像(広視野画像を撮像できてもよい)も情報処理システム50に送信可能である。また、ユーザa(例えば作業員でもよい)はスマートグラス88を装着でき、スマートグラス88が撮像することで生成した通常の画角の画像(広視野画像を撮像できてもよい)が情報処理システム50に送信される場合がある。スマートグラス88とは、視野を確保しながら、インターネット経由で取得した情報をディスプレイに表示する情報端末である。スマートグラス88は任意の拠点に配置されていてよい。
一方、拠点Bには通信端末30Bの一例としてPC(Personal Computer)やスマートフォン等が配置されている。また、通信端末30Bは情報処理システム50と通信できる装置であればよく、これらの他、タブレット端末、PDA(Personal Digital Assistant)、電子黒板、プロジェクタ等でもよい。通信端末30Bにカメラが内蔵又は接続されていてもよい。
また、拠点Cには通信端末30Cの一例としてPC、スマートフォン、VR(Virtual Reality)ゴーグル89等が配置され、図1では、通信端末30Cにカメラ8が内蔵又は接続されている。VRゴーグル89とは、コンピュータ上の人工的な世界や全天球画像を、首や身体を動かした方向に合わせて表示する情報端末である。VRゴーグル89は、外付けのVRスコープ(本体にプラスチック製等のレンズが付いており、組み立ててスマートフォンをセットすることで手軽にVRを楽しめるVRスコープ)のようにスマートフォンにVR用のゴーグルをセットしたものでもよい。カメラ8は広角用でも通常画角用でもよい。また、通信端末30Cは情報処理システム50と通信できる装置であればよく、タブレット端末、PDA、電子黒板、プロジェクタ等でもよい。VRゴーグル89は任意の拠点に配置されていてよい。
本実施形態では、撮像装置10及び各通信端末30は、「仮想ルーム」という通信グループで通信が管理される。撮像装置10は仮想ルームに対応付けられており、通信端末30(通信端末30を操作するユーザ)は、この仮想ルームに入室して、撮像装置10によって送信された広視野画像を受信することで、ユーザが広視野画像を閲覧できる。スマートグラス88やVRゴーグル89も仮想ルームに対応付けることが可能である。カメラ8,9は、通信端末30と同様に仮想ルームに入室する。
拠点A~Cのユーザa~cは各自の通信端末30で任意に広視野画像の視点を変更できる。このため、リアルタイムに広視野画像を閲覧する各ユーザa~cはそれぞれ異なる視点を見ている可能性が生じて、意思の疎通が困難になるおそれがある。そこで、本実施形態では、任意の拠点の通信端末30において設定されている仮想的な視点の情報を他の拠点の通信端末30でも共有できるようにする。共有の概略を説明する。以下では、説明のため、拠点Bのユーザbが指定した視点が拠点A、Cのユーザa,cと共有する場合が示されている。
(1) 通信端末30A~30Cは撮像装置10が撮像することで生成した広視野画像(第一の広視野画像の一例)を共有している。ユーザbが通信端末30Bで任意の視点で閲覧した状態で広視野画像を要求すると、通信端末30B(第一の通信端末の一例)が視点情報と撮像要求を情報処理システム50に送信する。
(2) 情報処理システム50は撮像要求に応じて、視点情報を指定して撮像装置10に撮像(静止画でも動画でもよい)を要求する。
(3) 撮像装置10は撮像要求に応じて撮像し、広視野画像(第二の広視野画像の一例)と視点情報を情報処理システム50から通知されたURL(保存場所情報の一例。図1では、ストレージ90上の保存場所を示す。)に関連付けて保存する。ストレージ90に保存された広視野画像は任意の通信端末30がダウンロードして表示可能である。
(4) 情報処理システム50はURLを通信端末30Bに送信する。
(5)また、情報処理システム50は、自動で又はユーザbの要求に応じて、URLを同じ仮想ルームに入室中の通信端末30A、30C(第二の通信端末の一例)に送信する。
(6) 通信端末30A、30CはURLにアクセスして視点情報と広視野画像を受信し、視点情報で特定される広視野画像の視点を画像欄の中央に一致させるように設定して表示する。なお、視点を完全に中央に一致させる必要はなく、視点を画像欄の中央近傍の範囲に含まれるように設定して表示させてもよい。
拠点Aのユーザaの視点を拠点B、Cのユーザに共有する場合、拠点Cのユーザの視点を拠点A、Bのユーザに共有する場合も同様である。
以上のように、本実施形態の通信システム1aは、広視野画像が配信された場合でも、各拠点で着目していた所定領域が表示されるように撮像されることで生成された広視野画像に対する視点の移動を指示しなくとも、視点情報が共有されるので、ユーザの意図疎通が容易になる。
なお、(3)で撮像装置10が広視野画像そのものを情報処理システム50に送信し、(4)で情報処理システム50が広視野画像を通信端末30A~30Cに送信することもできる。
また、図1では、工事現場に撮像装置10が配置される例を説明したが、VR教育、イベント配信、リモート接客、遠隔医療等にも本実施形態を適用可能である。VR教育では、撮像装置10が研究室等の現場の拠点に配置され、遠隔拠点から学生が任意に視点を変えて黒板、器具、サンプル、実験結果等を閲覧できる。イベント配信では、撮像装置10が現場のイベントの開催場所に配置され、遠隔拠点から観客等のイベント参加者がオンラインで任意に視点を変えて開催場所の様子を閲覧できる。なお、開催場所の様子は演者、出場者、発表者、イベントで説明される製品や展示物などの被写体の映像、イベントで説明される資料の映像、開催場所の状態の映像等を含む。なお、イベントの開催場所は屋内であっても屋外であってもよく、スポーツ、コンサート、演劇等の会場も含まれる。リモート接客では、例えば旅行代理店の接客に適用する場合には、撮像装置10が現場の旅先に配置され、遠隔拠点から顧客が任意に視点を変えて旅程を検討できる。遠隔医療では、撮像装置10が手術室等の医療現場に配置され、遠隔拠点から医師、学生、医療機器の関係者等が任意に視点を変えて医療現場で医療行為を行っている医師の動作、看護師の動作、器具の配置、患者の状態、バイタル等を閲覧できる。
画像が撮像される拠点は、これらに限られず、学校、工場、倉庫、建設現場、サーバルーム又は店舗等、閲覧側の拠点のユーザ(閲覧者)が遠隔拠点の現場の状況を把握したいニーズが存在する空間であればよい。
<用語について>
テナントとは、サービスの提供者(本実施形態では情報処理システム)から画像配信サービスを受けることを契約する際の契約単位に紐づくユーザのグループを示しており、契約した企業、組織、個人等である。そのため、テナントは、ユーザグループとも言い換えることができる。ユーザは一例としてテナントに所属しているが、ユーザ個人でサービスに加入してもよい。テナント(ユーザグループ)には、ユーザの他、撮像装置、仮想ルーム等が登録されている。
拠点とは、活動のよりどころとする場所をいう。本実施形態では、拠点の例として会議室を例にする。会議室は、主に会議に使用することを目的に設置された部屋のことである。会議は、会合、ミーティング、打ち合わせ、集会、寄り合い、集まり等ともいう。
デバイスとは、PCやスマートフォン等の汎用的な通信端末30でない装置をいい、撮像装置、又は、広視野画像の閲覧装置である。本実施形態では、撮像装置10、スマートグラス88、及び、VRゴーグル89が挙げられる。
視点情報とは、ディスプレイの表示画面に表示する広視野画像のどの所定領域をディスプレイの表示画面に表示するかを特定するパラメータ情報である。本実施形態ではディスプレイの表示画面に表示される広視野画像の中心に対応する「動径」、「極角」、「方位角」を視点情報の一例として説明するが、対角頂点の座標など他のパラメータ情報で特定されてもよい。
広視野画像とは、所定の表示方法においてディスプレイの表示画面(広視野画像が表示される領域)に一度に表示できる表示範囲より広い広範囲の視野角を有する画像を意味する。広視野画像は、最大で上下方向360度(または180度)、左右方向360度の視野分の表示範囲を持つが、上下360度未満、左右360度未満であってもディスプレイに一度に表示できる表示範囲より広い広範囲の視野角を有する画像であれば広視野画像に含まれる。また、上下方向及び左右方向についてそれぞれ、160度以上の視野分の表示範囲を有している画像も広視野画像に含まれる。例えば、人間が一度に視認できる範囲よりも広い表示範囲を有している画像も広視野画像に含まれる。なお、表示方法によってはディスプレイの表示画面に一度に表示できる画像であっても、所定の表示方法(表示モードや拡大又は縮小等)に切り替えたり、変更したりすることによって、広範囲の視野角を有するのであれば広視野画像に含まれる。なお、本実施形態では、広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像を例に説明するが、全方位画像、半球画像、3Dパノラマ画像、2Dパノラマ画像、VR画像も広視野画像に含まれる。広視野画像は、例えばキューブマッピング形式、ドームマスター形式等の画像であってもよい。また、全天球画像はエクイレクタングラー(equirectangular)形式以外の形式であってもよい。
通常の画角で撮像された画像は、広視野画像でない画像であるが、本実施形態では、広視野画像でない画像(平面画像)として説明する。
通信グループとは、広視野画像が共有される(配信される)ユーザの集まりである。通常の空間では、各ユーザが同じ部屋に入室した場合に各ユーザにより広視野画像が共有可能となるという意味で、通信グループを仮想的な部屋(仮想ルーム)という用語で説明する。ここでの仮想とはネットワークを介した情報処理で実現されるという意味である。
各拠点のユーザは遠隔地同士で遠隔コミュニケーションを行う。遠隔コミュニケーションは遠隔地の拠点で行われる会合である。会合とは相談や討議などのために人々が寄り集まることをいう。会合には接客、会議、集会、打合せ、勉強会、授業、セミナー、発表会など種々の態様がある。必ずしも双方向通信である必要はない。したがって、仮想ルームを仮想会議室と称してもよい。
<通信システムの構成例>
図2は、通信システム1aの構成概略図の一例である。図1は、図2の通信システム1aを現場との遠隔コミュニケーションに適用した一例である。通信システム1aは、複数の拠点間において、撮像装置10が撮像した広視野画像や通常画角の画像を双方向に送受信するシステムであり、ある拠点から配信される画像を、他の拠点において表示させることで、他の拠点のユーザが画像を閲覧できるシステムである。なお、広視野画像の一例として、撮像装置10が撮像する全天球画像が配信される。通信システム1aは、例えば、所定の一拠点で撮像された広視野画像を、遠隔地にある他の拠点において閲覧させることができる。
図2に示されているように、通信システム1aでは、拠点Aに配置された撮像装置10、通信端末30A、情報処理システム50、及び複数の拠点(拠点B,C)のそれぞれに配置された通信端末30B,30Cが通信可能に接続されている。
撮像装置10が直接、通信ネットワークNに接続できる通信機能を有している場合、中継装置(例えばルーター等)としての通信端末30Aは不要である。この場合、通信端末30Aは、撮像装置10を伴わずに通信ネットワークNに接続される。しかし、拠点Aに通信端末30Aが配置される場合、通信端末30Aが中継装置を兼ね、通信端末30B,30Cと同様にユーザaが広視野画像を閲覧できる。なお、拠点A以外の拠点に撮像装置10がさらに配置されていてもよいし、拠点Aに複数の撮像装置10が配置されていてもよい。
各通信端末30及び情報処理システム50は、通信ネットワークNを介して通信することができる。通信ネットワークNは、インターネット、移動体通信網、LAN(Local Area Network)等によって構築されている。なお、通信ネットワークNには、有線通信だけでなく、3G(3rd Generation)、4G(4th Generation)、5G(5th Generation)、Wi-Fi(Wireless Fidelity)(登録商標)、WiMAX(Worldwide Interoperability for Microwave Access)又はLTE(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
撮像装置10は、後述するように、広視野画像を撮像可能な撮像装置の一例として、被写体や風景等を撮像して元になる二つの半球画像を得て、一つの全天球画像を生成することが可能なデジタルカメラを例にして説明する。撮像装置10によって得られる広視野画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮像画像は、画像と共に音声を含む映像であってもよい。
通信端末30は、各拠点のユーザによって使用されるPC等のコンピュータである。通信端末30は、自拠点で撮像することで得られた画像、他の拠点から配信された広視野画像(静止画又は動画)及び通常の画角の画像を表示する。通信端末30は、例えば、通信ネットワークNを介して、撮像装置10によって撮像された広視野画像を取得する。また、通信端末30には、OpenGL ES等の画像処理を実行するソフトウェアがインストールされており、広視野画像の一部の領域を特定する視点情報に基づく画像表示ができる。なお、OpenGL ESは画像処理を実行するソフトウェアの一例であって、他のソフトウェアであってもよい。また、画像処理を実行するソフトウェアをインストールしていなくても、外部から受信したソフトウェアによって画像処理を実行してもよいし、外部のソフトウェアによって実行される画像処理結果を受信することで画像表示を行ってもよい。すなわち、通信端末30は、広視野画像の一部の所定領域を表示可能である。
通信端末30はユーザの操作に応じて広視野画像の表示範囲に対する視点を任意に変更できる。通信端末30は、タッチパネル、方向ボタン、マウス、キーボード、タッチパッドなどに対するユーザ操作入力(キー入力、ドラッグ、スクロール等を含む)に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示できる。さらに、通信端末30が例えばVRゴーグル等のユーザが装着する通信端末の場合に、装着したユーザの動きの変更に応じて変更された通信端末30の姿勢情報を検知し、検知した姿勢情報に応じて、仮想的な視点を移動させることで、移動後の視点に応じた視点情報に基づいて視野範囲(所定領域)を変更して表示してもよい。
通信端末30Aは、後述の入出力I/F116に接続されたUSB(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮像装置10から取得した広視野画像を、情報処理システム50を介して、他の拠点の通信端末30に配信する。撮像装置10及び通信端末30Aの接続は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。拠点Aに複数の通信端末30Aが配置されてもよい。
拠点Aのユーザがスマートグラス88を装着し、スマートグラス88が通信ネットワークNに接続する場合もある。この場合、スマートグラス88が撮像した画像は通信ネットワークNを介して情報処理システム50に送信され、情報処理システム50が各拠点の通信端末30に配信することができる。
通信端末30Bは、ユーザbが存在する拠点Bに配置されており、通信端末30Cは、ユーザcが存在する拠点Cに配置されている。拠点B,Cに複数の通信端末30B,30Cが配置されてもよい。なお、通信端末30Bや通信端末30Cはユーザbやユーザcがそれぞれ持ち歩くことができてもよい。
なお、拠点A~Cの通信端末30A~30Cは撮像部としての一例のカメラ8、9を内蔵していたり外付けしたりすることが可能であり、通信端末30A~30Cは、自端末のカメラ8、9等によって自拠点が撮像された画像を他拠点に配信することができる。また、拠点A~Cには任意のデバイスが配置されてよい。
図2に示す各端末及び装置(通信端末30及び撮像装置)、並びにユーザの配置は一例であり、他の例であってもよい。また、通信端末30は、PCに限られず、例えば、タブレット端末、スマートフォン、PDA、ウェアラブル端末(スマートグラスやVRゴーグルを含む)、PJ(Projector:プロジェクタ)、電子黒板(相互通信が可能な電子式の黒板機能を有する白板)又は自律走行ロボット等であってもよい。通信端末30は、Webブラウザ又は画像配信サービスに専用のアプリケーションが動作するコンピュータであればよい。
さらに、撮像装置10がディスプレイを有する場合、他の拠点から配信された画像を表示する構成であってもよい。
情報処理システム50は、一台以上の情報処理装置を有している。情報処理システム50は、各拠点間の撮像装置10、通信端末30の通信を管理及び制御したり、送受信される広視野画像を管理したりする。情報処理システム50は、広視野画像の配信を行う画像配信サービスを提供するために必要な機能を利用できるプラットフォームを提供する。このプラットフォームを、画像配信サービスを提供したい個人や企業等のサービス提供者が、契約により利用できるようにしてもよい。以下、画像配信サービスを受けるテナントと区別するため、契約したプラットフォームを利用して画像配信サービスをユーザに提供するサービス提供者をプラットフォーム契約者という。
このため、プラットフォームとして情報処理システム50がAPI(Application Programming Interface)を公開し、プラットフォーム契約者がこのAPIを使用して様々な画像配信サービスを提供できるようにしてもよい。プラットフォーム契約者は、主に通信端末30が表示する画面やAPIの呼出しなどを行うアプリケーション等のソフトウェアを開発すればよく、画像配信等のAPIによって提供される機能を一から開発する必要がない。
情報処理システム50は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、情報処理システム50の機能の全て又は一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。
ストレージ90は、広視野画像等のデータを記憶させる記憶装置である。ストレージ90は、情報処理システム50と別体となった外部ストレージ(クラウド上に配置されたストレージでもよいしオンプレミスに配置されたストレージでもよい)でもよいし、情報処理システム50に含まれるストレージでもよい。
<ハードウエア構成>
続いて、図3、図4を用いて、本実施形態に係る画像通信システムが有する各装置又は端末のハードウエア構成を説明する。なお、図3、図4に示されているハードウエア構成は、必要に応じて構成要素が追加又は削除されてもよい。
<<撮像装置のハードウエア構成>>
まず、図3を用いて、撮像装置10のハードウエア構成を説明する。図3は、撮像装置10のハードウエア構成の一例を示す図である。以下では、撮像装置10は、二つの撮像素子を使用した全天球(全方位)撮像装置とするが、撮像素子は一つであっても、二つ以上あってもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮像ユニットを取り付けることで、実質的に撮像装置10と同じ機能を有するようにしてもよい。
図3に示されているように、撮像装置10は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、入出力I/F116、近距離通信回路117、近距離通信回路117のアンテナ117a、電子コンパス118、ジャイロセンサ119,加速度センサ120、及びネットワークI/F121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102b(以下区別する必要のないときは、レンズ102と称する。)、及び各レンズに対応させて設けられている二つの撮像素子103a,103bを備えている。撮像素子103a,103bは、レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平又は垂直同期信号や画素クロック等を生成するタイミング生成回路、及びこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。なお、撮像ユニット101が広角レンズを2つ備える構成はあくまで一例であって、1つだけ備えていてもよいし、3つ以上備えていてもよい。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスを介して接続している。一方、撮像ユニット101の撮像素子103a,103bは、それぞれ撮像制御ユニット105とシリアルI/Fバス(I2Cバス等)を介して接続している。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続している。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、入出力I/F116、近距離通信回路117、電子コンパス118、ジャイロセンサ119、加速度センサ120及びネットワークI/F121等も接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、後述する正距円筒射影画像(広視野画像の一例)のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮像装置10によっては、ディスプレイ(例えば、近距離通信回路117を用いて撮像装置10と近距離通信を行うスマートフォン等の外部端末のディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮像装置10には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮像装置10の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、及び表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部115を操作することで、種々の撮像モードや撮像条件等を入力する。
入出力I/F116は、SDカード等の外付けのメディア又はパーソナルコンピュータ等とのインターフェース回路(USBI/F等)の総称である。入出力I/F116は、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、入出力I/F116を介して外付けのメディアに記録されたり、必要に応じて入出力I/F116を介して外部端末(装置)に送信されたりする。
近距離通信回路117は、撮像装置10に設けられたアンテナ117aを介して、NFC(Near Field Communication)、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行う。近距離通信回路117は、正距円筒射影画像のデータを、外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から撮像装置10の方位を算出し、方位情報を出力する。この方位情報は、Exifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮像日時及び画像データのデータ容量の各データも含む。
ジャイロセンサ119は、撮像装置10の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、三軸方向の加速度を検出するセンサである。撮像装置10は、加速度センサ120が検出した加速度に基づいて、自装置(撮像装置10)の姿勢(重力方向に対する角度)を算出する。撮像装置10は、加速度センサ120を設けることによって、画像補正の精度が向上する。
ネットワークI/F121は、ルーター等を介して、インターネット等の通信ネットワークNを利用したデータ通信を行うためのインターフェースである。また、撮像装置10のハードウエア構成はここに示すものに限られず、撮像装置10の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部は通信ネットワークN上に存在していてもよい。
<<通信端末のハードウエア構成>>
図4は、通信端末30及び情報処理システム50のハードウエア構成の一例を示す図である。まず、通信端末30について説明する。通信端末30のハードウエア構成は、300番台の符号で示されている。通信端末30は、コンピュータによって構築されており、図4に示されているように、CPU301、ROM302、RAM303、HDD(Hard Disk)304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、バスライン310、キーボード311、ポインティングデバイス312、DVD-RW(Digital Versatile Disk Rewritable)ドライブ314、メディアI/F316、音入出力I/F317、マイク318、スピーカ319、近距離通信回路320及びカメラ321を備えている。
これらのうち、CPU301は、通信端末30全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HDD304は、プログラムやデータ等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHDD304に対する各種データの読み出し又は書き込みを制御する。
ディスプレイ306は、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種情報を表示する。ディスプレイ306は、入力手段を備えたタッチパネルディスプレイであってもよい。なお、ディスプレイ306は、表示部の一例である。表示部には、通信端末30に設けられたディスプレイだけなく、通信端末30の外付けのディスプレイ、通信端末30の外付けの他の通信端末のディスプレイ、又はプロジェクタで映し出されるスクリーン(プロジェクションマッピングの被表示対象も含む)が含まれる。
外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリ又はプリンタ等である。ネットワークI/F309は、通信ネットワークNを利用してデータ通信をするためのインターフェースである。バスライン310は、図4に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。なお、HDD304やHDDコントローラ305は、それぞれプログラムやデータ等を記憶するストレージの一例であって、それぞれSSD(Solid State Drive)やSSDコントローラであってもよい。
また、キーボード311は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス312は、各種指示の選択もしくは実行、処理対象の選択、又はカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード311及びポインティングデバイス312のみならず、タッチパネル又は音声入力装置等であってもよい。DVD-RWドライブ314は、着脱可能な記録媒体の一例としてのDVD-RW313に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW313は、DVD-R又はBlu-ray(登録商標) Disc(ブルーレイディスク)等であってもよい。メディアI/F316は、フラッシュメモリ等の記録メディア315に対するデータの読み出し又は書き込み(記憶)を制御する。マイク318は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F317は、CPU301の制御にしたがってマイク318及びスピーカ319との間で音信号の入出力を処理する回路である。近距離通信回路320は、NFC、Bluetooth(登録商標)又はWi-Fi等の近距離無線通信技術によって、外部端末(装置)と通信を行うための通信回路である。カメラ321は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク318、スピーカ319及びカメラ321は、通信端末30の内蔵型ではなく、外付けの装置であってもよい。
また、通信端末30のハードウエア構成はここに示すものに限られず、通信端末30の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワークN上に存在していてもよい。
<<情報処理システムのハードウエア構成>>
図4に示すように、情報処理システム50の各ハードウエア構成は、括弧内の500番台の符号で示されている。情報処理システム50は、コンピュータによって構築されており、図4に示されているように、通信端末30と同様の構成を備えているため、各ハードウエア構成の説明を省略する。
また、情報処理システム50のハードウエア構成はここに示すものに限られず、情報処理システム50の機能的構成を実現できるものであればよい。また、上記ハードウエア構成の少なくとも一部はネットワーク上に存在していてもよい。
なお、上記各プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、Blu-ray Disc(登録商標)、SDカード、USBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。例えば、通信端末30は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。
<広視野画像、及び、視点情報について>
以下では、図5~図12を用いて広視野画像(全天球画像)の生成方法を説明する。
まず、図5を用いて、撮像装置10の外観を説明する。撮像装置10は、全天球(360°)画像の元になる撮像画像を得るためのデジタルカメラである。図5(a)は撮像装置の左側面図であり、図5(b)は撮像装置の正面図であり、図5(c)は撮像装置の平面図である。この外観図は撮像装置10のあくまで一例であって、他の外観であってもよい。
図5(a)に示されているように、撮像装置10は、人間が片手で持つことができる大きさであるが、この形状はあくまで一例であって、他の形状であってもよい。また、図5(a),図5(b),図5(c)に示されているように、撮像装置10の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮像が可能な光学部材(例えば、後述するレンズ102a,102b)と併せて用いられる。また、図5(b)に示されているように、撮像装置10の正面側とは反対側の面には、シャッターボタン等の操作部115が設けられている。なお、上記したように撮像素子は1つだけであってもよいし、3つ以上備えていてもよい。
次に、図6を用いて、撮像装置10の使用状況を説明する。図6は、撮像装置の使用イメージ図である。撮像装置10は、図6に示されているように、例えば、撮像装置10の周りの被写体を撮像するために用いられる。この場合、図5に示されている撮像素子103a及び撮像素子103bによって、それぞれ撮像装置10の周りの被写体が撮像されることで、二つの半球画像を得ることができる。
次に、図7及び図8を用いて、撮像装置10が撮像して得た画像から全天球画像が作成されるまでの処理の概略を説明する。図7(a)は撮像装置が撮像して得た半球画像(前側)、図7(b)は撮像装置が撮像して得た半球画像(後側)、図7(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図8(a)は正距円筒射影画像で球を被う状態を示した概念図、図8(b)は全天球画像を示した図である。なお、「正距円筒射影画像」は、上述の広視野画像の一例としてエクイレクタングラー(equirectangular)形式の全天球画像である。
図7(a)に示されているように、撮像素子103aによって得られた画像は、後述のレンズ102aによって湾曲した半球画像(前側)となる。また、図7(b)に示されているように、撮像素子103bによって得られた画像は、後述のレンズ102bによって湾曲した半球画像(後側)となる。そして、撮像装置10は、半球画像(前側)と180度反転された半球画像(後側)とを合成して、図7(c)に示されているような正距円筒射影画像ECが作成する。
そして、撮像装置10は、OpenGL ES(Open Graphics Library for Embedded Systems)等のソフトウェアを利用することで、図8(a)に示されているように、球面を覆うように正距円筒射影画像ECを貼り付け、図8(b)に示されているような全天球画像(全天球パノラマ画像)CEを作成する。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。OpenGL ESはあくまで画像処理を実行するソフトウェアの一例であって、他のソフトウェアによって全天球画像CEを作成してもよい。また、全天球画像CEは、静止画であっても動画であってもよい。なお、ここでは撮像装置10が全天球画像を生成する例として説明したが、同様の画像処理又は一部の画像処理の工程を情報処理システム50又は通信端末30が実行してもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮像装置10又は通信端末30において、全天球画像CEの一部の所定領域T(以下、「所定領域画像」という)を湾曲の少ない画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図9乃至図10を用いて説明する。
図9は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの仮想的な視点の位置に相当するものである。図10において、(a)は図9の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
このように生成された全天球画像CEが、立体球CSであるとした場合、図9に示されているように、仮想カメラICは、全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは、画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(図11参照)。
そして、図10(a)に示されている所定領域画像Qは、図10(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。図10(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下、仮想カメラICの撮像方向(ea,aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域を位置座標(X,Y,Z)によって示してもよい。
また、図10(a)の状態から、図10(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、ディスプレイには、図10(b)に示されている画像が、図10(d)に示されている画像に変更表示される。
次に、図11を用いて、所定領域情報と所定領域Tの画像の関係について説明する。図11は、所定領域情報と所定領域Tの画像との関係を示した図である。図11に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。すなわち、仮想カメラICの姿勢は、撮像方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CP(x,y)となるように変更される。図11に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CP(x,y)が、所定領域情報のパラメータ((x,y))となる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは、仮想カメラICから中心点CP(x,y)までの距離である。Lは、所定領域Tの任意の頂点と中心点CP(x,y)との距離である(2Lは対角線)。そして、図11では、一般的に以下の(式1)で示される三角関数が成り立つ。
Figure 2023184430000002
なお、上記で説明した撮像装置10は、広視野画像を取得可能な撮像装置の一例であり、全天球画像は、広視野画像の一例である。ここで、広視野画像は、一般には広角レンズを用いて撮像された画像であり、人間の目で感じるよりも広い範囲を撮像することができるレンズで撮像されたものである。
図12は、図11で説明した関係を球座標による三次元ユークリッド空間内の点で示した図である。ここで、図11で示した中心点CPを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径rは、全天球画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、図11で示した距離fに等しい。図12は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ,φ)を視点情報の一例として用いて説明する。なお、視点情報は、上記したように図10で示した所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される所定領域T(所定領域画像Q)が特定できるパラメータ情報であればよく、所定領域Tの対角頂点の座標も含む。また、図11で説明した仮想カメラICの画角αを示す情報及び中心点CP(x,y)を示す情報が視点情報であってもよい。また、図11で説明した仮想カメラICの画角αを示す情報及び方位角aaを示す情報が視点情報であってもよい。また、視点情報は球座標による位置座標情報だけでなく、直交座標による位置座標情報や初期設定(デフォルト)された所定領域情報から座標の差分値等も含む。また、視点情報は図11で示したように角度や距離といった座標情報以外の情報であってもよい。また、図11や図12では所定領域Tの中心点を基準にしているが、所定領域Tの頂点のいずれかを基準としたパラメータ情報により所定領域Tを特定してもよい。なお、上記では広視野画像が全天球画像である場合を例として視点情報を説明したが、他の広視野画像の場合には、その広視野画像における所定領域Tを特定する情報が視点情報となる。また、視点情報には所定領域Tの高さや幅といったパラメータ情報や、仮想カメラICのズーム等による拡大率といったパラメータ情報が含まれていてもよい。また、図7(c)に示されているような正距円筒射影画像ECの各画素の位置を球体の表面の座標(例えば緯度、経度の2軸とした座標)と対応付けた場合に、仮想カメラICの方向と画角といったパラメータ情報を視点情報としてもよいし、緯度や経度といった情報を視点情報に含めてもよい。このように、視点情報とは、必ずしも点を示す情報に限られない。
<機能について>
続いて、図13を用いて、本実施形態に係る通信システム1aの機能構成について説明する。図13は、本実施形態に係る通信システム1aの機能構成の一例を示す図である。なお、図13では、図1に示されている各端末、装置及びサーバのうち、後述の処理又は動作に関連しているものが示されている。
<<撮像装置の機能構成>>
まず、図13を参照して、撮像装置10の機能構成について説明する。撮像装置10は、通信部11、受付部12、撮像処理部13、解析部14、登録要求部15、接続部16、保存処理部17、画像送信制御部18、及び、記憶・読出部19を有している。これら各部は、図3に示されている各構成要素のいずれかが、SRAM113又はDRAM114上に展開されたプログラムに従ったCPU111からの命令によって動作することで実現される機能、又は機能する手段である。また、撮像装置10は、図3に示されているROM112等によって構築される記憶部1000を有している。
通信部11は、主に、近距離通信回路117に対するCPU101の処理によって実現され、Wi-Fiなどの無線通信手段を利用して、通信ネットワークNに接続して、他の装置との間で各種データ又は情報の送受信を行う機能である。本実施形態では、主に、接続部16により、撮像処理部13によって取得された広視野画像を情報処理システム50に送信する形態を説明するが、通信部11が広視野画像を情報処理システム50に送信することも可能である。
受付部12は、主に、操作部115に対するCPU101の処理によって実現され、撮像装置10に対するユーザからの操作入力を受け付ける機能である。受付部12は、電源のオン、オフ、シャッターボタンのオン、オフ(広視野画像の送信開始又は送信停止)、タッチパネルやボタン等に対するユーザの操作入力等を受け付ける。
撮像処理部13は、主に、画像処理ユニット104に対するCPU101の処理によって実現され、被写体や風景画像等を撮像し、撮像画像を取得(生成)する。撮像処理部13によって取得される撮像画像は、動画であっても静止画であってもよく(両方でもよく)、画像と共に音声を含んでもよい。また、撮像処理部13は、例えば、通信端末30のディスプレイ306に表示された二次元コード(図20参照)を撮像する。また、撮像処理部13が撮像画像に対して図7及び図8で説明した画像処理を実行することによって広視野画像を生成してもよい。
解析部14は、主に、CPU101の処理によって実現され、撮像処理部13によって撮像されて取得された二次元コードを解析して二次元コードに含まれる情報(撮像装置をテナントに登録するためのURL、一時的なIDとパスワード)を抽出する。
登録要求部15は、主に、CPU101の処理によって実現され、解析部14によって読み取られた二次元コードに含まれる情報を用いて、情報処理システム50のテナントに撮像装置10を登録する要求を、通信部11を介して情報処理システム50に送信する。
接続部16は、主に、入出力I/F116に対するCPU101の処理によって実現され、通信端末30Aから電源供給を受けると共に、データ通信を行う機能である。
保存処理部17は、主に、CPU101の処理によって実現され、任意の拠点からの撮像要求に応じて撮像された広視野画像を、情報処理システム50から通知されたURL(例えばストレージ90等)に保存する処理を行う。
画像送信制御部18は、主に、CPU101の処理によって実現され、情報処理システム50に対する広視野画像の送信を制御する機能である。画像送信制御部18は、例えば、撮像処理部13によって取得された撮像画像を、静止画であれば定期的又はユーザ操作に応じて、動画であれば所定のFPS(Flame Per Second)で情報処理システム50に対して送信する。画像送信制御部18は通信部11と接続部16の切り替えも行う。
記憶・読出部19は、主に、CPU101の処理によって実現され、記憶部1000に各種データを記憶させ、又は記憶部1000から各種データを読み出す機能である。また、記憶部1000は、撮像処理部13によって取得された撮像画像データ、撮像装置ID等を記憶している。なお、記憶部1000に記憶されている撮像画像データは、撮像処理部13によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、情報処理システム50へ送信されたデータが削除される構成であってもよい。
なお、撮像装置10では、通信システム1aに対応するためのアプリケーション(プラグインともいう)がインストールされている。このアプリケーションは、撮像装置10を仮想ルームに対応付ける際や、外部からの制御を受け付けたりするために使用される。図13に示した機能の一部(例えば登録要求部15)はこのアプリケーションによるものが含まれる。なお、通信システム1aに対応するためのアプリケーションを通信ネットワークN上に配置し、撮像装置10が有するWebブラウザ等によってアプリケーションにアクセスすることで同様の機能を実現させてもよい。
<<通信端末の機能構成>>
続いて、図13を用いて、通信端末30の機能構成について説明する。通信端末30は、通信部31、受付部32、表示制御部33、撮像部34、録画部35、記憶・読出部39、接続部36、及び画面生成部37を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM303上に展開されたプログラム(Webブラウザでも専用のアプリケーションでもよい)に従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、通信端末30は、図4に示されているROM302又は記録メディア315によって構築される記憶部3000を有している。
通信部31は、主に、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワークNに接続し、他の装置との間で各種データ又は情報の送受信を行う機能である。
受付部32は、主に、キーボード311及びポインティングデバイス312に対するCPU301の処理によって実現され、通信端末30への各種選択又は操作入力を受け付ける機能である。表示制御部33は、通信端末30のディスプレイ306に広視野画像や通常の画角の画像、及び、各種画面を表示させる機能である。なお、通信端末30はタッチパネルやジェスチャ又は音声入力のインターフェースを備えていてもよく、このような場合には、タッチ入力やジェスチャ又は音声入力によって各種選択又は操作入力を受け付けてもよい。
表示制御部33は、主に、CPU301の処理によって実現され、例えば、情報処理システム50から送信された二次元コードを、ディスプレイ306に表示させる。二次元コードは、例えば、QRコード(登録商標)、DataMatrix(DataCode)、MaxiCode又はPDF417等である。二次元コードは、バーコードでもよい。
撮像部34は、主に、カメラ321に対するCPU301の処理によって実現され、被写体や周囲を撮像する。
録画部35は、CPU301の処理によって実現され、情報処理システム50から配信された動画に係る広視野画像のデータを通信部31で受信された後に録画することで、記憶・読出部39を介して記憶部3000に録画データを保存する。
接続部36は、主に、近距離通信回路320に対するCPU301の処理によって実現され、撮像装置10に電源を供給すると共に、データ通信を行う機能である。
画面生成部37は、閲覧アプリケーション(「閲覧アプリ」)により、主に、CPU301の処理によって実現され、各視点情報で示された所定領域画像のサムネイル画像を生成(作成)する。なお、閲覧アプリを必ずしも事前にインストールしている必要はなく、画面生成部37と同等の機能を通信端末が予め備えていてもよいし、仮想ルームに入室する際に情報処理システムや他のサーバから画面生成部37の機能を備える閲覧アプリと同等の機能を有するプログラムを通信端末が受信することによって、通信端末が画面生成部37の機能を実行してもよい。また、通信端末の閲覧アプリはWebブラウザによって実現されていてもよい。
記憶・読出部39は、主に、CPU301の処理によって実行され、記憶部3000に各種データを記憶させ、又は記憶部3000から各種データを読み出す機能である。記憶部3000には、画像管理情報記憶部3001が形成される。画像管理情報記憶部3001については情報処理システム50の説明において説明する。
<<情報処理システムの機能構成>>
次に、情報処理システム50の機能構成について説明する。情報処理システム50は、通信部51、画面生成部52、関連付け処理部53、画像配信部54、認証部55、通信グループ管理部56、通信制御部57、コネクション管理部58、記憶・読出部59、及び、API管理部60を有している。これら各部は、図4に示されている各構成要素のいずれかが、RAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能、又は機能する手段である。また、情報処理システムは、図4に示されているROM502、HDD504又は記録メディア515によって構築される記憶部5000を有している。
通信部51は、主に、ネットワークI/F509に対するCPU501の処理通信ネットワークNを介して、他の装置との間で各種データ又は情報の送受信を行う機能である。
画面生成部52は、主に、CPU501の処理によって実現され、通信端末30が表示する画面情報の生成を行う。通信端末30がWebアプリを実行する場合は、画面情報は、HTML、XML、CSS(Cascade Style Sheet)、及びJavaScript(登録商標)等により作成される。通信端末30がネイティブアプリを実行する場合は、画面情報は通信端末30が保持しており、表示される情報がXML等で送信される。画面生成部52は画像配信部54が通信部51を介して配信する広視野画像等が配置される画面情報を生成する。
関連付け処理部53は、主に、CPU501の処理によって実現され、広視野画像の視点情報の関連付け及び共有に関する制御を行う。関連付け処理部53は、通信端末30から視点情報と撮像要求を受信した場合、撮像装置10に撮像を要求して取得した広視野画像と視点情報を関連付ける処理を行う。さらに、関連付けた広視野画像と視点情報は、記憶・読出部59によって画像管理情報記憶部5001に保存される。また、関連付け処理部53は、関連付けられた該広視野画像と視点情報が保存される保存場所を示す情報として各保存場所情報(例えばURL)を通信端末30に送信する。なお、情報処理システム50は、通信端末30から視点情報と撮像要求を同時に受信する必要はなく、別々に受信した上で関連付ける処理を行ってもよい。また、URLは保存場所を示す保存場所情報の一例であって、URI等の他の形式であってもよい。
画像配信部54は、主に、CPU501の処理によって実現され、仮想ルームに入室中のユーザが操作する通信端末30に、同じ仮想ルームに対応付けられている撮像装置10が送信した広視野画像等の画像を、通信部51を介して配信する。通信端末30が有するカメラ又は接続されたカメラ8,9が撮像した通常の画角の画像についても同様に配信される。なお、配信される画像は、ストリーミング映像、動画、静止画等を含む。
認証部55は、主に、CPU501の処理によって実現され、通信部51によって受信された認証要求に基づいて、要求元の認証を行う機能である。認証部55は、例えば、通信部51によって受信された認証要求に含まれている認証情報(ユーザID及びパスワード)が予め保持する認証情報と一致するか否かにより、ユーザを認証する。なお、認証情報は、ICカードのカード番号、顔、指紋や声紋などの生体認証情報、デバイスID、パスコード、アクセストークン、セキュリティキー、チケット等でもよい。また、認証部55は、外部の認証システムやOAuthなどの認証方法で認証してもよい。また、認証部55は、ユーザだけでなく撮像装置等のデバイスを認証してもよい。
通信グループ管理部56は、主に、CPU501の処理によって実現され、仮想ルームへの通信端末30やユーザの入室、デバイスの対応付け等を管理する。通信グループ管理部56は、認証部55による認証が成功した場合に、ユーザID及び通信端末30のIPアドレスを仮想ルーム情報記憶部5002に登録したり、仮想ルームに撮像装置10を対応付けたりする。
通信制御部57は、主に、CPU501の処理によって実現され、各仮想ルームに対応付けられた撮像装置10との通信の開始、確立、終了を管理する。また、通信制御部57は、通信端末30が仮想ルームに入室したり退室したりすることに応じて、広視野画像や音声を配信する通信の開始、確立、終了を管理する。
コネクション管理部58は、主に、CPU501の処理によって実現され、通信端末30及び撮像装置10が情報処理システム50と確立している通信(コネクション)を、仮想ルームに対応付けて管理をする。
API管理部60は、主に、CPU501の処理によって実現され、プラットフォーム契約者が広視野画像の画像配信サービスを提供する場合に使用するAPIを管理する。APIを利用する場合、プラットフォーム契約者は、別途、APIを呼び出すソフトウェアを開発すればよい。開発するソフトウェアはサーバ上で動作してもよいし、通信端末等のクライアント上で動作するものであってもよい。画像配信部54、関連付け処理部53、通信制御部57等のように情報処理システム50が備える機能であれば、APIとして提供可能である。また、後から情報処理システム50に追加した機能をAPIとして提供することも可能である。APIとして提供するか否かはプラットフォーム提供者が操作する通信端末が情報処理システム50にアクセスし、APIの公開設定を受け付けることによって、API管理部60が公開設定に基づいたAPIの制御ができる。また、API管理部60はAPIの呼び出しを要求する要求元のソフトウェアが正当なプラットフォーム契約者によって開発されたソフトウェアか否かを確認する認証処理を行ってもよい。認証処理は記憶部5000においてプラットフォーム契約者の情報として予め登録して記憶されている情報と、要求元のソフトウェアから送信された情報を対比させることで確認することができる。
認証処理の具体的な処理の一例として、プラットフォーム契約者が開発するソフトウェアに対して、API管理部60によって予め発行されたアプリIDを要求元のソフトウェアから情報処理システム50が受信し、API管理部60が、アプリIDが記憶部5000に記憶されていると判断できれば正当なソフトウェアとしてAPIを提供することを許可する制御をAPI管理部60が行う。一方で、正当なソフトウェアとして判断できなかった場合には、APIを提供することを許可しない制御をAPI管理部60が行う。
なお、アプリIDは正当性を判断するための認証情報の一例であって、予め情報処理システムのAPI管理部60もしくは外部システムが発行したアクセストークン、チケット、セキュリティキー、パスワード、PINコード等の認証情報によってAPI管理部60が要求元の正当性を確認してもよい。本実施形態では、APIとして情報処理システム50が備える機能を使用する形態は説明しないが、プラットフォーム契約者の開発したアプリケーション等のソフトウェアがAPI管理部60における判断を経由して情報処理システム50が備える機能を利用する以外の処理の流れは同じでよい。
記憶・読出部59は、主に、CPU501の処理によって実現され、記憶部5000に各種データを記憶させ、又は記憶部5000から各種データを読み出す機能である。
「画像管理情報記憶部5001」
記憶部5000には、画像管理情報記憶部5001が構築されている。図14(a)は、画像管理情報記憶部5001に記憶される画像管理情報を示す概念図である。画像管理情報記憶部5001には、図14に示されているような画像管理情報が記憶されている。画像管理情報は、撮像要求により撮像された広視野画像を管理する情報であり、ユーザが通信端末30から撮像要求を送信すると、1レコードの画像管理情報が生成される。画像管理情報が有する各項目について説明する。
・広視野画像のデータIDは、広視野画像のデータを識別するための識別情報である。データIDは、情報処理システム50が採番する。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。なお、データIDは広視野画像だけでなく、仮想ルームに対応付けられた撮像装置10によって通常の画角で撮像された画像に対しても関連付けてもよい。
・データ名称は、通信端末30のユーザが設定した広視野画像の名称である。データ名称はユーザが設定できるが、自動で設定されてもよい。
・撮像開始日時情報は、ユーザが通信端末30に撮像要求を入力した日時、撮像装置10が広視野画像等の撮像画像を撮像した日時等、広視野画像等の撮像画像の撮像開始日時を特定するための情報である。撮像開始日時情報は広視野画像等の撮像画像のタイムスタンプ情報で代用してもよい。
・撮像者情報は、通信端末30に撮像要求を入力したユーザの識別情報(ユーザIDやユーザ名を含む)である。ユーザは仮想ルームに入室した状態で、通信端末30に撮像要求を入力するので、撮像者情報に登録されるユーザは情報処理システム50又は仮想ルームへの認証により特定されている。撮像者情報は、撮像要求と共に情報処理システム50に送信される。なお、撮像要求と撮像者情報は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像装置情報は、広視野画像を撮像した撮像装置10の識別情報(撮像装置ID)である。撮像装置IDは、情報処理システム50が採番して撮像装置10と共有するが、MACアドレスやシリアル番号など撮像装置10に固有の情報が使用されてもよい。撮像装置IDは、広視野画像と共に情報処理システム50に送信される。なお、撮像装置IDと広視野画像は必ずしも同時に情報処理システム50に送信される必要はなく、異なるタイミングで情報処理システム50に送信されてもよい。
・撮像時の仮想ルームIDは、撮像装置10が対応付けられている仮想ルームの識別情報である。
・広視野画像のデータの保存場所情報(保存場所情報)は、広視野画像が保存されている場所を示す情報であって、URLやファイルパス等である。また、保存場所情報によって特定される保存場所は所定のフォルダを示す情報であってもよい。フォルダは撮像時の仮想ルームに対応付けられたフォルダであってもよい。また、撮像日時、撮像装置、撮像者、撮像時の仮想ルーム等の分類の1つ又は2つ以上の組み合わせを示す識別情報(名称等の付加情報)に対応付けられたフォルダであってもよい。また、データの保存場所情報とデータIDやデータ名称等の情報と組み合わせてデータの保存場所を特定してもよい。
・参加者IDは、撮影時の仮想ルームIDで特定される仮想ルームに参加者したユーザを識別するためのユーザ識別情報の一例である。
図14(b)は、図14(a)の変形例として、画像管理情報を示す概念図である。図14(b)では、撮像時の仮想ルームIDが同じ広視野画像が保存されている。このように、画像管理情報は仮想ルーム単位で分類されてよい。
「仮想ルーム情報記憶部5002」
記憶部5000には、仮想ルーム情報記憶部5002が構築されている。図15(a)は、仮想ルーム情報記憶部5002に記憶される仮想ルーム情報を示す概念図である。仮想ルーム情報記憶部5002には、図15(a)に示されているような仮想ルーム情報が記憶されている。仮想ルーム情報は、仮想ルームに関する情報であり、仮想ルームごとに保持される。仮想ルーム情報が有する各項目について説明する。なお、ここでは仮想ルームはテナントに登録されているが、テナントへの登録は必須ではなく、一時的に作成された仮想ルームや共有で利用できる仮想ルームの情報も仮想ルーム情報記憶部5002に記憶される。
・仮想ルームIDは、仮想ルームを識別する識別情報である。本実施形態では、仮想ルームはユーザが任意に作成できるものとする。
・仮想ルーム名称は、ユーザが仮想ルームを判別するための名称であり、ユーザが任意に設定できるものとする。なお、仮想ルームIDと仮想ルーム名称は同一の情報であってもよい。
・デバイス情報は、仮想ルームに対応付けられている撮像装置10を含むデバイスの識別情報(デバイスID)である。
・入室中のユーザは、現在、仮想ルームに入室しているユーザのユーザIDである。このユーザは仮想ルームの入室者に対して配信される広視野画像等の画像を閲覧可能なユーザである。入室方法については後述する。また、ユーザIDには該ユーザが操作する通信端末30のIPアドレスが対応付けられていてもよい。また、ユーザIDにはユーザ名が対応付けて記憶されていてもよい。
「テナント情報記憶部5003」
記憶部5000には、テナント情報記憶部5003が構築されている。図15(b)は、テナント情報記憶部5003に記憶されるテナント情報を示す概念図である。テナント情報記憶部5003には、図15(b)に示されているようなテナント情報が記憶されている。テナント情報は、テナント(ユーザグループ)に関する情報であり、テナントごとに保持される。テナント情報が有する各項目について説明する。なお、テナント情報にはユーザ情報など図示する以外に様々な情報が登録されており、図15(b)は一部に過ぎない。
・テナントIDは、テナントを識別する識別情報である。
・テナント名は、ユーザがテナントを判別するための名称である。なお、テナントIDとテナント名は同一の情報であってもよい。
・テナント登録仮想ルームIDは、テナントに登録された仮想ルームの識別情報である。
・テナント登録デバイスは、テナントに登録されたデバイスに関する情報である。
なお、テナント情報記憶部、テナントID、テナント名、テナント登録仮想ルームID、テナント登録デバイスは、それぞれ、ユーザグループ情報記憶部、ユーザグループID、ユーザグループ名、ユーザグループ登録仮想ルームID、ユーザグループ登録デバイスと言い換えることができる。
「視点関連情報記憶部5004」
記憶部5000には、視点関連情報記憶部5004が構築されている。図16は、視点関連情報記憶部5004に記憶される視点関連情報を示す概念図である。視点関連情報には、広視野画像のデータID、参加者ID、閲覧開始日時情報、及び視点情報の保存場所情報が関連付けられている。なお、広視野画像のデータID、及び参加者IDは、図14の画像管理情報における同じ名称の項目と同じ意味である。
・閲覧開始日時情報は、録画時に配信中の広視野画像のうち、各拠点で閲覧されているデフォルトの(初期設定されている)所定領域画像から変更されることで新たな所定領域画像の閲覧が開始された日時を示す。なお、閲覧開始日時ではなく、1つの動画における再生経過時間を示す情報であってもよい。
・視点情報の保存時間情報は、同じレコードの閲覧開始日時情報で示される日時に閲覧された所定領域を特定するための視点情報が保存されている場所を示す情報であって、URLやファイルパス等である。
図16に示す視点関連情報により、所定の広視野画像に関して、どの拠点における通信端末30(ユーザ)が、いつから所望の所定領域画像に変更して表示(閲覧)したかを示す記録を残すことができる。
<通信端末の仮想ルームへの入室>
続いて、図17、図18を参照し、ユーザbが仮想ルームに入室する処理について説明する。なお、すでに撮像装置10が仮想ルームに対応付けられ、通信端末30Aが広視野画像と通常の画角の画像を情報処理システム50に送信しているものとする(撮像装置10の仮想ルームへの対応付け等については図19以降で説明する)。また、以下では、ユーザbが仮想ルームに入室することと、ユーザbが操作する通信端末30Bが仮想ルームに入室することを特に区別しないで説明する。
図17は、ユーザbが仮想ルームに入室する際に通信端末30Bが表示する画面例を示す。図17(a)は、入室画面200の一例である。補足すると、入室画面200の表示に先立って、ユーザbは情報処理システム50にログインしている。ログインすることでユーザbが所属するテナントが特定される。仮想ルームはテナントと関連付けられている。ユーザbはテナントに関連付けられている仮想ルームの一覧を通信端末30Bで表示し(図22参照)、一覧から入室する仮想ルームを選択する。図17(a)はこのようにユーザbが選択した仮想ルームに対する入室画面200である。なお、テナントに関連付けられていない一時的に作成した仮想ルームや共有の仮想ルームが図17(a)の画面に表示されてもよい。
あるいは、仮想ルームの作成者が仮想ルームに対応するURLの発行を情報処理システム50に要求し、このURLをメール等でユーザbに送信してもよい。ユーザbが通信端末30Bに表示されたURLを押下すると、通信端末30Bが図17(a)の入室画面200を表示する。
入室画面200は、仮想ルーム名称201、参加者名入力欄202、及び入室ボタン203を有している。仮想ルーム名称201は仮想ルーム情報記憶部5002に記憶されているものと同じである。参加者名入力欄202は、仮想ルーム内で表示されるユーザ名を入力する欄であって、ニックネームなどユーザbの呼称でもよい。ユーザbがログインすることでユーザbのユーザIDに紐づくユーザ名を特定し、この特定したユーザ名が自動で表示されてもよい。入室ボタン203は、ユーザbが仮想ルームへの入室を要求するボタンである。
なお、入室時に仮想ルームの入室のための認証が、テナントへのログインとは別に要求されてもよい。
図17(b)は、ユーザbが仮想ルームに入室したことで、通信端末30Bが表示する画像閲覧画面210である。図17(b)の画像閲覧画面210は、撮像装置10が情報処理システム50を介して広視野画像の配信をすでに開始しており、通信端末30Aが通常の画角の画像の配信をすでに開始している。このため、画像閲覧画面210は、第一の画像欄211と第二の画像欄212を有している。第一の画像欄211には広視野画像が表示され、第二の画像欄212には通常の画角の画像が表示されている。画像を送信する拠点が3つ以上になれば、送信元の拠点の数に応じて画像閲覧画面210が分割される。
第一の画像欄211には、広視野画像マーク213が表示されている。広視野画像マーク213は、情報処理システム50の画面生成部52が、第一の画像欄211に表示する画像が広視野画像であると判断して設定する。通信端末30Bが判断して表示してもよい。ユーザbは広視野画像マーク213を見ることで、視点を変更できる広視野画像が配信されていることが分かる。また、第一の画像欄211にはデバイスの名称214(広視野画像と共に撮像装置10から送信される)が表示される。デバイスの名称214は後述するようにユーザa等によって設定された情報である(図20参照)。
第二の画像欄212には、参加者名215が表示される。参加者名215はユーザ名であって、参加者名入力欄202に、すでに入室済みのユーザ(ここではユーザaが入室済みなので、ユーザaが参加者名入力欄202に入力した「AAA」)の参加者名が表示される。
図18は、ユーザb(又は通信端末30B)が仮想ルームに入室する処理を説明するシーケンス図である。
S1:まず、拠点Bのユーザbが仮想ルームの一覧画面の表示を行う操作を行う。なお、通信端末30Bは、ユーザbによる操作に応じて事前に情報処理システム50へアクセスし、仮想ルームの一覧画面を表示させるための仮想ルーム情報記憶部5002に記憶されている仮想ルームの情報を情報処理システム50から受信している。この際に、通信端末30Bはログイン等に必要な認証情報を情報処理システム50へ送信することによって、情報処理システム50の認証部55によって認証されてもよい。認証情報はユーザbに紐づく認証情報であっても、通信端末30Bに紐づく認証情報であってもよい。このような場合に、一覧画面に表示される仮想ルームはユーザbに紐づくテナントに登録されている仮想ルームや通信端末30Bに紐づくテナントに登録されている仮想ルームであってもよい。受付部32が一覧画面を表示する操作を受け付けることで、通信端末30Bの表示制御部33は、ディスプレイ306に選択画面を表示させる。
S2:ユーザbがある仮想ルームの選択ボタンを選択した場合、通信端末30Bの受付部32は、仮想ルームの選択を受け付ける。通信端末30Bの表示制御部33は、ディスプレイ306に図17(a)で示した入室画面200を表示させる。
S3:ユーザbが必要事項を入力し、入室ボタン203を押下する。受付部32が押下を受け付けることで、通信端末30Bの通信部31は、情報処理システム50に対して、仮想ルームへの入室要求を送信する。この入室要求は、ステップS2で選択された仮想ルームを示す仮想ルームID、ログイン等によって認証されたユーザbのユーザID、及び要求元端末である通信端末30BのIPアドレス等の情報を含む。これにより、情報処理システム50の通信部51は、入室要求を受信する。
S4:通信グループ管理部56は、仮想ルーム情報記憶部5002の仮想ルームIDで特定される仮想ルーム情報に、ログイン等によって認証されたユーザIDとIPアドレスを登録する。
S5:そして、情報処理システム50の通信部51は、通信端末30Bに対して、入室済みを示す応答を送信する。これにより、通信端末30Bの通信部31は、入室済みを示す応答を受信する。通信端末30Bの表示制御部33はステップS5に続けて、情報処理システム50の画面生成部52が生成した画面の情報と画像配信部54が配信した画像の情報を受信し、受信した情報に基づいて、図17(b)に示した画像閲覧画面210を表示させる。
<撮像装置のルームへの対応付け>
続いて、図19~図26を参照して、撮像装置10の仮想ルームへの対応付けについて説明する。なお、撮像装置10の仮想ルームへの対応付けは拠点Aのユーザaが行うとして説明するが、システム管理者やテナント管理者等が行ってもよい。
図19は、通信端末30Aが表示するデバイス登録画面220の一例である。ユーザaは情報処理システム50にログイン等によって認証されている状態である。ログインすることでユーザaが所属するテナントが特定される。ユーザaはデバイス登録画面220の表示を情報処理システム50に要求し、通信端末30Aは情報処理システム50から受信したデバイス登録画面220を表示する。デバイス登録画面220によりまず、デバイスがテナントに登録される。
デバイス登録画面220は、撮像装置登録ボタン221、VRゴーグル登録ボタン222、スマートグラス登録ボタン223を有している。デバイスの種類ごとにボタンが用意されるのは、カメラの有無、登録に使用される情報等に違いがあるためである。また、デバイスの種類ごとにデバイスが登録されるので、情報処理システム50ではデバイスの種類も把握できる。
撮像装置登録ボタン221は、ユーザaが撮像装置10を登録するためのボタンであり、VRゴーグル登録ボタン222はVRゴーグル89を登録するためのボタンであり、スマートグラス登録ボタン223はスマートグラス88を登録するためのボタンである。
図20は、撮像装置登録ボタン221が押下された場合に表示される画面の一例である。図20(a)は、撮像装置登録ダイアログ230を示す。撮像装置登録ダイアログ230は、撮像装置10の名称欄231と、説明欄232と、次へボタン233を有している。ユーザaは登録する撮像装置10であることが分かるように撮像装置10の名称欄231に任意の名称を設定し、説明欄232に説明を設定する。
ユーザaが次へボタン233を押下すると、通信端末30Aが二次元コードを情報処理システム50に要求し、通信端末30Aが二次元コードを表示する。
図20(b)は、通信端末30Aが表示した二次元コード画面240の一例である。二次元コード画面240は、「××(名称欄に入力した名称)というデバイスを登録するため、以下の二次元コードをスキャンして下さい」という旨のメッセージ241、及び、二次元コード242を有している。ユーザaは二次元コード242を登録したい撮像装置10で撮像する。二次元コード242には、撮像装置10が自身の登録のために接続するURL、一時的なIDとパスワードといった登録に必要な認証情報が含まれている。
ユーザaが撮像装置10で二次元コード242を撮像すると、撮像装置10がURLに接続し、一時的なIDとパスワードで認証を受ける。認証が成功すると、正式な撮像装置IDが交換され、撮像装置10の名称、説明、及び、撮像装置IDがテナントに登録される。撮像装置10もこの撮像装置ID、名称、及び説明を保持する。テナントに登録された撮像装置10は、後述するユーザaの操作に応じて仮想ルームに対応付けられる。なお、二次元コード242はコード情報の一例であって、同様の認証情報が埋め込まれていればよく、バーコード等の他の形態のコードであってもよい。
続いて、図21を参照して、VRゴーグル89やスマートグラス88等の通信端末のテナントへの登録方法の一例を説明する。図21は、VRゴーグル登録ボタン222が押下された場合に表示されるVRゴーグル登録画面250の一例である。VRゴーグル登録画面250は、一時コード入力欄251と、シークレット入力欄252を有している。
VRゴーグル89がカメラを有さない場合には二次元コードを撮像できない。このため、ユーザaはVRゴーグル89に一時コード(一時的なID)と、シークレット(パスワード)を出力させ(表示させ)、一時コード入力欄251と、シークレット入力欄252に入力してもよい。通信端末30Aは一時コードとシークレットを情報処理システム50に送信することで、VRゴーグル89をテナントに登録する。VRゴーグル89が情報処理システム50に接続し、一時コードとシークレットを送信することで、認証を受ける。認証が成功すると、正式なVRゴーグルIDが交換され、VRゴーグルIDがテナントに登録される。VRゴーグル89もこのVRゴーグルIDを保持する。テナントに登録されたVRゴーグル89は、後述するユーザaの操作に応じて仮想ルームに対応付けられる。スマートグラス88については詳細を説明するが、ユーザaは撮像装置10又はVRゴーグル89と同様に登録できる。なお、一時コードとシークレットは認証情報の一例であって、他の情報を認証情報に用いてもよい。なお、撮像装置ID、VRゴーグルID、スマートグラスIDはそれぞれデバイスIDの一例であるため、デバイスIDと言い換えることができる。そのため、撮像装置10、VRゴーグル、スマートグラス以外のデバイスを登録する際にも同様の手順によってデバイスIDを仮想ルームやテナントとの関連付けに利用することができる。なお、デバイスIDは、デバイスの所有者に紐づく識別情報であってもよい。
図22は、仮想ルームに撮像装置10を対応付けるための仮想ルーム対応付け画面(その1)260の一例を示す。VRゴーグル89、スマートグラス88の場合も画面構成は同じでよい。仮想ルーム対応付け画面(その1)260は、仮想ルームのリスト261を有している。仮想ルームのリスト261は、テナントに作成されている仮想ルームに基づいて仮想ルーム個別欄262~264を表示する。各仮想ルーム個別欄262~264は、リンク発行ボタン265と、入室ボタン266と、設定ボタン267と、仮想ルーム名称268と、を有する。リンク発行ボタン265は、仮想ルームへのリンク(招待するためのURL)とパスコードを発行するためのボタンである。入室ボタン266は仮想ルームにユーザaが入室するためのボタンである。設定ボタン267は、仮想ルームに撮像装置10を対応付けるためのボタンである。仮想ルーム名称268は仮想ルーム情報記憶部5002に記憶されているものと同じである。したがって、ユーザaは設定ボタン267を押下する。設定ボタン267の押下により、通信端末30Aは仮想ルーム対応付け画面(その2)270を表示する。
また、仮想ルームにすでにデバイスが対応付けられている場合、仮想ルーム個別欄(図では仮想ルーム個別欄264)にデバイスの名称269が表示される。
図23は、仮想ルーム対応付け画面(その2)270の一例を示す。なお、仮想ルーム対応付け画面(その2)270は仮想ルーム対応付け画面(その1)260にポップアップ表示されている。仮想ルーム対応付け画面(その1)260から仮想ルーム対応付け画面(その2)270への画面遷移は、情報処理システム50を経由しないが、経由する画面遷移も可能である。
仮想ルーム対応付け画面(その2)270は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称271(まだ登録されていないので図では未登録)と、接続ボタン272と、ストレージボタン273と、を有する。接続ボタン272は、仮想ルームにデバイスを対応付けるためにテナントに登録されているデバイスの一覧を対応付ける候補として表示させるボタンである。ストレージボタン273は当該仮想ルームに対応付けられている撮像装置10によって撮像された広視野画像や通常の画角の画像を保存するストレージ90の一覧を表示させるボタンである。ストレージ90の一覧には、仮想ルームに対応付けるストレージ90の一覧だけでなく、ストレージ90上のフォルダ等の特定の保存場所の一覧が含まれていてもよい。ユーザが所定のストレージ90やストレージ90上のフォルダ等の特定の保存場所を選択することで、仮想ルームに対してストレージ90を対応付けることができる。このようにして対応付けたストレージ90の情報(ストレージ90にアクセスするためのアドレス情報やストレージ90上のフォルダ等の保存場所)は、仮想ルーム情報記憶部5002において仮想ルームIDと関連付けて記憶させることができる。接続ボタン272の押下により、通信端末30Aは仮想ルーム対応付け画面(その3)を表示する。
通信端末30Aは情報処理システム50に仮想ルームIDを送信し、該仮想ルームが生成されているテナントに登録されているデバイスの名称(デバイスのID等も含む)、及び、仮想ルームに対応付けられているデバイスの名称(デバイスのID等も含む)を取得する。
図24は、仮想ルーム対応付け画面(その3)280の一例を示す。仮想ルーム対応付け画面(その3)280は、現在(すでに)、仮想ルームに対応付けられている撮像装置10の名称281と、追加可能デバイス一覧282と、保存ボタン283と、を有している。ユーザaは追加可能デバイス一覧282から仮想ルームに追加で対応付けたいデバイスを選択し、保存ボタン283を押下する。これにより、仮想ルームにデバイスが対応付けられる(仮想ルーム情報記憶部5002に撮像装置ID等のデバイスIDが登録される)。なお、図24に示しているように、仮想ルームに対応付けられる撮像装置の数を制限してもよく、例えば上限が2台の場合に、仮想ルーム情報記憶部5002に既に登録されている撮像装置IDの数を参照することによって、追加で登録できるデバイスの残りの数を仮想ルーム対応付け画面(その3)に表示させてもよい。
<撮像装置に対する広視野画像の送信開始処理>
以上で、撮像装置10等のデバイスが仮想ルームに対応付けられたが、ユーザaがデバイスに対し画像の送信開始を操作する必要がある。
VRゴーグル89とスマートグラス88については、ユーザaがデバイス本体を操作して画像の送信をオン、オフする。これは、現在、VRゴーグル89とスマートグラス88については、通信システム1aに専用のアプリケーションが動作していないためである。VRゴーグル89とスマートグラス88においても通信システム1aに専用のアプリケーションが動作する場合、ユーザaが遠隔から画像の送信をオン、オフできる。
撮像装置10の場合、アプリケーションが有効になっていれば、ユーザaが仮想ルームに入室してメニューから広視野画像の送信をオン、オフできる。
図25は、通信端末30Aが表示する広視野画像送信制御ダイアログ290の一例である。広視野画像送信制御ダイアログ290は画像閲覧画面210にポップアップ表示されている。ユーザaが通信端末30Aを操作して、撮像装置10を対応付けた仮想ルームに入室したものとする。広視野画像送信制御ダイアログ290は、この仮想ルームに対応付けられている撮像装置10の名称292を表示する。名称292の近くにトグルボタン291が表示されており、ユーザaがトグルボタン291を操作して、撮像装置10による広視野画像の送信をオン(送信開始)又はオフ(送信停止)に設定できる。なお、トグルボタンによるオン又はオフの設定方法は一例であって、ユーザ操作の入力に応じて設定できればよい。例えば、ラジオボタンや所定のアイコンの選択、メニュー操作等によって設定してもよい。また、ユーザ操作を不要として、撮像装置10が入室してから自動で広視野画像の送信を開始してもよい。また、日時や入室したユーザの人数や特定のユーザが参加したことなどの所定の条件を予め定めておき、その条件を満たしたことを判断した場合に、広視野画像の送信を開始してもよい。
通信端末30Aはトグルボタン291の操作による送信制御の設定情報を情報処理システム50に送信する。情報処理システム50は送信制御の設定情報に応じた送信開始要求又は送信停止要求を撮像装置10に送信する。
図25(a)はトグルボタン291がオフの設定の状態を示す。このため、図25(a)では広視野画像が表示されていない。一方、図25(a)では、通信端末30Aが入室した時点で、通信端末30Aのカメラ9が撮像した通常の画角の画像がすでに共有されており、画像閲覧画面210に表示されている。
図25(b)はトグルボタン291がオンの設定の状態を示す。トグルボタン291のオンにより、情報処理システム50が送信開始要求を撮像装置10に送信したため、撮像装置10が広視野画像の送信を開始した。このため、1つの仮想ルームで2つの画像が共有されるので、画像閲覧画面210が2つに分割される。また、オンの設定からオフの設定に変更した場合には、オフの設定情報を通信端末30Aが送信し、情報処理システム50がオフの設定情報の受信に応じて送信停止要求を撮像装置10に送信し、撮像装置10が広視野画像の送信を停止する。
図26で説明したように、ユーザが仮に現場にいる状況であっても、撮像装置10によってコード情報を撮像するといった簡易な操作によって、仮想ルームに撮像装置10を関連付けることができる。現場にいるユーザはPC等を持たないこともあるため、予め発行しておいたコード情報と撮像装置10さえあれば、その場で関連付け処理を行うことができることは現場のユーザにとって特に有用である。また、関連付け処理を予め実施しておけば、ユーザは仮想ルームの選択等しなくとも撮像装置10を所定の仮想ルームに接続させることができ、送信の開始又は停止についても遠隔拠点から指示できるため、現場の作業に集中したいユーザの負担を軽減することができる。したがって、事前準備の工程においても現場と遠隔拠点でのコミュニケーションを効率的に行えるシステムを提供することができる。
<<仮想ルームへの撮像装置の登録手順>>
次に、図26を参照して、図19~図25の一連の画面遷移で説明した仮想ルームへの撮像装置10の登録手順を説明する。図26は、ユーザaが仮想ルームに撮像装置10を登録する手順を示すシーケンス図の一例である。
S11:まず、ユーザaが通信端末30Aを情報処理システム50に接続させ、認証情報(ユーザID,パスワード等)を入力して、ログインを要求する。通信端末30Aの受付部32が操作を受け付ける。
S12:通信端末30Aの通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が指定された認証情報に基づいて認証を行う。ここでは認証が成功したものとする。また、この際に情報処理システム50はテナント情報記憶部5003を参照することで、認証されたユーザIDに関連付けられたテナントIDを特定することができる。
S13:ユーザ操作に応じて、情報処理システム50の画面生成部52はデバイス登録画面220を生成し、通信部51がデバイス登録画面220の画面情報を通信端末30Aに送信する。
S14:通信端末30Aの通信部31がデバイス登録画面220の画面情報を受信し、表示制御部33が図19に示したデバイス登録画面220を表示する。ユーザaはデバイスの種類を選択し(ここでは撮像装置10(例えば全天球カメラ)が選択されたものとする)、次いで、図20で示したように撮像装置10の名称、説明を入力する。受付部32が入力を受け付ける。
S15:通信端末30Aの通信部31は、ユーザaが入力した名称と説明を指定して、コード情報(例えば二次元コード)の要求を情報処理システム50に送信する。
S16:情報処理システム50の通信部51は、コード情報(例えば二次元コード)の要求を受信する。通信グループ管理部56は、名称と説明と関連付けてURL(登録のための接続先)を生成し、URL、一時的なID及びパスワードを含むコード情報(例えば二次元コード)を生成する。情報処理システム50の通信部51はコード情報(例えば二次元コード)を通信端末30Aに送信する。通信端末30Aの通信部31がコード情報(例えば二次元コード)を受信し、図20で示したように表示制御部33がコード情報(例えば二次元コード)を表示する。
S17:次に、ユーザaは仮想ルームに対応付けたい撮像装置10を操作して、コード情報(例えば二次元コード)を撮像する。撮像装置10の受付部12が操作を受け付ける。
S18:撮像装置10の撮像処理部13はコード情報(例えば二次元コード)を含む撮像対象に対して撮像処理を行うことで画像データを生成し、解析部14が画像データを解析してURL、一時的なID及びパスワードを抽出する。これにより、登録要求部15が接続部16を経由してURLに接続し、一時的なID及びパスワードを指定して撮像装置10の登録要求を情報処理システム50に送信する。なお、図21で説明した登録画面による登録方法を実施する場合は、コード情報を撮像しないため、撮像装置10がVRゴーグル89やスマートグラス88等の通信端末に置き換わり、ステップS15~S17のステップは省略することができる。
S19:情報処理システム50の通信部51は、一時的なID及びパスワードを受信し、認証部55が接続されたURLに関連付けられている一時的なID及びパスワードと一致するかどうかを判断する。ここでは一致したものとする。
S20:情報処理システム50の通信グループ管理部56は、撮像装置10の登録が要求されているので、デバイスIDの一例として撮像装置IDを生成し、ユーザaがログインした際に特定したテナントIDに対応するテナントに撮像装置IDを登録する。なお、撮像装置IDには名称や説明が関連付けられている。具体的には、通信グループ管理部56が、テナント情報記憶部5003を参照し、特定したテナントIDに関連付けられるテナント登録デバイスに撮像装置IDを追加して登録する。なお、ここでは通信グループ管理部56が撮像装置IDを生成して登録しているが、撮像装置10から受信した撮像装置IDを登録してもよい。なお、撮像装置10ではなくVRゴーグル89やスマートグラス88等の通信端末をテナントに登録する場合には、同様の手順でそれぞれに対応するデバイスIDをテナント情報記憶部5003に登録することができる。
S21:情報処理システム50の通信部51は、撮像装置IDを撮像装置10に送信する。撮像装置10の接続部16が撮像装置IDを受信し、記憶部1000に保存する。
S22:通信端末30Aには、情報処理システム50の通信部51から登録完了が通知され、これによりユーザaが仮想ルームへの撮像装置10の対応付けを開始することができる。ユーザaは仮想ルーム対応付け画面(その1)260を通信端末30Aに表示させ、テナントに登録した撮像装置10を対応付けたい仮想ルームを選択する。通信端末30Aの受付部32が選択を示す操作入力を受け付ける。具体的には、通信端末30Aの受付部32がユーザaからの操作入力を受け付けることによって、表示制御部33が仮想ルーム対応付け画面(その1)260を表示させる。この際に、通信部31は画面の更新要求を情報処理システム50の通信部51へ送信してもよい。情報処理システム50は更新要求を受信すると、テナント情報記憶部5003を参照し、認証されたユーザIDに関連付けられたテナントに登録された仮想ルームIDを特定する。さらに続けて、仮想ルーム情報記憶部5002を参照し、特定した仮想ルームIDに関連付けられた仮想ルーム名称を取得する。このようにして特定した仮想ルームID及び対応する仮想ルーム名称の情報(画面生成部52がこれらの情報に基づいて生成した画面の情報であってもよい)を情報処理システム50の通信部51は通信端末30Aへ送信する。通信端末30Aの通信部31は、仮想ルームID及び仮想ルーム名称の情報を受信し、受信した情報に基づいて表示制御部33が仮想ルーム対応付け画面(その1)260を更新表示することができる。なお、このような情報はユーザIDに基づいて特定することができるため、認証後のステップS13で受信しておいてもよい。このようにして表示した仮想ルーム対応付け画面(その1)260に対してユーザaからの選択を示す操作入力を受付部32が受け付けることによって、通信端末30Aが選択された仮想ルームIDを特定することができる。
S23:次に、ユーザaは仮想ルーム対応付け画面(その2)270を通信端末30Aに表示させ、デバイスを追加で仮想ルームに対応付けるために接続ボタン272を押下する。通信端末30Aの受付部32が押下を示す操作入力を受け付ける。具体的には、通信端末30Aの表示制御部33は、ステップS22で特定した選択された仮想ルームIDに対応する仮想ルーム対応付け画面(その2)270を表示する。さらに、受付部32は、ユーザaからデバイスを追加で仮想ルームに対応付ける指示を受け付ける(接続ボタン272の押下)。
S24:ステップS23における操作入力に応じて、通信端末30Aの通信部31は、仮想ルームに対応付けるデバイスの候補となるテナントに登録済みのデバイスと、ステップS22で選択された仮想ルームIDに既に対応付けられているデバイスの情報を情報処理システム50に要求する。
S25:情報処理システム50の通信部51は、テナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスの情報の要求を受信し、画面生成部52がテナントに登録済みのデバイスと、選択された仮想ルームIDに対応付けられているデバイスのデバイスIDを含む仮想ルーム対応付け画面(その3)280を生成する。情報処理システム50の通信部51は仮想ルーム対応付け画面(その3)280の画面情報を通信端末30Aに送信する。
S26:通信端末30Aの通信部31が仮想ルーム対応付け画面(その3)280の画面情報を受信し、表示制御部33が仮想ルーム対応付け画面(その3)280を表示する。ユーザaは仮想ルームに対応付けるデバイス(ここでは撮像装置10を例に説明する)を選択する。通信端末30Aの受付部32が選択を受け付け、選択されたデバイスのデバイスIDとして撮像装置IDが特定される。
S27:通信端末30Aの通信部31は、ステップS22で選択された仮想ルームIDとステップS26で選択されたデバイスID(例えば撮像装置ID)を指定して、対応付け要求を情報処理システム50に送信する。
S28:情報処理システム50の通信部51は、対応付け要求を受信し、通信グループ管理部56が仮想ルームにデバイス(例えば撮像装置10)を登録する。すなわち、通信グループ管理部56は、仮想ルーム情報記憶部5002を参照し、ステップS27の要求で指定されている仮想ルームIDにデバイスID(例えば撮像装置ID)を関連付けて登録する。
S29:仮想ルームにデバイスID(例えば撮像装置ID)が対応付けられたので、情報処理システム50の通信部51は、仮想ルームID,名称、説明を撮像装置10に送信する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用して送信してもよい。撮像装置10の接続部16が仮想ルームID,名称、説明を受信し、記憶部1000に保存する。これにより、撮像装置10が広視野画像を送信する際は、撮像装置ID、仮想ルームID、名称、説明等を付加できる。撮像装置10以外のデバイスも同様の手順で仮想ルームに対応付けることができる。さらに続けて、情報処理システム50の通信部51は、通信端末30Aに対して対応付け完了を示す通知を送信してもよい。このステップ以降、仮想ルームに対して登録されたデバイス(撮像装置10)は、対応付けられた仮想ルームに接続することができる。ここでは、続けて撮像装置10が情報処理システム50に対して、ステップS29で受信した仮想ルームIDを指定して仮想ルームに接続要求を送信することで、仮想ルームに接続したものとして説明を続けるが、撮像装置10が仮想ルームに接続するタイミングはユーザの操作によって変更することができる。
S30:通信端末30A及び情報処理システム50は、図18で説明した入室処理を行うことで、通信端末30Aがデバイス(撮像装置10)の対応付けを行った仮想ルームに入室する。
S31:入室後、ユーザaが画像閲覧画面210において仮想ルームに対応付けられた撮像装置10のトグルボタン291をオンする。通信端末30Aの受付部32がオンを受け付ける。
S32:通信端末30Aの通信部31は、デバイスID(撮像装置ID)を指定して広視野画像の送信開始要求を情報処理システム50に送信する。なお、ユーザaが直接、撮像装置10のボタンを操作して、広視野画像の送信を開始してもよい。なお、ユーザaの操作により、通信端末30Aの通信部31が、送信停止要求を情報処理システム50に送信する場合もある。
S33:情報処理システム50の通信部51は、送信開始要求を受信し、デバイスID(撮像装置ID)で特定される撮像装置10に送信開始を要求する。情報処理システム50はプッシュ通知を利用してもよいし、撮像装置10がポーリングすることを利用してもよい。撮像装置10の接続部16が送信開始を受信し、撮像処理部13が撮像を開始する。画像送信制御部18が接続部16を介して決まったFPS又は帯域に応じたFPSで広視野画像の送信を繰り返す。したがって、仮想ルームに入室した通信端末30は拠点Aの状況を画像閲覧画面210にリアルタイムに表示できる。
<広視野画像等の配信>
図27を参照して、広視野画像や通常の画角の画像が共有される流れを説明する。図27は、広視野画像が共有される流れを説明するシーケンス図の一例である。図27では、通信端末30A、30Bが図18で説明した入室処理を実行し、仮想ルームに入室ずみである。また、通信端末30Aは通常の画角のカメラ9を有し、通信端末30Bと共有されている。通信端末30Aのカメラ9でなく、仮想ルームに対応付けられたスマートグラス88が撮像した画像等が共有されてもよい。また、図27では、図26で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。
S41:通信端末30Aの撮像部34は周囲の撮像を行い、通信部31は入室している仮想ルームIDを指定して撮像で得た画像を含む映像及び音声を情報処理システム50に送信する。
S42,S43:情報処理システム50の通信部51が画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して画像を含む映像及び音声を送信する。なお、図27では、通信端末30Aの通信部31が通常の画角の画像を情報処理システム50から受信して表示しているが、撮像部34が撮像した通常の画角の画像を受信することなく表示してもよい。
S44:次に、撮像装置10が送信開始の設定に基づく送信開始要求に応じて、撮像処理部13は広視野画像の撮像を行い、画像送信制御部18が接続部16を介して自機が登録されている仮想ルームID、撮像装置ID、名称、説明を指定して広視野画像を含む映像及び音声を、情報処理システム50に送信する。
S45,S46:情報処理システム50の通信部51が広視野画像を含む映像及び音声を受信すると、画像配信部54が同じ仮想ルームに入室している通信端末30A,30BのIPアドレスを仮想ルーム情報記憶部5002から取得し、通信部51を介して広視野画像を含む映像及び音声を送信する。
S47:次に、カメラ9を備えた通信端末30Cが図18で説明した入室処理を実行することで新しく仮想ルームに入室した。
S48:通信端末30Cの通信部31は通常の画角の画像を含む映像及び音声を情報処理システム50に送信する。
S49~S51:情報処理システム50の通信部51は通信端末30Cから通常の画角の画像を含む映像及び音声を受信し、同じ仮想ルームに入室している通信端末30A~30CのIPアドレスを仮想ルーム情報記憶部5002から取得し、画像配信部54が通常の画角の画像を含む映像及び音声を送信する。
S52:また、情報処理システム50の通信部51は同じ仮想ルームに入室した通信端末30Cに対しても、広視野画像を含む映像及び音声を送信する。
このように、同じ仮想ルームに入室したユーザa,bは、仮想ルームに対応付けられた撮像装置10が撮像する広視野画像を含む映像をリアルタイムに共有できる。なお、図27で示した、各画像の送信順は一例であり、広視野画像が先に共有されてもよいし、通常の画角の画像が先に共有されてもよい。
ここで、スマートグラス88とVRゴーグル89について補足する。スマートグラス88は通常の画角のカメラと表示機能を有している。スマートグラス88が保持するカメラが撮像により得た通常の画角の画像は、カメラ8,9と同様に配信される。スマートグラス88が保持する表示機能は、通常のディスプレイと同様に平面なので、ユーザが指示する視点で広視野画像の一部が表示される。VRゴーグル89は表示機能を有している(通常の画角のカメラをさらに有していてもよい)。スマートグラス88が保持する表示機能は、ユーザの頭部の向きによって決まる視点の広視野画像を投影するので、ユーザの頭部の向きに応じた視点で広視野画像における所定領域Tの所定領域画像Qが表示される。ユーザは、スマートグラス88やVRゴーグル89で広視野画像を閲覧中に、閲覧中の視点情報を指定した撮像要求を情報処理システム50に送信できる。
<通信端末からの指示による撮像装置の録画>
続いて、図29~図34を参照して、任意の通信端末30からの指示により撮像装置10が録画する処理について説明する。
まず、広視野画像の共有時において、通信端末30を操作してユーザが撮像装置10に録画を要求する際の画面を説明する。なお、任意のユーザが録画を指示できるが、ここでは、ユーザbが録画を指示するものとする。また、広視野画像の共有時であるので、厳密には撮像装置10はすでに「撮像」をリアルタイムに行っている。広視野画像の共有時の録画要求とは、広視野画像を保存のために録画することをいう。単に、広視野画像がリアルタイムに配信されている状態では広視野画像は保存されていないため、後から確認することができない(ある場面が任意に保存されていない)。
図29は、通信端末30Bが表示する画像閲覧画面400の一例である。なお、図29の説明では主に図25(b)との相違を説明する。通信端末30Aと30Bがリアルタイムに配信されている広視野画像を含む映像をそれぞれ表示し、通信端末30A、30Bは通信端末30Aが有するカメラ9が撮像した通常の画角の画像を含む映像も表示している。広視野画像の映像は、各拠点におけるユーザの操作により任意に仮想的な視点(図11参照)を変更することで、表示される広視野画像の所定領域T(図9、図10参照)を変更することができる。このため、通常の画角では確認できないような範囲まで現場の状況を確認することができる。
図29に示すように、広視野画像が表示された第一の画像欄211には、録画ボタン401が表示される。録画ボタン401は、現在、第一の画像欄211に表示されている広視野画像を含む映像の所定領域を特定するための視点情報を用いて、通信端末30Bが撮像装置10に録画要求を送信するためのボタンである。なお、図29では録画ボタン401に「360度映像を録画」といった説明が付与されているが、これは広視野画像の一例である全天球画像の映像を録画する場合のボタンの一例であって、他の説明が付与されたボタンであってもよいし、説明が付与されていないアイコン等の画像で表現されたボタンであってもよい。また、全天球画像以外の広視野画像の録画を指示するボタンであってもよい。録画ボタン401は、録画を指示可能なGUIの部品であればよく、図29の例に限られない。
図30は、通信端末30Bにおいて、録画ボタン401が押下されたことでダウンロードボタン402が表示された画像閲覧画面400を示す。図30では、第一の画像欄211の下方にダウンロードボタン402(表示部品の一例)が表示されている。ダウンロードボタン402には「撮像した映像をダウンロード」というメッセージが表示されている。ダウンロードボタン402には、撮像装置10が録画ボタン401の押下によって送信された録画要求に応じて録画した広視野画像をアップロードした保存場所情報(例えばURL)が埋め込まれており、ユーザbがダウンロードボタン402を押下すると、通信端末30BがURLに接続して、録画した広視野画像をダウンロードできる。広視野画像には視点情報が関連付けられているので、通信端末30Bがダウンロードした広視野画像を表示する際は、視点情報によって特定される広視野画像の所定領域を第一の画像欄211の中央に一致させるように仮想的な視点を設定して表示する。ダウンロードした広視野画像に複数の拠点の視点情報が関連付けられている場合には、何れの拠点の視点情報に基づいて表示するのか選択肢を画面上に表示させ、選択肢に対する選択の入力をユーザから受け付けることによって選択された視点情報に基づいて表示させてもよい。なお、視点を完全に中央に一致させる必要はなく、視点を第一の画像欄211の中央近傍の範囲に含まれるように設定して表示させてもよい。なお、ここではリアルタイムに配信されている広視野画像を含む映像が表示されていた第一の画像欄211にダウンロードした広視野画像を表示する例を説明したが、第一の画像欄211には、そのままリアルタイムに配信されている広視野画像を含む映像を表示し続け、新しい画像欄を画像閲覧画面400に追加し、新しい画像欄にダウンロードした広視野画像を表示させてもよい。このようにすることで、リアルタイムに配信されている広視野画像の映像によって現場の状況の変化を確認しつつ、現場の特定の状況を切り取った広視野画像も同時に確認することができる。
なお、ダウンロードボタン402の態様は一例であって、ダウンロードボタン402は例えば「全天球画像URL」のようなメッセージを表示してもよい。また、ボタンではなく保存場所情報(例えばURL)に対応するリンクが表示されてもよい。ユーザはリンクをクリックすることで同様にダウンロードすることができてもよい。
また、通信端末30Bはダウンロードボタン402を表示することなく、保存された広視野画像及び関連付けられた視点情報を自動的に受信して表示してもよい。
また、図30は、録画要求した通信端末30Bが表示する画像閲覧画面400であるが、リアルタイムに配信されている広視野画像を含む映像を表示している通信端末30Aが表示する画像閲覧画面400でもダウンロードボタン402が表示され得る。一つの実施例としては、ユーザbが録画要求によって撮像した広視野画像の共有を指示する操作を行うことに応じて、同じ仮想ルームに入室している参加者の通信端末30Aにダウンロードボタン402を表示するようにしてもよい。このようにすることによって、録画を指示した撮像者(ユーザb)が手元で録画した画像を確認した上で他の参加者に共有させることができるため、誤って録画した広視野画像や共有する必要のない広視野画像が共有されることを防ぐことができる。ただし、仮想ルームに入室している全ての通信端末30が、広視野画像の保存に応じて自動的にダウンロードボタン402を表示してもよい。
図31を参照し、通信端末30Aがダウンロードボタン402を表示したものとして説明する。図31(a)は、ユーザaがダウンロードボタン402を押下する前に表示される画像閲覧画面410の一例である。ユーザaがダウンロードボタン402を押下する前に、通信端末30Aが第一の画像欄211に、ユーザaが指定した任意の仮想的な視点として例えばドリルを備えた作業機械が含まれる画角での広視野画像を表示している。この状態で、ユーザaがダウンロードボタン402を押下した。
図31(b)は、ユーザbがダウンロードボタン402を押下した後に表示されるユーザa側の画像閲覧画面420の一例である。ユーザbが録画ボタン401を押下した際の視点情報が、図29の第一の画像欄211なので、図31(b)に示すように、通信端末30Aの第一の画像欄211に、図29の第一の画像欄211と同じ視点でダウンロードした録画された広視野画像が表示される。そのため、ドリルを備えた作業機械ではなく、建屋の屋上からクレーンで建材をつり上げるシーンが確認できる画角での録画された広視野画像を表示している。また、ユーザaは、図31(b)において第一の画像欄211に表示されたダウンロードした広視野画像に対して、リアルタイムに配信される広視野画像の映像と同様に、任意に仮想的な視点を変更することができる。そのため、ある特定のシーンを切り取った広視野画像に対しても、録画を要求したユーザの視点を初期値として反映できるとともに、通常の画角では確認できないような範囲まで現場の特定のシーンを確認することができる。
このように、異なる拠点のユーザ同士がある特定のシーンに関する録画された広視野画像の仮想的な視点を後から共有できる。なお、保存要求で保存された広視野画像は図31(b)における第一の画像欄211でなくポップアップ表示されてもよいし、別のウィンドウで表示されてもよい。このようにすることで、経時的に変化する現場の状況をリアルタイムに配信される広視野画像の映像で確認しつつ、録画されたある特定のシーンを切り取った広視野画像を利用して相互のコミュニケーションを効率化することができる。
なお、図31(b)に示すように、通信端末30Aがダウンロードした広視野画像を表示中は、録画ボタン401が表示されない。第一の画像欄211にリアルタイムの広視野画像が表示されていないからである。また、第一の画像欄211のデバイスの名称214には撮像装置10の名称と共に共有された画像である旨が表示される。なお、デバイスの名称214はテナント情報記憶部5003に記憶されているテナント登録デバイスの情報から特定することができる。また、デバイス名称214はデバイスIDであってもよい。
また、ダウンロードボタン402が表示された通信端末30A,30Bでは、ユーザa,bが任意にダウンロードボタン402を削除できる。
また、図32に示すように、ダウンロードボタン402と共に(ダウンロードボタン402を兼ねて)、通信端末30A,30Bが広視野画像のサムネイル画像404を表示してもよい。サムネイル画像404は情報処理システム50が作成しても通信端末30が作成してもよい。サムネイル画像404は視点情報により視点が定まっている。
また、ユーザa,bはそれぞれ、録画要求で録画された広視野画像にデータ名称(各通信端末30の画像管理情報記憶部3001に登録される)を設定できることが好ましい。
図33は、3つの画像欄がある場合の画像閲覧画面430の一例を示す。図33の画像閲覧画面430では、例えば、撮像装置10が撮像した広視野画像が表示される第一の画像欄211、通信端末30Aのカメラ9が撮像した通常の画角の画像が表示される第二の画像欄212、及び、通信端末30Cのカメラ8が撮像した通常の画角の画像が表示される第三の画像欄431が表示されている。ユーザa,b,cのうち任意のユーザが録画ボタンを押下でき、各拠点のユーザa,b,cが広視野画像を同じ視点で共有できる。
<<広視野画像の共有時における、録画要求に応じた動作又は処理>>
続いて、図28を参照し、広視野画像の共有時における、通信システム1bの録画要求に応じた動作又は処理を説明する。図28は、広視野画像の共有時において、通信端末30Bからユーザbが録画を要求する処理を説明するシーケンス図の一例である。図28の説明では、図18で説明した入室処理によって、通信端末30A、Bが仮想ルームに入室しているものとする。また、図28の説明では、ユーザbが録画ボタン401を押下し、ユーザaと視点情報を共有する場合を説明するが、ユーザaが録画ボタン401を押下し、ユーザbと視点情報を共有することもできる。また、図28では、図26で説明した登録手順によって、撮像装置10が同じ仮想ルームに接続済みである。なお、図28では、実施形態の一例として、各通信端末30には、所定領域画像の表示や視点情報の送信に関する機能を有する閲覧アプリケーション(閲覧アプリ)がインストールされている例を用いて説明する。なお、閲覧アプリを必ずしも事前にインストールしている必要はなく、同等の機能を通信端末が予め備えていてもよいし、仮想ルームに入室する際に情報処理システムや他のサーバから閲覧アプリと同等の機能を有するプログラムを通信端末が受信することによって、通信端末が図28に記載の通信端末の処理を実行してもよい。また、通信端末の閲覧アプリはWebブラウザによって実現されていてもよい。
S61:ユーザbは、図29において録画ボタン401を押下する操作を入力する。通信端末30Bの受付部32は押下する操作入力を受け付ける。録画ボタン401の押下は録画要求を送信するための操作入力方法の一例であって、その他のユーザインターフェースに対する入力に応じて録画要求を送信してもよい。ユーザインターフェースはGUIだけでなく、音声やジェスチャによるインターフェースも含む。
S62:録画要求を送信するための操作入力の受け付けに応じて、通信端末30Bの通信部31が、情報処理システム50に対して、録画要求を送信する。この録画要求には、現在利用中の仮想ルームを識別するための仮想ルームID、及び映像の配信元である撮影装置を識別するための撮影装置IDが含まれている。これにより、情報処理システム50の通信部51は、録画要求を受信する。なお、画像の録画だけでなく、音の録音も行われているが、以降、簡略化のために画像の録画について説明する。但し、本実施形態では、画像と同様に、音に関してもデータが通信され録音も行われる。
S63: 情報処理システム50の通信部51が録画要求を受信すると、関連付け処理部53が仮想ルーム情報記憶部5002を参照し、仮想ルームIDに基づいて録画された広視野画像の保存場所情報(例えばURL)を作成し、更に、仮想ルームに入室中の通信端末30Aを特定して同じ仮想ルームに設定されているストレージ90を対象とする視点情報の保存場所情報(例えばURL)を作成する。そして、通信部51が視点情報のアップロード開始指示を通信端末30Aに送信する。この開始指示には、通信端末30A専用の視点情報の保存用URLが含まれている。これにより、通信端末30Aの通信部31が開始指示を受信する。また、これに応じて、表示制御部33がダウンロードボタン402を表示する。
S64:情報処理システム50の通信部51は、録画要求元の通信端末30Bに対して、通信端末30Aに対する送信と同様に、視点情報のアップロード開始指示(視点情報の保存場所情報を含む)を送信すると共に、録画要求元に対する応答として、録画開始指示を送信する。この録画開始指示には、録画した広視野画像の保存場所情報が含まれている。
S65:通信端末30Bの録画部35は、撮像装置10から配信された動画に係る広視野画像(S46参照)の録画及び音声の録音を開始する。録画された録画データは、録画部35から記憶・読出部19を介して、一旦、記憶部3000に保存される。なお、画像データに音データが含まれている場合には、録画部35は音の録音も行う。
S66:ユーザbは、通信端末30Bによって表示されているデフォルトの所定領域画像に対して、ポインティングデバイス312や外付けマウス等により、仮想的な視点を移動(変更)させる操作を入力する。これにより、受付部32が視点の移動操作を受け付け、表示制御部33が変更後の視点に応じた所定領域画像を通信端末30Bのディスプレイ306上に表示させる。例えば、図10において、デフォルトで表示されてる所定領域画像が図10(b)に示されている場合、ユーザbによる操作により、図10(c)のように仮想カメラICの視点が移動することで、結果的にディスプレイ306上には図10(d)のような所定領域画像が表示される。なお、仮想の視点の移動は、ポインティングデバイス312等のユーザインターフェースに対する入力に限らず、音声やジェスチャによる入力であってもよい。
S67:通信端末30Aの通信部31は、視点移動操作に応じて、情報処理システム50に対して、視点情報と視点関連情報をアップロードする。この視点情報は、仮想的な視点が移動された後の広視野画像の所定領域を特定するための情報である。また、視点関連情報には、図16に示されているように、録画対象の広視野画像のデータID、参加者であるユーザbのユーザID、仮想的な視点を移動させて新たな所定領域画像の閲覧を開始することができた日時を示す閲覧開始日時情報、及びステップS64で取得した視点情報の保存場所情報が含まれている。これにより、情報処理システム50の通信部51は、視点関連情報を受信し、記憶・読出部59が、視点関連情報記憶部5004に1レコードとして視点関連情報を記憶する。
S68:情報処理システム50の通信部51は、ステップS67で受信した視点情報の保存場所情報に係る保存場所(URL等)に対して、ステップS67で受信した視点情報を保存する。なお、情報処理システム50は、ストレージ90に視点情報を保存せずに、自システムにて、図16の視点関連情報に、視点関連情報における「視点情報の保存場所情報」の代わりに、視点情報を保存してもよい。
S69:ユーザaも、ステップS66のユーザbと同様に操作する。
S70:通信端末30Aの通信部31は、ステップS67と同様に、情報処理システム50に対して、視点情報と視点関連情報をアップロードする。
S71:情報処理システム50の通信部51は、ステップS68と同様に、ステップS70で受信した視点情報の保存場所情報に係る保存場所(URL等)に対して、ステップS70で受信した視点情報を保存する。
S72:ユーザbがマウス等で録画を停止する操作を入力した場合、受付部32が録画停止操作を受け付ける。
S73:録画停止操作の入力の受付に応じて、録画部35が録画の動作を停止する。
S74:通信端末30Bでは、記憶・読出部39が記憶部3000に保存されている録画データを読み出し、通信部31が、ステップS64で取得した広視野画像の保存場所情報に係るストレージ90の保存場所に対して、動画に係る広視野画像の録画データをアップロードして保存する。なお、ステップS74は情報処理システム50を介してストレージ90の保存場所に対してアップロードして保存してもよい。
S75:通信端末30Bの通信部31は、ステップS74でアップロードが完了すると、情報処理システム50に対して録画データのアップロードが完了した旨を通知する。
S76-1,S76-2:情報処理システム50の通信部51は、アップロードが完了した旨の通知を受信すると、広視野画像の保存場所情報(URL等)を仮想ルームに入室している通信端末30A及び通信端末30Bにそれぞれ通知する。これらの通知を受け取った通信端末30A及び通信端末30Bの表示制御部33は、それぞれ図30や図31で説明したダウンロードボタン402を表示させることができる。通信端末30A及び通信端末30Bの通信部31はそれぞれ、ダウンロードボタン402の押下に対応する操作入力を受付部32によって受け付けることに応じて、保存場所情報に対応するストレージ90の保存場所に保存されている録画データをストレージ90に要求し(なお、情報処理システム50を介して要求してもよい)、録画データをストレージ90からダウンロードすることによって録画データの共有を行うことができる(なお、情報処理システム50を介してダウンロードしてもよい)。
以上により、図28の処理は終了する。
なお、スマートグラス88やVRゴーグル89が通信端末30である場合も、同様に図28に示される処理が実行される。
図34には、図28の処理の変形例が示されている。図34は、視点情報及び広視野画像のアップロードの処理(その2)を示すシーケンス図である。なお、この変形例においても、図28におけるステップS61~S65と同様の処理が行われるため、これらの説明を省略し、通信端末30Bで録画が開始された後の処理について、ステップS86から説明する。
S86:上記ステップS66と同様に、ユーザbは、通信端末30Bによって表示されているデフォルトの所定領域画像に対して、ポインティングデバイス312や外付けマウス等により、仮想的な視点を移動(変更)させる操作を入力する。これにより、通信端末30Bの受付部32が視点を移動させる操作入力を受け付け、表示制御部33が変更後の視点に応じた所定領域画像を通信端末30Bのディスプレイ306上に表示させる。
S87:通信端末30Bでは、記憶・読出部39が、ステップS86によって仮想的な視点が移動された後の所定領域を特定するための視点情報と、この視点情報に係る視点関連情報を記憶部3000に保存する。
S88:ユーザaもステップS86と同様に、ユーザaは、通信端末30Aによって表示されているデフォルトの所定領域画像に対して、ポインティングデバイス312や外付けマウス等により、仮想的な視点を移動(変更)させる操作を入力する。これにより、通信端末30Aの受付部32が視点を移動させる操作入力を受け付け、表示制御部33が変更後の視点に応じた所定領域画像を通信端末30Aのディスプレイ306上に表示させる。
S89:通信端末30BでもステップS89と同様に、記憶・読出部39が、ステップS88によって仮想的な視点が移動された後の所定領域を特定するための視点情報と、この視点情報に係る視点関連情報を記憶部3000に保存する。
S90:ユーザbがマウス等で録画を停止した場合、ステップS72と同様に、受付部32が録画停止を受け付ける。
S91:録画部35が録画の動作を停止する。
S92:通信端末30Bの通信部92が、情報処理システム50に対して、録画を停止した旨を示す録画停止通知を送信する。これにより、情報処理システム50の通信部51が、録画停止通知を受信する。
S93:情報処理システム50の通信部51が、録画処理をしていない通信端末30Aに対して、視点情報と視点関連情報のアップロード要求を送信する。これにより、通信端末30Aの通信部31は、アップロード要求を受信する。
S94:通信端末30Bでは、記憶・読出部39が、これまで記憶部3000に保存しておいた、広視野画像の録画データ、視点情報、及び視点関連情報を読み出し、通信部31が、これらを情報処理システム50にアップロードする。なお、上述のように、視点関連情報には、視点情報の保存場所情報が含まれている。これにより、情報処理システム50の通信部51は、広視野画像の録画データ、視点情報、及び視点関連情報を受信する。
S95:情報処理システム50の通信部51は、ステップS94で受信した視点情報の保存場所情報に係る保存場所(URL等)に対して、ステップS94で受信した視点情報を保する。また、情報処理システム50の通信部51は、画像管理情報記憶部5001(図14参照)に記憶されている広視野画像のデータの保存場所情報で示されるストレージ90の保存場所(URL等)に対して、ステップS94で受信した広視野画像の録画データを保存する。なお、通信端末30Bが保存場所を特定できていれば、情報処理システム50を介さずに広視野画像の録画データと視点情報をストレージ90に保存してもよい。
S96:通信端末30Aでは、記憶・読出部39が、これまで記憶部3000に保存しておいた、視点情報及び視点関連情報を読み出し、通信部31が、これらを情報処理システム50に送信する。なお、上述のように、視点関連情報には、視点情報の保存場所情報が含まれてる。これにより、情報処理システム50の通信部51は、視点情報及び視点関連情報を受信する。
S97:情報処理システム50の通信部51は、ステップS96で受信した視点情報の保存場所情報に係るストレージ90の保存場所(URL等)に対して、ステップS96で受信した視点情報を保存する。また、情報処理システム50の通信部51は、画像管理情報記憶部5001(図14参照)に記憶されている広視野画像のデータの保存場所情報で示されるストレージ90の保存場所(URL等)に対して、ステップS96で受信した広視野画像の録画データを保存する。なお、通信端末30Aが保存場所を特定できていれば、情報処理システム50を介さずに視点情報をストレージ90に保存してもよい。
S98-1,S98-2:情報処理システム50の通信部51は、ステップS95,S97で説明した処理を実行することによって、ストレージ90への録画データと視点情報の保存が完了すると、広視野画像の保存場所情報(URL等)を仮想ルームに入室している通信端末30A及び通信端末30Bにそれぞれ通知する。これらの通知を受け取った通信端末30A及び通信端末30Bの表示制御部33は、それぞれ図30や図31で説明したダウンロードボタン402を表示させることができる。通信端末30A及び通信端末30Bの通信部31はそれぞれ、ダウンロードボタン402の押下に対応する操作入力を受付部32によって受け付けることに応じて、保存場所情報に対応するストレージ90の保存場所に保存されている録画データをストレージ90に要求し(なお、情報処理システム50を介して要求してもよい)、録画データをストレージ90からダウンロードすることによって録画データの共有を行うことができる(なお、情報処理システム50を介してダウンロードしてもよい)。
以上により、図34の処理は終了する。
また、図28、図34の例では、通信端末30において録画の開始と停止を行っていたが、図27で説明したように、情報処理システム50も通信端末30と同様に撮像装置10によって撮像された広視野画像を受信しているため、通信端末30が備える録画部35を情報処理システム50が備え、情報処理システム50の録画部によって広視野画像の録画の開始や停止を実行してもよい。このような場合にはクラウド等のサーバで録画する構成となるため、ユーザが操作する通信端末30に録画に係る処理負荷がかからないといった利点がある。このような変形例の場合には、ステップS74において通信端末30が録画データをアップロードしているが、情報処理システム50がストレージ90に録画データを保存する構成となる。
また、同様に撮像装置10が録画部35の機能を有している場合には、撮像装置10において広視野画像の録画を実行してもよい。このような場合には、情報処理システム50や通信端末30に録画に係る処理負荷がかからないといった利点がある。このような変形例の場合には、ステップS62で情報処理システム50が録画要求を受信することに応じて、撮像装置IDに対応する撮像装置10に対して録画要求を情報処理システム50が送信することによって、撮像装置10が録画を開始することができる。また、ステップS72の録画停止操作の入力を受け付けることに応じて、通信端末30が録画停止要求を情報処理システム50に送信し、情報処理システム50がさらに撮像装置10に対して保存場所情報を含む録画停止要求を送信することで撮像装置10は録画を停止することができる。録画が停止された後は、ステップS74と同様に通信端末30ではなく、撮像装置10が保存場所情報に基づいてストレージ90(又は情報処理システム50を介して)へ録画データをアップロードすればよい。
また、図28、図34の例では、通信端末30のうち、録画要求を送信した通信端末30のみで録画を実行する構成となっていたが、仮想ルームに入室している全ての通信端末30が視点情報のアップロード開始指示を受信することに応じて、録画要求を送信した通信端末30と同様に配信されている広視野画像の録画の開始及び停止の制御を行い、広視野画像の録画データのアップロードを行ってもよい。
また、図28、図34の例において、視点情報を情報処理システム50又はストレージ90に送信する際に、視点情報が録画データに埋め込まれているデータ形式の場合には、視点情報を含む録画データを送信することによって、視点情報を送信してもよい。
<ストレージに登録されている広視野画像の閲覧>
続いて、図35~図43を参照して、録画された広視野画像を含むストレージ90に保存された情報の閲覧について説明する。図35は、ユーザがストレージ90に保存されている広視野画像を閲覧する処理を説明するシーケンスである。図36は、任意のユーザが通信端末30を情報処理システム50に接続させて表示した仮想ルームリスト画面600の一例である。図37は、各拠点における表示画像のサムネイルを選択するための拠点選択画面の一例を示す図である。
S301:ユーザが通信端末30(表示端末の一例)を情報処理システム50にアクセスさせた状態で、通信端末30がユーザから認証情報(ユーザID,パスワード等)の入力を受け付け、通信端末30が、ユーザが所属するテナントへのログインの要求の操作入力を受け付ける。通信端末30の受付部32がこれらの操作入力を受け付ける。
S302:通信端末30の通信部31は認証情報を指定してログイン要求を情報処理システム50に送信する。情報処理システム50の通信部51は、ログイン要求を受信し、認証部55が認証情報に基づいて認証を行う。ここでは認証が成功したものとする。
S303:情報処理システム50の画面生成部52は所定の分類で広視野画像を分類した仮想ルームリスト画面600を生成し、通信部51が生成した仮想ルームリスト画面600の画面情報を通信端末30に送信する。具体的には、図14の画像管理情報記憶部5001に記憶されている画像管理情報、図15の仮想ルーム情報記憶部5002、テナント情報記憶部5003等に登録されている情報に基づいた分類の一覧を選択候補として表示する仮想ルームリスト画面600を生成する。図36の例では、仮想ルームの分類の一例として、ストレージ90に保存された広視野画像を含むデータがどの仮想ルームに対応付けられているかで分類した一覧(分類一覧604)を含む仮想ルームリスト画面600を生成する。
S304:通信端末30の通信部31が仮想ルームリスト画面600の画面情報を受信し、表示制御部33が通信端末30のディスプレイ306上に仮想ルームリスト画面600を表示する。具体的には、図36のヘッダー欄601に選択可能な分類(この例では日付に対応付けられた仮想ルーム)が表示される。通信端末30は、ユーザから閲覧したい広視野画像に対応付けられた分類(この例では特定の日付に対応付けられた仮想ルーム)の選択に対応した操作入力を受け付ける。受付部32がこれらの操作入力を受け付ける。
ここで、仮想ルームリスト画面600に関して詳細に説明する。
仮想ルームリスト画面600は、図14の画像管理情報記憶部5001に記憶されている画像管理情報、図15の仮想ルーム情報記憶部5002、テナント情報記憶部5003、及び視点関連情報記憶部5004に保存されている情報により作成される。ユーザがテナントにログインした場合、このテナントに関連付けられた情報で分類された分類の選択画面が表示される。なお、必ずしもテナントにログインする必要はなく、テナントに紐づかないユーザのアカウントとしてログインすることもできる。このような場合には、画像管理情報記憶部5001に記憶されている画像管理情報のうち、ログインしたユーザのアクセス権限のあるデータに基づいて分類された選択画面が表示されてもよい。画像管理情報に対するユーザのアクセス権限は、情報処理システム50に対して所定の通信端末30を接続させ、通信端末30からアクセス権限の更新指示を情報処理システム50に対して送信することで更新できてもよい。選択可能な分類は様々な分類が適用できる。図36では分類の一例として、画像管理情報記憶部5001に記憶されている撮像時の仮想ルームIDに基づいて分類された選択画面を例に説明する。
仮想ルームリスト画面600は、ヘッダー欄601と画像選択欄602を有している。ヘッダー欄601には、ログインユーザ名603、分類一覧604が表示される。ログインユーザ名603はテナントにログインしているユーザを識別する情報であって、ユーザの名前やユーザIDが含まれる。分類一覧604は、画像管理情報記憶部5001に記憶されている情報に基づいた分類の一覧である。ここでは、分類の一例として、ストレージ90に保存された、録画された広視野画像の録画データを含むデータがどの仮想ルームに対応付けられているかで分類することができる。例えば録画データに含まれる広視野画像は、それぞれがどの仮想ルームで遠隔コミュニケーション中に撮像されたかを画像管理情報記憶部5001に記憶されている撮像時の仮想ルームIDによって特定することができる。なお、ここでの「撮像時」とは、並行して録画も行っているため「録画時」に言い換えることもできる。図36の分類一覧604では遠隔コミュニケーションが行われた仮想ルームの名称に加えて、遠隔コミュニケーションが行われた日付(画像を撮像した日時情報と対応する)が対応付けられて表示されている。図36の例では例えば、日付"2021年10月12日"に仮想ルーム名称が"A工事現場"の仮想ルームにおいて遠隔コミュニケーションが行われ、この遠隔コミュニケーション中に撮像された画像が日付"2021年10月12日"の仮想ルーム名称"A工事現場"の分類に保存されていることがわかる。もし仮想ルーム名称が"A工事現場"の仮想ルームにおいて日付"2021年10月12日"以外の日付において撮像された画像の情報が画像管理情報記憶部5001に記憶されている場合には、分類一覧604に日付"2021年10月12日"以外の日付(例えば2021年10月13日)と仮想ルーム名称が"A工事現場"を組み合わせた分類の選択肢を表示させることができる。
ユーザは通信端末30を用いて情報処理システム50の仮想ルーム情報記憶部5002にアクセスすることで仮想ルーム名称を編集でき、仮想ルーム名称は仮想ルームの作成時に設定されて仮想ルーム情報記憶部5002に記憶されている。画像管理情報記憶部50001に記憶されている撮像時の仮想ルームIDに基づいて、仮想ルーム情報記憶部5002を参照することで、対応する仮想ルーム名称を特定することができる。日付は、画像管理情報記憶部5001に記憶されている画像管理情報の撮像日時から特定することができる(複数ある場合は最初の日時)。なお、図36では仮想ルームで分類されているが、その他にも日付、日時、撮像者情報、撮像装置情報又はデータ名称等の分類で分類されていてもよい。また、これらの分類を2つ以上組み合わせた分類で分類されていてもよい。
画像選択欄602は、画像管理情報605、及び、サムネイル画像606を有している。ユーザが分類一覧604から任意の分類(この例では仮想ルーム)を選択すると、画像選択欄602に、選択された仮想ルームにおいて遠隔コミュニケーション中に録画された広視野画像の情報として、サムネイル画像606が表示される。図36の例では、日付"2021年10月12日"及び仮想ルーム名称"A工事現場"の分類が選択状態となっていることを示している。なお、図36の例では、仮想ルームの分類と仮想ルームで遠隔コミュニケーションが行われた日付とを組みわせた分類で分類しているが、日付に関係なく仮想ルームのみの分類で分類一覧604を作成してもよいし、日付のみの分類で分類一覧604を作成してもよい。サムネイル画像606は録画開始時~終了時までのいずれのタイミングの広視野画像でもよい。
また、サムネイル画像606は、視点情報で特定される広視野画像の視点をサムネイル画像の中央に一致させ表示される。したがって、仮想ルームリスト画面600を閲覧中のユーザは、撮像者が共有したかった視点情報でサムネイル画像を閲覧できる。なお、視点は必ずしも中央に一致させる必要はなく、中央近傍の範囲に含まれる視点で表示させてもよい。
また、仮想ルームリスト画面は、以下の処理によって作成される。
まず、ステップS302において認証されたユーザIDが所属するテナントのテナントIDを図15に示したテナント情報記憶部5003を参照することで特定する。テナント情報記憶部5003において、各テナントには、仮想ルームが登録されている。仮想ルームで行われた遠隔コミュニケーション中に参加者からの要求に応じて仮想ルームに対応付けられている撮像装置によって撮像され、保存された広視野画像は、遠隔コミュニケーションが行われていた仮想ルームの仮想ルームID、録画を要求した撮像者(参加者)、撮像日時、撮像装置、視点情報、保存場所等と対応付けて画像管理情報記憶部5001に保存されている。
なお、ここでの「撮像者」とは、撮像に並行して録画も行っているため、「録画者」と言い換えることもできる。このため、画面生成部52は、テナント情報記憶部5003を参照することで、ログインしたユーザが所属するテナントのテナントIDに関連付けられた仮想ルームID及び対応する仮想ルーム名を特定することができる。このようにして、図36に示した分類一覧604に表示する仮想ルーム名を特定することができる。
さらに、図36で示しているように保存されたデータに関連付けられた仮想ルームの分類に対して、撮像された日付と組み合わせて表示する場合には、画面生成部52は、画像管理情報記憶部5001を参照することで、特定した仮想ルームIDそれぞれに関連付けられたデータIDを特定することができる。
さらに、画面生成部52は、特定したデータIDに関連付けられた撮像日時の情報を、画像管理情報記憶部5001を参照することで特定できる。画面生成部52は、このようにして特定した撮像日時の情報から日付を特定できるため、分類一覧604に表示する仮想ルームに対して、図36で示したように特定した日付を対応付けて表示する仮想ルームリスト画面600を生成できる。このように日付と組み合わせることで、例えば"A工事現場"という名前の仮想ルームにおいて撮像された広視野画像が複数保存されていた場合に、撮像された日付が異なる場合には、異なる分類として分類一覧に表示させることができる。これは、例えば、同じ現場で撮像された広視野画像であっても日程によって異なる作業が行われる場合もあるため、作業が行われた日程で選択可能な広視野画像の候補を絞りたい場合に有用である。
また、同様に日付ではなく仮想ルームの分類に対して、画像管理情報記憶部5001を参照して、撮像者、撮像装置又は保存場所の情報を組み合わせて表示することもできる。このように表示することで、例えば同じ現場で撮像された広視野画像であっても、撮像者、撮像装置又は保存場所といった条件で選択可能な広視野画像の候補を絞りたい場合に有用である。また、これらの分類の条件はそれぞれ単独の条件として分類した分類一覧604を生成することもできるし、図36に示したように2つ以上の条件を組み合わせて分類した分類一覧604を生成することもできる。なお、この例では仮想ルームリスト画面600(分類一覧604)を画面生成部52が生成しているが、分類一覧604に表示させる分類の情報(この例では、分類の条件に合致する仮想ルーム名及び日付)を画面生成部52が通信部51を介して通信端末30に送信することで、通信端末30に分類の情報に基づいた分類一覧604を配置した仮想ルームリスト画面600を生成させてもよい。
したがって、ステップS303において送信する画面情報には、画面生成部52が生成した仮想ルームリスト画面600が含まれていてもよいし、生成した画面の代わりに分類一覧604に表示させる分類の情報が含まれていてもよい。また、生成した仮想ルームリスト画面600及び分類一覧604に表示させる分類の情報の両方が画面情報に含まれていてもよい。
続いて、ステップS305から説明を続ける。
S305:通信端末30の通信部31は、ユーザが選択した分類を特定する識別情報(この例では選択された仮想ルームの仮想ルームID及び日付の情報)を条件として指定して、広視野画像のリスト要求を情報処理システム50に送信する。なお、仮想ルームID及び日付等の条件の指定は必ずしも同時に指定する必要はなく、別々に指定して要求を送信してもよい。
S306,S307:情報処理システム50の通信部51は、広視野画像のリスト(一覧)要求を受信する。画面生成部52は、要求において指定された条件に含まれる仮想ルームIDに対応付けられているデータIDを画像管理情報記憶部5001から特定する。さらに、この例では受信した要求において日付も条件として指定されているため、特定したデータIDのうち、画像管理情報記憶部5001において指定された日付と一致する撮像日時の日付に対応付けられたデータIDを特定する。このようにして指定された条件に一致するデータIDについて、画像管理情報記憶部5001において対応付けられているデータの保存場所の情報をそれぞれ取得する。画面生成部52は、通信部51を介して、取得した保存場所の情報を用いてストレージ90のそれぞれの保存場所へアクセスし、ストレージ90から広視野画像と視点情報を取得する。なお、画面生成部52は画像管理情報記憶部5001に記憶されている視点情報を取得して使用してもよい。
S308:情報処理システム50の画面生成部52は、S306,S307に置いて取得した広視野画像と視点情報を用いてサムネイル画像をそれぞれ作成する。さらに、S305で指定された条件に合致するデータIDに関連する画像情報(撮像デバイス、撮像者、仮想ルームの参加者等の情報)を画像管理情報記憶部5001から取得し、取得した画像情報と、作成したサムネイル画像とに基づいて、サムネイル画像及び画像情報が配置された仮想ルームリスト画面600を生成する。なお、この例では仮想ルームリスト画面600を画面生成部52が生成しているが、サムネイル画像及び画像情報を画面生成部52が通信部51を介して通信端末30に送信することで、通信端末30にサムネイル画像及び画像情報に基づいた仮想ルームリスト画面600を生成させてもよい。
S309:通信部51が仮想ルームリスト画面600の画面情報を通信端末30に送信する。ここでの画面情報とは、S308で生成した仮想ルームリスト画面600であってもよいし、仮想ルームリスト画面600を通信端末30が生成するために必要な情報(S306~S308で生成したサムネイル画像や取得した画像情報等)であってもよい。また、画面情報には、S306,S307において特定した、作成したサムネイル画像それぞれに対応するデータを特定するための識別情報(この例ではデータID)も含まれる。
S310:通信端末30の通信部31が仮想ルームリスト画面600の画面情報を受信し、受信した画面情報に基づいて表示制御部33が更新された仮想ルームリスト画面600を表示する。受信した画面情報が、通信端末30が仮想ルームリスト画面600を生成するために必要な情報である場合には、通信端末30が表示している仮想ルームリスト画面600を受信した画面情報に基づいて更新する画面更新処理を実行する。具体的には、図36で示される画像選択欄602が選択した分類に対応付けられた画像情報及びサムネイル画像に更新される。通信端末30は、ユーザから更新された画像選択欄602の中のうち、再生表示により閲覧したい特定の広視野画像のサムネイル画像を選択する操作入力を受け付ける。受付部32がこれらの操作入力を受け付ける。
S311:通信端末30の通信部31は、S310において受け付けた操作入力に基づいてユーザが選択した特定の広視野画像のサムネイル画像に対応する広視野画像のデータIDを特定し、特定した広視野画像のデータIDを指定して、広視野画像の要求を情報処理システム50に送信する。
S312、S313:情報処理システム50の通信部51は、広視野画像の要求を受信する。画面生成部52は、要求において指定された広視野画像のデータIDに対応付けられているデータの保存場所の情報(例えばURL)を画像管理情報記憶部5001から取得すると共に、閲覧開始日時及び参加者IDを取得する。更に、画面生成部52は、広視野画像のデータID、閲覧開始日時及び参加者IDに基づいて、視点関連情報記憶部5004から対応する各視点情報の保存場所情報を取得する。そして、画面生成部52は、通信部51を介して、保存場所の情報を用いてストレージ90から広視野画像と視点情報を取得する。
S314:通信部51が、ステップS313で取得した、特定の広視野画像のデータ及び各視点情報を通信端末30に送信する。
S315:通信端末30では、画面生成部37が、特定の広視野画像における領域のうち各視点情報で特定される所定領域のサムネイル画像を生成(作成)することで、図37に示すような拠点表示画像選択画面610を生成する。そして、表示制御部33が通信端末30のディスプレイ306上に、拠点表示画像選択画面610を表示させる。なお、所定領域のサムネイル画像は通信端末30ではなく、情報処理システム50が生成し、S314で通信端末30に対して送信してもよい。
拠点表示画像選択画面610は、広視野画像の録画(配信)日時情報612、各拠点で表示された所定領域画像に係るサムネイル画像616を有している。更に、各サムネイル画像616の上部には、録画時に閲覧していた各拠点のユーザのユーザID617等が示されている。そのため、拠点表示画像選択画面610を再生時に閲覧するユーザは、各サムネイル画像の元になる所定領域画像を表示していたユーザを特定することが可能である。なお、各サムネイル画像は、仮想的な視点を移動(変更)させることができる画像であってもよい。
S316:ユーザがカーソルc1等を使って特定の視点情報に基づくサムネイル画像を選択する操作を入力すると、受付部32は、この選択する操作入力を受け付ける。
S317:画面生成部37は、図39に示されるような再生画面650を生成する。図39は、録画時の所定領域を示す表示領域(表示枠)651bを表した再生画面の一例を示す図である。再生画面650は、ステップS316で選択された全てのサムネイル画像に基づいて、特定の広視野画像における所定領域画像651,653、及び平面画像652を含む。
所定領域画像651,653、及び平面画像652はともに、一画面の再生画面650で再生表示される。また、所定領域画像651,653、及び平面画像652には、同じ再生経過時間の画像が表示されている。図14に示す画像管理情報において撮像開始日時情報が管理され、図16に示す視点関連情報において閲覧開始日時情報が管理されているため、画面生成部37は、同じ再生経過時間の画像が表示される生成画面を生成することができる。
ここでは、図37の拠点表示画像選択画面610において、3つのサムネイル画像が選択された場合を示す。なお、図37のUser110,122のサムネイル画像、及び図39の所定領域画像641,642は、仮想的な視点を変更することができる画像である。
図39に示すように、再生画面650には、メインの表示画像として、User110の所定領域画像651が表示され、サブの表示画像として、User121の平面画像及びUser122の所定領域画像653が表示されている。なお、図37で選択されたサムネイル画像に係る表示画像のうち、図39においてメインの表示画像として表示されるのは、ランダムに決定されるようにしてもよいし、図37で最初に選択されたサムネイル画像に係る表示画像としてもよい。なお、所定領域画像の場合は、仮想的な視点を移動して、所定領域画像を変更表示させることが可能である旨を示す変更表示アイコン651a,653aが表示されている。
また、メインの表示画像(図39では所定領域画像651)の下側には、全画面表示に切り替えるための全画面表示アイコン701、再生画面650上の全ての画像(図39では、所定領域画像651、平面画像652、及び所定領域画像653)を一括で再生表示するための再生表示アイコン702、及び再生画面650上の全ての画像を一括で一時停止するための一時停止アイコン703が表示されている。更に、メインの表示画像の下側には、メインの表示画像が所定領域画像の場合であって、仮想的な視点を移動させた後の所定領域画像から視点情報で示された元の所定領域画像に戻すための視点戻しアイコン704が表示されている。また、メインの表示画像の下側には、メインの表示画像を、このメインの表示画像の中心を基準に拡大表示するための拡大表示アイコン705、及びこのメインの表示画像の中心を基準に縮小表示するための縮小表示アイコン706が表示されている。なお、表示画面の中心を基準としない拡大表示又は縮小表示の場合には、カーソルc1を用いて行われる。更に、メインの表示画像の下側には、再生画面650上の全ての画像を一括で同じ所定の再生経過時間で表示するための再生バー(シークバー)707が表示されている。受付部32が、ユーザから、いずれかのアイコン701~706の押下又は再生バー707の移動を受け付けると、表示制御部33が、各表示処理を実行する。
また、メインの表示画像の周囲には、録画時に閲覧されていた所定領域を特定するための視点情報に基づき、この視点情報に係る所定領域を示す表示領域(表示枠)651bも表示されている。
S318:ユーザが、マウス等で図39の再生画面650に対して画面操作を入力すると、受付部32が画面操作の入力を受け付ける。
S319:表示制御部33は、受付部32が受け付けた画面操作の入力に基づいて、再生画面の表示を変更する。
ここで、図38乃至図43を用いて、画面操作の例について詳細を説明する。図38は、再生画面の変更処理を示すフローチャートである。なお、図38に示されているフローチャートの各処理はどのような順番であってもよい。
S331:例えば、ユーザが、図39に示す再生画面650において、再生表示アイコン702を押下することによって、一括再生する操作を入力すると、受付部32が一括して再生する操作入力を受け付け、受け付けた操作入力に応じて表示制御部33が録画された画像に基づいて、再生対象の所定領域画像651,653、及び平面画像652を同時に一括で再生表示する。各所定領域画像651,653は、録画時の配信の際に所定の通信端末によって表示されていた広視野画像における所定領域を特定するための視点情報に基づいた画像である。この場合、メインの表示画像の周囲には、録画時の配信の際に閲覧されていた所定領域を特定するための視点情報に基づき、この視点情報に係る所定領域を示す表示領域(表示枠)651bも表示されている。なお、各所定領域画像651,653は、視点情報に基づいた画像でなく、各広視野画像における任意の所定領域の画像であってもよい。
S332:S331の処理により再生表示している際に、例えば、ユーザが、図39の所定領域画像651において、マウス等で図40に示すようにカーソルc1を斜め左上に移動させる操作を入力すると、受付部32が仮想的な視点の移動の操作入力を受け付け、受け付けた操作入力に応じて、表示制御部33が図40に示すような所定領域画像651を表示させる。この場合、表示制御部33は、録画時に閲覧されていた所定領域を特定するための視点情報に基づき、この視点情報に係る所定領域を示す表示領域(表示枠)651bも移動する。これにより、ユーザは仮想的な視点を移動させた場合であっても、録画時に閲覧者が注目していた所定領域を把握することが可能である。
S333:例えば、ユーザが、図40に示す再生画面650において、視点戻しアイコン704を押下する操作を入力すると、受付部32が記録された視点情報に戻る操作入力を受け付け、受け付けた操作入力に応じて、表示制御部33が図39に示す所定領域画像651の表示に戻す。なお、他の所定領域画像(ここでは、所定領域画像653)の仮想的な視点も移動されていれば、表示制御部33は、同時に一括で元の視点の所定領域画像の表示に戻すようにしてもよい。
S334:例えば、ユーザが、図41に示すように、カーソルc1で再生バー707を移動する操作を入力すると、受付部32が再生経過時間の一括変更の操作入力を受け付け、受け付けた操作入力に応じて、表示制御部33が、図41に示すように、再生画面650内の全ての画像(ここでは、所定領域画像651,653、及び平面画像652)を同時に一括して、移動された再生バー707に相当する再生経過時間の画像を再生表示させる。
S335:例えば、ユーザが、図41に示す再生画面650において、全画面表示アイコン701を押下する操作を入力すると、受付部32が全画面表示を示す操作入力を受け付け、受け付けた操作入力に応じて、表示制御部33が、図42に示すように、再生画面650内の全体にメインの表示画面である所定領域画像651を全画面表示させる。
S336:例えば、ユーザが、図41に示す再生画面650において、カーソルc1でサブの表示画面のいずれか(ここでは、所定領域画像653)を選択する操作を入力すると、受付部32が、メインの表示とサブの表示の入れ替え表示を示す操作入力を受け付け、受け付けた操作入力に応じて、表示制御部33が、図43に示すように、所定領域画像653をメインの表示画像として表示させ、所定領域画像651をサブの表示画像として表示させるように入れ替える。なお、この場合、新たなメインの表示画像の周囲には、録画時に閲覧されていた所定領域を特定するための視点情報に基づき、この視点情報に係る所定領域を示す表示領域(表示枠)653bも表示されている。この表示領域(表示枠)653bは、図40に示すように、表示領域(表示枠)651bと同様に移動可能である。
S337:例えば、ユーザが、図43に示す再生画面650において、カーソルc1等で一時停止アイコン703を押下する操作を入力すると、受付部32が一括再生の一時停止を示す操作入力を受け付け、受け付けた操作入力に応じて、表示制御部33が再生画面650内の全ての画像(ここでは、所定領域画像651,653、及び平面画像652)を同時に一括して再生表示を一時停止させる。
以上により、図38の処理の説明は終了する。
<遠隔医療における通信システムの適用例>
図44は、通信システムが遠隔医療に適用された遠隔コミュニケーションの一例を説明する図である。図45は、遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面の一例を示す図である。図46は、任意のユーザが通信端末をストレージに接続させて表示した仮想ルームリスト画面の一例を示す図である。図47は、各拠点における表示画像のサムネイルを選択するための拠点表示画像選択画面の一例を示す図である。
なお、この場合の通信システム1bの説明において、図44と図1との相違を説明する。図44の拠点Aは手術室であるが、(1)~(6)の処理の流れについては図1と同様でよい。図44において、患者は手術台355に乗せられ、医師等の医療従事者による手術を受ける。医療従事者(ユーザに相当する)は鉗子やメスなど各種の術具354を使用して、患者を手術する。また、医療従事者はスマートグラス88を装着でき、医療従事者の術野の画像を通信ネットワークNに送信できる。また、手術室には、術場カメラ351、術野カメラ352、内視鏡353など、各種のカメラが撮像装置10と同様の撮像装置として配置される。また、これらの撮像装置は何れも広視野画像を生成するための画像を撮像する撮像機能を有していてもよい。手術室の全ての撮像装置及びスマートグラス88は仮想ルームと対応付けられる例として説明する。
手術室には、患者のバイタルや医療機器の動作状態等をモニターするメインユニット356が配置される。メインユニット356が本実施形態の通信端末30に相当する。手術室にある通信端末30(メインユニット356)は図1の機能に加えて、内視鏡353や術野カメラ352の映像を受信する機能も備えていてもよい。通信端末30は受信した広視野画像を含む映像をディスプレイ306に表示できるし、情報処理システム50に通信端末30の拠点の映像として送信することができる。操作パネル357は各種操作を受け付ける入力インターフェースであって、医療従事者が手術室にある機器を、操作パネル357を介して操作できるようにしてもよい。また、内視鏡353、術場カメラ351及び術野カメラ352は通信端末30を介さずに直接、情報処理システム50と通信してもよい。このように、複数の撮像装置10を同じ仮想ルームに対応付けることができるため、遠隔拠点のユーザは拠点Aの現場の様々なシーンを切り取った広視野画像の録画を要求することができる。例えば、患者の体内を撮像した映像を録画したい場合には内視鏡353に対応する撮像装置の映像に対して録画要求を送信し、手術室全体の状況を録画したい場合には術場カメラ351に対応する撮像装置の映像に対して録画要求を送信することができる。
また、通信端末30は電子カルテシステムの機能を備えていてもよいし、電子カルテシステムと通信する機能を備えていてもよい。通信端末30はディスプレイ306に電子カルテの情報を表示してもよい。また、ストレージ90が電子カルテシステムであってもよい。このような場合に、録画要求に応じて録画した広視野画像(及び関連付けられた視点情報)の録画データは、関連付け処理部53によって患者の電子カルテと関連付けて保存されてもよい。また、ストレージ90の保存場所が示すフォルダは、患者や手術ごとに分類されていてもよい。また、仮想ルーム情報記憶部5002には、患者や手術内容を示す情報が関連付けて記憶されていてもよい。このようにすることで、通信端末30の閲覧画面に常に患者や手術に関する情報を表示し続けることができる。
図45は、遠隔医療の場合において仮想ルームに撮像装置を対応付けるための仮想ルーム対応付け画面860の一例を示す図である。図45の説明では主に図22との相違を説明する。
遠隔医療の場合、仮想ルーム対応付け画面860には、例えば遠隔で行われる手術や診察に関連付けられた仮想ルーム861の一覧が表示される。拠点Aには全天球カメラである撮像装置10を含む医療用カメラが対応付けられる。医療用カメラは、内視鏡(T111)、手術室内で術野撮像に用いる術場カメラ、顕微鏡画像を撮像するカメラ等を含む。
このように、医療現場の場合、複数のカメラが使用されるため、図45に示すように、複数の手術のうちのいずれかを選択するだけでなく、各手術で使用された複数のカメラ(T111,T222,T333,T444)のうちの特定のカメラを選択するためのボタンが表示されている。
また、図36に対応する図46の仮想ルームリスト画面800では、カメラ毎のサムネイル画像806が表示される。そして、図37に対応する図47の拠点表示画像選択画面810では、録画された日時及び手術を特定する情報(手術名等)812以外に、選択されたカメラを特定する情報(カメラ名等)807も表示される。また、図37と同様に、各拠点で表示された所定領域画像に係るサムネイル画像816が表示され、各サムネイル画像816の上部には、録画時に閲覧していた各拠点のユーザのユーザID817等が示されている。
<主な効果>
以上説明したように、本実施形態の通信システムは、録画の際に動画に係る広視野画像に対応付けて視点情報を保存するため、録画後に広視野画像を再生表示する際に、録画の際に所定の通信端末で表示されていた広視野画像における所定領域を再生表示することができる。この場合、視点情報に基づく表示領域(表示枠)651b,653bが表示される。即ち、再生時に閲覧するユーザは、録画時にユーザが見ていた広視野画像の所定領域を後から特定できる。このように、録画後に閲覧するユーザが、録画の際に所定の拠点における所定の通信端末において広視野画像のどの所定領域が表示されていたのかを把握することができれば、所定の拠点ではどの所定領域が注目されていたのかを把握することができるため、その後の考えや行動の参考にすること等が可能である。
また、再生時に閲覧するユーザが仮想の視点を移動させることで、表示される所定領域画像が変更表示された場合であっても、視点情報に基づく表示領域(表示枠)651b,653bが表示されるため、ユーザは録画の際に通信端末で表示されていた広視野画像における所定領域が分かるという効果を奏する。
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、図13などの構成例は、情報処理システム50、撮像装置10、及び、通信端末30による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。情報処理システム50、撮像装置10、通信端末30の処理は、処理内容に応じてさらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
また、上述の装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、情報処理システム50は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。
さらに、情報処理システム50は、開示された処理ステップ、例えば図26、図27,図28,図34等を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム50が有する複数の情報処理装置によって実行され得る。また、情報処理システム50は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
〔付記項〕
上記各実施形態に関しては、以下に示すような内容として表すこともできる。
〔付記項1〕
動画を配信する情報処理システムであって、
通信端末に対して動画を配信する配信部と、
前記通信端末が、前記情報処理システムから配信される際に録画された前記動画に係る広範囲の視野角を有する広視野画像における所定領域である所定領域画像を表示することで、当該所定領域を特定するための視点情報を送信した当該視点情報を受信する受信部と、
前記広視野画像のうち、前記視点情報に基づいて前記配信の際に前記通信端末によって表示されていた前記広視野画像における前記所定領域である所定領域画像を表示部に再生表示する表示端末に対して、前記動画に係る前記広視野画像及び前記視点情報を送信する送信部と、
を有することを特徴とする情報処理システム。
〔付記項2〕
動画を配信する情報処理システムが実行する情報処理方法であって、
前記情報処理システムは、
通信端末に対して動画を配信する配信処理と、
前記通信端末が、前記情報処理システムから配信される際に録画された前記動画に係る広範囲の視野角を有する広視野画像における所定領域である所定領域画像を表示することで、当該所定領域を特定するための視点情報を送信した当該視点情報を受信する受信処理と、
前記広視野画像のうち、前記視点情報に基づいて前記配信の際に前記通信端末によって表示されていた前記広視野画像における前記所定領域である所定領域画像を表示部に再生表示する表示端末に対して、前記動画に係る前記広視野画像及び前記視点情報を送信する送信処理と、
を実行することを特徴とする情報処理システム。
1a、1b 通信システム
10 撮像装置
30 通信端末(録画後に再生表示する場合は「表示端末」ともいう)
32 受付部
33 表示制御部
50 情報処理システム
306 ディスプレイ(表示部の一例)
特開2019-121857号公報

Claims (17)

  1. 通信端末に配信される際に録画された動画を再生表示する表示端末であって、
    前記録画された動画に係る広範囲の視野角を有する広視野画像の再生表示を受け付ける受付部と、
    前記受付部による受け付けによって、前記配信の際に所定の通信端末によって表示されていた前記広視野画像における所定領域を特定するための視点情報に基づいて、前記広視野画像における前記所定領域を示す表示領域を表示部に表示させる表示制御部と、
    を有することを特徴とする表示端末。
  2. 前記表示制御部は、前記視点情報に基づいて、前記広視野画像における前記所定領域である所定領域画像を前記表示部に再生表示させることを特徴とする請求項1に記載の表示端末。
  3. 請求項2に記載の表示端末であって、
    前記受付部は、再生表示されている前記所定領域画像に対する画面操作を受け付け、
    前記表示制御部は、前記受付部によって受け付けられた前記画面操作に基づいて前記広視野画像に対する仮想的な視点を移動させることで、当該移動の後の視点に応じた変更後の前記視点情報に基づいて前記表示領域を変更表示することを特徴とする表示端末。
  4. 前記表示制御部は、前記広視野画像のうち、第1の通信端末によって表示されていた前記広視野画像における第1の所定領域である第1の所定領域画像及び第2の通信端末によって表示されていた前記広視野画像における第2の所定領域である第2の所定領域画像を、一画面で再生表示することを特徴とする請求項3に記載の表示端末。
  5. 動画に係る前記広視野画像の同じ再生経過時間における前記第1の所定領域画像及び前記第2の所定領域画像を再生表示することを特徴とする請求項4に記載の表示端末。
  6. 前記表示制御部は、前記第1の所定領域画像及び前記第2の所定領域画像のうち、いずれか一方を他方よりも拡大表示することを特徴とする請求項4に記載の表示端末。
  7. 前記表示制御部は、前記受付部によって受け付けられた画面操作の内容に応じて、前記第1の所定領域画像及び前記第2の所定領域画像を、一括して、再生表示、前記視点情報で示された元の所定領域画像に戻って再生表示、又は再生表示の一時停止を行うことを特徴とする請求項4に記載の表示端末。
  8. 前記表示制御部は、前記受付部によって受け付けられた画面操作の内容に応じて、再生経過時間の変更に応じた前記所定領域画像を前記表示部に再生表示させることを特徴とする請求項2に記載の表示端末。
  9. 前記表示制御部は、前記受付部によって受け付けられた画面操作の内容に応じて、前記拡大表示した画像を全画面表示させることを特徴とする請求項6に記載の表示端末。
  10. 前記表示制御部は、前記受付部によって受け付けられた画面操作の内容に応じて、前記拡大表示した一方の画像と前記拡大表示しなかった他方の画像とを入れ替え表示することを特徴とする請求項6に記載の表示端末。
  11. 前記広視野画像は、前記表示部に一度に表示できる表示範囲より広範囲の視野角を有することを特徴とする請求項1又は2に記載の表示端末。
  12. 前記広視野画像は、エクイレクタングラー形式の全天球画像、全方位画像、半球画像、3次元パノラマ画像、2次元パノラマ画像、又はVR画像であることを特徴とする請求項11に記載の表示端末。
  13. 動画を配信する情報処理システムと、配信された前記動画を受信して表示する通信端末と、配信される際に録画された前記動画を再生表示する表示端末と、を有する通信システムであって、
    前記通信端末は、
    前記情報処理システムから配信される際に録画された前記動画を受信して、当該動画に係る広範囲の視野角を有する広視野画像における所定領域である所定領域画像を表示し、
    前記情報処理システムに対して、前記所定領域を特定するための視点情報を送信し、
    前記情報処理システムは、
    前記表示端末に対して、前記視点情報を送信し、
    前記表示端末は、
    前記視点情報に基づいて、前記録画された前記広視野画像のうち、配信の際に前記通信端末によって表示されていた前記広視野画像における前記所定領域を示す表示領域を表示部に再生表示する、
    ことを特徴とする通信システム。
  14. 通信端末に配信される際に録画された動画を再生表示する表示端末が実行する表示方法であって、
    前記表示端末は、
    前記録画された動画に係る広範囲の視野角を有する広視野画像の再生表示を受け付け、
    前記受け付けによって、前記配信の際に所定の通信端末によって表示されていた前記広視野画像における所定領域を特定するための視点情報に基づいて、前記広視野画像における前記所定領域を示す表示領域を表示部に表示させる
    ことを特徴とする表示方法。
  15. 動画を配信する情報処理システムと、前記配信された前記動画を受信して表示する通信端末と、前記配信される際に録画された前記動画を再生表示する表示端末と、を有する通信システムが事項する通信方法であって、
    前記通信端末は、
    前記情報処理システムから前記配信される際に録画された前記動画を受信して、当該動画に係る広範囲の視野角を有する広視野画像における所定領域である所定領域画像を表示し、
    前記情報処理システムに対して、前記所定領域を特定するための視点情報を送信し、
    前記情報処理システムは、
    前記表示端末に対して、前記視点情報を送信し、
    前記表示端末は、
    前記視点情報に基づいて、前記録画された前記広視野画像のうち、前記配信の際に前記通信端末によって表示されていた前記広視野画像における前記所定領域を示す表示領域を表示部に表示する、
    ことを特徴とする通信方法。
  16. 通信端末に配信される際に録画された動画を再生表示するコンピュータに、
    前記録画された動画に係る広範囲の視野角を有する広視野画像の再生表示を受け付けさせ、
    前記受け付けによって、前記配信の際に所定の通信端末によって表示されていた前記広視野画像における所定領域を特定するための視点情報に基づいて、前記広視野画像における前記所定領域を示す表示領域を表示部に表示させる、
    ことを特徴とするプログラム。
  17. コンピュータに、
    通信端末に対して動画を配信させ、
    前記通信端末が、情報処理システムから配信される際に録画された前記動画に係る広範囲の視野角を有する広視野画像における所定領域である所定領域画像を表示することで、当該所定領域を特定するための視点情報を送信した当該視点情報を受信させ、
    前記広視野画像のうち、前記視点情報に基づいて前記配信の際に前記通信端末によって表示されていた前記広視野画像における前記所定領域を示す表示領域を表示部に表示する表示端末に対して、前記動画に係る前記広視野画像及び前記視点情報を送信させる、
    ことを特徴とするプログラム。
JP2023050521A 2022-06-17 2023-03-27 表示端末、通信システム、表示方法、通信方法、及びプログラム Pending JP2023184430A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP23179315.9A EP4294019A1 (en) 2022-06-17 2023-06-14 Display terminal, communication system, display method, and communication method
US18/210,665 US20240007610A1 (en) 2022-06-17 2023-06-16 Display terminal, communication system, display method, and communication method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022098304 2022-06-17
JP2022098304 2022-06-17

Publications (1)

Publication Number Publication Date
JP2023184430A true JP2023184430A (ja) 2023-12-28

Family

ID=89333457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023050521A Pending JP2023184430A (ja) 2022-06-17 2023-03-27 表示端末、通信システム、表示方法、通信方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2023184430A (ja)

Similar Documents

Publication Publication Date Title
JP2023129649A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP2014131215A (ja) 画像管理システム、画像管理方法、及びプログラム
JP2020150330A (ja) 画像通信システム、撮像装置、モード切替方法、プログラム
US20220070412A1 (en) Communication terminal, image communication system, method of displaying image, and recording medium
JP2021039468A (ja) 撮影装置、通信システム、通信方法およびプログラム
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
JP2022057800A (ja) 画像通信システム、通信管理装置、通信管理方法及びプログラム
US20230308762A1 (en) Display terminal, information processing system, communication system, displaying method, information processing method, communication method, and recording medium
US20230269482A1 (en) Information processing system, communication system, and image sharing method
TWI522725B (zh) 可與行動裝置連接之相機,及其操作方法
JP2023184430A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2023140923A (ja) 表示端末、情報処理システム、通信システム、表示方法、情報処理方法、通信方法、及びプログラム
EP4294019A1 (en) Display terminal, communication system, display method, and communication method
JP2023130822A (ja) 機器システム、撮像装置、表示方法
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
JP2024079567A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
US20240179267A1 (en) Display terminal, communication system, and display method
US20240179274A1 (en) Display terminal, communication system, display method, communication method, and recording medium
JP2024033276A (ja) 通信システム、情報処理システム、動画作成方法、プログラム
JP2023121637A (ja) 情報処理システム、通信システム、画像送信方法、プログラム
JP2023137080A (ja) 表示端末、表示方法、撮像装置、撮影方法、情報処理システム、情報処理方法、通信システム、通信方法、及びプログラム
JP2023140702A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2023168896A (ja) 表示端末、通信システム、表示方法、通信方法、及びプログラム
JP2024033277A (ja) 通信システム、情報処理システム、映像再生方法、プログラム