JP2019062534A - 通信端末、画像通信システム、表示方法、及びプログラム - Google Patents

通信端末、画像通信システム、表示方法、及びプログラム Download PDF

Info

Publication number
JP2019062534A
JP2019062534A JP2018177017A JP2018177017A JP2019062534A JP 2019062534 A JP2019062534 A JP 2019062534A JP 2018177017 A JP2018177017 A JP 2018177017A JP 2018177017 A JP2018177017 A JP 2018177017A JP 2019062534 A JP2019062534 A JP 2019062534A
Authority
JP
Japan
Prior art keywords
image
predetermined area
communication terminal
information
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018177017A
Other languages
English (en)
Other versions
JP7151316B2 (ja
Inventor
洋平 大村
Yohei Omura
洋平 大村
健一郎 森田
Kenichiro Morita
健一郎 森田
毅史 本間
Takashi Homma
毅史 本間
拓也 曽根田
Takuya Soneda
拓也 曽根田
真夕 計田
Mayu Hakata
真夕 計田
安中 英邦
Hidekuni Yasunaka
英邦 安中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP18196289.5A priority Critical patent/EP3461124B1/en
Priority to US16/140,945 priority patent/US10484603B2/en
Publication of JP2019062534A publication Critical patent/JP2019062534A/ja
Priority to US16/596,782 priority patent/US10863086B2/en
Priority to JP2022154532A priority patent/JP7452596B2/ja
Application granted granted Critical
Publication of JP7151316B2 publication Critical patent/JP7151316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】各拠点で独自に決めた所定領域画像を表示させる場合、任意の拠点の利用者が他拠点で全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができる、通信端末、画像通信システム、表示方法、及びプログラムを提供する。【解決手段】通信端末(自端末)は、全体画像において他の通信端末によって表示中の所定領域画像が自端末で表示中の所定領域画像を基準として、どの位置にあるかを示す注視点マークm41やどの方向にあるかを示す表示方向マークm11等を表示する。【選択図】図34

Description

本発明は、通信端末、画像通信システム、表示方法、及びプログラムに関するものである。
インターネット等の通信ネットワークを介して、遠隔地との間で遠隔会議を行う会議システムが普及している。この会議システムにおいては、遠隔会議を行う出席者等の当事者の一方がいる会議室において、遠隔会議システムの通信端末を用いて会議の当事者などの会議室の画像および発言などの音声を撮影および収集し、これらをデジタルデータに変換して相手方の通信端末に送信している。これにより、相手方の会議室のディスプレイに画像表示およびスピーカにより音声出力して、映像通話(ビデオ通話)を行なうことができるため、実際の会議に近い状態で遠隔地間の会議を行うことができる(特許文献1参照)。
また、通信端末に全天球パノラマ画像をリアルタイムに取得可能な撮影装置を接続し、この撮影装置から取得された全天球パノラマ画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球パノラマ画像から当該画像の一部である所定領域を示す所定領域画像をディスプレイ等に表示する技術が知られている(特許文献2参照)。これにより、各拠点の利用者は、全天球パノラマ画像の全体画像のうちで自分が気になる所定領域を示す所定領域画像を独自に決めて表示することができる。
しかしながら、同じ全体画像について、各拠点で独自に決めて所定領域画像を表示させる場合、任意の拠点の利用者は、他拠点で全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができない。そのため、会議等の最中に、会議等の話題とは無関係な所定領域画像を表示したままになっている場合、この拠点の利用者は、会議等の話題に付いて行きづらいという課題が生じる。
請求項1に係る発明は、全体画像における所定領域の画像を表示可能な通信端末であって、前記全体画像における第1の所定領域の画像である第1の所定領域画像を表示している他の通信端末から送信され、当該第1の所定領域を特定するための第1の所定情報を受信する受信手段と、前記全体画像における第2の所定領域の画像である第2の所定領域画像を前記通信端末が表示している場合に、当該第2の所定領域を特定するための第2の所定情報及び前記受信手段によって受信された前記第1の所定情報に基づき、前記全体画像において前記第2の所定領域に対する第1の所定領域の位置を算出する算出手段と、前記算出手段によって算出された位置を示す位置情報を前記第2の所定領域画像に含めて表示する表示制御手段と、を有することを特徴とする通信端末である。
以上説明したように本発明によれば、任意の拠点の利用者は、他拠点で全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができる。よって、例えば、従来に比べて会議等の話題に付いて行き易くなるという効果を奏する。
(a)は撮影装置の左側面図であり、(b)は撮影装置の正面図であり、(c)は撮影装置の平面図である。 撮影装置の使用イメージ図である。 (a)は撮影装置で撮影された半球画像(前)、(b)は撮影装置で撮影された半球画像(後)、(c)はメルカトル図法により表された画像を示した図である。 (a)メルカトル画像で球を被う状態を示した概念図、(b)全天球パノラマ画像を示した図である。 全天球パノラマ画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は通信端末のディスプレイに所定領域の画像が表示されたている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 球座標による3次元ユークリッド空間内の点を示した図である。 本発明の実施形態に係る画像通信システムの概略図である。 撮影装置のハードウェア構成図である。 ビデオ会議端末のハードウェア構成図である。 通信管理システム及びPCのハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像通信システムの一部の機能ブロック図である。 画像通信システムの一部の機能ブロック図である。 画像種類管理テーブルを示す概念図である。 撮影装置管理テーブルを示す概念図である。 所定領域管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 画像種類管理テーブルを示す概念図である。 所定領域管理テーブルを示す概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 通信セッション(仮想の会議室)の選択画面を示した図である。 画像種類情報の管理処理を示すシーケンス図である。 映像通話の状態を示したイメージ図であり、(a)は撮影装置1aを利用しない場合を示し、(b)は撮影装置1aを利用する場合を示している。 映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。 拠点Bにおけるディスプレイの表示例を示し、(a)は、撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示し、図27(b)は、撮影装置1a,1bから送られて来た画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示し、図27(c)は図27(b)の所定領域画像を変更した場合を示した図である。 所定領域情報を共有する処理を示すシーケンス図である。 所定領域画像の表示処理を示したフローチャートである。 自拠点の所定領域画像における他拠点の注視点の位置の導出方法を示した図である。 (a)角度の定義を示した図、(b)角度範囲の定義を示した図である。 主表示領域の画像を示しており、表示方向マークを含む所定領域画像の表示例である。 主表示領域の画像を示しており、注視点マークを含む所定領域画像の表示例である。 主表示領域の画像を示しており、注視点マークおよび表示方向マークを含む所定領域画像の表示例である。 所定領域情報を共有する他の処理を示すシーケンス図である。
以下、図面を用いて、本発明の実施形態について説明する。
〔第1の実施形態〕
まず、図1乃至図34を用いて、第1の実施形態について説明する。
<<実施形態の概略>>
<全天球パノラマ画像の生成方法>
図1乃至図7を用いて、全天球パノラマ画像の生成方法について説明する。
まず、図1を用いて、撮影装置1の外観を説明する。撮影装置1は、3次元の全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は撮影装置の左側面図であり、図1(b)は撮影装置の正面図であり、図1(c)は撮影装置の平面図である。
図1(a)に示されているように、撮影装置1は、人間が片手で持つことができる大きさである。また、図1(a),図1(b),図1(c)に示されているように、撮影装置1の上部には、正面側(前側)に撮像素子103a及び背面側(後側)に撮像素子103bが設けられている。これら撮像素子(画像センサ)103a,103bは、半球画像(画角180°以上)の撮影が可能な光学部材(例えば、後述する図10の魚眼レンズ102a,102b)と併せて用いられる。また、図1(b)に示されているように、撮影装置1の正面側と反対側の面には、シャッターボタン等の操作部115が設けられている。
次に、図2を用いて、撮影装置1の使用状況を説明する。なお、図2は、撮影装置の使用イメージ図である。撮影装置1は、図2に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれユーザの周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、撮影装置1で撮影された画像から全天球パノラマ画像が作成されるまでの処理の概略を説明する。なお、図3(a)は撮影装置で撮影された半球画像(前側)、図3(b)は撮影装置で撮影された半球画像(後側)、図3(c)はメルカトル図法により表された画像(以下、「メルカトル画像」という)を示した図である。図4(a)はメルカトル画像で球を被う状態を示した概念図、図4(b)は全天球パノラマ画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、撮影装置1によって合成され、図3(c)に示されているように、メルカトル画像が作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、メルカトル画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球パノラマ画像が作成される。このように、全天球パノラマ画像は、メルカトル画像が球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球パノラマ画像は、静止画であっても動画であってもよい。
以上のように、全天球パノラマ画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球パノラマ画像の一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。なお、所定領域情報、仮想カメラICの位置座標ではなく、所定領域Tである仮想カメラICの撮影領域(X,Y,Z)によって示してもよい。以下では、仮想カメラICの撮影方向(rH,rV)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、rHはHorizontal Radian、rVはVertical Radian、αは画角(Angle)を示す。即ち、撮影方向(rH,rV)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
Lf=tan(α/2)・・・(式1)
図8は、球座標による3次元ユークリッド空間内の点を示した図である。中心点CPを球面極座標系で表現したときの位置座標を(r、θ、φ)とする。(r、θ、φ)は、それぞれ動径、極角、方位角である。動径rは、全天球パノラマ画像を含む三次元の仮想空間の原点から中心点CPまでの距離であるため、fに等しい。図8は、これらの関係を表した図である。以降、仮想カメラICの位置座標(r,θ、φ)を用いて説明する。
<画像通信システムの概略>
続いて、図9を用いて、本実施形態の画像通信システムの構成の概略について説明する。図9は、本実施形態の画像通信システムの構成の概略図である。
図9に示されているように、本実施形態の画像通信システムは、撮影装置1a,1b、ビデオ会議端末3a,3b、ディスプレイ4a,4b、通信管理システム5、PC(Personal Computer)7、撮影装置8、及びスマートフォン9によって構成され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
これらのうち、撮影装置1a,1bは、上述のように、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。一方、撮影装置8は、被写体や風景等を撮影して一般の平面画像を得るための一般のデジタルカメラである。
ビデオ会議端末3a,3bは、ビデオ会議専用の端末であり、USB(Universal Serial Bus)ケーブル等の有線ケーブルを介して映像通話(ビデオ通話)の画像を、それぞれディスプレイ4a,4bに表示する。ビデオ会議端末3aは、通常は後述の図11のカメラ312で撮影するが、撮影装置1aを取り付けるクレードル2aに有線ケーブルで接続されると、撮影装置1aが優先され、全天球パノラマ画像の元になる2つの半球画像を得ることができる。有線ケーブルを利用する場合、クレードル2aは、撮影装置1aとビデオ会議端末3aとの間の通信を行なうだけでなく、撮影装置1aに電源供給及び撮影装置1aを支える役割を果たす。なお、ここでは、撮影装置1a、クレードル2a、ビデオ会議端末3a、及びディスプレイ4aは、同じ拠点である拠点Aに置かれている。また、拠点Aには、4人の利用者A1,A2,A3,A4が、映像通話に参加している。一方、ビデオ会議端末3d、及びディスプレイ4dは、同じ拠点である拠点Dに置かれている。また、拠点Dには、3人の利用者D1,D2,D3が、映像通話に参加している。
通信管理システム5は、ビデオ会議端末3a,3b、PC7、及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理システムは、通信制御システムでもある。ここでは、特殊画像は全天球パノラマ画像である。なお、通信管理システム5は、ビデオ通信のサービスを行なうサービス会社等に設置されている。また、通信管理システム5は、単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
PC7は、撮影装置8が取り付けられることで、映像通話が可能となる。なお、ここでは、PC7、及び撮影装置8は、同じ拠点である拠点Cに置かれている。また、拠点Cには、1人の利用者Cが映像通話に参加している。
スマートフォン9は、自装置に設けられた後述のディスプレイ917に映像通話の画像を表示する。スマートフォン9は、通常は自装置に設けられた後述のCMOS(Complementary Metal Oxide Semiconductor)センサ905等で撮影するが、WiFi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、撮影装置1bで得られた全天球パノラマ画像の元になる2つの半球画像データを取得することができる。無線通信技術を利用する場合、クレードル2bは、撮影装置1bに電源供給と撮影装置1bを支えるだけの役割を果たす。なお、ここでは、撮影装置1b、クレードル2b、及びスマートフォン9は、同じ拠点である拠点Bに置かれている。また、拠点Bには、2人の利用者B1,B2が、映像通話に参加している。
また、ビデオ会議端末3a,3d、PC7、及びスマートフォン9は、通信端末の一例である。各通信端末には、OpenGL ESがインストールされており、全天球パノラマ画像の一部の領域を示す所定領域情報を作成したり、他の通信端末から送られて来た全天球画像パノラマ画像から所定領域画像を作成したりすることができる。
なお、図9に示す各端末(通信端末、ディスプレイ、撮影装置)、装置、利用者の配置は一例であり、他の例であってもよい。例えば、拠点Cで、撮影装置8に代えて、全天球パノラマ画像の撮影が可能な撮影装置を利用者してもよい。また、通信端末には、デジタルテレビ、スマートウオッチ、カーナビゲーション装置等も含まれる。また、以降、撮影装置1a,1bのうち任意の撮影装置を表す場合には、「撮影装置1」として表す。また、ビデオ会議端末3a,3bのうち任意のビデオ会議端末を表す場合には、「ビデオ会議端末3」として表す。更に、ディスプレイ4a,4bのうち任意のディスプレイを表す場合には、「ディスプレイ4」として表す。
<<実施形態のハードウェア構成>>
次に、図10乃至図13を用いて、本実施形態の撮影装置1、ビデオ会議端末3、通信管理システム5、PC7、及びスマートフォン9のハードウェア構成を詳細に説明する。なお、撮影装置8は、一般のカメラであるため、詳細な説明は省略する。
<撮影装置1のハードウェア構成>
まず、図10を用いて、撮影装置1のハードウェア構成を説明する。図10は、撮影装置1のハードウェア構成図である。以下では、撮影装置1は、2つの撮像素子を使用した全天球(全方位)撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置1と同じ機能を有するようにしてもよい。
図10に示されているように、撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、及びアンテナ117aによって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOSセンサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、及び電子コンパス118なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているようなメルカトル画像のデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。撮影装置1によっては、ディスプレイ(例えば、ビデオ会議端末3aのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置1には表示部(ディスプレイ)が設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みのメルカトル画像のデータを記憶する。
操作部115は、種々の操作ボタンや電源スイッチ、シャッターボタン、表示と操作の機能を兼ねたタッチパネルなどの総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶されたメルカトル画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してビデオ会議端末3a等の外部装置に送信されたりする。
通信部117は、撮影装置1に設けられたアンテナ117aを介して、WiFiやNFC(Near Field Communication)等の近距離無線技術によって、ビデオ会議端末3a等の外部装置と通信を行う。この通信部117によっても、メルカトル画像のデータをビデオ会議端末3aの外部装置に送信することができる。
電子コンパス118は、地球の磁気から撮影装置1の方位及び傾き(Roll回転角)を算出し、方位・傾き情報を出力する。この方位・傾き情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
<ビデオ会議端末のハードウェア構成>
次に、図11を用いて、ビデオ会議端末3のハードウェア構成を説明する。図11は、ビデオ会議端末のハードウェア構成図である。図11に示されているように、ビデオ会議端末3は、CPU301、ROM302、RAM303、フラッシュメモリ304、SSD305、メディアI/F307、操作ボタン308、電源スイッチ309、バスライン310、ネットワークI/F311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、音入出力I/F316、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319のアンテナ319aを備えている。
これらのうち、CPU301は、ビデオ会議端末3全体の動作を制御する。ROM302は、IPL(Initial Program Loader)等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。フラッシュメモリ304は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。SSD(Solid State Drive)305は、CPU301の制御にしたがってフラッシュメモリ304に対する各種データの読み出し又は書き込みを制御する。なお、SSDに代えてHDDを用いてもよい。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。操作ボタン308は、ビデオ会議端末3の宛先を選択する場合などに操作されるボタンである。電源スイッチ309は、ビデオ会議端末3の電源のON/OFFを切り換えるためのスイッチである。
また、ネットワークI/F311は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。カメラ312は、CPU301の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F313は、カメラ312の駆動を制御する回路である。マイク314は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F316は、CPU301の制御に従ってマイク314及びスピーカ315との間で音信号の入出力を処理する回路である。ディスプレイI/F317は、CPU301の制御に従って外付けのディスプレイ4に画像データを送信する回路である。外部機器接続I/F318は、各種の外部機器を接続するためのインターフェースである。近距離通信回路319は、NFC(登録商標)、Bluetooth(登録商標)等の通信回路である。
また、バスライン310は、図11に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
ディスプレイ4は、被写体の画像や操作用アイコン等を表示する液晶や有機EL(Electro Luminescence)によって構成された表示手段の一種である。また、ディスプレイ4は、ケーブル4cによってディスプレイI/F317に接続される。このケーブル4cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
なお、カメラ312は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOSセンサや、CCDセンサ等が用いられる。外部機器接続I/F318には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、CPU301の制御に従って、内蔵型のカメラ312に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU301の制御に従って、それぞれが内蔵型のマイク314や内蔵型のスピーカ315に優先して、外付けマイクや外付けスピーカが駆動する。
また、記録メディア306は、ビデオ会議端末3に対して着脱自在な構成となっている。また、CPU301の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ304に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
<通信管理システム、PCのハードウェア構成>
次に、図12を用いて、通信管理システム5及びPC7のハードウェア構成を説明する。図12は、通信管理システム及びPCのハードウェア構成図である。なお、通信管理システム5及びPC7は、ともにコンピュータで同じ構成を有しているため、以下では、通信管理システム5の構成について説明し、PC7の構成の説明は省略する。
通信管理システム5は、通信管理システム5全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、通信管理システム5用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク100を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD−RW(Compact Disc -ReWritable)513に対する各種データの読み出しを制御するCD−RWドライブ514、及び、上記各構成要素を図12に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
<スマートフォンのハードウェア構成>
次に、図13を用いて、スマートフォンのハードウェアについて説明する。図13は、スマートフォンのハードウェア構成図である。図13に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、加速度・方位センサ906、メディアI/F908、GPS受信部909を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、IPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOSセンサ905は、CPU901の制御に従って被写体(主に自画像)を撮像し画像データを得る。加速度・方位センサ906は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F908は、フラッシュメモリ等の記録メディア907に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部909は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路911、カメラ912、撮像素子I/F913、マイク914、スピーカ915、音入出力I/F916、ディスプレイ917、外部機器接続I/F918、近距離通信回路919、近距離通信回路919のアンテナ919a、及びタッチパネル921を備えている。
これらのうち、遠距離通信回路911は、通信ネットワーク100を介して、他の機器と通信する回路である。カメラ912は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F913は、カメラ912の駆動を制御する回路である。マイク914は、音声を入力する内蔵型の集音手段の一種である。音入出力I/F916は、CPU901の制御に従ってマイク914及びスピーカ915との間で音信号の入出力を処理する回路である。ディスプレイ917は、被写体の画像や各種アイコン等を表示する液晶や有機ELなどの表示手段の一種である。外部機器接続I/F918は、各種の外部機器を接続するためのインターフェースである。近距離通信回路919は、NFCやBluetooth等の通信回路である。タッチパネル921は、利用者がディスプレイ917を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の機能構成>>
次に、図14乃至図20を用いて、本実施形態の機能構成について説明する。図14及び図15は、画像通信システムの一部の機能ブロック図である。
<撮影装置1aの機能構成>
図14に示されているように、撮影装置1aは、受付部12a、撮像部13a、集音部14a、通信部18a、及び記憶・読出部19aを有している。これら各部は、図10に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、撮影装置1は、図10に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000aを有している。記憶部1000aには、自装置のGUID(Globally Unique Identifier)が記憶されている。
なお、撮影装置1bは、受付部12b、撮像部13b、集音部14b、通信部18b、記憶・読出部19b、及び記憶部1000bを有しているが、それぞれ、撮影装置1aにおける受付部12a、撮像部13a、集音部14a、通信部18a、記憶・読出部19a及び記憶部1000aと同様の機能を実現するため、これらの説明を省略する。
(撮影装置1aの各機能構成)
次に、図10及び図14を用いて、撮影装置1aの各機能構成について更に詳細に説明する。
撮影装置1の受付部12aは、主に、図10に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13aは、主に、図10に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、風景等を撮像し、撮影画像データを得る。
集音部14aは、図10に示されている108及び音処理ユニット109、並びにCPU111の処理によって実現され、撮影装置1aの周囲の音を集音する。
通信部18aは、主に、CPU111の処理によって実現され、ビデオ会議端末3aの通信部38aと、NFC規格、BlueTooth、WiFi等による近距離無線通信技術によって通信することができる。
記憶・読出部19aは、主に、図10に示されているCPU111の処理によって実現され、記憶部1000aに各種データ(または情報)を記憶したり、記憶部1000aから各種データ(または情報)を読み出したりする。
<ビデオ会議端末3aの機能構成>
図14に示されているように、ビデオ会議端末3aは、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、算出部37a、通信部38a、及び記憶・読出部39aを有している。これら各部は、図11に示されている各構成要素のいずれかが、フラッシュメモリ304からRAM303上に展開されたビデオ会議端末3a用プログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。
また、ビデオ会議端末3aは、図11に示されているROM302、RAM303、及びフラッシュメモリ304によって構築される記憶部3000aを有している。この記憶部3000aには、画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aが構築されている。これらのうち、画像種類管理DB3001aは、図16に示されている画像種類管理テーブルによって構成されている。撮影装置管理DB3002aは、図17に示される撮影装置管理テーブルによって構成されている。所定領域管理DB3003aは、図18に示されている所定領域管理テーブルによって構成されている。
なお、ビデオ会議端末3dは、送受信部31d、受付部32d、画像・音処理部33d、表示制御部34d、判断部35d、作成部36d、算出部37d、通信部38d、記憶・読出部39d、及び記憶部3000dを有しているが、それぞれ、ビデオ会議端末3aにおける送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、作成部36a、算出部37a、通信部38a、記憶・読出部39a、及び記憶部3000aと同様の機能を実現するため、これらの説明を省略する。また、ビデオ会議端末3dにおける記憶部3000dには、画像種類管理DB3001d、撮影装置管理DB3002d、及び所定領域管理DB3003dが構築されているが、ビデオ会議端末3aにおける画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aと同様のデータ構造であるため、これらの説明を省略する。
(画像種類管理テーブル)
図16は、画像種類管理テーブルを示す概念図である。この画像種類管理テーブルでは、画像データID、送信元端末の宛先の一例であるIPアドレス、及びソース名が関連付けて記憶されて管理されている。これらのうち、画像データIDは、ビデオ通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先端末(受信側の通信端末)は、受信した画像データの送信元端末を特定することができる。送信元端末のIPアドレスは、関連付けられている画像データIDで示される画像データを送信する通信端末のIPアドレスを示す。ソース名は、関連付けられている画像データIDで示される画像データを出力する撮影装置を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、ビデオ会議端末3a等の各通信端末によって作成された名称である。
例えば、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」、「1.3.2.3」の4つの通信端末は、それぞれ、画像データID「RS001」、「RS002」、「RS003」、「RS004」によって示される画像データを送信していることが表されている。更に、各通信端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」である旨を示している。なお、特殊画像は、ここでは、全天球パノラマ画像である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。また、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
(撮影装置管理テーブル)
図17は、撮影装置管理テーブルを示す概念図である。この撮影装置管理テーブルでは、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのうちのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。このベンダIDとプロダクトIDは、ビデオ会議端末等の通信端末の工場出荷時から記憶されているが、工場出荷後に追加で記憶してもよい。
(所定領域管理テーブル)
図18は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルでは、撮影画像データの送信元の通信端末のIPアドレス、撮影画像データの送信先の通信端末のIPアドレス、及び、撮影画像データの送信先の通信端末で表示中の所定領域画像を示す所定領域情報が関連付けられて記憶されて管理されている。なお、撮影画像データの送信先の通信端末は、所定領域情報の送信元の通信端末でもある。所定領域情報は、図6及び図7に示されているように、撮影画像から、この撮影画像における所定領域Tの画像(所定領域画像)に変換するための変換パラメータである。なお、IPアドレスは、宛先情報の一例であって、宛先情報には、MAC(Media Access Control)アドレス、通信端末を特定するための端末ID(Identification)等が含まれる。また、ここでは、IPアドレスは、IPv4アドレスを簡略化して表されている。IPアドレスは、IPv6でもよい。
例えば、図18の所定領域管理テーブルの1行目から3行目までは、ビデオ会議端末3aのIPアドレスが「1.2.1.3」の場合、ビデオ会議端末3aから送信された撮影画像データが、通信管理システム5を介して、IPアドレスが「1.2.2.3」のビデオ会議端末3d、IPアドレスが「1.3.1.3」のPC7、及びIPアドレスが「1.3.2.3」のスマートフォン9に送信された旨が管理されている。更に、ビデオ会議端末3dは、所定領域情報(r=10,θ=20,φ=30)の送信元の通信端末である旨が管理されている。同様に、PC7は、所定領域情報(r=10,θ=30,φ=40)の送信元の通信端末である旨が管理されている。また、スマートフォン9は、所定領域情報(r=30,θ=40,φ=50)の送信元の通信端末である旨が管理されている。
また、送受信部31aによって、既に管理されている撮影画像データの送信元の通信端末のIPアドレス及び撮影画像データの送信先の通信端末のIPアドレスと同じ組のIPアドレスを含む所定領域情報が新たに受信された場合には、記憶・読出部39aは既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。
(ビデオ会議端末3aの各機能構成)
次に、図11及び図14を用いて、ビデオ会議端末3aの各機能構成について更に詳細に説明する。
ビデオ会議端末3aの送受信部31aは、主に、図11に示されているネットワークI/F311及びCPU301の処理によって実現され、通信ネットワーク100を介して、通信管理システム5と各種データ(または情報)の送受信を行う。
受付部32aは、主に操作ボタン308及びCPU301による処理によって実現され、利用者から各種の選択又は入力を受け付ける。また、操作ボタン308だけでなく、他の入力手段としてタッチパネル等を用いてもよい。
画像・音処理部33aは、図11に示されているCPU301からの命令によって実現され、カメラ312が被写体を撮像して得た画像データに対して画像処理を行なう。また、画像・音処理部33aは、マイク314によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行なう。
更に、画像・音処理部33aは、表示制御部34がディスプレイ4に画像を表示させるため、ソース名等の画像種類情報に基づき、他の通信端末から受信された画像データに対して画像処理を行なう。具体的には、画像種類情報が特殊画像である旨を示す場合には、画像・音処理部33aは、画像データ(例えば、図3(a),(b)に示されているような各半球画像のデータ)に基づいて、図4(b)に示されているような全天球パノラマ画像データに変換することで全天球パノラマ画像データを作成し、更に、図6(b)に示されているような所定領域画像を作成する。また、画像・音処理部33aは、他の通信端末から通信管理システム5を介して受信された音データに係る音声信号をスピーカ315に出力し、スピーカ315から音声を出力させる。
表示制御部34aは、主にディスプレイI/F317及びCPU301の処理によって実現され、ディスプレイ4に各種画像や文字等を表示させるための制御を行う。
判断部35aは、主にCPU301の処理によって実現され、例えば、撮影装置1aから受信された画像データに係る画像種類を判断する。
作成部36aは、主にCPU301の処理によって実現され、判断部35aによって、一般画像又は特殊画像(ここでは、全天球パノラマ画像)と判断された結果に基づき、上述の命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部35aが、一般画像であると判断した場合には、作成部36aは、一般画像である旨を示すソース名「Video」を作成する。一方、判断部35aが、特殊画像であると判断した場合には、作成部36aは、特殊画像である旨を示すソース名「Video_Theta」を作成する。
算出部37aは、主にCPU301の処理によって実現され、所定領域T2を示す所定領域情報(i2)、及び送受信部31aによって他の通信端末から受信された所定領域情報(i1)に基づき、撮影画像において所定領域T2に対する所定領域T1の位置(位置情報)を算出する。なお、所定領域情報(i1)は、撮影画像における所定領域T1を示している。また、撮影画像の全体が表示された場合の画像は、「全体画像」ともいう。
通信部38aは、主に、近距離通信回路319、アンテナ318a、及びCPU301の処理によって実現され、撮影装置1aの通信部18aと、NFC、BlueTooth、WiFi等による近距離無線技術によって通信することができる。なお、通信部38aと送受信部31aとは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。
記憶・読出部39aは、主に、図11に示されているCPU301の処理によって実現され、記憶部3000に各種データ(または情報)を記憶したり、記憶部3000から各種データ(または情報)を読み出したりする。
<通信管理システムの機能構成>
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。通信管理システム5は、送受信部51、判断部55、生成部56、及び記憶・読出部59を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理システム5用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、通信管理システム5は、図12に示されているRAM503、及びHD504によって構築される記憶部5000を有している。この記憶部5000には、セッション管理DB5001、画像種類管理DB5002、及び所定領域管理DB5003が構築されている。このうち、セッション管理DB5001は、図19に示されているセッション管理テーブルによって構成されている。画像種類管理DB5002は、図20に示される画像種類管理テーブルによって構成されている。所定領域管理DB5003は、図21に示される所定領域管理テーブルによって構成されている。
(セッション管理テーブル)
図19は、セッション管理テーブルを示す概念図である。このセッション管理テーブルでは、セッションID、及び参加した通信端末のIPアドレスが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室ごとに生成される。セッションIDは、ビデオ会議端末3a等の各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のIPアドレスは、関連付けられているセッションIDで示される仮想の会議室に参加した通信端末のIPアドレスを示している。
(画像種類管理テーブル)
図20は、画像種類管理テーブルを示す概念図である。図20に示されている画像種類管理テーブルは、図16に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションIDと同じセッションIDが関連付けて管理されている。ここでは、同じセッションID「se101」で示される仮想の会議室には、IPアドレスがそれぞれ「1.2.1.3」、「1.2.2.3」、「1.3.1.3」の3つの通信端末が参加していることが示されている。なお、通信管理システム5において、ビデオ会議端末3a等の通信端末で管理される、画像データID、送信元端末のIPアドレス、及び画像種類情報と同じものを管理するのは、新たな通信端末が仮想の会議室に入る場合等に、既に映像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に映像通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行なう必要がない。
(所定領域管理テーブル)
図21は、所定領域管理テーブルを示す概念図である。この所定領域管理テーブルは、基本的に図18に示されている所定領域管理テーブルと同様のデータ構造を有している。但し、後述のように、送受信部51は、各通信端末に一定期間(例えば30秒)毎に最新の所定領域情報を送信するため、所定領域情報が一定期間毎に送信されるまでの間に、送受信部51によって受信された全ての所定領域情報は削除されずに保存されている。図21では、新しい所定領域情報ほど上位で管理されている。
(通信管理システムの各機能構成)
次に、図12及び図15を用いて、通信管理システム5の各機能構成について詳細に説明する。
通信管理システム5の送受信部51は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、通信ネットワーク100を介してビデオ会議端末3a,3d、又はPC7と各種データ(または情報)の送受信を行う。
判断部55は、主にCPU501の処理によって実現され、各種判断を行なう。
生成部56は、主にCPU501の処理によって実現され、画像データIDを生成する。
記憶・読出部59は、主に、図12に示されているHDD505、及びCPU501の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<PCの機能構成>
次に、図12及び図14を用いて、PC7の機能構成について詳細に説明する。PC7は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、PC7は、送受信部71、受付部72、画像・音処理部73、表示制御部74、判断部75、作成部76、算出部77、通信部78、及び記憶・読出部79を有している。これら各部は、図12に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたPC7用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
また、PC7は、図12に示されているROM502、RAM503、及びHD504によって構築される記憶部7000を有している。この記憶部7000には、画像種類管理DB7001、撮影装置管理DB7002、及び所定領域管理DB7003が構築されている。なお、画像種類管理DB7001、撮影装置管理DB7002、及び所定領域管理DB7003は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aと同じデータ構造であるため、これらの説明を省略する。
(PCの各機能構成)
PC7の送受信部71は、主に、図12に示されているネットワークI/F509及びCPU501の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部72は、主にキーボード511、マウス512及びCPU501の処理によって実現され、受付部32aと同様の機能を実現する。画像・音処理部73は、主にCPU501からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部74は、主にCPU501の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部75は、主にCPU501の処理によって実現され、判断部35aと同様の機能を実現する。作成部76は、主にCPU501の処理によって実現され、作成部36aと同様の機能を実現する。算出部77は、主にCPU501の処理によって実現され、算出部37aと同様の機能を実現する。通信部78は、主に、CPU501の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部79aは、CPU501の処理によって実現され、記憶部7000に各種データ(または情報)を記憶したり、記憶部7000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図13及び図14を用いて、スマートフォン9の機能構成について詳細に説明する。スマートフォン9は、基本的にビデオ会議端末3aと同じ機能を有している。即ち、図14に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出部99を有している。これら各部は、図13に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図13に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、画像種類管理DB9001、撮影装置管理DB9002、及び所定領域管理DB9003が構築されている。なお、画像種類管理DB9001、撮影装置管理DB9002、及び所定領域管理DB9003は、それぞれ画像種類管理DB3001a、撮影装置管理DB3002a、及び所定領域管理DB3003aと同じデータ構成であるため、これらの説明を省略する。
(スマートフォンの各機能構成)
スマートフォン9の送受信部91は、主に、図13に示されている遠距離通信回路911及びCPU901の処理によって実現され、送受信部31aと同様の機能を実現する。
受付部92は、主にタッチパネル921及びCPU901の処理によって実現され、受付部32aと同様の機能を実現する。
画像・音処理部93は、主にCPU901からの命令によって実現され、画像・音処理部33aと同様の機能を実現する。表示制御部94は、主にCPU901の処理によって実現され、表示制御部34aと同様の機能を実現する。判断部95は、主にCPU901の処理によって実現され、判断部35aと同様の機能を実現する。作成部96は、主にCPU901の処理によって実現され、作成部36aと同様の機能を実現する。算出部97は、主にCPU901の処理によって実現され、算出部37aと同様の機能を実現する。通信部98は、主に、CPU901の処理によって実現され、通信部38aと同様の機能を実現する。記憶・読出部99は、CPU901の処理によって実現され、記憶部9000に各種データ(または情報)を記憶したり、記憶部9000から各種データ(または情報)を読み出したりする。
<<実施形態の処理又は動作>>
続いて、図22乃至図34を用いて、本実施形態の処理又は動作について説明する。
<参加の処理>
まず、図22及び図23を用いて、特定の通信セッションへの参加処理について説明する。図22は、特定の通信セッションへの参加処理を示したシーケンス図である。図23は、通信セッション(仮想の会議室)の選択画面を示した図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aにおいて、通信セッション(仮想の会議室)の選択画面の表示を行なう操作をすると、受付部32aが選択画面を表示する操作を受け付け、表示制御部34aがディスプレイ4aに、図23に示されているような選択画面を表示する(ステップS21)。この選択画面には、選択対象である各仮想の会議室R1,R2,R3等を示す選択ボタンb1,b2,b3等が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が仮想の会議室の所望の選択ボタン(ここでは選択ボタンb1)を選択すると、受付部32aは、通信セッションの選択を受け付ける(ステップS22)。そして、送受信部31aは、通信管理システム5に対して、仮想の会議室への参加要求を送信する(ステップS23)。この参加要求には、ステップS22で選択を受け付けられた通信セッションを示すセッションID、及び要求元端末であるビデオ会議端末3aのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、参加要求を受信する。
次に、記憶・読出部99は、セッション管理DB5001(図19参照)において、ステップS23で受信されたセッションIDと同じセッションIDのレコードにおける参加端末IPアドレスのフィールドに、ステップS23で受信されたIPアドレスを追加することで、通信セッションへの参加処理を行なう(ステップS24)。そして、送受信部51は、ビデオ会議端末3aに対して、参加要求応答を送信する(ステップS25)。この参加要求応答には、ステップS23によって受信されたセッションID、及び参加処理結果が含まれている。これにより、ビデオ会議端末3aの送受信部31aは、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。
<画像種類情報の管理処理>
続いて、図24を用いて、画像種類情報の管理処理を説明する。図24は、画像種類情報の管理処理を示すシーケンス図である。
まず、拠点Aの利用者(例えば、利用者A1)が、ビデオ会議端末3aに、撮影装置1aが取り付けられた状態のクレードル2aのUSBケーブルを接続すると、撮影装置1aの記憶・読出部19aが記憶部1000aに記憶されている自装置(撮影装置1a)のGUIDを読み出し、通信部18aがビデオ会議端末3aの通信部38aに対して自装置のGUIDを送信する(ステップS51)。これにより、ビデオ会議端末3aの通信部38aは、撮影装置1aのGUIDを受信する。
次に、ビデオ会議端末3aの判断部35aは、撮影装置管理DB3002a(図17参照)において、ステップS51によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(ステップS52)。具体的には、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されている場合には、判断部35aは、撮影装置1aが特殊画像(ここでは、全天球パノラマ画像)を撮影する撮影装置であると判断する。これに対して、撮影装置管理DB3002aにおいて、同じベンダID及びプロダクトIDが管理されていない場合には、判断部35aは、撮影装置1aが一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出部39aは、画像種類管理DB3001a(図16参照)に対して、送信元端末である自端末(ビデオ会議端末3a)のIPアドレスと、ステップS52で判断された判断結果である画像種類情報とを関連付けて記憶する(ステップS53)。この状態では、画像データIDは関連付けられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名や、画像種類(一般画像、特殊画像)である。
次に、送受信部31aは、通信管理システム5に対して、画像種類情報の追加要求を送信する(ステップS54)。この画像種類情報の追加要求には、ステップS53で記憶した送信元端末である自端末のIPアドレス、及び画像種類情報が含まれている。これにより、通信管理システム5の送受信部51は、画像種類情報の追加要求を受信する。
次に、通信管理システム5の記憶・読出部59は、ステップS54によって受信された送信元端末のIPアドレスを検索キーとして、セッション管理DB5001(図19参照)を検索することにより、対応するセッションIDを読み出す(ステップS55)。
次に、生成部56は、固有の画像データIDを生成する(ステップS56)。そして、記憶・読出部59は、画像種類管理DB5002(図20参照)に、新たなレコードとして、ステップS55で読み出されたセッションID、ステップS56で生成された画像データID、並びに、ステップS54で受信された送信元端末のIPアドレス及び画像種類情報を関連付けて記憶する(ステップS57)。そして、送受信部51は、ビデオ会議端末3aに対して、ステップS56で生成された画像データIDを送信する。これにより、ビデオ会議端末3aの送受信部31aは、画像データIDを受信する(ステップS58)。
次に、ビデオ会議端末3aの記憶・読出部39aは、画像種類管理DB3001a(図16参照)に、上記ステップS53で記憶しておいた送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報に関連づけて、ステップS58で受信された画像データIDを記憶する(ステップS59)。
一方、通信管理システム5の送受信部51は、他の通信端末(ここでは、スマートフォン9)に対して、画像種類情報の追加通知を送信する(ステップS60)。この画像種類情報の追加通知には、ステップS56で生成された画像データID、並びに、ステップS53で記憶された送信元端末である自端末(ビデオ会議端末3a)のIPアドレス及び画像種類情報が含まれている。これにより、スマートフォン9の送受信部91は、画像種類情報の追加通知を受信する。なお、送受信部51の送信先は、セッション管理DB5001(図19参照)で、ビデオ会議端末3aのIPアドレスと同じセッションIDに関連付けられている他のIPアドレスである。即ち、送信先は、ビデオ会議端末3aと同じ仮想の会議室に入っている他の通信端末である。
次に、スマートフォン9の記憶・読出部99は、画像種類管理DB9001(図16参照)に、新たなレコードとして、ステップS60で受信された、画像データID、送信元端末のIPアドレス、及び画像種類情報を関連付けて記憶する(ステップS61)。同じように、他の通信端末であるビデオ会議端末3d及びPC7にも画像種類情報の追加通信が送信され、ビデオ会議端末3d及びPC7でも、それぞれ画像種類管理DB3001d,7001に記憶される。以上より、各通信端末では、各画像種類管理DB3001a,3001d,7001,9001で同じ情報を共有することができる。
<撮影画像データの通信処理>
続いて、図25乃至図34を用いて、映像通話における撮影画像データの通信処理について説明する。図25は、映像通話の状態を示したイメージ図である。このうち、図25(a)は、撮影装置1aを利用しない場合を示し、図25(b)は、撮影装置1aを利用する場合を示している。
まず、図25(a)に示されているように、撮影装置1aを利用しないで、ビデオ会議端末3aに予め設けられたカメラ312(図11参照)を利用する場合、画角が水平125度で垂直70度であるため、ビデオ会議端末3aを各利用者A1等が映る机の端に置かなければならない。このため、各利用者A1等は、ビデオ会議端末3a側を向いて話さなければならない。また、各利用者A1等がビデオ会議端末3aの方を向くため、ディスプレイ4aもビデオ会議端末3aの側に置くことになる。これにより、ビデオ会議端末3aから離れた利用者A2,A4は、マイク314(図11参照)から離れているため、比較的大きな声で話さないといけないし、ディスプレイ4aの表示内容が見えづらい。
これに対して、図25(b)に示されているように、撮影装置1aを利用する場合には、全天球パノラマ画像の元になる2つの半球画像を得ることができるため、ビデオ会議端末3a及びディスプレイ4aは、比較的、机の中央に置くことができる。これにより、各利用者A1等は、マイク314に近いため、比較的小声で話すことができ、ディスプレイ4aの表示内容も見えやすくなる。なお、拠点Aの右側には、利用者A1等が文字や絵等を書き込むことができるホワイトボード6が設置されている。
続いて、図26を用い、図25(b)に示されている拠点Aで得られた撮影画像データ及び音データが、通信管理システム5を介して、他の各通信端末(スマートフォン9,PC7,ビデオ会議端末3d)へ送信される処理について説明する。図26は、映像通話における撮影画像データ及び音データの通信処理を示すシーケンス図である。
まず、撮影装置1aの通信部18aからビデオ会議端末3aの通信部38aに対して、被写体や風景等を撮影して得た撮影画像データ及び集音して得た音データを送信する(ステップS101)。この場合、撮影装置1aは全天球パノラマ画像の元になる2つの半球画像を得ることができる装置であるため、図3(a)、(b)に示されているように、撮影画像データは、2つの半球画像のデータによって構成されている。これにより、ビデオ会議端末3aの通信部38aは、撮影画像データ及び音データを受信する。
次に、ビデオ会議端末3aの送受信部31aは、通信管理システム5に対して、撮影装置1aから送られてきた撮影画像データ及び音データを送信する(ステップS102)。この送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、通信管理システム5の送受信部51は、撮影画像データ及び画像データIDを受信する。
次に、通信管理システム5の送受信部51は、ビデオ会議端末3aと同じ映像通話に参加している通信端末(スマートフォン9,PC7,ビデオ会議端末3d)に対して、撮影画像データ及び音データを送信する(ステップS103,S104,S105)。これら各送信には、送信対象である撮影画像データを識別するための画像データIDが含まれている。これにより、スマートフォン9の送受信部91、PC7の送受信部71及びビデオ会議端末3dの送受信部31dは、それぞれ撮影画像データ、画像データID及び音データを受信する。
続いて、図27を用いて、拠点Bにおけるディスプレイ917の表示例を説明する。図27は、拠点Bにおけるディスプレイの表示例である。このうち、図27(a)は、拠点Aの撮影装置1aからビデオ会議端末3aを介して送られて来た撮影画像データ、及び拠点Bの撮影装置1bから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をせずに、そのまま表示する場合を示している。一方、図27(b)は、撮影装置1a,1bから送られて来た撮影画像データから、全天球パノラマ画像の作成及び所定領域画像の作成をした場合を示している。なお、ディスプレイ4dの左側の表示領域(レイアウト番号「1」)には拠点Aの画像が表示され、右側上段の表示領域(レイアウト番号「2」)には拠点Bの画像が表示されている。更に、ディスプレイ4dの右側中段の表示領域(レイアウト番号「3」)には拠点Cの画像が表示され、右側下段の表示領域(レイアウト番号「4」)には拠点D(自拠点)の画像が表示されている。レイアウト番号「1」の表示領域は主表示領域であり、レイアウト番号「2」、「3」及び「4」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。
ここで、全天球パノラマ画像の撮影が可能な撮影装置1a,1bから送られて来た撮影画像データをそのまま表示すると、図27(a)に示されているように、拠点Aと拠点Bの画像が、それぞれ図3(a),(b)に示されているように、前側の半球画像と後側の半球画像として表示される。
これに対して、画像・音処理部93が、全天球パノラマ画像の元になる2つの半球画像を得ることができる撮影装置1a,1bが出力した撮影画像データから、全天球パノラマ画像を作成し、更に所定領域画像を作成すると、図27(b)に示されているように、平面画像である所定領域画像が表示される。なお、拠点Cでは、一般画像を得る撮影装置8が撮影し、拠点Dでも、一般画像を得るビデオ会議端末3dが撮影しているため、図27(a),(b)のいずれも、一般画像(ここでは、平面画像)が表示されている。
また、各拠点の利用者は、同じ全天球パノラマ画像における所定領域画像に係る所定領域を変更することができる。例えば、利用者B1は、タッチパネル921の操作等により、受付部92が所定領域画像の移動を受け付け、表示制御部94は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。これにより、図28(b)に示されているように、初期設定(デフォルト)で拠点Aの一部の利用者A1,A2が表示されている所定領域画像から、図28(c)に示されているように、所定領域画像を表示することができる。具体的には、図28(c)は、図25(b)に示されている拠点Aの撮影画像において、利用者A1,A2を含む所定領域画像から、ホワイトボード6を含む所定領域画像に変更した状態を示している。
なお、図27(b)、(c)に示されている全天球アイコン191,192は、全天球パノラマ画像の一部の所定領域Tを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン191,192の表示位置は、右上ではなく、左上、左下、及び右下等、どこでもよい。また、全天球アイコン191,192の種類は図27(b)、(c)に限らない。また、全天球アイコン191,192ではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。
続いて、図28を用いて、図27(b)のように所定領域画像を表示した場合、及び図27(b)から図27(c)のように所定領域画像を変更した場合の画像通信システムにおける処理について説明する。図28は、所定領域情報を共有する処理を示したシーケンス図である。図28では、拠点Aのビデオ会議端末3aが第3の通信端末であり、拠点Dのビデオ会議端末3dが他の通信端末であり、拠点Bのスマートフォン9が通信端末(自端末)である。
まず、図27(b)に示されているように、拠点Dで利用者D1等がビデオ会議端末3dを利用して拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS111)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に、ステップS111で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS112)。なお、ステップS111,112の処理は、図27(b)から図27(c)のように、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、通信管理システム5の記憶・読出部59は、所定領域管理DB5003に記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスの組を一定期間(例えば、30秒)毎に読み出す(ステップS113)。そして、送受信部51は、所定領域情報の送信元であるビデオ会議端末3dと同じ映像通話を行なっている他の通信端末(ビデオ会議端末3a、スマートフォン9、PC7)に対して、ステップS113で読み出された各IPアドレスを含む所定領域情報を配信(送信)する(ステップS114,S116,S118)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。そして、記憶・読出部39aは、所定領域管理DB3003aに、ステップS114で受信された所定領域情報及び各IPアドレスを関連付けたまま記憶する(ステップS115)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶・読出部99が所定領域管理DB9003に、ステップS116で受信された所定領域情報及び各IPアドレスに関連付けたまま記憶する(ステップS117)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS118で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS119)。
以上により、拠点Aで変更された所定領域画像を示す所定領域情報は、同じ映像通話中の他拠点B,C,Dの各通信端末に送信されることで、拠点Aで表示中の所定領域画像を示す所定領域情報が他拠点B,C,Dにおいても共有される。この処理は、拠点B,C,Dにおいて所定領域画像が変更された場合も同様に行なわれ、同じ映像通話中の全拠点で互いに他拠点で表示中の所定領域画像を示す所定領域情報が共通される。
続いて、図29乃至図34を用いて、各拠点で共有された所定領域情報の利用方法について説明する。図29は、所定領域画像の表示処理を示したフローチャートである。なお、各通信端末の処理は同じであるため、ここでは、拠点Bのスマートフォン9の処理について説明する。具体的には、拠点Aのビデオ会議端末3aから送信された撮影画像データが、拠点Dのビデオ会議端末3dによって所定領域画像として表示されている場合に、ビデオ会議端末3dが同じ映像通話中の他の通信端末に所定領域画像を示す所定領域情報を送信することによって、拠点Bのスマートフォン9が実行する処理について説明する。
まず、スマートフォン9では、記憶・読出部99が、図26に示されているステップS103によって受信された画像データIDを検索キーとして、画像種類管理DB9001(図16参照)を検索することにより、対応する画像種類情報(ソース名)を読み出す(ステップS131)。
次に、判断部95は、ステップS131によって読み出された画像種類情報が「特殊画像」である旨を示すか否かを判断する(ステップS132)。画像種類情報が「特殊画像」である旨を示す場合には(ステップS132;YES)、更に、記憶・読出部99は、所定領域管理DB9003に対して、他拠点の通信端末が表示している所定領域画像を示す所定領域情報を検索する(ステップS133)。そして、判断部95は、所定領域管理DB9003において、他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されているか否かを判断する(ステップS134)。他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されている場合には(ステップS134;YES)、算出部97は、スマートフォン9(自端末)が表示中の所定領域T2の所定領域画像を示す所定領域情報(i2)、及び送受信部91によって他の通信端末から受信されて所定領域管理DB9003に管理されていた所定領域T1の所定領域画像を示す所定領域情報(i1)に基づき、全体画像において所定領域T2に対する所定領域T1の位置を算出する(ステップS135)。なお、この場合の位置は、厳密には、所定領域T2の注視点に対する所定領域T1の注視点を示している。注視点は、上述のように中心点であるが、各所定領域の矩形の左上端(又は、左下端、右上端、若しくは右下端)であってもよい。または、注視点は、各所定領域内の特定の点であってもよい。
ここで、図30を用いて、全体画像において所定領域T2に対する所定領域T1の注視点を算出する方法について説明する。図30(a)は仮想カメラの角度の定義を示した図であり、図30(b)は上から見た並行投影で自拠点の所定領域画像における他拠点の注視点の位置を算出する方法を示す図である。
図30(a)に示されているように、算出部97は、自端末(スマートフォン9)の表示制御部94が表示中の所定領域画像を示す所定領域情報から、動径r、極角θ、及び方位角φを取得し、これをCP1(r0, θ1, φ1)とする。次に、算出部97は、ステップS133で読み出された他拠点の所定領域情報から、動径r、極角θ、及び方位角φを取得し、これをCP2(r0, θ2, φ2)とする。
自端末(スマートフォン9)の注視点CP1を中心とする所定領域T2を考えた場合、所定領域T2の幅wと高さhは、極方向から並行投影した図30(b)では幅はwとして、高さはhcosθ1の長さに射影される。
また、注視点CP1の動径はr0sinθ1の長さに射影され、注視点CP2の動径はr0sinθ2の長さに射影されるため、注視点CP1は座標(r0sinθ1・r0cosφ1,r0sinθ1・r0sinφ1)、注視点CP2は座標(r0sinθ2・r0cosφ2,r0sinθ2・r0cosφ2)に位置する。
以上により、図30(b)にて。注視点CP1と注視点CP2の座標が導出できたことで、幅 w と高さ h の所定領域T2の平面上での注視点CP2の位置は、一般的な座標変換を用いて導出することができる。
ここで、図31を用いて、全体画像において所定領域T2に対する所定領域T1の方向を算出する方法について説明する。図31(a)は角度の定義を示した図であり、図31(b)は角度範囲の定義を示した図である。
図31(a)に示されているように、算出部97は、自端末(スマートフォン9)の表示制御部94が表示中の所定領域画像を示す所定領域情報から方位角φを取得し、これを回転角φ1とする。次に、算出部97は、ステップS133で読み出された他拠点の所定領域情報から方位角φを取得し、これを回転角φ2とする。さらに、算出部97は、回転角φ2と回転角φ1の差を回転角φ3とする。
また、図31(b)に示されているように、自拠点の回転角φを中心とした角度範囲をα1とし、自拠点の水平角度に180度を加えた角度を中心とした角度範囲をα2とした場合、算出部97は、以下のように、全体画像において所定領域T2に対する所定領域T1の方向を算出する。
(1) 回転角φ3が角度範囲α1に含まれる場合は、位置関係を「前方向」と判定。
(2) φ3が角度範囲α2に含まれる場合は、位置関係を「後方向」と判定。
(3) φ3が、角度範囲α1及び角度範囲α2に含まれず、0度より大きく180度未満の場合は、位置関係を「右方向」と判定。
(4) φ3が、角度範囲α1及び角度範囲α2に含まれず、180度より大きく360度未満の場合は、位置関係を「左方向」と判定。
次に、画像・音処理部93は、算出部97によって算出された注視点を示す注視点マーク及び方向を示す表示方向マークを含む所定領域画像を作成する(ステップS136)。注視点マークの表示位置は、全体画像において所定領域T2に対する所定領域T1の位置から直接求められる。表示方向マークの表示位置は、全体画像において所定領域T2に対する所定領域T1の位置を利用し、上述の(1)〜(5)の各判定の処理によって求められる。
この際、画像・音処理部93は、画像種類情報が「特殊画像」である旨を示すことに基づき、全天球パノラマ画像である旨を示す全天球アイコン191,192を所定領域画像に合成する。そして、表示制御部94は、図32(a)、(b)、(c)、図33(a)、(b)、図34に示されているように、ステップS136によって作成された所定領域画像を表示する(ステップS137)。なお、図32(a)、(b)、(c)は、主表示領域の画像を示しており、表示方向マークを含む所定領域画像の3つの表示例を示した図である。なお、図33(a)、(b)は、主表示領域の画像を示しており、注視点マークを含む所定領域画像の2つの表示例を示した図である。なお、図34は主表示領域の画像を示しており、注視点マーク及び表示方向マークを含む所定領域画像の1つの表示例を示した図である。また、図27に示されているように、映像通話中の全ての拠点の画像は表示されるが、図32、図33、図34では、図面の面積の関係上、拠点Aの画像のみを表示している。
図32(a)に示されているように、拠点Aの画像の一部である所定領域画像内には、全体画像において、拠点B(自拠点)で表示中の所定領域画像を基準として、他拠点で表示されている所定領域画像の方向を示す表示方向マークm11,m13,m14が表示されている。なお、図32(b)に示されている表示方向マークm21,m23,m24、及び図32(c)に示されている表示方向マークm31,m33,m34は、それぞれ図32(a)に示されている表示方向マークm11,m13,m14に対応する。
なお、表示方向マークは、方向情報の一例であって、他の形態であってもよい。また、方向情報は矢印で示すのではなく、「右」、「左」、「奥」及び「手前」等の文字を示してもよい。
また、図33(a)に示されているように、拠点Aの画像の一部である所定領域画像内には、全体画像において、拠点B(自拠点)で表示中の所定領域画像を基準として、他拠点で表示されている所定領域画像の注視点を示す注視点マークm41,m42が表示されている。注視点マークは所定領域画像を隠さないように半透明で表示されてもよい。なお、図33(b)に示されている表示方向マークm51,m52は、それぞれ図33(a)に示されている表示方向マークm41,m42に対応する。
図33(a)では、どの拠点の注視点なのかが識別できるように、拠点名である“C”を示した注視点マークm41、及び拠点名である“D”を示した注視点マークm42が表示されている。これに対して、図33(b)では、拠点名が表示されずに、異なる模様の注視点マークによって異なる拠点が示されている。この場合、各拠点で、模様と拠点名を対応づける表を準備すれば、各拠点の利用者は注視点マークの模様から拠点を識別することできる。表は、紙に印刷されたものでも良いし、電子データとして各拠点で保管されてもよい。
なお、注視点マークを区別する模様の代わりに、色や線種を変えることで区別できるようにしてもよい。また、注視点マークは、対応位置情報の一例である。
図34では、他拠点の注視点が所定領域画像の範囲に含まれる場合は注視点を示す表示マークm41が表示され、所定領域画像の範囲に含まれない場合は表示方向マークm11、m14が表示されている。
続いて、図29に戻り、上記ステップS134の判断で、所定領域管理DB9003において、他拠点の通信端末が表示している所定領域画像を示す所定領域情報が管理されていない場合には(ステップS134;NO)、画像・音処理部93は、注視点マーク及び表示方向マークを含めずに、所定領域画像を作成する(ステップS138)。その後は、ステップS137の処理に進む。
また、上記ステップS132の判断で、画像種類情報が「特殊画像」である旨を示さない場合には(ステップS132;NO)、即ち、画像種類情報が「一般画像」である旨を示す場合には、画像・音処理部93は、ステップS103によって受信された撮影画像データから全天球パノラマ画像を作成せず、表示制御部94は一般画像を表示する(ステップS139)。
以上のように、拠点Bの利用者B1,B2は、自拠点で表示している所定領域画像と、他拠点で表示されている所定領域画像との位置関係を把握することができる。これにより、拠点Bの利用者B1,B2が会議等の話題に付いて行けなくなることを防止することができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、ビデオ会議端末3a等の通信端末は、画像データと共に送られて来る画像データIDに基づき、対応する画像種類情報によって、全天球パノラマ画像を作成し、更に所定領域画像を作成することができる。これにより、図27(a)に示されているように、前側の半球画像と後側の半球画像を表示してしまうことを防止することができるという効果を奏する。
更に、任意の拠点の利用者は、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかを把握することができるため、従来に比べて会議等の話題に付いて行き易くなるという効果を奏する。
また、図28において、仮に、通信管理システム5が、ビデオ会議端末3dから所定領域情報を受信する度に、他の通信端末へ所定領域情報を転送すると、図34に示されている各注視点マーク及び表示方向マークのちらつきによって、利用者B1,B2は映像通話に集中できない。そこで、上記ステップS112〜S114に示すように、通信管理システム5は、一定期間毎に、その時点の最新の所定領域画像及び各IPアドレスの組を配信することで、各利用者は映像通話に集中することができる。
〔第2の実施形態〕
続いて、図35を用いて、第2の実施形態について説明する。図35は、図28に示された処理の他の例を示し、所定領域情報を共有する他の処理を示すシーケンス図である。図35では、拠点Aのビデオ会議端末3aが通信端末(自端末)であり、拠点Dのビデオ会議端末3dが他の通信端末である。
上記第1の実施形態では、図28に示されているように、通信管理システム5が、各通信端末から送信された各所定領域情報を一旦管理して(S112参照)、一定期間毎に送信元以外の各通信端末に各所定領域情報を送信した(S114〜S119参照)。これに対して、本実施形態では、図35に示されているように、撮影画像データの送信元の通信端末(ここでは、ビデオ会議端末3a)が、通信管理システム5に替わって、所定領域情報を一旦管理して(S213参照)、一定期間毎に自端末以外の各通信端末に各所定領域情報を送信する(S215〜S221参照)。即ち、本実施形態では、撮影画像データの送信元の通信端末は、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのような所定領域T1の所定領域画像として表示されているかを管理している。
なお、本実施形態は、第1の実施形態と同じ構成であり、図28に示されている処理が異なる。そのため、以下では、同じ構成には同一の符号を用いて説明を省略するとともに、図35を用いて、第1の実施形態と異なる処理の部分を説明する。
まず、拠点Dで利用者D1等がビデオ会議端末3dを利用して拠点Aの所定領域画像を表示させた場合、ビデオ会議端末3dの送受信部31dは、通信管理システム5に対して、表示された所定領域画像を示す所定領域情報を送信する(ステップS211)。この所定領域情報には、撮影画像データの送信元であるビデオ会議端末3aのIPアドレス、及び撮影画像データの送信先(所定領域情報の送信元)であるビデオ会議端末3dのIPアドレスが含まれている。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、撮影画像データの送信元であるビデオ会議端末3aに、ステップS211で受信した各IPアドレスを含む所定領域情報を送信する(ステップS212)。これにより、ビデオ会議端末3aの送受信部31aは、所定領域情報を受信する。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに、ステップS212で受信された所定領域情報並びに送信元及び送信先の各IPアドレスを関連付けて記憶する(ステップS213)。このステップS213の処理が、自端末(ここでは、ビデオ会議端末3a)が送信した撮影画像データが他の通信端末でどのように表示されているかを管理する処理である。なお、ステップS211〜S213の処理は、ビデオ会議端末3dで所定領域画像が変更される度に行なわれる。
次に、ビデオ会議端末3aの記憶・読出部39aは、所定領域管理DB3003aに記憶しておいた所定領域情報及び各IPアドレスの組のうち、その時点で最新の組となる(最も遅く記憶された組となる)所定領域情報及び各IPアドレスを一定期間(例えば、30秒)毎に読み出す(ステップS214)。そして、送受信部31aは、通信管理システム5に対して、ステップS214で読み出された各IPアドレスを含む所定領域情報を送信する(ステップS215)。これにより、通信管理システム5の送受信部51は、所定領域情報を受信する。
次に、通信管理システム5の送受信部51は、各通信端末(ビデオ会議端末3d,スマートフォン9,PC7)に、ステップS215で受信した各IPアドレスを含む所定領域情報を送信(配信)する(ステップS216,S218,S220)。これにより、ビデオ会議端末3dの送受信部31dは、所定領域情報を受信する。そして、記憶・読出部39dは、所定領域管理DB3003dに、ステップS216で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS217)。同様に、スマートフォン9においても、送受信部91が所定領域情報を受信した後、記憶・読出部99が所定領域管理DB9003に、ステップS218で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS219)。更に、PC7においても、送受信部71が所定領域情報を受信した後、記憶・読出部79が所定領域管理DB7003に、ステップS220で受信された所定領域情報を同じく受信された各IPアドレスに関連付けて記憶する(ステップS221)。
<<本実施形態の主な効果>>
以上説明したように、本実施形態によれば、撮影画像データの送信元の通信端末が、自端末から送信した撮影画像データに基づいて、各通信端末でどのように表示されているかを示す所定領域情報を収集して、各通信端末に配信する。これにより、第1の実施形態の効果に加え、多数の通信端末で同じ会議等を行なう場合に、通信管理システム5への負担が集中することを回避することができるという効果を奏する。
〔第3の実施形態〕
続いて、第3の実施形態について説明する。
図10において、撮影装置1aは1つのマイク108を備えているが、本実施形態では、撮影装置1aは、複数の指向性マイクを備えている。撮影装置1aが複数の指向性マイクを用いることで、撮影装置1aからビデオ会議端末3aに各指向性マイクの音声データが送信される。これにより、ビデオ会議端末3aの算出部37aが、各マイクの音声データから音源の方向(マイク角度)を算出し、算出した方向は(撮影画像の送信元の)発話者の位置を特定するために利用される。撮影装置1bについても同様であり、複数の指向性マイクを備えた撮影装置1bからスマートフォン9に各マイクの音声データを送信し、スマートフォン9の算出部97が、各マイクの音声データから音源の方向(マイク角度)を算出し、算出した角度は(撮影画像の送信元の)発話者の位置を特定するために利用される。
<<本実施形態の主な効果>>
以上により、他拠点で全天球パノラマ画像の全体画像のうちのどこの部分の所定領域画像が表示されているかをより精度良く表示させることができるという効果を奏する。
〔補足〕
上記実施形態では、所定領域Tは、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定されるが、これに限るものではない。例えば、画角を一定にして利用する場合等には、所定領域Tは、図7において、中心点CP又は矩形の所定領域Tの四隅の任意の点を示す所定点情報によって特定されるようにしてもよい。なお、「所定情報」には、所定領域情報及び所定情報が含まれる。
上記実施形態では、パノラマ画像の一例として、撮影画像(全体画像)が3次元の全天球パノラマ画像について説明したが、2次元のパノラマ画像であってもよい。
また、上記実施形態では、通信管理システム5が、各通信端末から送信された所定領域情報を中継しているが、これに限らず、各通信端末同士が直接、所定領域情報を送受信してもよい。
また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
1a 撮影装置
1b 撮影装置
3a ビデオ会議端末(第3の通信端末の一例/通信端末(自端末)の一例)
3d ビデオ会議端末(他の通信端末の一例)
4a ディスプレイ
4d ディスプレイ(表示手段の一例)
5 通信管理システム
7 PC
8 撮影装置
9 スマートフォン(通信端末(自端末)の一例)
31d 送受信部(送信手段の一例、受信手段の一例)
37d 算出部(変更手段の一例)
3001d 画像種類管理DB(画像種類管理手段の一例)
3002d 撮影装置管理DB(撮影装置管理手段の一例)
3003d 所定領域管理DB(所定領域管理手段の一例)
3004d 要求解像度管理DB(要求解像度管理手段の一例)
m11 表示方向マーク(方向情報の一例)
m14 表示方向マーク(方向情報の一例)
m41 注視点マーク(対応位置情報の一例)
特開2012−178135号公報 特開2011−223076号公報

Claims (10)

  1. 全体画像における所定領域の画像を表示可能な通信端末であって、
    前記全体画像における第1の所定領域の画像である第1の所定領域画像を表示している他の通信端末が送信した当該第1の所定領域を特定するための第1の所定情報を受信する受信手段と、
    前記全体画像における第2の所定領域の画像である第2の所定領域画像を前記通信端末が表示している場合に、当該第2の所定領域を特定するための第2の所定情報及び前記受信手段によって受信された前記第1の所定情報に基づき、前記全体画像において前記第2の所定領域に対する前記第1の所定領域の位置を算出する算出手段と、
    前記算出手段によって算出された位置に基づき、当該位置を示す対応位置情報及び前記第2の所定領域に対する前記第1の所定領域の方向を示す方向情報のうち少なくとも一方を前記第2の所定領域画像に含めて表示する表示制御手段と、
    を有することを特徴とする通信端末。
  2. 前記全体画像のデータは、前記通信端末及び前記他の通信端末とは異なる第3の通信端末から送信されることを特徴とする請求項1に記載の通信端末。
  3. 請求項1又は2に記載の通信端末であって、
    所定の全体画像のデータを識別するための所定の画像データ識別情報、及び当該全体画像の種類を示す所定の画像種類情報を関連付けて管理する画像種類管理手段と、
    前記受信手段が、前記他の通信端末によって送信された特定の全体画像のデータ及び当該全体画像のデータを識別するための特定の画像データ識別情報を受信した場合に、前記画像種類管理手段において前記受信された特定の画像データ識別情報に対応する特定の画像種類情報が全天球パノラマ画像である旨を示すときには、前記特定の全体画像のデータに基づいて、全天球パノラマ画像としての前記全体画像における前記第2の所定領域画像を作成する作成手段と、
    を有し、
    前記作成手段は、前記算出手段によって算出された前記第1の所定領域の位置に基づき、前記対応位置情報及び方向情報のうち少なくとも一方を含む前記第2の所定領域画像を作成し、
    前記表示制御手段は、前記作成手段によって作成された前記対応位置情報及び方向情報のうち少なくとも一方を含む前記第2の所定領域画像を表示することを特徴とする通信端末。
  4. 請求項1に記載の通信端末であって、
    前記全体画像のデータの送信元の通信端末の宛先情報、前記全体画像のデータの送信先の通信端末の宛先情報、及び前記送信先の通信端末によって表示されている所定領域画像を特定するための所定情報を関連付けて管理する所定領域管理手段と、
    前記他の通信端末が受信するように、前記通信端末である自拠点の全体画像のデータを送信する送信手段と、
    を有し、
    前記受信手段は、前記他の通信端末から前記第1の所定情報とともに送信され、当該他の通信端末によって受信されている全体画像のデータの送信元である前記自端末の宛先情報及び当該他の通信端末の宛先情報を受信し、
    前記所定領域管理手段は、前記受信手段によって受信された前記自端末の宛先情報及び前記他の通信端末の宛先情報並びに前記第1の所定情報を関連付けて管理し、
    前記送信手段は、同じ映像通話中の自端末以外の通信端末が受信するように、前記所定領域管理手段によって管理されている前記自端末の宛先情報及び前記他の通信端末の宛先情報並びに前記第1の所定情報を送信する
    ことを特徴とする通信端末。
  5. 前記全体画像のデータは、前記通信端末から送信されることを特徴とする請求項4に記載の通信端末。
  6. 前記送信手段は、一定期間毎に、前記所定領域管理手段が管理している最新の前記自端末の宛先情報及び前記他の通信端末の宛先情報並びに前記第1の所定情報を送信することを特徴とする請求項5に記載の通信端末。
  7. 前記通信端末は、ビデオ会議端末、パーソナルコンピュータ、スマートフォン、デジタルテレビ、スマートウオッチ、又はカーナビゲーション装置であることを特徴とする請求項1乃至6のいずれか一項に記載の通信端末。
  8. 請求項1乃至7のいずれか一項に記載の通信端末と、
    前記他の通信端末と、
    前記通信端末及び他の通信端末の間の撮影画像データの通信を管理する通信管理システムと、
    を有する画像通信システム。
  9. 全体画像における所定領域の画像を表示可能な通信端末が実行する表示方法であって、
    前記全体画像における第1の所定領域の画像である第1の所定領域画像を表示している他の通信端末が送信した当該第1の所定領域を特定するための第1の所定情報を受信する受信ステップと、
    前記全体画像における第2の所定領域の画像である第2の所定領域画像を前記通信端末が表示している場合に、当該第2の所定領域を特定するための第2の所定情報及び前記受信ステップによって受信された前記第1の所定情報に基づき、前記全体画像において前記第2の所定領域に対する第1の所定領域の位置を算出する算出ステップと、
    前記算出ステップによって算出された位置に基づき、当該位置を示す対応位置情報及び前記第2の所定領域に対する前記第1の所定領域の方向を示す方向情報のうち少なくとも一方を前記第2の所定領域画像に含めて表示する表示制御ステップと、
    を実行することを特徴とする表示方法。
  10. コンピュータに、請求項9に記載の方法を実行させるためのプログラム。
JP2018177017A 2017-09-25 2018-09-21 通信端末、画像通信システム、表示方法、及びプログラム Active JP7151316B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18196289.5A EP3461124B1 (en) 2017-09-25 2018-09-24 Communication terminal, image communication system, display control method, and carrier means
US16/140,945 US10484603B2 (en) 2017-09-25 2018-09-25 Communication terminal, image communication system, display control method, and non-transitory computer-readable medium
US16/596,782 US10863086B2 (en) 2017-09-25 2019-10-09 Communication terminal, image communication system, display control method, and non-transitory computer-readable medium
JP2022154532A JP7452596B2 (ja) 2017-09-25 2022-09-28 通信端末、表示方法、プログラム及び画像通信システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017183742 2017-09-25
JP2017183742 2017-09-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022154532A Division JP7452596B2 (ja) 2017-09-25 2022-09-28 通信端末、表示方法、プログラム及び画像通信システム

Publications (2)

Publication Number Publication Date
JP2019062534A true JP2019062534A (ja) 2019-04-18
JP7151316B2 JP7151316B2 (ja) 2022-10-12

Family

ID=66176854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177017A Active JP7151316B2 (ja) 2017-09-25 2018-09-21 通信端末、画像通信システム、表示方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7151316B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022788A (ja) * 2019-07-25 2021-02-18 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209340A (ja) * 2010-03-29 2011-10-20 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013165429A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 映像視聴システム及び映像視聴システムの制御方法
JP2013250830A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014075779A (ja) * 2012-09-14 2014-04-24 Ricoh Co Ltd 会議端末およびサーバー
JP2016201714A (ja) * 2015-04-13 2016-12-01 キヤノン株式会社 表示制御装置および表示制御方法
US20170244945A1 (en) * 2016-02-22 2017-08-24 Gopro, Inc. System and method for presenting and viewing a spherical video segment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011209340A (ja) * 2010-03-29 2011-10-20 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013165429A (ja) * 2012-02-13 2013-08-22 Nippon Telegr & Teleph Corp <Ntt> 映像視聴システム及び映像視聴システムの制御方法
JP2013250830A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2014075779A (ja) * 2012-09-14 2014-04-24 Ricoh Co Ltd 会議端末およびサーバー
JP2016201714A (ja) * 2015-04-13 2016-12-01 キヤノン株式会社 表示制御装置および表示制御方法
US20170244945A1 (en) * 2016-02-22 2017-08-24 Gopro, Inc. System and method for presenting and viewing a spherical video segment

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021022788A (ja) * 2019-07-25 2021-02-18 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
JP7346975B2 (ja) 2019-07-25 2023-09-20 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム

Also Published As

Publication number Publication date
JP7151316B2 (ja) 2022-10-12

Similar Documents

Publication Publication Date Title
JP7452596B2 (ja) 通信端末、表示方法、プログラム及び画像通信システム
JP7322940B2 (ja) 画像通信システム、画像通信端末、画像通信方法、プログラム、及び記録媒体
JP6907861B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
US10554883B2 (en) VR system, communication method, and non-transitory computer-readable medium
JP7095361B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7346975B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
US10666898B2 (en) Communication management system, communication system, and communication method
US20190082144A1 (en) Communication terminal, image communication system communication method, and non-transitory recording medium
JP2019180027A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2018129716A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US20200186407A1 (en) Communication terminal, image network system, display method, and program
JP7151316B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2018061243A (ja) 通信端末、表示方法、及びプログラム
JP7326789B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7006133B2 (ja) 通信システム及び通信方法
JP7371369B2 (ja) 通信端末および画像通信システム
JP7210892B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7354733B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP2018207466A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151