JP2023134065A - 通信装置、通信システム、表示方法、及びプログラム - Google Patents
通信装置、通信システム、表示方法、及びプログラム Download PDFInfo
- Publication number
- JP2023134065A JP2023134065A JP2022039401A JP2022039401A JP2023134065A JP 2023134065 A JP2023134065 A JP 2023134065A JP 2022039401 A JP2022039401 A JP 2022039401A JP 2022039401 A JP2022039401 A JP 2022039401A JP 2023134065 A JP2023134065 A JP 2023134065A
- Authority
- JP
- Japan
- Prior art keywords
- image
- bases
- communication device
- subject
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 448
- 238000000034 method Methods 0.000 title claims description 50
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 131
- 238000010586 diagram Methods 0.000 description 81
- 238000003860 storage Methods 0.000 description 58
- 238000003384 imaging method Methods 0.000 description 45
- 230000005540 biological transmission Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 31
- 230000000981 bystander Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 19
- 230000001133 acceleration Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000003702 image correction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】物理空間のコミュニケ―ションは3人以上で行われたり、会議や講義等のコミュニケーションの目的によって利用者が座る位置が異なったりするため、従来の技術では、複数の拠点の利用者が、拠点数やコミュニケーションの目的に応じた同室感を得ることが困難である。【解決手段】通信装置1aは、他の通信装置1b,1c,1dが送信した各画像データに基づく画像を、映像通話を行う拠点数に応じて定められた位置関係、即ち、自装置(通信装置1d)側の仮想空間上(ワールド座標系)の人物(利用者D1)の位置及び仮想空間上(ワールド座標系)の複数の通信装置間の変更可能な位置関係(図12~図14)に基づき、ディスプレイ4上の所定領域に表示する(図35(b)、図36(b)、図38(b)、図39(b)参照)。【選択図】図35
Description
本開示内容は、通信装置、通信システム、表示方法、及びプログラムに関する。
近年、ICT(情報通信技術)を利用し、時間や場所を有効に活用できる柔軟な働き方を行うテレワークが浸透してきた。これにより、ワーク・ライフ・バランスの実現や営業効率の向上及び顧客満足度の向上等を図ることができる。また、テレワークの普及に合わせて、インターネットを介したビデオ(テレビ)会議等のシステムの性能が向上している(図39参照)。
また、コミュニケーションにおいて、対人間の距離感は、話しやすさや緊張感に影響を与えるため非常に重要である(エドワードホール、かくれた次元、2000、みすず書房)。ところが、ビデオ会議では、現実空間(又は物理空間)のコミュニケーションのように、対話相手と同じ空間に一緒に居る感じ(以下、「同室感」という。)が得にくいという問題がある。
そこで、特許文献1では、一の拠点の物理空間上の人物における視点(眼の位置)に応じて、他の拠点の対話相手の映像を変化させるという運動視差を実現し、仮想空間上の距離に応じた人物サイズで対話相手を一の拠点側のディスプレイ上に表示することで、各利用者に対話相手との同室感を与えることができる技術が開示されている。
しかしながら、物理空間のコミュニケ―ションは3人以上で行われたり、会議や講義等の参加者の数によって利用者の位置が異なったりする。そのため、特許文献1に開示されている従来の技術では、複数の拠点の利用者が、拠点数(参加者の数)に応じた同室感を得ることが困難であるという課題が生じる。
請求項1に係る発明は、1以上の他拠点における他の通信装置と映像通話を行い、表示手段が配置された机型の通信装置であって、自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する1以上の撮影手段と、前記自拠点の輝度画像及び深度画像のデータを前記1以上の他拠点における他の通信装置に送信する送信手段と、前記1以上の他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た1以上の他拠点の輝度画像及び深度画像のデータを、前記1以上の他拠点における他の通信装置から受信する受信手段と、前記自拠点の輝度画像及び深度画像のデータに基づき仮想空間上の自拠点における被写体の3次元物体を生成し、前記1以上の他拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の前記1以上の他拠点における被写体の3次元物体を生成する生成手段と、前記映像通話を行う拠点数に応じた仮想空間上の位置に対して、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体とを配置し、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体との仮想空間上の位置関係に応じて、前記他拠点における被写体の3次元物体の画像を前記表示手段に表示する表示制御手段と、を有することを特徴とする通信装置である。
以上説明したように本発明によれば、複数の拠点の利用者が、拠点数に応じた同室感を得ることが困難であるという課題をできるだけ解消することができるという効果を奏する。
以下、図面を用いて、本発明の実施形態について説明する。
〔通信システムの概略〕
本実施形態の通信システムは、仮想空間(「仮想エリア」ともいう)で映像通話を行うたのシステムである。
本実施形態の通信システムは、仮想空間(「仮想エリア」ともいう)で映像通話を行うたのシステムである。
まず、図1を用いて、本実施形態の通信システムの構成の概略について説明する。図1は、本発明の実施形態に係る通信システムの構成の概略図である。
図1に示されているように、本実施形態の通信システムは、複数の通信装置1a,1b,1c,1d、通信管理サーバ6、全天球撮影装置8、及びスマートフォン9によって構築され、インターネット等の通信ネットワーク100を介して通信することができる。通信ネットワーク100の接続形態は、無線又は有線のいずれでも良い。
通信装置1a,1b,1c,1dは、ぞれぞれ、拠点A,B,C,Dに配置されている机型の通信装置である。なお、以降、通信装置1a,1b,1c,1dのうちの任意の通信装置を「通信装置1」と示す。通信装置1は、自拠点の撮影及び集音を行い、他拠点で撮影されることで得られた画像及び他拠点で集音されることで得られた音を出力することができる。通信装置1については、後ほど詳細に説明する。
また、図1は、通信装置1a,1b,1c,1dが、それぞれ、利用者A1,B1,C1,D1によって利用されている場合を示している。例えば、通信装置1aは、自拠点Aの様子を撮影及び集音し、通信ネットワーク100及び通信管理サーバ6を介して、他拠点B,C,D、Gの通信装置1b,1c,1d及びスマートフォン9に対して、画像データ及び音データを送信する。同様に、通信装置b1,1c,1dは、自拠点の様子を撮影及び集音し、通信ネットワーク100及び通信管理サーバ6を介して、他拠点の通信装置に対して、画像データ及び音データを送信する。スマートフォン9については後述する。
通信管理サーバ6は、コンピュータによって構成され、通信装置1及びスマートフォン9の通信を管理及び制御したり、送受信される画像データの種類(一般画像と特殊画像の種別)を管理したりする。よって、通信管理サーバは、通信制御サーバでもある。なお、通信管理サーバ6は、単一又は複数のコンピュータによって構成されている。複数のコンピュータによって構成されている場合には、通信管理サーバは、通信管理システム(又は通信制御システム)でもある。
全天球撮影装置8及びスマートフォン9は、拠点Gにいる利用者Gによって利用されている。利用者G1は、拠点Gで全天球撮影装置8を持って拠点Gの様子を撮影及び集音し、スマートフォン9、通信ネットワーク100及び通信管理サーバ6を介して、各通信装置1a,1b,1c,1dに、画像データ及び音データを送信する。
全天球撮影装置8は、被写体や風景等を撮影して全天球パノラマ画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。この場合の全天球撮影装置8は、単独で通信ネットワーク100に接続できないため、Wi-Fi(Wireless Fidelity)やBluetooth(登録商標)等の無線通信技術を利用して、一旦、スマートフォン9に画像データ及び音データを送信する。そして、スマートフォン9が通信ネットワーク100を介して、通信管理サーバ6等の他の装置やサーバに画像データ及び音データを送信する。なお、全天球撮影装置8として、単独で通信ネットワーク100に接続できる仕様の装置であってもよい。
スマートフォン9は、上述のように、全天球撮影装置8から画像データ及び音データを取得し、通信ネットワーク100を介して、通信管理サーバ6及び通信装置1に画像データ及び音データを送信する。更に、スマートフォン9は、他拠点の通信装置1から取得した画像データ及び音データを再生する。
また、通信装置1及びスマートフォン9には、OpenGL ESがインストールされており、全天球画像の一部の領域を示す所定領域情報を作成したり、他の通信装置から送られて来た全天球画像から全天球画像の一部の領域である所定領域画像を作成したりすることができる。
なお、通信装置1には、デジタルテレビ、スマートフォン(スマートフォン9とは別装置)、スマートウオッチ、カーナビゲーション装置、医療機器等も含まれる。
〔ハードウェア構成〕
続いて、図2乃至図5を用いて、本実施形態の通信装置1、通信管理サーバ6、全天球撮影装置8、及びスマートフォン9のハードウェア構成を詳細に説明する。
続いて、図2乃至図5を用いて、本実施形態の通信装置1、通信管理サーバ6、全天球撮影装置8、及びスマートフォン9のハードウェア構成を詳細に説明する。
<通信装置のハードウェア構成>
まず、図2を用いて、通信装置1の電気的なハードウェア構成を説明する。図2は、通信装置の電気的なハードウェア構成図である。
まず、図2を用いて、通信装置1の電気的なハードウェア構成を説明する。図2は、通信装置の電気的なハードウェア構成図である。
通信装置1は、PC3、ディスプレイ4、輝度深度撮影デバイス5、スピーカ11、キーボード12、及びマウス13によって構築されている。
(PCのハードウェア構成)
PC3は、コンピュータとして、図2に示されているように、CPU301、ROM302、RAM303、HD304、HDD(Hard Disk Drive)コントローラ305、外部機器接続I/F(Interface)308、ネットワークI/F309、バスライン310、ポインティングデバイス312、メディアI/F314を備えている。
PC3は、コンピュータとして、図2に示されているように、CPU301、ROM302、RAM303、HD304、HDD(Hard Disk Drive)コントローラ305、外部機器接続I/F(Interface)308、ネットワークI/F309、バスライン310、ポインティングデバイス312、メディアI/F314を備えている。
これらのうち、CPU301は、PC3全体の動作を制御する。ROM302は、IPL等のCPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDDコントローラ305は、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。外部機器接続I/F308は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、ディスプレイ4、輝度深度撮影デバイス5、スピーカ11、キーボード12、及びマウス13である。更に、外部機器として、例えば、USB(Universal Serial Bus)メモリやプリンタ等である。
ネットワークI/F309は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。バスライン310は、図2に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、ポインティングデバイス312は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。なお、利用者がキーボード12を使う場合は、ポインティングデバイス312の機能をOFFにしてもよい。メディアI/F314は、フラッシュメモリ等の記録メディア313に対するデータの読み出し又は書き込み(記憶)を制御する。記録メディア313には、DVDやBlu-ray Disc(ブルーレイディスク)等も含まれる。
(輝度深度撮影デバイスのハードウェア構成)
輝度深度撮影デバイス5は、輝度カメラ501、深度カメラ502、マイク505、操作ボタン506、外部機器接続I/F508、及びバスライン510を備えている。これらのうち、輝度カメラ501は、撮像素子を用いて、受光した光を電気信号に変換して画像データを得るデバイスである。例えば、RGBカラーカメラが含まれる。
輝度深度撮影デバイス5は、輝度カメラ501、深度カメラ502、マイク505、操作ボタン506、外部機器接続I/F508、及びバスライン510を備えている。これらのうち、輝度カメラ501は、撮像素子を用いて、受光した光を電気信号に変換して画像データを得るデバイスである。例えば、RGBカラーカメラが含まれる。
深度カメラ502は、人や物等の被写体を撮像して、TOF(Time Of Flight)方式により、被写体から深度カメラ502までの距離を計測することで、深度画像のデータを取得する。深度カメラ502は、被写体の形状を立体として捉えると共に、人の骨格等のさまざまな動きを検出して、その後の処理にリアルタイムに反映させることができるカメラである。そのため、深度カメラ502は、赤外線プロジェクタ503及び赤外線センサ504によって構成されている。赤外線プロジェクタ503は、赤外光を発光可能なプロジェクタである。赤外線センサ504は、赤外線プロジェクタ503が発行した赤外光が被写体で反射し、このときの反射光である赤外光を受光して電気信号に変換し、必要な情報を取り出すデバイスである。なお、上記では、TOF方式により深度を計測する方式を記載しているが、パターン照射方式のより深度を計測してもよい。また、通常のカメラであるRGBカラーカメラによってステレオ計測による方法で深度を計測してもよく、深度を計測する方法については、上記の記載に限られるものではない。
マイク505は、周囲の音を集音して、音を音(電気信号)データに変換する。操作ボタン506は、輝度深度撮影デバイス5の操作や電源のON/OFFを行うためのボタンである。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、PC3である。バスライン510は、図3に示されている輝度カメラ501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、ディスプレイ4、スピーカ11、キーボード12、及びマウス13は、一般の汎用的なデバイスであるため、説明を省略する。
<通信管理サーバのハードウェア構成>
続いて、図3を用いて、通信管理サーバの電気的なハードウェア構成図について説明する。図3は、通信管理サーバの電気的なハードウェア構成図である。
続いて、図3を用いて、通信管理サーバの電気的なハードウェア構成図について説明する。図3は、通信管理サーバの電気的なハードウェア構成図である。
図3に示されているように、通信管理サーバ6は、コンピュータとして、CPU601、ROM602、RAM603、HD604、HDD(Hard Disk Drive)コントローラ605、ディスプレイ606、外部機器接続I/F(Interface)608、ネットワークI/F609、バスライン610、ポインティングデバイス612、メディアI/F614を備えている。
これらのうち、CPU601は、通信管理サーバ6全体の動作を制御する。ROM602は、IPL等のCPU601の駆動に用いられるプログラムを記憶する。RAM603は、CPU601のワークエリアとして使用される。HD604は、プログラム等の各種データを記憶する。HDDコントローラ605は、CPU601の制御にしたがってHD604に対する各種データの読み出し又は書き込みを制御する。ディスプレイ606は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F608は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USBメモリやプリンタ等である。ネットワークI/F609は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。バスライン610は、図3に示されているCPU601等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
また、ポインティングデバイス612は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアI/F614は、フラッシュメモリ等の記録メディア613に対するデータの読み出し又は書き込み(記憶)を制御する。記録メディア613には、DVDやBlu-ray Disc(ブルーレイディスク)等も含まれる。
<全天球撮影装置のハードウェア構成>
続いて、図4を用いて、全天球撮影装置の電気的なハードウェア構成図について説明する。図4は、全天球撮影装置の電気的なハードウェア構成図である。
続いて、図4を用いて、全天球撮影装置の電気的なハードウェア構成図について説明する。図4は、全天球撮影装置の電気的なハードウェア構成図である。
全天球撮影装置8は、2つの撮像素子を使用した全天球(全方位)全天球撮影装置とするが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置8と同じ機能を有するようにしてもよい。
図4に示されているように、全天球撮影装置8は、撮像ユニット801、画像処理ユニット804、撮像制御ユニット805、マイク808、音処理ユニット809、CPU(Central Processing Unit)811、ROM(Read Only Memory)812、SRAM(Static Random Access Memory)813、DRAM(Dynamic Random Access Memory)814、操作部815、外部機器接続I/F816、通信回路817、アンテナ817a、加速度・方位センサ818、及びMicro USB用の凹状の端子819によって構成されている。
このうち、撮像ユニット801は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)802a,802bと、各広角レンズに対応させて設けられている2つの撮像素子803a,803bを備えている。撮像素子803a,803bは、広角レンズ802a,802bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット801の撮像素子803a,803bは、各々、画像処理ユニット804とパラレルI/Fバスで接続されている。一方、撮像ユニット801の撮像素子803a,803bは、撮像制御ユニット805とは、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット804、撮像制御ユニット805及び音処理ユニット809は、バス810を介してCPU811と接続される。さらに、バス810には、ROM812、SRAM813、DRAM814、操作部815、外部機器接続I/F(Interface)816、通信回路817、及び加速度・方位センサ818なども接続される。
画像処理ユニット804は、撮像素子803a,803bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。正距円筒射影画像は、丸い球体を平面である画像に変換した画像を意味しており、英語では、
クイレクタングラー(Equirectangular)という図法を用いている画像を示している。
クイレクタングラー(Equirectangular)という図法を用いている画像を示している。
撮像制御ユニット805は、一般に撮像制御ユニット805をマスタデバイス、撮像素子803a,803bをスレーブデバイスとして、I2Cバスを利用して、撮像素子803a,803bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU811から受け取る。また、撮像制御ユニット805は、同じくI2Cバスを利用して、撮像素子803a,803bのレジスタ群のステータスデータ等を取り込み、CPU811に送る。
また、撮像制御ユニット805は、操作部815のシャッターボタンが押下されたタイミングで、撮像素子803a,803bに画像データの出力を指示する。全天球撮影装置8によっては、ディスプレイ(例えば、スマートフォンのディスプレイ)によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子803a,803bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット805は、後述するように、CPU811と協働して撮像素子803a,803bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置8にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク808は、音を音(信号)データに変換する。音処理ユニット809は、マイク808から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU811は、全天球撮影装置8の全体の動作を制御すると共に必要な処理を実行する。ROM812は、CPU811のための種々のプログラムを記憶している。SRAM813及びDRAM814はワークメモリであり、CPU811で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM814は、画像処理ユニット804での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部815は、シャッターボタン815aなどの操作ボタンの総称である。ユーザは操作部815を操作することで、種々の撮影モードや撮影条件などを入力する。
外部機器接続I/F816は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリやPC(Personal Computer)等である。DRAM814に記憶された正距円筒射影画像のデータは、このネットワークI/F816を介して外付けの記録メディアに記録されたり、必要に応じてネットワークI/F816を介してスマートフォン等の外部端末(装置)に送信されたりする。
通信回路817は、全天球撮影装置8に設けられたアンテナ817aを介して、Wi-Fi、NFC(Near Field Communication)やBluetooth(登録商標)等の近距離無線通信技術によって、スマートフォン等の外部端末(装置)と通信を行う。この通信回路817によっても、正距円筒射影画像のデータをスマートフォン等の外部端末(装置)に送信することができる。
加速度・方位センサ818は、地球の磁気から全天球撮影装置8の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ818は、全天球撮影装置8の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ818は、3軸方向の加速度を検出するセンサである。全天球撮影装置8は、加速度・方位センサ818が検出した加速度に基づいて、自装置(全天球撮影装置8)の姿勢(重力方向に対する角度)を算出する。全天球撮影装置8に、加速度・方位センサ818が設けられることによって、画像補正の精度が向上する。
Micro USB用の凹状の端子819は、図1に示されているスマートフォン9とWi-Fi等の無線ではなく有線で通信する場合にUSBケーブル等を取り付けるための端子である。
<スマートフォンのハードウェア構成>
続いて、図5を用いて、スマートフォンの電気的なハードウェア構成図について説明する。図5は、スマートフォンの電気的なハードウェア構成図である。
続いて、図5を用いて、スマートフォンの電気的なハードウェア構成図について説明する。図5は、スマートフォンの電気的なハードウェア構成図である。
図5に示されているように、スマートフォン9は、CPU901、ROM902、RAM903、EEPROM904、CMOSセンサ905、撮像素子I/F906、加速度・方位センサ907、メディアI/F909、GPS受信部911を備えている。
これらのうち、CPU901は、スマートフォン9全体の動作を制御する。ROM902は、CPU901やIPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ905は、CPU901の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F906は、CMOSセンサ905の駆動を制御する回路である。加速度・方位センサ907は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F909は、フラッシュメモリ等の記録メディア908に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部911は、GPS衛星からGPS信号を受信する。
また、スマートフォン9は、遠距離通信回路912、CMOSセンサ913、撮像素子I/F914、マイク915、スピーカ916、音入出力I/F917、ディスプレイ918、外部機器接続I/F(Interface)919、近距離通信回路420、近距離通信回路420のアンテナ420a、及びタッチパネル421を備えている。
これらのうち、遠距離通信回路912は、通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ913は、CPU901の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F914は、CMOSセンサ913の駆動を制御する回路である。マイク915は、音を電気信号に変える内蔵型の回路である。スピーカ916は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F917は、CPU901の制御に従ってマイク915及びスピーカ916との間で音信号の入出力を処理する回路である。ディスプレイ918は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F919は、各種の外部機器を接続するためのインターフェースである。近距離通信回路420は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。タッチパネル421は、利用者がディスプレイ918を押下することで、スマートフォン9を操作する入力手段の一種である。
また、スマートフォン9は、バスライン910を備えている。バスライン910は、図6に示されているCPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたCD-ROM等の記録媒体、並びに、これらプログラムが記憶されたHDは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
〔実施形態の機能構成〕
次に、図6乃至図18を用いて、本実施形態の機能構成について説明する。図6乃至図8は、通信システムの機能ブロック図である。
次に、図6乃至図18を用いて、本実施形態の機能構成について説明する。図6乃至図8は、通信システムの機能ブロック図である。
<通信装置の機能構成>
ここで、通信装置1のうち、通信装置1aの機能構成について説明する。通信装置1aの機能は、実質的にPC3a及び輝度深度撮影デバイス5によって実現されている。
ここで、通信装置1のうち、通信装置1aの機能構成について説明する。通信装置1aの機能は、実質的にPC3a及び輝度深度撮影デバイス5によって実現されている。
図6に示されているように、通信装置1aは、PC3aによって実現される機能として、送受信部31a、受付部32a、画像・音処理部33a、表示制御部34a、判断部35a、集音部38a、及び記憶・読出処理部39aを有している。これら各部は、図2に示されている各構成要素のいずれかが、HD304からRAM303上に展開された通信装置用のプログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。また、通信装置1aは、図3に示されているROM302、RAM303、及びHD304によって構築される記憶部3000aを有している。
更に、通信装置1aは、輝度深度撮影デバイス5によって実現される機能として、輝度画像取得部36a、深度画像取得部37a、及び集音部38aを有している。輝度深度撮影デバイス5によって実現される機能については、破線で囲まれている。
(画像種類管理テーブル)
図9は、画像種類管理テーブルを示す概念図である。記憶部3000aには、画像種類管理テーブルによって構成されている画像種類管理DB3003aが構築されている。この画像種類管理テーブルでは、画像データID(Identification)、送信元の接続ID、及び画像種類情報が関連付けて記憶されて管理されている。これらのうち、画像データIDは、映像通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先(受信側の通信装置)は、受信した画像データの送信元を特定することができる。送信元の接続IDは、通信装置又は通信装置の利用者を識別するための利用者IDである。利用者IDは、通信管理サーバ6によって付与された権限内で利用できる識別子である。なお、接続IDは、通信装置1aを識別するための装置IDであってもよい。接続IDは接続識別情報の一例、利用者IDは利用者識別情報の一例、及び、装置IDは装置識別情報の一例である。
図9は、画像種類管理テーブルを示す概念図である。記憶部3000aには、画像種類管理テーブルによって構成されている画像種類管理DB3003aが構築されている。この画像種類管理テーブルでは、画像データID(Identification)、送信元の接続ID、及び画像種類情報が関連付けて記憶されて管理されている。これらのうち、画像データIDは、映像通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元から送信される画像データには、同じ画像データIDが付加されている。これにより、送信先(受信側の通信装置)は、受信した画像データの送信元を特定することができる。送信元の接続IDは、通信装置又は通信装置の利用者を識別するための利用者IDである。利用者IDは、通信管理サーバ6によって付与された権限内で利用できる識別子である。なお、接続IDは、通信装置1aを識別するための装置IDであってもよい。接続IDは接続識別情報の一例、利用者IDは利用者識別情報の一例、及び、装置IDは装置識別情報の一例である。
画像種類情報は、関連付けられている画像データIDで示される画像データに係る画像を特定するための名称であり、例えば、ソース名が挙げらる。画像種類情報は、所定の名称の命名規則に従い、PC3aによって作成される。ここでは、画像種類情報として、「Video_Depth」、「Video_Omni」、及び「Video」が示されている。これらは順に画像種類が「深度画像を含む輝度画像」による映像、「全天球画像である輝度画像」による映像、「平面画像である輝度画像」による映像である旨を示している。なお、全天球画像は特殊画像の一例であり、平面画像は一般画像の一例である。
例えば、接続IDが「01aa」の通信装置1aは、画像データID「RS001」によって示される画像データを送信していることが示されている。更に、画像種類情報によって示される画像の種類は、「Video_Depth」である。
なお、画像データ以外のデータについても、画像データIDと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。
(配信管理テーブル)
図10は、配置管理テーブルを示す概念図である。記憶部3000aには、配置管理テーブルによって構成されている配置管理DB3006aが構築されている。この配置管理テーブルでは、仮想空間種類ID、参加人数、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続IDが関連付けて記憶されて管理されている。
図10は、配置管理テーブルを示す概念図である。記憶部3000aには、配置管理テーブルによって構成されている配置管理DB3006aが構築されている。この配置管理テーブルでは、仮想空間種類ID、参加人数、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続IDが関連付けて記憶されて管理されている。
これらのうち、仮想空間種類IDは、映像通話を行う仮想の空間の種類を識別するための仮想空間種類式別情報の一例である。参加人数は、映像通話に参加する人数を示す情報である。この参加人数に基づいて予め仮想空間上で配置位置が定められている。図10では、参加人数は、2人から4人が示されているが、これらだけに限定されるものではない。例えば、一人で使う場合の1人部屋や、5人以上で使う場合の仮想部屋も選択可能である。また、仮想部屋には、仮想部屋の一部分に設置された仮想ブースも含まれる。また、屋内又は屋外(野外)の仮想イベント会場等も含まれる。イベントは、例えば、所定の場所及び時刻で行う事や、特別に企画して開かれる事を示している。
役割は、仮想空間種類に応じて定められており、個人(若しくはグループ)に対して、割り当てられたり、必要とされたり、又は期待されたりする行動や活動である。また、役割は、図10に示されているもの以外に、接客の案内者、接客の顧客、商談の営業マン、商談の顧客等であってもよい。また、役割には、社長や部長等の役職も含まれる。
モデリング座標系からワールド座標系への変換パラメータは、後述の図33に示されているように、物体を第1の仮想空間上のモデリング座標系から第2の仮想空間上のワールド座標系へ変換する場合に用いられる変換パラメータを示す。接続IDは、画像種類管理テーブルの接続IDと同じ概念であるため、説明を省略する。
なお、コンピュータグラフィックス(CG)で描く仮想世界は、世界の基準となる1つの座標系を設ける。これをワールド座標系(World coordinate system)と呼ぶ。物体の形像を直接ワールド座標系で与えると、物体がワールド座標系内で移動するごとに、物体の形状を定義しなおさなければならない。そこで、コンピュータグラフィックスの3次元画像で物体の形状を決定する(モデリングという)座標系を定めている。この座標系をモデリング座標系(Modeling coordinate system)という。
ここで、別の表現によって、ワールド座標とモデリング座標とを説明する。ワールド座標系は、コンピュータグラフィックスで表示する物体は空間全体を表す座標系を示す。空間の中での物体の位置を示すための座標系で、物体の配置や移動を扱うために用いられる。各立体がどのような位置、向きで置かれているかを記述することができる。全てワールド座標系という一つの大きな空間で,最初から全ての物体をこの座標系上で定義したのでは表示処理の扱いが困難となる.そのため、空間中に配置される個々の立体の形状や変形を扱うためにモデリング座標が用いられる。立体のいずれかの頂点や近傍などに原点を取り、立体を構成する点や線、面などの位置や向きなどを記述する。個々のモデリング座標系で自由に定義された表示物体を全て統一されたワールド座標系上に配置し、グラフィックス空間、又は仮想的な3次元世界を作成することができる。
ここで、図11乃至図13を用いて、各仮想空間の最適型空間を説明する。
((2人の映像通話))
図11は、ワールド座標系上の配置位置を示した概念図であり、2人で映像通話する場合の仮想空間を示した図である。図11には、例えば、映像通話としての仮想の会議における役割毎の配置位置が示されている。図10における役割である主催者、参加者(1)、及び傍観者は、図11において、それぞれ、主催者位置a11、参加者位置a14、及び傍観者位置a15に配置される。また、同様に、ディスプレイの位置d11,d14,d15の位置は、それぞれ、主催者位置a11、参加者位置a14、及び傍観者位置a15に合わせて配置されている。なお、ディスプレイの位置d11,d14は、図1に示されているような通信装置1a,1dの2つのディスプレイの位置を示し、ディスプレイの位置d15は、スマートフォン9等の単一のディスプレイの位置を示している。
図11は、ワールド座標系上の配置位置を示した概念図であり、2人で映像通話する場合の仮想空間を示した図である。図11には、例えば、映像通話としての仮想の会議における役割毎の配置位置が示されている。図10における役割である主催者、参加者(1)、及び傍観者は、図11において、それぞれ、主催者位置a11、参加者位置a14、及び傍観者位置a15に配置される。また、同様に、ディスプレイの位置d11,d14,d15の位置は、それぞれ、主催者位置a11、参加者位置a14、及び傍観者位置a15に合わせて配置されている。なお、ディスプレイの位置d11,d14は、図1に示されているような通信装置1a,1dの2つのディスプレイの位置を示し、ディスプレイの位置d15は、スマートフォン9等の単一のディスプレイの位置を示している。
((3人の映像通話))
図12は、ワールド座標系上の配置位置を示した概念図であり、3人で映像通話する場合の仮想空間を示した図である。図12には、例えば、映像通話としての仮想の会議における役割毎の配置位置が示されている。図10における役割である主催者、参加者(1)、参加者(2)、及び傍観者は、図12において、それぞれ、主催者位置a21、参加者位置a22、参加者位置a24、及び傍観者位置a25に配置される。また、同様に、ディスプレイの位置d21,d22,d24,d25の位置は、それぞれ、主催者位置a21、参加者位置a22、参加者位置a24、及び傍観者位置a25に合わせて配置されている。なお、ディスプレイの位置d21,d22,d24は、図1に示されているような通信装置1a,1b,1dの3つのディスプレイの位置を示し、ディスプレイの位置d25は、スマートフォン9等の単一のディスプレイの位置を示している。
図12は、ワールド座標系上の配置位置を示した概念図であり、3人で映像通話する場合の仮想空間を示した図である。図12には、例えば、映像通話としての仮想の会議における役割毎の配置位置が示されている。図10における役割である主催者、参加者(1)、参加者(2)、及び傍観者は、図12において、それぞれ、主催者位置a21、参加者位置a22、参加者位置a24、及び傍観者位置a25に配置される。また、同様に、ディスプレイの位置d21,d22,d24,d25の位置は、それぞれ、主催者位置a21、参加者位置a22、参加者位置a24、及び傍観者位置a25に合わせて配置されている。なお、ディスプレイの位置d21,d22,d24は、図1に示されているような通信装置1a,1b,1dの3つのディスプレイの位置を示し、ディスプレイの位置d25は、スマートフォン9等の単一のディスプレイの位置を示している。
((4人の映像通話))
図13は、ワールド座標系上の配置位置を示した概念図であり、4人で会議する場合の仮想空間を示した図である。図13には、例えば、映像通話としての仮想の会議における役割毎の配置位置が示されている。図10における役割である主催者、参加者(1)、参加者(2)、参加者(3)、及び傍観者は、図13において、それぞれ、主催者位置a11、参加者位置a12、参加者位置a13、参加者位置a14、及び傍観者位置a15に配置される。また、同様に、ディスプレイの位置d11~d15の位置は、それぞれ、主催者位置a11、参加者位置a12、参加者位置a13、参加者位置a14、及び傍観者位置a15に合わせて配置されている。なお、ディスプレイの位置d11~d14は、図1に示されているような通信装置1a~1dの4つのディスプレイの位置を示し、ディスプレイの位置d15は、スマートフォン9等の単一のディスプレイの位置を示している。
図13は、ワールド座標系上の配置位置を示した概念図であり、4人で会議する場合の仮想空間を示した図である。図13には、例えば、映像通話としての仮想の会議における役割毎の配置位置が示されている。図10における役割である主催者、参加者(1)、参加者(2)、参加者(3)、及び傍観者は、図13において、それぞれ、主催者位置a11、参加者位置a12、参加者位置a13、参加者位置a14、及び傍観者位置a15に配置される。また、同様に、ディスプレイの位置d11~d15の位置は、それぞれ、主催者位置a11、参加者位置a12、参加者位置a13、参加者位置a14、及び傍観者位置a15に合わせて配置されている。なお、ディスプレイの位置d11~d14は、図1に示されているような通信装置1a~1dの4つのディスプレイの位置を示し、ディスプレイの位置d15は、スマートフォン9等の単一のディスプレイの位置を示している。
なお、図10乃至図13において、利用者及び仮想空間上の位置は2つから5つあるが、これに限るものではなく、いくつであってもよい。また、傍観者の位置も複数であっても良いし、複数の傍観者が仮想の会議室に入って単一の傍観者の位置に配置されるようにしてもよい。また、映像通話の例は、会議以外にも、面接、講義等があり、これらはイベントの一例でもある。
(通信装置の各機能構成)
次に、図2及び図6を用いて、通信装置1aの各機能構成について更に詳細に説明する。
次に、図2及び図6を用いて、通信装置1aの各機能構成について更に詳細に説明する。
通信装置1aの送受信部31aは、ネットワークI/F309に対するCPU301の処理によって実現され、通信ネットワーク100を介して、他の装置(例えば、通信管理サーバ6)との間で各種データ(または情報)の送受信を行う。
受付部32aは、主に、キーボード12、マウス13、及びポインティングデバイス312に対するCPU301の処理によって実現され、利用者から各種の選択又は入力を受け付ける。
画像・音処理部33aは、主に、CPU301の処理によって実現され、各種画像処理及び音処理を行う。例えば、画像・音処理部33aは、生成部としての役割を果たし、輝度画像及び深度画像のデータに基づき仮想空間上における被写体の3次元物体を生成する。
表示制御部34aは、主に、CPU301の処理によって実現され、各ディスプレイ4a~4cに、各種画像を表示させる。
判断部35aは、主に、CPU301の処理によって実現され、各種判断を行う。
輝度画像取得部36aは、主に、輝度カメラ501に対するCPU301の処理によって実現され、被写体を撮影することで、輝度画像のデータを取得する。ここでは、輝度画像と記載しているが、深度画像との対比のために用いている用語であり、輝度画像は、輝度情報のみを含む画像ではなく、色情報も有している。
深度画像取得部37aは、主に、深度カメラ502に対するCPU301の処理によって実現され、被写体を撮影することで、深度画像のデータを取得する。
集音部38aは、主に、マイク505に対するCPU301の処理によって実現され、集音して、音のデータを取得する。
記憶・読出処理部39aは、主に、CPU301の処理によって実現され、記憶部3000aに、各種データ(または情報)を記憶したり、記憶部3000aから各種データ(または情報)を読み出したりする。
なお、通信装置1b、1c、1dは、通信装置1aと同様の機能、記憶部、及びデータベースを有している。また、通信装置1b,1c,1dの機能は、それぞれ実質的にPC3b,3c,3dによって実現されている。図6及び図7では、通信装置1aにおける送受信部31aが、通信装置1bにおける送受信部31bに対応するように、符号の末尾が、aからそれぞれb,c,dに変わるだけであるため、これらの説明を省略する。
<通信管理サーバの機能構成>
次に、図3及び図6を用いて、通信管理サーバ6の機能構成について説明する。図6は、通信管理サーバの機能構成図である。
次に、図3及び図6を用いて、通信管理サーバ6の機能構成について説明する。図6は、通信管理サーバの機能構成図である。
図6に示されているように、通信管理サーバ6は、送受信部61、画像・音処理部63、判断部65、作成部66、及び記憶・読出処理部69を有している。これら各部は、図3に示されている各構成要素のいずれかが、HD604からRAM603上に展開された通信管理(制御)用のプログラムに従ったCPU601からの命令によって動作することで実現される機能又は手段である。また、通信管理サーバ6は、図3に示されているROM602、RAM603、及びHD604によって構築される記憶部6000を有している。
(通信管理テーブル)
図14(a)は、通信管理テーブルを示す概念図である。記憶部6000には、図14(a)に示されているような通信管理テーブルによって構成されている通信管理DB6001が構築されている。この通信管理テーブルでは、通信管理サーバ6によって管理される全ての通信装置1の各接続IDに対して、各パスワード及び各IPアドレスが関連付けられて管理される。例えば、図14に示されている通信管理テーブルにおいて、通信装置1aの接続IDは「01aa」で、パスワードは「aaaa」で、IPアドレスはIPv4として「1.2.1.3」あることが示されている。なお、IPアドレスは、簡易的に示されている。また、IPアドレスは、IPv4ではなくIPv6であってもよい。また、IPアドレスでなく、ドメイン名(電子メールやホームページのアドレスとして使われている名称を示すような文字列)であってもよい。
図14(a)は、通信管理テーブルを示す概念図である。記憶部6000には、図14(a)に示されているような通信管理テーブルによって構成されている通信管理DB6001が構築されている。この通信管理テーブルでは、通信管理サーバ6によって管理される全ての通信装置1の各接続IDに対して、各パスワード及び各IPアドレスが関連付けられて管理される。例えば、図14に示されている通信管理テーブルにおいて、通信装置1aの接続IDは「01aa」で、パスワードは「aaaa」で、IPアドレスはIPv4として「1.2.1.3」あることが示されている。なお、IPアドレスは、簡易的に示されている。また、IPアドレスは、IPv4ではなくIPv6であってもよい。また、IPアドレスでなく、ドメイン名(電子メールやホームページのアドレスとして使われている名称を示すような文字列)であってもよい。
(セッション管理テーブル)
図14(b)は、セッション管理テーブルを示す概念図である。記憶部6000には、図14(b)に示されているようなセッション管理テーブルによって構成されているセッション管理DB6002が構築されている。このセッション管理テーブルでは、セッションID、仮想空間種類ID、及び同じ通信セッションの映像通話に参加した通信装置の接続IDが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室等の仮想の空間毎に生成される。セッションIDをミィーティングIDとして代替することができてもよい。ミィーティングIDは、ミィーティング(2人以上の話合う事)を通信管理サーバで管理するための識別子を示めしている。なお、仮想空間種類ID及び参加した通信装置の接続IDは、図10に示されている配置管理テーブルで管理されている仮想空間種類ID及び接続IDと同じ概念であるため、これらの説明を省略する。
図14(b)は、セッション管理テーブルを示す概念図である。記憶部6000には、図14(b)に示されているようなセッション管理テーブルによって構成されているセッション管理DB6002が構築されている。このセッション管理テーブルでは、セッションID、仮想空間種類ID、及び同じ通信セッションの映像通話に参加した通信装置の接続IDが関連付けて記憶されて管理されている。このうち、セッションIDは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室等の仮想の空間毎に生成される。セッションIDをミィーティングIDとして代替することができてもよい。ミィーティングIDは、ミィーティング(2人以上の話合う事)を通信管理サーバで管理するための識別子を示めしている。なお、仮想空間種類ID及び参加した通信装置の接続IDは、図10に示されている配置管理テーブルで管理されている仮想空間種類ID及び接続IDと同じ概念であるため、これらの説明を省略する。
(画像種類管理テーブル)
記憶部6000には、図14(c)に示されているような画像種類管理テーブルによって構成されている画像種類管理DB6003が構築されている。この画像種類管理DB6003は、上述した画像種類管理DB3003aに対して、セッションID(コミュニケーションID)の項目(属性)が追加されている。各項目(属性)は既に説明しているため、説明を省略する。
記憶部6000には、図14(c)に示されているような画像種類管理テーブルによって構成されている画像種類管理DB6003が構築されている。この画像種類管理DB6003は、上述した画像種類管理DB3003aに対して、セッションID(コミュニケーションID)の項目(属性)が追加されている。各項目(属性)は既に説明しているため、説明を省略する。
(ディスプレイ管理テーブル)
図15は、ディスプレイ管理テーブルを示す概念図である。記憶部6000には、図15に示されているようなディスプレイ管理テーブルによって構成されているディスプレイ管理DB6004が構築されている。このディスプレイ管理テーブルでは、ディスプレイのGUID(Globally Unique Identifier)のベンダIDとプロダクトID、物理空間上(リアル座標系)のディスプレイの縦と横のサイズ(各隅の位置)及び解像度、並びに仮想空間上(モデリング座標系)のディスプレイの各隅の位置が関連付けて記憶されて管理されている。なお、リアル座標系は、現実の世界である3次元の世界の任意の位置を基準とした座標系を示している。
図15は、ディスプレイ管理テーブルを示す概念図である。記憶部6000には、図15に示されているようなディスプレイ管理テーブルによって構成されているディスプレイ管理DB6004が構築されている。このディスプレイ管理テーブルでは、ディスプレイのGUID(Globally Unique Identifier)のベンダIDとプロダクトID、物理空間上(リアル座標系)のディスプレイの縦と横のサイズ(各隅の位置)及び解像度、並びに仮想空間上(モデリング座標系)のディスプレイの各隅の位置が関連付けて記憶されて管理されている。なお、リアル座標系は、現実の世界である3次元の世界の任意の位置を基準とした座標系を示している。
ここで、図16を用いて、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に説明する。図16は、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に示した概念図である。
例えば、ディスプレイのGUIDが「vid_10ca&pid_0001」の場合、物理空間上(リアル座標系)のディスプレイ118のぞれぞれの四隅の位置を示す点が示されている。同じく通信装置のGUIDが「vid_10ca&pid_0001」の場合、仮想空間上(モデリング座標系)の3つのディスプレイのそれぞれの四隅の位置を示す点が示されている。
また、ディスプレイのGUIDが「vid_11ca&pid_0010」の場合、物理空間上(リアル座標系)のスマートフォン9の1つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくスマートフォンのGUIDが「vid_11ca&pid_0010」の場合、仮想空間上(モデリング座標系)のスマートフォンの1つのディスプレイの四隅の位置を示す点が示されている。
更に、ディスプレイのGUIDが「vid_12ca&pid_0100」の場合、物理空間上(リアル座標系)の一般のノートPCの1つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくディスプレイのGUIDが「vid_12ca&pid_0100」の場合、仮想空間上(モデリング座標系)のノートPCの1つのディスプレイの四隅の位置を示す点が示されている。
(仮想空間情報管理テーブル)
図17は、仮想空間情報管理テーブルを示す概念図である。記憶部6000には、図17に示されているような仮想空間情報管理テーブルによって構成されている仮想空間情報管理DB6005が構築されている。この仮想空間情報管理テーブルでは、セッションID(コミュニケーションID)、映像通話への参加人数、及び役割名が関連付けて記憶されて管理されている。セッションID(コミュニケーションID)は、上述のセッション管理DB6002の「セッションID」項目(属性)と同じ概念であるため、説明を省略する。また、参加人数は、上述の配置管理DB3006aの「参加人数」項目(属性)を名称として管理されている。
図17は、仮想空間情報管理テーブルを示す概念図である。記憶部6000には、図17に示されているような仮想空間情報管理テーブルによって構成されている仮想空間情報管理DB6005が構築されている。この仮想空間情報管理テーブルでは、セッションID(コミュニケーションID)、映像通話への参加人数、及び役割名が関連付けて記憶されて管理されている。セッションID(コミュニケーションID)は、上述のセッション管理DB6002の「セッションID」項目(属性)と同じ概念であるため、説明を省略する。また、参加人数は、上述の配置管理DB3006aの「参加人数」項目(属性)を名称として管理されている。
(通信管理サーバの各機能構成)
次に、図3及び図6を用いて、通信管理サーバ6の各機能構成について更に詳細に説明する。
次に、図3及び図6を用いて、通信管理サーバ6の各機能構成について更に詳細に説明する。
通信管理サーバ6の送受信部61は、ネットワークI/F609に対するCPU601の処理によって実現され、通信ネットワーク100を介して、他の装置(例えば、通信装置1、スマートフォン9)との間で各種データ(または情報)の送受信を行う。
画像・音処理部63は、主に、CPU601の処理によって実現され、各拠点の輝度画像データ及び深度画像データに基づき、仮想空間上の各拠点における被写体の3次元物体の生成等を行う。よって、画像・音処理部63は、生成部としての機能を有する。画像・音処理部63については、後ほど詳細に説明する。
判断部65は、主に、CPU601の処理によって実現され、各種判断を行う。
作成部66は、主にCPU601の処理によって実現され、画像データIDを作成する。
記憶・読出処理部69は、主に、図3に示されているHDD605に対するCPU601の処理によって実現され、記憶部5000に各種データ(または情報)を記憶したり、記憶部5000から各種データ(または情報)を読み出したりする。
<全天球撮影装置の機能構成>
次に、図4及び図8を用いて、全天球撮影装置8の機能構成について説明する。
次に、図4及び図8を用いて、全天球撮影装置8の機能構成について説明する。
図8に示されているように、全天球撮影装置8は、受付部82、撮影部83、集音部84、判断部85、通信部88、及び記憶・読出処理部89を有している。これら各部は、図4に示されている各構成要素のいずれかが、SRAM813からDRAM814上に展開された撮影装置用のプログラムに従ったCPU811からの命令によって動作することで実現される機能又は手段である。
また、全天球撮影装置8は、図4に示されているROM512、SRAM513、及びDRAM514によって構築される記憶部8000を有している。記憶部8000には、自装置のGUIDが記憶されている。
(全天球撮影装置の各機能構成)
次に、図4及び図8を用いて、全天球撮影装置8の各機能構成について更に詳細に説明する。
次に、図4及び図8を用いて、全天球撮影装置8の各機能構成について更に詳細に説明する。
全天球撮影装置8の受付部82は、主に、図4に示されている操作部515に対するCPU811の処理によって実現され、利用者からの操作入力を受け付ける。
撮影部83は、主に、図4に示されている撮像ユニット801、画像処理ユニット804、及び撮像制御ユニット805に対するCPU811の処理によって実現され、被写体や風景等を撮像し、全天球画像を構成する2つの半球画像のデータを得る。
集音部84は、図4に示されているマイク808及び音処理ユニット809に対するCPU811の処理によって実現され、全天球撮影装置8の周囲の音を集音する。
判断部85は、主に、CPU801の処理によって実現され、各種判断を行う。
通信部88は、主に、通信回路817に対するCPU811の処理によって実現され、スマートフォン9の後述の通信部98と、NFC規格、Bluetooth、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出処理部89は、主に、図4に示されているCPU811の処理によって実現され、記憶部8000に各種データ(または情報)を記憶したり、記憶部8000から各種データ(または情報)を読み出したりする。
<スマートフォンの機能構成>
次に、図5及び図8を用いて、スマートフォン9の機能構成について詳細に説明する。図8に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出処理部99を有している。これら各部は、図5に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用のプログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
次に、図5及び図8を用いて、スマートフォン9の機能構成について詳細に説明する。図8に示されているように、スマートフォン9は、送受信部91、受付部92、画像・音処理部93、表示制御部94、判断部95、作成部96、算出部97、通信部98、及び記憶・読出処理部99を有している。これら各部は、図5に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたスマートフォン9用のプログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、スマートフォン9は、図5に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。
(撮影装置管理テーブル)
図18は、撮影装置管理テーブルを示す概念図である。記憶部8000には、図18に示されているような撮影装置管理テーブルによって構成されている撮影装置管理DB9001が構築されている。この撮影装置管理テーブルでは、全天球画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。スマートフォン9は、所定のサーバからベンダIDとプロダクトIDをダウンロードする等によって取得する。
図18は、撮影装置管理テーブルを示す概念図である。記憶部8000には、図18に示されているような撮影装置管理テーブルによって構成されている撮影装置管理DB9001が構築されている。この撮影装置管理テーブルでは、全天球画像の元になる2つの半球画像を得ることができる撮影装置のGUIDのベンダIDとプロダクトIDが記憶されて管理されている。GUIDとしては、例えば、USBデバイスで利用されるベンダID(VID)とプロダクトID(PID)が利用できる。スマートフォン9は、所定のサーバからベンダIDとプロダクトIDをダウンロードする等によって取得する。
(画像種類管理テーブル)
記憶部9000には、画像種類管理DB3003aと同様のデータ構造である画像種類管理DB9003が構築されている。画像種類管理DB6003を構成する画像種類管理テーブルについては、既に図9で説明したため、説明を省略する。
記憶部9000には、画像種類管理DB3003aと同様のデータ構造である画像種類管理DB9003が構築されている。画像種類管理DB6003を構成する画像種類管理テーブルについては、既に図9で説明したため、説明を省略する。
(配置管理テーブル)
記憶部9000には、配置管理DB3006aと同様のデータ構造である配置管理DB9006が構築されている。配置管理DB9006を構成する配置管理テーブルについては、既に図10乃至図13で説明したため、説明を省略する。
記憶部9000には、配置管理DB3006aと同様のデータ構造である配置管理DB9006が構築されている。配置管理DB9006を構成する配置管理テーブルについては、既に図10乃至図13で説明したため、説明を省略する。
〔実施形態の処理又は動作〕
続いて、図19乃至図39を用いて、本実施形態の処理又は動作について説明する。
続いて、図19乃至図39を用いて、本実施形態の処理又は動作について説明する。
<映像通話への参加>
まず、図19乃至図22を用いて、特定の仮想空間への参加処理について説明する。図19は、特定の仮想空間への参加処理を示したシーケンス図である。図20(a)は、通信装置におけるログイン画面の表示例であり、図20(b)はスマートフォンにおけるログイン画面の表示例である。図22は、映像通話に出席する人数を選択するための参加人数選択画面を示した図である。仮想空間の種類の選択画面を示した図である。図22において、(a)は仮想空間の種類が会議タイプ(会議の種類)の場合の役割の選択画面、(b)は仮想空間の種類が面接タイプの場合の役割の選択画面、(c)は仮想空間の種類が講義タイプの場合の役割の選択画面である。
まず、図19乃至図22を用いて、特定の仮想空間への参加処理について説明する。図19は、特定の仮想空間への参加処理を示したシーケンス図である。図20(a)は、通信装置におけるログイン画面の表示例であり、図20(b)はスマートフォンにおけるログイン画面の表示例である。図22は、映像通話に出席する人数を選択するための参加人数選択画面を示した図である。仮想空間の種類の選択画面を示した図である。図22において、(a)は仮想空間の種類が会議タイプ(会議の種類)の場合の役割の選択画面、(b)は仮想空間の種類が面接タイプの場合の役割の選択画面、(c)は仮想空間の種類が講義タイプの場合の役割の選択画面である。
まず、拠点Aの利用者(例えば、利用者A1)は、表示制御部34aがディスプレイ4上に表示するログイン画面(図20(a)参照)において、自己の接続ID及びパスワードを入力し、「OK」ボタンを押下すると、受付部32aが接続ID及びパスワードを受け付け、送受信部31aが通信管理サーバ6に対して、ログイン要求を送信する(S21)。このログイン要求には、接続ID、パスワード、及び送信元(通信装置1a)のIPアドレスが含まれている。これにより、通信管理サーバ6の送受信部61は、ログイン要求を受信する。
次に、通信管理サーバ6の記憶・読出処理部69は、ログイン要求に含まれている接続ID及びパスワードを検索キーとして、通信管理DB6001(図14(a)参照)を検索し、同一の接続ID及び同一のパスワードの組が管理されているかを判断することによって認証を行う(ステップS22)。ここでは、記憶・読出処理部69によって、同一の接続ID及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部69は、ステップS21で受信された送信元のIPアドレスを、認証に使った接続ID及びパスワードの組のレコードに追記する。
次に、記憶・読出処理部69は、仮想空間情報管理DB6005から、全てのレコードのデータである仮想空間情報を読み出す(S23)。そして、送受信部61は、通信装置1aに対して、認証が成功した旨の応答を送信する(S24)。この応答には、仮想空間情報が含まれている。これにより、通信装置1aの送受信部11aは、応答を受信する。
次に、通信装置1aでは、表示制御部34aが仮想空間情報に基づいて、ディスプレイ4上に、参加人数選択画面(図22参照)を表示する(S25)。この参加人数選択画面には、選択対象である参加人数を示す各選択ボタンb1,b2,b3が表示されている。ここでは、参加人数の種類として、2人、3人、及び4人を示す選択ボタンb1,b2,b3が表示されている。また、各選択ボタンb1等には、各セッションIDが関連付けられている。
ここで、利用者A1が所望の選択ボタン(ここでは「選択ボタンb1」)を選択すると、受付部32aは、参加人数「2人」(通信セッション)の選択を受け付ける(ステップS26)。
更に、通信装置1aでは、表示制御部34aが仮想空間情報に基づいて、ディスプレイ4上に、仮想の会議室に入る場合の役割を示す役割選択画面(図22参照)を表示する(S27)。この役割選択画面には、選択対象である役割を示す各選択ボタンb11,b12,b13が表示されている。ここで、利用者A1が所望の選択ボタン(ここでは「選択ボタンb11」)を選択すると、受付部32aは、役割の選択を受け付ける(ステップS28)。そして、送受信部31aは、通信管理サーバ6に対して、主催者として仮想の会議室への参加要求を送信する(ステップS29)。この参加要求には、ステップS26で選択を受け付けられた通信セッションを示すセッションID及び仮想空間種類ID、ステップS28で選択を受け付けられた役割、並びに要求元である通信装置1aの接続IDが含まれている。これにより、通信管理サーバ6の送受信部51は、参加要求を受信する。
次に、記憶・読出処理部69は、セッション管理DB6002(図14(b)参照)に対して、仮想空間への参加処理を行う(S30)。具体的には、記憶・読出処理部69は、セッション管理DB6002において、ステップS29で受信されたセッションIDと同じセッションIDのレコードに対して、ステップS29で受信された仮想空間種類ID及び参加した通信装置1aの接続IDを関連付けて管理する。
次に、記憶・読出処理部69は、配置管理DB6006に対して、ステップ28で選択された仮想空間種類における役割に接続IDを登録する(S31)。ここでは、記憶・読出処理部69は、仮想の会議室における主催者を示す仮想空間種類ID及び接続IDのレコードの接続IDの項目(属性)に、通信装置1aの利用者A1の接続IDである「01aa」を登録する。
次に、通信管理サーバ6の送受信部61は、通信装置1aに対して、ステップS29に対する参加要求応答を送信する(S32)。この参加要求応答には、ステップS31で登録されることで更新された配置管理DB6006内の全てのデータである配置管理情報が含まれている。これにより、通信装置1aの送受信部11aは、参加要求応答を受信する。なお、配置管理情報は、配置管理DB6006内の全てのデータではなく、更新されたレコード部分のデータ(仮想空間種類ID、仮想空間種類、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続IDの各データ)であってもよい。そして、通信装置1aでは、記憶・読出処理部19aは、配置管理DB3006aに対して、ステップS32で受信された配置管理情報を上書き登録する(S33)。
また、通信管理サーバ6は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、通信装置1aが新たに特定の役割で参加した旨を伝えることで、配置管理情報を共有する必要がある。そこで、通信管理サーバ6の送受信部61は、既に仮想の会議室に参加している利用者の通信装置(ここでは、通信装置1b)に対して、通信装置1aの利用者A1が参加した旨を示す参加情報を送信する(S34)。この参加情報には、ステップS32で送信された配置管理情報と同じ内容の配置管理情報が含まれている。これにより、通信装置1bの送受信部11bは、参加情報を受信する。なお、送受信部61の送信先は、セッション管理DB6002(図14(b)参照)で、通信装置1aの接続IDと同じセッションIDに関連付けられている他の接続IDある。即ち、送信先は、通信装置1aと同じ仮想の会議室に入っている他の通信装置である。
次に、通信装置1bでは、記憶・読出処理部19bが、配置管理DB3006bに対して、ステップS34で受信された配置管理情報を上書き登録する(S35)。
なお、ステップS26において、利用者A1が図21の選択ボタンb2を選択した場合には、ステップS27において、表示制御部34aは、図22に示されているような役割選択画面を表示させる。また、ステップS26において、利用者A1が図22の選択ボタンb3を選択した場合には、ステップS27において、表示制御部34aは、図23(c)に示されているような役割選択画面を表示させる。
なお、上記では、図22に示されている仮想空間の種類を示す各選択ボタンb1等の選択後、図22に示されている役割を示す各選択ボタンb11等の選択によって、合計2回の選択が行われるが、これに限るものではない。例えば、図22において、コミュニケーションの目的(仮想空間の種類毎及び役割)を示す合計9つの選択ボタンが表示されるようにしてもよい。9つの選択ボタンは、例えば、会議室における主催者、会議室における参加者、会議室における傍観者、面接室における面接者、面接室における被面接者、面接室における傍観者、講義室における講師(教師)、講義室における受講者(生徒)、及び講義室における傍観者と表示される。なお、コミュニケーションは、意思、感情、又は思考などの情報伝達を示し、言語、文字又は身振りなどを媒介として行われる行為である。
<画像種類情報の管理処理>
続いて、図23及び図24を用いて、画像種類情報の管理処理について説明する。図23は、通信装置に対する画像種類情報の管理処理を示したシーケンス図である。図24は、スマートフォンに対する画像種類情報の管理処理を示したシーケンス図である。
続いて、図23及び図24を用いて、画像種類情報の管理処理について説明する。図23は、通信装置に対する画像種類情報の管理処理を示したシーケンス図である。図24は、スマートフォンに対する画像種類情報の管理処理を示したシーケンス図である。
(通信装置に対する画像種類情報の管理処理)
まずは、図23を用いて、通信装置に対する画像種類情報の管理処理について説明する。
まずは、図23を用いて、通信装置に対する画像種類情報の管理処理について説明する。
通信装置1aの送受信部31aは、通信管理サーバ6に対して、情報追加要求を送信する(S41)。この情報追加要求には、送信元である自装置(通信装置1a)の接続ID、画像種類情報、及びディスプレイ情報が含まれている。これにより、通信管理サーバ6の送受信部61は、情報追加要求を受信する。
次に、通信管理サーバ6の記憶・読出処理部69は、ステップS41によって受信された接続IDを検索キーとして、セッション管理DB6002(図14(b)参照)を検索することにより、対応するセッションIDを読み出す(S42)。
次に、作成部66は、固有の画像データIDを作成する(S43)。そして、記憶・読出処理部69は、画像種類管理DB6003(図14(c)参照)に、新たなレコードとして、ステップS42で読み出されたセッションID、ステップS43で生成された画像データID、並びに、ステップS41で受信された送信元の接続ID及び画像種類情報を関連付けて記憶する(S44)。更に、記憶・読出処理部69は、ディスプレイ管理DB6004(図15参照)に、1レコードのデータであるディスプレイ情報を記憶する(S45)。これにより、各通信装置1のディスプレイ情報を一元管理することができる。
次に、通信管理サーバ6の送受信部61は、通信装置1aに対して、ステップS43で生成された画像データIDを送信する(S46)。これにより、通信装置1aの送受信部31aは、画像データIDを受信する。
次に、通信装置1aの記憶・読出処理部39aは、画像種類管理DB3003a(図9参照)に対し、自装置(通信装置1a)の接続ID及び画像種類情報に関連づけて、ステップS46で受信された画像データIDを記憶する(S47)。
また、通信管理サーバ6は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、通信装置1aの画像データID、接続ID、及び画像種類情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ6の送受信部61は、通信装置1aと同じ仮想の会議室に参加している他の通信装置(例えば、通信装置1b)に対して、情報追加通知を送信する(S48)。この情報追加通知には、ステップS43で生成された画像データID、並びに、ステップS51で受信された送信元である通信装置1aの接続ID及び画像種類情報が含まれている。これにより、通信装置1bの送受信部11bは、情報追加通知を受信する。なお、送受信部61の送信先は、セッション管理DB6002(図14(b)参照)で、通信装置1aの接続IDと同じセッションIDに関連付けられている他の接続IDある。即ち、送信先は、通信装置1aと同じ仮想の会議室に入っている他の通信装置である。また、通信管理サーバ6は、ステップS48において、ステップ41で受信したディスプレイ情報を送信しない。ディスプレイ情報は、他の通信装置では使用されないからである。
次に、通信装置1bの記憶・読出処理部39bは、画像種類管理DB3003(図9参照)に、新たなレコードとして、ステップS48で受信された、画像データID、送信元である通信装置1aの接続ID、及び画像種類情報を関連付けて記憶する(S49)。
なお、情報追加通知の送信後に、通信装置1aと同じ仮想の会議室に参加者した通信装置1に対しては、通信管理サーバ6が、上記ステップS46等のタイミングで、既に同じ仮想の会議室に参加している他の通信装置の接続ID及び画像種類情報を送信する。
以上より、同じ仮想空間に参加した全ての通信装置は、他の通信装置の画像種類情報を共有することができる。
(スマートフォンに対する画像種類情報の管理処理)
続いて、図24を用いて、スマートフォンに対する画像種類情報の管理処理について説明する。
続いて、図24を用いて、スマートフォンに対する画像種類情報の管理処理について説明する。
まず、拠点Gの利用者G1は、表示制御部94がディスプレイ918上に表示するログイン画面(図20(b)参照)において、自己の接続ID及びパスワードを入力し、「OK」ボタンを押下すると、受付部92が接続ID及びパスワードを受け付け、送受信部91が通信管理サーバ6に対して、ログイン要求を送信する(S61)。このログイン要求には、接続ID、パスワード、及び送信元(スマートフォン9)のIPアドレスが含まれている。これにより、通信管理サーバ6の送受信部61は、ログイン要求を受信する。
次に、通信管理サーバ6の記憶・読出処理部69は、ログイン要求に含まれている接続ID及びパスワードを検索キーとして、通信管理DB6001(図14(a)参照)を検索し、同一の接続ID及び同一のパスワードの組が管理されているかを判断することによって認証を行う(S62)。ここでは、記憶・読出処理部69によって、同一の接続ID及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部69は、ステップS61で受信された送信元のIPアドレスを、認証に使った接続ID及びパスワードの組のレコードに追記する。
次に、送受信部61は、スマートフォン9に対して、認証が成功した旨の応答を送信する(S63)。この応答には、仮想空間情報が含まれている。これにより、スマートフォン9の送受信部91は、応答を受信する。
次に、拠点Gの利用者G1が、全天球撮影装置8の操作部815を操作することで、受付部82が操作を受け付け、記憶・読出処理部89が記憶部8000に記憶されている自装置(全天球撮影装置8)のGUIDを読み出し、通信部88がスマートフォン9の通信部98に対して自装置のGUIDを送信する(S64)。これにより、スマートフォン9の通信部98は、全天球撮影装置8のGUIDを受信する。
次に、スマートフォン9の判断部95は、撮影装置管理DB9001(図18参照)において、ステップS64によって受信されたGUID中のベンダID及びプロダクトIDと、同じベンダID及びプロダクトIDが管理されているか否かを判断することで、画像種類を判断する(S65)。具体的には、撮影装置管理DB9001において、同じベンダID及びプロダクトIDが管理されている場合には、判断部95は、送信者の撮影装置(ここでは、全天球撮影装置8)が全天球画像を取得する撮影装置であると判断する。これに対して、撮影装置管理DB9001において、同じベンダID及びプロダクトIDが管理されていない場合には、判断部95は、送信元の撮影装置が一般画像を撮影する撮影装置であると判断する。
次に、記憶・読出処理部99は、画像種類管理DB9003(図9参照)に対して、送信元である自装置(スマートフォン9)の接続IDと、ステップS65で判断された判断結果である画像種類情報とを関連付けて記憶する(S66)。この状態では、画像データIDは関連付けられていない。
以降、ステップS67~S75の処理は、上述のステップS41~49の処理において、基本的に通信装置1aがスマートフォン9に替わっただけであり、その他の処理は同じである。
即ち、スマートフォン9の送受信部91は、通信管理サーバ6に対して、情報追加要求を送信する(S67)。この情報追加要求には、送信元である自装置(スマートフォン9)の接続ID、画像種類情報、及びディスプレイ情報が含まれている。これにより、通信管理サーバ6の送受信部61は、情報追加要求を受信する。
次に、通信管理サーバ6の記憶・読出処理部69は、ステップS67によって受信された接続IDを検索キーとして、セッション管理DB6002(図14(b)参照)を検索することにより、対応するセッションIDを読み出す(S68)。
次に、作成部66は、固有の画像データIDを作成する(S69)。そして、記憶・読出処理部69は、画像種類管理DB6003(図14(c)参照)に、新たなレコードとして、ステップS68で読み出されたセッションID、ステップS69で生成された画像データID、並びに、ステップS67で受信された送信元の接続ID及び画像種類情報を関連付けて記憶する(S70)。更に、記憶・読出処理部69は、ディスプレイ管理DB6004(図15参照)に、1レコードのデータであるディスプレイ情報を記憶する(S71)。
次に、通信管理サーバ6の送受信部61は、スマートフォン9に対して、ステップS69で生成された画像データIDを送信する(S72)。これにより、スマートフォン9の送受信部91は、画像データIDを受信する。
次に、スマートフォン9の記憶・読出処理部39aは、画像種類管理DB3003(図9参照)に対し、自装置(スマートフォン9)の接続ID及び画像種類情報に関連づけて、ステップS72で受信された画像データIDを記憶する(S73)。
また、通信管理サーバ6は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、スマートフォン9の画像データID、接続ID、及び画像種類情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ6の送受信部61は、スマートフォン9と同じ仮想の会議室に参加している他の通信装置(例えば、通信装置1b)に対して、情報追加通知を送信する(S74)。この情報追加通知には、ステップS69で生成された画像データID、並びに、ステップS51で受信された送信元であるスマートフォン9の接続ID及び画像種類情報が含まれている。これにより、通信装置1bの送受信部11bは、情報追加通知を受信する。なお、送受信部61の送信先は、セッション管理DB6002(図14(b)参照)で、スマートフォン9の接続IDと同じセッションIDに関連付けられている他の接続IDある。即ち、送信先は、スマートフォン9と同じ仮想の会議室に入っている他の通信装置である。
次に、通信装置1bの記憶・読出処理部39bは、画像種類管理DB3003b(図9参照)に、新たなレコードとして、ステップS74で受信された、画像データID、送信元であるスマートフォン9の接続ID、及び画像種類情報を関連付けて記憶する(S75)。
なお、情報追加通知の送信後に、スマートフォン9と同じ仮想の会議室に参加者した通信装置1に対しては、通信管理サーバ6が、上記ステップS72等のタイミングで、既に同じ仮想の会議室に参加している他の通信装置の接続ID及び画像種類情報を送信する。
以上より、同じ仮想空間に参加した全ての通信装置及びスマートフォン9は、他の通信装置及びスマートフォン9の画像種類情報を共有することができる。
<画像データ及び音データの送信>
続いて、図25乃至図27を用いて、画像データ及び音データの送信処理について説明する。図25は、全天球撮影装置から送信された輝度画像データ及び音データが各通信装置に届くまでの処理を示したシーケンス図である。図26は、所定の通信装置から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。図27は、送信される輝度画像データと深度画像データの概念図である。
続いて、図25乃至図27を用いて、画像データ及び音データの送信処理について説明する。図25は、全天球撮影装置から送信された輝度画像データ及び音データが各通信装置に届くまでの処理を示したシーケンス図である。図26は、所定の通信装置から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。図27は、送信される輝度画像データと深度画像データの概念図である。
(全天球撮影装置から各通信装置への送信)
まず、図25を用いて、全天球撮影装置8から通信管理サーバ6を介して、各通信装置1に画像データ(ここでは、輝度画像データ)及び音データを送信する場合の処理について説明する。
まず、図25を用いて、全天球撮影装置8から通信管理サーバ6を介して、各通信装置1に画像データ(ここでは、輝度画像データ)及び音データを送信する場合の処理について説明する。
まず、全天球撮影装置8が、拠点Gで撮影及び集音を開始することで、撮影部83が画像データ(ここでは、半球画像の2つの輝度画像データ)を取得すると共に集音部84が音データを取得する(S81)。この場合、全天球撮影装置8は、動画撮影を行うが、静止画撮影であってもよい。そして、通信部88がスマートフォン9の通信部98に対して、2つの輝度画像データ、及び音データを送信する(S82)。これにより、スマートフォン9の通信部98が、2つの輝度画像データ、及び音データを受信する。
次に、スマートフォン9の送受信部91は、通信管理サーバ6に対して、全天球撮影装置8から送られてきた2つの輝度画像データ、及び音データに加え、送信元としてのスマートフォンの接続IDを送信する(S83)。この場合、2つの輝度画像データには、上記ステップS72で受信された画像データIDが含まれている。これにより、通信管理サーバ6の送受信部61は、2つの輝度画像データ(及び画像データID)、音データ、並びにスマートフォンの接続IDを受信する。
次に、通信管理サーバ6の送受信部61は、セッション管理DB6002(図14(b)参照)を利用することで、スマートフォン9と同じ映像通話に参加している各通信装置1a~1dに対して、2つの輝度画像データ(及び画像データID)、音データ、並びにスマートフォンの接続IDを送信する(S84~S87)。これにより、各通信装置1a~1dの送受信部31a~31dは、2つの輝度画像データ(及び画像データID)、音データ、並びにスマートフォンの接続IDを受信する。
(所定の通信装置から他の通信装置及びスマートフォンへの送信)
次に、図26を用いて、通信装置1aから通信管理サーバ6を介して、複数の他の通信装置1b,1c,1dに画像データ(ここでは、輝度画像データ及び深度画像データ)並びに音データを送信する場合の処理について説明する。
次に、図26を用いて、通信装置1aから通信管理サーバ6を介して、複数の他の通信装置1b,1c,1dに画像データ(ここでは、輝度画像データ及び深度画像データ)並びに音データを送信する場合の処理について説明する。
まず、通信装置1aは、拠点Aで撮影及び集音を開始することで、輝度画像取得部36aが輝度画像データを取得し、深度画像取得部37aが深度画像データを取得し、集音部38aが音データを取得する(S101)。この場合、通信装置1aは、動画撮影を行うが、静止画撮影であってもよい。
そして、通信装置1aの送受信部31aは、通信管理サーバ6に対して、画像データ(輝度画像データ、深度画像データ)及び音データに加え、送信元としての通信装置1aの接続IDを送信する(S102)。この場合、画像データには、上記ステップS46で受信された画像データIDが含まれている。これにより、通信管理サーバ6の送受信部61は、画像データ(輝度画像データ、深度画像データ、及び画像データID)、音データ、並びに送信元である通信装置1aの接続IDを受信する。
通信システムでは、自画像撮り用の撮影ユニット105が設けられているため、画像データには、輝度画像Lc1のデータ及び深度画像Dc1のデータが含まれる。輝度画像Lc1及び深度画像Dc1のデータは、撮影ユニット105によって取得されたデータである。
例えば、輝度画像Lc1及び深度画像Dc1のデータの解像度は、それぞれ4Kであるが、図27に示されているように、送信元の通信装置1は、合計2のデータを1つの画像データに圧縮して合成することで、この1つの画像データの解像度が4Kになる。なお、4Kは一例であり、HD、FHD、8K等であってもよい。
次に、図26に戻り、通信管理サーバ6の送受信部61は、セッション管理DB6002(図14(b)参照)を利用することで、通信装置1aと同じ映像通話に参加している他の各通信装置1b~1dに対して、画像データ(輝度画像データ、深度画像データ、及び画像データID)、音データ、並びに送信元である通信装置1aの接続IDを送信する(S103~S105)。これにより、各通信装置1b,1c,1dの送受信部31b,31c,31dは、画像データ(輝度画像データ、深度画像データ、及び画像データID)、音データ、並びに送信元である通信装置1aの接続IDを受信する。
なお、スマートフォン9は送信専用であるため、送信元が通信装置1の場合、通信管理サーバ6は、スマートフォン9に対して、画像データ、音データ、及び送信元である通信装置1aの接続IDを送信しない。但し、スマートフォンを通信装置1と同じように表示にも使う場合には、通信管理サーバ6は、スマートフォン9に対して、画像データ、音データ、及び送信元である通信装置1aの接続IDを送信しない。
<画像データ及び音データの受信>
続いて、図28乃至図38を用いて、画像データ及び音データの受信の処理について説明する。図28は、通信装置1dによる画像データ及び音データの受信の処理を示すシーケンス図である。
続いて、図28乃至図38を用いて、画像データ及び音データの受信の処理について説明する。図28は、通信装置1dによる画像データ及び音データの受信の処理を示すシーケンス図である。
図28に示されているように、通信装置1aの送受信部31aは、通信管理サーバ6に対して、画像データ(輝度画像データ、深度画像データ、画像データID)、音データ、及び送信元としての通信装置1aの接続IDを送信する(S121)。これにより、通信管理サーバ6の送受信部61は、画像データ、音データ、及び通信装置1aの接続IDを受信する。このステップS121処理は、図26のステップS102と同じである。そして、通信管理サーバ6の送受信部61は、セッション管理DB6002(図14(b)参照)を利用することで、通信装置1aと同じ映像通話に参加している他の通信装置1dに対して、画像データ(輝度画像データ、深度画像データ、及び画像データID)、音データ、並びに送信元である通信装置1aの接続IDを送信する(S122)。これにより、通信装置1dの送受信部31dは、画像データ、音データ、並びに通信装置1aの接続IDを受信する。この処理は、図26のステップS103と同じである。
同様に、通信装置1bの送受信部31bは、通信管理サーバ6に対して、画像データ(輝度画像データ、深度画像データ、画像データID)、音データ、及び送信元としての通信装置1bの接続IDを送信する(S123)。これにより、通信管理サーバ6の送受信部61は、画像データ、音データ、及び通信装置1bの接続IDを受信する。そして、通信管理サーバ6の送受信部61は、セッション管理DB6002(図14(b)参照)を利用することで、通信装置1bと同じ映像通話に参加している他の通信装置1dに対して、画像データ(輝度画像データ、深度画像データ、及び画像データID)、音データ、並びに送信元である通信装置1bの接続IDを送信する(S124)。これにより、通信装置1dの送受信部31dは、画像データ、音データ、並びに通信装置1bの接続IDを受信する。
更に、通信装置1cの送受信部31cは、通信管理サーバ6に対して、画像データ(輝度画像データ、深度画像データ、画像データID)、音データ、及び送信元としての通信装置1cの接続IDを送信する(S125)。これにより、通信管理サーバ6の送受信部61は、画像データ、音データ、及び通信装置1cの接続IDを受信する。そして、通信管理サーバ6の送受信部61は、セッション管理DB6002(図14(b)参照)を利用することで、通信装置1cと同じ映像通話に参加している他の通信装置1dに対して、画像データ(輝度画像データ、深度画像データ、及び画像データID)、音データ、並びに送信元である通信装置1cの接続IDを送信する(S126)。これにより、通信装置1dの送受信部31dは、画像データ、音データ、並びに通信装置1bの接続IDを受信する。
以上により、通信装置1dは、他の拠点A,B,Cの画像データ及び音データを取得することができる。
続いて、通信装置1dでは、画像・音処理部33dが、ステップS122,S124,126及び、図25のステップS87によって受信された各データに基づいて、画像表示及び音出力の処理を行う(S127)。この場合、音出力は、各音データ(電気信号)を振動に変換する一般的な処理であるため、図29を用いて、画像表示の処理について詳細に説明する。
<画像表示の処理>
図29は、画像表示の処理を示したフローチャートである。
図29は、画像表示の処理を示したフローチャートである。
まず、記憶・読出処理部39dは、図25のステップS87及び図28のステップS122,S124,126によって受信された画像データIDを検索キーとして、画像種類管理DB3003dを検索することで、対応する画像種類情報を読み出す(S201)。そして、画像種類情報が「Video_Depth」の場合(S202;輝度・深度画像)、ステップS203の処理に進む。また、画像種類情報が「Video_Omni」の場合(S202;全天球画像)、ステップS211の処理に進む。画像種類情報が「Video_Omni」の場合(S202;平面画像)、ステップS212の処理に進む。
(画像種類が輝度・深度画像の場合の表示処理)
ここで、画像種類が輝度・深度画像の場合の表示処理について説明する。
ここで、画像種類が輝度・深度画像の場合の表示処理について説明する。
((ワールド座標系にける物体の位置の算出処理))
最初に、通信装置1dは、ワールド座標系における物体の位置を算出する(S203)。ここで、図30乃至図33を用いて、画像種類が輝度・深度画像の場合の表示処理を詳細に説明する。図30は、ワールド座標系にける物体の位置の算出処理を示すフローチャートである。
最初に、通信装置1dは、ワールド座標系における物体の位置を算出する(S203)。ここで、図30乃至図33を用いて、画像種類が輝度・深度画像の場合の表示処理を詳細に説明する。図30は、ワールド座標系にける物体の位置の算出処理を示すフローチャートである。
まず、画像・音処理部33dが、仮想空間上(モデリング座標系)における自拠点を含めた各拠点の輝度画像データ及び深度画像データに基づいて、物体の画像を3次元化する(S221)。
ここで、図31を用いて、物体の画像の3次元化を説明する。図31は、カメラ座標系からモデリング座標系への変換、及びモデリング座標系からワールド座標系への変換の概念図である。なお、カメラ座標系は、現実の世界である3次元の世界を物理的なカメラを原点として投影面における世界の見え方を定める座標系である。リアル座標で与えられる座標を、カメラの座標系で見た座標系に変換する必要ある。
物理空間の複数の拠点の利用者の画像を仮想の会議室等の1つの仮想空間に登場させるため、画像・音処理部33dは、各拠点の物理空間の物体を、一旦、個別に第1の仮想空間としてのモデリング座標系(Modeling Coordinate System)で定義することで3次元化し、その後に、各物体の画像を1つのワールド座標系(World Coordinate System)で定義する必要がある。
そのため、まず、画像・音処理部33dは、図27に示されているようにカメラ座標系(Camera Coordinate System)にて定義された輝度画像La及び深度画像Da等の5つの組の画像を、(式1)を利用して、1つの第1の仮想空間上(モデリング座標系)に変換することで、3次元化を行う。図31では、物体として利用者A1が表されている。この場合、モデリング座標系における利用者A1の画像は、図31の拡大図evに示されているように、多数の点の集合によって示される。本実施形態では、5台の輝度深度撮影デバイス5a~5eによって5アングルにより撮影されているため、利用者A1の画像は、多数の点が重なった集合体として表される。このようにして、利用者A1,B1,C1,D1がそれぞれ独立して別々のモデリング座標系で定義される(3次元化される)。また、利用者A1については、1つの撮影ユニット105によって1アングルにより撮影されているため、3次元化されるものの、多数の点が重なった集合体としては表されない。これにより、各拠点の通信装置1では、利用者A1の画像は、顔の正面の画像が表示されるが、顔の側面の画像は表示されないことになる。
なお、ベクトルPは射影行列であり、ベクトルP-1は、カメラ座標系からリアル座標系へ変換するための行列である。ベクトルMは、リアル座標系からモデリング座標系へ変換するための行列である。この出力値は、モデリング座標系の点(座標)及び色情報を示す。
次に、図30に戻り、記憶・読出処理部39dは、記憶部3000dに記憶されている自装置(通信装置1d)のディスプレイ情報を読み出す(S222)。そして、画像・音処理部33dが、ディスプレイ情報における「仮想空間上(モデリング座標系)のディスプレイの各隅の位置の情報」に基づいて、モデリング座標系に自拠点の仮想ディスプレイ(仮想スクリーンともいう)ddを配置する(S223)。図32は、モデリング座標系に利用者D1の画像と仮想ディスプレイを配置した概念図である。例えば、画像・音処理部33dは、図32に示されているように、自拠点の利用者D1の画像に対して更に仮想ディスプレイddを配置(定義)する。この場合、仮想ディスプレイdd1は、方位センサ(検知部30a)によって出力された回転行列(0)のデータに基づき、パン、チルト及びロールの回転がされる。換言すると、利用者A1が、現実の通信装置1aを回転させた方向が、仮想ディスプレイdd1に反映されることを示している。
また、図30に戻り、記憶・読出処理部39dは、配置管理DB3006d(図10参照)から、同じ仮想の会議室に参加中の利用者(通信装置)の接続IDに関連付けられている「モデリング座標系からワールド座標系への変換パラメータ」を読み出す(S224)。そして、画像・音処理部33dは、各物体の画像と自拠点の仮想ディスプレイを、仮想空間上においてモデリング座標系からワールド座標系にモデリング変換する(S225)。
ここで、再び図31を用いて、モデリング座標系からワールド座標系への変換を説明する。
画像・音処理部33dは、図31に示されているように、モデリング座標系の利用者A1の画像を、(式2)を利用して、1つの共通の第2の仮想空間上(ワールド座標系)にモデリング変換(Modeling Transformation)する。なお、モデリング変換は、モデリング座標系上で定義された表示物体をワールド座標系上に配置するための変換処理であり、表示物体の拡大縮小、回転、せん断及び平行移動という四つの変換処理の組み合わせを示す。
なお、ベクトルWは、モデリング座標系からワールド座標系へ変換するための行列である。この出力値は、ワールド座標系の点(座標)及び色情報を示す。また、ベクトルOは、回転(パン、チルト、ロール)させるための行列である。
図33は、モデリング座標系からワールド座標系への変換を示したイメージ図である。図33に示されているように、画像・音処理部33dは、各モデリング座標系の利用者A1~D1の画像及び自拠点の仮想ディスプレイdd4を、1つの共通のワールド座標系にモデリング変換する。これにより、各拠点の利用者A1~D1の画像が、共通の仮想の会議室に参加することができる。
なお、図33に示されているように、本実施形態のワールド座標系には、全天球画像を貼り付けるための仮想球状壁cw、及び3次元化した平面画像を貼り付けるための仮想平面壁pwが存在する。これに関しては後述する。
((利用者が見える画像の表示))
続いて、図29に戻り、利用者D1が通信装置1で見ることができる画像を表示する処理を説明する。
続いて、図29に戻り、利用者D1が通信装置1で見ることができる画像を表示する処理を説明する。
図29に示されているように、画像・音処理部33aが、輝度画像取得部36dによって取得された輝度画像データ及び深度画像取得部37dによって取得された輝度画像データに基づき、利用者D1の目、鼻、肩等の骨格情報を検出する(S204)。
次に、画像・音処理部33aが、骨格情報の両目の中心を視点位置として、この視点位置に基づき、図31の中央部に示されているようなワールド座標系における利用者D1が仮想ディスプレイddによって見ることができる他の利用者A1等の画像を作成する(S205)。換言すると、画像・音処理部33aは、ワールド座標系の表示物体を視点位置に基づき仮想ディスプレイddに表示される画像に変換する。この変換は、ワールド座標系から視点座標系への変換を意味し、視野変換と呼ばれる。視点座標系は、仮想空間上でのカメラの位置(視点)を原点とし、利用者が見たい方向(被写体が存在する方向)に広がっている座標系である。
ワールド座標系において、視点から仮想ディスプレイdd上の画素に向かうレイトレーシング(Ray Tracing)法によるレイ(ray)とポリゴン(3Dモデルを構成する仮想的な三角形や多角形等)との交点を計算する。このレイは、画像方向から視点に向かう光線を、視点から逆にたどるものである。この方法は、光線追跡法とよばれ、視線を逆に辿ることから、視線逆探索法とも呼ばれる。そして、視点に最も近い交点、すなわちレイと最初に交差する物体(コンピュータグラフィックスの分野では、上記「ポリゴン」と呼ばれる)を求め、その物体の色で仮想ディスプレイ上の画素を塗る。レイと交差する物体(ポリゴン)が存在しない場合には、画素に対して背景色を塗る。この処理を仮想ディスプレイdd全体の画素に対して行うことにより仮想ディスプレイddに表示される画像が作成される。
なお、光線追跡法以外にも、Zバッファ法などが存在し、仮想ディスプレイddで表示される画像を作成する方法は、上記方法に限定されるものではない。
次に、画像・音処理部33aは、上記作成した仮想空間上(ワールド座標系)の画像を物理空間上の通信装置1dのディスプレイ4上に表示するための画像に変換する(S206)。そして、表示制御部34dは、物理空間上の通信装置1dのディスプレイ4上に、ステップS206で変換した後の画像を表示する(S207)。この場合、ディスプレイ4に画像が表示される空間は2次元平面画像であり、解像度は、コンピュータの性能、特にビデオボード(又はグラフィックスボード)に搭載されている表示メモリなどのデバイスに依存するため、デバイス座標系と呼ばれる。
(画像種類が全天球画像の場合の表示処理)
次に、画像種類が全天球画像の場合の表示処理について説明する。
(画像種類が全天球画像の場合の表示処理)
次に、画像種類が全天球画像の場合の表示処理について説明する。
画像・音処理部33dは、送受信部11dによって受信された2つの輝度画像のデータから全天球画像のデータを作成し、この全天球画像を仮想空間上(ワールド座標系)に貼り付ける(S211)。この場合、画像・音処理部33dは、2つの輝度画像である半球画像を合成し、1つの正距円筒射影画像ECを作成する。そして、画像・音処理部33aは、OpenGL ES(Open Graphics Library for Embedded Systems)を利用することで、仮想球面(ここでは、図33の仮想球状壁cwの内壁面)に正距円筒射影画像を貼り付け、全天球画像のデータを作成する。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。
そして、ステップS211の処理後、上記ステップS206の処理に進む。
(画像種類が平面画像の場合の表示処理)
次に、画像種類が平面画像の場合の表示処理について説明する。この場合、平面画像であっても仮想空間上に貼り付ける必要があるため、画像・音処理部33aは、平面画像を3次元化する(S213)。そして、ステップS213の処理後、上記ステップS206の処理に進む。
次に、画像種類が平面画像の場合の表示処理について説明する。この場合、平面画像であっても仮想空間上に貼り付ける必要があるため、画像・音処理部33aは、平面画像を3次元化する(S213)。そして、ステップS213の処理後、上記ステップS206の処理に進む。
<画像の表示例>
続いて、図34乃至図38を用いて、図29におけるステップS207による様々な表示例を説明する。
続いて、図34乃至図38を用いて、図29におけるステップS207による様々な表示例を説明する。
(4人による映像通話の参加者(利用者D1)に見せる表示例)
((初期表示))
図34において、(a)は4人で映像通話する場合のワールド座標系における利用者D1の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
((初期表示))
図34において、(a)は4人で映像通話する場合のワールド座標系における利用者D1の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
図34(a)に示されているように、仮想空間上(ここでは、ワールド座標系)において、利用者D1の視線の向こうには、左斜め前の少し奥に利用者A1、真正面に利用者B1、左横に利用者C1が位置している。また、利用者A1の奥には、平面画像PEが表示されている。なお、仮想空間上(ワールド座標系)の1つの位置に、原則として一人の利用者しか存在しない。
そして、この仮想空間上の状態を物理空間上の利用者D1がディスプレイ4で見ると、図34(b)に示されているように、表示制御部34dは、ディスプレイ4a~4c上に、背景画像としての全天球画像CE、並びにサイズ及び表示方向が異なる各利用者A1,B1,C1の画像を合成した合成画像を表示させる。
なお、各利用者の画像は、図29のステップS207で、表示制御部34dによって表示された画像である。また、全天球画像CEは、図29のステップ211で、表示制御部34dによって表示された画像である。各利用者の画像及び全天球画像CEは、実際には上記のごとく、合成画像として表示される。各利用者の画像及び全天球画像CEの表示に関しては、以下同様である。
具体的には、利用者D1が利用者A1の画像を見た場合、利用者A1の画像は、左斜め前の少し奥に位置し、利用者B1よりもサイズが小さく、右肩側よりも左肩側の表示面積が大きい状態を見ることができるようなディスプレイ4上の所定領域に表示されている。また、利用者D1が利用者B1の画像を見た場合、利用者B1の画像は、真正面の利用者A1よりも近くに位置し、利用者A1よりもサイズが大きく、顔の真正面が表された状態を見ることができるようなディスプレイ4上の所定領域に表示されている。更に、利用者D1が利用者C1の画像を見た場合、利用者C1の画像は、左横の位置し、顔の左側面が表された状態を見ることができるようなディスプレイ4上の所定領域に表示されている。
((移動後表示))
続いて、図34(b)の状態から、図35(b)に示されているように、利用者A1が物理空間で若干左側(矢印方向)に移動した場合の表示例について説明する。図35において、(a)は仮想会議の場合のワールド座標系における利用者D1の移動後の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
続いて、図34(b)の状態から、図35(b)に示されているように、利用者A1が物理空間で若干左側(矢印方向)に移動した場合の表示例について説明する。図35において、(a)は仮想会議の場合のワールド座標系における利用者D1の移動後の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
図35(a)に示されているように、仮想空間(ワールド座標系)において、利用者D1の視線の向こうには、図34(a)の場合よりも少し右側に移動したように見える利用者A1、図34(a)の場合よりも真正面から少し右側に移動したように見える利用者B1、及び図34(a)の場合よりも左横から少し斜め左側に移動したように見える利用者C1が位置している。
そして、この仮想空間上の状態を物理空間上の利用者D1がディスプレイ4で見ると、図35(b)に示されているように、表示制御部34dは、ディスプレイ4上に、図34(b)に比べて少し右に移動した背景画像としての全天球画像CE、並びに、図34(b)に比べて少しサイズ及び表示面が異なる各利用者A1,B1,C1の画像を合成した合成画像を表示させる。
具体的には、利用者D1が全天球画像CEを見た場合、全天球画像CEは、図34(a)の状態に対して、少し右側に移動した画像を見ることができるようにディスプレイ4上に表示されている。また、利用者D1が利用者A1の画像を見た場合、利用者A1の画像は、図34(a)の状態に対して、少し右側に位置してサイズが少し大きくなった画像を見ることができるようなディスプレイ4上の所定領域に表示されている。利用者D1が利用者B1の画像を見た場合、利用者B1の画像は、図34(a)の状態に対して、真正面から少し右側に移動して少しサイズが小さくなった画像を見ることができるようなディスプレイ4上の所定領域に表示されている。利用者D1が利用者C1の画像を見た場合、利用者D1の画像は、図34(a)の状態に対して、左横から少し斜め左側に移動して少しサイズが大きくなった画像を見ることができるようなディスプレイ4上の所定領域に表示されている。
(会議の傍観者に見せる表示例)
図36において、(a)は仮想会議の場合のワールド座標系における傍観者の視線を示した図、(b)は(a)の場合にスマートフォンが表示する画像の表示例である。
図36において、(a)は仮想会議の場合のワールド座標系における傍観者の視線を示した図、(b)は(a)の場合にスマートフォンが表示する画像の表示例である。
図36(a)に示されているように、仮想空間(ここでは、ワールド座標系)において、傍観者(カメラ)G2の視線の向こうには、右斜め前の奥に利用者A1、更に右寄りの右斜め前の手前側に利用者B1、左斜め前の奥に利用者C1、更に左寄りの左斜め前の手前側に利用者D1が位置している。なお、傍観者の場合、自分の姿の画像は各通信装置で表示されない。そのため、傍観者の場合、仮想空間上(ワールド座標系)の1つの位置に、複数の利用者が存在してもよい。
そして、この仮想空間上の状態は、図36(b)に示されているように、表示制御部94によってディスプレイ918上に、背景画像としての全天球画像CE、並びにサイズ及び表示方向が異なる各利用者A1,B1,C1,D1の画像を合成した合成画像で表示される。また、傍観者の場合、利用者A1,B1,C1,D1のように、自分の姿は撮影されないため、図29におけるステップS204~S207の処理は実行されない。即ち、傍観者G2は、スマートフォン9を上下左右に移動させても、又は自分の視点をスマートフォン9に対して上下左右に移動させても、表示制御部94は、同じ状態の画像を表示させる。
具体的には、ディスプレイ918上には、利用者A1の画像は、右斜め前の奥の所定領域に位置し、利用者B1よりもサイズが小さく、右肩側よりも左肩側の表示面積が大きい状態で表示されている。また、ディスプレイ918上には、利用者B1の画像は、利用者A1よりも更に右寄りの右斜め前の手前側の所定領域に位置し、利用者A1よりもサイズが大きく、右肩側よりも左肩側の表示面積が大きい状態で表示されている。更に、ディスプレイ918上には、利用者C1の画像は、左斜め前の奥の所定領域に位置し、利用者D1よりもサイズが小さく、左肩側よりも右肩側の表示面積が大きい状態で表示されている。また、ディスプレイ918上には、利用者D1の画像は、利用者C1よりも更に左寄りの左斜め前の手前側の所定領域に位置し、利用者C1よりもサイズが大きく、左肩側よりも右肩側の表示面積が大きい状態で表示されている。
なお、傍観者G2は、図1の利用者G1であってもよく、利用者G1ではない別の利用者であってもよい。また、傍観者の人数が複数の場合、同じ位置に複数の利用者が傍観者として仮想会議等の仮想イベントに参加した状態になる。
(2人の映像通話の参加者(利用者D1)に見せる表示例)
図37において、(a)は2人の映像通話の場合のワールド座標系における利用者D1の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
図37において、(a)は2人の映像通話の場合のワールド座標系における利用者D1の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
図37(a)に示されているように、仮想空間(ここでは、ワールド座標系)において、利用者D1の視線の向こうには、真正面に利用者A1が位置している。なお、仮想空間上(ワールド座標系)の1つの位置に、原則として一人の利用者しか存在しない。
そして、この仮想空間上の状態を物理空間上の利用者D1がディスプレイ4で見ると、図37(b)に示されているように、表示制御部34dは、ディスプレイ4上に、背景画像としての全天球画像CE、及び各利用者A1の画像を合成した合成画像を表示させる。
(3人の映像通話の参加者(利用者D1)に見せる表示例)
図38において、(a)は3人の映像通話の場合のワールド座標系における利用者D1の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
図38において、(a)は3人の映像通話の場合のワールド座標系における利用者D1の視線を示した図、(b)は(a)の場合に通信装置1dが利用者D1に見せる画像の表示例である。
図38(a)に示されているように、仮想空間(ここでは、ワールド座標系)において、利用者D1の視線の向こうには、左斜め前に利用者A1、右斜め前に利用者B1が位置している。なお、仮想空間上(ワールド座標系)の1つの位置に、原則として一人の利用者しか存在しない。
そして、この仮想空間上の状態を物理空間上の利用者D1がディスプレイ4で見ると、図38(b)に示されているように、表示制御部34dは、ディスプレイ4上に、背景画像としての全天球画像CE、及び各利用者A1,B1の画像を合成した合成画像を表示させる。
具体的には、利用者D1が利用者A1の画像を見た場合、利用者A1の画像は、左斜め前に位置して見ることができるようなディスプレイ4上の所定領域に表示されている。また、利用者D1が利用者B1の画像を見た場合、利用者B1の画像は、右斜め前に位置して見ることができるようなディスプレイ4上の所定領域に表示されている。
(表示例の簡潔な説明)
ここで、上記の表示例について簡潔に説明する。
ここで、上記の表示例について簡潔に説明する。
表示制御部34dは、第1の他の通信装置1aが送信した第1の画像データに基づく第1の画像(例えば、利用者A1の画像/利用者B1の画像)及び第2の他の通信装置1bが送信した第2の画像データに基づく第2の画像(例えば、利用者B1の画像/利用者A1の画像)のうちの少なくとも一方のサイズを異ならせた状態で、第1の画像及び第2の画像が合成された合成画像をディスプレイ4上に表示する。
また、第2の画像データは複数の位置(アングル)から撮影することによって得られた各画像データによって構成されて、表示制御部34dは、第1の画像で表された第1の物体(例えば、利用者A1/利用者B1)とは表示方向が異なった状態の第2の物体(例えば、利用者B1/利用者A1)が表された第2の画像が合成された合成画像をディスプレイ4上に表示する。
更に、通信装置側の人物における所定位置の変更に応じて、ディスプレイ4上に表示している合成画像の第1の画像及び第2の画像の表示位置を変更させる。
〔実施形態の主な効果〕
以上説明したように本実施形態によれば、例えば、通信装置1aは、他の通信装置1b,1c,1dが送信した各画像データに基づく画像を、自装置(通信装置1d)側の仮想空間上(ワールド座標系)の物体(利用者D1)における所定位置(例えば、両眼の間としての視点位置)及び仮想空間上(ワールド座標系)の複数の通信装置間の変更可能な位置関係(「配置関係」ともいう)(図11~図13)に応じて、ディスプレイ4上の所定領域に表示する(図34(b)、図35(b)、図37(b)、図38(b)参照)。これにより、複数の拠点の利用者が、拠点数やコミュニケーションの目的に応じた同室感を得ることが困難であるという課題をできるだけ解消することができるという効果を奏する。
以上説明したように本実施形態によれば、例えば、通信装置1aは、他の通信装置1b,1c,1dが送信した各画像データに基づく画像を、自装置(通信装置1d)側の仮想空間上(ワールド座標系)の物体(利用者D1)における所定位置(例えば、両眼の間としての視点位置)及び仮想空間上(ワールド座標系)の複数の通信装置間の変更可能な位置関係(「配置関係」ともいう)(図11~図13)に応じて、ディスプレイ4上の所定領域に表示する(図34(b)、図35(b)、図37(b)、図38(b)参照)。これにより、複数の拠点の利用者が、拠点数やコミュニケーションの目的に応じた同室感を得ることが困難であるという課題をできるだけ解消することができるという効果を奏する。
また、例えば、通信装置1dは、仮想空間上の複数の通信装置間の位置関係が異なる複数の種類の情報(図21参照)を表示し、仮想空間上の複数の通信装置間の位置関係が異なる映像通話の出席人数のうち、特定の人数(例えば、2人)の選択を受け付ける。そして、通信装置1dは、他の通信装置が送信した画像データに基づく画像を、特定の出席人数に応じたディスプレイ4上の所定領域に表示する(例えば、図34(b)参照)。これにより、利用者は、コミュニケーションの目的に応じた仮想空間を選択し易くなるという効果を奏する。
〔補足〕
上記通信管理サーバ6は、単純に「サーバ」と呼んでも良い。通信管理サーバ6は、クラウドコンピューティング(Cloud Computing)の形態で提供されてもよい。クラウドコンピューティングとは、インターネットなどのコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供する利用形態を示し、提供されるコンピュータ資源がサーバである。提供するサービスの形態は、SaaS(Software as a Service)、PaaS(Platform as a Service)、HaaSまたはIaaS(Hardware / Infrastructure as a Service)等あるが、サービスの提供形態は、制限されない。
上記通信管理サーバ6は、単純に「サーバ」と呼んでも良い。通信管理サーバ6は、クラウドコンピューティング(Cloud Computing)の形態で提供されてもよい。クラウドコンピューティングとは、インターネットなどのコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供する利用形態を示し、提供されるコンピュータ資源がサーバである。提供するサービスの形態は、SaaS(Software as a Service)、PaaS(Platform as a Service)、HaaSまたはIaaS(Hardware / Infrastructure as a Service)等あるが、サービスの提供形態は、制限されない。
また、上記実施形態では、利用者が、図21の選択ボタンb1~b3の選択、及び図22の各選択ボタンb11,b12,b13を選択することによって、仮想空間と役割が決定することになっているがこれに限るものではない。例えば、予め、通信管理サーバ6において、接続ID毎に仮想空間種類と役割を設定しておくことで、利用者A1は、特段に、選択ボタンb1~b3、及び選択ボタンb11,b12,b13を選択せずに、通信管理サーバ6が自動的に仮想空間種類及び役割を決定してもよい。
更に、上記実施形態では、図32に示されているように、各通信装置1が、各拠点の物理空間の物体を、一旦、個別に第1の仮想空間としてのモデリング座標系で定義することで3次元化し、その後に各物体の画像を1つのワールド座標系に変換させているが、これに限るものではない。例えば、通信管理サーバ6が、各拠点の物理空間の物体を、一旦、個別に第1の仮想空間としてのモデリング座標系で定義することで3次元化し、その後に各物体の画像を1つのワールド座標系に変換させてもよい。この場合、通信管理サーバ6は、ワールド座標系に変換後の画像データを各拠点の通信装置1に送信する。即ち、第1の通信装置(例えば、通信装置1d)と、第2の通信装置(例えば、通信装置1a)と、サーバ(例えば、通信管理サーバ6)とを備える通信システムは、第1の通信装置で撮影した画像データと第2の通信装置で撮影した画像データを用いて、仮想空間上の第1の通信装置における被写体の位置と仮想空間上の第2通信装置における被写体の位置との変更可能な位置関係に応じて生成された表示画像を提供する提供手段と、前記提供手段で提供された表示画像を表示する表示制御手段とを備える。
上記実施形態で説明した各CPUは、1つの装置に複数設けられていてもよい。
また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
更に、各通信装置1a~1d、通信管理サーバ6、全天球撮影装置8、及びスマートフォン9の間の通信において、他のサーバやルータ等がデータを中継してもよい。
〔まとめ〕
以下に、本実施形態のまとめを説明する。なお、括弧内の記載は、特許請求の範囲を限定するものではなく、単なる例示である。
以下に、本実施形態のまとめを説明する。なお、括弧内の記載は、特許請求の範囲を限定するものではなく、単なる例示である。
(1)1以上の他拠点における他の通信装置と映像通話を行い、表示手段が配置された机型の通信装置は、自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する1以上の撮影部と(S101で通信装置1dの場合参照)、前記自拠点の輝度画像及び深度画像のデータを前記1以上の他拠点における他の通信装置に送信する送受信部(S102~S1105で通信装置1dの場合参照)と、前記1以上の他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た1以上の他拠点の輝度画像及び深度画像のデータを、前記1以上の他拠点における他の通信装置から受信する受信部(S121,S122参照)と、前記自拠点の輝度画像及び深度画像のデータに基づき仮想空間上の自拠点における被写体の3次元物体を生成し、前記1以上の他拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の前記1以上の他拠点における被写体の3次元物体を生成する生成部(S127参照)と、前記映像通話を行う拠点数に応じた仮想空間上の配置位置に対して、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体とを配置し、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体との仮想空間上の位置関係に応じて、前記他拠点における被写体の3次元物体の画像を前記表示手段に表示する表示制御部(S207,図35等参照)を有することを特徴とする通信装置である。
(2)上記(1)通信装置は、前記表示制御部は、前記映像通話を行う複数の拠点数を示す情報を表示し(S25、図22参照)、前記複数の拠点数のうち、特定の拠点数の選択を受け付ける受付部を有し(S26参照)、前記表示制御部は、前記特定の拠点数に応じた仮想空間上の配置位置に対して前記生成部によって生成された各3次元物体を配置して、当該各3次元物体の画像を前記表示手段に表示すること(S207、図35等参照)を特徴とする通信装置である。
(3)拠点数を示す情報は、拠点数及び各3次元物体の配置関係を示すことを特徴とする上記(2)に記載の通信装置である。
(4)上記(2)又は(3)に記載の通信装置であって、前記表示制御部は、前記映像通話における複数の役割を示す情報を表示し(図22参照)、前記受付部は、前記複数の役割のうち、特定の役割の選択を受け付け、前記表示制御部は、前記特定の拠点数及び特定の役割に応じた仮想空間上の配置位置に対して前記生成部によって生成された各3次元物体を配置して、当該各3次元物体の画像を前記表示手段に表示すること(S207、図35等)を特徴とする通信装置である。
1a 通信装置(他の通信装置の一例、第1の他の通信装置の一例)
1b 通信装置(他の通信装置の一例、第2の他の通信装置の一例)
1c 通信装置(他の通信装置の一例)
1d 通信装置(自装置の一例)
4 ディスプレイ(表示手段の一例)
6 通信管理サーバ
8 全天球撮影装置
9 スマートフォン)
31a 送受信部(送信手段の一例、受信手段の一例、第2の送信手段の一例、第2の受信手段の一例)
32d 受付部(受付手段の一例)
34d 表示制御部(表示制御手段の一例)
61 送受信部(第1の送信手段の一例、第1の受信手段の一例)
b1 選択ボタン(位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例)
b2 選択ボタン(位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例)
b3 選択ボタン(位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例)
1b 通信装置(他の通信装置の一例、第2の他の通信装置の一例)
1c 通信装置(他の通信装置の一例)
1d 通信装置(自装置の一例)
4 ディスプレイ(表示手段の一例)
6 通信管理サーバ
8 全天球撮影装置
9 スマートフォン)
31a 送受信部(送信手段の一例、受信手段の一例、第2の送信手段の一例、第2の受信手段の一例)
32d 受付部(受付手段の一例)
34d 表示制御部(表示制御手段の一例)
61 送受信部(第1の送信手段の一例、第1の受信手段の一例)
b1 選択ボタン(位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例)
b2 選択ボタン(位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例)
b3 選択ボタン(位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例)
Claims (8)
- 1以上の他拠点における他の通信装置と映像通話を行い、表示手段が配置された机型の通信装置であって、
自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する1以上の撮影手段と、
前記自拠点の輝度画像及び深度画像のデータを前記1以上の他拠点における他の通信装置に送信する送信手段と、
前記1以上の他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た1以上の他拠点の輝度画像及び深度画像のデータを、前記1以上の他拠点における他の通信装置から受信する受信手段と、
前記自拠点の輝度画像及び深度画像のデータに基づき仮想空間上の自拠点における被写体の3次元物体を生成し、前記1以上の他拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の前記1以上の他拠点における被写体の3次元物体を生成する生成手段と、
前記映像通話を行う拠点数に応じた仮想空間上の位置に対して、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体とを配置し、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体との仮想空間上の位置関係に応じて、前記他拠点における被写体の3次元物体の画像を前記表示手段に表示する表示制御手段と、
を有することを特徴とする通信装置。 - 請求項1に記載の通信装置であって、
前記表示制御手段は、前記映像通話を行う複数の拠点数を示す情報を表示し、
前記複数の拠点数のうち、特定の拠点数の選択を受け付ける受付手段を有し、
前記表示制御手段は、前記特定の拠点数に応じた仮想空間上の配置位置に対して前記生成手段によって生成された各3次元物体を配置して、当該各3次元物体の画像を前記表示手段に表示すること
を特徴とする通信装置。 - 前記複数の拠点数を示す情報は、拠点数及び各3次元物体の配置関係を示すことを特徴とする請求項2に記載の通信装置。
- 請求項2又は3に記載の通信装置であって、
前記表示制御手段は、前記映像通話における複数の役割を示す情報を表示し、
前記受付手段は、前記複数の役割のうち、特定の役割の選択を受け付け、
前記表示制御手段は、前記特定の拠点数及び特定の役割に応じた仮想空間上の配置位置に対して前記生成手段によって生成された各3次元物体を配置して、当該各3次元物体の画像を前記表示手段に表示すること
を特徴とする通信装置。 - 前記画輝度画像及び深度画像のデータは、物理空間上の複数の位置から撮影することによって得られた複数の輝度画像データ及び深度画像データを含むことを特徴とする請求項1乃至4のいずれか一項に記載の通信装置。
- 1以上の他拠点における他の通信装置と映像通話を行い表示手段が配置された机型の通信装置と、サーバとを備える通信システムであって、
前記サーバは、
前記1以上の他拠点における他の通信装置から、前記1以上の他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た1以上の他拠点の輝度画像及び深度画像のデータを受信する第1の受信手段と、
前記1受信手段で受信した前記1以上の他拠点の輝度画像及び深度画像のデータを前記通信装置に送信する第1の送信手段と、
を有し、
前記通信装置は、
自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する1以上の撮影手段と、
前記自拠点の輝度画像及び深度画像のデータを前記サーバに送信する第2の送信手段と、
前記サーバから、前記1以上の他拠点の輝度画像及び深度画像のデータを受信する第2の受信手段と、
前記自拠点の輝度画像及び深度画像のデータに基づき仮想空間上の自拠点における被写体の3次元物体を生成し、前記1以上の他拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の前記1以上の他拠点における被写体の3次元物体を生成する生成手段と、
前記映像通話を行う拠点数に応じた仮想空間上の位置に対して、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体とを配置し、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体との仮想空間上の位置関係に応じて、前記他拠点における被写体の3次元物体の画像を前記表示手段に表示する表示制御手段と、
を有する通信システム。 - 1以上の他拠点における他の通信装置と映像通話を行う際の表示方法であって、
自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する1以上の撮影ステップと、
前記自拠点の輝度画像及び深度画像のデータを前記1以上の他拠点における他の通信装置に送信する送信ステップと、
前記1以上の他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た1以上の他拠点の輝度画像及び深度画像のデータを、前記1以上の他拠点における他の通信装置から受信する受信ステップと、
前記自拠点の輝度画像及び深度画像のデータに基づき仮想空間上の自拠点における被写体の3次元物体を生成し、前記1以上の他拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の前記1以上の他拠点における被写体の3次元物体を生成する生成ステップと、
前記映像通話を行う拠点数に応じた仮想空間上の位置に対して、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体とを配置し、前記自拠点における被写体の3次元物体と前記1以上の他拠点における被写体の3次元物体との仮想空間上の位置関係に応じて、前記他拠点における被写体の3次元物体の画像を前記表示手段に表示する表示制御ステップと、
表示制御ステップと、
を実行することを特徴とする表示方法。 - コンピュータに、請求項7に記載の方法を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039401A JP2023134065A (ja) | 2022-03-14 | 2022-03-14 | 通信装置、通信システム、表示方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039401A JP2023134065A (ja) | 2022-03-14 | 2022-03-14 | 通信装置、通信システム、表示方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023134065A true JP2023134065A (ja) | 2023-09-27 |
Family
ID=88143421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022039401A Pending JP2023134065A (ja) | 2022-03-14 | 2022-03-14 | 通信装置、通信システム、表示方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023134065A (ja) |
-
2022
- 2022-03-14 JP JP2022039401A patent/JP2023134065A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11563779B2 (en) | Multiuser asymmetric immersive teleconferencing | |
JP7452596B2 (ja) | 通信端末、表示方法、プログラム及び画像通信システム | |
JP7400195B2 (ja) | 画像通信システム、撮像装置、通信端末、モード切替方法、プログラム | |
US10602121B2 (en) | Method, system and apparatus for capture-based immersive telepresence in virtual environment | |
US20140098183A1 (en) | Controlled three-dimensional communication endpoint | |
JP7192592B2 (ja) | 撮像装置、画像通信システム、画像処理方法、プログラム | |
US11743590B2 (en) | Communication terminal, image communication system, and method for displaying image | |
US11736802B2 (en) | Communication management apparatus, image communication system, communication management method, and recording medium | |
US11818492B2 (en) | Communication management apparatus, image communication system, communication management method, and recording medium | |
JP2023134065A (ja) | 通信装置、通信システム、表示方法、及びプログラム | |
JP2023134089A (ja) | 通信装置、通信システム、表示方法、及びプログラム | |
JP2023134220A (ja) | 通信システム、通信管理サーバ、通信管理方法、及びプログラム | |
JP7151316B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2023092729A (ja) | 通信装置、通信システム、表示方法、及びプログラム | |
US20240022688A1 (en) | Multiuser teleconferencing with spotlight feature | |
Pereira et al. | Hybrid Conference Experiences in the ARENA | |
JP7371369B2 (ja) | 通信端末および画像通信システム | |
US11863871B2 (en) | Communication terminal, image communication system, and method of displaying image | |
JP7326789B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7354733B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP2023134045A (ja) | 通信装置、通信システム、表示方法、及びプログラム | |
US20230316663A1 (en) | Head-tracking based media selection for video communications in virtual environments | |
JP7417827B2 (ja) | 画像編集方法、画像表示方法、画像編集システム、及び画像編集プログラム | |
JP7210892B2 (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7006133B2 (ja) | 通信システム及び通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20231019 |