JP2023129018A - リモート会議支援装置、方法及びプログラム - Google Patents

リモート会議支援装置、方法及びプログラム Download PDF

Info

Publication number
JP2023129018A
JP2023129018A JP2022033755A JP2022033755A JP2023129018A JP 2023129018 A JP2023129018 A JP 2023129018A JP 2022033755 A JP2022033755 A JP 2022033755A JP 2022033755 A JP2022033755 A JP 2022033755A JP 2023129018 A JP2023129018 A JP 2023129018A
Authority
JP
Japan
Prior art keywords
participant
remote conference
virtual space
virtual
avatar image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022033755A
Other languages
English (en)
Inventor
英樹 相羽
Hideki Aiba
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2022033755A priority Critical patent/JP2023129018A/ja
Publication of JP2023129018A publication Critical patent/JP2023129018A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】リモート会議において、仮想空間での参加者と現実空間での参加者との意思疎通を支援すること。【解決手段】リモート会議支援装置(200)は、リモート会議における複数の参加者に対応する画像が表示された表示装置の画面を閲覧する第1の参加者の顔がカメラにより撮影された撮影画像から、第1の参加者の視線方向が示す画面内の領域に対応する他の参加者を特定する特定部(230)と、リモート会議の各参加者をアバター画像で表現した仮想空間上における第1の参加者の位置と特定された他の参加者の位置とに基づいて、仮想空間上における第1の参加者に対応する第1のアバター画像の顔の向きを決定する決定部(240)と、第2の参加者の視点で仮想空間を表示する仮想表示ゴーグルに対して、決定した第1のアバター画像の顔の向きを通知する送信部(250)と、を備える。【選択図】図7

Description

本開示は、リモート会議支援装置、方法及びプログラムに関する。
リモート会議システムは、カメラと接続されたPC(Personal Computer)の画面を介した形式から、各人が装着したVR(Virtual Reality)/AR(Augmented Reality)デバイスの画面に表示される仮想空間を介した形式、いわゆる仮想空間会議システムに移行しつつある。ここで、VR/ARデバイスは、仮想表示ゴーグル、VRゴーグル、又は、仮想表示デバイスとも呼ばれ、ヘッドマウントディスプレイ(HMD(Head Mounted Display))により実用化されつつある。仮想空間技術では、仮想表示ゴーグルの画面にアバターを映し出すことによってあたかも対面で話しているかのような演出が可能である。
特許文献1には、現実と仮想とを複合した複合現実の技術を対象とし、特に、拠点間で複合現実空間を共有する技術が開示されている。
特開2018-106298号公報
しかしながら、リモート会議の参加者の全てが仮想表示ゴーグルを用意してない場合や、これまで通りPCの画面を介した対話を好む参加者が存在する場合もある。これらの場合、リモート会議の参加者には、PCの画面、カメラ、スピーカ及びマイクを用いた参加者と、仮想表示ゴーグルを用いた参加者とが混在することとなる。そして、仮想空間内に表示されるユーザのうち、仮想表示ゴーグルを装着しないユーザについては、顔や視線の向きが仮想空間上では反映されない。そのため、仮想表示ゴーグルを装着したユーザから見える仮想空間には、仮想表示ゴーグルを装着しないユーザに対応するアバター画像の顔が自身の側には向けられない。つまり、仮想空間上では、フェイストゥーフェイスの対話を体感できない。よって、PCでのリモート会議参加者と、仮想表示ゴーグルでのリモート会議参加者との会話がスムーズに行い難いという問題が起こり得る。
本開示は、上述の課題に鑑みてなされたものであり、リモート会議において、仮想空間での参加者と現実空間での参加者との意思疎通を支援するためのリモート会議支援装置、方法及びプログラムを提供することを目的とする。
本開示の第1の態様は、リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定する特定部と、前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定する決定部と、第2の参加者の視点で前記仮想空間を表示する前記仮想表示ゴーグルに対して、前記決定した第1のアバター画像の顔の向きを通知する送信部と、を備えるリモート会議支援装置を提供する。
本開示の第2の態様は、コンピュータが、リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定し、前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定し、第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに対して、前記決定した第1のアバター画像の顔の向きを通知するリモート会議支援方法を提供する。
本開示の第3の態様は、リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定するステップと、前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定するステップと、第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに対して、前記決定した第1のアバター画像の顔の向きを通知するステップと、をコンピュータに実行させるリモート会議支援プログラムを提供する。
本開示の第4の態様は、リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像を取得するステップと、前記撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定するステップと、前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定させ、第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに前記決定された第1のアバター画像の顔の向きを表示させるために、前記特定した他の参加者を通知するステップと、をコンピュータに実行させるリモート会議支援プログラムを提供する。
本開示により、リモート会議において、仮想空間での参加者と現実空間での参加者との意思疎通を支援するためのリモート会議支援装置、方法及びプログラムを提供することができる。
本実施形態1にかかるリモート会議支援システムの全体構成を示すブロック図である。 本実施形態1にかかる仮想空間上のリモート会議の仮想会議室における各参加者の座席配置の概念を説明するための図である。 本実施形態1にかかるノートPCを利用してリモート会議に参加するユーザの例を示す図である。 本実施形態1にかかるHMDを装着してリモート会議に参加するユーザの例を示す図である。 本実施形態1にかかるHMDを装着し、ノートPCを利用してリモート会議に参加するユーザの例を示す図である。 本実施形態1にかかる情報端末を含むノートPCの構成を示すブロック図である。 本実施形態1にかかるリモート会議支援装置の構成を示すブロック図である。 本実施形態1にかかる仮想表示ゴーグルの構成を示すブロック図である。 本実施形態1にかかるノートPCの画面の表示内容の例を示す図である。 本実施形態1にかかるリモート会議支援処理の流れを示すシーケンス図である。 本実施形態1にかかるユーザAの視線方向から領域情報が特定される概念を説明するための図である。 本実施形態1にかかるユーザXが装着したHMDの表示内容の例を示す図である。 本実施形態1にかかるユーザZが装着したHMDの表示内容の例を示す図である。 本実施形態1の変形例にかかるノートPCの画面の表示内容の例を示す図である。 本実施形態1の変形例にかかるノートPCの画面の表示内容の例を示す図である。 本実施形態2にかかる情報端末を含むノートPCの構成を示すブロック図である。 本実施形態2にかかるリモート会議支援装置の構成を示すブロック図である。 本実施形態2にかかるリモート会議支援処理の流れを示すシーケンス図である。 その他の実施形態にかかる情報端末のハードウェア構成を示すブロック図である。 その他の実施形態にかかるリモート会議支援装置のハードウェア構成を示すブロック図である。
以下では、本開示の具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
<実施形態1>
図1は、本実施形態1にかかるリモート会議支援システム1000の全体構成を示すブロック図である。リモート会議支援システム1000は、PCを用いてリモート会議に参加するユーザと、仮想表示ゴーグルを装着してリモート会議に参加するユーザと、が混在するリモート会議を支援するための情報システムである。尚、各ユーザは、リモート会議の「参加者」と呼ぶ場合もある。拠点11の会議室11aには、ユーザA、B及びCが存在し、会議テーブルのそれぞれの座席に着席しているものとする。ユーザAは座席でノートPC100aを用いてリモート会議に参加する。ユーザBは座席でノートPC100bを用いてリモート会議に参加する。ユーザCは座席でノートPC100cを用いてリモート会議に参加する。拠点12には、ユーザXが存在するものとする。ユーザXは、仮想表示ゴーグル300xを装着してリモート会議に参加する。拠点13には、ユーザYが存在するものとする。ユーザYは、座席でノートPC100yを用いてリモート会議に参加する。拠点14には、ユーザZが存在するものとする。ユーザZは、仮想表示ゴーグル300zを装着し、座席でノートPC100zを用いてリモート会議に参加する。
リモート会議支援システム1000は、ノートPC100a、100b、100c、100y及び100z、リモート会議支援装置200、並びに、仮想表示ゴーグル300x及び300zを備える。ノートPC100a等、リモート会議支援装置200及び仮想表示ゴーグル300x等のそれぞれは、ネットワークNを介して接続されている。ここで、ネットワークNは、有線又は無線の通信回線であり、インターネットを含んでも良い。
ノートPC100a等は、同等の構成を有するものとし、以下では、「ノートPC100」と総称する場合がある。尚、ノートPC100は、カメラと表示装置に接続された情報端末を備えるものであり、詳細な構成は後述する。また、ノートPC100の代わりに、カメラ、ディスプレイ、マイク、スピーカと接続されたデスクトップPCを用いても良い。または、ノートPC100の代わりに、スマートフォン、タブレット端末等、カメラと表示装置と情報端末を内蔵した情報処理装置を用いても良い。
仮想表示ゴーグル300x及び300zは、同等の機能を有するものとし、以下では、「仮想表示ゴーグル300」と総称する場合がある。尚、仮想表示ゴーグル300は、VR/ARデバイス、VRゴーグル、又は、仮想表示デバイスとも呼ばれ、上述したヘッドマウントディスプレイ(HMD)で実現可能である。仮想表示ゴーグル300は、装着者の視界を覆うように表示装置があり、画面には、リモート会議の各参加者をアバター画像で表現した仮想空間を装着者の視点で表示する。例えば、仮想表示ゴーグル300は、VRディスプレイを備え、仮想空間内のリモート会議における装着者以外の参加者のアバター画像が、仮想的な会議テーブルの座席上に表示される。また、仮想表示ゴーグル300は、装着者の頭部の動き、姿勢、傾き、向き、位置を検出するヘッドトラッキング機能を備える。尚、仮想表示ゴーグル300の詳細は後述する。
仮想表示ゴーグル300が表示する映像は、仮想会議室11bを再構成したバーチャル三次元空間上に、自身以外のリモート会議の参加者がそれぞれアバター画像としてリアルタイムにレンダリングされる。そのため、ユーザXやZは、あたかも図2の仮想会議室11bにおけるユーザXやZが仮想的に存在している座席から見た景色のように、仮想表示ゴーグル300を介して映像を見ることができる。
図2は、本実施形態1にかかる仮想空間上のリモート会議の仮想会議室11bにおける各参加者の座席配置の概念を説明するための図である。この例では、リモート会議には、ユーザA、B,C、X、Y及びZの6名が参加していることを示す。そして、ユーザA、B,Cは、上述の通り、実際に、会議室11aの会議テーブルの椅子に腰を掛けて座席に着き、それぞれノートPC100a、100b及び100cを用いて、同一のリモート会議に参加している。そして、ユーザA、B,Cは、同一のリモート会議における仮想会議室11bにおいても同様の座席位置に着いていることを示す。一方、ユーザX、Y、Zは、拠点11とは異なる拠点12、13、14にいるため、ユーザA、B,Cと同一のリモート会議にリモート接続で参加している。そして、ユーザX、Y、Zは、仮想会議室11bにおいて、図2に示す座席位置に着いて、リモート会議に参加していることを示す。
図3は、本実施形態1にかかるノートPC100bを利用してリモート会議に参加するユーザBの例を示す図である。図4は、本実施形態1にかかるHMDを装着してリモート会議に参加するユーザXの例を示す図である。仮想表示ゴーグル300xは、HMDであるものとする。図5は、本実施形態1にかかるHMDを装着し、ノートPC100zを利用してリモート会議に参加するユーザZの例を示す図である。仮想表示ゴーグル300zは、HMDであるものとする。
図6は、本実施形態1にかかる情報端末130を含むノートPC100の構成を示すブロック図である。ノートPC100は、カメラ110、表示装置120及び情報端末130を備える。表示装置120は、画面121を備える。情報端末130は、カメラ110及び表示装置120と接続されている。カメラ110は、表示装置120の画面121と同じ面に設置されており、画面121の表示方向を撮影する。カメラ110は、少なくともリモート会議中に、定期的に、画面121を閲覧するユーザの顔を含む領域を撮影し、撮影画像を情報端末130へ出力する。但し、カメラ110は、ノートPC100の利用者の顔、少なくとも目の向きを撮影できる位置に設置されたものであればよい。
表示装置120は、情報端末130から受け付けた画像又は映像データを画面121に表示する。また、表示装置120は、画面121の表示内容、特に、参加者に対応する画像の配置情報を情報端末130へ出力してもよい。画面121は、液晶ディプレイ等であるが、これに限定されない。
情報端末130は、カメラ110による撮影画像から、ユーザの視線方向を検出し、新鮮方向が示す画面121の領域を特定し、領域情報をリモート会議支援装置200へ送信する。また、情報端末130は、リモート会議アプリケーションにより、リモート会議支援装置200を介して他の情報端末、仮想表示ゴーグル300と通信を行い、リモート会議の参加者に対応する画像を表示装置120へ出力して、画面121に表示させる。
情報端末130は、コンピュータ、つまり情報処理装置である。情報端末130は、取得部131、符号化部132、視線方向検出部133、特定部134、送信部135、受信部136及び画面更新部137を備える。尚、取得部131、符号化部132、視線方向検出部133、特定部134、送信部135、受信部136及び画面更新部137は、機能ブロックであり、後述するハードウェアもしくはソフトウェア又はハードウェアとソフトウェアの組合せにより実現される。
取得部131は、カメラ110から撮影画像を取得し、符号化部132、視線方向検出部133及び画面更新部137へ出力する。ここで、撮影画像には、画面121を閲覧する第1のユーザの顔が含まれているものとする。また、このとき、画面121には、リモート会議における複数の参加者に対応する画像が表示されているものとする。そして、リモート会議には、少なくとも情報端末130を利用する第1のユーザと、仮想表示ゴーグル300を装着した第2のユーザと、が少なくとも参加しているものとする。
符号化部132は、取得部131から受け付けた撮影画像を符号化し、符号化データを送信部135へ出力する。視線方向検出部133は、取得部131から受け付けた撮影画像を解析して、撮影画像内の第1のユーザの視線方向を検出する。特定部134は、視線方向検出部133により検出された視線方向が示す画面121内の領域を特定する。送信部135は、符号化データと、特定された領域情報を合わせて、ネットワークNを介してリモート会議支援装置200へ送信する。尚、送信部135は、特定した領域情報を通知する通知部ということもできる。
受信部136は、リモート会議支援装置200からネットワークNを介して、リモート会議の他の参加者の撮影画像、静止画像、アバター画像を受信し、画面更新部137へ出力する。さらに、受信部136は、第2のユーザが装着する仮想表示ゴーグル300の向きが仮想空間上の第1のユーザの位置へ向けられた場合に、撮影画像内の第1のユーザの目の位置に基づいて決定された、第2のユーザに対応する第2のアバター画像の顔の向きを受信する。
画面更新部137は、受信された他の参加者の撮影画像、静止画像、アバター画像を、画面121の各参加者の領域へ表示させるように、画面121を更新する。特に、受信部136が第2のアバター画像の顔の向きを受信した場合、画面更新部137は、第2のアバター画像の顔の向きを反映するように、画面121の表示を更新する。
さらに、受信部136は、第2のユーザが装着する仮想表示ゴーグルの向きが仮想空間上の第1のユーザの位置へ向けられた場合に、撮影画像内の第1のユーザの目の位置に基づいて決定された、第2のユーザに対応する第2のアバター画像の顔の向きを受信するとよい。この場合、画面更新部137は、受信した第2のアバター画像の顔の向きを反映するように、画面121の表示を更新する。
また、ノートPC100は、図示しない構成としてマイク等の収音器及びスピーカを備える。送信部135は、収音された音声データを随時、リモート会議支援装置200へ送信する。また、受信部136は、リモート会議支援装置200から音声データを受信し、音声データをスピーカへ出力する。
図7は、本実施形態1にかかるリモート会議支援装置200の構成を示すブロック図である。リモート会議支援装置200は、ノートPC100及び仮想表示ゴーグル300とネットワークNを介して接続されたコンピュータサーバ、情報処理装置である。リモート会議支援装置200は、情報端末130を利用した参加と、仮想表示ゴーグル300を利用した参加とを混在させたリモート会議を提供する。リモート会議支援装置200は、情報端末130及び仮想表示ゴーグル300のそれぞれで動作するリモート会議アプリケーションと通信を行い、各リモート会議アプリケーションの間での音声及び画像データ等の共有を仲介する。
リモート会議支援装置200は、仮想空間情報210、受信部220、特定部230、決定部240及び送信部250を備える。尚、受信部220、特定部230、決定部240及び送信部250は、機能ブロックであり、後述するハードウェアもしくはソフトウェア又はハードウェアとソフトウェアの組合せにより実現される。
仮想空間情報210は、リモート会議の仮想会議室における各参加者の位置情報を管理する情報である。仮想空間情報210は、参加者位置情報211から21n(nは2以上の自然数。)を含む。参加者位置情報211等は、特定の参加者のID、氏名等の情報と、仮想会議室内の座席位置とを対応付けた情報である。また、参加者位置情報211等は、参加者の姿勢、顔の向きを示す情報を含んでも良い。また、参加者位置情報211等は、参加者に対応するアバター画像を含んでも良い。アバター画像は、参加者の顔又は全身の模式的な形状を示すデータであってもよい。仮想空間情報210は、リモート会議の開始前又は開始中に、情報端末130等から参加者ごとに設定された情報であってもよい。
尚、リモート会議支援装置200は、各情報端末130の画面121において、各参加者に対応する画像が表示される領域の画面121上の配置情報を保持していてもよい。
受信部220は、情報端末130からリモート会議の参加者であるユーザの顔の撮影画像又は指定された静止画像を符号化データとして、また、情報端末130で収音された音声データを受信する。さらに、受信部220は、情報端末130から符号化データと共に、特定された領域情報を受信する。また、受信部220は、仮想表示ゴーグル300から姿勢情報及び仮想表示ゴーグル300で収音された音声データを受信する。姿勢情報は、仮想表示ゴーグル300の仮想空間上での位置、向きを示す情報等を含む。
特定部230は、受信した領域情報と配置情報から、領域情報に対応する参加者を特定する。ここで、領域情報は、撮影画像に基づき、特定されているため、特定部230は、撮影画像から、第1のユーザの視線方向が示す画面121内の領域に対応する参加者を特定するともいえる。
決定部240は、仮想空間情報210を参照し、仮想空間上における第1のユーザの位置と、特定部230により特定された参加者の位置とに基づいて、仮想空間上における第1のユーザに対応する第1のアバター画像の顔の向きを決定する。このとき、決定部240は、仮想表示ゴーグル300ごとに第1のアバター画像の顔の向きを決定する。つまり、決定部240は、仮想空間情報210を参照し、各仮想表示ゴーグル300に対応する参加者位置情報211等の位置に応じて、第1のアバター画像の顔の向きを異なるように決定する。仮想表示ゴーグル300を装着したユーザごとに視点が異なるためである。
さらに、決定部240は、第1のユーザの視線方向が示す参加者が第2のユーザであり、第2のユーザが装着する仮想表示ゴーグルの向きが仮想空間上の第1のユーザの位置へ向けられた場合に、第1のアバター画像の顔の向きの決定を行うとよい。これにより、必要以上に第1のアバター画像の顔の向きの姿勢情報を決定及び通知することがなくなり、処理を効率化できる。
さらに、決定部240は、第2のユーザが装着する仮想表示ゴーグルの向きが仮想空間上の第1のユーザの位置へ向けられた場合に、撮影画像内の第1のユーザの目の位置に基づいて、第2のユーザに対応する第2のアバター画像の顔の向きを決定すると良い。これにより、仮想表示ゴーグルを装着する第2のユーザが、顔の向きを第1のアバター画像の方向へ向けた時、第1のアバター画像の顔の向きも第2のユーザ側へ向けられたように見せることができる。つまり、仮想空間上で、第1のアバター画像と第2のアバター画像との顔を向き合わせることができる。尚、「目の位置に基づいて」の一例としては、例えば、撮影画像内の第1のユーザの「目の位置に合わせる」ことが挙げられるが、これに限定されない。
送信部250は、仮想空間情報210内のある参加者に対応するアバター画像、及び、音声データを仮想表示ゴーグル300へ送信、つまり配信する。このとき、送信部250は、特定された参加者について決定された第1のアバター画像の顔の向きを含む姿勢情報を、仮想表示ゴーグル300へ通知する。尚、送信部250は、アバター画像を都度、送信する必要はなく、姿勢情報を送信してもよい。また、送信部250は、送信先の仮想表示ゴーグル300に対応する第1のアバター画像の顔の向きを含む姿勢情報を、各仮想表示ゴーグル300に対して通知する。
また、送信部250は、ある情報端末130を利用する参加者における撮影画像もしくは静止画像、又は、仮想空間情報210内の参加者に対応するアバター画像、及び、音声データを他の情報端末130へ送信、つまり配信する。尚、送信部250は、画像データを都度、送信する必要はなく、前回の送信から差分が合った場合に、差分の画像データを送信してもよい。さらに、送信部250は、第2のユーザが装着する仮想表示ゴーグルの向きが仮想空間上の第1のユーザの位置へ向けられた場合に、第1のユーザが利用する情報端末130に対して、決定した第2のアバター画像の顔の向きを通知するとよい。これにより、第1のユーザは、画面越しに第2のアバター画像と顔を向き合わせて対話することができる。
尚、情報端末130が領域情報の代わりに、第1のユーザの視線方向をリモート会議支援装置200へ通知してもよい。その場合、リモート会議支援装置200の特定部230は、受信した撮影画像と視線方向と配置情報から、第1のユーザの視線方向が示す参加者を特定する。
図8は、本実施形態1にかかる仮想表示ゴーグル300の構成を示すブロック図である。図8は、仮想表示ゴーグル300がHMDである例を示す。仮想表示ゴーグル300は、受信部310、仮想現実処理部320、表示装置330、姿勢検出部340及び送信部350を備える。仮想表示ゴーグル300は、図示しない構成としてマイクロコンピュータ等のIC(Integrated Circuit)チップが搭載されている。受信部310、仮想現実処理部320、表示装置330、姿勢検出部340及び送信部350は、機能ブロックであり、ICチップ内のハードウェアもしくはソフトウェア又はハードウェアとソフトウェアの組合せにより実現される。
受信部310は、リモート会議支援装置200からネットワークNを介して、リモート会議の他の参加者のアバター画像、姿勢情報及び音声データを受信する。仮想現実処理部320は、受信部310が受信したアバター画像と姿勢情報に基づいて、仮想空間のレンダリングを行い、表示装置330へ出力する。具体的には、仮想現実処理部320は、装着者以外の参加者である第1のアバター画像の顔の向きを、姿勢情報に基づいて更新する。例えば、姿勢情報が装着者の正面を示す場合、第1のアバター画像の体の向きを当初のままとし、顔の向きを正面に向けて更新する。
表示装置330は、画面331を備える。例えば、画面331は、装着者の右目用と左目用とに分かれていても良い。画面331は、受信したアバター画像や姿勢情報に基づく更新結果に応じて向きが更新されたアバター画像を表示する。画面331は、液晶ディプレイ等であるが、これに限定されない。
姿勢検出部340は、仮想表示ゴーグル300の動き、姿勢、傾き、向き、位置等の姿勢情報の変化を検出し、検出した姿勢情報をリモート会議支援装置200へ送信する。つまり、姿勢検出部340は、仮想表示ゴーグル300の装着者が頭部を動かしたとき、特に、顔の向きを変えた時に、姿勢情報の変化を検出する。姿勢検出部340は、例えば、ジャイロ、加速度計、A/D変換器、マイクロコンピュータ等を含むVRセンサで実現してもよい。姿勢検出部340は、検出した姿勢情報の変化を画面331に表示されたアバター画像へ反映してもよい。また、姿勢検出部340は、検出した姿勢情報の変化を送信部350へ出力する。送信部350は、検出した姿勢情報の変化を、ネットワークNを介してリモート会議支援装置200へ送信する。
また、仮想表示ゴーグル300は、図示しない構成としてマイク等の収音器及びスピーカを備える。仮想表示ゴーグル300の送信部350は、収音された音声データを随時、リモート会議支援装置200へ送信する。また、受信部310は、リモート会議支援装置200から音声データを受信し、音声データをスピーカへ出力する。
続いて、本実施形態1にかかるリモート会議支援処理の流れを説明する。前提として、上述した図2に示すように、ユーザA、B,C,X,Y、Zがリモート会議支援装置200を介して同一のリモート会議に参加しているものとする。図9は、本実施形態1にかかるノートPC100の画面の表示内容の例を示す図である。ノートPC100は、画面121の上部にカメラ110が設置され、カメラ110は、画面121の表示方向を撮影することを示す。画面121は、参加者ごとに領域が区別可能に配置され、各領域に参加者に対応する画像が表示されている。具体的には、領域RXにはユーザXのアバター画像AX、領域RYにはユーザYの撮影画像IY、領域RZにはユーザZのアバター画像AZ、領域RAにはユーザAの撮影画像IA、領域RBにはユーザBの撮影画像IB、領域RCにはユーザCの撮影画像ICが表示されている。
図10は、本実施形態1にかかるリモート会議支援処理の流れを示すシーケンス図である。例えば、ノートPC100aは、ユーザAがユーザXに対して発した言葉、例えば「ユーザXさん」を、音声データとして取得する(S101)。次に、ノートPC100aは、ネットワークNを介してリモート会議支援装置200へ、音声データを送信する(S102)。これに応じて、リモート会議支援装置200は、受信した音声データを、リモート会議に参加している他の端末へ配信する。例えば、リモート会議支援装置200は、音声データを、仮想表示ゴーグル300x及び300z、並びに、ノートPC100b、その他へ送信する(S1031、S1032及びS1033)。これに応じて、仮想表示ゴーグル300x及び300z、並びに、ノートPC100b、その他は、それぞれ、受信した音声データを出力する。そのため、仮想表示ゴーグル300xを装着したユーザXは、ユーザAの声で「ユーザXさん」と聞こえるため、自身へ話しかけていることを認識できる。
続いて、ノートPC100aは、カメラ110によるユーザAの撮影画像を取得する(S104)。そして、ノートPC100aは、撮影画像を解析してユーザAの視線方向を検出する(S105)。そして、ノートPC100aは、視線方向が示す画面121内の領域を特定する(S106)。
図11は、本実施形態1にかかるユーザAの視線方向から領域情報が特定される概念を説明するための図である。ここでは、ユーザAの視線方向が、ノートPC100aの画面121のうち領域RXに向いていることを示す。よって、ノートPC100aは、領域情報として領域RXを特定する。
図10に戻り説明を続ける。ノートPC100aは、特定した領域情報を、ネットワークNを介してリモート会議支援装置200へ送信する(S107)。これに応じて、リモート会議支援装置200は、仮想空間情報210、領域情報、配置情報から、対話相手の参加者を特定する(S109)。この例では、リモート会議支援装置200は、ユーザAの対話相手がユーザXであると特定する。
ここで、ステップS1031の後、ユーザXは、ユーザAが自身へ話しかけていることを認識したため、顔の向きを、仮想空間内でユーザAのアバター画像の方向へ向けたものとする。つまり、ユーザXが装着する仮想表示ゴーグル300xは、HMDの向きの変化を検出する(S108)。そして、仮想表示ゴーグル300xは、検出したHMDの向き、つまり姿勢情報を、ネットワークNを介してリモート会議支援装置200へ送信する(S110)。
これに応じて、リモート会議支援装置200は、仮想表示ゴーグル300ごと及びノートPC100ごとに、アバター画像の顔の向きを決定する(S111)。例えば、リモート会議支援装置200は、仮想空間情報210を参照し、ユーザAとXの位置関係から、仮想表示ゴーグル300xの視点におけるユーザAのアバター画像の顔の向きを正面と決定する。また、リモート会議支援装置200は、仮想空間情報210を参照し、ユーザAとXとZの位置関係から、仮想表示ゴーグル300zの視点におけるユーザAとXのアバター画像の向きを互いに向き合うように、横向きと決定する。また、リモート会議支援装置200は、ノートPC100aの撮影画像内のユーザAの視線方向と、ノートPC100aの画面内のユーザXの配置情報とから、ノートPC100aにおけるユーザXのアバター画像の顔の向きを、ユーザAの視線方向に合わせるように決定する。また、リモート会議支援装置200は、ノートPC100bの画面内のユーザA及びXの配置情報とから、ノートPC100bにおけるユーザXのアバター画像の顔の向きを、ユーザAの領域に向けるように決定する。
尚、ステップS111は、ステップS110を条件とせずに、ステップS109に続けて、実行されてもよい。
その後、リモート会議支援装置200は、仮想表示ゴーグル300x用に決定された顔の向きを、ネットワークNを介して仮想表示ゴーグル300xへ送信する(S112)。そして、仮想表示ゴーグル300xは、受信した顔の向きに応じて、ユーザAのアバター画像の顔の向きを更新する(S113)。
図12は、本実施形態1にかかるユーザXが装着したHMDの表示内容の例を示す図である。仮想表示ゴーグル300xが表示する仮想空間の映像は、ユーザAのアバター画像AAがユーザXの方向を向いていることを示す。つまり、仮想表示ゴーグル300xを装着するユーザXは、自身の顔の向き、つまり、仮想表示ゴーグル300xの向きを仮想空間のアバター画像AAの方向に向けた時に、画面に表示されるアバター画像AAの顔の向きがユーザXの方向に向いているように見える。
また、リモート会議支援装置200は、仮想表示ゴーグル300z用に決定された顔の向きを、ネットワークNを介して仮想表示ゴーグル300zへ送信する(S114)。そして、仮想表示ゴーグル300zは、受信した顔の向きに応じて、ユーザAとXのアバター画像の顔の向きを更新する(S115)。
図13は、本実施形態1にかかるユーザZが装着したHMDの表示内容の例を示す図である。仮想表示ゴーグル300zが表示する仮想空間の映像は、ユーザXのアバター画像AXが正面から見て右向き、つまり、アバター画像AXにとっては左向き、ユーザAのアバター画像AAが正面から見て左向き、つまり、アバター画像AAにとっては右向きとなることを示す。つまり、仮想表示ゴーグル300zを装着するユーザZは、ユーザXのアバター画像AXとユーザAのアバター画像AAとが互いに向き合っているように見える。
また、リモート会議支援装置200は、ノートPC100b用に決定された顔の向きを、ネットワークNを介してノートPC100bへ送信する(S116)。そして、ノートPC100bは、受信した顔の向きに応じて、ユーザXのアバター画像の顔の向きを更新する(S117)。
また、リモート会議支援装置200は、ノートPC100a用に決定された顔の向きを、ネットワークNを介してノートPC100aへ送信する(S118)。そして、ノートPC100aは、受信した顔の向きに応じて、ユーザXのアバター画像の顔の向きを更新する(S119)。例えば、上述した図11の画面121の各領域のように、領域RXではアバター画像AXは正面向きとなることを示す。尚、ノートPC100aは、ユーザAの対話相手がユーザXであることを明示するために、領域RXのウィンドウ枠にマーカー表示をしてもよい。尚、領域RY、RB、RCには、それぞれ、ノートPC100y、100b、100cでの実際の撮影画像IY、IB、ICが表示されていることを示す。尚、領域RZは、ノートPC100aの各領域の配置情報に応じて、アバター画像AZの顔の向きが領域RXとRAの方向に向いていることを示す。尚、アバター画像AZは、仮想会議室11bの座席位置に応じた方向へ顔を向けても良い。
このように、本実施形態により、仮想空間での参加者と現実空間での参加者との意思疎通を支援することができる。つまり、リモート会議において、ユーザ間でのデバイス環境、ユーザの好みによって通常のPC画面型対話と仮想空間対話が混在することができる。すなわち、ユーザ側を撮影するカメラと接続された情報端末の画面を使った対話と、VR/ARデバイスを装着したユーザにおける対面対話を模擬した仮想空間における会議とが混在するシステムを提供できる。
そして、仮想空間で対話する際のアバター画像の体勢が、対話するユーザの方向に向くことによって、仮想表示ゴーグル300xを装着したユーザXがユーザAと対面している感覚で対話することができる。同様に、ノートPC100aの画面121を介してユーザXと対話するユーザAは、アバター画像AXが正面を向いているため、やはりユーザXと対面している感覚で対話することができる。よって、仮想表示ゴーグル300の表示、及び、ノートPCの画面の双方で、フェイストゥーフェイスの対話を体感できる。
尚、本実施形態1のノートPCの画面の変形例を以下に示す。図14は、本実施形態1の変形例にかかるノートPC100の画面121の表示内容の例を示す図である。画面121には、上述した図2のような仮想会議室11bの様子が表示されていることを示す。また、図15は、本実施形態1の変形例にかかるノートPC100の画面121の表示内容の例を示す図である。画面121には、上述した図11と図14の表示内容の両方が表示されていることを示す。尚、ノートPC100は、ユーザから仮想会議室11bの視点を受け付け、その視点に応じて仮想会議室11bの表示方向をレンダリングしてもよい。例えば、ノートPC100は、ユーザからマウスやGUI手段で、レンダリングする際の視点設定を可能としてもよい。これにより、リモート会議のバーチャル空間を自由視点により提供できる。
<実施形態2>
本実施形態2は、上述した実施形態1の変形例である。本実施形態2は、情報端末のユーザの視線方向が示す領域に対応する参加者の特定処理を、情報端末側で行うものである。尚、以下では、実施形態1との違いを中心に説明し、実施形態1と同等の構成や機能については、適宜、図示及び説明を省略する。
図16は、本実施形態2にかかる情報端末130aを含むノートPC100の構成を示すブロック図である。情報端末130aは、上述した図6と比べて特定部134が特定部134aに置き換わったものである。特定部134aは、撮影画像から、第1のユーザの視線方向が示す画面121内の領域に対応する参加者を特定する。そのため、ノートPC100は、予め、画面121に表示する各領域と参加者情報とを対応付けて保持しているものとする。
そして、送信部135は、特定した参加者をリモート会議支援装置200へ通知する。このとき、送信部135は、リモート会議支援装置200に対して、仮想空間上における第1のユーザの位置と特定された参加者の位置とに基づいて、第1のアバター画像の顔の向きを決定させる指示を送信してもよい。さらに、送信部135は、リモート会議支援装置200に対して、第2のユーザの視点で前記仮想空間を表示する仮想表示ゴーグルに、決定された第1のアバター画像の顔の向きを表示させる指示を送信してもよい。
図17は、本実施形態2にかかるリモート会議支援装置200aの構成を示すブロック図である。リモート会議支援装置200aは、上述した図7と比べて特定部230が削除されたものである。つまり、決定部240は、受信部220が受信した参加者を、特定された参加者、第2のユーザとして、処理を行う。
図18は、本実施形態2にかかるリモート会議支援処理の流れを示すシーケンス図である。図18は、上述した図10と比べて、ステップS107及びS109の代わりに、ステップS109aとS107aが追加されたものである。つまり、ステップS106により、視線方向が示す画面121内の領域が特定された後、特定部134aは、特定された領域情報に対応付けられた参加者情報から、対話相手の参加者を特定する(S109a)。その後、送信部135は、特定した参加者情報をリモート会議支援装置200aへ通知する(S107a)。以降は、上述した図10と同様に処理される。
このように、本実施形態によっても、上述した実施形態1と同様の効果を奏することができる。
<その他の実施形態>
図19は、その他の実施形態にかかる情報端末400のハードウェア構成を示すブロック図である。情報端末400は、記憶部410、メモリ420、通信部430及び制御部440を備える。記憶部410は、ハードディスク、フラッシュメモリ等の記憶装置の一例である。記憶部410は、リモート会議支援プログラム411を記憶する。リモート会議支援プログラム411は、上述した実施形態1又は2にかかる情報端末130又は130aの処理等が実装されたコンピュータプログラムである。
メモリ420は、RAM(Random Access Memory)等の揮発性記憶装置であり、制御部440の動作時に一時的に情報を保持するための記憶領域である。通信部430は、情報端末400の内部構成と、ネットワークNとの通信インタフェース回路である。
制御部440は、情報端末400の各構成を制御するプロセッサつまり制御装置である。制御部440は、記憶部410からリモート会議支援プログラム411をメモリ420へ読み込ませ、リモート会議支援プログラム411を実行する。これにより、制御部440は、上述した取得部131、符号化部132、視線方向検出部133、特定部134、送信部135、受信部136及び画面更新部137等の機能を実現する。
図20は、その他の実施形態にかかるリモート会議支援装置500のハードウェア構成を示すブロック図である。リモート会議支援装置500は、記憶部510、メモリ520、通信部530及び制御部540を備える。記憶部510は、ハードディスク、フラッシュメモリ等の記憶装置の一例である。記憶部510は、リモート会議支援プログラム511と、仮想空間情報512を記憶する。記憶部510は、さらに、上述した配置情報を記憶しても良い。リモート会議支援プログラム511は、上述した実施形態1又は2にかかるリモート会議支援装置200又は200aの処理等が実装されたコンピュータプログラムである。
メモリ520は、RAM等の揮発性記憶装置であり、制御部540の動作時に一時的に情報を保持するための記憶領域である。通信部530は、リモート会議支援装置500の内部構成と、ネットワークNとの通信インタフェース回路である。
制御部540は、リモート会議支援装置500の各構成を制御するプロセッサつまり制御装置である。制御部540は、記憶部510からリモート会議支援プログラム511をメモリ520へ読み込ませ、リモート会議支援プログラム511を実行する。これにより、制御部540は、上述した受信部220、特定部230、決定部240及び送信部250等の機能を実現する。
尚、情報端末400又はリモート会議支援装置500の各構成要素は、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路(circuitry)、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、量子プロセッサ(量子コンピュータ制御チップ)等を用いることができる。
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
1000 リモート会議支援システム
11~14 拠点
11a 会議室
11b 仮想会議室
A、B、C、X、Y、Z ユーザ
100、100a、100b、100c、100y ノートPC
N ネットワーク
110 カメラ
120 表示装置
121 画面
130、130a、400 情報端末
131 取得部
132 符号化部
133 視線方向検出部
134、134a 特定部
135 送信部
136 受信部
137 画面更新部
200、200a、500 リモート会議支援装置
210 仮想空間情報
211~21n 参加者位置情報
220 受信部
230 特定部
240 決定部
250 送信部
300、300x、300z 仮想表示ゴーグル
AX、AZ、AA アバター画像
IA、IB、IC、IY 撮影画像
RA、RB、RC、RX、RY、RZ 領域

Claims (6)

  1. リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定する特定部と、
    前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定する決定部と、
    第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに対して、前記決定した第1のアバター画像の顔の向きを通知する送信部と、
    を備えるリモート会議支援装置。
  2. 前記特定された他の参加者は、前記第2の参加者であり、
    前記決定部は、
    前記仮想表示ゴーグルの向きが前記仮想空間上の前記第1の参加者の位置へ向けられた場合に、前記第1のアバター画像の顔の向きを決定する
    請求項1に記載のリモート会議支援装置。
  3. 前記決定部は、
    前記仮想表示ゴーグルの向きが前記仮想空間上の前記第1の参加者の位置へ向けられた場合に、前記撮影画像内の第1の参加者の目の位置に基づいて、前記第2の参加者に対応する第2のアバター画像の顔の向きを決定し、
    前記送信部は、前記情報端末に対して、前記決定した第2のアバター画像の顔の向きを通知する
    請求項1又は2に記載のリモート会議支援装置。
  4. コンピュータが、
    リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定し、
    前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定し、
    第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに対して、前記決定した第1のアバター画像の顔の向きを通知する
    リモート会議支援方法。
  5. リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定するステップと、
    前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定するステップと、
    第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに対して、前記決定した第1のアバター画像の顔の向きを通知するステップと、
    をコンピュータに実行させるリモート会議支援プログラム。
  6. リモート会議における複数の参加者に対応する画像が表示された情報端末の表示装置の画面を閲覧する第1の参加者の顔が撮影された撮影画像を取得するステップと、
    前記撮影画像から、前記第1の参加者の視線方向が示す前記画面内の領域に対応する他の参加者を特定するステップと、
    前記リモート会議の各参加者をアバター画像で表現した仮想空間上における前記第1の参加者の位置と前記特定された他の参加者の位置とに基づいて、前記仮想空間上における前記第1の参加者に対応する第1のアバター画像の顔の向きを決定させ、第2の参加者の視点で前記仮想空間を表示する仮想表示ゴーグルに前記決定された第1のアバター画像の顔の向きを表示させるために、前記特定した他の参加者を通知するステップと、
    をコンピュータに実行させるリモート会議支援プログラム。
JP2022033755A 2022-03-04 2022-03-04 リモート会議支援装置、方法及びプログラム Pending JP2023129018A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022033755A JP2023129018A (ja) 2022-03-04 2022-03-04 リモート会議支援装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022033755A JP2023129018A (ja) 2022-03-04 2022-03-04 リモート会議支援装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023129018A true JP2023129018A (ja) 2023-09-14

Family

ID=87973030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022033755A Pending JP2023129018A (ja) 2022-03-04 2022-03-04 リモート会議支援装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2023129018A (ja)

Similar Documents

Publication Publication Date Title
US11159766B2 (en) Placement of virtual content in environments with a plurality of physical participants
US11563779B2 (en) Multiuser asymmetric immersive teleconferencing
US11477509B2 (en) Immersive cognitive reality system with real time surrounding media
KR102574874B1 (ko) 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
US9959676B2 (en) Presentation of enhanced communication between remote participants using augmented and virtual reality
US20230141039A1 (en) Immersive displays
US8963956B2 (en) Location based skins for mixed reality displays
CN105453011A (zh) 虚拟对象朝向和可视化
US20240061497A1 (en) Method and Device for Surfacing Physical Environment Interactions During Simulated Reality Sessions
JPWO2018225218A1 (ja) 情報処理装置および画像生成方法
CN113260954B (zh) 基于人工现实的用户群组
JP2023129018A (ja) リモート会議支援装置、方法及びプログラム
US11178361B2 (en) Virtual window for teleconferencing
CN116583841A (zh) 使用超声信号触发协作增强现实环境
JP6840548B2 (ja) 情報処理装置およびゲーム画音生成方法
WO2024040571A1 (en) Delay optimization for multiple audio streams
US20220222035A1 (en) Information processing apparatus, non-transitory computer readable medium storing program, and information processing method
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
US11706266B1 (en) Systems and methods for assisting users of artificial reality platforms
WO2023176389A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
TW202410699A (zh) 用於多個音訊串流的延遲最佳化
TW202110173A (zh) 在擴增實境裝置中用於社交相關用戶參與指示器的系統及方法