JP2023067708A - 端末、情報処理方法、プログラム、および記録媒体 - Google Patents

端末、情報処理方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP2023067708A
JP2023067708A JP2022067338A JP2022067338A JP2023067708A JP 2023067708 A JP2023067708 A JP 2023067708A JP 2022067338 A JP2022067338 A JP 2022067338A JP 2022067338 A JP2022067338 A JP 2022067338A JP 2023067708 A JP2023067708 A JP 2023067708A
Authority
JP
Japan
Prior art keywords
participant
avatar
participants
terminal
control data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022067338A
Other languages
English (en)
Inventor
進之介 岩城
Shinnosuke Iwaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Virtual Cast Inc
Original Assignee
Virtual Cast Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtual Cast Inc filed Critical Virtual Cast Inc
Priority to JP2022067338A priority Critical patent/JP2023067708A/ja
Publication of JP2023067708A publication Critical patent/JP2023067708A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供する。【解決手段】参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末10である。端末10は、参加者の音声を収集する収集部11と、参加者のアバターを制御するための制御データを生成する制御部13と、参加者の状態を判定する判定部14と、参加者の音声データ、制御データ、および判定結果を送信する送信部15と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部16と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部17と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部18を備える。【選択図】図2

Description

本発明は、端末、情報処理方法、プログラム、および記録媒体に関する。
近年、各自の端末を利用したリモート会議が盛んに行われている。リモート会議では、パーソナルコンピュータにカメラとマイクを接続し、参加者の映像と音声をネットワークを介して送信する。インカメラを備えるスマートフォンなどの携帯端末を利用することもある。
特開2014-225801号公報
カメラで参加者を撮影した映像を並べて表示する従来のリモート会議システムでは、多数の参加者が自分の方向を向いているため圧迫感を感じるという課題があった。また、参加者自身の姿を映して会議に参加することもストレスになっていると思われる。
カメラをオフにして、撮影した映像の代わりに参加者を表すアイコンを表示することにより、見られているというストレスは軽減されるが、他の参加者からの反応が乏しく、発言者は手ごたえを感じにくいという課題があった。
特許文献1に記載の会議システムは、会議参加者を仮想的なアバターで表現している。特許文献1では、カメラを通じて取得した参加者の行動に基づき、会議への積極的な態度を示す指標である積極度を判定し、積極度を各参加者のアバターに反映している。特許文献1では、参加者自身の姿の代わりにアバターが表示されるので見られているというストレスは軽減される。しかしながら、参加者ごとに積極度が判定されてアバターに反映されるので、カメラの前で積極的な態度を取らなければならないというストレスが生じてしまうおそれがある。
本発明は、上記に鑑みてなされたものであり、リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供することを目的とする。
本発明の一態様の端末は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、前記参加者の音声を収集する収集部と、前記参加者のアバターを制御するための制御データを生成する制御部と、前記参加者の状態を判定する判定部と、前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える。
本発明によれば、リモート会議のストレスを軽減して気軽に参加でき、円滑に進行できる会議システムを提供できる。
図1は、本実施形態の会議システムの全体構成の一例を示す図である。 図2は、本実施形態の会議システムの端末の構成の一例を示す機能ブロック図である。 図3は、端末がデータを送信する処理の流れの一例を示すフローチャートである。 図4は、端末が会議の画面を表示する処理の流れの一例を示すフローチャートである。 図5は、会議の表示画面の一例を示す図である。 図6は、端末が会議の画面を表示する処理の流れの一例を示すフローチャートである。 図7は、会話中のアバターの表示の一例を示す図である。 図8は、会話中のアバターの表示の一例を示す図である。 図9は、会話中のアバターの表示の一例を示す図である。 図10は、会話中のアバターを接近させる処理の流れの一例を示すフローチャートである。 図11は、会話中のアバターを接近させる様子の一例を示す図である。 図12は、アイコンを配置した画面の一例を示す図である。 図13は、参加者がアイコンを選択したときに表示される画面の一例を示す図である。
[実施例1]
以下、本発明の実施の形態について図面を用いて説明する。
図1に示す会議システムは、参加者が端末10を用いて仮想空間内で開催されるリモート会議に参加するシステムである。本会議システムはネットワークを介して通信可能に接続された複数の端末10とサーバ30を備える。図1では、端末10を5台のみ図示しているがこれに限るものではなく、リモート会議に参加できる端末10の台数は任意である。
仮想空間内には、各参加者に対応するアバターが配置される。アバターとは、リモート会議に参加する参加者を表すコンピュータグラフィックスのキャラクタである。参加者は、端末10を用いて、アバターで仮想空間内の会議に参加する。なお、会議には井戸端会議のようなチャットも含む。
端末10は、マイクで参加者の音声を収集し、カメラで参加者を撮影し、参加者のアバターの動きおよび姿勢を制御するための制御データを生成する。端末10は、参加者の音声データと制御データを送信する。端末10は、他の参加者の音声データと制御データを受信し、音声データを出力し、制御データに従って対応するアバターを制御し、仮想空間をレンダリングした映像を表示する。また、端末10は、参加者の状態を判定して判定結果を送信するとともに、他の端末10から他の参加者の状態の判定結果を受信し、参加者の判定結果と他の参加者の判定結果に基づいて会議の表示態様を決定する。
端末10には、カメラとマイクを接続したパーソナルコンピュータを用いてもよいし、インカメラを備えたスマートフォンなどの携帯端末を用いてもよいし、コントローラとヘッドマウントディスプレイ(HMD)を備えた仮想現実(VR)機器を用いてもよい。
サーバ30は、各端末10から制御データ、音声データ、および判定結果を受信して、各端末10へ配信する。
図2を参照し、端末10の構成の一例について説明する。図2に示す端末10は、収集部11、撮影部12、制御部13、判定部14、送信部15、受信部16、表示制御部17、および表示部18を備える。端末10が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは端末10が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に記録することも、ネットワークを通して提供することも可能である。
収集部11は、端末10の備えるマイクまたは端末10に接続されたマイクを用いて参加者の音声を収集する。収集部11は、他の装置で収録された参加者の音声データを受信してもよい。
撮影部12は、端末10の備えるカメラまたは端末10に接続されたカメラを用いて参加者を撮影する。撮影する映像には参加者の顔が映るとよいが、参加者の全身が映ってもよいし、参加者が映らない場合があってもよい。撮影部12は、他の装置で撮影された撮影画像を受信してもよい。
制御部13は、参加者のアバターを制御するための制御データを生成する。制御部13は、参加者の音声または撮影画像の少なくともいずれかに基づいて制御データを生成してもよい。単純な例としては、制御部13は、参加者が話していないときはアバターの口を閉じるように制御データを生成し、参加者が話しているときは発話に応じてアバターの口を動かすように制御データを生成する。制御部13は、撮影画像の参加者の表情に基づいてアバターの動作を決めてもよい。
あるいは、制御部13は、参加者の状態を反映せずに、制御データを生成してもよい。例えば、参加者が会議の画面を見ないで横を向いている場合または参加者がカメラの前からいなくなった場合、制御部13は、参加者の動きを忠実にアバターに反映せずに、頷く、発話者を向くなどの会議において自然な動作をアバターにさせる制御データを生成する。参加者が画面を見て頷く動作をしている場合など、参加者が会議に積極的な態度をとっている場合は、制御部13は、参加者の動きをアバターに反映する制御データを生成してもよい。これにより、参加者がどのような状態であっても、会議において参加者のアバターが反応を示すので発話者は気持ちよく発話できる。
制御部13は、音声とアバターの動きとを学習した機械学習モデルを用い、音声を機械学習モデルに入力してアバターの制御データを生成してもよい。
端末10としてVR機器を利用する場合、制御部13は、コントローラおよびHMDからの入力に基づいてアバターを制御する制御データを生成する。参加者の手振り、頭の動きなどがアバターに反映される。
判定部14は、撮影画像から参加者の状態を判定する。具体的には、判定部14は、撮影画像から参加者が会議の画面を見ているか否か、参加者がいるか否かを判定する。判定部14による判定は厳密でなくてよく、例えば、参加者が端末10としてスマートフォンを利用している場合、判定部14は、撮影画像に顔の正面が写っていれば画面を見ていると判定する。また、判定部14は、撮影画像または音声データから参加者が発話中か否かを判定してもよい。
送信部15は、音声データ、制御データ、および判定結果を送信する。判定結果は、判定部14の判定した参加者の状態を示す情報である。例えば、判定結果は、画面を見ている、画面を見ていない、カメラの前にいる、カメラの前にいない、発話中などの状態を含む。判定結果として、画面を見ている時間、カメラの前にいない時間、または発話時間などの時間情報を含めてもよい。送信したデータは、サーバ30を介して、各端末10に配信される。
受信部16は、サーバ30を介して、他の端末10から音声データ、制御データ、および判定結果を受信する。
表示制御部17は、判定部14と他の端末10から受信した判定結果を集計し、集計結果に基づいて会議の表示態様を決定する。表示態様には、例えば、仮想空間をレンダリングする際の視点、画面のコマ割り、オブジェクトの配置、アバターの動きと姿勢、各種エフェクトを含む。以下、集計結果と表示態様の例を挙げる。
画面を見ていない参加者の割合が所定の閾値を超えた場合、表示制御部17は、参加者の注意を引くために、仮想空間をレンダリングするときの視点を発話者のアップを映す視点とする。このとき、表示制御部17は、発話者のアバターに机を叩くなどの大きなアクションをさせてもよいし、発話者の音声の音量を上げてもよい。発話者のアバターに大きなアクションをさせる場合、表示制御部17は、発話者のアバターの制御データを大きなアクションの制御データに差し替える。
画面を見ていない参加者の割合が所定の閾値を超え、発話者がいない場合、表示制御部17は、次の話題への移行または会議の終了を促すために、仮想空間をレンダリングするときの視点を会議の主催者(進行役)のアバターのアップを映す視点とする。
参加者の大半が画面を見ている場合、表示制御部17は、仮想空間をレンダリングする視点を会議室全体を俯瞰する視点として、参加者が熱心に聞いている演出をしてもよい。表示制御部17は、何体かのアバターをランダムに選び、アバターに頷く動作をさせてもよい。アバターに頷く動作をさせる場合、表示制御部17は、対象のアバターの制御データを頷く動作の制御データに差し替える。
このように、参加者の状態を集計し、集計結果に基づいて会議の表示態様を決定することで、会議を円滑に進行できる。
表示部18は、受信した音声データを再生するとともに、表示制御部17の指示に従って、仮想空間内にアバターを含むオブジェクトを配置し、制御データに基づいてアバターの動きおよび姿勢を制御し、仮想空間をレンダリングして会議の映像を生成する。例えば、表示部18は、会議室を構成する床、壁、天井、テーブルなどのオブジェクトを仮想空間内に配置し、所定の位置に参加者のアバターを配置する。オブジェクトのモデルデータおよび配置位置は、端末10の備える記憶装置に記憶しておく。仮想空間を構築するために必要な情報は、会議に参加する際にサーバ30または他の装置から受信してもよい。表示制御部17の指示にオブジェクトの位置の変更、アバターの位置および姿勢の変更が含まれていれば、表示部18は、その指示に従ってオブジェクトの位置、アバターの位置および姿勢を変更する。表示制御部17の指示に視点の指定があれば、表示部18は指定の視点で仮想空間をレンダリングする。
表示部18は、画面上に操作ボタンを配置し、参加者からの操作を受け付けてもよい。例えば操作ボタンが押下されると、操作ボタンに応じた動きを参加者のアバターにさせる制御データが送信される。
なお、端末10の機能の一部をサーバ30が実行してもよい。例えば、サーバ30が表示制御部17の機能を備え、各端末10からの判定結果を集計して表示態様を決定し、表示態様を各端末10へ配信してもよい。サーバ30が制御部13、判定部14、および表示制御部17の機能を備え、各端末10から撮影画像および音声データを受信し、各アバターの制御データを生成し、各参加者の状態を判定し、判定結果を集計して表示態様を決定し、制御データと表示態様を各端末へ配信してもよい。サーバ30が表示部18の機能を備え、仮想空間をレンダリングした映像を端末10へ配信してもよい。
次に、図3および図4のフローチャートを参照し、端末10の処理の流れについて説明する。図3および図4に示す処理は、各端末10において随時実行される。
図3は、端末10がデータを送信する処理の流れの一例を示すフローチャートである。
ステップS11にて、収集部11が参加者の音声を収集し、撮影部12が参加者を撮影する。
ステップS12にて、制御部13が参加者のアバターを制御するための制御データを生成する。
ステップS13にて、判定部14が撮影画像または音声から参加者の状態を判定する。
ステップS14にて、送信部15は、音声データ、制御データ、および判定結果を送信する。送信したデータは、サーバ30を介して各端末10に配信される。
図4は、端末10が会議の画面を表示する処理の流れの一例を示すフローチャートである。
ステップS21にて、受信部16は、サーバ30から、他の端末10の送信したデータを受信する。受信するデータは、例えば、音声データ、制御データ、および判定結果である。
ステップS22にて、表示制御部17は、受信した判定結果を集計する。
ステップS23にて、表示制御部17は、集計結果に基づき、会議の表示態様を決定する。
ステップS24にて、表示部18は、音声データを再生するとともに、制御データに従ってアバターを制御し、表示態様に従って会議の画面を表示する。
図5は、会議の表示画面の一例を示す図である。図5(a)は、発話者のアバターが表示された画面の一例である。図5(b)は、会議室の全体が俯瞰する視点で表示された画面の一例である。図5(c)は、画面がコマ割りされて、各コマに各参加者のアバターが表示された画面の一例である。画面の表示態様は、端末10が参加者の状態の判定結果を集計した集計結果に基づいて決めてもよいし、端末10がランダムで決めてもよい。全ての端末10が同じ表示態様で画面を表示してもよいし、表示しなくてもよい。つまり、各端末10が個別に表示態様を決定してもよいし、いずれかの端末10が決定した表示態様を各端末10へ配信し、各端末10の表示態様を同じにしてもよい。
[実施例2]
実施例2では、参加者の状態の判定結果と過去のカット割りを参考にして会議の表示態様を決定する。実施例2の会議システムの全体構成および端末10の構成は基本的に実施例1と同様である。実施例2では、判定部14は参加者が会話中であるか否かを判定し、表示制御部17は判定結果に基づいて会話中の参加者を特定し、過去のカット割りに基づいて会話中の参加者のアバターのカット割りを決定する。実施例2では、端末10は撮影部12を備えなくてもよい。
図6のフローチャートを参照し、実施例2の端末10が会議の画面を表示する処理について説明する。なお、端末10がデータを送信する処理は実施例1と同様である。
ステップS31にて、受信部16は、サーバ30から、他の端末10の送信したデータを受信する。
ステップS32にて、表示制御部17は、受信した判定結果に基づいて会話中の参加者を特定する。例えば、ある参加者Aの発話が終了後、所定の時間内に別の参加者Bが発話し始めた場合、参加者A,Bは会話中であると判定する。
ステップS33にて、表示制御部17は、過去のカット割りに基づいて会議の表示態様を決定する。過去のカット割りに基づく処理の具体例は後述する。
ステップS34にて、表示部18は、音声データを再生するとともに、制御データに従ってアバターを制御し、表示態様に従って会議の画面を表示する。
ここで過去のカット割りに基づく処理の一例について説明する。図7に示すように、過去に、参加者AのアバターAが画面の右を向いたカット割りでアバターAを表示していたとする。表示制御部17は、過去に会話中の参加者のアバターを表示してしたカット割りを記憶しておく。参加者Aが会話中の発話者である場合、表示制御部17は、過去のカット割りと同様に、表示態様をアバターAが画面の右を向くカット割りとする。会話の相手が参加者Bである場合、表示制御部17は、参加者BのアバターBを表示する際には、アバターAとアバターBが向き合うように、図8に示すように、アバターBが画面の左を向くカット割りとする。以降、参加者Bが発話するとき、表示制御部17は、アバターBを画面の左を向くようにする。表示制御部17はアバターの姿勢を制御してもよい。
もし、過去にアバターAとアバターBのいずれも右向きのカット割りで表示されていた場合、表示制御部17は、例えば図9に示すように、アバターAとアバターBの両方が映り、アバターAが右を向き、アバターBが左を向く画面を表示させる。その後、参加者Aと参加者Bが会話するときは、表示制御部17は、アバターAは右向き、アバターBは左向きのカット割りにする。これにより、参加者は誰と誰が会話しているのかを自然に把握できる。表示制御部17は、過去のカット割りに基づき、会話中の参加者を自然に把握できるような表示態様を決定する。
参加者の何人かで会話が行われている場合、表示制御部17は、会話中のアバターを特定し、会話中のアバターが1画面内に収まるように視点を決めてもよい。表示制御部17は、会話中のアバターが近くになるように、アバターの位置を仮想空間内で移動させてもよい。あるいは、表示制御部17は、画面を複数領域に分割し、領域のそれぞれに会話中のアバターを表示させてもよい。
表示制御部17は、端末10を使用する参加者の役割(発話者、進行役など)に応じて、画面の構成を他の参加者と異ならせてもよい。例えば、進行役の画面はコマ割りされて、発話者と画面を集中して見ている参加者が表示される。進行役は、画面を見て、画面を集中して見ている参加者に発言の機会を与えることができる。
[変形例]
次に、会話中のアバターを接近させる処理について説明する。
図10のフローチャートを参照し、会話中のアバターを接近させる処理の流れについて説明する。図10の処理は、2人以上で会話中に、会話中の参加者の各端末10において随時実行される。
ステップS41にて、端末10は、端末10を操作する参加者のアバターと会話相手のアバターとが離れた位置にいるか否か判定する。例えば、会話中のアバターが仮想空間内で所定の距離離れている場合に離れた位置にいると判定する。あるいは、会話中のアバターの間に別のアバターが存在する場合に離れた位置にいると判定してもよい。会話中のアバターの位置が離れていない場合は処理を終了する。
会話中のアバターの位置が離れている場合、ステップS42にて、端末10は、端末10自身の種別に基づき、参加者がアバターを自由に移動させることができるか否かを判定する。例えば、端末10としてVR機器を用いている参加者はアバターを自由に移動させることができるが、端末10としてスマートフォンを用いている参加者はアバターを自由に移動させにくい。アバターを自由に移動させることができる端末10は処理を終了する。会話中の参加者の端末10の種別を比較し、端末10が自由にアバターを移動させにくいか否か判定してもよい。例えば、パーソナルコンピュータを端末10として用いている参加者とスマートフォンを端末10として用いている参加者とが会話中の場合、パーソナルコンピュータにはキーボードおよびマウスが接続されているので移動がスマートフォンより容易であるため、スマートフォンを用いている参加者のアバターが自由に移動させにくいと判定してもよい。
アバターを自由に移動させにくい場合、ステップS43にて、端末10は、端末10を操作する参加者のアバターの位置を会話相手の近くに移動する。
図11の例では、端末10としてVR機器(以下端末10Aとする)を用いている参加者のアバターAと端末10としてスマートフォン(以下端末10Bとする)を用いている参加者のアバターBで会話している。この場合、端末10Aは、ステップS32にて、アバターAは自由に移動できると判定し、端末10Bは、ステップS32にて、アバターBは自由に移動しにくいと判定する。端末10Bは、ステップS33にて、アバターBの位置をアバターAの近くに移動する。アバターBが瞬間移動する際、端末10Bは、アバターBの移動前の位置と移動後の位置にワープエフェクト(例えばキラキラなど)を出現させて、アバターBが瞬間移動したことを表現し、端末10Aは、画面を一瞬暗転させて、カット割りを切り替える。
次に、参加者による端末10を介したアバターの操作について説明する。
図12に示すように、端末10は、画面100内に、アイコン110を配置し、参加者からの操作を受け付けてもよい。各アイコン110には、アバターにさせたいアクションの図柄が描画されている。参加者がアイコン110にタッチすると、端末10は、アイコン110に対応する動作の制御データを生成して送信する。制御データは、アバターの動作だけでなく、背景、エフェクト、および視点などを含んでもよい。
制御データを受信した端末10は、制御データに従って対応するアバターを制御する。制御データが背景、エフェクト、および視点を含む場合、端末は、制御データの指示に従って背景とエフェクトを配置し、仮想空間内の視点を設定する。例えば、図9は、意見がある参加者がアバターに手を挙げさせる動作を示すアイコンを選択したときの画面100の例である。図13の例では、アバターが手を挙げる動作し、そのアバターを正面から見る視点が設定され、アバターの頭上に「!」のエフェクトを表示している。
以上説明したように、本実施形態の端末10は、参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であり、参加者の音声を収集する収集部11と、参加者のアバターを制御するための制御データを生成する制御部13と、参加者の状態を判定する判定部14と、参加者の音声データ、制御データ、および判定結果を送信する送信部15と、他の参加者の音声データ、制御データ、および判定結果を受信する受信部16と、参加者と他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部17と、音声データを再生し、制御データに基づいてアバターを制御し、表示態様に従って会議の画面を表示する表示部18を備える。これにより、参加者はアバターで仮想空間内の会議に参加できるので、見られているというストレスを軽減でき、参加者の状態を集計して会議の表示態様を決めることで、会議全体の雰囲気を会議の表示に反映できる。
10 端末
11 収集部
12 撮影部
13 制御部
14 判定部
15 送信部
16 受信部
17 表示制御部
18 表示部
30 サーバ

Claims (8)

  1. 参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末であって、
    前記参加者の音声を収集する収集部と、
    前記参加者のアバターを制御するための制御データを生成する制御部と、
    前記参加者の状態を判定する判定部と、
    前記参加者の音声データ、制御データ、および判定結果を送信する送信部と、
    他の参加者の音声データ、制御データ、および判定結果を受信する受信部と、
    前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する表示制御部と、
    前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する表示部を備える
    端末。
  2. 請求項1に記載の端末であって、
    前記参加者を撮影した撮影画像を得る撮影部を備え、
    前記判定部は、前記撮影画像から前記参加者が画面を見ているか否かを判定し、
    前記表示制御部は、前記判定結果を集計し、集計結果に基づいて会議の表示態様を決定する
    端末。
  3. 請求項2に記載の端末であって、
    前記表示制御部は、前記集計結果に基づき、前記仮想空間内をレンダリングする視点または前記画面のコマ割りを決定する
    端末。
  4. 請求項1に記載の端末であって、
    前記表示制御部は、アバターを表示した過去のカット割りを記憶しておき、前記判定結果に基づいて会話中の参加者を特定し、前記過去のカット割りに基づいて前記会話中の参加者のアバターのカット割りを決定する
    端末。
  5. 請求項1ないし4のいずれかに記載の端末であって、
    前記参加者が他の参加者と会話中の場合、当該端末の種別に応じて前記参加者のアバターの位置を他の参加者のアバターの近くに移動する
    端末。
  6. 参加者のアバターが配置される仮想空間内で行われる会議に参加するための情報処理方法であって、
    コンピュータが、
    前記参加者の音声を収集し、
    前記参加者のアバターを制御するための制御データを生成し、
    前記参加者の状態を判定し、
    前記参加者の音声データ、制御データ、および判定結果を送信し、
    他の参加者の音声データ、制御データ、および判定結果を受信し、
    前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定し、
    前記音声データを再生し、前記制御データに基づいて前記アバターを制御し、前記表示態様に従って前記会議の画面を表示する
    情報処理方法。
  7. コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムであって、
    前記参加者の音声を収集する処理と、
    前記参加者のアバターを制御するための制御データを生成する処理と、
    前記参加者の状態を判定する処理と、
    前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
    他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
    前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
    コンピュータに実行させるプログラム。
  8. コンピュータを参加者のアバターが配置される仮想空間内で行われる会議に参加するための端末として動作させるプログラムを記録した記録媒体であって、
    前記参加者の音声を収集する処理と、
    前記参加者のアバターを制御するための制御データを生成する処理と、
    前記参加者の状態を判定する処理と、
    前記参加者の音声データ、制御データ、および判定結果を送信する処理と、
    他の参加者の音声データ、制御データ、および判定結果を受信する処理と、
    前記参加者と前記他の参加者の判定結果に基づいて会議の表示態様を決定する処理を
    コンピュータに実行させるプログラムを記録した記録媒体。
JP2022067338A 2021-11-01 2022-04-15 端末、情報処理方法、プログラム、および記録媒体 Pending JP2023067708A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022067338A JP2023067708A (ja) 2021-11-01 2022-04-15 端末、情報処理方法、プログラム、および記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021178513A JP7062126B1 (ja) 2021-11-01 2021-11-01 端末、情報処理方法、プログラム、および記録媒体
JP2022067338A JP2023067708A (ja) 2021-11-01 2022-04-15 端末、情報処理方法、プログラム、および記録媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021178513A Division JP7062126B1 (ja) 2021-11-01 2021-11-01 端末、情報処理方法、プログラム、および記録媒体

Publications (1)

Publication Number Publication Date
JP2023067708A true JP2023067708A (ja) 2023-05-16

Family

ID=81452694

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021178513A Active JP7062126B1 (ja) 2021-11-01 2021-11-01 端末、情報処理方法、プログラム、および記録媒体
JP2022067338A Pending JP2023067708A (ja) 2021-11-01 2022-04-15 端末、情報処理方法、プログラム、および記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021178513A Active JP7062126B1 (ja) 2021-11-01 2021-11-01 端末、情報処理方法、プログラム、および記録媒体

Country Status (3)

Country Link
JP (2) JP7062126B1 (ja)
CN (1) CN118104227A (ja)
WO (1) WO2023074898A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5208810B2 (ja) 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP5316286B2 (ja) 2009-07-28 2013-10-16 株式会社リコー ビデオ会議システム,サーバ装置,及びビデオ会議プログラム
JP2012114511A (ja) 2010-11-19 2012-06-14 Konica Minolta Business Technologies Inc 会議システム
EP2642752A1 (en) 2012-03-23 2013-09-25 Alcatel Lucent Method, server, and terminal for conducting a video conference
JP2014225801A (ja) 2013-05-16 2014-12-04 株式会社ニコン 会議システム、会議方法およびプログラム
CN113508423A (zh) 2019-04-01 2021-10-15 住友电气工业株式会社 交流支持系统、交流支持方法以及图像控制程序
JP6695482B1 (ja) 2019-06-27 2020-05-20 株式会社ドワンゴ 制御サーバ、配信システム、制御方法及びプログラム

Also Published As

Publication number Publication date
JP7062126B1 (ja) 2022-05-02
JP2023067360A (ja) 2023-05-16
WO2023074898A1 (ja) 2023-05-04
CN118104227A (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US11100694B2 (en) Virtual reality presentation of eye movement and eye contact
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
JPH07255044A (ja) アニメーション式電子会議室及びビデオ会議システム及びビデオ会議方法
CN111064919A (zh) 一种vr远程会议方法及装置
KR20150040981A (ko) 조직화 모델들을 구현하는 화상 회의 시스템들
WO2022252866A1 (zh) 一种互动处理方法、装置、终端及介质
EP4054180A1 (en) Integrated input/output (i/o) for a three-dimensional (3d) environment
CN112839196B (zh) 一种实现在线会议的方法、装置以及存储介质
JP2023524119A (ja) 顔イメージ生成方法、装置、電子機器及び可読記憶媒体
Garau Selective fidelity: Investigating priorities for the creation of expressive avatars
CN114984585A (zh) 一种生成游戏角色的实时表情图片的方法
WO2018158852A1 (ja) 通話システム及びコミュニケーションシステム
CN114615455A (zh) 远程会议的处理方法、装置、会议系统和存储介质
JP3452348B2 (ja) 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体
WO2023074898A1 (ja) 端末、情報処理方法、プログラム、および記録媒体
WO2022137547A1 (ja) コミュニケーション支援システム
KR102430547B1 (ko) 게임 플레이 콘텐츠 제작 장치
JP7286303B2 (ja) 会議支援システム及び会議用ロボット
US20100073399A1 (en) Methods and devices for controlling a presentation of an object
JP7178015B2 (ja) オンライン会議システム
JP7329209B1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
WO2024009653A1 (ja) 情報処理装置、情報処理方法、及び情報処理システム
WO2024062779A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20231013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20231013