JP2023082119A - バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2023082119A
JP2023082119A JP2023055900A JP2023055900A JP2023082119A JP 2023082119 A JP2023082119 A JP 2023082119A JP 2023055900 A JP2023055900 A JP 2023055900A JP 2023055900 A JP2023055900 A JP 2023055900A JP 2023082119 A JP2023082119 A JP 2023082119A
Authority
JP
Japan
Prior art keywords
data
virtual scene
virtual
participant
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023055900A
Other languages
English (en)
Inventor
志強 舒
Zhiqiang Shu
明路 李
Minglu Li
健 孫
Ken Son
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2023082119A publication Critical patent/JP2023082119A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】クラウドコンピューティング、メタバース及びメディアクラウドのシーンに適用され、ユーザのバーチャル環境に対する関与の体験を向上させ、ユーザがバーチャル環境により没入型のデータインタラクションを行うことができるバーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。【解決手段】方法200は、第1の対象に対するバーチャルシーンアクセス要求命令を応答して、第1の対象の基礎データを取得しS210、基礎データに基づいて、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得しS220、第1の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送するS230。【選択図】図2

Description

本開示は、人工知能技術分野に関し、特に、コンピュータビジョン、音声認識、バーチャル現実の技術分野に関し、クラウドコンピューティング、メタバース及びメディアクラウドのシーンに適用される。具体的に、バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラムに関する。
コンピュータ技術及びインターネット技術の発展に伴い、数多くのスマート製品は、ユーザの使用体験を向上させるように、バーチャル環境によりデータインタラクションを行う機能を提供する。
本開示は、バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラムを提供する。
本開示の一態様によれば、バーチャルシーン情報インタラクション方法を提供し、該バーチャルシーン情報インタラクション方法は、第1の対象に対するバーチャルシーンアクセス要求命令を応答して、第1の対象の基礎データを取得することと、基礎データに基づいて、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得することと、第1の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送することとを含む。
本開示の別の一態様によれば、バーチャルシーン情報インタラクション装置を提供し、該バーチャルシーン情報インタラクション装置は、第1の対象に対するバーチャルシーンアクセス要求命令を応答して、第1の対象の基礎データを取得する基礎データ取得モジュールと、基礎データに基づいて、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得するターゲット関与対象特定モジュールと、第1の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送するターゲット内容放送モジュールとを含む。
本開示の別の一態様によれば、電子機器を提供し、該電子機器は、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに通信接続されたメモリと備え、前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも1つのプロセッサが本開示の実施例の方法を実行することができるように、前記少なくとも1つのプロセッサにより実行される。
本開示の別の一態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令が前記コンピュータに本開示の実施例の方法を実行させる。
本開示の別の一態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサにより実行される時に本開示の実施例の方法を実現する。
本開示のバーチャルシーン情報インタラクション方法は、少なくとも以下の技術効果の1つを実現できる。
1)バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得することによって、バーチャルキャラクターを第1の対象のバーチャル環境における存在形態とすることができ、ユーザのバーチャル環境に対する関与の体験を向上させ、ユーザはバーチャル環境により没入型のデータインタラクションを行うことができる。
2)バーチャルシーンにおいてターゲット内容を放送することによって、バーチャルシーンにおいてターゲット内容を放送してデータインタラクションを行う需要を満たし、バーチャルシーンに基づくデータインタラクションの適用カバー範囲を拡張し、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させることができ、情報インタラクションの効率がより高いである。
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。
図1Aは、本開示の一実施例に係るバーチャルシーン情報インタラクション方法及び装置のシステムアーキテクチャを示す模式図である。 図1Bは、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法及び装置のシステムアーキテクチャを示す模式図である。 図2は、本開示の実施例に係るバーチャルシーン情報インタラクション方法を模式的に示すフローチャートである。 図3は、本開示の実施例に係るバーチャルシーン情報インタラクション方法を模式的に示す模式図である。 図4は、本開示の一実施例に係るバーチャルシーンにおいてターゲット内容を放送することを模式的に示す模式図である。 図5は、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法を模式的に示す模式図である。 図6は、本開示の一実施例に係るバーチャルシーン情報インタラクション方法をバーチャル会議シーンに適用することに対応するシステムアーキテクチャを示す模式図である。 図7は、本開示の実施例に係るバーチャルシーン情報インタラクション装置を模式的に示すブロック図である。 図8は、本開示の実施例に係るバーチャルシーン情報インタラクション方法を実現できる電子機器を模式的に示すブロック図である。
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
ここで使用される用語は、具体的な実施例を説明するためだけであり、本開示を限定することを意図するものではない。ここで使用される「含む」、「包含」等の用語は、前記特徴、操作、操作及び/又は部品の存在を示しているが、1つ又は複数の他の特徴、操作、操作又は部品が存在するか又は追加されることを排除するものではない。
ここで使用される全ての用語(技術的及び科学的用語を含む)は、特に定義されない限り、当業者に通常理解される意味を有する。注意されるべきこととして、ここで使用される用語は、理想的又は硬すぎる方式で解釈されるべきではなく、本明細書のコンテキストと一致する意味を有すると解釈されるべきである。
「A、B及びCなどのうちの少なくとも1つ」という表現と類似する表現が用いられる場合、一般的に、当業者の通常の該表現の意味に対する理解に従い解釈されるべきである(例えば、「A、B及びCのうちの少なくとも1つを有するシステム」は、Aを単独で有し、Bを単独で有し、Cを単独で有し、AとBを有し、AとCを有し、BとCを有し、及び/又はA、B、Cを有するシステムなどを含むべきであり、それらに限らない)。
コンピュータ技術及びインターネット技術の発展に伴い、数多くのスマート製品は、ユーザの使用体験を向上させるように、バーチャル環境によりデータインタラクションを行う機能を提供する。
理解されるべきこととして、バーチャル環境に基づいてデータインタラクションを行うことは、物理空間の制限を突破でき、ユーザが物理空間に制限されてもデータインタラクションの需要を有する場合に適用される。
例えば、バーチャル会議アプリケーションによりデータインタラクションを行ってもよく、幾つかの実施例において、バーチャル会議アプリケーションは、音声インタラクション及びビデオインタラクションをサポートする。
図1Aは、本開示の一実施例に係るバーチャルシーン情報インタラクション方法及び装置のシステムアーキテクチャを模式的に示している。図1Bは、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法及び装置のシステムアーキテクチャを模式的に示している。留意されるべきこととして、図1A及び図1Bに示すのは、本開示の実施例のシステムアーキテクチャを適用できる例示に過ぎず、当業者が本開示の技術内容を理解することに役立つが、本開示の実施例は、別の装置、システム、環境又はシーンに適用できないことを意味するものではない。
図1Aに示すように、該実施例に係るシステムアーキテクチャ100Aは、クライアント側101A、102A、103Aと、ネットワーク104Aと、サーバ105Aとを含んでもよい。ネットワーク104Aは、クライアント側101A、102A、103Aとサーバ105Aとの間に通信リンクの媒体を提供する。ネットワーク104Aは、例えば、有線、無線通信リンク又は光ファイバケーブルなどの様々な接続タイプを含んでもよい。
ユーザは、クライアント側101A、102A、103Aを使用して、ネットワーク104Aを介してサーバ105Aとインタラクションすることにより、メッセージ等を受信又は送信してもよい。クライアント側101A、102A、103Aには、例えば、バーチャル環境に基づくデータインタラクションのアプリケーション、ショーピング系アプリケーション、ウェブブラウザーアプリケーション、検索系アプリケーション、リアルタイム通信ツール、メールボックスクライアント、ソーシャルプラットフォームソフトウェア(例に過ぎない)などの各種の通信クライアント側アプリケーションが実装されてもよい。
クライアント側101A、102A、103Aは、表示スクリーンを備え、ウェブブラウシングをサポートする様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、それらに限定されない。本開示の実施例のクライアント側101A、102A、103Aは、例えば、アプリケーションプログラムを実行してもよい。
サーバ105Aは、様々なサービスを提供する様々なタイプのサーバであってもよく、例えば、ユーザがクライアント側101A、102A、103Aを用いてブラウシングされたサイトをサポートするバックグラウンド管理サーバ(例に過ぎない)である。バックグラウンド管理サーバは、受信されたユーザ要求等のデータを解析する等の処理を行い、処理結果(例えば、ユーザの要求に応じて取得又は生成されたウェブページ、情報、又はデータ等)をクライアント側にフィードバックしてもよい。また、サーバ105Aは、クラウドサーバであってよく、即ち、サーバ105Aは、クラウドコンピューティング機能を有するものである。
説明すべきこととして、本開示の実施例が提供するバーチャルシーン情報インタラクション方法は、サーバ105Aにより実行されてもよい。それに対して、本開示の実施例が提供するバーチャルシーン情報インタラクション装置は、サーバ105Aに設置されてもよい。本開示の実施例が提供するバーチャルシーン情報インタラクション方法は、サーバ105Aと異なり、クライアント側101A、102A、103A及び/又はサーバ105Aと通信可能なサーバ又はサーバクラスタにより実行されてもよい。それに対して、本開示の実施例が提供するバーチャルシーン情報インタラクション装置は、サーバ105Aと異なり、クライアント側101A、102A、103A及び/又はサーバ105Aと通信可能なサーバ又はサーバクラスタに設置されてもよい。
一例において、サーバ105Aは、ネットワーク104Aを介して、クライアント側101A、102A、103Aからのバーチャルシーンアクセス要求命令、ターゲット内容放送命令、位置調整命令、キャラクター調整操作命令のうちの少なくとも1つを取得する。
図1Bに示すように、本開示の別の一実施例に係るシステムアーキテクチャ100Bは、クライアント側101B、102B、103Bと、ネットワーク104Bと、シグナリングサーバ105Bと、第1のメディアサーバ106Bと、第2のメディアサーバ107Bと、ユーザ管理サーバ108Bとを含んでもよい。
システムアーキテクチャ100Aと異なり、本開示の実施例のシステムアーキテクチャ100Bは、シグナリングサーバ105Bが各クライアント側の間の通信を調和し、第1のメディアサーバ106Bが各クライアント側のユーザのメディアストリームを処理し、第2のメディアサーバ107Bが放送のためのメディアファイルを記憶及び処理してもよく、ユーザ管理サーバ108Bが各クライアント側のユーザデータを管理する。
理解されるべきこととして、図1Aと図1Bにおけるクライアント側、ネットワーク及びサーバの数は例に過ぎない。実際の需要に応じて、任意の数のクライアント側、ネットワーク及びサーバを備えてもよい。
留意されるべきこととして、本開示の発明において、係るユーザ個人情報の収集、記憶、使用、加工、伝送、提供及び開示等の処理は、いずれも関連する法律・法規の規定に適合し、かつ公序良俗に反するものではない。
本開示の発明において、ユーザの個人情報を取得又は採集する前に、いずれもユーザの授権や同意を得ている。
本開示の実施例は、バーチャルシーン情報インタラクション方法を提供する。以下、図1A及び図1Bのシステムアーキテクチャと組み合わせ、図2~図6を参照して本開示の例示的な実施例のバーチャルシーン情報インタラクション方法を説明する。本開示の実施例のバーチャルシーン情報インタラクション方法は、例えば、図1Aに示すサーバ105Aにより実行される。
図2は、本開示の一実施例に係るバーチャルシーン情報インタラクション方法を模式的に示すフローチャートである。
図2に示すように、本開示の実施例のバーチャルシーン情報インタラクション方法200は、例えば、操作S210~S230を含む。
操作S210において、第1の対象に対するバーチャルシーンアクセス要求命令を応答して、第1の対象の基礎データを取得する。
バーチャルシーンは、あるシーンのバーチャル現実に理解されてもよい。バーチャル現実、即ちコンピュータを用いるシミュレーションバーチャルシーンの生成は、ユーザにシーンの没入感を与えることができる。
基礎データは、バーチャルシーンにアクセスするのに必要のデータと、バーチャルシーンの機能に関連する他のデータとを含んでもよい。例えば、バーチャルシーンにアクセスするのに必要のデータは、バーチャルシーンの標識データと、第1の対象の標識データとを含んでもよい。バーチャルシーンがバーチャルキャラクターを表示する機能を有する場合、基礎データは、バーチャルキャラクターデータを含んでもよく、バーチャルキャラクターデータは、バーチャルシーンにおいてバーチャルキャラクターを作成してもよい。
操作S220において、基礎データに基づいて、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得する。
ターゲット関与対象は、バーチャル環境に関与する、バーチャルキャラクターでマッピングする第1の対象に理解されてもよい。
操作S230において、第1の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送する。
バーチャルシーンに基づいてデータインタラクションを行う時に、ある幾つかのターゲット内容にさらに係わるというような場合が存在する。例えば、バーチャルシーンは、バーチャル会議のシーンであり、あるバーチャル会議の目的は、ある製品を該バーチャル会議に関与する関与対象へ展示することであり、具体的な展示形態は、該製品の宣伝ビデオを放送することであり、ここでの宣伝ビデオは、ターゲット内容である。
本開示の実施例のバーチャルシーン情報インタラクション方法は、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得することによって、バーチャルキャラクターを第1の対象のバーチャル環境における存在形態とすることができ、ユーザのバーチャル環境に対する関与の体験を向上させ、ユーザはバーチャル環境により没入型のデータインタラクションを行うことができる。本開示の実施例のバーチャルシーン情報インタラクション方法は、バーチャルシーンにおいてターゲット内容を放送することによって、バーチャルシーンにおいてターゲット内容を放送してデータインタラクションを行う需要を満たし、バーチャルシーンに基づくデータインタラクションの適用カバー範囲を拡張し、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させることができ、情報インタラクションの効率がより高いである。
図3は、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法300を模式的に示す模式図である。
図3に示すように、本開示の実施例に係るバーチャルシーン情報インタラクション方法300は、操作S310~操作S330を含んでもよい。
操作S310において、第1の対象に対するバーチャルシーンアクセス要求命令を応答して、第1の対象の基礎データを取得する。例えば、クライアント側C3では、第1の対象のバーチャルシーンアクセス要求命令を生成してもよい。
操作S320において、基礎データに基づいて、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得する。
操作S330において、第1の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送する。例えば、クライアント側C3では、第1の対象のターゲット内容放送命令を生成してもよい。
図3は、操作S310~操作S330の実行主体がサーバ側S3であることを模式的に示す例である。
図4は、本開示の別の一実施例に係るバーチャルシーン情報インタラクション方法におけるバーチャルシーンにおいてターゲット内容を放送することを模式的に示す模式図である。
本開示の別の一実施例によれば、以下の実施例を用いてバーチャルシーン情報インタラクション方法における第1の対象からのターゲット内容放送命令を応答してバーチャルシーンにおいてターゲット内容を放送する具体的な例を実現することができる。バーチャルシーンはバーチャルシーンデータに応じて生成されてもよい。バーチャルシーンデータはバーチャル放送機器データを含んでもよい。
図4に示すように、操作S431において、第1の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得する。例えば、クライアント側C4では、第1の対象のターゲット内容放送命令を生成してもよい。
ターゲット内容データは、サーバ側S42に位置されてもよく、サーバ側S42は、例えば、上記の第2のメディアサーバ107Bを含んでもよい。
図4に示すように、第1の対象からのターゲット内容放送命令を応答して、ターゲット内容を取得する前に、サーバ側S42では、ターゲット内容データを特定してもよい。
操作S432において、バーチャル放送機器によりターゲット内容を放送する。
バーチャル放送機器は、バーチャル放送機器データに基づいて生成され、ターゲット内容は、ターゲット内容データに基づいて生成される。
例示的に、バーチャル放送機器は、ビデオ放送機器、音声放送機器、テキスト放送機器の少なくとも1つを含んでもよい。例えば、バーチャル放送機器は、バーチャル投影機器、バーチャル表示スクリーンなどであってもよい。
本開示の実施例のバーチャルシーン情報インタラクション方法はによれば、ターゲット内容データを取得し、バーチャル放送機器を用いてターゲット内容を放送することによって、実際のシーンにおいて放送機器を用いてターゲット内容を放送することをシミュレーションすることができ、バーチャルシーンにおいてターゲット内容を放送してデータインタラクションを行う需要を満たし、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させ、情報インタラクションの効率を向上させる。例えば、ターゲット内容は、ある製品の発表会ライブ中継ビデオを含んでもよく、バーチャル会議をアクセスし、バーチャル会議においてバーチャル表示スクリーンを用いて発表会ライブ中継ビデオを放送することによって、バーチャル会議の関与対象が集結し、発表会ライブ中継ビデオを同期に見ることが可能であり、例えば、発表会ライブ中継ビデオについて検討し、会議の効率を向上させる。
例示的に、本開示の別の一実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。また、バーチャルシーンは、少なくとも1つの関与対象を含んでもよく、基礎データは、位置データをさらに含んでもよい。
位置データに基づいて、関与対象がバーチャルシーンにおける位置座標を特定する。
バーチャルシーンデータ、及び関与対象のバーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定する。
バーチャルシーンマップデータを関与対象に送信する。
本開示の実施例のバーチャルシーン情報インタラクション方法はによれば、関与対象のバーチャルシーンにおける位置座標により、バーチャルシーンマップデータを特定することができ、関与対象はバーチャル環境において自身の位置を位置づけることができ、さらに、バーチャルシーンマップデータにより他の関与対象の位置を特定するこもでき、使用体験を向上させる。
図5は、本開示の一実施例に係るデータインタラクションを模式的に示す模式図である。
図5は、6つの関与対象を模式的に示しており、関与対象User_A、関与対象User_B、関与対象User_C、関与対象User_D、関与対象User_E、及び関与対象User_Fを含む。ここで、関与対象User_Aの位置座標Pos(Xa,Ya,Za)、関与対象User_Bの位置座標Pos(Xb,Yb,Zb)、関与対象User_Cの位置座標Pos(Xc,Yc,Zc)、関与対象User_Dの位置座標Pos(Xd,Yd,Zd)、関与対象User_Eの位置座標Pos(Xe,Ye,Ze)、関与対象User_Fの位置座標Pos(Xf,Yf,Zf)である。
図5は、さらに、バーチャル放送機器B、会議テーブルD、及びバーチャルシーンマップMaを模式的に示している。
図5の例において、ライブ中継ストリームメディアサービスのインタフェイスを呼び出してよく、バーチャル放送機器Bによりライブ中継ビデオを放送し、この時、ターゲット内容はライブ中継ビデオである。ライブ中継ストリームメディアサービスは、例えば、上記の第2のメディアサーバ107Bにより提供されてもよい。
図5の例において、例えば、関与対象User_Fをターゲット関与対象とすることを例とし、ターゲット関与対象は、リアルタイムストリームメディアサービスにより音声ストリームを配信してもよく、リアルタイムストリームメディアサービスにより音声インタラクション対象の音声ストリームを購読してもよい。リアルタイムストリームメディアサービスは、例えば、上記の第1のメディアサーバ106Bにより提供されてもよい。
図5の例において、リアルタイム通信シグナリングサービスにより関与対象間の通信をサポートしてもよい。リアルタイム通信シグナリングサービスは、例えば、上記のシグナリングサーバ105Bにより提供されてもよい。
例示的に、本開示の別の一実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。
第1の対象に対する位置調整命令を応答して、第1の対象の位置調整データに基づいて、ターゲット関与対象の位置座標を調整し、ターゲット関与対象の調整された位置座標を取得する。
例示的に、クライアント側の表示スクリーンにおいて位置調整トリガーウィンドウを設置してもよく、例えば、クリックトリガーにより第1の対象に対する位置調整命令を生成してもよい。
位置調整データは、調整方向と調整方向に基づく調整ユニットの数とを含んでもよい。
位置更新頻度及び調整された位置座標のうちの少ない1つに基づいて、バーチャルシーンマップデータを更新する。
位置更新頻度は、予め設定された、位置座標を更新する頻度に理解されてもよく、位置更新頻度は、感度に対するバーチャルシーンの要求に応じて特定されてもよい。例えば、感度に対するバーチャルシーンの要求が高い場合に、位置更新頻度は、0.2秒/回であってもよく、感度に対するバーチャルシーンの要求が低い場合に、位置更新頻度は、1秒/回であってもよい。
調整された位置座標に基づいてバーチャルシーンマップデータを更新することは、ターゲット関与対象の位置が調整された後、バーチャルシーンマップデータにおけるターゲット関与対象の位置座標を、調整された位置座標に調整することに理解されてもよい。
本開示の実施例のバーチャルシーン情報インタラクション方法によれば、ターゲット関与対象の位置座標の調整をサポートし、さらに、バーチャルシーンマップデータを更新することにより、バーチャルシーンマップデータがターゲット関与対象の位置調整に適することができる。ターゲット関与対象は、自身の位置及び他の関与対象との相対位置を精確に特定することができ、使用体験を向上させる。
例示的に、本開示の別の一実施例によれば、関与対象は、ターゲット関与対象と、少なくとも1つの参照関与対象とを含んでもよい。バーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。
音声インタラクション範囲閾値、及び関与対象の位置座標に基づいて、ターゲット関与対象の音声インタラクション関与対象を特定する。
例示的に、ターゲット関与対象について、関与対象の位置座標が音声インタラクション範囲閾値以内にある場合に、該関与対象がターゲット関与対象の1つの音声インタラクション関与対象であることを特定してもよい。
音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読する。
ターゲット関与対象は、音声インタラクション関与対象の音声ストリームを購読した後、ターゲット関与対象は、音声インタラクション関与対象が発する音声ストリームを受信してもよい。
理解されるように、実際のシーンにおいて、実際のシーンに関与する複数の関与対象間の距離がある一定の範囲閾値にあれば、関与対象は、お互いに相手の音声を受信することができる。
本開示の実施例のデータインタラクション方法は、音声インタラクション範囲閾値及び関与対象の位置座標により、ターゲット関与対象の音声インタラクション関与対象を特定し、音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読することができ、実際のシーンにおける音声効果をシミュレーションすることができ、ユーザのバーチャルシーンに基づく没入感を向上させる。
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作を含んでもよい。
音声インタラクション関与対象の位置座標が音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定する。
無効音声インタラクション関与対象の音声ストリームの購読を、ターゲット関与対象へキャンセルする。
音声インタラクション関与対象は、位置座標が音声インタラクション範囲閾値以内にある関与対象であり、例えば、関与対象は、位置座標が調整され、調整された位置座標が音声インタラクション範囲閾値を超えて、その時、音声インタラクション関与対象は、ターゲット関与対象がその音声ストリームを購読する条件を満たしてなく、該音声インタラクション関与対象は、無効音声インタラクション関与対象となる。これによって、無効音声インタラクション関与対象の音声ストリームの購読をターゲット関与対象へキャンセルすることができる。ターゲット関与対象は、無効音声インタラクション関与対象の音声ストリームの購読をキャンセルした後、ターゲット関与対象は、無効音声インタラクション関与対象からの音声ストリームを受信しなくなる。
本開示の実施例のデータインタラクション方法は、音声インタラクション範囲閾値及び音声関与対象の位置座標により、ターゲット関与対象の無効音声インタラクション関与対象を動的に特定し、その音声ストリームの購読を適応的にキャンセルし、実際のシーンにおける音声効果をシミュレーションすることができ、ユーザのバーチャルシーンに基づく没入感を向上させる。
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、以下の操作をさらに含んでもよい。
ターゲット関与対象の位置座標、及び音声インタラクション関与対象の位置座標に基づいて、ターゲット関与対象に対する音声インタラクション関与対象の相対位置データを特定する。
相対位置データに基づいて、音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び2チャネル処理のうちの少なくとも1つを行い、音声インタラクション関与対象のターゲット音声ストリームを取得する。
ミキシング処理は、マルチチャネルのオーディオを1つチャネルのオーディオに整合してもよい。例えば、バーチャル環境は、ターゲット関与対象と、複数の音声インタラクション関与対象とを含み、ターゲット関与対象に対して、同じタイミングで各音声インタラクション関与対象の音声ストリームを受信する。また、各音声インタラクション関与対象とターゲット関与対象との間の相対位置も、ターゲット関与対象が音声インタラクション関与対象の音声ストリームを受信する差分を招く。例えば、ターゲット関与対象と音声インタラクション関与対象User_Gとの相対位置が近く、ターゲット関与対象と音声インタラクション関与対象User_Hとの相対位置が遠い場合、ターゲット関与対象の受信した音声インタラクション関与対象User_Gの音声ストリームは、減衰が小さく、ターゲット関与対象の受信した音声インタラクション関与対象User_Hの音声ストリームは、減衰が大きい。
本開示の実施例のバーチャルシーン情報インタラクション方法は、音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び2チャネル処理のうちの少なくとも1つを行うことにより、音声インタラクション関与対象の音声ストリームをより立体的にさせることができ、音声インタラクション関与対象の音声ストリームの音声効果を向上させ、ユーザのバーチャルシーンの没入感の体験感覚を向上させる。
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、第1の対象に対するキャラクター調整操作命令を応答して、第1の対象のバーチャルキャラクターを調整することをさらに含んでもよい。ここで、キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも1つを含む。
例示的に、クライアント側の表示スクリーンにおいてキャラクター調整トリガーウィンドウを設置してもよく、例えば、クリックトリガーにより第1の対象に対するキャラクター調整操作命令を生成してもよい。
本開示の実施例のバーチャルシーン情報インタラクション方法によれば、キャラクター調整の需要を満たすように、第1の対象に対するバーチャルキャラクターを調整することができ、珍しく、面白い使用体験を提供できる。
例示的に、本開示の実施例に係わるバーチャルシーン情報インタラクション方法は、バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも1つを含んでもよい。ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも1つを含んでもよい。
例示的に、バーチャル会議シーンデータに基づいて、バーチャル会議シーンを生成してもよく、バーチャル会議シーンは、例えば、会議テーブル等を含んでもよい。バーチャルショールームシーンデータに基づいて、バーチャルショールームシーンを生成してもよく、バーチャルショールームシーンは、例えば、ショープラットフォームを含んでもよい。バーチャル会館シーンデータに基づいてバーチャル会館シーンを生成してもよく、バーチャル会館シーンは、例えば、会館の会場などを含んでもよい。
本開示の実施例のバーチャルシーン情報インタラクション方法は、該当する種別のバーチャルシーンデータにより、該当する種別のバーチャルシーンを生成し、それにより、各種別のバーチャルシーンをカバーできる。さらに、該当する類別のターゲット内容データにより、各種種別のターゲット内容を放送する需要をカバーでき、ユーザのバーチャルシーンに基づく臨場感及び没入感を向上させる。
図6は、本開示の実施例に係るバーチャルシーン情報インタラクション方法をバーチャル会議シーンに適用する時に対応するシステムアーキテクチャを示す模式図である。以下、図6を参照しながら、システムアーキテクチャの層から本開示の実施例に係るバーチャルシーン情報インタラクション方法を説明する。
図6に示すように、本開示の実施例に係るバーチャルシーン情報インタラクション方法のシステムアーキテクチャは、バーチャル会議シーン業務ロジック層L1と、バーチャルエンジン層L2とを含む。
バーチャルエンジン層L2は、基礎枠組みFrと、バーチャルコアCoと、リアルタイム音声通信モジュールM1と、メディア放送モジュールM2とを含んでもよい。
バーチャルコアは、バーチャルキャラクター作成、バーチャルシーン生成、バーチャルキャラクター表情管理、及びバーチャルキャラクター胴体動作管理などの機能を提供してもよい。バーチャルコアは、特効モジュール、レンダリングモジュール、図形モジュール、入力システム、管理システム、及びオーディオシステムなどを含んでもよい。
例えば、バーチャルコアは、バーチャルキャラクター作成の機能を提供することにより、バーチャルシーンにおいて、第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得してもよい。さらに、バーチャルコアは、バーチャルキャラクター表情管理の機能、及びバーチャルキャラクター胴体動作管理の機能を提供することにより、第1の対象のバーチャルキャラクターを調整してもよい。
リアルタイム音声通信モジュールは、多人の音声通話及び空間音声効果の機能を提供してもよい。リアルタイム音声通信モジュールは、会話管理ユニット、音声採集ユニット、パルスコーディング変調ユニット、音声伝送ユニット、及び空間オーディオミキシングユニットなどを含んでもよい。
例えば、リアルタイム音声通信モジュールは、音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読してもよく、無効音声インタラクション関与対象の音声ストリームの購読をターゲット関与対象へキャンセルしてもよい。
メディア放送モジュールは、バーチャルシーンにおいて、マルチメディアがメディアストリームをライブ中継及びリクエストするプルーストリーム放送機能を提供してもよい。
例えば、メディア放送モジュールは、バーチャルシーンにおいて、ターゲット内容を放送してもよい。
基礎枠組みは、バーチャルエンジン層の業務層開発インタフェイスを提供してもよい。基礎枠組み層は、バーチャルコア、リアルタイム音声通信モジュール、メディア放送インタフェイスをパッケージングし、バーチャルシーンの開発された幾つかの基礎機能を提供する。基礎機能は、例えば、リソース管理機能、メッセージ管理機能、ユーザインタフェイス枠組み、ネットワーク枠組み、及びホットアップデート機能などを含む。
図6の例において、バーチャルシーンは、バーチャル会議シーンであり、システムアーキテクチャの業務ロジック層は、バーチャルエンジンインタフェイスに基づく実現されたバーチャル会議機能の実現であり、主に、シーンマップ機能ユニットU1と、バーチャル人物キャラクター機能ユニットU2と、バーチャル会議シーン機能ユニットU3と、会議制御機能ユニットU4と、メディア放送機能ユニットU5とを含む。
シーンマップ機能ユニットは、バーチャル会議シーンモデル及び関与対象位置に基づいてサムネイルを生成する機能を提供し、関与対象は、例えば、シーンマップにより、所定の会議会館又は他の関与対象を探し出してもよい。
バーチャル人物キャラクター機能ユニットは、バーチャルエンジンに基づいてバーチャルキャラクターを実現する機能を提供し、例えば、髪形、服装、性別、スタイルなどをカスタマイズしてもよい。
バーチャル会議シーン機能ユニットは、バーチャルエンジンに基づいてバーチャル会議シーンを生成する機能を提供する。バーチャル会議シーンは、例えば、円卓会議及び茶席を含んでもよく、マルチメディア会議室を生成してもよい。
会議制御機能ユニットは、会議の制御及び管理ユニットである。会議の制御ユニットは、例えば、ルームの設定、関与対象の出入り管理、メディアの発布/購読、メディア購読のライフ中継/リクエスト、ルームのキャンセルなどの正常な会議通信及び管理機能を提供してもよい。
メディア放送機能ユニットは、マルチメディア会場のストリームメディアのライフ中継・リクエストの放送機能を提供してもよく、会議制御機能ユニットの呼び出しを受信してもよい。
図7は、本開示の一実施例に係るバーチャルシーン情報インタラクション装置を模式的に示すブロック図である。
図7に示すように、本開示の実施例のバーチャルシーン情報インタラクション装置700は、例えば、基礎データ取得モジュール710と、ターゲット関与対象特定モジュール720と、ターゲット内容放送モジュール730とを含む。
基礎データ取得モジュール710は、第1の対象に対するバーチャルシーンアクセス要求命令を応答して、第1の対象の基礎データを取得する。
ターゲット関与対象特定モジュール720は、基礎データに基づいて、バーチャルシーンにおいて第1の対象のバーチャルキャラクターを作成し、第1の対象に対応するターゲット関与対象を取得する。
ターゲット内容放送モジュール730は、第1の対象からのターゲット内容放送命令を応答して、バーチャルシーンにおいてターゲット内容を放送する。
本開示の実施例に係わるバーチャルシーン情報インタラクション装置によれば、そのうち、バーチャルシーンは、バーチャルシーンデータに基づいて生成され、バーチャルシーンデータは、バーチャル放送機器データを含み、ターゲット内容放送モジュールは、ターゲット内容取得サブモジュールと、ターゲット内容放送サブモジュールとを含んでもよい。
ターゲット内容取得サブモジュールは、第1の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得してもよい。
ターゲット内容放送サブモジュールは、バーチャル放送機器データに基づいて生成されたバーチャル放送機器により、前記ターゲット内容データに基づいて生成された前記ターゲット内容を放送する。
本開示の実施例によれば、バーチャルシーンは、少なくとも1つの関与対象を含み、基礎データは、位置データをさらに含み、バーチャルシーン情報インタラクション装置は、位置座標特定モジュールと、バーチャルシーンマップデータ特定モジュールと、バーチャルシーンマップデータ送信モジュールとをさらに含んでもよい。
位置座標特定モジュールは、位置データに基づいて、関与対象のバーチャルシーンにおける位置座標を特定してもよい。
バーチャルシーンマップデータ特定モジュールは、バーチャルシーンデータ、及び関与対象のバーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定してもよい。
バーチャルシーンマップデータ送信モジュールは、バーチャルシーンマップデータを関与対象に送信してもよい。
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、調整位置座標特定モジュールと、バーチャルシーンマップデータ更新モジュールとをさらに含んでもよい。
調整位置座標特定モジュールは、第1の対象に対する位置調整命令を応答して、第1の対象の位置調整データに基づいて、ターゲット関与対象の位置座標を調整し、ターゲット関与対象の調整された位置座標を取得してもよい。
バーチャルシーンマップデータ更新モジュールは、位置更新頻度及び調整された位置座標のうちの少ない1つに基づいて、バーチャルシーンマップデータを更新してもよい。
本開示の実施例によれば、関与対象は、ターゲット関与対象と、少なくとも1つの参照関与対象とを含んでもよく、バーチャルシーン情報インタラクション装置は、音声インタラクション関与対象特定モジュールと、音声ストリーム購読モジュールとをさらに含んでもよい。
音声インタラクション関与対象特定モジュールは、音声インタラクション範囲閾値、及び関与対象の位置座標に基づいて、ターゲット関与対象の音声インタラクション関与対象を特定してもよい。
音声ストリーム購読モジュールは、音声インタラクション関与対象の音声ストリームをターゲット関与対象へ購読してもよい。
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、無効音声インタラクション関与対象特定モジュールと、音声ストリーム購読キャンセルモジュールとをさらに含んでもよい。
無効音声インタラクション関与対象特定モジュールは、音声インタラクション関与対象の位置座標が音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定してもよい。
音声ストリーム購読キャンセルモジュールは、無効音声インタラクション関与対象の音声ストリームの購読を、ターゲット関与対象へキャンセルしてもよい。
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、相対位置データ特定モジュールと、ターゲット音声ストリーム特定モジュールとをさらに含んでもよい。
相対位置データ特定モジュールは、ターゲット関与対象の位置座標、及び音声インタラクション関与対象の位置座標に基づいて、ターゲット関与対象に対する音声インタラクション関与対象の相対位置データを特定してもよい。
ターゲット音声ストリーム特定モジュールは、相対位置データに基づいて、音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び2チャネル処理の少なくとも1つを行って音声インタラクション関与対象のターゲット音声ストリームを取得してもよい。
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、第1の対象に対するキャラクター調整操作命令を応答して、第1の対象のバーチャルキャラクターを調整するバーチャルキャラクター調整モジュールをさらに含んでもよく、ここで、キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも1つを含む。
本開示の実施例のバーチャルシーン情報インタラクション装置によれば、バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも1つを含み、ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも1つを含む。
理解されるべきこととして、本開示の装置の一部の実施例は、本開示の方法の一部の実施例と対応的に同じ又は類似しており、解決する技術課題及び実現する技術効果も対応的に同じ又は類似しており、ここで贅言されない。
本開示の実施例によれば、電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。
図8は、本開示の実施例を実施できる例示的な電子機器800を模式的に示すブロック図である。電子機器は、様々な形態のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータである。電子機器は、さらに様々な形態の移動装置を示してもよく、例えば、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル装置及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定しない。
図8に示すように、電子機器800は、演算ユニット801を含み、演算ユニット801は、リードオンリーメモリ(ROM)802に記憶されたコンピュータプログラム又は記憶ユニット808からランダムアクセスメモリ(RAM)803にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。RAM803には、さらに電子機器800の操作に必要な様々なプログラム及びデータを記憶してもよい。演算ユニット801、ROM802、およびRAM803は、バス804を介して相互に接続される。入出力インタフェース805も、バス804に接続される。
電子機器800における複数の部品は、I/Oインタフェース805に接続され、例えばキーボード、マウス等の入力ユニット806と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット807と、例えば磁気ディスク、光ディスク等の記憶ユニット808と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット809とを含む。通信ユニット809は、電子機器800がインターネット等のコンピュータネットワーク及び/又は各種の電気通信ネットワークを介して他の機器と情報/データをやり取りすることを可能にする。
演算ユニット801は、処理及び演算能力を有する各種の汎用及び/又は専用の処理モジュールであってもよい。演算ユニット801の幾つかの例としては、中央処理装置(CPU)、GPU(GRAPHICS PROCESSING UNIT)、各種専用の人工知能(AI)演算チップ、各種動作機械学習モデルアルゴリズムをランニングする演算ユニット、DSP(DIGITAL SIGNAL PROCESSOR)、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、それらに限定されない。演算ユニット801は、例えばバーチャルシーン情報インタラクション方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、バーチャルシーン情報インタラクション方法は、例えば記憶ユニット808のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ROM802及び/又は通信ユニット809を介して電子機器800にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM803にロードされて演算ユニット801により実行される場合、上記に記載のバーチャルシーン情報インタラクション方法の1つ又は複数の操作を実行してもよい。代替的に、他の実施例において、演算ユニット801は、他の任意の適切な方式(例えば、ファームウェアを介する)によりバーチャルシーン情報インタラクション方法を実行するように構成されてもよい。
本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムにおいて実施され、該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラムマブルプロセッサを含むプログラムマブルシステムで実行され及び/又は解釈されることが可能であり、該プログラムマブルプロセッサは、専用又は汎用のプログラムマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも1つの入力装置、及び該少なくとも1つの出力装置に伝送することができることを含んでもよい。
本開示の方法を実施するためのプログラムコードは、1つ又は複数の言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラムマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び/又はブロック図に規定された機能/操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んでか又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んででもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、1つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、コンパクトディスクリードオンリーメモリ(CD-ROM)、光記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、かついかなる形態(声入力、音声入力又は、触覚入力を含む)でユーザからの入力を受信してもよい。
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェア部品を含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンド部品を含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる)、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットを例示的に含む。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント-サーバの関係を有するコンピュータプログラムによって生成される。
理解されるべきこととして、以上に示した様々な形態のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本発明に記載の各操作は、並列的に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解されるべきである。本開示の精神と原則内で行われた任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (21)

  1. 第1の対象に対するバーチャルシーンアクセス要求命令を応答して、前記第1の対象の基礎データを取得することと、
    前記基礎データに基づいて、バーチャルシーンにおいて前記第1の対象のバーチャルキャラクターを作成し、前記第1の対象に対応するターゲット関与対象を取得することと、
    前記第1の対象からのターゲット内容放送命令を応答して、前記バーチャルシーンにおいてターゲット内容を放送することと、を含む
    バーチャルシーン情報インタラクション方法。
  2. 請求項1に記載の方法であって、
    前記バーチャルシーンは、バーチャル放送機器データを含むバーチャルシーンデータに基づいて生成され、
    前記第1の対象からのターゲット内容放送命令を応答して、前記バーチャルシーンにおいてターゲット内容を放送することは、
    前記第1の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得することと、
    前記バーチャル放送機器データに基づいて生成されるバーチャル放送機器により、前記ターゲット内容データに基づいて生成される前記ターゲット内容を放送することと、を含むバーチャルシーン情報インタラクション方法。
  3. 請求項1に記載の方法であって、
    前記バーチャルシーンは、少なくとも1つの関与対象を含み、
    前記基礎データは、位置データをさらに含み、
    前記バーチャルシーン情報インタラクション方法は、
    前記位置データに基づいて、前記関与対象が前記バーチャルシーンにおける位置座標を特定することと、
    前記バーチャルシーンデータ、及び前記関与対象の前記バーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定することと、
    前記バーチャルシーンマップデータを前記関与対象に送信することと、をさらに含むバーチャルシーン情報インタラクション方法。
  4. 請求項3に記載の方法であって、
    前記第1の対象に対する位置調整命令を応答して、前記第1の対象の位置調整データに基づいて、前記ターゲット関与対象の前記位置座標を調整し、前記ターゲット関与対象の調整された位置座標を取得することと、
    位置更新頻度及び前記調整された位置座標のうちの少ない1つに基づいて、前記バーチャルシーンマップデータを更新することと、をさらに含むバーチャルシーン情報インタラクション方法。
  5. 請求項4に記載の方法であって、
    前記関与対象は、前記ターゲット関与対象と、少なくとも1つの参照関与対象とを含み、
    前記バーチャルシーン情報インタラクション方法は、
    音声インタラクション範囲閾値、及び前記関与対象の前記位置座標に基づいて、前記ターゲット関与対象の音声インタラクション関与対象を特定することと、
    前記音声インタラクション関与対象の音声ストリームを前記ターゲット関与対象へ購読することと、をさらに含むバーチャルシーン情報インタラクション方法。
  6. 請求項5に記載の方法であって、
    前記音声インタラクション関与対象の前記位置座標が前記音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定することと、
    前記無効音声インタラクション関与対象の音声ストリームの購読を、前記ターゲット関与対象へキャンセルすることとをさらに含むバーチャルシーン情報インタラクション方法。
  7. 請求項3に記載の方法であって、
    前記ターゲット関与対象の位置座標、及び前記音声インタラクション関与対象の位置座標に基づいて、前記ターゲット関与対象に対する前記音声インタラクション関与対象の相対位置データを特定することと、
    前記相対位置データに基づいて、前記音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び2チャネル処理のうちの少なくとも1つを行い、前記音声インタラクション関与対象のターゲット音声ストリームを取得することと、をさらに含むバーチャルシーン情報インタラクション方法。
  8. 請求項1~7のいずれか1項に記載の方法であって、
    前記第1の対象に対するキャラクター調整操作命令を応答して、前記第1の対象のバーチャルキャラクターを調整することをさらに含み、
    前記キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも1つを含むバーチャルシーン情報インタラクション方法。
  9. 請求項2に記載の方法であって、
    前記バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも1つを含み、
    前記ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも1つを含むバーチャルシーン情報インタラクション方法。
  10. 第1の対象に対するバーチャルシーンアクセス要求命令を応答して、前記第1の対象の基礎データを取得する基礎データ取得モジュールと、
    前記基礎データに基づいて、バーチャルシーンにおいて前記第1の対象のバーチャルキャラクターを作成し、前記第1の対象に対応するターゲット関与対象を取得するターゲット関与対象特定モジュールと、
    前記第1の対象からのターゲット内容放送命令を応答して、前記バーチャルシーンにおいてターゲット内容を放送するターゲット内容放送モジュールと、を含むバーチャルシーン情報インタラクション装置。
  11. 請求項10に記載の装置であって、
    前記バーチャルシーンは、バーチャル放送機器データを含むバーチャルシーンデータに基づいて生成され、
    前記ターゲット内容放送モジュールは、
    前記第1の対象からのターゲット内容放送命令を応答して、ターゲット内容データを取得するターゲット内容取得サブモジュールと、
    前記バーチャル放送機器データに基づいて生成されたバーチャル放送機器により、前記ターゲット内容データに基づいて生成された前記ターゲット内容を放送するターゲット内容放送サブモジュールとを含むバーチャルシーン情報インタラクション装置。
  12. 請求項10に記載の装置であって、
    前記バーチャルシーンは、少なくとも1つの関与対象を含み、
    前記基礎データは、位置データをさらに含み、
    前記バーチャルシーン情報インタラクション装置は、
    前記位置データに基づいて、前記関与対象の前記バーチャルシーンにおける位置座標を特定する位置座標特定モジュールと、
    前記バーチャルシーンデータ、及び前記関与対象の前記バーチャルシーンにおける位置座標に基づいて、バーチャルシーンマップデータを特定するバーチャルシーンマップデータ特定モジュールと、
    前記バーチャルシーンマップデータを前記関与対象に送信するバーチャルシーンマップデータ送信モジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
  13. 請求項12に記載の装置であって、
    前記第1の対象に対する位置調整命令を応答して、前記第1の対象の位置調整データに基づいて、前記ターゲット関与対象の前記位置座標を調整し、前記ターゲット関与対象の調整された位置座標を取得する調整位置座標特定モジュールと、
    位置更新頻度及び前記調整された位置座標のうちの少ない1つに基づいて、前記バーチャルシーンマップデータを更新するバーチャルシーンマップデータ更新モジュールとを、さらに含むバーチャルシーン情報インタラクション装置。
  14. 請求項13に記載の装置であって、
    前記関与対象は、前記ターゲット関与対象と、少なくとも1つの参照関与対象とを含み、
    前記バーチャルシーン情報インタラクション装置は、
    音声インタラクション範囲閾値、及び前記関与対象の前記位置座標に基づいて、前記ターゲット関与対象の音声インタラクション関与対象を特定する音声インタラクション関与対象特定モジュールと、
    前記音声インタラクション関与対象の音声ストリームを前記ターゲット関与対象へ購読する音声ストリーム購読モジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
  15. 請求項14に記載の装置であって、
    前記音声インタラクション関与対象の前記位置座標が前記音声インタラクション範囲閾値を超えることに応答して、無効音声インタラクション関与対象を特定する無効音声インタラクション関与対象特定モジュールと、
    前記無効音声インタラクション関与対象の音声ストリームの購読を、前記ターゲット関与対象へキャンセルする音声ストリーム購読キャンセルモジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
  16. 請求項12に記載の装置であって、
    前記ターゲット関与対象の位置座標、及び前記音声インタラクション関与対象の位置座標に基づいて、前記ターゲット関与対象に対する前記音声インタラクション関与対象の相対位置データを特定する相対位置データ特定モジュールと、
    前記相対位置データに基づいて、前記音声インタラクション関与対象の音声ストリームに対して、ミキシング処理及び2チャネル処理の少なくとも1つを行い、前記音声インタラクション関与対象のターゲット音声ストリームを取得するターゲット音声ストリーム特定モジュールと、をさらに含むバーチャルシーン情報インタラクション装置。
  17. 請求項10~16のいずれか1項に記載の装置であって、
    前記第1の対象に対するキャラクター調整操作命令を応答して、前記第1の対象のバーチャルキャラクターを調整するバーチャルキャラクター調整モジュールをさらに含み、
    前記キャラクター調整操作命令は、性別調整操作命令、服装調整操作命令、表情調整操作命令、及び胴体動作調整操作命令の少なくとも1つを含むバーチャルシーン情報インタラクション装置。
  18. 請求項11に記載の装置であって、
    前記バーチャルシーンデータは、バーチャル会議シーンデータ、バーチャルショールームシーンデータ、及びバーチャル会館シーンデータの少なくとも1つを含み、
    前記ターゲット内容データは、音声データ、テキストデータ、及びライブ中継ビデオデータの少なくとも1つを含むバーチャルシーン情報インタラクション装置。
  19. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信接続されたメモリとを備え、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な命令を記憶しており、
    前記命令は、前記少なくとも1つのプロセッサが請求項1~9のいずれか1項に記載の方法を実行することができるように、前記少なくとも1つのプロセッサにより実行される電子機器。
  20. コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1~9のいずれか1項に記載の方法を実行させる記憶媒体。
  21. プロセッサにより実行される場合に、請求項1~9のいずれか1項に記載の方法を実現するコンピュータプログラム。
JP2023055900A 2022-03-31 2023-03-30 バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム Pending JP2023082119A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210352747.8A CN114697755A (zh) 2022-03-31 2022-03-31 虚拟场景信息交互方法、装置、设备以及存储介质
CN202210352747.8 2022-03-31

Publications (1)

Publication Number Publication Date
JP2023082119A true JP2023082119A (ja) 2023-06-13

Family

ID=82143200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023055900A Pending JP2023082119A (ja) 2022-03-31 2023-03-30 バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (3)

Country Link
JP (1) JP2023082119A (ja)
KR (1) KR20230002211A (ja)
CN (1) CN114697755A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273865A (zh) * 2022-07-26 2022-11-01 中国第一汽车股份有限公司 一种智能语音交互方法、装置、设备和存储介质
CN115439195A (zh) * 2022-11-07 2022-12-06 杭州脸脸会网络技术有限公司 虚拟账户创建方法、系统、服务器及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098720A1 (zh) * 2016-11-30 2018-06-07 深圳益强信息科技有限公司 一种基于虚拟现实的数据处理方法及系统
CN107103801B (zh) * 2017-04-26 2020-09-18 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法
KR20200024441A (ko) * 2018-08-28 2020-03-09 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN112783320A (zh) * 2020-10-21 2021-05-11 中山大学 一种沉浸式虚拟现实的案例教学展示方法及系统
CN112870706B (zh) * 2021-03-19 2023-02-28 腾讯科技(深圳)有限公司 教学内容的显示方法、装置、设备及存储介质
CN113325954B (zh) * 2021-05-27 2022-08-26 百度在线网络技术(北京)有限公司 用于处理虚拟对象的方法、装置、设备和介质
CN114071180A (zh) * 2021-11-24 2022-02-18 上海哔哩哔哩科技有限公司 直播间展示方法及装置

Also Published As

Publication number Publication date
CN114697755A (zh) 2022-07-01
KR20230002211A (ko) 2023-01-05

Similar Documents

Publication Publication Date Title
US11403595B2 (en) Devices and methods for creating a collaborative virtual session
JP2023082119A (ja) バーチャルシーン情報インタラクション方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US20170084084A1 (en) Mapping of user interaction within a virtual reality environment
US8407605B2 (en) Application sharing
US11080941B2 (en) Intelligent management of content related to objects displayed within communication sessions
JP2019050010A (ja) クリエイティブのランディングページに対して機能拡大部を提供するための方法およびシステム
US9785741B2 (en) Immersive virtual telepresence in a smart environment
JP2021010156A (ja) 情報を生成する方法および装置
KR20120118019A (ko) 공간 통신 환경을 위한 웹 브라우저 인터페이스
KR102580110B1 (ko) 내비게이션 가능한 아바타들이 있는 웹 기반 화상 회의 가상 환경 및 그 응용들
US11609682B2 (en) Methods and systems for providing a communication interface to operate in 2D and 3D modes
Pereira et al. Arena: The augmented reality edge networking architecture
Polys et al. Fusality: an open framework for cross-platform mirror world installations
WO2024059482A1 (en) Navigating a virtual camera to a video avatar in a three-dimensional virtual environment, and applications thereof
JP2022549986A (ja) サードパーティシステムからの拡張現実データの効果的なストリーミング
JP2023524930A (ja) アバターを利用したカンファレンス処理方法およびシステム
US11928774B2 (en) Multi-screen presentation in a virtual videoconferencing environment
US20230401789A1 (en) Methods and systems for unified rendering of light and sound content for a simulated 3d environment
CN116610777A (zh) 具有提取问答的会话式ai平台
WO2024037001A1 (zh) 互动数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品
US11928777B1 (en) Using optical labels in a virtual environment
KR20190048293A (ko) 다자간 회의 제공 장치 및 상기 장치에서의 콘텐츠 공유 방법
US20240031531A1 (en) Two-dimensional view of a presentation in a three-dimensional videoconferencing environment
US20220272478A1 (en) Virtual environment audio stream delivery
WO2024020452A1 (en) Multi-screen presentation in a virtual videoconferencing environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507