JP2022159519A - コンポーネントを操作する方法、電子機器、記憶媒体及びプログラム - Google Patents

コンポーネントを操作する方法、電子機器、記憶媒体及びプログラム Download PDF

Info

Publication number
JP2022159519A
JP2022159519A JP2022130937A JP2022130937A JP2022159519A JP 2022159519 A JP2022159519 A JP 2022159519A JP 2022130937 A JP2022130937 A JP 2022130937A JP 2022130937 A JP2022130937 A JP 2022130937A JP 2022159519 A JP2022159519 A JP 2022159519A
Authority
JP
Japan
Prior art keywords
response
dimensional
component
preset
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2022130937A
Other languages
English (en)
Inventor
睿智 陳
Ruizhi Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022159519A publication Critical patent/JP2022159519A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】本開示は、コンポーネントを操作する方法、電子機器、記憶媒体及びプログラムを提供する。【解決手段】方法は、３次元仮想空間における操作可能なコンポーネントに対する描画操作に応じて、描画された２次元パターンを操作可能な部品に表示するステップと、操作可能なコンポーネントに対するモデル生成操作に応じて、２次元パターンを処理して３次元モデルを生成するステップと、３次元仮想空間において３次元モデルを表示するステップとを含む。仮想空間中に適用できる操作可能なコンポーネントが提供され、ユーザーは操作可能なコンポーネントにパターンを描画することで、システムに当該パターンに対応する３次元モデルを生成でき、この方式により、ユーザーは自分の操作により、仮想空間にモデルを追加することが可能になり、ユーザーと仮想空間との間のより豊富なインタラクション方式が提供される。【選択図】図１

Description

本開示は人工知能技術分野に関し、特に、コンピュータビジョン、画像処理技術及び拡張現実技術分野に関し、特に、コンポーネントを操作する方法、電子機器、記憶媒体及びプログラムに関する。
現在、メタバース（Ｍｅｔａｖｅｒｓｅ）は仮想時間・空間の集合であり、科学技術的手段によりリンクと創造を行い、現実世界とマッピングしインタラクションする仮想世界であり、新しい社会体系を備えるデジタル生活空間である。人々はメタバース空間で会議をし、演出を見、社交し、ゲームをすることができる。
メタバース空間の内容は、専門的な３次元モデリングソフトウェアにより作成されており、例えばメタバース空間におけるテーブル、自動車などは、いずれも開発者が３次元モデリングソフトウェアにより予め作成するものであり、ユーザーはメタバース空間における既存の内容を用いることができる。
しかし、この方式では、ユーザーはメタバース空間における既存の内容しか用いることができず、メタバース空間における内容とより豊かなインタラクションを行うことができず、面白さが低くなる。
本開示は、メタバース空間とより豊かなインタラクションを行う解決手段を提供でき、それにより面白さを向上させるコンポーネントを操作する方法、電子機器、記憶媒体及びプログラムを提供する。
本開示の第１の態様によれば、
３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するステップと、
前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するステップと、
３次元仮想空間において３次元モデルを表示するステップと、を含むコンポーネントを操作する方法が提供される。
本開示の第２の態様によれば、
３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するステップと、
前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定するステップと、
前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するステップと、を含むコンポーネントを操作する方法が提供される。
本開示の第３の態様によれば、
３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するための描画ユニットと、
前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するモデル生成ユニットと、
前記３次元仮想空間において前記３次元モデルを表示するためのモデル表示ユニットと、を含むコンポーネントを操作する装置が提供される。
本開示の第４の態様によれば、
３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するための第２の制御ユニットと、
前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定し、前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するためのミラーユニットと、を含むコンポーネントを操作する装置が提供される。
本開示の第５の態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、そのうち、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが第１の態様又は第２の態様に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器が提供される。
本開示の第６の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令はコンピュータに第１の態様又は第２の態様に記載の方法を実行させるために用いられるコンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体が提供される。
本開示の第７の態様によれば、可読記憶媒体に記憶されたコンピュータプログラムであって、電子機器の少なくとも１つのプロセッサは前記可読記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサが前記コンピュータプログラムを実行することにより、電子機器に第１の態様又は第２の態様に記載の方法を実行させるコンピュータプログラムが提供される。
本開示にて提供されるコンポーネントを操作する方法、電子機器、記憶媒体及びプログラムは、３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを操作可能な部品に表示するステップと、操作可能なコンポーネントに対するモデル生成操作に応答して、２次元パターンを処理して３次元モデルを生成するステップと、３次元仮想空間において３次元モデルを表示するステップと、を含む。本開示にて提供される解決手段において、仮想空間内に適用できる操作可能なコンポーネントが提供され、ユーザーは操作可能なコンポーネントにパターンを描画することにより、システムが当該パターンに対応する３次元モデルを生成することができ、このような方式により、ユーザーは自分の操作により、仮想空間にモデルを追加することが可能になり、それによりユーザーと仮想空間との間のより豊富なインタラクション方式が提供される。
この部分に記載されている内容は、本開示の実施例の肝心な、又は重要な特徴を特定することを意図しておらず、本開示の範囲を限定するものでもないことを理解すべきである。本開示の他の特徴は、以下の明細書を通じて容易に理解される。
図面は、本解決手段をよりよく理解するために用いられ、本開示を限定するものではない。
本開示の第１の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。 本開示の例示的な一実施例による仮想空間の概略図である。 本開示の第２の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。 本開示の第３の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。 本開示の例示的な一実施例による操作可能なコンポーネントの概略図である。 本開示の第４の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。 本開示の第１の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。 本開示の第２の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。 本開示の第３の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。 本開示の第４の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。 本開示の実施例の方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら、本開示の例示的な実施例について説明し、理解を容易にするために、その中には本開示の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者であれば、本開示の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、わかりやすく且つ簡潔にするために、以下の説明では、周知の機能及び構造についての説明は省略する。
メタバースなどの仮想空間は、科学技術的手段により創造できる。メタバースでは、ユーザーを代表するための３次元仮想キャラクタを作成することができ、これらの３次元仮想キャラクタはメタバースで活動することができる。開発者はメタバースにおいて多くの仮想物体を設置でき、３次元仮想キャラクタはユーザーの操作で、これらの物体を使用することができる。例えば、テーブル、椅子、自動車などが存在でき、３次元仮想キャラクタは椅子に座ることができ、仮想の自動車を運転することもできる。
しかし、これらの３次元仮想キャラクタは、これらの仮想物体を用いることしかできず、メタバースとより豊かなインタラクションを行うことができないため、ユーザーがメタバースとインタラクションする時の面白さが低くなる。
本開示は、上記技術的課題を解決するために、３次元仮想空間に適用できる操作可能なコンポーネントを提供し、当該操作可能なコンポーネントは画板として使用することができ、ユーザーはその中でパターンを描画することができ、メタバースのシステムは当該２次元パターンを３次元モデルに変換することができ、それにより、ユーザーはメタバースの作成プロセスに参与し、３次元仮想空間に仮想物体を追加することができる。当該操作可能なコンポーネントはミラーとして使用することもでき、ミラーとして３次元仮想キャラクタの映像を映し出すことができ、ユーザーは当該操作可能なコンポーネントを操作し、ミラー中の２次元アバターに対して個性化の処理を行うこともできることで、面白さが向上する。
図１は本開示の第１の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。
図１に示すように、本開示にて提供されるコンポーネントを操作する方法は以下のステップ１０１～１０３を含む。
ステップ１０１において、３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを操作可能なコンポーネントに表示する。
ここで、本開示にて提供されるコンポーネントは操作可能なコンポーネントであり、メタバースや他の仮想空間に設置することができる。本開示にて提供される方法は、コンピュータに搭載可能な、メタバース又は仮想空間のシステムによって実行することができる。
任意選択的な実現形態では、操作可能なコンポーネントをＳＤＫキット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ソフトウェア開発キット）としてパッケージングすることができ、仮想空間を開発する開発者はＳＤＫキットにより仮想空間において操作可能なコンポーネントを追加することができる。
例えば、仮想空間の路側に当該操作可能なコンポーネントを設置してもよく、こうすると、開発者は路側の位置に応じて操作可能なコンポーネントを追加することができる。
具体的には、仮想空間において操作可能なコンポーネントを追加した後、ユーザーはユーザー端末を操作して仮想空間を表示する際に、当該操作可能なコンポーネントを表示させることができる。ユーザーは３次元仮想キャラクタが当該操作可能なコンポーネントを使用するように操作することもできる。
本開示の実施例では、操作可能なコンポーネントは画板として使用することができ、ユーザーは３次元仮想キャラクタを操作することができ、操作可能なコンポーネントに２次元パターンを描画する。任意選択的な実現手段では、操作可能なコンポーネントはミラーとして使用することもでき、ユーザーは３次元仮想キャラクタをミラーの前に立つように操作することができ、それにより、操作可能なコンポーネントに３次元仮想キャラクタの鏡面画像を表示させる。
ここで、３次元仮想空間において表示される操作可能なコンポーネントは少なくとも１つの平面又は曲面を含み、３次元仮想キャラクタは平面又は曲面の前に立ち、操作可能なコンポーネントにおける平面又は曲面に対して描画操作を行うことができる。
任意選択的な実現手段では、操作可能なコンポーネントは、１つの操作可能な平面又は操作可能な曲面を有するタブレット形態とすることができる。
任意選択的な実現手段では、操作可能なコンポーネントは、複数の平面又は曲面を含んでもよく、平面も曲面も含んでもよく、ユーザーはそのうちのいずれかの平面又は曲面を操作する時、操作される平面又は曲面をロックすることができ、平面又は曲面がロックされると、他のユーザーは当該平面又は曲面を操作することができず、このような方式は、他のユーザーが当該平面又は曲面を操作することで、前のユーザーが描画した内容が破壊されることを回避できる。
具体的には、操作可能なコンポーネントは操作可能なキーボードを有することができ、例えば、操作可能なコンポーネントのそばにキーボードを設置してもよく、ユーザーは当該キーボードを操作し、操作可能なコンポーネントの画板機能を起動することができる。操作可能なコンポーネントが複数の平面又は曲面を含む場合、各面に操作可能なキーボードを有することができる。
さらに、操作可能なコンポーネントの画板機能を起動した後、ユーザーは３次元仮想キャラクタを操作可能なコンポーネントに描画操作を行うように制御することができ、仮想空間のシステムは３次元仮想キャラクタの描画操作に基づいて、描画された２次元パターンを表示することができる。例えば、３次元仮想キャラクタの手又は持った絵筆の移動軌跡を取得し、そして当該移動軌跡に基づいて描画された２次元パターンを生成し、それを操作可能なコンポーネントに表示してもよい。具体的には、操作可能なコンポーネントにおける画板とする平面又は曲面に表示する。
ステップ１０２において、操作可能なコンポーネントに対するモデル生成操作に応答して、２次元パターンを処理して３次元モデルを生成する。
実際に利用する際に、ユーザーは３次元仮想キャラクタを操作して２次元パターンを描画することが完了した後、さらに、メタバースシステムがユーザーの描画した２次元パターンに基づいて３次元モデルを生成するように操作可能なコンポーネントを操作することができる。
ここで、操作可能なコンポーネントを操作するためのキーを設置することができ、例えば、操作可能なコンポーネントの平面又は曲面に「完了」キーを表示してもよく、ユーザーは当該完了キーをクリックするように３次元仮想キャラクタを制御することができ、さらにシステムは平面又は曲面上の２次元パターンを３次元モデルに変換することができる。
具体的には、２次元ピクチャの内容に基づいて、その対応する３次元モデルの技術能力を決定することができる。１枚のピクチャからの３次元アバター生成（ＰＴＡ、Ｐｈｏｔｏ Ｔｏ Ａｖａｔａｒ）はおおはば、再構成型と分類型という２種類に分けられる。再構成型は３ＤＭＭ（３Ｄ Ｍｏｒｐｈａｂｌｅ Ｆａｃｅ Ｍｏｄｅｌ）又はディープニューラルネットワークにより１枚のピクチャ中の情報を検知し、パターンを再構成し、再構成したパターンに基づいてアバターを構築するものであり、分類型は１枚のピクチャ中のパターンの各部分のタイプを直接検知することにより、既存のタイプライブラリから対応するタイプを選択して継ぎ合わせてアバターをなすものである。１つのＰＴＡにより生成されたアバターは、通常、アバターを表すための１組のパラメータに対応する。
ステップ１０３において、３次元仮想空間において生成した３次元モデルを表示する。
さらに、３次元モデルを生成した後、３次元仮想空間において当該３次元モデルを表示することができ、ユーザーは自分の操作により、仮想空間においてモデルを追加することができ、このような方式はユーザーと仮想空間との間のより豊富なインタラクション方式を提供することができる。
実際に利用する際に、ユーザーは生成された３次元モデルを操作するように３次元仮想キャラクタを制御することもでき、例えば、３次元モデルにタッチしたり、３次元モデルを把持してそれを３次元仮想キャラクタとともに移動させたりするように３次元仮想キャラクタを制御してもよい。
ここで、３次元モデルを装飾品として任意の位置に固定することもでき、例えば仮想自動車の後ろに結んでもよい。
任意選択的な実現形態では、生成された３次元モデルは３次元仮想キャラクタのペットとして、３次元仮想キャラクタとともに移動することができる。例えば、３次元仮想キャラクタの移動軌跡を取得し、当該３次元仮想キャラクタにより生成された３次元モデルを上記移動軌跡に従って移動するように制御することができる。
図２は本開示の例示的な一実施例による仮想空間の概略図である。
図２に示すように、仮想空間には操作可能なコンポーネント２１が設けられており、ユーザーはその中で操作してパターン２２を描画することができ、システムは２次元のパターン２２を３次元モデル２３に変換することができ、３次元モデル２３は移動可能である。
本開示にて提供されるコンポーネントを操作する方法は、３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを操作可能なコンポーネントに表示するステップと、操作可能なコンポーネントに対するモデル生成操作に応答して、２次元パターンを処理して３次元モデルを生成するステップと、３次元仮想空間において３次元モデルを表示するステップと、を含む。本開示にて提供される解決手段において、仮想空間内に適用できる操作可能なコンポーネントが提供され、ユーザーは操作可能なコンポーネントにパターンを描画することにより、システムが当該パターンに対応する３次元モデルを生成することができ、このような方式により、ユーザーは自分の操作により、仮想空間にモデルを追加することが可能になり、それによりユーザーと仮想空間との間のより豊富なインタラクション方式が提供される。
図３は本開示の第２の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。
図３に示すように、本開示にて提供されるコンポーネントを操作する方法はステップ３０１～３０７を含む。
ステップ３０１において、３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、操作可能なコンポーネントを制御するための制御キーボードを表示する。
ここで、本開示にて提供される方法において、操作可能なコンポーネントは画板形態として表示されてもよいし、ミラー形態として表示されてもよい。画板形態として表示される場合、ユーザーは３次元仮想キャラクタが操作可能なコンポーネントにおいてパターンを描画するように制御することができ、ミラー形態として表示される場合、操作可能なコンポーネントは３次元仮想キャラクタの鏡面画像を表示することができる。
このような実現手段では、操作可能なコンポーネントは制御キーボードを有する。操作可能なコンポーネントが操作されない場合、３次元仮想空間において当該制御キーボードを表示しなくてもよく、ユーザーは３次元仮想キャラクタが操作可能なコンポーネントの近傍まで進むように制御し、３次元仮想キャラクタがプリセット動作を行うように制御し、さらに、システムが３次元仮想空間において操作可能なコンポーネントの制御キーボードを表示するようにトリガすることができる。
例えば、３次元仮想キャラクタが右手を上げると、システムは３次元仮想空間において操作可能なコンポーネントの制御キーボードを表示し、また例えば、３次元仮想キャラクタが操作可能なコンポーネントのそばにある椅子に座ると、システムは３次元仮想空間において操作可能なコンポーネントの制御キーボードを表示する。
具体的には、制御キーボードは操作可能なコンポーネントのそばに表示されてもよく、又は操作可能なコンポーネントに接続されてもよい。それにより、３次元仮想キャラクタはそれを容易に操作できる。制御キーボードはタッチ式であってもよく、キー式であってもよく、本開示はこれについて限定しない。
ステップ３０２において、３次元仮想キャラクタによる制御キーボードに対する第１の操作に応答して、第１の制御命令を生成し、操作可能なコンポーネントのプリセット面を画板形態として表示するように制御する。
さらに、制御キーボードを操作することにより、操作可能なコンポーネントの機能を選択することができ、例えば画板として使用し、また例えばミラーとして使用する。
実際に利用する際に、ユーザーが３次元仮想キャラクタによる制御キーボードに対する第１の操作を制御する時、システムは３次元仮想空間における操作可能なコンポーネントを制御するための第１の制御命令を生成することができる。
例えば、制御キーボードは「画板」と書かれている第１のキーと、「ミラー」と書かれている第２のキーとを含む。３次元仮想キャラクタが「画板」と書かれている第１のキーをタッチすると、システムは操作可能なコンポーネントを制御するための第１の制御命令を生成することができ、３次元仮想キャラクタが「ミラー」と書かれている第２のキーをタッチすると、システムは操作可能なコンポーネントを制御するための第２の制御命令を生成することができる。
このような実現形態では、操作可能なコンポーネントが操作されない場合、その制御キーボードを表示しないことにより、３次元仮想空間における視覚効果をよりよくさせ、且つ操作可能なコンポーネントが複数の機能を提供できる場合、制御キーボードを操作する方式により操作可能なコンポーネントの異なる機能を選択することができる。
具体的には、ユーザーが操作可能なコンポーネントに対して第１の操作を行って第１の制御命令を送信すると、操作可能なコンポーネント上のプリセット面は画板形態として表示される。このような利用シーンにおいて、操作可能なコンポーネントにおける操作されるプリセット面は画板として使用される。
さらに、プリセット面は平面であってもよいし、曲面であってもよい。
ステップ３０３において、画板形態のプリセット面に対する描画操作に応答して、描画された２次元パターンを画板形態のプリセット面に表示する。
さらに、操作可能なコンポーネントのプリセット面が画板形態として表示されると、ユーザーは３次元仮想キャラクタを当該プリセット面に描画操作を行うように制御することができる。
任意選択的な実現形態では、仮想絵筆を画板コンポーネントに設定することができ、ユーザーは、３次元仮想キャラクタが絵筆を持ち、画板コンポーネントのプリセット面に描画するように制御することができる。
別の任意選択的な実現形態では、ユーザーは３次元仮想キャラクタが指で操作可能なコンポーネントのプリセット面に描画するように制御することができる。
ここで、ユーザーは３次元仮想キャラクタが描画時に使用する色を選択するように制御することもでき、例えば、操作可能なコンポーネントのプリセット面に色板を表示してもよく、色板において描画に使用する色を選択することができる。
具体的には、描画操作によって生成された軌跡に基づいて、２次元パターンを生成し、画板形態のプリセット面に当該パターンを表示することができる。例えば、３次元仮想キャラクタの指が上向きに移動すると、指の移動軌跡に応じて線をプリセット面に表示する。
このような実施形態では、ユーザーが３次元仮想空間において２次元パターンを描画する手段を提供し、システムが描画された２次元パターンを３次元モデルに変換できるようにすることができ、それにより、手段の面白さがもっと高くなる。
ステップ３０４において、操作可能なコンポーネントに対するモデル生成操作に応答して、プリセット骨格モデルを取得する。
さらに、２次元パターンを描画した後、ユーザーは操作可能なコンポーネントを操作するように３次元仮想キャラクタを制御することにより、システムに２次元パターンに対応する３次元モデルを生成させることができる。操作可能なコンポーネントのプリセット面に完了キーを設置することができ、当該キーをクリックして、システムが２次元パターンに対応する３次元モデルを生成するようにトリガすることができる。
実際に利用する際に、操作可能なコンポーネントに対してモデルを生成するための操作が行われた後、システムはプリセット骨格モデルを取得することができる。
任意選択的な実施形態では、システムは複数のプリセット骨格モデルを取得することができ、ユーザーは３次元仮想キャラクタがそのうちから３次元モデルを生成するための骨格モデルを選択するように制御する。
ここで、操作可能なコンポーネントに対するモデル生成操作に応答して、複数のデフォルト骨格モデルを３次元仮想空間に表示することができる。表示されるデフォルト骨格モデルは３次元形態であってもよいし、２次元形態であってもよい。
具体的には、ユーザーは３次元仮想キャラクタがデフォルト骨格モデルに対して操作するように制御することにより、そのうちから３次元モデルを生成するためのプリセット骨格モデルを選択することができる。
例えば、デフォルト骨格モデルのうちのいずれかの骨格モデルに対して移動操作を行うことができ、当該操作されたデフォルト骨格モデルがプリセット骨格モデルである。プリセット骨格モデルを２次元パターンの所在位置に移動させ、プリセット骨格モデルを２次元パターンに重ねることができる。
このような方式により、ユーザーの操作に基づいて３次元モデルを生成するためのプリセット骨格モデルを取得することができ、それにより、ユーザーのニーズに合致する３次元モデルを生成し、ユーザーが仮想空間におけるアバターの作成プロセスに参与できるようにする。
別の任意選択的な実施形態では、システムは２次元パターンの形状又はタイプに基づいて、対応するプリセット骨格モデルを取得することもできる。
ステップ３０５において、２次元パターンを３次元モデルに変換し、プリセット骨格モデルと３次元モデルとの間のスキンバインド関係を決定する。
システムは２次元パターンを３次元モデルに変換することができ、具体的には従来技術の解決手段に基づいて３次元モデルを生成することができる。
ここで、システムはプリセット骨格モデルと３次元モデルとの間のスキンバインド関係を決定することもできる。プリセット骨格モデルは対応するアニメーションを有し、プリセット骨格モデルと３次元モデルとの間のスキンバインド関係を決定することにより、当該アニメーションによりプリセット骨格モデルがアニメーションに対応する動作を行うように駆動することができ、さらに３次元モデルが対応する動作を行うように連動する。
例えば、プリセット骨格モデルに対応するアニメーションは骨格における尾部の揺れであり、骨格における尾部が揺れると、骨格の尾部とバインド関係を有する位置も揺れる。このような方式により、３次元モデルを動作させることができる。
本開示にて提供される解決手段において、ユーザーと３次元仮想空間とのインタラクションにより、３次元仮想空間に３次元モデルを追加できるだけでなく、さらに３次元モデルを動作させることができ、それにより面白さを向上させることができる。
３次元仮想キャラクタがプリセット骨格モデルを２次元パターンの所在位置までドラッグすると、システムは３次元モデルとプリセット骨格モデルとの間の相対位置に基づいて、３次元モデルと骨格との間のスキンバインド関係を決定することができる。
ここで、３次元モデルの所在位置は２次元パターンの所在位置と一致する。
例えば、３次元モデルとプリセット骨格モデルとの間の相対位置に基づいて、３次元モデルの調整境界をプリセット骨格モデルの境界と位置合わせし、そしてプリセット骨格モデルにおけるノードを３次元モデルにマッピングし、それによりプリセット骨格モデルと３次元モデルとの間の対応関係をバインドすることができる。
具体的には、２次元パターンを３次元モデルに変換する場合、２次元パターンに対して単連結領域境界をトリミングし、さらに各連結領域に対して三角化処理及びテクスチャマッピングを行い、その後三角化処理及びテクスチャマッピング後の結果に基づいて、２次元パターンに対して３次元メッシュ化を行い、３次元モデルを生成することができる。
さらに、３次元モデルを生成する場合にメッシュ化処理を行うと、メッシュの位置合わせの方式により、３次元モデルの調整境界をプリセット骨格モデルの境界と位置合わせすることができる。
このような方式により３次元モデルとプリセット骨格モデルをバインドすることで、３次元モデルがプリセット骨格モデルにおける各ノードの姿勢に応じて動作することができ、それにより、面白さがもっと高くなる。
ステップ３０６において、３次元仮想空間において３次元モデルを表示する。
ステップ３０６は図１におけるステップ１０３と類似するため、重複する説明は省略する。
ステップ３０７において、プリセット骨格モデルのアニメーションデータにより、３次元モデルがアニメーションデータに対応する動作を行うように駆動する。
実際に利用する際に、プリセット骨格モデルはアニメーションデータを有し、したがって、プリセット骨格モデルのアニメーションデータにより、３次元モデルがアニメーションデータに対応する動作を行うように駆動することができる。例えば、プリセット骨格モデルのアニメーションデータにおいて、骨格の頭部が左右に揺動可能であれば、当該頭部にバインドされた３次元モデル部分も、左右に揺動する動作をできる。
このような形態では、３次元モデルはプリセット骨格モデルのアニメーションデータに基づいて動作することができ、それにより、面白さがもっと高くなる。
本開示の任意選択的な一実施例では、操作可能なコンポーネントはミラー機能を有することもできる。ユーザーは３次元仮想キャラクタを操作可能なコンポーネントに対して第２の操作を行うように制御し、システムを第２の制御命令を生成できるようにすることができ、システムが第２の制御命令を受信すると、ミラー形態として表示することができる。
ここで、システムは３次元仮想キャラクタを２次元化し、３次元仮想キャラクタの鏡面画像を得、プリセット面に３次元仮想キャラクタの鏡面画像を表示することができる。
具体的には、操作可能なコンポーネントに表示された鏡面画像が実際にミラーを見る効果を達成するために、３次元仮想空間における３次元仮想キャラクタとプリセット面との相対位置に基づいて、３次元仮想キャラクタに対応する鏡面画像を決定することができる。例えば、３次元仮想キャラクタの各部分とプリセット面との距離に基づいて、２次元の鏡面画像を生成し、鏡面画像の各部分と鏡面との間の距離を、３次元仮想キャラクタの各部分とプリセット面との距離と同じにするようにしてもよい。
図４は本開示の第３の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。
図４に示すように、本開示にて提供されるコンポーネントを操作する方法はステップ４０１～４０３を含む。
ステップ４０１において、３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御する。
ここで、本開示にて提供されるコンポーネントは操作可能なコンポーネントであり、メタバースや他の仮想空間に設置されることができる。本開示にて提供される方法は、コンピュータに搭載可能な、メタバース又は仮想空間のシステムによって実行することができる。
任意選択的な実現形態では、操作可能なコンポーネントをＳＤＫキット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ソフトウェア開発キット）としてパッケージングすることができ、仮想空間を開発する開発者はＳＤＫキットにより仮想空間において操作可能なコンポーネントを追加することができる。
例えば、仮想空間の路側に当該操作可能なコンポーネントを設置してもよく、こうすると、開発者は路側の位置に応じて操作可能なコンポーネントを追加することができる。
具体的には、仮想空間において操作可能なコンポーネントを追加した後、ユーザーはユーザー端末を操作して仮想空間を表示する際に、当該操作可能なコンポーネントを表示させることができる。ユーザーは３次元仮想キャラクタが当該操作可能なコンポーネントを使用するように操作することもできる。
本開示の実施例では、操作可能なコンポーネントはミラーとして使用することもでき、ユーザーは３次元仮想キャラクタをミラーの前に立つように操作することができ、それにより、操作可能なコンポーネントに３次元仮想キャラクタの鏡面画像を表示させる。任意選択的な実現態様では、操作可能なコンポーネントは画板として使用することができ、ユーザーは３次元仮想キャラクタが操作可能なコンポーネントに２次元パターンを描画するように操作することができる。
ここで、３次元仮想空間において表示される操作可能なコンポーネントは少なくとも１つの平面又は曲面を含み、３次元仮想キャラクタは平面又は曲面の前に立ち、操作可能なコンポーネントにおける平面又は曲面に対して描画操作を行うことができる。
任意選択的な実現手段では、操作可能なコンポーネントは複数の平面又は曲面を含むことができ、ユーザーはそのうちのいずれかの平面又は曲面を操作する時、操作される平面又は曲面をロックすることができ、平面又は曲面がロックされると、他のユーザーは当該平面又は曲面を操作することができず、このような方式は複数のユーザーが同一の平面又は曲面を操作することを回避できる。
具体的には、操作可能なコンポーネントは操作可能なキーボードを有することができ、例えば、操作可能なコンポーネントのそばにキーボードを設置してもよく、ユーザーは当該キーボードを操作し、操作可能なコンポーネントの画板機能を起動することができる。操作可能なコンポーネントが複数の平面又は曲面を含む場合、平面又は曲面毎に操作可能なキーボードを有することができる。
任意選択的な実現手段では、操作可能なコンポーネントは、１つの操作可能な平面又は曲面を有するタブレットタイプとすることができる。
さらに、操作可能なコンポーネントのミラー機能を起動した後、ユーザーは３次元仮想キャラクタがミラーの前に様々な動作を行うように制御することができ、操作可能なコンポーネントは当該３次元仮想キャラクタの鏡面画像を表示することができる。
ステップ４０２において、３次元仮想空間における３次元仮想キャラクタとプリセット面との相対位置に基づいて、３次元仮想キャラクタに対応する鏡面画像を決定する。
実際に利用する際に、操作可能なコンポーネントは３次元仮想キャラクタとプリセット面との相対位置に基づいて、３次元仮想キャラクタを２次元の鏡面画像に変換することができる。
ここで、マッピング及びレンダリングシェーダにより、３次元モデルを２次元アニメスタイルのレンダリングピクチャにレンダリングすることができる。１つの形態では、マッピング調整だけで２次元レンダリング時の全ての明暗遷移及びモデル詳細を表現することができ、もう１つの形態では、２次元レンダリングシェーダを利用するとともに、当該シェーダに合わせてモデルマッピングを調整し、それにより比較的良好な２次元レンダリング結果を得る。
具体的には、操作可能なコンポーネントのミラー機能をよりリアルにするために、本開示にて提供される解決手段は、３次元仮想キャラクタとプリセット面との相対位置に基づいて、３次元仮想キャラクタに対応する鏡面画像を決定することができる。
さらに、相対位置は距離を含み、角度をさらに含む。
ステップ４０３において、プリセット面において３次元仮想キャラクタの鏡面画像を表示する。
実際に利用する際に、さらに、決定された鏡面画像を操作可能なコンポーネントのプリセット面に表示することができ、それにより３次元仮想キャラクタがミラーを見る効果を達成する。
３次元仮想キャラクタが姿勢を変更すると、操作可能なコンポーネントは３次元仮想キャラクタの現在の姿勢及びプリセット面との相対位置に基づいて、鏡面画像を再決定し、さらに、当該鏡面画像をプリセット面に表示することができる。
図５は本開示の例示的な一実施例による操作可能なコンポーネントの概略図である。
図５に示すように、３次元仮想キャラクタ５１が操作可能コンポーネント５２の前に立っており、操作可能コンポーネント５２がミラー機能をオンにすると、５３に示すような鏡面画像を表示することができる。
本願にて提供されるコンポーネントを操作する方法は、３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するステップと、３次元仮想空間における３次元仮想キャラクタとプリセット面との相対位置に基づいて、３次元仮想キャラクタに対応する鏡面画像を決定するステップと、３次元仮想キャラクタの鏡面画像をプリセット面に表示するステップと、を含む。本開示にて提供される方法において、ユーザーによる操作可能なコンポーネントに対する操作により、操作可能なコンポーネントのミラー機能を起動し、それに３次元仮想キャラクタの鏡像画像を表示させることができる。このような解決手段はユーザーと仮想空間との間の新規なインタラクション手段を提供することができ、それにより面白さを向上させる。
図６は本開示の第４の例示的な実施例によるコンポーネントを操作する方法のフローチャートである。
図６に示すように、本開示にて提供されるコンポーネントを操作する方法はステップ６０１～６０６を含む。
ステップ６０１において、３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、操作可能なコンポーネントを制御するための制御キーボードを表示する。
ここで、本開示にて提供される方法において、操作可能なコンポーネントはミラー形態として表示されてもよいし、画板形態として表示されてもよい。ミラー形態として表示される場合、操作可能なコンポーネントは３次元仮想キャラクタの鏡面画像を表示することができ、画板形態として表示される場合、ユーザーは３次元仮想キャラクタが操作可能なコンポーネントにパターンを描画するように制御することができる。
このような実現手段では、操作可能なコンポーネントは制御キーボードを有する。操作可能なコンポーネントが操作されない場合、３次元仮想空間において当該制御キーボードを表示しなくてもよく、ユーザーは３次元仮想キャラクタを操作可能なコンポーネントの近傍まで進むように制御し、３次元仮想キャラクタがプリセット動作を行うように制御し、さらに、システムが３次元仮想空間において操作可能なコンポーネントの制御キーボードを表示するようにトリガすることができる。
例えば、３次元仮想キャラクタが右手を挙げると、システムは３次元仮想空間において操作可能なコンポーネントの制御キーボードを表示し、また例えば、３次元仮想キャラクタが操作可能なコンポーネントのそばにある椅子に座ると、システムは３次元仮想空間において操作可能なコンポーネントの制御キーボードを表示する。
具体的には、制御キーボードは操作可能なコンポーネントのそばに表示されてもよく、又は操作可能なコンポーネントに接続されてもよい。それにより、３次元仮想キャラクタはそれを容易に操作できる。制御キーボードはタッチ式であってもよく、キー式であってもよく、本開示はこれについて限定しない。
ステップ６０２において、３次元仮想キャラクタによる制御キーボードに対する第２の操作に応答して、第２の制御命令を生成し、第２の制御命令に基づいて、操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御する。
さらに、制御キーボードを操作することにより、操作可能なコンポーネントの機能を選択することができ、例えばミラーとして使用し、また例えば画板として使用する。
実際に利用する際に、ユーザーが３次元仮想キャラクタによる制御キーボードに対する第２の操作を制御する時、システムは３次元仮想空間における操作可能なコンポーネントを制御するための第２の制御命令を生成することができる。
例えば、制御キーボードは「画板」と書かれている第１のキーと、「ミラー」と書かれている第２のキーとを含む。３次元仮想キャラクタが「画板」と書かれている第１のキーをタッチすると、システムは操作可能なコンポーネントを制御するための第１の制御命令を生成することができ、３次元仮想キャラクタが「ミラー」と書かれている第２のキーをタッチすると、システムは操作可能なコンポーネントを制御するための第２の制御命令を取得することができる。
具体的には、ユーザーが操作可能なコンポーネントに対して操作を行って第２の制御命令を送信すると、操作可能なコンポーネント上のプリセット面はミラー形態として表示される。このような利用シーンにおいて、操作可能なコンポーネントにおける操作されるプリセット面はミラーとして使用される。
ステップ６０３において、３次元仮想キャラクタによる制御キーボードに対する第２の操作に応答して、鏡面画像を制御するためのキーを制御キーボードに表示する。
さらに、本開示にて提供される方法において、プリセット面に表示された鏡面画像に対して様々な操作を行うことができ、ユーザーの操作回数を減少させるために、本開示にて提供される解決手段において、ユーザーが制御キーボードに対して第２の操作を行う時、当該制御キーボードに鏡面画像を制御するためのキーを表示することもできる。
実際に利用する際に、制御キーボードは鏡面画像を制御するための複数のキーを表示することができ、各キーは異なる鏡面画像の制御方式に対応し、例えばスタイルの変更を含むことができ、また例えば服装の変更などを含むことができる。
ステップ６０２とステップ６０３の実行順次は制限されない。
ステップ６０４において、３次元仮想空間における３次元仮想キャラクタとプリセット面との相対位置に基づいて、３次元仮想キャラクタに対応する鏡面画像を決定する。
ステップ６０５において、プリセット面において３次元仮想キャラクタの鏡面画像を表示する。
ステップ６０４、６０５は、図５に示す対応する内容と類似するため、重複する説明は省略する。
ステップ６０６において、制御キーボードにおけるキーに対する操作に応答して、操作可能なコンポーネントにおける鏡面画像を処理する。
ここで、操作可能なコンポーネントのプリセット面において３次元仮想キャラクタの鏡面画像を表示した後、ユーザーはさらに３次元仮想キャラクタをキーボードにおけるキーを操作するように制御することにより、コンポーネントを当該キーに対応する処理方式に基づいて鏡面画像を処理するようにすることができる。
本開示にて提供される解決手段は、様々な鏡面画像を処理する方式を提供することにより、ユーザーと仮想空間とのインタラクション方式を増加させることができ、さらに面白さを向上させることができる。
具体的には、キーは外観スタイルを調整するための第１のキーを含み、ユーザーが、３次元仮想キャラクタが当該第１のキーを操作するように制御すると、システムはプリセット面に表示された鏡面画像の外観スタイルを調整することができる。
さらに、第１のキーが操作された後、操作可能なコンポーネントは複数の外観スタイルを表示することができ、ユーザーはそのうちのいずれかのスタイルを選択することができ、システムはプリセット面に表示された鏡面画像を選択された外観スタイルに調整することができる。
実際に利用する際に、複数の外観スタイルを予め設定することもでき、第１のキーを操作するたびに、鏡面画像の外観スタイルを１回更新することができ、予め設定された外観スタイルにより鏡面画像の外観スタイルを一つ一つ更新することができる。
ここで、制御キーボードに表示されるキーはビデオを録画するための第２のキーをさらに含むことができ、ユーザーは３次元仮想キャラクタが当該第２のキーを操作するように制御し、システムにプリセットオーディオを再生させ、プリセット面に表示された鏡面画像を記憶させることができる。
任意選択的な実施形態では、第２のキーが操作された後、操作可能なコンポーネントに音楽リストを表示することもでき、ユーザーは３次元仮想キャラクタがその中からいずれかの音楽を選択するように制御することができ、システムは選択された音楽のオーディオを再生することができる。
具体的には、ユーザーは３次元仮想キャラクタが鏡の前に動作するように制御することができ、システムはプリセット面における当該３次元仮想キャラクタの鏡面画像を記憶することができ、それにより、画面の録画を実現する。
さらに、ビデオを録画する場合、ユーザーが、３次元仮想キャラクタが制御キーボードにおける第２のキーを再び操作するように操作すれば、録画を停止し、オーディオ及び複数フレームの鏡面画像を含むビデオファイルを生成することができる。
実際に利用する際に、記憶されるファイルは連続した複数フレームの３次元仮想キャラクタの鏡面画像を含み、再生されるオーディオをさらに含む。当該ファイルを再生する時、記憶されたオーディオ及び録画された鏡面画像を同時に再生することができる。
ここで、制御キーボードにおけるキーは鏡面画像中の服装を変更するための第３のキーをさらに含み、ユーザーは３次元仮想キャラクタが第３のキーを操作するように制御することができ、システムは服装ライブラリからキャラクタ服装を取得し、キャラクタ服装が装着された３次元仮想キャラクタの鏡面画像を操作可能なコンポーネントに表示する。
具体的には、レンダリングの方式により取得したキャラクタ服装で鏡面画像中の服装を置き換えることができる。
さらに、ユーザーは３次元仮想キャラクタが第３のキーを操作するように制御した後、システムは操作可能なコンポーネントに複数セットのキャラクタ服装を表示することもでき、その中からいずれかのセットのキャラクタ服装を選択し、選択されたキャラクタ服装で鏡面画像中の服装を置き換えることができる。
実際に利用する際に、操作可能なコンポーネントに複数セットのキャラクタ服装を表示することができ、
ユーザーが表示されているキャラクタ服装を選択する時、システムはキャラクタ服装に用いられる選択命令に応答して、目標キャラクタ服装を決定し、
操作可能なコンポーネントに目標キャラクタ服装が装着された３次元仮想キャラクタの鏡面画像を表示することができる。
本開示の任意選択的な実施形態では、操作可能なコンポーネントは画板機能を有することもできる。
システムは３次元仮想空間における操作可能なコンポーネントに対する第１の制御命令に応答して、操作可能なコンポーネントのプリセット面を画板形態として表示するように制御し、
操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを操作可能なコンポーネントに表示し、
操作可能なコンポーネントに対するモデル生成操作に応答して、２次元パターンを処理して３次元モデルを生成することができる。
操作可能なコンポーネントを画板として使用する実現手段は、図１～図３のいずれか１項に記載の実施例と類似するため、重複する説明は省略する。
図７は本開示の第１の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。
本開示にて提供されるコンポーネントを操作する装置７００は、
３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するための描画ユニット７１０と、
前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するためのモデル生成ユニット７２０と、
前記３次元仮想空間において前記３次元モデルを表示するためのモデル表示ユニット７３０と、を含む。
本開示にて提供されるコンポーネントを操作する装置には、仮想空間中に適用できる操作可能なコンポーネントが提供され、ユーザーは操作可能なコンポーネントにパターンを描画することにより、システムに当該パターンに対応する３次元モデルを生成させることができ、このような方式により、ユーザーは自分の操作により、仮想空間にモデルを追加することが可能になり、それによりユーザーと仮想空間との間のより豊富なインタラクション方式が提供される。
図８は本開示の第２の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。
本開示にて提供されるコンポーネントを操作する装置８００には、描画ユニット８１０は図７に示す描画ユニット７１０と類似し、モデル生成ユニット８２０は図７に示すモデル生成ユニット７２０と類似し、モデル表示ユニット８３０は図７に示すモデル表示ユニット７３０と類似する。
本開示にて提供される装置は、描画ユニット８１０が３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答する前に、
前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するために用いられる第１の制御ユニット８４０をさらに含む。
描画ユニット８１０は、具体的に、
前記画板形態のプリセット面に対する描画操作に応答して、描画された２次元パターンを前記画板形態のプリセット面に表示するために用いられる。
前記装置は、第１の制御ユニット８４０が前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御する前に、
前記３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、前記操作可能なコンポーネントを制御するための制御キーボードを表示するために用いられるキーボード表示ユニット８５０をさらに含む。
前記第１の制御ユニット８４０は、具体的に、
前記３次元仮想キャラクタによる前記制御キーボードに対する第１の操作に応答して、前記第１の制御命令を生成し、前記第１の制御命令に基づいて前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するために用いられる。
ここで、前記モデル生成ユニット８２０は、
前記操作可能なコンポーネントに対するモデル生成操作に応答して、プリセット骨格モデルを取得するための取得モジュール８２１と、
前記２次元パターンを３次元モデルに変換し、前記プリセット骨格モデルと前記３次元モデルとの間のスキンバインド関係を決定するためのバインドモジュール８２２と、を含む。
そのうち、取得モジュール８２１は、具体的に、
前記操作可能なコンポーネントに対するモデル生成操作に応答して、複数のデフォルト骨格モデルを前記３次元仮想空間に表示し、
３次元仮想キャラクタによる前記デフォルト骨格モデルのうちいずれかの骨格モデルに対する移動操作に応答して、操作された前記骨格モデルを前記２次元パターンの所在位置まで移動させるために用いられ、ただし、操作された前記骨格モデルは前記プリセット骨格モデルである。
そのうち、前記バインドモジュール８２２は、具体的に、
前記３次元モデルと前記プリセット骨格モデルとの間の相対位置に基づいて、前記３次元モデルと前記プリセット骨格モデルとの間のスキンバインド関係を決定するために用いられる。
ただし、前記プリセット骨格モデルはアニメーションデータを有する。
前記装置は、
前記プリセット骨格モデルのアニメーションデータにより、前記３次元モデルが前記アニメーションデータに対応する動作を行うように駆動するための駆動ユニット８６０をさらに含む。
前記装置は、さらに、
前記３次元仮想空間における前記操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するための第２の制御ユニット８７０と、
前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定し、前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するためのミラーユニット８８０と、をさらに含む。
図９は本開示の第３の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。
図９に示すように、本開示にて提供されるコンポーネントを操作する装置９００は、
３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するための第２の制御ユニット９１０と、
前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定し、前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するためのミラーユニット９２０と、を含む。
図１０は本開示の第４の例示的な実施例によるコンポーネントを操作する装置の構造概略図である。
図１０における第２の制御ユニット１０１０は図９に示す第２の制御ユニット９１０と類似し、ミラーユニット１０２０は図９に示すミラーユニット９２０と類似する。
前記装置は、前記第２の制御ユニット１０１０が前記３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御する前に、
前記３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、前記操作可能なコンポーネントを制御するための制御キーボードを表示するために用いられるキーボード表示ユニット１０３０をさらに含む。
第２の制御ユニット１０１０は、具体的に、
前記３次元仮想キャラクタによる前記制御キーボードに対する第２の操作に応答して、前記第２の制御命令を生成し、前記第２の制御命令に基づいて前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するために用いられる。
任意選択的に、キーボード表示ユニット１０３０は、さらに、
前記３次元仮想キャラクタによる前記制御キーボードに対する第２の操作に応答して、前記鏡面画像を制御するためのキーを前記制御キーボードに表示するために用いられる。
前記装置は、前記制御キーボードにおける前記キーに対する操作に応答して、前記操作可能なコンポーネントにおける鏡面画像を処理するための処理ユニット１０４０をさらに含む。
ここで、前記キーは外観スタイルを調整するための第１のキーを含み、処理ユニット１０４０は、
前記制御キーボードにおける前記第１のキーに対する操作に応答して、前記プリセット面に表示された前記鏡面画像の外観スタイルを調整するための第１の処理モジュール１０４１を含む。
ここで、前記キーはビデオを録画するための第２のキーを含み、処理ユニット１０４０は、
前記制御キーボードにおける前記第２のキーに対する操作に応答して、プリセットオーディオを再生し、前記プリセット面に表示された前記鏡面画像を記憶することと、
ビデオを録画する場合、前記制御キーボードにおける前記第２のキーに対する操作に応答して、前記オーディオ及び複数フレームの前記鏡面画像を含むビデオファイルを生成することと、に用いられる第２の処理モジュール１０４２を含む。
ここで、前記キーは前記鏡面画像中の服装を変更するための第３のキーを含み、処理ユニット１０４０は、
前記制御キーボードにおける前記第３のキーに対する操作に応答して、服装ライブラリからキャラクタ服装を取得することと、
前記操作可能なコンポーネントに前記キャラクタ服装が装着された３次元仮想キャラクタの鏡面画像を表示するすることと、に用いられる第３の処理モジュール１０４３を含む。
ここで、第３の処理モジュール１０４３は、具体的に、
前記操作可能なコンポーネントに複数セットの前記キャラクタ服装を表示することと、
前記キャラクタ服装に用いられる選択命令に応答して、目標キャラクタ服装を決定することと、
前記操作可能なコンポーネントに前記キャラクタ服装が装着された前記３次元仮想キャラクタの鏡面画像を表示することと、に用いられる。
前記装置は、
前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するための第１の制御ユニット１０５０と、
前記操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するための描画ユニット１０６０と、
前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するためのモデル生成ユニット１０７０と、をさらに含む。
本開示は、人工知能技術分野に適用され、特に、コンピュータビジョン、画像処理技術及び拡張現実技術分野に関し、メタバース空間とより豊かなインタラクションを行う手段を提供でき、それにより面白さを向上させるコンポーネントを操作する方法、電子機器、記憶媒体及びプログラムを提供する。
なお、本実施例における鏡面画像はある特定のユーザーを対象とする画像ではなく、ある特定のユーザーの個人情報を反映することができない。
本開示の技術的解決手段において係るユーザー個人情報の収集、記憶、使用、加工、伝送、提供及び開示などの処理は、いずれも関連法律法規の規定に符合し、且つ公序良俗に違反しない。
本開示の実施例によれば、本開示は電子機器、可読記憶媒体及びコンピュータプログラムをさらに提供する。
本開示の実施例によれば、本開示は、可読記憶媒体に記憶されたコンピュータプログラムであって、電子機器の少なくとも１つのプロセッサが可読記憶媒体からコンピュータプログラムを読み取り、少なくとも１つのプロセッサがコンピュータプログラムを実行することにより、電子機器に上記実施例のいずれかに提供される解決手段を実行させるコンピュータプログラムをさらに提供する。
図１１は本開示の実施例を実施するための例示的な電子機器１１００の概略的なブロック図を示す。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルディジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ及び他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。電子機器はさらに、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス及び他の同様のコンピューティング装置など、様々な形態の移動体装置を表すことができる。本明細書による部品、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記載及び／又は請求される本開示の実現を限定することを意図しない。
図１１に示すように、電子機器１１００は、リードオンリーメモリ（ＲＯＭ）１１０２に記憶されたコンピュータプログラムや、記憶ユニット１１０８からランダムアクセスメモリ（ＲＡＭ）１１０３にロードされたコンピュータプログラムに基づいて、各種の適切な動作及び処理を実行することができるコンピューティングユニット１１０１を含む。ＲＡＭ１１０３には、電子機器１１００の操作に必要な各種のプログラム及びデータを記憶することもできる。コンピューティングユニット１１０１、ＲＯＭ１１０２及びＲＡＭ１１０３はバス１１０４を介して相互に接続されている。入力／出力（Ｉ／Ｏ）インタフェース１１０５もバス１１０４に接続されている。
電子機器１１００における複数の部品はＩ／Ｏインタフェース１１０５に接続されており、例えば、キーボード、マウスなどのような入力ユニット１１０６と、例えば、各種のディスプレイ、スピーカなどのような出力ユニット１１０７と、例えば、磁気ディスク、光ディスクなどのような記憶ユニット１１０８と、例えば、ネットワークカード、モデム、無線通信送受信機などのような通信ユニット１１０９とを含む。通信ユニット１１０９は、電子機器１１００が、インターネットのようなコンピュータネットワーク及び／又は各種の電気通信網を介して、他の機器と情報／データを交換することを可能にする。
コンピューティングユニット１１０１は、処理及びコンピューティング能力を有する汎用及び／又は専用処理コンポーネントである。コンピューティングユニット１１０１のいくつかの例として、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、各種の人工知能（ＡＩ）専用コンピューティングチップ、各種の機械学習モデルアルゴリズムを実行するコンピューティングユニット、デジタル信号処理装置（ＤＳＰ）、及びあらゆる適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されるものではない。コンピューティングユニット１１０１は、上述した各方法及び処理、例えばコンポーネントを操作する方法を実行する。例えば、いくつかの実施例では、コンポーネントを操作する方法は、コンピュータソフトウェアプログラムとして実現されてもよく、それは、例えば、記憶ユニット１１０８のような機械可読媒体に具現化されて含まれる。いくつかの実施例では、コンピュータプログラムの一部又は全部は、ＲＯＭ１１０２及び／又は通信ユニット１１０９を経由して、電子機器１１００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ１１０３にロードされ、コンピューティングユニット１１０１によって実行されると、上述したコンポーネントを操作する方法の１つ又は複数のステップを実行することができる。それに代えて、他の実施例では、コンピューティングユニット１１０１は、他の任意の適切な方式（例えばファームウェア）によって、コンポーネントを操作する方法を実行するように構成することができる。
ここで説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラム内で実施されることを含むことができ、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができ、このプログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、この記憶システム、この少なくとも１つの入力装置、及びこの少なくとも１つの出力装置にデータ及び命令を送信することができる。
本開示の方法を実施するためのプログラムコードは１つ又は複数のプログラミング言語の任意の組み合わせを用いて作成することができる。これらのプログラムコードを、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ若しくはコントローラに提供することができ、それにより、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び／又はブロック図において定められた機能／操作が実施される。プログラムコードは、機械上で完全に実行され、機械上で部分的に実行され、スタンドアロンソフトウェアパッケージとして機械上で部分的に実行され、且つ遠隔機械上で部分的に実行され、又は遠隔機械やプロセッサ上で完全に実行されてもよい。
本開示の文脈において、機械可読媒体は有形の媒体であってもよく、それは、命令実行システム、装置又は機器に使用され、或いは、命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含み、又は記憶することができる。機械可読媒体は機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は電子的、磁気的、光学的、電磁的、赤外線、又は半導体システム、装置又は機器、或いは上述した内容の任意の適切な組み合わせを含むことができるが、これらに限定されるものではない。機械可読記憶媒体のより具体的な例は１つ又は複数の電線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又は上記内容の任意の適切な組み合わせを含む。
ユーザーとのインタラクションを提供するために、ここで説明されるシステム及び技術をコンピュータ上で実施することができ、このコンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）やＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）であって、ユーザーがこのキーボード及びこのポインティングデバイスによりコンピュータに入力を提供可能なものと、を有する。他の種類の装置は、ユーザーとのインタラクションを提供するために用いることもでき、例えば、ユーザーに提供されるフィードバックは、任意の形態の感知フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、また、任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザーからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザーインタフェース又はウェブブラウザを有するユーザーコンピュータであり、ユーザーは、このグラフィカルユーザーインタフェース又はこのウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションできる）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントとの任意の組み合わせを含むコンピューティングシステムで実施される。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバを含んでもよい。クライアントとサーバは、一般に、互いに離れており、通常、通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、且つ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおけるホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は略称「ＶＰＳ」）において存在する、管理の難易度が大きく、業務拡張性が低いという欠点を解決するためのものである。サーバは分散システムのサーバ、又はブロックチェーンと結び付けたサーバであってもよい。
以上に示される様々な形態のフローを使用して、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本開示に記載されている各ステップは、並列に実行してもよいし、順次実行してもよいし、異なる順序で実行してもよいが、本開示に開示されている技術的解決手段が所望する結果を実現することができる限り、本明細書ではこれに限定されない。
上記の具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件と他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替を行うことができることを理解すべきである。本開示の精神及び原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (35)

  1. ３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するステップと、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するステップと、
    ３次元仮想空間において３次元モデルを表示するステップと、を含む、
    コンポーネントを操作する方法。
  2. 前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するステップをさらに含み、
    ３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示する前記ステップは、
    前記画板形態のプリセット面に対する描画操作に応答して、描画された２次元パターンを前記画板形態のプリセット面に表示するステップを含む、
    請求項１に記載の方法。
  3. 前記３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、前記操作可能なコンポーネントを制御するための制御キーボードを表示するステップをさらに含み、
    前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示する前記ステップは、
    前記３次元仮想キャラクタによる前記制御キーボードに対する第１の操作に応答して、前記第１の制御命令を生成し、前記第１の制御命令に基づいて前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するステップを含む、
    請求項２に記載の方法。
  4. 前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成する前記ステップは、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、プリセット骨格モデルを取得するステップと、
    前記２次元パターンを３次元モデルに変換し、前記プリセット骨格モデルと前記３次元モデルとの間のスキンバインド関係を決定するステップと、を含む、
    請求項１に記載の方法。
  5. 前記操作可能なコンポーネントに対するモデル生成操作に応答して、プリセット骨格モデルを取得する前記ステップは、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、複数のデフォルト骨格モデルを前記３次元仮想空間に表示するステップと、
    ３次元仮想キャラクタによる前記デフォルト骨格モデルのうちいずれかの骨格モデルに対する移動操作に応答して、操作された前記骨格モデルを前記２次元パターンの所在位置まで移動させるステップであって、操作された前記骨格モデルは前記プリセット骨格モデルであるステップと、を含む、
    請求項４に記載の方法。
  6. 前記プリセット骨格モデルと前記３次元モデルとの間のスキンバインド関係を決定する前記ステップは、
    前記３次元モデルと前記プリセット骨格モデルとの間の相対位置に基づいて、前記３次元モデルと前記プリセット骨格モデルとの間のスキンバインド関係を決定するステップを含む、
    請求項４に記載の方法。
  7. 前記プリセット骨格モデルはアニメーションデータを有し、
    前記方法は、
    前記プリセット骨格モデルのアニメーションデータにより、前記３次元モデルが前記アニメーションデータに対応する動作を行うように駆動するステップをさらに含む、
    請求項６に記載の方法。
  8. 前記３次元仮想空間における前記操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するステップと、
    前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定するステップと、
    前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するステップと、をさらに含む、
    請求項１に記載の方法。
  9. ３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するステップと、
    前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定するステップと、
    前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するステップと、を含む、
    コンポーネントを操作する方法。
  10. 前記３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、前記操作可能なコンポーネントを制御するための制御キーボードを表示するステップをさらに含み、
    ３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御する前記ステップは、
    前記３次元仮想キャラクタによる前記制御キーボードに対する第２の操作に応答して、前記第２の制御命令を生成し、前記第２の制御命令に基づいて前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するステップを含む、
    請求項９に記載の方法。
  11. 前記３次元仮想キャラクタによる前記制御キーボードに対する第２の操作に応答して、前記鏡面画像を制御するためのキーを前記制御キーボードに表示するステップと、
    前記制御キーボードにおける前記キーに対する操作に応答して、前記操作可能なコンポーネントにおける鏡面画像を処理するステップと、をさらに含む、
    請求項１０に記載の方法。
  12. 前記キーは外観スタイルを調整するための第１のキーを含み、前記制御キーボードにおける前記キーに対する操作に応答して、前記操作可能なコンポーネントにおける鏡面画像を処理する前記ステップは、
    前記制御キーボードにおける前記第１のキーに対する操作に応答して、前記プリセット面に表示された前記鏡面画像の外観スタイルを調整するステップを含む、
    請求項１１に記載の方法。
  13. 前記キーはビデオを録画するための第２のキーを含み、前記制御キーボードにおける前記キーに対する操作に応答して、前記操作可能なコンポーネントにおける鏡面画像を処理する前記ステップは、
    前記制御キーボードにおける前記第２のキーに対する操作に応答して、プリセットオーディオを再生し、前記プリセット面に表示された前記鏡面画像を記憶するステップと、
    ビデオを録画する場合、前記制御キーボードにおける前記第２のキーに対する操作に応答して、前記オーディオ及び複数フレームの前記鏡面画像を含むビデオファイルを生成するステップと、を含む、
    請求項１１に記載の方法。
  14. 前記キーは前記鏡面画像中の服装を変更するための第３のキーを含み、前記制御キーボードにおける前記キーに対する操作に応答して、前記操作可能なコンポーネントにおける鏡面画像を処理する前記ステップは、
    前記制御キーボードにおける前記第３のキーに対する操作に応答して、服装ライブラリからキャラクタ服装を取得するステップと、
    前記操作可能なコンポーネントに前記キャラクタ服装が装着された３次元仮想キャラクタの鏡面画像を表示するステップと、を含む、
    請求項１１に記載の方法。
  15. 服装ライブラリからキャラクタ服装を取得する前記ステップは、
    前記操作可能なコンポーネントに複数セットの前記キャラクタ服装を表示するステップと、
    前記キャラクタ服装に用いられる選択命令に応答して、目標キャラクタ服装を決定するステップと、を含み、
    前記操作可能なコンポーネントに前記キャラクタ服装が装着された３次元仮想キャラクタの鏡面画像を表示する前記ステップは、
    前記操作可能なコンポーネントに前記キャラクタ服装が装着された前記３次元仮想キャラクタの鏡面画像を表示するステップを含む、
    請求項１４に記載の方法。
  16. 前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するステップと、
    前記操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するステップと、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するステップと、を含む、
    請求項９に記載の方法。
  17. ３次元仮想空間における操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するための描画ユニットと、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するためのモデル生成ユニットと、
    前記３次元仮想空間において前記３次元モデルを表示するためのモデル表示ユニットと、を含む、
    コンポーネントを操作する装置。
  18. 前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するための第１の制御ユニットをさらに含み、
    前記描画ユニットは、
    前記画板形態のプリセット面に対する描画操作に応答して、描画された２次元パターンを前記画板形態のプリセット面に表示するために用いられる、
    請求項１７に記載の装置。
  19. 前記３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、前記操作可能なコンポーネントを制御するための制御キーボードを表示するためのキーボード表示ユニットをさらに含み、
    前記第１の制御ユニットは、
    前記３次元仮想キャラクタによる前記制御キーボードに対する第１の操作に応答して、前記第１の制御命令を生成し、前記第１の制御命令に基づいて前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するために用いられる、
    請求項１８に記載の装置。
  20. 前記モデル生成ユニットは、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、プリセット骨格モデルを取得するための取得モジュールと、
    前記２次元パターンを３次元モデルに変換し、前記プリセット骨格モデルと前記３次元モデルとの間のスキンバインド関係を決定するためのバインドモジュールと、を含む、
    請求項１７に記載の装置。
  21. 前記取得モジュールは、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、複数のデフォルト骨格モデルを前記３次元仮想空間に表示することと、
    ３次元仮想キャラクタによる前記デフォルト骨格モデルのうちいずれかの骨格モデルに対する移動操作に応答して、操作された前記骨格モデルを前記２次元パターンの所在位置まで移動させることであって、操作された前記骨格モデルは前記プリセット骨格モデルであることと、に用いられる、
    請求項２０に記載の装置。
  22. 前記バインドモジュールは、
    前記３次元モデルと前記プリセット骨格モデルとの間の相対位置に基づいて、前記３次元モデルと前記プリセット骨格モデルとの間のスキンバインド関係を決定するために用いられる、
    請求項２０に記載の装置。
  23. 前記プリセット骨格モデルはアニメーションデータを有し、
    前記装置は、
    前記プリセット骨格モデルのアニメーションデータにより、前記３次元モデルが前記アニメーションデータに対応する動作を行うように駆動するための駆動ユニットをさらに含む、
    請求項２２に記載の装置。
  24. 前記３次元仮想空間における前記操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するための第２の制御ユニットと、
    前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定し、前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するためのミラーユニットと、をさらに含む、
    請求項１７～２３のいずれか１項に記載の装置。
  25. ３次元仮想空間における操作可能なコンポーネントに対する第２の制御命令に応答して、前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するための第２の制御ユニットと、
    前記３次元仮想空間における３次元仮想キャラクタと前記プリセット面との相対位置に基づいて、前記３次元仮想キャラクタに対応する鏡面画像を決定し、前記プリセット面において前記３次元仮想キャラクタの鏡面画像を表示するためのミラーユニットと、を含む、
    コンポーネントを操作する装置。
  26. 前記３次元仮想空間における３次元仮想キャラクタのプリセット命令に応答して、前記操作可能なコンポーネントを制御するための制御キーボードを表示するためのキーボード表示ユニットをさらに含み、
    前記第２の制御ユニットは、
    前記３次元仮想キャラクタによる前記制御キーボードに対する第２の操作に応答して、前記第２の制御命令を生成し、前記第２の制御命令に基づいて前記操作可能なコンポーネントのプリセット面をミラー形態として表示するように制御するために用いられる、
    請求項２５に記載の装置。
  27. 前記キーボード表示ユニットは、さらに、
    前記３次元仮想キャラクタによる前記制御キーボードに対する第２の操作に応答して、前記鏡面画像を制御するためのキーを前記制御キーボードに表示するために用いられ、
    前記装置は、前記制御キーボードにおける前記キーに対する操作に応答して、前記操作可能なコンポーネントにおける鏡面画像を処理するための処理ユニットをさらに含む、
    請求項２６に記載の装置。
  28. 前記キーは外観スタイルを調整するための第１のキーを含み、前記処理ユニットは、
    前記制御キーボードにおける前記第１のキーに対する操作に応答して、前記プリセット面に表示された前記鏡面画像の外観スタイルを調整するための第１の処理モジュールを含む、
    請求項２７に記載の装置。
  29. 前記キーはビデオを録画するための第２のキーを含み、前記処理ユニットは、
    前記制御キーボードにおける前記第２のキーに対する操作に応答して、プリセットオーディオを再生し、前記プリセット面に表示された前記鏡面画像を記憶することと、
    ビデオを録画する場合、前記制御キーボードにおける前記第２のキーに対する操作に応答して、前記オーディオ及び複数フレームの前記鏡面画像を含むビデオファイルを生成することと、に用いられる第２の処理モジュールを含む、
    請求項２７に記載の装置。
  30. 前記キーは前記鏡面画像中の服装を変更するための第３のキーを含み、前記処理ユニットは、
    前記制御キーボードにおける前記第３のキーに対する操作に応答して、服装ライブラリからキャラクタ服装を取得することと、
    前記操作可能なコンポーネントに前記キャラクタ服装が装着された３次元仮想キャラクタの鏡面画像を表示することと、に用いられる第３の処理モジュールを含む、
    請求項２７に記載の装置。
  31. 前記第３の処理モジュールは、
    前記操作可能なコンポーネントに複数セットの前記キャラクタ服装を表示することと、
    前記キャラクタ服装に用いられる選択命令に応答して、目標キャラクタ服装を決定することと、
    前記操作可能なコンポーネントに前記キャラクタ服装が装着された前記３次元仮想キャラクタの鏡面画像を表示することと、に用いられる、
    請求項３０に記載の装置。
  32. 前記３次元仮想空間における前記操作可能なコンポーネントに対する第１の制御命令に応答して、前記操作可能なコンポーネントのプリセット面を画板形態として表示するように制御するための第１の制御ユニットと、
    前記操作可能なコンポーネントに対する描画操作に応答して、描画された２次元パターンを前記操作可能なコンポーネントに表示するための描画ユニットと、
    前記操作可能なコンポーネントに対するモデル生成操作に応答して、前記２次元パターンを処理して３次元モデルを生成するモデル生成ユニットと、をさらに含む、
    請求項２５～３１のいずれか１項に記載の装置。
  33. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、そのうち、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサが請求項１～１６のいずれか１項に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
    電子機器。
  34. コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令はコンピュータに請求項１～１６のいずれか１項に記載の方法を実行させるために用いられるコンピュータ命令が記憶されている、
    非一時的なコンピュータ可読記憶媒体。
  35. プロセッサによって実行されると、請求項１～１６のいずれか１項に記載の方法のステップが実現される、
    コンピュータプログラム。
JP2022130937A 2022-03-07 2022-08-19 コンポーネントを操作する方法、電子機器、記憶媒体及びプログラム Ceased JP2022159519A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210225795.0A CN116778114A (zh) 2022-03-07 2022-03-07 对组件进行操作的方法、电子设备、存储介质及程序产品
CN202210225795.0 2022-03-07

Publications (1)

Publication Number Publication Date
JP2022159519A true JP2022159519A (ja) 2022-10-17

Family

ID=83113667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022130937A Ceased JP2022159519A (ja) 2022-03-07 2022-08-19 コンポーネントを操作する方法、電子機器、記憶媒体及びプログラム

Country Status (4)

Country Link
US (1) US20220392152A1 (ja)
JP (1) JP2022159519A (ja)
KR (1) KR20220119328A (ja)
CN (1) CN116778114A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110475A (ja) * 2007-11-01 2009-05-21 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理方法、ならびに、プログラム
JP2012053631A (ja) * 2010-08-31 2012-03-15 Canon Inc 情報処理装置、情報処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373187B (zh) * 2016-06-28 2019-01-11 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN111563966B (zh) * 2019-01-28 2023-08-29 广东虚拟现实科技有限公司 虚拟内容显示方法、装置、终端设备及存储介质
EP3914998A1 (en) * 2019-08-30 2021-12-01 Apple Inc. Method and device for sketch-based placement of virtual objects
CN110639204A (zh) * 2019-10-18 2020-01-03 网易（杭州）网络有限公司 游戏数据处理方法、装置以及终端设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110475A (ja) * 2007-11-01 2009-05-21 Konami Digital Entertainment Co Ltd 画像処理装置、画像処理方法、ならびに、プログラム
JP2012053631A (ja) * 2010-08-31 2012-03-15 Canon Inc 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
CN116778114A (zh) 2023-09-19
US20220392152A1 (en) 2022-12-08
KR20220119328A (ko) 2022-08-29

Similar Documents

Publication Publication Date Title
CN110465097A (zh) 游戏中的角色立绘显示方法及装置、电子设备、存储介质
JP2023029984A (ja) 仮想イメージを生成するための方法、装置、電子機器及び可読記憶媒体
JP7561770B2 (ja) アニメキャラクタの変更
US11645805B2 (en) Animated faces using texture manipulation
US20210335051A1 (en) Method based on unique metadata for making direct modifications to 2d, 3d digital image formats quickly and rendering the changes on ar/vr and mixed reality platforms in real-time
CN116958344A (zh) 虚拟形象的动画生成方法、装置、计算机设备及存储介质
CN115082607A (zh) 虚拟角色头发渲染方法、装置、电子设备和存储介质
Thorn Learn unity for 2d game development
CN118015160A (zh) 生成表情动画的方法、装置、存储介质及电子装置
Lang et al. Massively multiplayer online worlds as a platform for augmented reality experiences
Fu et al. Easyvrmodeling: Easily create 3d models by an immersive vr system
WO2024124805A1 (zh) 交互动画的处理方法、装置、存储介质及电子装置
JP2022159519A (ja) コンポーネントを操作する方法、電子機器、記憶媒体及びプログラム
Yan et al. “Dawn of South Lake”——Design and Implementation of Immersive Interactive System Based on Virtual Reality Technology
US20240362844A1 (en) Facial expression processing method and apparatus, computer device, and storage medium
WO2024183466A1 (zh) 虚拟角色的切换方法、装置、设备及存储介质
US20220392150A1 (en) Computer-assisted graphical development tools
CN118079399A (zh) 生成动画的方法、装置、存储介质及电子装置
Staadt et al. JAPE: A prototyping system for collaborative virtual environments
CN118379415A (zh) 生成波点形态的方法、装置、存储介质及电子装置
CN116645461A (zh) 虚拟三维模型的光线追踪调节方法、装置及存储介质
CN116271832A (zh) 虚拟形象的编辑方法、装置、介质、电子设备及程序产品
CN118045353A (zh) 游戏画面显示控制方法、装置、存储介质及电子装置
CN116309966A (zh) 虚拟对象的变形处理方法、装置、存储介质与电子设备
CN117115324A (zh) 模型的信息处理方法、装置、可读存储介质和电子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240313

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20240726