JP7344974B2 - マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム - Google Patents

マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP7344974B2
JP7344974B2 JP2021549944A JP2021549944A JP7344974B2 JP 7344974 B2 JP7344974 B2 JP 7344974B2 JP 2021549944 A JP2021549944 A JP 2021549944A JP 2021549944 A JP2021549944 A JP 2021549944A JP 7344974 B2 JP7344974 B2 JP 7344974B2
Authority
JP
Japan
Prior art keywords
virtual character
virtual
information
user interface
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021549944A
Other languages
English (en)
Other versions
JP2022537614A (ja
JPWO2020253655A5 (ja
Inventor
ジョアン,イジョウ
ジョウ,ジイ
Original Assignee
テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド filed Critical テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド
Publication of JP2022537614A publication Critical patent/JP2022537614A/ja
Publication of JPWO2020253655A5 publication Critical patent/JPWO2020253655A5/ja
Application granted granted Critical
Publication of JP7344974B2 publication Critical patent/JP7344974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/02Non-photorealistic rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Description

[関連出願への相互参照]
本願は、2019年06月21日に中国特許庁へ出願された、出願番号が201910544446.3であり、発明名称が「マルチ仮想キャラクターの制御方法、装置、デバイスおよび記憶媒体」である中国特許出願の優先権を主張し、その内容が参照により本願に組み込まれる。
[技術分野]
本願の実施例は、コンピュータ分野に関し、特に、マルチ仮想キャラクターの制御方法、装置、デバイスおよび記憶媒体に関する。
拡張現実(AR:Augmented Reality)技術は、現実世界の情報と仮想世界の情報とをシームレスに統合する技術であり、現実環境と仮想物体とをリアルタイムで同一の画面に重ね合わせる(superimpose)ことができる。
AR技術は、いくつかのアプリケーションに適用され、該ARアプリケーションでは、仮想キャラクターが提供されており、該仮想キャラクターは、動物やアニメなどのイメージを持つオブジェクトであってよい。該ARアプリケーションは、仮想キャラクターをリアルタイムで現実環境に重ね合わせることができ、例えば、視覚化された拡張現実では、ユーザは、ディスプレイを介して、現実環境が仮想キャラクターの周りを取り囲んでいることを観察することができる。該ARアプリケーションは、また、AR撮影技術を実現し、現実環境と仮想キャラクターが重ね合わせられた後の拡張現実を同一の画面に撮影することもできる。AR撮影の過程において、ユーザは、仮想キャラクターに対して、例えば、拡大、縮小、ドラッグなどの操作を行うことができる。
しかし、AR撮影を行う過程において、複数の仮想キャラクターが同時に拡張現実に置かれると、仮想キャラクター同士の間に重ね合わせ現象が存在する場合、クリッピング現象(clipping phenomenon)が発生してしまい、そのため、ユーザが仮想キャラクターに対して選定操作を行う際に、誤操作が発生する場合があり、例えば、第1仮想キャラクターが第2仮想キャラクター上に部分的に重なっている場合、ユーザが重なっている部分をクリックして第1仮想キャラクターを選択する際に、最終的に選出されたのは第2仮想キャラクターになる可能性があり、これにより、ヒューマンコンピュータインタラクションが一層困難になる。
本願の実施例は、マルチ仮想キャラクターの制御方法、装置、デバイスおよび記憶媒体を提供し、複数の仮想キャラクターに対してAR撮影を行うシナリオにおいて、ユーザは、ターゲット仮想キャラクターを正確に選択することができる。その技術案は、以下の通りである。
本願の一態様によれば、マルチ仮想キャラクターの制御方法が提供され、この方法は、端末に適用され、端末では、拡張現実機能を有するアプリケーションが実行されており、該方法は、
アプリケーションの第1ユーザインターフェースを表示するステップであって、第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれているステップと、
第1ユーザインターフェースでの、少なくとも2つの仮想キャラクターに対する第1選択操作を受信するステップと、
アプリケーションの第2ユーザインターフェースを表示するステップであって、第2ユーザインターフェースに現実世界の背景画面、および背景画面に位置する少なくとも2つの仮想キャラクターが表示されており、少なくとも2つの仮想キャラクターは、深度情報に基づいて少なくとも2つの仮想キャラクターのレンダリング順番を決定した後にレンダリングすることにより得られたものであり、深度情報は、第1選択操作の順番に基づいて設定されたものであるステップと、
第2ユーザインターフェースでの第2選択操作を受信するステップと、
第2選択操作およびレンダリング順番に基づいて、少なくとも2つの仮想キャラクターの中から、ターゲット仮想キャラクターを決定するステップと、を含む。
本願の別の態様によれば、拡張現実機能を有するアプリケーションが実行されているマルチ仮想キャラクターの制御装置が提供され、該装置は、
アプリケーションの第1ユーザインターフェースを表示する表示モジュールであって、第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれている表示モジュールと、
第1ユーザインターフェースでの、少なくとも2つの仮想キャラクターに対する第1選択操作を受信する受信モジュールと、
第2選択操作およびレンダリング順番に基づいて、少なくとも2つの仮想キャラクターの中から、ターゲット仮想キャラクターを決定する決定モジュールと、を含み、ここで
前記表示モジュールは、アプリケーションの第2ユーザインターフェースを表示し、第2ユーザインターフェースに現実世界の背景画面、および背景画面に位置する少なくとも2つの仮想キャラクターが表示されており、少なくとも2つの仮想キャラクターは、深度情報に基づいて少なくとも2つの仮想キャラクターのレンダリング順番を決定した後にレンダリングすることにより得られたものであり、深度情報は、第1選択操作の順番に基づいて設定されたものであり、
前記受信モジュールは、第2ユーザインターフェースでの第2選択操作を受信する。
本願の別の態様によれば、コンピュータデバイスが提供され、該コンピュータデバイスは、
メモリと、
メモリに電気的に接続されているプロセッサと、を含み、ここで、
プロセッサは、実行可能な命令をロードして実行することにより、上記のいずれか1つの態様に記載のマルチ仮想キャラクターの制御方法を実現する。
本願の別の態様によれば、コンピュータ読み取り可能な記憶媒体が提供され、
該読み取り可能な記憶媒体には、少なくとも1つの命令、少なくとも1つのプログラム、コードセットまたは命令セットが記憶されており、該少なくとも1つの命令、少なくとも1つのプログラム、コードセットまたは命令セットは、プロセッサによってロードされて実行されることにより、上記のいずれか1つの態様に記載のマルチ仮想キャラクターの制御方法を実現する。
本願の実施例によって提供される技術案がもたらす有益な効果は、少なくとも以下を含み、即ち、
深度情報によってレンダリング順番を決定し、レンダリング順番に従って、少なくとも2つの仮想キャラクターを描画し、これにより、仮想キャラクター同士の間に重ね合わせが存在する場合にクリッピング現象が発生することが回避され、これによって、ユーザは、仮想キャラクターに対して選択操作を行う際に、ターゲット仮想キャラクターを正確に決定することができ、ユーザは、ARシナリオにおいて、2次元写真を操作すると同じように3次元モデルを制御し操作することができ、タッチ判定と視覚との間の一致性が確保され、3次元仮想キャラクターについてのヒューマンコンピュータインタラクションの問題が解決され、例えば、第1仮想キャラクターと第2仮想キャラクターが重なっており、かつレンダリング順番のうち、第1仮想キャラクターが第2仮想キャラクターよりも先行する場合、端末は、選択操作に従って、正確に第1仮想キャラクターをターゲット仮想キャラクターとして決定することができる。
本発明の実施例における技術案をより明確に説明するために、以下、実施例の説明において必要とされる図面を簡単に説明し、明らかに、以下の説明における図面は、本明細書のいくつかの実施例にすぎず、当業者にとって、創造的な努力なしに、これらの図面から他の図面を得ることもできる。
本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法の実施環境の模式図である。 本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法のフローチャートである。 本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の1つの例示的な実施例によって提供される仮想キャラクターの画素処理方法のフローチャートである。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法のフローチャートである。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法のフローチャートである。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の1つの例示的な実施例によって提供されるグリッドの模式図である。 本願の1つの例示的な実施例によって提供される情報コードの情報構成の模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法のフローチャートである。 本願の別の例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法が実現するインターフェースの模式図である。 本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御装置のブロック図である。 本願の1つの例示的な実施例によって提供される端末のブロック図である。 本願の1つの例示的な実施例によって提供されるサーバのブロック図である。
本願の実施例の目的、技術案および利点をより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳細に説明する。
まず、本願に係る用語を説明する。
AR技術:現実世界の情報と仮想世界の情報とをシームレスに統合する技術であり、現実環境と仮想物体とをリアルタイムで同一の画面に重ね合わせることができる。
本願によって提供される実施例では、アプリケーションは、AR技術を使用して端末で実行されるときに、3次元仮想環境を提供し、3次元仮想環境には、撮影カメラによって収集された現実環境、およびコンピュータによってシミュレーションして生成された仮想物体、仮想キャラクターなどが含まれている。
ここで、仮想キャラクターは、上記の3次元仮想環境における活動可能なオブジェクトであり、該活動可能なオブジェクトは、仮想人物、仮想動物、アニメ人物のうちの少なくとも1つであってもよい。オプションとして、仮想キャラクターは、スケルタルアニメーション技術(skeletal animation technology)に基づいて構築された3次元立体モデルである。各仮想キャラクターは、3次元仮想環境においてそれ自体の形状および体積を有し、3次元仮想環境内の空間の一部を占めている。
本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法の実施環境の模式図が示されている図1を参照すると、該実施環境には、端末120、サーバクラスター140、および通信ネットワーク160が含まれている。
端末120は、通信ネットワーク160を介してサーバクラスター140に接続される。拡張現実機能を備えているアプリケーションは、端末120にインストールされて実行され、該アプリケーションは、また、仮想キャラクターをサポートする機能を備えている。オプションとして、該アプリケーションは、拡張現実(AR:Augmented Reality)ゲームプログラム、AR教育プログラム、およびARナビゲーションプログラムのうちのいずれか1つであってもよい。
オプションとして、端末120には、情報共有チャネルを有するアプリケーションもインストールされて実行され、該アプリケーションには、第1アカウントまたは第2アカウントがログインされている。
オプションとして、端末120は、スマートフォン、ゲームホスト、デスクトップコンピュータ、タブレットコンピュータ、電子書籍リーダー、MP3(Moving Picture Experts Group Audio Layer III、MP3)プレーヤー、MP4(Moving Picture Experts Group Layer IV、MP4)プレーヤー、およびラップトップポータブルコンピュータのうちの少なくとも1つであってもよい。
サーバクラスター140は、1つのサーバ、複数のサーバ、クラウドコンピューティングプラットフォームおよび仮想化センターのうちの少なくとも1つを含む。サーバクラスター140は、拡張現実機能を有するアプリケーションに対してバックグラウンドサービスを提供するために使用される。オプションとして、サーバクラスター140は、主要的な計算作業を担当し、端末120は、副次的な計算作業を担当し、または、サーバクラスター140は、副次的な計算作業を担当し、端末120は、主要的な計算作業を担当し、あるいは、サーバクラスター140と端末120の両者の間では、分散式計算アーキテクチャを使用して協同計算を行う。
オプションとして、サーバクラスター140は、アクセスサーバとバックエンドサーバとを含む。アクセスサーバは、端末120のアクセスサービスおよび情報受送信サービスを提供して、有効な情報を端末120とバックエンドサーバとの間では転送するために使用される。バックエンドサーバは、アプリケーションのバックグラウンドサービス、例えば、ゲームロジックサービス、素材提供サービス、仮想キャラクターの生成サービス、仮想キャラクターの3次元イメージ生成サービス、仮想キャラクターの2次元画像変換および記憶サービス、仮想キャラクターの取引サービス、仮想キャラクターの展示サービスのうちの少なくとも1つを提供するために使用される。バックエンドサーバは、1つまたは複数であってもよい。バックエンドサーバが複数である場合、少なくとも2つのバックエンドサーバは、異なるサービスを提供するために使用され、および/または、少なくとも2つのバックエンドサーバは、同じサービスを提供するために使用され、本願の実施例は、これに対して限定しない。
通信ネットワーク160は、有線ネットワークおよび/または無線ネットワークであってもよく、有線ネットワークは、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、光ファイバーネットワークなどであってもよく、無線ネットワークは、モバイル通信ネットワークまたは無線フィデリティネットワーク(WiFi:WIreless Fidelity)であってもよい。
本願において、実施例によって提供されるマルチ仮想キャラクターの制御方法は、上記の実施環境に適用され、以下の適用シナリオをサポートする。
マルチ仮想キャラクターの制御方法は、ARゲームプログラムに適用され、ARゲームプログラムによって、ユーザインターフェース上に複数の仮想キャラクターを展示して制御し、ユーザインターフェースでトリガーされた選択操作を受信し、選択操作のトリガー位置から物理光線を放射し、物理光線と衝突した仮想キャラクターをターゲット仮想キャラクターとして決定し、制御操作によって、ターゲット仮想キャラクターに対する制御を実現し、例えば、仮想キャラクターが3次元仮想環境における位置を移動するように制御したりして、仮想キャラクターが連続的な動作を実行するように制御するなど。
マルチ仮想キャラクターの制御方法は、AR教育プログラムに適用され、AR教育プログラムによって、ユーザインターフェース上に複数の仮想キャラクターを表示して制御し、例えば、AR教育プログラムによって、3次元仮想環境において、化学実験をシミュレーションし、ユーザインターフェースにおいて実験器具や薬品を表示し、ユーザインターフェースでトリガーされた選択操作を受信し、選択操作のトリガー位置から物理光線を放射し、物理光線と衝突した実験器具(薬品)をターゲット器具(薬品)として決定し、制御操作によって、ターゲット器具の配置、実験装置の組み立て、薬品の添加、測定、秤量などを実現する。
マルチ仮想キャラクターの制御方法は、AR軍事シミュレーションプログラムに適用され、AR軍事シミュレーションプログラムによって、3次元仮想環境において、ユーザインターフェースにおいて複数の仮想キャラクターを展示して制御し、例えば、AR軍事シミュレーションプログラムによって、軍事展開を行い、ユーザインターフェースにおいて複数の前哨基地(Outpost )を表示し、ユーザインターフェースでトリガーされた選択操作を受信し、選択操作のトリガー位置から物理光線を放射し、物理光線と衝突した前哨基地をターゲット前哨基地として決定し、ドラッグ操作によって、ターゲット前哨基地を合理的な位置に配置して、警戒線を構築する。
マルチ仮想キャラクターの制御方法は、AR建物プログラムに適用され、AR建物プログラムによって、3次元仮想環境において、ユーザインターフェースにおいて複数のタイプの建物、例えば、住宅、店舗、車庫、交通信号機、高架橋などを表示し、ユーザインターフェースでトリガーされた選択操作を受信し、選択操作のトリガー位置から物理光線を放射し、物理光線と衝突した建物をターゲット建物として決定し、制御操作によって、ターゲット建物の地理的位置またはターゲット建物の表示角度を設定する。
上記の適用シナリオは、本願によって提供されるマルチ仮想キャラクターの制御方法の適用シナリオを説明するための例としてのみ使用され、上記の適用シナリオに限定されない。
本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御方法のフローチャートが示されている図2を参照すると、本実施例では、該方法が図1に示す実施環境に適用されることを例として説明する。該方法は、ステップ201~ステップ205を含む。
ステップ201で、アプリケーションの第1ユーザインターフェースを表示する。
端末には、拡張表示機能を有するアプリケーションが実行されており、該アプリケーションは、仮想キャラクターをサポートする機能を有する。端末には、該アプリケーションの第1ユーザインターフェースが表示されており、上記の第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれている。
オプションとして、該アプリケーションは、ARゲームプログラム、AR教育プログラム、AR軍事シミュレーションプログラム、AR建物プログラム、およびARナビゲーションプログラムのうちの少なくとも1つを含む。
オプションとして、端末がアプリケーションの第1ユーザインターフェースを表示するステップは、以下の模式的なステップ、即ち、
端末にアプリケーションの第2ユーザインターフェースを表示するステップであって、第2ユーザインターフェースには、リスト項目コントロールが含まれており、該リスト項目コントロールは、複数の仮想キャラクターを表示するための選択項目をトリガーするために使用されるコントロールであるステップと、
端末は、リスト項目コントロールでのトリガー操作を受信するステップと、
上記のトリガー操作に従って、アプリケーションの第1ユーザインターフェースを表示するステップであって、第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれており、AR撮影インターフェースに現実世界の背景画面が表示されているステップと、を含むようにしてもよい。
つまり、端末は、本実施例におけるステップ203を実行した後、仮想キャラクターを再び選択するか、または仮想キャラクターの追加を選択する場合、第2ユーザインターフェースにおけるリスト項目コントロールをトリガーすることにより、第1ユーザインターフェースを表示する。
または、端末がアプリケーションの第1ユーザインターフェースを表示するステップは、また、以下の模式的なステップ、即ち、
端末は、アプリケーションのARホームページを表示するステップであって、ARホームページには、表示コントロールが含まれており、該表示コントロールは、複数の仮想キャラクターを表示するための選択項目をトリガーするために使用されるコントロールであるステップと、
端末は、表示コントロールでのトリガー操作を受信するステップと、
上記のトリガー操作に従って、アプリケーションの第1ユーザインターフェースを表示するステップであって、第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれており、ARホームページに現実世界の背景画面が表示されているステップと、を含むようにしてもよい。
オプションとして、上記のトリガー操作には、シングルクリック操作、マルチクリック操作、長押し操作とスライド操作、ドラッグ操作およびそれらの組み合わせのうちの少なくとも1つが含まれる。
模式的には、図3に示すように、端末にARアプリケーションのARホームページ11が表示され、ARホームページ11には、表示コントロール12が含まれており、端末は、表示コントロール12での長押し操作を受信し、端末に第1ユーザインターフェース13が表示され、第1ユーザインターフェース13には、複数の仮想キャラクターの選択項目14が表示されている。
ステップ202で、第1ユーザインターフェースでの、少なくとも2つの仮想キャラクターに対する第1選択操作を受信する。
端末は、1ユーザインターフェースでの、少なくとも2つの仮想キャラクターに対する第1選択操作を受信し、オプションとして、第1選択操作には、シングルクリック操作、マルチクリック操作、スライド操作、ドラッグ操作、長押し操作およびそれらの組み合わせのうちの少なくとも1つが含まれる。
ステップ203で、アプリケーションの第2ユーザインターフェースを表示する。
第2ユーザインターフェースに現実世界の背景画面、および背景画面に位置する少なくとも2つの仮想キャラクターが表示されており、少なくとも2つの仮想キャラクターは、深度情報に基づいて少なくとも2つの仮想キャラクターのレンダリング順番を決定した後にレンダリングすることにより得られたものであり、深度情報は、第1選択操作の順番に基づいて設定されたものである。
オプションとして、仮想キャラクターの深度情報には、仮想キャラクターの被写界深度が含まれており、ここで、被写界深度とは、撮影カメラレンズまたは他の撮影装置の先端から測定された、被写体の前後距離の範囲を指し、該距離内で、被写体がはっきりと撮影して成像されることができる。
オプションとして、端末がアプリケーションの第2ユーザインターフェースを表示するステップは、以下の模式的なステップ、即ち、
第1選択操作による少なくとも2つの仮想キャラクターへの選択順番に従って、少なくとも2つの仮想キャラクターの深度情報を設定するステップと、
深度情報に基づいて、少なくとも2つの仮想キャラクターに対するレンダリング順番を決定するステップと、
レンダリング順番に従って、少なくとも2つの仮想キャラクターをレンダリングして第2ユーザインターフェースに表示するステップと、を含むようにしてもよく、
ここで、レンダリングとは、実際の撮影カメラの原理に従って、仮想キャラクターのモデルに対して着色を行うことを指し、本実施例では、端末は、仮想キャラクターのモデルをレンダリングし、これにより、仮想キャラクターは、3次元仮想環境で立体感を呈して、レンダリング順番とは、少なくとも2つの仮想キャラクターのモデルに対するレンダリングの前後順位を指す。
模式的には、図4に示すように、第1ユーザインターフェース13でシングルクリックして、選択項目1、選択項目2および選択項目3目を順次に選定し、次に、確認ボタンコントロール15をシングルクリックして、上記の選択項目1、選択項目2および選択項目3に対応する3つの仮想キャラクターを表示することを決定し、第2ユーザインターフェース19に仮想キャラクター16、仮想キャラクター17、仮想キャラクター18を表示する。ここで、上記の3つの仮想キャラクターの描画順番は、深度情報に基づいて決定されたものであり、深度情報は、第1選択操作に従って决定されたものであり、例えば、選択項目1は、仮想キャラクター17に対応し、選択項目2は、仮想キャラクター18に対応し、まず選択項目1を選択して次に選択項目2を選択するような選択順番に基づいて、仮想キャラクター17の深度情報を6に設定し、仮想キャラクター18の深度情報を無限大に設定し、そうすると、レンダリング順番は、まず仮想キャラクター17、次に仮想キャラクター18になり、図4では、視覚的効果上、第2ユーザインターフェースにおける仮想キャラクター17は、仮想キャラクター18の位置よりも前面にある。
図5に示すように、端末が仮想キャラクターの各画素を描画するプロセスは、以下のとおりであり、即ち、
2031で、カメラテクスチャを描画し、
端末は、仮想キャラクターの該画素点に対応するカメラテクスチャを描画する。カメラテクスチャとは、カメラによって収集された物体の表面の溝(凹凸)および/またはパターンを指し、カメラとは、ユーザが仮想世界を見るときのカメラモデルである。
2032で、ストローク(stroke)を描画し、
ストロークとは、エッジラインを作ることを指し、図5に示すプロセスにおいて、該画素点が有効な画素点である場合、端末は、該画素に対してストロークを描画し、有効な画素とは、該画素点が仮想キャラクターの画像のエッジ上に位置することを指す。
2033で、特殊効果を描画し、
特殊効果とは、特殊な効果を指し、例えば、仮想キャラクターの服の色が絶えずに変化したり、または、仮想キャラクターのスカートの裾が絶えずに揺れたりするなどである。該画素点に特殊効果が含まれている場合、端末は、該画素点での特殊効果を描画する。
2034で、モデルを描画し、
モデルとは、物体の形態学的構造を表す構造体を指し、端末は、該画素点でのモデルを描画する。
2035で、深度をクリアし、
現在の画素点の深度情報をクリアし、ステップ2032に戻って実行し、仮想キャラクターに対する描画が完了するまで、次の画素点を描画し、ステップ2036を実行する。
2036で、終了する。
ステップ204で、第2ユーザインターフェースでの第2選択操作を受信する。
端末は、第2ユーザインターフェースでの、仮想キャラクターに対する第2選択操作を受信し、オプションとして、第2選択操作には、シングルクリック操作、マルチクリック操作および長押し操作のうちの少なくとも1つが含まれる。
ステップ205で、第2選択操作およびレンダリング順番に基づいて、少なくとも2つの仮想キャラクターの中から、ターゲット仮想キャラクターを決定する。
仮想キャラクター同士の間に重なっていない場合、端末は、第2選択操作によって対応して選択された仮想キャラクターをターゲット仮想キャラクターとして決定する。
オプションとして、端末は、第2選択操作のトリガー位置から物理光線を放射し、物理光線と衝突した仮想キャラクターをターゲット仮想キャラクターとして決定する。例えば、図6に示すように、第2選択操作に基づくトリガー位置が仮想キャラクター18の所在する領域にある場合、トリガー位置から放射された物理光線が仮想キャラクター18と衝突し、仮想キャラクター18がターゲット仮想キャラクターとして決定される。
少なくとも2つの仮想キャラクターが重なっている場合、端末は、第2選択操作に従って、レンダリング順番のうち先順位の仮想キャラクターをターゲット仮想キャラクターとして決定する。
オプションとして、少なくとも2つの仮想キャラクターが重なっている場合、端末がターゲット仮想キャラクターを決定する模式的なステップは、以下の通りであり、即ち、
1)仮想キャラクターが所在する3次元仮想環境において、端末は、第2選択操作のトリガー位置から物理光線を放射し、
2)レンダリング順番に従って物理光線と衝突した仮想キャラクターを、端末は、ターゲット仮想キャラクターとして決定する。
物理光線と仮想キャラクターとの衝突とは、物理光線の要素と仮想キャラクターの要素との衝突を指す。端末は、衝突検出によって、物理光線と仮想キャラクターとが衝突したという結論を決定する。ここで、物理光線は、レンダリング順番のうち先の順位の仮想キャラクターと衝突する。
例えば、図6に示すように、仮想キャラクター16と仮想キャラクター17は、部分的に重なっており、仮想キャラクター17のレンダリング順番は、仮想キャラクター16よりも先になり、第2選択操作のトリガー位置が重なっている領域にある場合、端末がトリガー位置から放射した物理光線は、仮想キャラクター17と衝突し、仮想キャラクター17がターゲット仮想キャラクターとして決定される。
以上のように、本実施例によって提供されるマルチ仮想キャラクターの制御方法は、端末では、拡張現実機能を有するアプリケーションが実行されている場合、深度情報によってレンダリング順番を決定し、レンダリング順番に従って、少なくとも2つの仮想キャラクターを描画し、これにより、仮想キャラクター同士の間に重ね合わせが存在する場合にクリッピング現象が発生することが回避され、これによって、ユーザは、仮想キャラクターに対して選択操作を行う際に、ターゲット仮想キャラクターを正確に決定することができ、ユーザがARシナリオで、2次元写真を操作すると同じように3次元モデルを制御し操作することができ、タッチ判定と視覚との間の一致性が確保され、3次元仮想キャラクターについてのヒューマンコンピュータインタラクションの問題が解決され、例えば、第1仮想キャラクターと第2仮想キャラクターが重なっており、かつレンダリング順番のうち、第1仮想キャラクターが第2仮想キャラクターよりも先行する場合、端末は、選択操作に従って、正確に第1仮想キャラクターをターゲット仮想キャラクターとして決定することができる。
説明すべきものとして、本実施例では、端末に表示されるユーザインターフェースは2次元画像であり、例えば、第1ユーザインターフェースおよび第2ユーザインターフェースは、いずれも、2次元画像である。
説明すべきものとして、図2に基づいて、ステップ205の後に、ステップ301~ステップ302が追加され、端末は、ターゲット仮想キャラクターを決定した後、第2ユーザインターフェースを更新し、図7に示すように、模式的なステップは、以下の通りであり、即ち、
ステップ301で、ターゲット仮想キャラクターをレンダリング順番のうち先順位の仮想キャラクターとして決定し、レンダリング順番を更新する。
端末は、元のレンダリング順番を基にして、ターゲット仮想キャラクターのレンダリング順番を先順位に設定し、残りの仮想キャラクターのレンダリング順番をそのまま維持し、レンダリング順番を更新する。
例えば、仮想キャラクター16、仮想キャラクター17、および仮想キャラクター18に対するレンダリング順番は、仮想キャラクター16、仮想キャラクター17、仮想キャラクター18であり、端末が仮想キャラクター17をターゲット仮想キャラクターとして決定した場合、レンダリング順番は、仮想キャラクター17、仮想キャラクター16、仮想キャラクター18に更新される。
ステップ302で、更新されたレンダリング順番に基づいて、少なくとも2つの仮想キャラクターを表示する。
端末は、更新されたレンダリング順番に基づいて、少なくとも2つの仮想キャラクターを再び描画し表示する。模式的には、図8に示すように、第2ユーザインターフェース19における3つの仮想キャラクターのレンダリング順番は、仮想キャラクター17、仮想キャラクター16、仮想キャラクター18であり、端末が仮想キャラクター18をターゲット仮想キャラクターとして決定した後、レンダリング順番は、仮想キャラクター18、仮想キャラクター17、仮想キャラクター16に更新され、第2ユーザインターフェース23において、更新されたレンダリング順番に従って、上記の3つの仮想キャラクターを表示し、視覚効果上、仮想キャラクター18は、明らかに仮想キャラクター16および仮想キャラクター17よりも前面にある。
いくつかの実施例では、第2ユーザインターフェースは、撮影インターフェースであり、図2に基づいて、ステップ205の後にステップ401~ステップ407が追加され、端末は、マルチ仮想キャラクターへの撮影機能および撮影共有機能を実現し、図9に示すように、模式的なステップは、以下の通りであり、即ち、
ステップ401で、ターゲット仮想キャラクターに対してトリガーされた姿勢設定操作を受信する。
姿勢設定操作は、ターゲット仮想キャラクターの姿勢情報を設定するために使用されるものであり、オプションとして、姿勢情報には、仮想キャラクターの位置情報、動作情報およびサイズ情報のうちの少なくとも1つが含まれる。オプションとして、位置情報には、ターゲット仮想キャラクターの3次元仮想環境における地理的位置情報およびそれ自体の回転情報が含まれる。
オプションとして、姿勢設定操作には、スライド操作、シングルクリック操作、マルチクリック操作、ドラッグ操作およびズーム操作のうちの少なくとも1つが含まれる。
模式的には、端末がターゲット仮想キャラクターに対してトリガーされた設定操作を受信するステップは、下記の模式的なステップ、即ち、
ターゲット仮想キャラクターに対するスライド操作を受信するステップであって、上記のスライド操作は、ターゲット仮想キャラクターの3次元仮想環境における位置情報を設定するために使用されるものであるステップ、
または、ターゲット仮想キャラクターに対するドラッグ操作を受信するステップであって、上記のドラッグ操作は、ターゲット仮想キャラクターの3次元仮想環境における位置情報を設定するために使用されるものであるステップ、
または、ターゲット仮想キャラクターに対するズーム操作を受信するステップであって、上記のズーム操作は、ターゲット仮想キャラクターのサイズ情報を設定するために使用されるものであるステップ、
または、ターゲット仮想キャラクターの連続的な動作を再生するステップと、
第2ユーザインターフェースでのシングルクリック操作を受信するステップであって、上記のシングルクリック操作は、ターゲット仮想キャラクターの動作をフリーズするために使用されるものであり、上記のフリーズ動作は、ターゲット仮想キャラクターの動作情報を設定するために使用されるものであるステップと、を含むようにしてもよい。
ステップ402で、姿勢設定操作に従って、ターゲット仮想キャラクターの姿勢情報を設定する。
オプションとして、端末は、姿勢設定操作に従って、ターゲット仮想キャラクターの表示角度を回転し、例えば、端末は、左右方向でのスライド操作に従って、ターゲット仮想キャラクターの表示角度に対して回転調整を行う。
または、端末は、姿勢設定操作に従って、ターゲット仮想キャラクターの3次元仮想環境における地理的位置を設定し、例えば、端末は、上下方向でのドラッグ操作に従って、ターゲット仮想キャラクターを第2ユーザインターフェースで上下移動させる。
または、端末は、姿勢設定操作に従って、ターゲット仮想キャラクターのサイズ情報を設定し、例えば、端末は、ズーム操作に従って、ターゲット仮想オブジェクトのサイズの大きさを設定する。
または、端末は、姿勢設定操作に従って、ターゲット仮想キャラクターの動作情報を設定し、例えば、端末は、ターゲット仮想キャラクターの連続的な動作を再生し、シングルクリック操作に従って、ターゲット仮想キャラクターの動作をフリーズする。
ステップ403で、撮影コントロールでトリガーされた撮影操作を受信する。
第2ユーザインターフェースには、撮影コントロールが含まれており、端末は、撮影コントロールでトリガーされた撮影操作を受信する。該撮影操作は、姿勢情報が設定された後の少なくとも2つの仮想キャラクターを撮影するために使用されるものであるか、または、姿勢情報が設定された後の少なくとも2つの仮想キャラクターとのグループ写真を撮るために使用されるものである。
ステップ404で、撮影操作に従って、少なくとも2つの仮想キャラクターを撮影し、撮影写真を得る。
端末は、撮影操作に従って、少なくとも2つの仮想キャラクターを撮影し、撮影写真を得て、ここで、撮影写真には、姿勢情報の設定に応じて表示されたターゲット仮想キャラクターが含まれる。オプションとして、撮影写真には、現実環境におけるオブジェクトも含まれる。例えば、現実環境におけるオブジェクトは、現実の物体、現実の動物、現実の人であってもよい。
いくつかの実施例では、アプリケーションにおいて少なくとも2つの仮想キャラクターを初めて撮影するとき、端末は、撮影が横向きモード(landscape mode)で実行されてもよい、ということを提示する。模式的には、図10に示すように、ユーザインターフェース31において、「携帯電話を回転すると、横向きモードで撮影することができる」という提示語32が表示されている。このとき、携帯電話のスクリーンがロック状態である場合、端末は、携帯電話のスクリーンのロック解除を提示する。例えば、ユーザインターフェースにおいて、「まず、携帯電話のスクリーンのロック解除を行ってください」という提示語が表示される。
ステップ405で、アプリケーションの第3ユーザインターフェースを表示する。
端末は、撮影写真をアプリケーションの第3ユーザインターフェースに表示し、第3ユーザインターフェースには、共有ボタンコントロールも含まれている。共有ボタンコントロールは、撮影写真と、撮影写真における少なくとも2つの仮想キャラクターの姿勢情報と、のうちの少なくとも1つを共有するために使用されるものである。
ステップ406で、共有ボタンコントロールでの共有操作を受信する。
端末は、共有ボタンコントロールでの共有操作を受信する。例えば、共有操作は、シングルクリック操作であってもよい。
ステップ407で、共有操作に従って、情報コードを第1アカウントから第2アカウントに共有する。
上記の情報コードには、撮影写真における少なくとも2つの仮想キャラクターの姿勢情報が含まれており、情報コードは、少なくとも2つの仮想キャラクターの姿勢を設定するために使用されるものである。
端末が共有操作に従って情報コードを第1アカウントから第2アカウントに共有する模式的なステップは、以下の通りであり、即ち、
1)共有操作に従って、少なくとも2つの仮想キャラクターの姿勢情報を取得し、情報コードを生成する。
オプションとして、端末は、地理的位置情報をグリッド(Gridレイアウト)にマッピングしてコーディングし、例えば、端末は、地理的位置情報を表す16個の浮動小数点数を、既知の上限を持つ2つの整数に変換し、上記の上限は、端末のスクリーンの表示サイズに基づいて決定されたものである。
オプションとして、端末は、回転情報を表すオイラー角(Euler angle)を2次元平面にマッピングし、また、オイラー角がマッピングされて得られたハッシュ値をハッシュ関数によってコーディングし、例えば、端末は、0度~360度の範囲内の角度値によってオイラー角を表し、また、角度値をハッシュ関数によって計算し、1つのハッシュ値を得る。
オプションとして、端末は、サイズ情報の精度を低下させ、精度を低下させたサイズ情報をコーディングする。
模式的には、図11および図12に示すように、上記の地理的位置情報は、2つの整数、例えばGrid原点(0,0)で表わされてもよく、各整数は、1つの16ビット(bit)インデックスにコーディングされ(例えば「xGridインデックス」および「yGridインデックス」)、上記の回転情報は、3つの16bitの整数(オイラー角を表す)を1つの32bitの整数にマージし(例えば「回転Hash」)、上記のサイズ情報は、3つの浮動小数点数の精度を1つの16bitの整数まで低下させ(例えば「ズーム」)、ここで、図中の各小さな格子は、8bitを表す。上記の姿勢情報は、10バイト「byte」の情報コードによって伝送されることができる。
オプションとして、端末は、姿勢情報をコーディングして情報コードを得た後、情報コードを処理することもできる。例えば、端末は、Base64(64個のプリント可能な文字に基づいてバイナリデータを表す)によって情報コードを暗号化する。
オプションとして、姿勢情報のデータタイプは、転置型(Transform)である。
2)情報コードを情報共有チャネルにコピーしてペーストする。
オプションとして、端末は、共有操作に従って、情報コードを情報共有チャネルに自動的にコピーしてペーストし、または、ユーザは、情報コードを情報共有チャネルにコピーしてペーストする。
オプションとして、情報共有チャネルは、インスタント通信プログラムまたはネットワークプラットホームであってもよい。
3)情報共有チャネルを介して、情報コードを第1アカウントから第2アカウントに共有する。
端末のアプリケーションには、第1アカウントがログインされており、第1アカウントを介して、情報コードを第2アカウントに共有する。
模式的には、端末のアプリケーションは、インスタント通信プログラムであり、該インスタント通信プログラムには、第1アカウントがログインされており、第1アカウントと第2アカウントは、ソーシャル友達であり、端末は、第1アカウントを介して、第2アカウントに情報コードを送信する。
または、端末のアプリケーションは、ネットワークプラットホームであり、該ネットワークプラットホームには、第1アカウントがログインされており、第1アカウントと第2アカウントは、見知らぬ人であり、端末は、第1アカウントを介して、ネットワークプラットホームで情報コードを公開し、第2アカウントは、該ネットワークプラットホームにアクセスして情報コードを取得することができる。
図13に示すように、第3ユーザインターフェース43には、共有ボタンコントロール41が含まれており、共有ボタンコントロール41をクリックすると、情報コードを取得することができ、情報コードの取得に成功した場合、「情報コードが既にコピーされており、早く共有しましょう」という提示情報が端末に表示される。第3ユーザインターフェースには、共有ボタンコントロール42も含まれており、該共有ボタンコントロール42は、撮影写真を共有するために使用されるものである。
上記のように、本実施例によって提供されるマルチ仮想キャラクターの制御方法は、情報コードを使用して少なくとも2つの仮想キャラクターの姿勢情報を共有することにより、ユーザ同士の間では、仮想キャラクターの様々な撮影ポーズを共有することを可能とし、かつ情報コードは、極めて短い文字列で伝送されることができ、これによって、姿勢情報の伝送難度を低下させ、例えば、図12における情報コードは、10バイトのみを占めている。
模式的には、端末は、プログレスバーを介して、仮想キャラクターの動作を設定することができ、例えば、図14において、端末は、選択コントロール51でのトリガー操作を受信し、動作選択項目を表示し、動作選択項目52でのトリガー操作を受信し、動作選択項目52に対応する動作を再生し、即ち、仮想キャラクター54は上記の動作を実行し、プログレスバー53でのドラッグ操作を受信すると、動作画面を選択することができ、プログレスバー53でのフリーズ操作を受信すると、仮想キャラクター54の動作をフリーズすることができ、フリーズされた動作は、最終的に決定された動作である。
ここで、動作には、休憩、パワーの蓄積、待機、ジャンプ、攻撃、スキルの発動、倒れ、眩暈などが含まれてもよい。
次に、端末は、ターゲット仮想キャラクターを削除することもでき、図14に示すように、端末は、ターゲット仮想キャラクターが仮想キャラクター54であると決定した場合、ユーザインターフェース56に削除ボタンコントロール55が表示されており、端末は、削除ボタンコントロール55でのトリガー操作を受信した場合、仮想キャラクター54を削除して、ユーザインターフェース57を表示する。
さらに、端末は、カメラを前向きカメラと後向きカメラとの間で切り替えることができ、図14に示すように、ユーザインターフェース57には、カメラの切り替えボタン58が含まれている。
仮想キャラクターに対して姿勢情報を設定した後、端末は、仮想キャラクターの姿勢情報をワンクリックでデフォルトの姿勢情報に復元することもでき、図14に示すように、ユーザインターフェース57には、復元コントロール59が含まれており、端末は、復元コントロール59でのトリガー操作を受信すると、カード60を表示し、カード60には、リマインダ情報が含まれており、復元するかどうかは、確認またはキャンセル操作によって決定される。
さらに、端末は、第2ユーザインターフェースを表示した後、表示される仮想キャラクターを追加することもできる。図15に示すように、ユーザインターフェース61には、リストコントロール62が含まれており、端末は、リストコントロール62でのトリガー操作を受信し、仮想キャラクターの選択項目63を表示し、端末は、選択操作に従って、仮想キャラクターを追加して表示することができる。
また、説明すべきものとして、端末は、仮想キャラクターに対してフィルタまたは美顔効果を追加することができる。図16に示すように、ユーザインターフェース64には、フィルタコントロール65が表示されており、フィルタコントロール65でのトリガー操作が受信され、フィルタリスト69が表示され、端末は、フィルタコントロール66でのトリガー操作を受信すると、フィルタ下の対応するフィルタリスト69を表示し、図16におけるユーザインターフェース67に示すように、端末は、美顔コントロール68でのトリガー操作を受信すると、美顔効果下の対応するフィルタリスト69を表示する。端末では、また、プログレスバーによってフィルタの相応的な数値を設定し、例えば、美顔効果の適用される百分率を調整する。
端末は、また、撮影過程において、ユーザインターフェースにおいてステッカー(sticker)を追加することができる。図17に示すように、ユーザインターフェース71には、ステッカーボタンコントロール72が含まれており、端末は、ステッカーボタンコントロール72でのトリガー操作を受信し、ステッカーリストを表示し、端末は、テンプレートに対する選択操作を受信し、テンプレート75を表示する。テンプレート75には、閉じボタン74が含まれており、端末は、閉じボタン74でのトリガー操作を受信すると、ステッカー動作をキャンセルする。テンプレート75には、回転ボタン73が含まれており、端末は、回転ボタン73でのドラッグ操作を受信すると、ドラッグ操作に従って、テンプレート75を回転させる。端末は、テンプレート75のテキストコントロールでのトリガー操作を受信すると、ユーザインターフェース76を表示し、ユーザインターフェース76には、テンプレート75にテキスト内容を入力するために使用されるキーボード77が含まれる。
いくつかの実施例では、端末は、情報コードによって仮想キャラクターの姿勢情報を設定することができ、模式的には、図2に基づいて、ステップ203をステップ501~ステップ502に置き換え、図18に示すように、ステップは、以下の通りであり、即ち、
ステップ501で、情報コードを取得する。
情報コードは、ターゲット姿勢情報をコーディングして得られたものであり、ターゲット姿勢情報は、少なくとも2つの仮想キャラクターの姿勢を設定するために使用されるものである。
オプションとして、端末は、第2アカウントが情報共有チャネルを介して第1アカウントに共有した情報コードを受信する。
ステップ502で、第2ユーザインターフェースに、ターゲット姿勢情報が設定されている少なくとも2つの仮想キャラクターを表示する。
オプションとして、ターゲット姿勢情報には、ターゲット深度情報が含まれており、少なくとも2つの仮想キャラクターの姿勢情報の設定には、下記の模式的なステップを含み、即ち、
1)端末は、ターゲット深度情報とレンダリング順番との間の第1対応関係を決定する。
2)第1対応関係に基づいて、n個のターゲット姿勢情報とn個の仮想キャラクターとの間の第2対応関係を決定する。
3)第2対応関係に基づいて、i番目のターゲット姿勢情報をj番目の仮想キャラクターの姿勢情報として設定する。
4)第2ユーザインターフェースにj番目の仮想キャラクターを表示する。
ここで、n、i、jは、正の整数であり、i、jは、いずれも、n未満である。
模式的には、第1対応関係と第2対応関係とが含まれている表1に示すように、ターゲット深度情報がa>b>cである場合、ターゲット姿勢情報に対応するレンダリング順番は、1、2、3の順次になり、このような場合、3番目のターゲット姿勢情報は、1番目の仮想キャラクターに対応し、2番目のターゲット姿勢情報は、2番目の仮想キャラクターに対応し、1番目のターゲット姿勢情報は、3番目の仮想キャラクターに対応しており、端末は、3番目のターゲット姿勢情報を1番目の仮想キャラクターの姿勢情報として設定し、2番目のターゲット姿勢情報を2番目の仮想キャラクターの姿勢情報として設定し、1番目のターゲット姿勢情報を3番目の仮想キャラクターの姿勢情報として設定する。
模式的には、情報コードの取得方式は、図19に示すようにしてもよく、第1ユーザインターフェース81には、コーディングコントロール82が含まれており、端末は、コーディングコントロール82でのトリガー操作を受信し、カード83を表示し、カード83には、コード入力コントロールが表示されており、ユーザは、情報コードをコード入力コントロールにコピーしてペーストし、確認ボタンをクリックして仮想キャラクターの姿勢情報を設定し、ユーザインターフェース84を表示することができ、ユーザインターフェース84には、「情報コードは4つのキャラクターに対応する」という提示情報85が含まれており、これは、情報コードに対応する仮想キャラクターの数をユーザに提示するために使用されるものである。
上記のように、本実施例によって提供されるマルチ仮想キャラクターの制御方法は、情報コードを使用して少なくとも2つの仮想キャラクターの姿勢情報を共有することにより、ユーザ同士の間では、仮想キャラクターの様々な撮影ポーズを共有することを可能とし、かつ情報コードは、極めて短い文字列で伝送されることができ、これによって、姿勢情報の伝送難度を低下させる。
本願の1つの例示的な実施例によって提供されるマルチ仮想キャラクターの制御装置が示されている図20を参照して、該装置には、拡張現実機能を有するアプリケーションが実行されており、該装置は、
アプリケーションの第1ユーザインターフェースを表示する表示モジュール601であって、第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれている表示モジュール601と、
第1ユーザインターフェースでの、少なくとも2つの仮想キャラクターに対する第1選択操作を受信する第1受信モジュール602と、
第2選択操作およびレンダリング順番に基づいて、少なくとも2つの仮想キャラクターの中から、ターゲット仮想キャラクターを決定する決定モジュール603と、を含み、ここで、
表示モジュール601は、アプリケーションの第2ユーザインターフェースを表示し、第2ユーザインターフェースには、現実世界の背景画面、および背景画面に位置する少なくとも2つの仮想キャラクターが表示されており、少なくとも2つの仮想キャラクターは、深度情報に基づいて少なくとも2つの仮想キャラクターのレンダリング順番を決定した後にレンダリングすることにより得られたものであり、深度情報は、第1選択操作の順番に基づいて設定されたものであり、
第1受信モジュール602は、第2ユーザインターフェースでの第2選択操作を受信する。
いくつかの実施例では、決定モジュール603は、少なくとも2つの仮想キャラクターが重なっている場合、第2選択操作に従って、レンダリング順番のうち先順位の仮想キャラクターをターゲット仮想キャラクターとして決定する。
いくつかの実施例では、決定モジュール603は、仮想キャラクターが所在する3次元仮想環境において、第2選択操作のトリガー位置から物理光線を放射し、レンダリング順番に従って物理光線と衝突した仮想キャラクターをターゲット仮想キャラクターとして決定し、ここで、物理光線は、レンダリング順番のうち先順位の仮想キャラクターと衝突する。
いくつかの実施例では、該装置は、
ターゲット仮想キャラクターをレンダリング順番のうち先順位の仮想キャラクターとして決定し、レンダリング順番を更新する更新モジュール604、をさらに含み、
表示モジュール601は、更新後のレンダリング順番に従って、少なくとも2つの仮想キャラクターを表示する。
いくつかの実施例では、第2ユーザインターフェースには、撮影コントロールが含まれており、
該装置は、
ターゲット仮想キャラクターに対してトリガーされた姿勢設定操作を受信する第1受信モジュール602と、
姿勢設定操作に従って、ターゲット仮想キャラクターの姿勢情報を設定する設定モジュール605と、
撮影操作に従って、少なくとも2つの仮想キャラクターを撮影し、撮影写真を得る撮影モジュール606であって、撮影写真には、姿勢情報の設定に応じて表示されたターゲット仮想キャラクターが含まれる撮影モジュール606と、をさらに含み、ここで、
第1受信モジュール602は、撮影コントロールでトリガーされた撮影操作を受信する。
いくつかの実施例では、該装置は、
アプリケーションの第3ユーザインターフェースを表示する表示モジュール601であって、第3ユーザインターフェースには、撮影写真と共有ボタンコントロールとが含まれる表示モジュール601と、
共有ボタンコントロールでの共有操作を受信する第1受信モジュール602と、
共有操作に従って、情報コードを第1アカウントから第2アカウントに共有する共有モジュール607であって、情報コードには、撮影写真における少なくとも2つの仮想キャラクターの姿勢情報が含まれており、情報コードは、少なくとも2つの仮想キャラクターの姿勢を設定するために使用されるものである共有モジュール607と、をさらに含む。
いくつかの実施例では、共有モジュール607は、共有操作に従って、少なくとも2つの仮想キャラクターの姿勢情報を取得し、情報コードを生成し、情報コードを情報共有チャネルにコピーしてペーストし、情報共有チャネルを介して、情報コードを第1アカウントから第2アカウントに共有する。
いくつかの実施例では、表示モジュール601は、情報コードを取得し、情報コードは、ターゲット姿勢情報をコーディングして得られたものであり、ターゲット姿勢情報は、少なくとも2つの仮想キャラクターの姿勢を設定するために使用されるものであり、第2ユーザインターフェースに、ターゲット姿勢情報が設定されている少なくとも2つの仮想キャラクターが表示される。
いくつかの実施例では、ターゲット姿勢情報には、ターゲット深度情報が含まれ、
表示モジュール601は、ターゲット深度情報とレンダリング順番との間の第1対応関係を決定し、第1対応関係に基づいて、n個のターゲット姿勢情報とn個の仮想キャラクターとの間の第2対応関係を決定し、第2対応関係に基づいて、i番目のターゲット姿勢情報をj番目の仮想キャラクターの姿勢情報として設定し、第2ユーザインターフェースにj番目の仮想キャラクターを表示し、n、i、jは、正の整数であり、i、jは、いずれも、n未満である。
いくつかの実施例では、該装置は、
第2アカウントが情報共有チャネルを介して第1アカウントに共有した情報コードを受信する第2受信モジュール608、をさらに含む。
本実施例によって提供されるマルチ仮想キャラクターの制御装置は、深度情報によってレンダリング順番を決定し、レンダリング順番に従って、少なくとも2つの仮想キャラクターを描画し、これにより、仮想キャラクター同士の間に重ね合わせが存在する場合にクリッピング現象が発生することが回避され、これによって、ユーザは、仮想キャラクターに対して選択操作を行う際に、ターゲット仮想キャラクターを正確に決定することができ、ユーザがARシナリオで、2次元写真を操作すると同じように3次元モデルを制御し操作することができ、タッチ判定と視覚との間の一致性が確保され、3次元仮想キャラクターについてのヒューマンコンピュータインタラクションの問題が解決され、例えば、第1仮想キャラクターと第2仮想キャラクターが重なっており、かつレンダリング順番のうち、第1仮想キャラクターが第2仮想キャラクターよりも先行する場合、端末は、選択操作に従って、正確に第1仮想キャラクターをターゲット仮想キャラクターとして決定することができる。
図21は、本願の1つの例示的な実施例によって提供される端末700の構造のブロック図を示している。該端末700は、スマートフォン、タブレットコンピュータ、MP3(Moving Picture Experts Group Audio Layer III、ムービングピクチャーエキスパートグループオーディオレイヤー3)プレーヤー、MP4(Moving Picture Experts Group Audio Layer IV、ムービングピクチャーエキスパートグループオーディオレイヤー4)プレーヤー、ラップトップコンピュータまたはデスクトップコンピュータであってもよい。端末700は、ユーザ機器、携帯型端末、ラップトップ型端末、デスクトップ型端末などの他の名称で呼ばれることもある。
一般的に、端末700は、プロセッサ701とメモリ702とを含む。
プロセッサ701は、1つまたは複数の処理コアを備えるようにしてよく、例えば、4コアプロセッサ、8コアプロセッサなどである。プロセッサ701は、DSP(Digital Signal Processing、デジタル信号処理)、FPGA(Field―Programmable Gate Array、フィールドプログラマブルゲートアレイ)、PLA(Programmable Lplogic Array、プログラマブルロジックアレイ)のうちの少なくとも1つのハードウェア形式を採用して実現するようにしてもよい。プロセッサ701は、メインプロセッサとコプロセッサとを備えるようにしてもよく、メインプロセッサは、起動状態でのデータを処理するためのプロセッサであり、CPU(central processing unit、中央プロセッサ)とも呼ばれ、コプロセッサは、待機状態でのデータを処理するための低消費電力プロセッサである。いくつかの実施形態では、プロセッサ701は、GPU(Graphics Processing Unit、グラフィックスプロセッシングユニット)が集積されているようにしてもよく、GPUは、ディスプレイに表示する必要のあるコンテンツへのレンダリングおよび描画を担当するために使用される。いくつかの実施形態では、プロセッサ701は、AI(Artiphicial Intelligence、人工知能)プロセッサを備えるようにしてもよく、このAIプロセッサは、マシン学習に関するコンピューティング動作を処理するために使用される。
メモリ702は、1つまたは複数のコンピュータ読み取り可能な記憶媒体を備えるようにしてよく、当該コンピュータ読み取り可能な記憶媒体は、非一時的なものであってもよい。メモリ702はまた、高速ランダムアクセスメモリと、不揮発性メモリとを備えるようにしてもよく、例えば、1つまたは複数の磁気ディスク記憶デバイス、フラッシュメモリ記憶デバイスなどである。いくつかの実施形態では、メモリ702における非一時的なコンピュータ読み取り可能な記憶媒体は、少なくとも1つの命令を記憶するために使用され、当該少なくとも1つの命令は、プロセッサ701によって実行されることで、本願の方法の実施形態によって提供されるマルチ仮想キャラクターの制御方法を実現するために使用されるものである。
いくつかの実施形態では、端末700は、オプションとして、周辺デバイスインターフェース703と、少なくとも1つの周辺デバイスとを備えるようにしてもよい。プロセッサ701、メモリ702、および周辺デバイスインターフェース703の間では、バスまたは信号線によって接続されるようにしてもよい。各周辺デバイスは、バス、信号線、または回路ボードを介して周辺デバイスインターフェース703と接続されるようにしてもよい。具体的に、周辺デバイスには、無線周波数回路704と、ディスプレイ705と、カメラコンポーネント706と、オーディオ回路707と、位置決めコンポーネント708と、電源709とのうちの少なくとも1つが含まれる。
周辺デバイスインターフェース703は、I/O(Input /Output、入力/出力)に関連する少なくとも1つの周辺デバイスをプロセッサ701およびメモリ702に接続するために使用されてもよい。いくつかの実施形態では、プロセッサ701、メモリ702、および周辺デバイスインターフェース703は、同一のチップまたは回路ボードに集積され、いくつかの他の実施形態では、プロセッサ701、メモリ702、および周辺デバイスインターフェース703のうちのいずれかの1つまたは2つは、単独のチップまたは回路ボード上で実現されてもよいし、本実施形態は、これに対して限定しない。
無線周波数回路704は、RF(Radio Frequency、無線周波数)信号を送受信するために使用され、電磁信号とも呼ばれる。無線周波数回路704は、電磁信号を介して通信ネットワークおよび他の通信デバイスと通信を行う。無線周波数回路704は、電気信号を電磁信号に変換して送信を行うか、または、受信した電磁信号を電気信号に変換する。オプションとして、無線周波数回路704は、アンテナシステム、RFトランシーバ、1つまたは複数の増幅器、チューナー、発振器、デジタル信号プロセッサ、コーデックチップセット、ユーザIDモジュールカードなどを備えている。無線周波数回路704は、少なくとも1つの無線通信プロトコルによって他の端末と通信するようにしてよい。当該無線通信プロトコルは、ワールドワイドウェブ、都市規模ネットワーク、イントラネット、各世代移動通信ネットワーク(2G、3G、4Gおよび5G)、無線ローカルエリアネットワークおよび/またはWiFi(Wireless Fidelity、ワイヤレスフィディリティー)ネットワークを含むが、これらに限定されない。いくつかの実施形態では、無線周波数回路704は、NFC(Near Field Communication、近距離無線通信)に関する回路を備えるようにしてもよいし、本願は、これに対して限定しない。
ディスプレイ705は、UI(User Interface、ユーザインターフェース)を表示するために使用される。当該UIは、グラフィック、テキスト、アイコン、ビデオ、およびそれらの任意の組み合わせを含むようにしてもよい。スクリーン705がタッチディスプレイである場合、スクリーン705は、ディスプレイ705の表面または表面の上方にあるタッチ信号を収集する能力をさらに持っている。当該タッチ信号は、制御信号として、プロセッサ701に入力して処理されるようにしてもよい。このとき、ディスプレイ705は、また、仮想ボタンおよび/または仮想キーボードを提供するために使用されるようにしてもよく、ソフトボタンおよび/またはソフトキーボードとも呼ばれる。いくつかの実施形態では、ディスプレイ705は、1つであってもよく、端末700のフロントパネルを設置されてもよいし、別のいくつかの実施形態では、ディスプレイ705は、少なくとも2つであってもよく、端末700の異なる表面にそれぞれ設置されてもよく、または折り畳みされた設計として表示されてもよいし、また、いくつかの実施形態では、ディスプレイ705は、フレキシブルディスプレイであってもよく、端末700の曲げ面または折りたたみ面に設けられてもよい。さらに、ディスプレイ705は、さらに、非長方形の不規則な図形に設置されるようにしてもよく、つまり、異形のディスプレイとなる。ディスプレイ705は、LCD(Liquid Crystal Display、液晶ディスプレイ)、OLED(Organic Light-Emitting Diode,有機発光ダイオード)などの材質で製造されるようにしてよい。
カメラコンポーネント706は、画像またはビデオを収集するために使用される。オプションとして、カメラコンポーネント706は、フロントカメラおよびバックカメラを含む。通常、フロントカメラは、端末のフロントパネルに設置されており、バックカメラは、端末の背面に設置される。いくつかの実施形態では、バックカメラは、少なくとも2つがあり、それぞれが、メインカメラ、被写界深度カメラ、広角カメラ、望遠カメラのうちのいずれかであり、これによって、メインカメラと被写界深度カメラの融合による背景ボケ機能の実現、メインカメラと広角カメラの融合によるパノラマ撮影およびVR(Virtual Reality、仮想現実)撮影機能、またはその他の融合撮影機能が実現される。いくつかの実施形態では、カメラコンポーネント706は、フラッシュをさらに備えるようにしてもよい。フラッシュは、単色温度フラッシュであってもよく、二色温度フラッシュであってもよい。二色温度フラッシュとは、暖かい光のフラッシュと冷たい光のフラッシュの組み合わせであり、異なる色温度での光線補償に使用されるようにしてもよい。
オーディオ回路707は、マイクロフォンとスピーカとを備えるようにしてもよい。マイクロフォンは、ユーザおよび環境の音波を収集して、音波を電気信号に変換してプロセッサ701に入力して処理し、または無線周波数回路704に入力して音声通信を実現するために使用される。ステレオの収集またはノイズ低減の目的から、マイクロフォンは、複数あってもよく、それぞれが端末700の異なる部分に設けられてもよい。マイクロフォンは、アレイマイクロフォンまたは全方向性収集型マイクロフォンであってもよい。スピーカは、プロセッサ701または無線周波数回路704からの電気信号を音波に変換するために使用される。スピーカは、伝統的な薄膜スピーカであってもよく、圧電セラミックススピーカであってもよい。スピーカは、圧電セラミックススピーカであると、電気信号を人間の聞こえる音波に変換するだけでなく、電気信号を人間の聞こえない音波に変換することで距離測定などの用途のために使用されてもよい。いくつかの実施形態では、オーディオ回路707は、ヘッドホンジャックを備えるようにしてもよい。
位置決めコンポーネント708は、端末700の現在の地理的位置を位置決めることで、ナビゲーションまたはLBS(Location Based Service、位置に基づくサービス)を実現するために使用される。位置決めコンポーネント708は、米国のGPS(Global Positioning System、グローバルポジショニングシステム)、中国の北斗システムまたはロシアのガリレオシステムの位置決めコンポーネントに基づくものであってよい。
電源709は、端末700における各コンポーネントに電力を供給するために使用される。電源709は、交流、直流、使い捨て電池、または充電式電池であってもよい。電源709が充電式電池を含む場合、当該充電式電池は、有線充電電池または無線充電電池であってもよい。有線充電式電池は有線を介して充電される電池であり、無線充電式電池は無線コイルを介して充電される電池である。当該充電式電池は、高速充電技術をサポートするために使用されるようにしてもよい。
いくつかの実施形態では、端末700は、1つまたは複数のセンサ710をさらに備える。当該1つまたは複数のセンサ710は、加速度センサ711、ジャイロセンサ712、圧力センサ713、指紋センサ714、光学センサ715、および近接センサ716を含むが、これらに限定されない。
加速度センサ711は、端末700により確立された座標系の3つの座標軸での加速度の大きさを検出することができる。例えば、加速度センサ711は、重力加速度の3つの座標軸での成分を検出するために使用されるようにしてもよい。プロセッサ701は、加速度センサ711によって収集された重力加速度信号に基づいて、ディスプレイ705が横方向または縦方向のビューによってユーザインターフェースの表示を行うように制御することができる。加速度センサ711は、さらに、ゲームまたはユーザの動きデータの収集にも使用され得る。
ジャイロセンサ712は、端末700の本体方向および回転角度を検出することができ、ジャイロセンサ712は、加速度センサ711と協働して、ユーザによる端末700への3D動作を収集することができる。プロセッサ701は、ジャイロセンサ712によって収集されたデータに基づいて、動作感知(例えば、ユーザの傾き操作に応じてUIを変化させる)、撮影時の画像の安定性、ゲーム制御、および慣性ナビゲーションなどの機能を実現することができる。
圧力センサ713は、端末700のサイドフレームおよび/またはディスプレイ705の下部に設けられてもよい。圧力センサ713は、端末700のサイドフレームに設けられる場合、ユーザによる端末700への把持信号を検出することができ、プロセッサ701は、圧力センサ713によって収集された把持信号に基づいて、左手と右手の識別またはショートカット操作を行う。プロセッサ701は、圧力センサ713がディスプレイ705の下部に設けられる場合、ユーザによるディスプレイ705への圧力操作に応じて、UIインターフェース上の操作可能なコントロールに対する制御を実現する。操作可能なコントロールは、ボタンコントロール、スクロールバーコントロール、アイコンコントロール、メニューコントロールのうちの少なくとも1つを含む。
指紋センサ714は、ユーザの指紋を収集するために使用され、プロセッサ701は、指紋センサ714によって収集された指紋から、ユーザの身分を識別するか、または、指紋センサ714は、収集した指紋から、ユーザの身分を識別する。ユーザの身分が信頼できる身分であると識別された場合、プロセッサ701は、当該ユーザに対して、関連する敏感な操作を実行するように許可し、当該敏感な操作は、スクリーンのロック解除、暗号化情報の閲覧、ソフトウェアのダウンロード、支払い、および設定の変更などを含む。指紋センサ714は、端末700の正面、背面、または側面に設けられてもよい。端末700に物理的なボタンまたはメーカのLogoが設けられている場合、指紋センサ714は、物理的なボタンまたはメーカのLogoと一体化されてもよい。
光学センサ715は、環境光強度を収集するために使用される。一実施形態では、プロセッサ701は、光学センサ715によって収集された環境光強度に応じて、ディスプレイ705の表示輝度を制御するようにしてよい。具体的には、環境光強度が高い場合、ディスプレイ705の表示輝度を高くし、環境光強度が低い場合、ディスプレイ705の表示輝度を低くする。別の実施形態では、プロセッサ701は、光学センサ715によって収集された環境光強度に従って、カメラコンポーネント706の撮影パラメータを動的に調整することもできる。
近接センサ716は、距離センサとも呼ばれ、通常、端末700のフロントパネルに設けられている。近接センサ716は、ユーザと端末700の正面との間の距離を収集するために使用される。1つの実施形態では、近接センサ716が、ユーザと端末700の正面との間の距離が徐々に小さくなっていることを検出した場合、プロセッサ701は、ディスプレイ705が点灯状態から消灯状態に切り換えるように制御し、近接センサ716が、ユーザと端末700の正面との間の距離が徐々に大きくなっていることを検出した場合、プロセッサ701は、ディスプレイ705が消灯状態から点灯状態に切り替えるように制御する。
当業者であれば、図21に示す構造は、端末700に対する限定を構成するものではなく、図示のものより多いかまたは少ないコンポーネントを含んだり、またはいくつかのコンポーネントを組み合わせたり、あるいは異なるコンポーネントのハイツを採用したりすることができる、ということを理解することができる。
本願は、コンピュータ読み取り可能な記憶媒体をさらに提供し、該記憶媒体には、少なくとも1つの命令、少なくとも1つのプログラム、コードセットまたは命令セットが記憶されており、少なくとも1つの命令、少なくとも1つのプログラム、コードセットまたは命令セットは、プロセッサによってロードされて実行されることにより、上記の方法実施例によって提供されるマルチ仮想キャラクターの制御方法を実現する。
図22は、本願の一実施例によって提供されるサーバの構造の模式図である。具体的には、サーバ800は、中央処理ユニット(CPU:Central Processing Unit)801と、ランダムアクセスメモリ(RAM:Random Access Memory)802および読み取り専用メモリ(ROM:Read-Only Memory)803を含むシステムメモリ804と、システムメモリ804と中央処理ユニット801とを接続するシステムバス805と、を含む。前記サーバ800は、また、コンピュータ内の各部件間の情報伝送を支援する基本的な入力/出力システム(I/Oシステム)806と、オペレーティングシステム813、アプリケーション814および他のプログラムモジュール815を記憶する大容量記憶デバイス807と、をさらに含む。
前記基本的な入力/出力システム806は、情報を表示するために使用されるディスプレイ808と、ユーザが情報を入力するために使用されるマウスやキーボードなどの入力デバイス809と、を含む。ここで、前記ディスプレイ808および入力デバイス809は、いずれも、システムバス805に接続された入力/出力コントロール810を介して中央処理ユニット801に接続される。前記基本的な入力/出力システム806は、また、キーボード、マウス、または電子スタイラスなどの複数の他のデバイスからの入力を受信して処理するために使用される入力/出力コントロール810を含んでもよい。同様に、入力/出力コントロール810は、また、出力をディスプレイスクリーン、プリントまたは他のタイプの出力デバイスに提供する。
前記大容量記憶デバイス807は、システムバス805に接続された大容量記憶コントローラ(図示せず)を介して中央処理ユニット801に接続される。前記大容量記憶デバイス807およびそれに関連するコンピュータ読み取り可能な媒体は、サーバ800のために不揮発性記憶を提供する。つまり、前記大容量記憶デバイス807は、ハードディスクまたは読み取り専用コンパクトディスク(CD-ROM:Compact Disc Read-Only Memory)ドライブなどのコンピュータ読み取り可能な媒体(図示せず)を含んでもよい。
一般性を失わず、前記コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムモジュールや他のデータのなどの情報を記憶するために使用される、任意の方法または技術で実現される、揮発性および不揮発性、リムーバブルと非リムーバブルの、媒体を含む。コンピュータ記憶媒体は、RAM、ROM、消去可能なプログラマブル読み取り専用メモリ(EPROM:Erasable Programmable Read-Only Memory)、電気的消去可能なプログラマブル読み取り専用メモリ(EEPROM:Electrically Erasable Programmable Read-Only Memory)、フラッシュまたは他のソリッドステートストレージ技術、CD-ROM、デジタル多用途ディスク(DVD:Digital Versatile Disc)または他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたは他の磁気ストレージデバイスを含む。勿論、当業者は、前記コンピュータ記憶媒体が上記のいくつかに限定されない、ということを知っている。上記のシステムメモリ804および大容量記憶デバイス807は、まとめてメモリと呼ばれることがある。
本願の様々な実施例によれば、前記サーバ800は、また、動作するために、インターネットなどのネットワークを介して、ネットワーク上のリモートコンピュータに接続されることができる。つまり、サーバ800は、前記システムバス805に接続されたネットワークインターフェースユニット811を介して、ネットワーク812に接続することができ、または、ネットワークインターフェースユニット811を使用して、他のタイプのネットワークまたはリモートコンピュータシステム(図示せず)に接続することもできる。
本願は、コンピュータプログラム製品をさらに提供し、これが電子デバイス上で実行される場合、上記の各方法実施例に記載のマルチ仮想キャラクターの制御方法を電子デバイスに実行させる。
当業者が理解できるように、上記実施例の全部または一部のステップの実現は、ハードウェアによって完了してもよく、プログラムによって関連ハードウェアを命令して完了させてもよく、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、上記で言及された記憶媒体は、読み取り専用メモリ、磁気ディスクまたは光ディスクなどであってもよい。
上記は、本願の好ましい実施例に過ぎず、本願を制限するものではなく、本願の精神および原則の範囲内に、実行されたいかなる修正、均等置換、改善などは、いずれも、本願の保護範囲内に含まれるべきである。

Claims (11)

  1. 端末に適用されるマルチ仮想キャラクターの制御方法であって、前記端末では、拡張現実機能を有するアプリケーションが実行されており、前記方法は、
    前記アプリケーションの第1ユーザインターフェースを表示するステップであって、前記第1ユーザインターフェースには、複数の仮想キャラクターの選択項目が含まれているステップと、
    前記第1ユーザインターフェースでの、少なくとも2つの前記仮想キャラクターに対する第1選択操作を受信するステップと、
    前記アプリケーションの第2ユーザインターフェースを表示するステップであって、前記第2ユーザインターフェースに現実世界の背景画面、および前記背景画面に位置する少なくとも2つの前記仮想キャラクターが表示されており、少なくとも2つの前記仮想キャラクターは、深度情報に基づいて少なくとも2つの前記仮想キャラクターのレンダリング順番を決定した後にレンダリングすることにより得られたものであり、前記深度情報は、前記第1選択操作の順番に基づいて設定されたものであるステップと、
    前記第2ユーザインターフェースでの第2選択操作を受信するステップと、
    少なくとも2つの前記仮想キャラクターが重なっている場合、前記第2選択操作に従って、少なくとも2つの前記仮想キャラクターの中から、前記レンダリング順番のうち先順位の前記仮想キャラクターをターゲット仮想キャラクターとして決定するステップと、
    を含むことを特徴とするマルチ仮想キャラクターの制御方法。
  2. 前記第2選択操作に従って、前記レンダリング順番のうち先順位の前記仮想キャラクターを前記ターゲット仮想キャラクターとして決定するステップは、
    前記仮想キャラクターが所在する3次元仮想環境において、前記第2選択操作のトリガー位置から物理光線を放射するステップと、
    前記レンダリング順番に従って前記物理光線と衝突した前記仮想キャラクターを前記ターゲット仮想キャラクターとして決定するステップであって、前記物理光線は、前記レンダリング順番のうち先順位の前記仮想キャラクターと衝突するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記第2選択操作および前記レンダリング順番に基づいて、少なくとも2つの前記仮想キャラクターの中から、ターゲット仮想キャラクターを決定するステップの後に、
    前記ターゲット仮想キャラクターを前記レンダリング順番のうち先順位の前記仮想キャラクターとして決定し、前記レンダリング順番を更新するステップと、
    更新後の前記レンダリング順番に基づいて、少なくとも2つの前記仮想キャラクターを表示するステップと、をさらに含む、
    ことを特徴とする請求項1又は2に記載の方法。
  4. 前記第2ユーザインターフェースには、撮影コントロールが含まれ、
    前記第2選択操作および前記レンダリング順番に基づいて、少なくとも2つの前記仮想キャラクターの中から、ターゲット仮想キャラクターを決定するステップの後に、
    前記ターゲット仮想キャラクターに対してトリガーされた姿勢設定操作を受信するステップと、
    前記姿勢設定操作に従って、前記ターゲット仮想キャラクターの姿勢情報を設定するステップと、
    前記撮影コントロールでトリガーされた撮影操作を受信するステップと、
    前記撮影操作に従って、少なくとも2つの前記仮想キャラクターを撮影し、撮影写真を得るステップであって、前記撮影写真には、前記姿勢情報の設定に応じて表示された前記ターゲット仮想キャラクターが含まれるステップと、をさらに含む、
    ことを特徴とする請求項1又は2に記載の方法。
  5. 前記撮影操作に従って、少なくとも2つの前記仮想キャラクターを撮影し、撮影写真を得るステップの後に、
    前記アプリケーションの第3ユーザインターフェースを表示するステップであって、前記第3ユーザインターフェースには、前記撮影写真と共有ボタンコントロールとが含まれるステップと、
    前記共有ボタンコントロールでの共有操作を受信するステップと、
    前記共有操作に従って、情報コードを第1アカウントから第2アカウントに共有するステップであって、前記情報コードには、前記撮影写真における少なくとも2つの前記仮想キャラクターの姿勢情報が含まれ、前記情報コードは、少なくとも2つの前記仮想キャラクターの姿勢を設定するために使用されるものであるステップと、を含む、
    ことを特徴とする請求項4に記載の方法。
  6. 前記共有操作に従って、情報コードを第1アカウントから第2アカウントに共有するステップは、
    前記共有操作に従って、少なくとも2つの前記仮想キャラクターの前記姿勢情報を取得し、前記情報コードを生成するステップと、
    前記情報コードを情報共有チャネルにコピーしてペーストするステップと、
    前記情報共有チャネルを介して、前記情報コードを前記第1アカウントから前記第2アカウントに共有するステップと、を含む、
    ことを特徴とする請求項5に記載の方法。
  7. 前記アプリケーションの第2ユーザインターフェースを表示するステップは、
    情報コードを取得するステップであって、前記情報コードは、ターゲット姿勢情報をコーディングして得られたものであり、前記ターゲット姿勢情報は、少なくとも2つの前記仮想キャラクターの姿勢を設定するために使用されるものであるステップと、
    前記ターゲット姿勢情報が設定されている少なくとも2つの前記仮想キャラクターを前記第2ユーザインターフェースに表示するステップと、を含む、
    ことを特徴とする請求項1又は2に記載の方法。
  8. 前記ターゲット姿勢情報には、ターゲット深度情報が含まれ、
    前記ターゲット姿勢情報が設定されている少なくとも2つの前記仮想キャラクターを前記第2ユーザインターフェースに表示するステップは、
    前記ターゲット深度情報と前記レンダリング順番との間の第1対応関係を決定するステップと、
    前記第1対応関係に基づいて、n個の前記ターゲット姿勢情報とn個の前記仮想キャラクターとの間の第2対応関係を決定するステップと、
    第2対応関係に基づいて、i番目の前記ターゲット姿勢情報をj番目の前記仮想キャラクターの姿勢情報として設定するステップと、
    前記第2ユーザインターフェース上にj番目の前記仮想キャラクターを表示するステップであって、n、i、jは、正の整数であり、i、jは、いずれも、n未満であるステップと、を含む、
    ことを特徴とする請求項7に記載の方法。
  9. 情報コードを取得するステップは、
    第2アカウントが情報共有チャネルを介して第1アカウントに共有した前記情報コードを受信するステップ、を含む、
    ことを特徴とする請求項7に記載の方法。
  10. 拡張現実機能を有するアプリケーションが実行されているマルチ仮想キャラクターの制御装置であって、プロセッサとメモリとを含み、前記プロセッサは前記メモリに格納されたコンピュータプログラムを実行することにより、前記装置に、請求項1~9のいずれか1項に記載のマルチ仮想キャラクターの制御方法を実行させる、装置。
  11. コンピュータプログラムであって、請求項1~9のいずれか1項に記載のマルチ仮想キャラクターの制御方法をコンピュータデバイスに実現させることを特徴とするコンピュータプログラム。
JP2021549944A 2019-06-21 2020-06-15 マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム Active JP7344974B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910544446.3 2019-06-21
CN201910544446.3A CN110276840B (zh) 2019-06-21 2019-06-21 多虚拟角色的控制方法、装置、设备及存储介质
PCT/CN2020/096180 WO2020253655A1 (zh) 2019-06-21 2020-06-15 多虚拟角色的控制方法、装置、设备及存储介质

Publications (3)

Publication Number Publication Date
JP2022537614A JP2022537614A (ja) 2022-08-29
JPWO2020253655A5 JPWO2020253655A5 (ja) 2023-07-11
JP7344974B2 true JP7344974B2 (ja) 2023-09-14

Family

ID=67961576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021549944A Active JP7344974B2 (ja) 2019-06-21 2020-06-15 マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム

Country Status (7)

Country Link
US (1) US11962930B2 (ja)
EP (1) EP3989177A4 (ja)
JP (1) JP7344974B2 (ja)
KR (2) KR102497683B1 (ja)
CN (1) CN110276840B (ja)
SG (1) SG11202105103QA (ja)
WO (1) WO2020253655A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276840B (zh) 2019-06-21 2022-12-02 腾讯科技(深圳)有限公司 多虚拟角色的控制方法、装置、设备及存储介质
CN111142669B (zh) * 2019-12-28 2023-08-29 上海米哈游天命科技有限公司 二维界面到三维场景的交互方法、装置、设备及存储介质
CN111640166B (zh) * 2020-06-08 2024-03-26 上海商汤智能科技有限公司 一种ar合影方法、装置、计算机设备及存储介质
CN112001824A (zh) * 2020-07-31 2020-11-27 天津洪恩完美未来教育科技有限公司 基于增强现实的数据处理方法及装置
CN111913624B (zh) * 2020-08-18 2022-06-07 腾讯科技(深圳)有限公司 虚拟场景中对象的交互方法及装置
CN113350785A (zh) * 2021-05-08 2021-09-07 广州三七极创网络科技有限公司 虚拟角色渲染方法、装置及电子设备
CN113413594A (zh) * 2021-06-24 2021-09-21 网易(杭州)网络有限公司 虚拟角色的虚拟拍照方法、装置、存储介质及计算机设备
CN113793288A (zh) * 2021-08-26 2021-12-14 广州微咔世纪信息科技有限公司 虚拟人物合拍方法、装置和计算机可读存储介质
CN114422698B (zh) * 2022-01-19 2023-09-26 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质
CN114546227B (zh) * 2022-02-18 2023-04-07 北京达佳互联信息技术有限公司 虚拟镜头控制方法、装置、计算机设备及介质
CN115050228B (zh) * 2022-06-15 2023-09-22 北京新唐思创教育科技有限公司 一种素材收集方法及装置、电子设备
CN115379195B (zh) * 2022-08-26 2023-10-03 维沃移动通信有限公司 视频生成方法、装置、电子设备和可读存储介质
KR102632973B1 (ko) * 2023-11-30 2024-02-01 이수민 멀티미디어 컨텐츠 생성을 위한 사용자 인터페이스를 제공하는 전자 장치 및 이의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026322A1 (ja) 2010-08-27 2012-03-01 富士フイルム株式会社 オブジェクトのレイアウト編集方法及び装置
US20170064214A1 (en) 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
CN108765541A (zh) 2018-05-23 2018-11-06 歌尔科技有限公司 一种3d场景对象显示方法、装置、设备及存储介质
JP2018534687A (ja) 2015-10-20 2018-11-22 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元空間内の仮想オブジェクトの選択

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110105516A (ko) * 2010-03-19 2011-09-27 (주) 써니그라피 양방향 상호작용 가능한 강의시스템 및 이를 이용한 강의 수행, 녹화, 재생방법
US8773468B1 (en) * 2010-08-27 2014-07-08 Disney Enterprises, Inc. System and method for intuitive manipulation of the layering order of graphics objects
US20140108979A1 (en) 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Controlling Virtual Objects
US9818225B2 (en) * 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
CN106484086B (zh) * 2015-09-01 2019-09-20 北京三星通信技术研究有限公司 用于辅助拍摄的方法及其拍摄设备
EP3535756B1 (en) * 2016-11-07 2021-07-28 Snap Inc. Selective identification and order of image modifiers
CN107661630A (zh) * 2017-08-28 2018-02-06 网易(杭州)网络有限公司 一种射击游戏的控制方法及装置、存储介质、处理器、终端
CN109078326B (zh) * 2018-08-22 2022-03-08 网易(杭州)网络有限公司 游戏的控制方法和装置
CN109350964B (zh) * 2018-09-28 2020-08-11 腾讯科技(深圳)有限公司 控制虚拟角色的方法、装置、设备及存储介质
CN109550247B (zh) * 2019-01-09 2022-04-08 网易(杭州)网络有限公司 游戏中虚拟场景调整方法、装置、电子设备及存储介质
CN110276840B (zh) * 2019-06-21 2022-12-02 腾讯科技(深圳)有限公司 多虚拟角色的控制方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026322A1 (ja) 2010-08-27 2012-03-01 富士フイルム株式会社 オブジェクトのレイアウト編集方法及び装置
US20170064214A1 (en) 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Image capturing apparatus and operating method thereof
JP2018534687A (ja) 2015-10-20 2018-11-22 マジック リープ, インコーポレイテッドMagic Leap,Inc. 3次元空間内の仮想オブジェクトの選択
CN108765541A (zh) 2018-05-23 2018-11-06 歌尔科技有限公司 一种3d场景对象显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP3989177A4 (en) 2022-08-03
JP2022537614A (ja) 2022-08-29
US11962930B2 (en) 2024-04-16
KR20210113333A (ko) 2021-09-15
US20210337138A1 (en) 2021-10-28
KR102595150B1 (ko) 2023-10-26
CN110276840B (zh) 2022-12-02
WO2020253655A1 (zh) 2020-12-24
EP3989177A1 (en) 2022-04-27
SG11202105103QA (en) 2021-06-29
KR102497683B1 (ko) 2023-02-07
KR20230023824A (ko) 2023-02-17
CN110276840A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
JP7344974B2 (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
KR102410802B1 (ko) 마커 포인트 위치를 표시하기 위한 방법, 전자 장치, 및 컴퓨터 판독가능 저장매체
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
CN111701238A (zh) 虚拟画卷的显示方法、装置、设备及存储介质
WO2019179237A1 (zh) 获取实景电子地图的方法、装置、设备和存储介质
JP7026819B2 (ja) カメラの位置決め方法および装置、端末並びにコンピュータプログラム
CN110427110B (zh) 一种直播方法、装置以及直播服务器
CN111324250B (zh) 三维形象的调整方法、装置、设备及可读存储介质
KR102602074B1 (ko) 가상 환경에서 가상 물체를 관찰하는 방법 및 디바이스, 및 판독 가능한 저장 매체
CN112870707B (zh) 虚拟场景中的虚拟物体展示方法、计算机设备及存储介质
CN108694073B (zh) 虚拟场景的控制方法、装置、设备及存储介质
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
WO2022052620A1 (zh) 图像生成方法及电子设备
KR20210097765A (ko) 가상 환경에 기반한 객체 구축 방법 및 장치, 컴퓨터 장치 및 판독 가능 저장 매체
CN111273780B (zh) 基于虚拟环境的动画播放方法、装置、设备及存储介质
KR102633468B1 (ko) 핫스팟 맵 표시 방법 및 장치, 그리고 컴퓨터 기기와 판독 가능한 저장 매체
US20220291791A1 (en) Method and apparatus for determining selected target, device, and storage medium
CN113407141B (zh) 界面更新方法、装置、终端和存储介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN114415907A (zh) 媒体资源显示方法、装置、设备及存储介质
CN113018865A (zh) 攀爬线生成方法、装置、计算机设备及存储介质
CN111539794A (zh) 凭证信息的获取方法、装置、电子设备及存储介质
CN111598981B (zh) 角色模型的显示方法、装置、设备及存储介质
CN110633335B (zh) 获取poi数据的方法、终端和可读存储介质
CN113769397A (zh) 虚拟物体的设置方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20230703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7344974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150