JP2022073979A - 仮想イメージ駆動方法、装置、機器および媒体 - Google Patents

仮想イメージ駆動方法、装置、機器および媒体 Download PDF

Info

Publication number
JP2022073979A
JP2022073979A JP2021154597A JP2021154597A JP2022073979A JP 2022073979 A JP2022073979 A JP 2022073979A JP 2021154597 A JP2021154597 A JP 2021154597A JP 2021154597 A JP2021154597 A JP 2021154597A JP 2022073979 A JP2022073979 A JP 2022073979A
Authority
JP
Japan
Prior art keywords
virtual image
image data
target
data
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021154597A
Other languages
English (en)
Other versions
JP7288939B2 (ja
Inventor
昊天 彭
Haotian Peng
睿智 ▲陳▼
Ruizhi Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022073979A publication Critical patent/JP2022073979A/ja
Application granted granted Critical
Publication of JP7288939B2 publication Critical patent/JP7288939B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想イメージ駆動方法、装置、機器および媒体を提供する【解決手段】本発明は、仮想イメージ駆動方法、装置、機器および媒体を開示し、拡張現実および深層学習の分野に関する。具体的な実現形態として、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得し、変換待ち画像を前記仮想イメージに変換する時の前記メッシュ骨格モデルの目的仮想イメージデータを取得し、前記メッシュ重み、前記メッシュ骨格モデルの基礎仮想イメージデータおよび前記目的仮想イメージデータに基づいて前記メッシュ骨格モデルの骨格駆動係数を確定し、各骨格関節の前記骨格駆動係数に基づいて前記メッシュ骨格モデルを駆動する。本発明の実施例は、仮想イメージ駆動結果と目的仮想イメージデータとの合致度を向上させる。【選択図】図１Ａ

Description

本発明は、データ処理の技術分野に関し、特に、拡張現実および深層学習の分野に関し、具体的には、アニメーションイメージ駆動方法、装置、機器および媒体に関する。
技術の発展に伴い、拡張現実技術が生まれ、仮想イメージを駆動することによりリアルイメージの表情または姿勢等を模擬することができ、ユーザの使用の楽しみを増加する。
従来技術において、リアルイメージに基づいて仮想イメージを駆動する場合、駆動結果がリアルイメージの表情または姿勢と差が大きい場合があり、ユーザの使用体験を低減する。
本発明は、合致度がより高い仮想イメージ駆動方法、装置、機器および媒体を提供する。
本発明の一態様によれば、
仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得することと、
変換待ち画像を前記仮想イメージに変換する時の前記メッシュ骨格モデルの目的仮想イメージデータを取得することと、
前記メッシュ重み、前記メッシュ骨格モデルの基礎仮想イメージデータおよび前記目的仮想イメージデータに基づいて前記メッシュ骨格モデルの骨格駆動係数を確定することと、
各骨格関節の前記骨格駆動係数に基づいて前記メッシュ骨格モデルを駆動することと、を含む、
仮想イメージ駆動方法を提供する。
本発明の別の態様によれば、
仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得するためのメッシュ重み取得モジュールと、
変換待ち画像を前記仮想イメージに変換する時の前記メッシュ骨格モデルの目的仮想イメージデータを取得するための目的仮想イメージデータ取得モジュールと、
前記メッシュ重み、前記メッシュ骨格モデルの基礎仮想イメージデータおよび前記目的仮想イメージデータに基づいて前記メッシュ骨格モデルの骨格駆動係数を確定するための骨格駆動係数確定モジュールと、
各骨格関節の前記骨格駆動係数に基づいて前記メッシュ骨格モデルを駆動するためのメッシュ骨格モデル駆動モジュールと、を備える、
仮想イメージ駆動装置を更に提供する。
本発明の別の態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されたメモリと、を備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが本発明のいずれかの実施例に係る仮想イメージ駆動方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を更に提供する。
本発明の別の態様によれば、本発明のいずれかの実施例に係る仮想イメージ駆動方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、
非一時的なコンピュータ可読記憶媒体を更に提供する。
本発明の技術によれば、仮想イメージ駆動結果と目的仮想イメージデータとの合致度を向上させる。
本発明に記載された内容は、本発明の実施例のキーとなるまたは重要な特徴を標識するためのものではなく、本発明の範囲を限定するものでもないことが理解されるべきである。本発明の他の特徴は、以下の明細書により容易に理解することができる。
図面は本形態をより良く理解するためのものであり、本発明を限定するものではない。
本発明の実施例に係る仮想イメージ駆動方法のフローチャートである。 本発明の実施例に係る仮想イメージの骨格関節およびメッシュの構造図である。 本発明の実施例に係る別の仮想イメージ駆動方法のフローチャートである。 本発明の実施例に係る別の仮想イメージ駆動方法のフローチャートである。 本発明の実施例に係る別の仮想イメージ駆動方法のフローチャートである。 本発明の実施例に係る別の仮想イメージ駆動方法のフローチャートである。 本発明の実施例に係る仮想イメージデータの模式図である。 本発明の実施例に係る非加重集中化された仮想イメージデータの模式図である。 本発明の実施例に係る仮想イメージ増強データの模式図である。 本発明の実施例に係る反復結果の模式図である。 本発明の実施例に係る剛性変換結果の模式図である。 本発明の実施例に係る仮想イメージ駆動装置の構造図である。 本発明の実施例の仮想イメージ駆動方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら本発明の例示的な実施例について説明し、ここで、理解を容易にするために、本発明の実施例の様々な詳細を含み、それらが例示的なものに過ぎないと見なされるべきである。従い、当業者は、本発明の範囲および精神から逸脱することなく、ここで記載される実施例に対して様々な変更および修正を行うことができることを認識すべきである。それと同様に、明瞭かつ簡単にするために、以下の記述において公知の機能および構造についての説明を省略する。
本発明の実施例に係る各仮想イメージ駆動方法および仮想イメージ駆動装置は、拡張現実および深層学習の分野においてユーザによる変換待ち画像を仮想イメージに変換する時、仮想イメージの基礎メッシュ骨格モデルを駆動する場合に適用される。該方法は、仮想イメージ駆動装置で実行でき、該装置は、ソフトウェアおよび／またはハードウェアで実現され、具体的に電子機器に設定される。
図１Ａに示す仮想イメージ駆動方法のフローチャートを参照し、以下のステップを含む。
Ｓ１０１において、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得する。
ここで、仮想イメージは、キャラクター等のような仮想人物、仮想動物または仮想植物等に基づいて構築されたイメージと理解できる。
ここで、メッシュ骨格モデルは、技術者が仮想イメージの設計時に構築されたモデル構造であり、対応する仮想イメージを一意に表すために用いられる。該メッシュ骨格モデルは、骨格（Ｂｏｎｅ）関節およびメッシュ（Ｓｋｉｎｎｅｄ Ｍｅｓｈ）という２つの部分を含んでもよい。ここで、各骨格関節は、骨格関節の検索または使用を容易にするために、関節間の関連関係に基づいて骨格関節ツリーを構築することができる。ここで、メッシュには骨格に付着されている少なくとも１つのメッシュ頂点が含まれ、各メッシュ頂点は複数の骨格関節により制御できる。なお、１つのメッシュ頂点が少なくとも１つの骨格関節により制御できるため、異なる骨格関節の同一メッシュ頂点に対する制御程度を区別するために、メッシュ骨格モデルを構築する時、更に、異なる骨格関節の制御したメッシュ頂点に対するメッシュ重みを設定する必要がある。ここで、同一メッシュ頂点に対して制御作用を持つ各骨格関節に対応するメッシュ重みの和は１である。ここで、メッシュ重みの具体的な数値は、仮想イメージのメッシュ骨格モデルのデザイナーが設計経験、直観および実験状況に応じて確定または調整することができる。
図１Ｂに示す仮想イメージの骨格関節およびメッシュの構造模式図を参照する。ここで、図１Ｂ（ａ）における線は、骨格関節間の階層構造を表し、線の交点は骨格関節である。ここで、図１Ｂ（ｂ）は、図１Ｂ（ａ）における各骨格関節に対応するメッシュを表し、ここで、領域１０は、グレースケールで図１Ｂ（ａ）における骨格関節Ａの関連しているメッシュに対する制御程度、即ち、メッシュ重みを表す。ここで、白色の重みは１であり、黒色の重みは０である。
ここで、メッシュ骨格モデルを駆動することにより、メッシュ骨格モデルに剛性変換を生じさせ、更に仮想イメージの異なる変換イメージを取得してもよい。ここで、剛性変換は、回転、平行移動およびズーム等の変換のうちの少なくとも１種を含む。
ここで、仮想イメージのメッシュ骨格モデルにおける各骨格関節に関連する各メッシュ頂点のメッシュ重みは、電子機器のローカル、電子機器に関連する他の記憶装置またはクラウドに予め記憶されてもよい。それに対応し、仮想イメージを駆動する必要がある場合、対応する記憶領域から仮想イメージ識別子および骨格関節識別子によりメッシュ重みの取得を行う。
Ｓ１０２において、変換待ち画像を仮想イメージに変換する時のメッシュ骨格モデルの目的仮想イメージデータを取得する。
ここで、変換待ち画像は、仮想イメージを変換するニーズを持つ画像と理解でき、例えば、ユーザがリアルタイムに収集したまたは設定記憶領域からアップロードした画像であってもよい。
ここで、メッシュ骨格モデルの仮想イメージデータは、メッシュ骨格モデルにおける各メッシュ頂点の位置情報を表すために形成されたポイントクラウドデータであってもよい。
ここで、目的仮想イメージデータは、変換待ち画像中の表情および／または姿勢等の情報を仮想イメージで模倣する時のメッシュ骨格モデルに対応する仮想イメージデータと理解できる。
ここで、目的仮想イメージデータは、変換待ち画像を３次元動画処理することで取得できる。なお、従来技術における任意の３次元動画処理方式に基づいて処理待ち画像を処理し、目的仮想イメージデータを取得してもよく、本発明の実施例は、目的仮想イメージデータの具体的な取得方式について限定しない。例示的には、予め構築された複数の混合形状（Ｂｌｅｎｄ Ｓｈａｐｅ、ＢＳ）モデルで構築された線形モデルにより変換待ち画像を処理し、目的仮想イメージデータを取得してもよい。
仮想イメージ駆動過程のデータ演算量を簡略化するために、目的仮想イメージデータの確定過程を他の端末に移行して実現し、且つ、確定結果を、クエリして取得するように仮想イメージ駆動方法を実行する電子機器、または該電子機器に関連する他の機器に記憶してもよい。
Ｓ１０３において、メッシュ重み、メッシュ骨格モデルの基礎仮想イメージデータおよび目的仮想イメージデータに基づいてメッシュ骨格モデルの骨格駆動係数を確定する。
ここで、骨格駆動係数は、メッシュ骨格モデルにおける現在の骨格関節を駆動する時に従うパラメータを表すために用いられる。ここで、駆動過程は、メッシュ骨格モデルの基礎仮想イメージデータを剛性変換する過程と理解できる。
好ましくは、骨格駆動係数は、仮想イメージの駆動を行う時に各メッシュ頂点の位置情報（基礎仮想イメージデータ）を回転制御する際の回転制御パラメータを表すための目的回転係数を含んでもよい。または、好ましくは、骨格駆動係数は、仮想イメージ駆動を行う時に各メッシュ頂点の位置情報（基礎仮想イメージデータ）をズーム制御する際のズーム制御パラメータを表すための目的ズーム係数を更に含んでもよい。または、好ましくは、骨格駆動係数は、仮想イメージ駆動を行う時にメッシュ頂点の位置情報（基礎仮想イメージデータ）を平行移動制御する際の平行移動制御パラメータを表すための目的平行移動係数を更に含んでもよい。
本発明の実施例における骨格駆動係数は、目的回転係数、目的ズーム係数および目的平行移動係数を含んでもよい。なお、基礎仮想イメージデータに対して回転、ズームおよび平行移動動作を行う時、座標変換等の要因の影響により、回転、ズームおよび平行移動動作という３者の前後順序は異なり、最終的に確定した骨格駆動係数も異なる。平行移動およびズームが基礎仮想イメージデータに与える影響は、データ処理の方式で除去できるため、一般的には、「目的回転係数－目的ズーム係数－目的平行移動係数」という前後順序で目的駆動係数の確定を行う。基礎仮想イメージデータに対して回転、ズームまたは平行移動動作を行う必要がない場合、対応する目的回転係数、目的ズーム係数または目的平行移動係数が単位行列であると確定できるため、骨格駆動係数が目的回転係数、目的ズーム係数および目的平行移動係数のうちの少なくとも１種を含む場合にも、依然として「目的回転係数－目的ズーム係数－目的平行移動係数」という前後順序で目的駆動係数の確定を行うことができることが理解できる。
例示的には、メッシュ重みによりメッシュ骨格モデルの基礎仮想イメージデータおよび／または目的仮想イメージデータを処理し、処理したデータに基づいてメッシュ骨格モデルの骨格駆動係数を確定することができる。
なお、メッシュ重みが現在の骨格関節の対応するメッシュ頂点に対する制御程度を表し、即ち、メッシュ骨格モデルにおける異なる骨格関節の同じメッシュ頂点に対する制御程度を区別するため、骨格駆動係数を確定する過程において、現在の骨格関節の骨格駆動係数の確定を実現し、現在の骨格関節に関連する各メッシュ頂点に対する他の骨格関節の影響を除去することができる。
１つの好ましい実施例において、メッシュ重みにより基礎仮想イメージデータおよび目的仮想イメージデータを加重（重み付き）処理し、プロクラステス解析法を採用し、加重処理結果に対して一回の処理を行い、メッシュ骨格モデルの目的回転係数を取得し、加重された目的仮想イメージデータおよび基礎仮想イメージデータの加重二乗平均平方根誤差に基づき、メッシュ骨格モデルの目的ズーム係数を取得し、加重された目的仮想イメージデータと基礎仮想イメージデータとの差分値に基づき、メッシュ骨格モデルの目的平行移動係数等を確定してもよい。
プロクラステス解析法を用いて加重処理結果に対して一回の処理を行うため、確定された骨格駆動係数の正確度は低く、仮想イメージ駆動結果と目的仮想イメージデータとの合致度に影響を及ぼす。上記状況の発生を回避するために、骨格駆動係数を確定する時、循環反復の方式で反復終了条件を満たすまで少なくとも１つの骨格駆動係数の確定を行ってもよい。ここで、反復終了条件は、確定された骨格駆動係数の仮想イメージ駆動結果が目的仮想イメージデータに近似する、即ち、誤差が設定誤差閾値よりも小さいことであってもよいし、設定反復回数に達したことであってもよい。ここで、設定誤差閾値または設定反復回数は、技術者が必要または経験値に応じて確定される。
別の好ましい実施例において、メッシュ重みにより中間仮想イメージデータおよび目的仮想イメージデータを処理してもよく、ここで、中間仮想イメージデータは、現在の骨格駆動係数に基づいて基礎仮想イメージデータを剛性変換して取得され、プロクラステス解析法を採用して加重処理結果に対して一回の処理を行い、現在の骨格駆動係数を取得し、現在の骨格駆動係数により中間仮想イメージデータを更新し、反復終了条件を満たすまで循環反復してもよい。ここで、反復終了条件は、最終的に確定された中間仮想イメージデータが目的仮想イメージデータに近似する、即ち、誤差が設定誤差閾値よりも小さいことであってもよいし、設定反復回数に達したことであってもよい。ここで、設定誤差閾値または設定反復回数は、技術者が必要または経験値に応じて確定される。ここで、現在の骨格駆動係数の初期値は、単位行列に基づいて確定できる。
Ｓ１０４において、各骨格関節の骨格駆動係数に基づいてメッシュ骨格モデルを駆動する。
例示的には、各骨格関節の骨格駆動係数に基づいてメッシュ骨格モデルの基礎仮想イメージデータを剛性変換し、表示用の仮想イメージ駆動結果を取得する。
なお、駆動メッシュ骨格モデルの電子機器は、骨格駆動係数を確定する電子機器と同じまたは異なってもよい。例えば、サーバで骨格駆動係数の確定を行い、更に確定された骨格駆動係数を端末機器に配信し、端末機器で骨格駆動係数に基づいてローカルのメッシュ骨格モデルを駆動してもよい。ここで、端末機器におけるメッシュ骨格モデルはサーバにおけるメッシュ骨格モデルと同じである。
本発明の実施例は、骨格駆動係数を確定する過程で現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを導入し、メッシュ重みにより現在の骨格関節に関連するメッシュ頂点に対する他の骨格関節の影響を除去することで、現在の骨格関節の骨格駆動係数の確定結果の正確度を向上させ、骨格駆動係数に基づいて仮想イメージを駆動する駆動結果と目的仮想イメージデータとの合致度を更に向上させる。
例示的には、骨格駆動係数は目的回転係数を含んでもよい。本発明の１つの好ましい実施例において、上記各技術案の基に、目的回転係数の具体的な生成メカニズムを最適化して改良する。図２に示す仮想イメージ駆動方法のフローチャートを更に参照し、該方法は、以下のステップを含む。
Ｓ２０１において、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得する。
Ｓ２０２において、変換待ち画像を仮想イメージに変換する時のメッシュ骨格モデルの目的仮想イメージデータを取得する。
Ｓ２０３において、基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定する。
ここで、現在の回転係数は、前回の反復過程で更新されたデータであってもよい。ここで、最初の反復過程における現在の反復係数は、技術者が必要または経験値に応じて確定され得る。例えば、現在の回転係数を単位行列またはランダム行列に設定してもよい。
例示的には、現在の回転係数により基礎仮想イメージデータを回転処理し、中間仮想イメージデータを取得する。ここで、中間仮想イメージデータは、基礎仮想イメージデータを目的仮想イメージデータに変換する時、毎回の反復過程で確定された中間遷移を行うための仮想イメージデータと理解できる。反復回数の増加につれ、中間仮想イメージデータも目的仮想イメージデータに近づき、更に、最終的に確定された現在の回転係数をより正確にすることが理解できる。
Ｓ２０４において、メッシュ重みにより中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得する。
ここで、加重動作は、各メッシュ頂点のメッシュ重みにより中間仮想イメージデータにおける対応するメッシュ頂点の位置データをそれぞれ加重処理し、中間仮想イメージ増強データを取得し、各メッシュ頂点のメッシュ重みにより目的仮想イメージデータをそれぞれ加重処理し、目的仮想イメージ増強データを取得することである。
メッシュ重みにより中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強することで、現在の関節に関連するメッシュ頂点に対する他の骨格関節の制御の影響を除去し、現在の骨格関節のみに関連する中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得することができる。
Ｓ２０５において、中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する。
好ましくは、中間仮想イメージ増強データを目的仮想イメージ増強データに変換する時の回転係数の増分を確定し、回転係数の増分に基づいて前回の反復で確定された現在の回転係数（即ち、中間仮想イメージデータを確定する時に使用する現在の回転係数）を更新する。
例示的には、中間仮想イメージ増強データを目的仮想イメージ増強データに変換する時の回転係数の増分を確定することは、直交プロクラステス方法で実現できる。
１つの具体的な実現形態において、特異値分解法により中間仮想イメージ増強データおよび目的仮想イメージ増強データの２セットの直交基底ベクトルを確定する。ここで、１セットの直交基底ベクトルは、中間仮想イメージ増強データに対する転置と目的仮想イメージ増強データとの積行列の直交入力基底ベクトルとの組み合わせであり、別のセットの直交基底ベクトルは、中間仮想イメージ増強データに対する転置と目的仮想イメージ増強データの積行列の直交出力基底ベクトルとの組み合わせであり、２セットの直交基底ベクトルの積行列を確定し、該行列を回転係数の増分の行列値とする。
Ｓ２０６において、反復終了条件を満たす場合の現在の回転係数を目的回転係数とする。
好ましくは、反復終了条件を満たすことは、中間仮想イメージ増強データと目的仮想イメージ増強データとの誤差が設定誤差値よりも小さいことであってもよいし、反復過程で中間仮想イメージ増強データと目的仮想イメージ増強データとの誤差が安定することであってもよいし、目的回転係数の反復回数が設定回数閾値を満たすことであってもよい。ここで、設定誤差値または設定回数閾値は、技術者が必要または経験値に応じて設定されてもよいし、大量の試験で繰り返し確定または調整されてもよい。
反復過程で現在の回転係数を最適化し続けることにより、最終的に確定された現在の回転係数、即ち、目的回転係数が、現在の骨格関節の剛性変換過程で基礎仮想イメージデータを目的仮想イメージデータに回転する回転状況をより正確に表すことができることが理解できる。
Ｓ２０７において、各骨格関節の目的回転係数を含む骨格駆動係数に基づいてメッシュ骨格モデルを駆動する。
本発明の実施例は、メッシュ重みにより中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強し、現在の骨格関節に関連するメッシュ頂点に対する他の骨格関節の影響を除去し、現在の骨格関節に対応する目的回転係数の正確度を向上させるとともに、目的回転係数を確定する過程で複数回反復することで、最終的に確定された目的回転係数の正確度がより高くなり、それに対応し、メッシュ骨格モデルの駆動結果と目的仮想イメージデータとの合致度がより良好になる。
上記各実施例の技術案の基に、基礎仮想イメージデータを目的仮想イメージデータに剛性変換する過程において、平行移動動作が必要である場合、平行移動動作による座標系または座標原点の変化は、回転動作の最終的な結果に一定の影響を与え、即ち、目的回転係数の確定結果の正確度に影響を与える。
目的回転係数の正確度に対する平行移動動作の影響を回避するために、１つの好ましい実施例において、基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定する前に、基礎仮想イメージデータおよび目的仮想イメージデータをそれぞれ非集中化し、基礎仮想イメージデータおよび目的仮想イメージデータを更新してもよい。それに対応し、更新された基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定し、メッシュ重みにより中間仮想イメージデータおよび更新された目的仮想イメージデータをそれぞれ加重増強し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得する。
具体的には、基礎仮想イメージデータにおける各メッシュ頂点の位置データに基づいて基礎仮想イメージデータの基礎中心点を確定し、基礎仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータと基礎中心点のポイントクラウドデータとを差分し、基礎仮想イメージデータを更新し、基礎仮想イメージデータに対する非集中化処理を実現してもよい。それに対応し、目的仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータに基づいて目的仮想イメージデータの目的中心点を確定し、目的仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータと目的中心点の位置データとを差分し、基礎仮想イメージデータを更新し、目的仮想イメージデータに対する非集中化処理を実現する。
非集中化動作により、基礎仮想イメージデータと目的仮想イメージデータとの座標系を統一し、目的回転係数の正確度に対する平行移動動作の影響を除去することができることが理解できる。
目的回転係数を確定する過程において、メッシュ重みにより基礎仮想イメージデータに基づいて確定された中間仮想イメージデータおよび目的仮想イメージデータを加重増強する必要があるため、中間仮想イメージデータおよび目的仮想イメージデータの加重重心がずれることがあり、物体の運動安定性が重心位置に密に関連し、即ち、加重重心のずれは目的回転係数の確定結果の正確度に一定の影響を及ぼす。上記状況の発生を回避するために、１つの好ましい実施例において、上記非集中化処理を非加重集中化処理に最適化してもよい。
例示的には、中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ非集中化処理することは、メッシュ重みに基づき、基礎仮想イメージデータおよび目的仮想イメージデータの基礎加重重心と目的加重重心をそれぞれ確定し、基礎加重重心に基づいて基礎仮想イメージデータを非集中化処理し、目的加重重心に基づいて目的仮想イメージデータを非集中化処理することであってもよい。
具体的には、メッシュ重みで基礎仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータを加重して加算し、基礎仮想イメージデータの基礎加重重心を確定し、基礎仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータと基礎加重重心の位置データとを差分し、基礎仮想イメージデータを更新し、基礎仮想イメージデータに対する非加重集中化処理を実現してもよい。それに対応し、メッシュ重みで目的仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータを加重して加算し、目的仮想イメージデータの目的加重重心を確定し、目的仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータと目的加重重心の位置データとを差分し、目的仮想イメージデータを更新し、目的仮想イメージデータに対する非加重集中化処理を実現する。
メッシュ重みにより基礎仮想イメージデータの基礎加重重心および目的仮想イメージデータの目的加重重心を確定し、確定した基礎加重重心と目的加重重心に基づいて基礎仮想イメージデータおよび目的仮想イメージデータをそれぞれ非集中化処理し、加重重心のずれ状況の発生を除去し、更に、目的回転係数の確定結果の正確度に対する加重重心のずれの影響を回避し、目的回転係数の確定結果の正確度を更に向上させることが理解できる。
上記各技術案の基に、基礎仮想イメージデータを目的仮想イメージデータに剛性変換する過程において、ズーム動作が必要である場合、ズーム動作は、ズーム方向の影響により、回転動作の最終的な結果に一定の影響を及ぼし、即ち、目的回転係数の確定結果の正確度に影響を及ぼす可能性もある。
目的回転係数の正確度に対するズーム動作の影響を回避するために、１つの好ましい実施例において、中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する前に、中間仮想イメージ増強データおよび目的仮想イメージ増強データをそれぞれ標準化処理し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを更新してもよい。それに対応し、更新された中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する。
目的回転係数の正確度に対するズーム動作の影響を回避するために、別の好ましい実施例において、中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する前に、中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ標準化処理し、中間仮想イメージデータおよび目的仮想イメージデータを更新してもよい。それに対応し、更新された中間仮想イメージデータに基づいて中間仮想イメージデータを確定し、メッシュ重みにより更新された目的仮想イメージデータを加重増強する。
好ましくは、標準化処理動作は、処理待ちデータの統計値を確定し、該統計値に基づいて処理待ちデータを標準化処理し、上記処理待ちデータを以更新上記処理待ちデータを更新することであってもよい。ここで、処理待ちデータは、中間仮想イメージデータ、中間仮想イメージ増強データ、目的仮想イメージデータまたは目的仮想イメージ増強データ等であってもよい。ここで、統計値は、最大値、最小値、標準偏差および分散等のうちの少なくとも１種を含む。
１つの具体的な実現形態において、中間仮想イメージ増強データおよび目的仮想イメージ増強データをそれぞれ標準化処理し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを更新することは、メッシュ重みに基づき、中間仮想イメージデータおよび目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定し、中間加重二乗平均平方根誤差に基づいて中間仮想イメージ増強データを標準化処理し、中間仮想イメージ増強データを更新し、目的加重二乗平均平方根誤差に基づいて目的仮想イメージ増強データを標準化処理し、目的仮想イメージ増強データを更新することであってもよい。
別の具体的な実現形態において、中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ標準化処理し、中間仮想イメージデータおよび目的仮想イメージデータを更新することは、メッシュ重みに基づき、中間仮想イメージデータおよび目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定し、中間加重二乗平均平方根誤差に基づいて中間仮想イメージデータを標準化処理し、中間仮想イメージデータを更新し、目的加重二乗平均平方根誤差に基づいて目的仮想イメージデータを標準化処理し、目的仮想イメージデータを更新することであってもよい。
例示的には、骨格駆動係数は目的ズーム係数を更に含んでもよい。本発明の１つの好ましい実施例において、上記各技術案の基に、目的ズーム係数の具体的な生成メカニズムを最適化して改良する。更に、図３に示す仮想イメージ駆動方法のフローチャートを参照し、該方法は、以下のステップを含む。
Ｓ３０１において、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得する。
Ｓ３０２において、変換待ち画像を仮想イメージに変換する時のメッシュ骨格モデルの目的仮想イメージデータを取得する。
Ｓ３０３において、基礎仮想イメージデータ、現在の回転係数および現在のズーム係数に基づいて中間仮想イメージデータを確定する。
ここで、現在の回転係数および現在のズーム係数は、前回の反復過程で更新されたデータであってもよい。ここで、最初の反復過程における現在の反復係数および現在のズーム係数は、技術者が必要または経験値に応じて確定され得る。例えば、現在の回転係数および現在のズーム係数をそれぞれ単位行列またはランダム行列に設定してもよい。
Ｓ３０４において、メッシュ重みにより中間仮想イメージデータ、目的仮想イメージデータおよび基礎仮想イメージデータを加重増強し、中間仮想イメージ増強データ、目的仮想イメージ増強データおよび基礎仮想イメージ増強データを取得する。
目的ズーム係数を確定する過程において、メッシュ重みにより中間仮想イメージデータおよび顔仮想イメージデータをそれぞれ加重増強した後、後に現在のズーム係数を確定する時にデータタイプの一致性を保持するように、更に、メッシュ重みにより基礎仮想イメージデータを加重増強し、基礎仮想イメージ増強データを取得する必要があり、これにより、データタイプが一致しないため、最終的に確定された目的ズーム係数の正確度が低いという状況の発生を回避する。
具体的には、各メッシュ頂点のメッシュ重みにより、基礎仮想イメージデータにおける対応するメッシュ頂点のポイントクラウドデータをそれぞれ加重処理し、基礎仮想イメージ増強データを取得する。
Ｓ３０５において、中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する。
Ｓ３０６において、現在の回転係数に基づいて目的仮想イメージ増強データを回転処理する。
現在の回転係数に基づいて目的仮想イメージ増強データを回転処理し、中間仮想イメージ増強データから目的仮想イメージ増強データへの回転動作による影響を除去し、ズーム動作に関連する現在のズーム係数の確定を直接行うことができる。
Ｓ３０７において、回転処理結果および基礎仮想イメージ増強データに基づいて現在のズーム係数を更新する。
ここで、回転処理結果から回転動作による影響を除去したため、次回の反復を行う時に中間仮想イメージデータの確定を行うように、回転処理結果および基礎仮想イメージ増強データに基づいてデータズーム結果を確定し、現在の確定したデータズーム結果を現在のズーム係数とすればよい。
現在の骨格関節のメッシュ頂点に対する他の骨格関節の影響を除去し、現在のズーム係数の確定結果の正確度を更に向上させるために、１つの好ましい実施例において、メッシュ重みに基づいて回転処理結果および基礎仮想イメージ増強データの加重二乗平均平方根誤差をそれぞれ確定し、回転処理結果の加重二乗平均平方根誤差と基礎仮想イメージ増強データの加重二乗平均平方根誤差との比に基づいて現在のズーム係数を更新してもよい。
具体的には、メッシュ重みに基づき、回転処理結果および基礎仮想イメージ増強データの加重二乗平均平方根誤差をそれぞれ確定し、回転処理結果の加重二乗平均平方根誤差と基礎仮想イメージ増強データの加重二乗平均平方根誤差との比を確定し、各比の結果に応じて対角行列を構築し、構築した対角行列を更新された現在のズーム係数とする。
二乗平均平方根誤差を確定する過程でメッシュ重みを導入することにより、確定された加重平方根誤差は、現在の骨格関節のメッシュ頂点のズーム過程に対する他の骨格関節の影響を除去し、現在のズーム係数の確定結果の正確度を更に向上させ、目的ズーム係数の確定の正確度の向上に基礎を定めることが理解できる。
Ｓ３０８において、反復終了条件を満たす場合の現在の回転係数および現在のズーム係数を、それぞれ目的回転係数および目的ズーム係数とする。
Ｓ３０９において、各骨格関節の目的回転係数および目的ズーム係数を含む骨格駆動係数に基づいてメッシュ骨格モデルを駆動する。
例示的には、目的ズーム係数と目的回転係数との積に基づいて目的骨格駆動係数を確定し、目的骨格駆動係数に基づいてメッシュ骨格モデルを駆動し、基礎仮想イメージデータに対するズームおよび回転動作を実現し、目的仮想イメージデータと同じまたは類似するデータを取得し、仮想イメージのレンダリングに用いることで、仮想イメージで変換待ち画像の表情および／または姿勢等の情報を模倣することを実現し、最終的な仮想イメージデータを取得する。
本発明の実施例は、現在の回転係数を反復確定する過程で現在の回転係数により目的仮想イメージ増強データを回転処理することで、基礎仮想イメージデータを目的仮想イメージデータに変換する過程における回転動作による影響を除去し、回転処理結果および基礎仮想イメージ増強データに基づいて現在のズーム係数を確定し、現在のズーム係数の確定結果の正確度を向上させ、目的ズーム係数の確定結果の正確度を更に向上させる。
例示的には、骨格駆動係数は目的平行移動係数を更に含んでもよい。本発明の１つの好ましい実施例において、目的平行移動係数の具体的な生成メカニズムを最適化して改良する。更に、図４に示す仮想イメージ駆動方法のフローチャートを参照し、該方法は、以下のステップを含む。
Ｓ４０１において、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得する。
Ｓ４０２において、変換待ち画像を仮想イメージに変換する時のメッシュ骨格モデルの目的仮想イメージデータを取得する。
Ｓ４０３において、基礎仮想イメージデータ、現在の回転係数および現在のズーム係数に基づいて中間仮想イメージデータを確定する。
Ｓ４０４において、メッシュ重みにより中間仮想イメージデータ、目的仮想イメージデータおよび基礎仮想イメージデータを加重増強し、中間仮想イメージ増強データ、目的仮想イメージ増強データおよび基礎仮想イメージ増強データを取得する。
Ｓ４０５において、中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する。
Ｓ４０６において、現在の回転係数に基づいて目的仮想イメージ増強データを回転処理する。
Ｓ４０７において、回転処理結果および基礎仮想イメージ増強データに基づいて現在のズーム係数を更新する。
Ｓ４０８において、反復終了条件を満たす場合の現在の回転係数および現在のズーム係数を、それぞれ目的回転係数および目的ズーム係数とする。
Ｓ４０９において、目的回転係数および目的ズーム係数に基づいて基礎仮想イメージデータ を調整し、参照仮想イメージデータを取得する。
例示的には、目的ズーム係数で基礎仮想イメージデータに対してズーム動作を行い、目的回転係数でズーム結果に対して回転動作を行い、参照仮想イメージデータを取得する。基礎仮想イメージデータに対してズーム動作および回転動作を順に行うことで、平行移動過程におけるズームおよび回転による影響を除去することができ、確定された目的平行移動係数の正確度の向上に基礎を定めることが理解できる、
Ｓ４１０において、メッシュ重みにより参照仮想イメージデータを加重増強し、参照仮想イメージ増強データを取得する。
例示的には、メッシュ重みにより参照仮想イメージデータにおける各メッシュ頂点のポイントクラウドデータを加重、参照仮想イメージ増強データを取得し、現在の骨格関節に関連するメッシュ頂点に対する他の骨格関節の影響を除去する。
Ｓ４１１において、参照仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて目的平行移動係数を確定する。
例示的には、目的仮想イメージ増強データと参照仮想イメージ増強データとの差分値を確定し、差分値の結果を目的平行移動係数とする。
Ｓ４１２において、各骨格関節の骨格駆動係数に基づいてメッシュ骨格モデルを駆動し、骨格駆動係数は、目的回転係数、目的ズーム係数および目的平行移動係数を含む。
例示的には、目的ズーム係数と、目的回転係数と、目的平行移動係数との積に基づいて目的骨格駆動係数を確定し、目的骨格駆動係数に基づいてメッシュ骨格モデルを駆動し、基礎仮想イメージデータに対するズーム、回転および平行移動動作を実現し、目的仮想イメージデータと同じまたは類似するデータを取得し、仮想イメージのレンダリングに用いることで、仮想イメージで変換待ち画像における表情および／または姿勢等の情報を模倣することを実現し、最終的な仮想イメージデータを取得する。
本発明の実施例は、反復終了後に目的平行移動係数の確定を行うことで、目的平行移動係数の確定過程のデータ演算量を簡略化する。それと同時に、目的平行移動係数を確定する過程で、メッシュ重みにより参照仮想イメージデータを加重増強し、参照仮想イメージ増強データを取得し、回転およびズーム動作による影響を除去し、参照仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて目的平行移動係数の確定を行い、目的平行移動係数の確定結果の正確度を向上させる。
上記各技術案の基に、本発明は、仮想イメージ駆動方法を実現する好ましい実施例を更に提供する。図５Ａに示す仮想イメージ駆動方法を参照し、以下のステップを含む。
Ｓ５０１において、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得する。
Ｓ５０２において、変換待ち画像を仮想イメージに変換する時のメッシュ骨格モデルの目的仮想イメージデータを取得する。
Ｓ５０３において、メッシュ骨格モデルの基礎仮想イメージデータおよび目的仮想イメージデータの基礎加重重心と目的加重重心をそれぞれ確定する。
例示的には、以下の式により基礎加重重心と目的加重重心を確定することができる。
Figure 2022073979000002
 （ただし、ｗｅｉｇｈｔＣｅｎｔｒｅＡは基礎加重重心であり、ｗｅｉｇｈｔＣｅｎｔｒｅＢは目的加重重心であり、Ａｉは基礎仮想イメージデータにおける現在の骨格関節のｉ個目のメッシュ頂点の位置データであり、Ｂｉは目的仮想イメージデータにおける現在の骨格関節のｉ個目のメッシュ頂点の位置データであり、ｗｅｉｇｈｔｉはｉ個目のメッシュ頂点のメッシュ重みであり、ここで、（ｎ＋１）は現在の骨格関節に関連するメッシュ頂点の総数である。）
Ｓ５０４において、基礎加重重心に基づいて基礎仮想イメージデータを非加重集中化処理し、基礎仮想イメージデータを更新し、目的加重重心に基づいて目的仮想イメージデータを非加重集中化処理し、目的仮想イメージデータを更新する。
例示的には、以下の式により基礎仮想イメージデータおよび目的仮想イメージデータをそれぞれ非加重集中化処理することができる。
Figure 2022073979000003
 （ただし、ｖｅｃＡは基礎仮想イメージデータであり、ｓｕｂＡは非加重集中化された基礎仮想イメージデータであり、ｖｅｃＢは目的仮想イメージデータであり、ｓｕｂＢは非加重集中化された目的仮想イメージデータである。）
図５Ｂに示す顔の鼻先に関連するメッシュ頂点の基礎仮想イメージデータおよび目的仮想イメージデータのポイントクラウドデータの模式図を参照する。ここで、図中の濃い色のポイントクラウドデータは基礎仮想イメージデータｖｅｃＡに対応し、図中の薄い色のポイントクラウドデータは目的仮想イメージデータｖｅｃＢに対応する。
図５Ｃに示す非加重集中化された仮想イメージデータの模式図を参照する。ここで、図中の濃い色のポイントクラウドデータはｓｕｂＡに対応し、図中の薄い色のポイントクラウドデータはｓｕｂＢに対応する。
Ｓ５０５において、基礎仮想イメージデータ、現在の回転係数および現在のズーム係数に基づいて中間仮想イメージデータを確定する。
例示的には、以下の式により中間仮想イメージデータを確定することができる。
Figure 2022073979000004
 （ただし、ｖｅｃＡ’は中間仮想イメージデータであり、ｍａｔＳｃａｌｅおよびｍａｔＲｏｔａｔｉｏｎは、それぞれ現在のズーム係数および現在の回転係数である。）
Ｓ５０６において、メッシュ重みにより基礎仮想イメージデータ、中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強し、基礎仮想イメージ増強データ、中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得する。
例示的には、以下の式により仮想イメージデータに対して加重増強処理を行うことができる。
Figure 2022073979000005
 （ただし、ｓｕｂＡｉ、ｖｅｃＡ’ｉおよびｓｕｂＢｉは、それぞれ非集中化された基礎仮想イメージデータ、中間仮想イメージデータ、および非集中化された目的仮想イメージデータにおける現在の骨格関節のｉ個目のメッシュ頂点の位置データであり、ｗｅｉｇｈｔＡｉ、ｗｅｉｇｈｔＡ’ｉおよびｗｅｉｇｈｔＢｉは、それぞれ基礎仮想イメージ増強データｗｅｉｇｈｔＡ、中間仮想イメージ増強データｗｅｉｇｈｔＡ’、および目的仮想イメージ増強データｗｅｉｇｈｔＢにおける現在の骨格関節のｉ個目のメッシュ頂点の位置データである。）
図５Ｄに示す仮想イメージ増強データの模式図を参照し、該図は、加重増強処理された基礎仮想イメージ増強データｗｅｉｇｈｔＡ（図中の濃い色のポイントクラウドデータ）および目的仮想イメージ増強データｗｅｉｇｈｔＢ（図中の薄い色のポイントクラウドデータ）を含む。
Ｓ５０７において、メッシュ重みに基づき、中間仮想イメージデータおよび目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定する。
例示的には、以下の式により加重二乗平均平方根誤差を確定することができる。
Figure 2022073979000006
 （ただし、ｓｔｄ（ｗｅｉｇｈｔＡ’）は中間加重二乗平均平方根誤差であり、ｓｔｄ（ｗｅｉｇｈｔＢ）は目的加重二乗平均平方根誤差である。）
Ｓ５０８において、中間加重二乗平均平方根誤差に基づいて中間仮想イメージ増強データを標準化処理し、中間仮想イメージ増強データを更新し、目的加重二乗平均平方根誤差に基づいて目的仮想イメージ増強データを標準化処理し、目的仮想イメージ増強データを更新する。
例示的には、以下の式により標準化処理を行うことができる。
Figure 2022073979000007
 （ただし、ｎｏｒＡ’およびｎｏｒＢは標準化された中間仮想イメージ増強データおよび目的仮想イメージ増強データである。）
Ｓ５０９において、直交プロクラステス法および特異値分解法に基づき、中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて回転係数の増分を確定する。
例示的には、以下の式により回転係数の増分を確定することができる。
Figure 2022073979000008
 （ただし、△Ｒｏｔａｔｉｏｎは回転係数の増分である。）
Ｓ５１０において、回転係数の増分に基づいて現在の回転係数を更新する。
例示的には、以下の式により現在の回転係数を更新することができる。
Figure 2022073979000009
Ｓ５１１において、現在の回転係数に基づいて目的仮想イメージ増強データを回転処理する。
例示的には、以下の式により目的仮想イメージ増強データを回転処理することができる。
Figure 2022073979000010
 （ただし、ｐｒｏｊＢは目的仮想イメージ増強データｗｅｉｇｈｔＢの回転処理結果である。）
Ｓ５１２において、回転処理結果および基礎仮想イメージ増強データの加重二乗平均平方根誤差に基づいて現在のズーム係数を更新する。
例示的には、以下の式により現在のズーム係数を更新することができる
Figure 2022073979000011
 （ただし、ｓｔｄ（ｐｒｏｊＢ）は回転処理結果の加重二乗平均平方根誤差であり、ｍａｔＳｃａｌｅは現在のズーム係数である。）
Ｓ５１３において、反復終了条件を満たすか否かを判定し、そうであれば、Ｓ５１４を実行し、そうでなければ、Ｓ５０５に戻る。
ここで、反復終了条件を満たすことは、中間仮想イメージ増強データと目的仮想イメージ増強データとの誤差が設定誤差値よりも小さいことであってもよいし、反復過程で中間仮想イメージ増強データと目的仮想イメージ増強データとの誤差が安定することであってもよいし、反復回数が設定回数閾値を満たすことであってもよい。ここで、設定誤差値または設定回数閾値は、技術者が必要または経験値に応じて設定されてもよいし、大量の試験で繰り返し確定または調整されてもよい。
Ｓ５１４において、現在のズーム係数および現在の回転係数をそれぞれ目的ズーム係数および目的回転係数とする。
図５Ｅを参照し、３回の反復を例とし、反復結果の模式図を例示的に示す。ここで、図５Ｅ（ａ）は現在の回転係数（Ｒ）の反復結果の模式図に対応する。図５Ｅ（ｂ）は現在のズーム係数（Ｓ）の反復結果の模式図に対応する。図中の濃い色のポイントクラウドデータは中間仮想イメージデータであり、図中の薄い色のポイントクラウドデータは目的仮想イメージデータである。図５Ｅから分かるように、反復回数の増加につれ、現在の回転係数（Ｒ）および現在のズーム係数（Ｓ）に基づいて確定された中間ポイントクラウド仮想イメージデータは、徐々に目的ポイントクラウド仮想イメージデータに近づく。
Ｓ５１５において、目的回転係数および目的ズーム係数に基づいて基礎仮想イメージデータを調整し、参照仮想イメージデータを取得する。
例示的には、以下の式により参照仮想イメージデータを確定することができる。
Figure 2022073979000012
 （ただし、ｖｅｃＡ”は参照仮想イメージデータであり、Ｓｃａｌｅは目的ズーム係数であり、Ｒｏｔａｔｉｏｎは目的回転係数である。）
Ｓ５１６において、メッシュ重みにより参照仮想イメージデータを加重増強し、参照仮想イメージ増強データを取得する。
例示的には、以下の式により参照仮想イメージ増強データを確定することができる。
Figure 2022073979000013
 （ただし、ｗｅｉｇｈｔＡ”ｉは参照仮想イメージ増強データのｉ個目のメッシュ頂点における位置データである。）
Ｓ５１７において、目的仮想イメージ増強データと参照仮想イメージ増強データとの差分値を目的平行移動係数とする。
例示的には、以下の式により目的平行移動係数を確定することができる。
Figure 2022073979000014
 （ただし、Ｔｒａｎｓｌａｔｅは目的平行移動係数であり、ｗｅｉｇｈｔＡ”は参照仮想イメージ増強データである。）
Ｓ５１８において、目的ズーム係数、目的回転係数および目的平行移動係数に基づき、メッシュ骨格モデルを駆動して変換待ち画像に対応する仮想イメージを取得するための目的骨格駆動係数を確定する。
例示的には、以下の式により目的骨格駆動係数を取得することができる。
Figure 2022073979000015
 （ただし、Ｒｉｇｉｄは目的骨格駆動係数である。）
図５Ｆに示す剛性変換結果の模式図を参照し、目的骨格駆動係数によりメッシュ骨格モデルを駆動し、基礎仮想イメージデータに対する剛性変換を実現し、図示された結果から見られるように、剛性変換結果（図中の濃い色のポイントクラウドデータ）と目的仮想イメージデータ（図中の薄い色のポイントクラウドデータ）との合致度が高い。
本発明は、上記各仮想イメージ駆動方法を実現するための仮想装置の実施例を更に提供する。 更に、図６に示す仮想イメージ駆動装置６００を参照し、メッシュ重み取得モジュール６０１と、目的仮想イメージデータ取得モジュール６０２と、骨格駆動係数確定モジュール６０３と、メッシュ骨格モデル駆動モジュール６０４とを備える。
メッシュ重み取得モジュール６０１は、仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得するために用いられる。
目的仮想イメージデータ取得モジュール６０２は、変換待ち画像を仮想イメージに変換する時のメッシュ骨格モデルの目的仮想イメージデータを取得するために用いられる。
骨格駆動係数確定モジュール６０３は、メッシュ重み、メッシュ骨格モデルの基礎仮想イメージデータおよび目的仮想イメージデータに基づいてメッシュ骨格モデルの骨格駆動係数を確定するために用いられる。
メッシュ骨格モデル駆動モジュール６０４は、各骨格関節の骨格駆動係数に基づいてメッシュ骨格モデルを駆動するために用いられる。
本発明の実施例は、骨格駆動係数を確定する過程で現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを導入し、メッシュ重みにより現在の骨格関節に関連するメッシュ頂点に対する他の骨格関節の影響を除去することで、現在の骨格関節の骨格駆動係数の確定結果の正確度を向上させ、骨格駆動係数に基づいて仮想イメージを駆動する駆動結果と目的仮想イメージデータとの合致度を更に向上させる。
更に、骨格駆動係数は目的回転係数を含む。
ここで、骨格駆動係数確定モジュール６０３は、
基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定するための中間仮想イメージデータ確定ユニットと、
メッシュ重みにより中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得するための加重増強ユニットと、
中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新するための現在回転係数更新ユニットと、
反復終了条件を満たす場合の現在の回転係数を目的回転係数とするための目的回転係数確定ユニットと、
を備える。
更に、骨格駆動係数確定モジュール６０３は、
基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定する前に、基礎仮想イメージデータおよび目的仮想イメージデータをそれぞれ非集中化処理し、基礎仮想イメージデータおよび目的仮想イメージデータを更新するための非集中化処理ユニット
を更に備える。
更に、非集中化処理ユニットは、
メッシュ重みに基づき、基礎仮想イメージデータおよび目的仮想イメージデータの基礎加重重心と目的加重重心をそれぞれ確定するための加重重心確定サブユニットと、
基礎加重重心に基づいて基礎仮想イメージデータを非集中化処理し、目的加重重心に基づいて目的仮想イメージデータを非集中化処理するための非集中化処理サブユニットと、
を備える。
更に、骨格駆動係数確定モジュール６０３は、
中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新する前に、中間仮想イメージ増強データおよび目的仮想イメージ増強データをそれぞれ標準化処理し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを更新し、または、
中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ標準化処理し、中間仮想イメージデータおよび目的仮想イメージデータを更新するための標準化処理ユニット
を更に備える。
更に、標準化処理ユニットは、
メッシュ重みに基づき、中間仮想イメージデータおよび目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定するための加重二乗平均平方根誤差確定サブユニットと、
中間加重二乗平均平方根誤差に基づいて中間仮想イメージ増強データを標準化処理し、目的加重二乗平均平方根誤差に基づいて目的仮想イメージ増強データを標準化処理するための第１標準化処理サブユニットと、
を備える。
更に、標準化処理ユニットは、
メッシュ重みに基づき、中間仮想イメージデータおよび目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定するための加重二乗平均平方根誤差確定サブユニットと、
中間加重二乗平均平方根誤差に基づいて中間仮想イメージデータを標準化処理し、目的加重二乗平均平方根誤差に基づいて目的仮想イメージデータを標準化処理するための第２標準化処理サブユニットと、
を備える。
更に、骨格駆動係数は目的ズーム係数を更に含む。
ここで、中間仮想イメージデータ確定ユニットは、
基礎仮想イメージデータ、現在の回転係数および現在のズーム係数に基づいて中間仮想イメージデータを確定するための中間仮想イメージデータ確定サブユニット
を備える。
ここで、加重増強ユニット、更に、
メッシュ重みに基づいて基礎仮想イメージデータを加重増強し、基礎仮想イメージ増強データを取得することに用いられる。
ここで、骨格駆動係数確定モジュール６０３は、
中間仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて現在の回転係数を更新した後、反復終了条件を満たす場合の現在の回転係数を目的回転係数とする前に、現在の回転係数に基づいて目的仮想イメージ増強データを回転処理するための回転処理ユニットと、
回転処理結果および基礎仮想イメージ増強データに基づいて現在のズーム係数を更新するための現在ズーム係数更新ユニットと、
反復終了条件を満たす場合の現在のズーム係数を目的ズーム係数とするための目的ズーム係数確定ユニットと、
を更に備える。
更に、回転処理ユニットは、
メッシュ重みに基づき、回転処理結果および基礎仮想イメージ増強データの加重二乗平均平方根誤差をそれぞれ確定するための加重二乗平均平方根誤差確定サブユニットと、
回転処理結果の加重二乗平均平方根誤差と基礎仮想イメージ増強データの加重二乗平均平方根誤差との比に基づき、現在のズーム係数を更新するための現在ズーム係数更新サブユニットと、
を備える。
更に、骨格駆動係数は目的平行移動係数を更に含む。
ここで、骨格駆動係数確定モジュール６０３は、
目的回転係数および目的ズーム係数に基づいて基礎仮想イメージデータを調整し、参照仮想イメージデータを取得するための参照仮想イメージデータ取得ユニットと、
メッシュ重みにより参照仮想イメージデータを加重増強し、参照仮想イメージ増強データを取得するための参照仮想イメージ増強データ取得ユニットと、
参照仮想イメージ増強データおよび目的仮想イメージ増強データに基づいて目的平行移動係数を確定するための目的平行移動係数確定ユニットと、
を更に備える。
上記仮想イメージ駆動装置は、本発明のいずれかの実施例に係る仮想イメージ駆動方法を実 行でき、仮想イメージ駆動方法に対応する機能モジュールおよび有益な効果を有する。
本発明の実施例によれば、本発明は、電子機器および可読記憶媒体を更に提供する。
図７に示すように、本発明の実施例の仮想イメージ駆動方法を実現する電子機器のブロック図である。電子機器は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータのような各形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯端末、携帯電話、スマートフォン、ウェララブル機器および他の類似する計算装置のような各形式の移動装置を表すこともできる。本発明に示されたコンポーネント、それらの接続、関係、およびそれらの機能は例示的なものに過ぎず、本発明に記載および／または要求される本発明の実現を限定するものではない。
図７に示すように、該電子機器は、１つまたは複数のプロセッサ７０１と、メモリ７０２と、各コンポーネントを接続するように構成される高速インタフェースおよび低速インタフェースを含むインタフェースとを備える。各コンポーネントは、異なるバスで互に接続され、共通のマザーボードに取り付けられるかまたは必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、メモリ内またはメモリ上に記憶されて外部の入力／出力装置（例えば、インタフェースにカップリングされた表示機器）にＧＵＩのグラフィクス情報を表示するための命令を含む。他の実施形態において、必要がある場合、複数のプロセッサおよび／または複数本のバスと、複数のメモリとを共に使用することができる。それと同様に、複数の電子機器に接続することができ、各機器は、一部の必要な動作（例えば、サーバアレイ、ブレードサーバ群、またはマルチプロセッサシステムとする）を提供する。図７において、１つのプロセッサ７０１と例とする。
メモリ７０２は、本発明に係る非一時的なコンピュータ可読記憶媒体である。ここで、本発明に係る仮想イメージ駆動方法を前記少なくとも１つのプロセッサに実行させるために、前記メモリには少なくとも１つのプロセッサにより実行可能な命令が記憶されている。本発明の非一時的なコンピュータ可読記憶媒体はコンピュータ命令を記憶し、該コンピュータ命令は、本発明に係る仮想イメージ駆動方法をコンピュータに実行させるために用いられる。
メモリ７０２は、非一時的なコンピュータ可読記憶媒体として、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラムおよびモジュール、例えば、本発明の実施例における仮想イメージ駆動方法に対応するプログラム命令／モジュール（例えば、図６に示すメッシュ重み取得モジュール６０１、目的仮想イメージデータ取得モジュール６０２、骨格駆動係数確定モジュール６０３、およびメッシュ骨格モデル駆動モジュール６０４）を記憶するために使用できる。プロセッサ７０１は、メモリ７０２に記憶された非一時的なソフトウェアプログラム、命令およびモジュールを実行することにより、サーバの各機能アプリケーションおよびデータ処理を実行し、即ち、上記方法実施例における仮想イメージ駆動方法を実現する。
メモリ７０２は、プログラム記憶エリアおよびデータ記憶エリアを備えてもよく、ここで、プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶エリアは、仮想イメージ駆動方法を実現する電子機器の使用により作成されたデータ等を記憶することができる。また、メモリ７０２は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスク記憶機器、フラッシュメモリ、または他の非一時的な固体記憶機器のような非一時的なメモリを更に含んでもよい。いくつかの実施例において、メモリ７０２は、プロセッサ７０１に対してリモートに設けられたメモリを含むことが好ましく、これらのリモートメモリは、ネットワークを介して音声パケット推薦方法を実現する電子機器に接続することができる。上記ネットワークの実例は、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワークおよびその組み合わせを含んでもよいが、それらに限定されない。
仮想イメージ駆動方法を実現する電子機器は、入力装置７０３と、出力装置７０４とを更に備えてもよい。プロセッサ７０１、メモリ７０２、入力装置７０３および出力装置７０４は、バスまたは他の方式で接続することができ、図７において、バスを介して接続することを例とする。
入力装置７０３は、入力された数字または文字情報を受信し、仮想イメージ駆動方法を実現する電子機器のユーザ設定および機能制御に関連するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、インジケータ、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等の入力装置である。出力装置７０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、および触覚フィードバック装置（例えば、振動モータ）等を含んでもよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、およびプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態において、表示機器はタッチパネルであってもよい。
ここで説明するシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これらの各実施形態は以下を含んでもよい。１つまたは複数のコンピュータプログラムに実施され、該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行および／または解釈することができ、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび命令を受信し、且つデータおよび命令を、該ストレージシステム、該少なくとも１つの入力装置、および該少なくとも１つの出力装置に伝送することができる専用または汎用のプログラマブルプロセッサであってもよい。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、且つ、高度なプロセスまたはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語を用いてこれらの計算プログラムを実施することができる。本発明に使用されるように、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械命令またはデータをプログラマブルプロセッサに提供するように構成される任意のコンピュータプログラム製品、機器、または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理機器（ＰＬＤ））を意味し、機械可読信号としての機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を意味する。
ユーザとのインタラクションを提供するために、ここで説明するシステムおよび技術をコンピュータで実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれにより入力をコンピュータに提供することができるキーボードおよび指向装置（例えば、マウスまたはトラックボール）とを有する。他の種類の装置は、更にユーザとのインタラクションを提供するように構成されてもよい。例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、且つ、任意の形式（音入力、音声入力または、触覚入力を含む）でユーザからの入力を受信することができる。
ここで説明するシステムおよび技術を、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、または中間コンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、ユーザがそれによりここで説明するシステムおよび技術の実施形態とインタラクションできるグラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータ）、またはこのようなバックグラウンドコンポーネント、中間コンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により、システムのコンポーネントを互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ブロックチェーンネットワーク、およびインターネットを含む。
コンピュータシステムはクライアントおよびサーバを含んでもよい。クライアントとサーバとは、一般的に互いに離れ、且つ、通常、通信ネットワークを介してインタラクションを行う。対応するコンピュータで実行されて互いにクライアント－サーバ関係を持つコンピュータプログラムにより、クライアントとサーバとの関係を生成する。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービス体系における１つのホスト製品であり、従来の物理ホストおよびＶＰＳサービスに存在する管理しにくく、トラフィックの拡張性が弱いという欠陥を解決するために使用される。
本発明の実施例の技術案によれば、骨格駆動係数を確定する過程で現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを導入し、メッシュ重みにより現在の骨格関節に関連するメッシュ頂点に対する他の骨格関節の影響を除去することで、現在の骨格関節の骨格駆動係数の確定結果の正確度を向上させ、骨格駆動係数に基づいて仮想イメージを駆動する駆動結果と目的仮想イメージデータとの合致度を更に向上させる。
上記に示す様々な形式のフローを用い、ステップを並べ替え、追加または削除することができることを理解すべきである。例えば、本発明に記載された各ステップは、並列に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本発明に開示された技術案の所望する結果を達成できる限り、本発明はここで限定しない。
上記具体的な実施形態は、本発明の保護範囲を限定するものではない。当業者は、設計要求および他の要因に基づき、様々な修正、組み合わせ、サブ組み合わせおよび代替が可能であることを理解すべできる。本発明の精神および原則内で行われる任意の修正、均等置換および改良等は、いずれも本発明の保護範囲内に含まれているべきである。

Claims (23)

  1. 仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得することと、
    変換待ち画像を前記仮想イメージに変換する時の前記メッシュ骨格モデルの目的仮想イメージデータを取得することと、
    前記メッシュ重み、前記メッシュ骨格モデルの基礎仮想イメージデータおよび前記目的仮想イメージデータに基づいて前記メッシュ骨格モデルの骨格駆動係数を確定することと、
    各骨格関節の前記骨格駆動係数に基づいて前記メッシュ骨格モデルを駆動することと、を含む、
    仮想イメージ駆動方法。
  2. 前記骨格駆動係数は目的回転係数を含み、
    前記メッシュ重み、前記メッシュ骨格モデルの基礎仮想イメージデータおよび前記目的仮想イメージデータに基づいて前記メッシュ骨格モデルの骨格駆動係数を確定することは、
    前記基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定することと、
    前記メッシュ重みにより前記中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得することと、
    前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記現在の回転係数を更新することと、
    反復終了条件を満たす場合の現在の回転係数を目的回転係数とすることと、を含む、
    請求項１に記載の方法。
  3. 前記基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定する前に、
    前記基礎仮想イメージデータおよび前記目的仮想イメージデータをそれぞれ非集中化処理し、前記基礎仮想イメージデータおよび前記目的仮想イメージデータを更新することを更に含む、
    請求項２に記載の方法。
  4. 前記中間仮想イメージデータおよび前記目的仮想イメージデータをそれぞれ非集中化処理することは、
    前記メッシュ重みに基づき、前記基礎仮想イメージデータおよび前記目的仮想イメージデータの基礎加重重心と目的加重重心をそれぞれ確定することと、
    前記基礎加重重心に基づいて前記基礎仮想イメージデータを非集中化処理し、前記目的加重重心に基づいて前記目的仮想イメージデータを非集中化処理することと、を含む、
    請求項３に記載の方法。
  5. 前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記現在の回転係数を更新する前に、
    前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データをそれぞれ標準化処理し、前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データを更新すること、または
    前記中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ標準化処理し、前記中間仮想イメージデータおよび前記目的仮想イメージデータを更新すること、を更に含む、
    請求項２に記載の方法。
  6. 前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データをそれぞれ標準化処理し、前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データを更新することは、
    前記メッシュ重みに基づき、前記中間仮想イメージデータおよび前記目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定することと、
    前記中間加重二乗平均平方根誤差に基づいて前記中間仮想イメージ増強データを標準化処理し、前記目的加重二乗平均平方根誤差に基づいて前記目的仮想イメージ増強データを標準化処理することと、を含む、
    請求項５に記載の方法。
  7. 前記中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ標準化処理し、前記中間仮想イメージデータおよび前記目的仮想イメージデータを更新することは、
    前記メッシュ重みに基づき、前記中間仮想イメージデータおよび前記目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定することと、
    前記中間加重二乗平均平方根誤差に基づいて前記中間仮想イメージデータを標準化処理し、前記目的加重二乗平均平方根誤差に基づいて前記目的仮想イメージデータを標準化処理することと、
    を含む、
    請求項５に記載の方法。
  8. 前記骨格駆動係数は目的ズーム係数を更に含み、
    前記基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定することは、
    前記基礎仮想イメージデータ、現在の回転係数および現在のズーム係数に基づいて中間仮想イメージデータを確定することを含み、
    前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記現在の回転係数を更新した後、前記反復終了条件を満たす場合の現在の回転係数を目的回転係数とする前に、
    前記メッシュ重みに基づいて前記基礎仮想イメージデータを加重増強し、基礎仮想イメージ増強データを取得することと、
    前記現在の回転係数に基づいて前記目的仮想イメージ増強データを回転処理することと、
    回転処理結果および前記基礎仮想イメージ増強データに基づいて前記現在のズーム係数を更新することと、
    前記反復終了条件を満たす場合の現在のズーム係数を目的ズーム係数とすることと、を更に含む、
    請求項２～７のいずれか１項に記載の方法。
  9. 前記回転処理結果および前記基礎仮想イメージ増強データに基づいて前記現在のズーム係数を更新することは、
    メッシュ重みに基づき、前記回転処理結果および前記基礎仮想イメージ増強データの加重二乗平均平方根誤差をそれぞれ確定することと、
    前記回転処理結果の加重二乗平均平方根誤差と前記基礎仮想イメージ増強データの加重二乗平均平方根誤差との比に基づき、前記現在のズーム係数を更新することと、を含む、
    請求項８に記載の方法。
  10. 前記骨格駆動係数は目的平行移動係数を更に含み、
    前記目的回転係数および前記目的ズーム係数に基づいて前記基礎仮想イメージデータを調整し、参照仮想イメージデータを取得することと、
    前記メッシュ重みにより前記参照仮想イメージデータを加重増強し、参照仮想イメージ増強データを取得することと、
    前記参照仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記目的平行移動係数を取得することと、を更に含む、
    請求項８に記載の方法。
  11. 仮想イメージのメッシュ骨格モデルにおける現在の骨格関節に関連する各メッシュ頂点のメッシュ重みを取得するためのメッシュ重み取得モジュールと、
    変換待ち画像を前記仮想イメージに変換する時の前記メッシュ骨格モデルの目的仮想イメージデータを取得するための目的仮想イメージデータ取得モジュールと、
    前記メッシュ重み、前記メッシュ骨格モデルの基礎仮想イメージデータおよび前記目的仮想イメージデータに基づいて前記メッシュ骨格モデルの骨格駆動係数を確定するための骨格駆動係数確定モジュールと、
    各骨格関節の前記骨格駆動係数に基づいて前記メッシュ骨格モデルを駆動するためのメッシュ骨格モデル駆動モジュールと、を備える、
    仮想イメージ駆動装置。
  12. 前記骨格駆動係数は目的回転係数を含み、
    前記骨格駆動係数確定モジュールは、
    前記基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定するための中間仮想イメージデータ確定ユニットと、
    前記メッシュ重みにより前記中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ加重増強し、中間仮想イメージ増強データおよび目的仮想イメージ増強データを取得するための加重増強ユニットと、
    前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記現在の回転係数を更新するための現在回転係数更新ユニットと、
    反復終了条件を満たす場合の現在の回転係数を目的回転係数とするための目的回転係数確定ユニットと、を備える、
    請求項１１に記載の装置。
  13. 前記骨格駆動係数確定モジュールは、
    前記基礎仮想イメージデータおよび現在の回転係数に基づいて中間仮想イメージデータを確定する前に、前記基礎仮想イメージデータおよび前記目的仮想イメージデータをそれぞれ非集中化処理し、前記基礎仮想イメージデータおよび前記目的仮想イメージデータを更新するための非集中化処理ユニットを更に備える、
    請求項１２に記載の装置。
  14. 前記非集中化処理ユニットは、
    前記メッシュ重みに基づき、前記基礎仮想イメージデータおよび前記目的仮想イメージデータの基礎加重重心おと目的加重重心をそれぞれ確定するための加重重心確定サブユニットと、
    前記基礎加重重心に基づいて前記基礎仮想イメージデータを非集中化処理し、前記目的加重重心に基づいて前記目的仮想イメージデータを非集中化処理するための非集中化処理サブユニットと、を備える、
    請求項１３に記載の装置。
  15. 前記骨格駆動係数確定モジュールは、
    前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記現在の回転係数を更新する前に、前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データをそれぞれ標準化処理し、前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データを更新し、または、前記中間仮想イメージデータおよび目的仮想イメージデータをそれぞれ標準化処理し、前記中間仮想イメージデータおよび前記目的仮想イメージデータを更新するための標準化処理ユニットを更に備える、
    請求項１２に記載の装置。
  16. 前記標準化処理ユニットは、
    前記メッシュ重みに基づき、前記中間仮想イメージデータおよび前記目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定するための加重二乗平均平方根誤差確定サブユニットと、
    前記中間加重二乗平均平方根誤差に基づいて前記中間仮想イメージ増強データを標準化処理し、前記目的加重二乗平均平方根誤差に基づいて前記目的仮想イメージ増強データを標準化処理するための第１標準化処理サブユニットと、を備える、
    請求項１５に記載の装置。
  17. 前記標準化処理ユニットは、
    前記メッシュ重みに基づき、前記中間仮想イメージデータおよび前記目的仮想イメージデータの中間加重二乗平均平方根誤差および目的加重二乗平均平方根誤差をそれぞれ確定するための加重二乗平均平方根誤差確定サブユニットと、
    前記中間加重二乗平均平方根誤差に基づいて前記中間仮想イメージデータを標準化処理し、前記目的加重二乗平均平方根誤差に基づいて前記目的仮想イメージデータを標準化処理するための第２標準化処理サブユニットと、を備える、
    請求項１５に記載の装置。
  18. 前記骨格駆動係数は目的ズーム係数を更に含み、
    前記中間仮想イメージデータ確定ユニットは、
    前記基礎仮想イメージデータ、現在の回転係数および現在のズーム係数に基づいて中間仮想イメージデータを確定するための中間仮想イメージデータ確定サブユニットを備え、
    前記加重増強ユニットは、更に、
    前記メッシュ重みに基づいて前記基礎仮想イメージデータを加重増強し、基礎仮想イメージ増強データを取得することに用いられ、
    前記骨格駆動係数確定モジュールは、
    前記中間仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記現在の回転係数を更新した後、前記反復終了条件を満たす場合の現在の回転係数を目的回転係数とする前に、前記現在の回転係数に基づいて前記目的仮想イメージ増強データを回転処理するための回転処理ユニットと、
    回転処理結果および前記基礎仮想イメージ増強データに基づいて前記現在のズーム係数を更新するための現在ズーム係数更新ユニットと、
    前記反復終了条件を満たす場合の現在のズーム係数を目的ズーム係数とするための目的ズーム係数確定ユニットと、を更に備える、
    請求項１２～１７のいずれか１項に記載の装置。
  19. 前記回転処理ユニットは、
    メッシュ重みに基づき、前記回転処理結果および前記基礎仮想イメージ増強データの加重二乗平均平方根誤差をそれぞれ確定するための加重二乗平均平方根誤差確定サブユニットと、
    前記回転処理結果の加重二乗平均平方根誤差と前記基礎仮想イメージ増強データの加重二乗平均平方根誤差との比に基づき、前記現在のズーム係数を更新するための現在ズーム係数更新サブユニットと、を備える、
    請求項１８に記載の装置。
  20. 前記骨格駆動係数は目的平行移動係数を更に含み、
    前記骨格駆動係数確定モジュールは、
    前記目的回転係数および前記目的ズーム係数に基づいて前記基礎仮想イメージデータを調整し、参照仮想イメージデータを取得するための参照仮想イメージデータ取得ユニットと、
    前記メッシュ重みにより前記参照仮想イメージデータを加重増強し、参照仮想イメージ増強データを取得するための参照仮想イメージ増強データ取得ユニットと、
    前記参照仮想イメージ増強データおよび前記目的仮想イメージ増強データに基づいて前記目的平行移動係数を取得するための目的平行移動係数確定ユニットと、を更に備える、
    請求項１８に記載の装置。
  21. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリと、を備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～１０のいずれか１項に記載の仮想イメージ駆動方法を実行可能であるように、前記少なくとも１つのプロセッサにより実行される、
    電子機器。
  22. 請求項１～１０のいずれか１項に記載の仮想イメージ駆動方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、
    非一時的なコンピュータ可読記憶媒体。
  23. 請求項１～１０のいずれか１項に記載の仮想イメージ駆動方法をコンピュータに実行させるためのプログラム。
JP2021154597A 2020-10-30 2021-09-22 仮想イメージ駆動方法、装置、機器および媒体 Active JP7288939B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011192132.0 2020-10-30
CN202011192132.0A CN112184921B (zh) 2020-10-30 2020-10-30 虚拟形象驱动方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
JP2022073979A true JP2022073979A (ja) 2022-05-17
JP7288939B2 JP7288939B2 (ja) 2023-06-08

Family

ID=73916791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021154597A Active JP7288939B2 (ja) 2020-10-30 2021-09-22 仮想イメージ駆動方法、装置、機器および媒体

Country Status (3)

Country Link
US (1) US20210383605A1 (ja)
JP (1) JP7288939B2 (ja)
CN (1) CN112184921B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445561B (zh) * 2020-03-25 2023-11-17 北京百度网讯科技有限公司 虚拟对象的处理方法、装置、设备及存储介质
CN112819971B (zh) * 2021-01-26 2022-02-25 北京百度网讯科技有限公司 虚拟形象的生成方法、装置、设备和介质
CN112987932B (zh) * 2021-03-24 2023-04-18 北京百度网讯科技有限公司 基于虚拟形象的人机交互、控制方法及装置
CN113050794A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 用于虚拟形象的滑块处理方法及装置
CN113050795A (zh) * 2021-03-24 2021-06-29 北京百度网讯科技有限公司 虚拟形象的生成方法及装置
CN113610992B (zh) * 2021-08-04 2022-05-20 北京百度网讯科技有限公司 骨骼驱动系数确定方法、装置、电子设备及可读存储介质
CN115049799B (zh) * 2022-06-14 2024-01-09 北京百度网讯科技有限公司 3d模型和虚拟形象的生成方法和装置
CN114842155B (zh) * 2022-07-04 2022-09-30 埃瑞巴蒂成都科技有限公司 一种高精度自动骨骼绑定方法
CN115049768B (zh) * 2022-08-17 2022-11-04 深圳泽森软件技术有限责任公司 创建角色动画模型方法、装置、计算机设备和存储介质
CN115049769B (zh) * 2022-08-17 2022-11-04 深圳泽森软件技术有限责任公司 角色动画生成方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362529A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Skeletal systems for animating virtual avatars

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150178988A1 (en) * 2012-05-22 2015-06-25 Telefonica, S.A. Method and a system for generating a realistic 3d reconstruction model for an object or being
EP3029635B1 (en) * 2014-12-05 2019-11-13 Dassault Systèmes Computer-implemented method for designing an avatar with at least one garment
US9928663B2 (en) * 2015-07-27 2018-03-27 Technische Universiteit Delft Skeletal joint optimization for linear blend skinning deformations utilizing skeletal pose sampling
CN105513114B (zh) * 2015-12-01 2018-05-18 深圳奥比中光科技有限公司 三维动画生成的方法和装置
US10262447B2 (en) * 2016-09-30 2019-04-16 Disney Enterprises, Inc. Systems and methods for virtual entity animation
WO2019212698A1 (en) * 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
US10789784B2 (en) * 2018-05-23 2020-09-29 Asustek Computer Inc. Image display method, electronic device, and non-transitory computer readable recording medium for quickly providing simulated two-dimensional head portrait as reference after plastic operation
CN109711335A (zh) * 2018-12-26 2019-05-03 北京百度网讯科技有限公司 通过人体特征对目标图片进行驱动的方法及装置
CN110766777B (zh) * 2019-10-31 2023-09-29 北京字节跳动网络技术有限公司 虚拟形象的生成方法、装置、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362529A1 (en) * 2018-05-22 2019-11-28 Magic Leap, Inc. Skeletal systems for animating virtual avatars

Also Published As

Publication number Publication date
CN112184921B (zh) 2024-02-06
JP7288939B2 (ja) 2023-06-08
US20210383605A1 (en) 2021-12-09
CN112184921A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
JP2022073979A (ja) 仮想イメージ駆動方法、装置、機器および媒体
JP7212741B2 (ja) ３次元アバタ生成方法、装置、電子機器及び記憶媒体
CN112509099B (zh) 虚拟形象驱动方法、装置、设备和存储介质
KR20210036879A (ko) 가상 오브젝트 구동 방법, 장치, 전자기기 및 판독 가능 저장매체
CN111968203B (zh) 动画驱动方法、装置、电子设备及存储介质
CN112581573B (zh) 虚拟形象驱动方法、装置、设备、介质和程序产品
CN112330805B (zh) 人脸3d模型生成方法、装置、设备及可读存储介质
CN112819971B (zh) 虚拟形象的生成方法、装置、设备和介质
CN112862933B (zh) 用于优化模型的方法、装置、设备以及存储介质
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
CN114862992A (zh) 虚拟数字人处理方法、模型训练方法及其装置
CN111754431B (zh) 一种图像区域替换方法、装置、设备及存储介质
CN111899159B (zh) 用于变换发型的方法、装置、设备以及存储介质
CN115147523A (zh) 虚拟形象驱动方法及装置、设备、介质和程序产品
CN112562043B (zh) 图像处理方法、装置和电子设备
CN111599002A (zh) 用于生成图像的方法和装置
CN114677572A (zh) 对象描述参数的生成方法、深度学习模型的训练方法
CN112509098B (zh) 动画形象生成方法、装置及电子设备
CN111833391A (zh) 图像深度信息的估计方法及装置
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备
CN112489216B (zh) 面部重建模型的评测方法、装置、设备及可读存储介质
CN112508830B (zh) 图像处理模型的训练方法、装置、设备及存储介质
CN115937373B (zh) 虚拟形象驱动方法、装置、设备以及存储介质
CN113610992B (zh) 骨骼驱动系数确定方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7288939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150