JP2021504827A - 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器 - Google Patents

特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器 Download PDF

Info

Publication number
JP2021504827A
JP2021504827A JP2020528474A JP2020528474A JP2021504827A JP 2021504827 A JP2021504827 A JP 2021504827A JP 2020528474 A JP2020528474 A JP 2020528474A JP 2020528474 A JP2020528474 A JP 2020528474A JP 2021504827 A JP2021504827 A JP 2021504827A
Authority
JP
Japan
Prior art keywords
sub
key point
parameter
program file
special effects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020528474A
Other languages
English (en)
Other versions
JP7015921B2 (ja
Inventor
▲許▼▲親▼▲親▼
李展▲鵬▼
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド, ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2021504827A publication Critical patent/JP2021504827A/ja
Application granted granted Critical
Publication of JP7015921B2 publication Critical patent/JP7015921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本願の実施例は、特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器を開示し、ここで、特殊効果プログラムファイルパッケージの生成方法は、サブ素材をインポートするステップと、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含む。本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、特殊効果の正確性は効果的に保障される。

Description

（関連出願の相互参照）
本願は、２０１８年１月１９日に中国特許局に提出された、出願番号がＣＮ２０１８１００５５４２９．９であり、発明名称が「特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器」である中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願は、コンピュータビジョン技術に関し、特に、特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器に関する。
拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）は、現実世界と仮想世界の情報を「シームレスに」統合する新しい技術であり、元々の現実世界にある特定の時間及び空間範囲内の実物情報をシミュレートしてから仮想情報と重畳させ、仮想情報を現実世界に適用し、現実世界の人物、環境及び仮想物体を同一の画面又は空間に同時に存在させるようにリアルタイムに重畳させて、現実を超えた感覚体験を達成する。
本願の実施例は、特殊効果を生成する技術的解決手段を提供する。
本願の実施例の一態様によれば、サブ素材をインポートするステップと、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含む特殊効果プログラムファイルパッケージの生成方法を提供する。
選択可能に、本願の上記各方法の実施例では、サブ素材をインポートする前記ステップは、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含む。
選択可能に、本願の上記各方法の実施例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位ための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップと、を含む。
選択可能に、本願の上記各方法の実施例では、対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップを含む。
選択可能に、本願の上記各方法の実施例では、前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含む。
選択可能に、本願の上記各方法の実施例では、前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含む。
選択可能に、本願の上記各方法の実施例では、前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値し、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含む。
選択可能に、本願の上記各方法の実施例では、前記再生パラメータは、前記サブ素材を表示するか否かを示すための表示パラメータ、前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、前記サブ素材のリピート再生回数を示すためのリピートパラメータ、前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータの中のいずれか一項又は複数項を含み、選択可能に、本願の上記各方法の実施例では、前記再生パラメータは、前記サブ素材を表示するか否かを示すための表示パラメータ、前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、前記サブ素材のリピート再生回数を示すためのリピートパラメータ、前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、前記サブ素材と位置の関係種類を示すための位置種類パラメータ、前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、前記位置種類パラメータは、前景を示すためのパラメータ、前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、参照部位に関係する再生位置関係、背景を示すためのパラメータの中のいずれか一項を含む。
選択可能に、本願の上記各方法の実施例では、前記の参照部位に関係する再生位置関係は、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、前記参照画像は、参照人物の少なくとも一部の画像を含む。
選択可能に、本願の上記各方法の実施例では、前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各方法の実施例では、サブ素材をインポートする前記ステップの後に、前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、特殊効果プログラムファイルパッケージを生成する前記ステップの前に、事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含む。
選択可能に、本願の上記各方法の実施例では、受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、前記操作画面は、左側、中部及び右側という３つの領域を含み、操作画面を表示する前記ステップは、前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示するステップを含む。
選択可能に、本願の上記各方法の実施例では、特殊効果プログラムファイルパッケージを生成する前記ステップの後に、受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含む。
選択可能に、本願の上記各方法の実施例では、受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、を含む、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶する。
選択可能に、本願の上記各方法の実施例では、前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持される。
本願の実施例のまた１つの態様によれば、特殊効果プログラムファイルパッケージをインポートするステップと、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、ビデオ画像に対してキーポイント検出を行うステップと、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を更に含む特殊効果生成方法を提供する。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、特殊効果プログラムファイルパッケージをインポートする前記ステップは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するステップを更に含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記ビデオ画像に対してキーポイント検出を行う前記ステップは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各特殊効果生成方法の実施例では、前記特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法を用いて生成されたものである。
本願の実施例の更にまた１つの態様によれば、サブ素材をインポートするための第１のインポートモジュールと、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含む特殊効果プログラムファイルパッケージの生成装置を提供する。
選択可能に、本願の上記各装置の実施例では、操作欄を含む操作画面と、前記操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするための前記第１のインポートモジュールと、を更に含む。
選択可能に、本願の上記各装置の実施例では、前記第１のインポートモジュールは、前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、を実行するために用いられる。
選択可能に、本願の上記各装置の実施例では、前記第１のインポートモジュールは、前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を実行するために用いられる。
選択可能に、本願の上記各装置の実施例では、前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含む。
選択可能に、本願の上記各装置の実施例では、前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記第１の取得モジュールは、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する時に、前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップ、を実行するために用いられる。
選択可能に、本願の上記各装置の実施例では、前記第１の取得モジュールは、前記サブ素材の再生パラメータのパラメータ値を取得する時に、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするために用いられる。
選択可能に、本願の上記各装置の実施例では、前記再生パラメータは、前記サブ素材を表示するか否かを示すための表示パラメータ、前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、前記サブ素材のリピート再生回数を示すためのリピートパラメータ、前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、前記サブ素材と位置の関係種類を示すための位置種類パラメータ、前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記位置種類パラメータは、前景を示すためのパラメータ、前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、参照部位に関係する再生位置関係、背景を示すためのパラメータの中のいずれか一項を含む。
選択可能に、本願の上記各装置の実施例では、前記の参照部位に関係する再生位置関係は、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、しかも前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含む。
選択可能に、本願の上記各装置の実施例では、前記参照画像は、参照人物の少なくとも一部の画像を含む。
選択可能に、本願の上記各装置の実施例では、前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各装置の実施例では、前記コンテンツ表示欄は、更に前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられる。
選択可能に、本願の上記各装置の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含む。
選択可能に、本願の上記各装置の実施例では、前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含む。
選択可能に、本願の上記各装置の実施例では、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含む。
選択可能に、本願の上記各装置の実施例では、前記操作画面は、事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、且つ前記サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含む。
選択可能に、本願の上記各装置の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含む。
選択可能に、本願の上記各装置の実施例では、前記操作画面は、左側、中部及び右側という３つの領域を含み、前記操作画面の左側は前記操作欄を表示するためのものであり、前記操作画面の中部は前記コンテンツ表示欄を表示するためのものであり、前記操作画面の右側は前記プログラムファイル欄を表示するためのものである。
選択可能に、本願の上記各装置の実施例では、受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含む。
選択可能に、本願の上記各装置の実施例では、前記保存モジュールは、保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を実行するために用いられる。
選択可能に、本願の上記各装置の実施例では、前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持される。
本願の実施例の更にまた１つの態様によれば、特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含む特殊効果生成装置を提供する。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２のインポートモジュールは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を実行するために用いられる。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含む。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２の取得モジュールは、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を実行するために用いられる。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、前記サブ素材の前記ビデオで表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含む。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２の生成モジュールは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を実行するために用いられる。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記第２の取得モジュールは、更に前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられる。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記キーポイント検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられる。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
選択可能に、本願の上記各特殊効果生成装置の実施例では、前記特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの実施例に記載の特殊効果プログラムファイルパッケージの生成方法又は装置を用いて生成したものである。本願の実施例の別の態様によれば、コンピュータプログラムを記憶するためのメモリと、前記メモリに記憶されたコンピュータプログラムを実行するために用いられ、前記コンピュータプログラムが実行されると、本願の上記のいずれか１つの実施例に記載の方法を実現するプロセッサと、を含む電子機器を提供する。
本願の実施例に係る別の態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願の上記のいずれか１つの実施例に記載の方法を実現するコンピュータ可読記憶媒体を提供する。
本願の実施例の別の態様によれば、コンピュータコマンドを含むコンピュータプログラムであって、前記コンピュータコマンドが機器のプロセッサで動作すると、本願の上記のいずれか１つの実施例に記載の方法を実現するコンピュータプログラムを提供する。
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを生成する時に、サブ素材をインポートし、該サブ素材の再生パラメータのパラメータ値を取得し、該サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成することになり、それによって、該特殊効果プログラムファイルパッケージに基づいてビデオに対して特殊効果処理を行い、本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
本願の上記実施例で提供された特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを読み込み、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ画像上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
以下は、図面及び実施例によって本願の技術的解決手段について更に詳細に説明する。
本願の特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。 本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図である。 本願の実施例における参照部位が手である時のサブ素材の再生パラメータ設定画面を例示的に示す一模式図である。 本願の実施例における顔部キーポイントを例示的に示す一模式図である。 本願の実施例における手部動作を例示的に示す一模式図である。 本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例のフローチャートである。 本願の特殊効果生成方法の一実施例のフローチャートである。 本願の特殊効果生成方法の別の実施例のフローチャートである。 本願の特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。 本願の特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。 本願の特殊効果生成装置の一実施例の構造模式図である。 本願の特殊効果生成装置の別の実施例の構造模式図である。 本願の電子機器の一適用実施例の構造模式図である。
明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。
図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。
更に、本願の実施例では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも１つの」は１つ、２つ又は２つ以上を指してよいことを理解すべきである。
本願の実施例における「第１の」、「第２の」等の用語は、異なるステップ、機器又はモジュール等を区別するためのものに過ぎず、何の特定の技術的意味を表したり、それらの必然的な論理的順序を表したりすることもないことが当業者に理解可能である。
更に、本願の実施例で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解すべきである。
更に、本願ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
また、本願の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本願の符号の「／」は、一般的には前後の関連対象が「又は」という関係であることを示す。
本願の実施例は端末装置、コンピュータシステム、サーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
端末機器、コンピュータシステム、サーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
図１は本願の特殊効果プログラムファイルパッケージの生成方法の一実施例のフローチャートである。本願の各実施例の特殊効果プログラムファイルパッケージの生成方法は、例えば１つの装置（本願の実施例では特殊効果プログラムファイルパッケージの生成装置と称する）によって実現可能であるが、それに限定されない。図１に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
１０２において、サブ素材をインポートする。
本願の各実施例の一実施形態では、サブ素材は、例えば、画像、動画、ビデオ、音声等の中のいずれか一項又は複数項を含んでよいが、それらに限定されない。
選択可能な一例では、該操作１０２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１のインポートモジュールにより実行されてもよい。
１０４において、上記サブ素材の再生パラメータのパラメータ値を取得し、且つ上記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する。
選択可能な一例では、該操作１０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の取得モジュールにより実行されてもよい。
１０６において、上記サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する。
本願の実施例では、特殊効果プログラムファイルパッケージは、ビデオの特殊効果処理に用いられ、ビデオ上でサブ素材の特殊効果を生成することができ、例えば、ビデオに対してＡＲ効果のレンダリング処理を行う。
選択可能な一例では、該操作１０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の生成モジュールにより実行されてもよい。
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成方法によれば、特殊効果プログラムファイルパッケージを生成する時に、サブ素材をインポートし、該サブ素材の再生パラメータのパラメータ値を取得し、該サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成し、それによって、該特殊効果プログラムファイルパッケージに基づいて、ビデオに対して特殊効果処理を行い、本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
本願の各実施例の一実施形態では、特殊効果プログラムファイルパッケージの生成装置には、予め設定された特殊効果プログラムファイルを含んでもよく、例えば、ＪａｖａＳｃｒｉｐｔ（登録商標）言語に基づく軽量のデータ交換フォーマット（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔｉａｔｉｏｎ、ｊｓｏｎ）ファイル、又は他の任意の実行可能なプログラムファイルであってもよい。該特殊効果プログラムファイル中の再生パラメータのパラメータ値は空にするか、又はデフォルト値にプリセットすることができ、サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られた時に、該特殊効果プログラムファイル中の対応するパラメータ値は、受け取られたパラメータ値に自動的に更新される。選択可能に、上記特殊効果プログラムファイルパッケージの生成装置は、操作欄を含むことができ、操作欄に少なくとも１つの対話インターフェイスが設定されており、サブ素材の再生パラメータに対して設定されたパラメータ値を受け取るために用いられ、なお、該特殊効果プログラムファイルパッケージの生成装置は、プログラムファイル表示欄を更に含むことができ、サブ素材の再生パラメータのプログラムファイルを表示するために用いられ、図２は、本願の実施例における特殊効果プログラムファイルパッケージの生成装置の操作画面を例示的に示す図であり、該特殊効果プログラムファイルパッケージの生成装置の操作画面は、操作欄及びプログラムファイル表示欄を含む。該特殊効果プログラムファイルパッケージの生成装置が起動された後、操作欄中の１つのサブ素材の再生パラメータ設定画面に対応するように、該サブ素材の再生パラメータが空であるか、又はデフォルト値にプリセットされた時の特殊効果プログラムファイルがプログラムファイル表示欄に表示され、１つのサブ素材の再生パラメータに対して設定されたパラメータ値が操作欄の対話インターフェイスによって受け取られた時に、該サブ素材の再生パラメータに対して設定されたパラメータ値は、直近に受け取られたパラメータ値に更新され、プログラムファイル表示欄はパラメータ値が更新された後の特殊効果プログラムファイルをリアルタイムに表示する。図２においてプログラムファイル表示欄に表示されたプログラムファイルは、特殊効果プログラムファイルパッケージの生成装置の示す操作画面に対して例示的に説明するためのものに過ぎず、本願の実施例は、そのプログラムファイルの表現形式及び具体的な内容に関心せず、制限する必要もなく、該プログラムファイルの表現形式及び具体的な内容は、必要に応じて設定、更新されても良いことである。
本願の各特殊効果プログラムファイルパッケージの生成方法の実施例の一実施形態では、操作１０２は、操作欄の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることを含んでもよい。
図２に示すように、限定するものではない本願の各実施例の選択可能な一例として、操作欄が、少なくとも１つの対話インターフェイスを含む特殊効果パラメータ設定画面を含むことができ、更に、参照部位表示領域のような他の領域を含むことができ、この場合、特殊効果パラメータ設定画面が、各参照部位のための特殊効果パラメータ設定画面であり得る。本願の各実施例における参照部位は、例えば、耳（ｅａｒ）、手（ｈａｎｄ）、顔（ｆａｃｅ）、髪（ｈａｉｒ）、頸部、肢体の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。図３は本願の実施例で参照部位が手である場合のサブ素材の再生パラメータ設定画面の例示的な模式図を示す。本願の上記実施形態の選択可能な一例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることは、操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることを含んでもよい。
又は、本願の上記実施形態の別の選択可能な例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることは、操作欄の対話インターフェイスによって送られた選択命令を受け取り、該選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、目標部位のための特殊効果パラメータ設定画面を操作欄に表示することと、特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることと、を含んでもよい。
本願の上記実施形態の更に別の選択可能な例では、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすることは、
対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダーを取得、表示することと、
素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、該サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートすることと、を含んでもよい。
各素材フォルダーには複数のサブ素材を含んでもよく、例えば、目標部位が耳である時に、素材フォルダーには形状、色が異なるイヤリング、耳覆い等のサブ素材を含んでもよく、本願の各実施例の一実施形態では、サブ素材をインポートする時、ユーザによる素材フォルダー中のサブ素材の選択操作が受け取られていない時に、事前設定により、該インポート命令に示される素材フォルダー中の事前設定位置又は事前設定番号のサブ素材をインポートすることができる。例えば、ユーザがサブ素材を選択していない時に、デフォルトで、該素材フォルダー中の１番目のサブ素材を選択、インポートする。
本願の各実施例の一実施形態では、操作１０４において、サブ素材の再生パラメータのパラメータ値を取得することは、
特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、設定されたパラメータ値をサブ素材の再生パラメータのパラメータ値とし、及び／又は、
特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値をサブ素材の再生パラメータのパラメータ値とすることを含んでもよい。
本願の実施例は、プログラムファイルを手動で書くことなくレンダリングエンジンにより実行可能なファイルを生成し、ユーザによる操作欄でのサブ素材の選択操作及びパラメータ値の設定操作に基づいて特殊効果プログラムパッケージの生成を実現可能であり、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
本願の各実施例の一実施形態では、キーポイントは、例えば、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、頭部キーポイントは、例えば、頭頂部キーポイント、鼻先キーポイント及びあごキーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、顔部キーポイントは、例えば、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
一例としては、目キーポイントは、例えば、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。眉毛キーポイントは、例えば、左眉毛キーポイント及び右眉毛キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。鼻キーポイントは、例えば、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。口部キーポイントは、例えば、上口唇キーポイント、及び下口唇キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、肩部キーポイントは、例えば、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、腕キーポイントは、例えば、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、ジェスチャキーポイントは、例えば、ジェスチャボックス（即ち、ジェスチャ検出ボックス）の４つの頂点キーポイント、及びジェスチャボックスの中心キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、腿部キーポイントは、例えば、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、腰部キーポイントは、例えば、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含んでもよいが、それらに限定されなく、ただし、Ｎが１より大きい整数である。
そのうちの選択可能な一例では、足部キーポイントは、例えば、つま先キーポイント及び踵キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの選択可能な一例では、人体骨格キーポイントは、例えば、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイント等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
本願の各実施例では、サブ素材の表示位置とキーポイントの位置を対応関係にするように、複数のキーポイントの位置を予め設定してもよい。サブ素材の再生パラメータのパラメータ値を設定する時に、予め設定されたキーポイント集合からキーポイントを直接選択して対応の再生パラメータ中のパラメータ値とすることができる。
例えば、そのうちの一実施形態では、顔検出及びジェスチャ検出に基づいてそれぞれ顔部及びジェスチャ（手部）に対して複数のキーポイントを定義して、特殊効果生成における顔キーポイント又はジェスチャキーポイントに基づく位置関係の対応を実現することができる。
例えば、図４は本願の実施例における顔部キーポイントを例示的に示す一模式図であり、図４によれば、選択可能な一例では、顔部キーポイントを以下のように定義してもよい。
選択可能な一例では、手部キーポイントを以下のように定義してもよい。
ただし、番号１１０−１１３のキーポイントはそれぞれジェスチャ検出ボックス（即ち、手部の外縁枠）の４つの頂点であり、番号１１４のキーポイントはジェスチャ検出ボックスの中心である。
本願の各実施例の一実施形態では、操作１０４において、サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立することは、
サブ素材の表示位置と少なくとも１つのキーポイントとの間の対応関係を確立すること、及び／又は、サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立することを含んでもよい。
例えば、本願の上記実施例で確立される対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントである時に、サブ素材の表示位置と上記キーポイントの中の少なくとも１つのものとの間の対応関係を確立することができ、本願の上記実施例で確立される対応関係においてキーポイントが頭部キーポイント、顔部キーポイント、ジェスチャキーポイント、人体骨格キーポイントである時に、サブ素材の表示位置と対応する検出ボックス（例えば、頭部検出ボックス、顔検出ボックス、ジェスチャ検出ボックス、人体検出ボックス）の中心キーポイントとの間の対応関係を確立する。
本願の各実施例の一実施形態では、サブ素材の再生パラメータは、例えば、以下のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
１、表示パラメータ（Ｄｉｓｐｌａｙ）：サブ素材を表示するか否かを示すためのものである。そのパラメータ値は「はい（Ｙｅｓ）」及び「いいえ（Ｎｏ）」という２つのオプションを含み、パラメータ値として「はい（Ｙｅｓ）」が選択された時に、ビデオ再生中に、対応するサブ素材を表示する必要があることを意味し、パラメータ値として「いいえ（Ｎｏ）」が選択された時に、ビデオ再生に、対応するサブ素材を表示する必要がないことを意味する。
２、トリガ動作パラメータ（ＴｒｉｇｇｅｒＴｙｐｅ）：サブ素材の表示をトリガするトリガ動作を示すためのものであり、サブ素材の表示をどの動作でトリガするかを意味し、そのパラメータ値は各トリガ動作を含んでもよく、トリガ動作として、ユーザは予め設定された動作集合から少なくとも１つの動作を選択することができる。即ち、ビデオ再生中に、対応するトリガ動作が検出されると、対応するサブ素材の表示をトリガすることができ、例えば、ビデオから、該トリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、虹を吐き出すという動画サブ素材を再生し始め、該サブ素材の表示開始時間、表示終了時間、表示時間等は、他のパラメータのパラメータ値により決定してもよく、例えば、それぞれ遅延トリガパラメータ、終了トリガパラメータ、リピートパラメータのパラメータ値により決定してもよい。
３、リピートパラメータ（ＴｒｉｇｇｅｒＬｏｏｐ）：サブ素材のリピート再生回数を示すためのものであり、そのパラメータ値としてリピート再生回数の数値を設定又は選択することができ、例えば、１、５等にしてもよく、パラメータ値が０に設定された場合に無限にリピート再生するようにしてもよい。
４、遅延トリガパラメータ（ＴｒｉｇｇｅｒＤｅｌａｙ）：サブ素材を遅延表示する時間を示すためのものであり、即ち、ビデオのうちのあるフレームからトリガ動作パラメータ中のトリガ動作が検出されると、どのぐらいのフレーム数を遅延させて該サブ素材を表示し始めるかを指し、そのパラメータ値としてサブ素材を遅延表示する時間を設定又は選択することができる。
５、終了トリガパラメータ（ＴｒｉｇｇｅｒＳｔｏｐ）：サブ素材の表示を終了する動作を示すためのものであり、サブ素材の表示をどの動作で終了するかを意味し、そのパラメータ値は各トリガ動作を含み、サブ素材の表示を終了する動作として、ユーザは事前設定動作集合から少なくとも１つの動作を選択することができる。即ち、ビデオ再生中に、該終了トリガパラメータで規定されたトリガ動作が検出されると、対応するサブ素材の表示／再生を終了することができ、例えば、ビデオからトリガ動作パラメータで規定された「口を開く」トリガ動作が検出されると、虹を吐き出すという動画サブ素材を再生し始め、終了トリガパラメータ中のパラメータ値を「口を閉じる」に設定することができ、そのようにビデオからこの「口を閉じる」動作が検出されると、虹が消える。
６、表示サイズパラメータ（Ｓｃａｌｅ）：サブ素材の表示サイズ変化の参照基準を示すためのものであり、近いところが大きく表示して遠いところで小さく表示するというサブ素材の表示効果を実現するために用いられる。該表示サイズパラメータのパラメータ値（即ち、サブ素材の表示サイズ変化の参照基準）は、事前設定キーポイントのうちの２つ又は２つ以上のキーポイント（ＰｏｉｎｔＡ及びＰｏｉｎｔＢで示してもよい）であってもよく、この場合、サブ素材の表示サイズは、ビデオにおける参照基準としての２つ又は２つ以上のキーポイントにより形成されたサイズの比率変化によって変化し、例えば、サブ素材が眼鏡であり、選択された表示サイズパラメータのパラメータ値が左目瞳孔中心を表すキーポイント及び右目瞳孔中心を表すキーポイントである時に、ビデオ再生に、該サブ素材の表示サイズはこれらの２つのキーポイントの間の連結線の長さ比率変化によって変化する。この表示サイズパラメータのパラメータ値を変更していない場合に、そのデフォルトのパラメータ値は、サブ素材に対応する参照部位における２つのキーポイントであってもよい。
７、位置種類パラメータ（ＰｏｓｉｔｉｏｎＴｙｐｅ）：サブ素材と位置の関係種類を示すためのものである。
８、位置関連付けパラメータ（ＰｏｓｉｔｉｏｎＲｅｌａｔｉｏｎＴｙｐｅ）：サブ素材が事前設定参照部位に従って移動するか否かを示すためのものであり、サブ素材が参照部位の位置に従って移動するか否かを意味し、「はい（Ｙｅｓ、Ｍｏｖｅ Ｗｉｔｈ Ｐｏｓｉｔｉｏｎ）」及び「いいえ（Ｎｏ）」という２つのオプションを含んでもよく、パラメータ値として「はい（Ｙｅｓ）」を選択した時にサブ素材が参照部位の位置に従って移動し、位置種類パラメータのパラメータ値が前景である時に、パラメータ値として「いいえ（Ｎｏ）」を選択し、サブ素材が参照部位の位置に従って移動しないことを意味する。
９、位置パラメータ（Ｐｏｓｉｔｉｏｎ）：サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すためのものであり、ビデオ再生中のサブ素材と事前設定キーポイントの位置関係を指し、サブ素材を事前設定キーポイントのうちのどのキーポイントの位置と結び付けるかを選択することができる。
１０、回転パラメータ（ＲｏｔａｔｅＣｅｎｔｅｒ）：サブ素材の回転基準としてのキーポイントを示すためのものであり、該サブ素材はビデオ再生中にどのキーポイントに従って回転するかを選択することができる。
そのうちの選択可能な一例では、上記トリガ動作パラメータに対応するトリガ動作は、以下のいずれか一項又は複数項を含む。
無動作トリガ（ＮＵＬＬ）：即ち、動作なしで該サブ素材を表示することができる。
目部動作：例えば、まばたきする、目を閉じる、目を開く等。
頭部動作：例えば、頭を横に振る、軽く頭を下げる、頭を傾ける、振り返る等。
眉部動作：例えば、眉を吊り上げる等。
手部動作：例えば、手でハートの形を作る、手で支える、手の平、親指、拱手でお祝いをする、片手でハートの形を作る、手でＯＫの形を作る、手ではさみの形を作る、手で拳銃の形を作る、人差し指等。
口部動作：例えば、口を開く、口を閉じる等。
肩部動作：例えば、肩をすぼめる等。
その他の動作。
図５は本願の実施例における手部動作を例示的に示す一模式図である。
そのうちの選択可能な一例では、上記位置種類パラメータは、例えば、以下のいずれか一項を含む。
前景（Ｆｏｒｅｇｒｏｕｎｄ）を示すためのパラメータ：この時に対応するサブ素材がビデオ再生中に前景として表示されることを意味し、該サブ素材は再生中に再生端末の表示器のスクリーンの位置に関連付けられ、その中心点の表示器のスクリーンでの位置が変わることない。
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ：対応のサブ素材に対応する参照部位が顔部であり、この時に該サブ素材がビデオ再生中に顔部位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ：対応のサブ素材に対応する参照部位がジェスチャ（即ち、手）であり、この時に該サブ素材がビデオ再生中に手の位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に頭部の位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に肩部の位置に従って移動しることを意味する。
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に腕の位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に腰部の位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に腿部の位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に足部の位置に従って位置決め及び／又は移動することを意味する。
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ：該サブ素材がビデオ再生中に人体骨格の位置に従って位置決め及び／又は移動することを意味する。
例えば、サブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、サブ素材が参照部位のサイズに従って縮小拡大される（Ｓｉｚｅ）こと、サブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、サブ素材が参照部位のサイズに従って縮小拡大され（Ｓｉｚｅ）、サブ素材が参照部位の回転に従って奥行き縮小拡大を行われる（Ｄｅｐｔｈ）こと、サブ素材が参照部位の位置に従って移動し（Ｐｏｓｉｔｉｏｎ）、サブ素材が参照部位のサイズに従って縮小拡大され（Ｓｉｚｅ）、サブ素材が参照部位の回転に従って奥行き縮小拡大を行われ（Ｄｅｐｔｈ）、サブ素材が参照部位の平面回転に従って回転する（Ｒｏｔａｔｉｏｎ）ことのいずれか一項又は複数項の位置関係を含んでもよい参照部位に関係する再生位置関係。
背景（Ｂａｃｋｇｒｏｕｎｄ）を示すためのパラメータ：対応のサブ素材はビデオ再生中に背景として表示され、該サブ素材はビデオ再生中に再生端末の表示器のスクリーンの位置に関連付けられ、該サブ素材のサイズは、該サブ素材の４つの頂点座標が表示器のスクリーンの４つの頂点と一致するように調整されることを意味する。
なお、更に図２を参照し、本願の実施例の特殊効果プログラムファイルパッケージの生成装置はコンテンツ表示欄を更に含んでもよい。それに対応するように、本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例では、コンテンツ表示欄によって参照画像を表示し、前記参照画像上のキーポイントを表示することを更に含んでもよい。ここで、該参照画像は少なくとも１つの参照部位を含む。該参照部位は、例えば、耳、手、顔、髪、頸部、肩等の中のいずれか一項又は複数項を含んでもよい。
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば、参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
なお、本願の特殊効果プログラムファイルパッケージの生成方法のまた１つの実施例では、操作１０２によってサブ素材をインポートした後に、更に、コンテンツ表示欄によって参照画像を表示することを更に含んでもよく、インポートされたサブ素材の再生パラメータのパラメータ値に基づいて、コンテンツ表示欄にインポートされたサブ素材を表示することを含んでもよい。例えば、事前に設定された該サブ素材の表示位置及び表示サイズにより、コンテンツ表示欄に該インポートされたサブ素材を表示してもよい。
コンテンツ表示欄にインポートされたサブ素材を表示した後、ユーザはこの表示されたサブ素材のコンテンツ表示欄での表示位置を変更したり、その表示サイズを調整することができる。それによって、更なる選択可能な実施例では、コンテンツ表示欄で受け取ったサブ素材に対する位置移動操作により、該サブ素材のコンテンツ表示欄での表示位置を更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新することを更に含んでもよい。及び／又は、コンテンツ表示欄で受け取ったサブ素材に対するサイズ調整操作により、該サブ素材のコンテンツ表示欄での表示サイズを更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新することを更に含んでもよい。例えば、ユーザは、マウスによってコンテンツ表示欄に表示されている１つのサブ素材を選定し、マウスを該サブ素材の右下の小枠に移動し、該小枠を移動することでサブ素材を縮小拡大して、該サブ素材の表示サイズを調整することができ、また、ユーザは、マウスによってコンテンツ表示欄に表示されている１つのサブ素材を選定し且つその位置を直接移動し、サブ素材を正確な位置又は希望する位置に移動することができる。後続のサブ素材の特殊効果プログラムファイルパッケージの再生において、該サブ素材の再生端末での位置、表示比率は該コンテンツ表示欄での位置、表示比率と一致する。本願の上記のいずれか１つの実施例によれば、ユーザは複数の参照部位に特殊効果を加えることができ、例えば、それぞれ耳、顔、手を現在の特殊効果を加えようとする目標部位として、上記のいずれか１つの実施例を実行して、耳、顔、手部位へのサブ素材の特殊効果の添加を実現することができる。
ユーザが２つ又は２つ以上のサブ素材をインポートする時に、各サブ素材の表示レイヤー（即ち、遮蔽関係）を調整することができる。それによって、本願の特殊効果プログラムファイルパッケージの生成方法のまた１つの実施例では、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、これらの２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び上記再生パラメータのパラメータ値に基づいて、コンテンツ表示欄にこれらの２つ又は２つ以上のサブ素材を表示することを更に含んでもよい。
本願の特殊効果プログラムファイルパッケージの生成方法の更に別の実施例では、受け取った起動命令により、特殊効果プログラムファイルパッケージの生成装置を起動し、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む操作画面を表示することを更に含む。
図２に示すように、そのうちの選択可能な一例では、上記操作画面は左側、中部及び右側という３つの領域を含む。それに対応するように、上記の操作画面を表示することは、操作画面の左側に操作欄を表示し、操作画面の中部にコンテンツ表示欄を表示し、操作画面の右側に前記プログラムファイル欄を表示することを含んでもよい。
ここで、左側操作欄にある対話インターフェイス２０によってサブ素材をインポートすることができ、対話インターフェイス２１によってサブ素材のレイヤーの間の遮蔽関係を調整し、各サブ素材のレイヤーパラメータを設定することができ、対話インターフェイス２３によって各サブ素材の再生パラメータに対してパラメータ値を設定することができ、コンテンツ表示欄は、平均顔を基準顔とし、インポートされたサブ素材が全て直接表示され、マウスによって表示されているサブ素材の位置を移動することができ、右側のプログラムファイル表示欄は、その中の表示領域２４によって現在パラメータ値を設定されているサブ素材の再生プログラムファイルのコンテンツを表示するために用いられ、プログラムファイル表示欄にある保存命令インターフェイス２５によって特殊効果プログラムファイルパッケージをエクスポートすることができ、即ち、該特殊効果プログラムファイルパッケージを生成、保存することができる。
図６は本願の特殊効果プログラムファイルパッケージの生成方法の別の実施例のフローチャートである。図６に示すように、該実施例の特殊効果プログラムファイルパッケージの生成方法は、以下の操作を含む。
３０２において、受け取った起動命令により、特殊効果プログラムファイルパッケージの生成装置を起動し、操作画面を表示する。
該操作画面は、操作欄、コンテンツ表示欄及びプログラムファイル欄を含む。
３０４において、コンテンツ表示欄によって参照画像を表示し、該参照画像におけるキーポイントを表示する。
ここで、該参照画像は少なくとも１つの参照部位を含む。
選択可能な一例では、該操作３０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する操作画面にあるコンテンツ表示欄により実行されてもよい。
３０６において、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートする。
選択可能な一例では、該操作３０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１のインポートモジュールにより実行されてもよい。
３０８において、上記サブ素材の再生パラメータのパラメータ値を取得し、且つ上記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する。
選択可能な一例では、該操作３０８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の取得モジュールにより実行されてもよい。
３１０において、事前に設定された特殊効果プログラムファイル及び取得されたサブ素材の再生パラメータのパラメータ値に基づいて、該サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって該サブ素材の特殊効果プログラムファイルを表示する。
選択可能な一例では、該操作３１０は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する操作画面にあるプログラムファイル欄により実行されてもよい。
３１２において、上記サブ素材、対応関係及び特殊効果プログラムファイルに基づいて、特殊効果プログラムファイルパッケージを生成する。
選択可能な一例では、該操作３１２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第１の生成モジュールにより実行されてもよい。
なお、本願の上記のいずれか１つの実施例に基づいて特殊効果プログラムファイルパッケージを生成した後に、受け取った保存命令により、該保存命令に示される位置に該特殊効果プログラムファイルパッケージを保存することを更に含んでもよい。
そのうちの一実施形態では、受け取った保存命令により、該保存命令に示される位置に該特殊効果プログラムファイルパッケージを保存することは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示することと、
上記保存パス選択インターフェイスから送られた保存位置を受け取ることと、上記の圧縮インターフェイスから送られた圧縮方式を受け取り、該圧縮方式によりサブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成することと、
上記圧縮ファイルパッケージを上記保存位置に示されるフォルダーに記憶することと、を含んでもよい。
特殊効果プログラムファイルパッケージが大きい時に、携帯型端末の動作に向いていなく、携帯型端末にインポートして特殊効果を生成するために、本願の実施例は特殊効果プログラムファイルパッケージを圧縮した後保存することができる。本願の実施例は、特殊効果プログラムファイルパッケージ中のサブ素材の大きさを変更せず、特殊効果プログラムファイルパッケージの大きさのみを圧縮し、即ち、特殊効果プログラムファイルパッケージ中のサブ素材の大きさは該サブ素材のインポートされる前の大きさに保持される。
本願の上記各実施例に基づいて特殊効果プログラムファイルパッケージを生成した後、該特殊効果プログラムファイルパッケージを端末にインポートし、該端末で再生するビデオに対して特殊効果を生成することができる。
図７は本願の特殊効果生成方法の一実施例のフローチャートである。図７に示すように、該実施例の特殊効果生成方法は、以下の操作を含む。
４０２において、特殊効果プログラムファイルパッケージをインポートする。
ここで、該特殊効果プログラムファイルパッケージはサブ素材及びサブ素材の再生パラメータのパラメータ値を含んでもよく、該サブ素材の再生パラメータのパラメータ値はサブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。
そのうちの一実施形態では、サブ素材の再生パラメータの種類については本願の上記各実施例の記載を参照してもよく、ここで詳細な説明を省略する。
そのうちの一実施形態では、該操作４０２は、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、該特殊効果プログラムファイルパッケージをメモリに読み込むことと、該特殊効果プログラムファイルパッケージを解析し、サブ素材、及びサブ素材の再生パラメータのパラメータ値を含む特殊効果プログラムファイルを取得することと、を含んでもよい。
そのうちの選択可能な一例では、上記特殊効果プログラムファイルは、ｊｓｏｎプログラム又は他の実行可能なプログラムの特殊効果プログラムファイルを含んでもよい。
そのうちの一実施形態では、本願の各特殊効果生成方法の実施例における特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの特殊効果プログラムファイルパッケージの生成方法の実施例によって生成したものであってもよい。
選択可能な一例では、該操作４０２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２のインポートモジュールにより実行されてもよい。
４０４において、特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する。
選択可能な一例では、該操作４０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の取得モジュールにより実行されてもよい。
４０６において、ビデオ画像に対してキーポイント検出を行う。
そのうちの一実施形態では、ニューラルネットワークによってビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するようにしてもよい。
その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントのビデオ画像での位置、特殊効果プログラムファイルパッケージ中の対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
そのうちの一実施形態では、キーポイントの種類については本願の上記各実施例の記載を参照してもよく、ここで詳細な説明を省略する。
選択可能な一例では、該操作４０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作するキーポイント検出モジュールにより実行されてもよい。
４０８において、検出されたキーポイント及び上記再生パラメータのパラメータ値に基づいて、上記ビデオ画像上でサブ素材の特殊効果を生成する。
選択可能な一例では、該操作１０６は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の生成モジュールにより実行されてもよい。
本願の上記実施例で提供された特殊効果生成方法によれば、特殊効果プログラムファイルパッケージをインポートし、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
そのうちの一実施形態では、操作４０４は、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成することと、サブ素材及び特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶することと、を含んでもよい。
なお、本願の特殊効果生成方法のまた１つの実施例では、ステッカーハンドル中の特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージ中のビデオにおけるサブ素材の表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取ることを更に含んでもよい。
それに対応するように、そのうちの一実施形態では、操作４０８は、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取ることと、
検出されたキーポイント及び現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、現在ビデオ画像に表示しようとするサブ素材の現在ビデオ画像での再生状態及び表示位置を決定することと、
現在ビデオ画像上に表示しようとするサブ素材の現在ビデオ画像での再生状態に基づいて、現在ビデオ画像上の表示位置に、現在ビデオ画像に表示しようとするサブ素材を表示することと、を含んでもよい。
そのうちの一実施形態では、特殊効果プログラムファイルパッケージの再生が終了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄することを更に含んでもよい。
図８は本願の特殊効果生成方法の別の実施例のフローチャートである。図８に示すように、該実施例の特殊効果生成方法は、以下の操作を含む。
５０２において、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、該特殊効果プログラムファイルパッケージをメモリに読み込む。
５０４において、該特殊効果プログラムファイルパッケージを解析し、サブ素材、及び特殊効果プログラムファイルを取得し、該特殊効果プログラムファイルがサブ素材の再生パラメータのパラメータ値を含む。
選択可能な一例では、操作５０２−５０４は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２のインポートモジュールにより実行されてもよい。
５０６において、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成する。
５０８において、メモリからサブ素材及び特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、上記ステッカーハンドルに記憶する。
選択可能な一例では、操作５０６−５０８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の取得モジュールにより実行されてもよい。
５１０において、ステッカーハンドル中の特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、特殊効果プログラムファイルパッケージ中のビデオにおけるサブ素材の表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取る。
選択可能な一例では、該操作５１０は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第３の取得モジュールにより実行されてもよい。
５１２において、ニューラルネットワークによってビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力する。
選択可能な一例では、該操作５１２は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作するキーポイント検出モジュールにより実行されてもよい。
５１４において、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取る。
５１６において、検出されたキーポイント及び表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、表示しようとするサブ素材の現在ビデオ画像での再生状態及び表示位置を決定する。
５１８において、表示しようとするサブ素材の現在ビデオ画像での再生状態に基づいて、現在ビデオ画像上の表示位置に、現在ビデオ画像に表示しようとするサブ素材を表示する。
選択可能な一例では、操作５１４−５１８は、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより動作する第２の生成モジュールにより実行されてもよい。
本願の各特殊効果生成方法の実施例は各種のビデオ再生シーンに用いられることができ、例えば、人物を含むビデオ生放送シーンに用いられ、該生放送ビデオに対して特殊効果を生成し、サブ素材の特殊効果プログラムファイルパッケージによりサブ素材を人物の対応部位に重ねて再生する。その中の対応部位は、例えば、耳、手、顔、髪、頸部、肩等であってもよい。
本願の実施例で提供されるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法はデータ処理能力を有するいかなる適切な機器によって実行されてもよく、端末装置とサーバ等を含むが、それらに限定されない。又は、本願の実施例で提供されるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法はプロセッサによって実行されてもよく、例えば、プロセッサはメモリに記憶された対応のコマンドを呼び出すことで本願の実施例におけるいずれか１種の特殊効果プログラムファイルパッケージの生成方法及び特殊効果生成方法を実行する。以下、詳細な説明を省略する。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
図９は本願の特殊効果プログラムファイルパッケージの生成装置の一実施例の構造模式図である。該実施例の特殊効果プログラムファイルパッケージの生成装置は、本願の上記各特殊効果プログラムファイルパッケージの生成方法の実施例を実現するために用いられる。図９に示すように、該実施例の特殊効果プログラムファイルパッケージの生成装置は、第１のインポートモジュール、第１の取得モジュール及び第１の生成モジュールを含む。
第１のインポートモジュールは、サブ素材をインポートするために用いられる。本願の各実施例の一実施形態では、サブ素材は、例えば、画像、動画、ビデオ、音声等の中のいずれか一項又は複数項を含んでもよいが、それらに限定されない。
第１の取得モジュールは、上記サブ素材の再生パラメータのパラメータ値を取得し、且つ上記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するために用いられる。
そのうちの一実施形態では、キーポイントの種類及びサブ素材の再生パラメータについては、本願の上記各実施例の記載を参照してもよく、ここで詳細な説明を省略する。
第１の生成モジュールは、上記サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するために用いられる。
本願の上記実施例で提供された特殊効果プログラムファイルパッケージの生成装置によれば、特殊効果プログラムファイルパッケージを生成する時に、サブ素材をインポートし、該サブ素材の再生パラメータのパラメータ値を取得し、該サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、サブ素材、対応関係及びパラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成することになり、それによって、該特殊効果プログラムファイルパッケージに基づいてビデオに対して特殊効果処理を行い、本願の実施例は、プログラムファイルを手動で書かなくても、レンダリングエンジンにより実行可能な特殊効果プログラムファイルを生成することができ、操作は簡単であり、必要な時間は短く、特殊効果を実現する効率は全体的に高められ、プログラムファイルの手動記述によるエラーは回避され、特殊効果の正確性は効果的に保障される。
図１０は本願の特殊効果プログラムファイルパッケージの生成装置の別の実施例の構造模式図である。図１０に示すように、図９に示した実施例と比べて、該実施例の生成装置は操作欄を含む操作画面を更に含み、図２は操作画面を例示的に示す図である。それに対応するように、該実施例では、第１のインポートモジュールは、操作欄の対話インターフェイスによって入力したインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートするために用いられる。
そのうちの一実施形態では、第１のインポートモジュールは、操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすること、又は、操作欄の対話インターフェイスによって送られた選択命令を受け取り、選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、目標部位のための特殊効果パラメータ設定画面を操作欄に表示し、特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、該インポート命令に示される素材フォルダー中のサブ素材をインポートすること、を実行するために用いられる。
そのうちの選択可能な一例では、第１のインポートモジュールは、対話インターフェイスによって送られたインポート命令を受け取り、インポート命令に示される素材フォルダーを取得、表示することと、素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、サブ素材選択操作により選択したサブ素材をインポートし、及び／又は、素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定により素材フォルダー中の１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートすることと、を実行するために用いられる。
そのうちの一実施形態では、サブ素材の再生パラメータのパラメータ値を取得することは、特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、設定されたパラメータ値をサブ素材の再生パラメータのパラメータ値とし、及び／又は、特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値をサブ素材の再生パラメータのパラメータ値とすることを含む。
なお、また１つの実施形態では、操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、且つ参照画像上のキーポイントを表示するためのコンテンツ表示欄を更に含んでもよい。図２は操作画面を例示的に示す図である。
一例としては、上記参照画像は、例えば、参照人物の少なくとも一部の画像、例えば、参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像等の中のいずれか一項又は複数項であってもよい。
本願の生成装置の更にまた１つの実施例では、コンテンツ表示欄は、更に、サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられる。
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、コンテンツ表示欄で受け取ったサブ素材に対する位置移動操作により、サブ素材のコンテンツ表示欄での表示位置を更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含んでもよい。
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、コンテンツ表示欄で受け取ったサブ素材に対するサイズ調整操作により、サブ素材のコンテンツ表示欄での表示サイズを更新し、且つサブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含んでもよい。
なお、更に１０図を参照し、本願の上記各実施例の生成装置は、操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整後の遮蔽関係及び再生パラメータのパラメータ値に基づいて２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含んでもよい。
なお、操作画面は、事前に設定された特殊効果プログラムファイル及びサブ素材の再生パラメータのパラメータ値に基づいて、サブ素材の特殊効果プログラムファイルを生成し、サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含んでもよい。その中の特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含んでもよいが、それに限定されない。
図２を参照し、該操作画面は左側、中部及び右側という３つの領域を含んでもよい。ここで、操作画面の左側は操作欄を表示するためのものであり、操作画面の中部はコンテンツ表示欄を表示するためのものであり、操作画面の右側はプログラムファイル欄を表示するためのものである。
なお、更に図１０を参照し、本願の上記各実施例の生成装置は、受け取った保存命令により保存命令に示される位置に特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含んでもよい。
そのうちの一実施形態では、保存モジュールは、保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示することと、保存パス選択インターフェイスから送られた保存位置を受け取ることと、圧縮インターフェイスから送られた圧縮方式を受け取り、圧縮方式によりサブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成することと、圧縮ファイルパッケージを保存位置に示されるフォルダーに記憶することと、を実行するために用いられる。
そのうちの選択可能な一例では、特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、サブ素材のインポートされる前の大きさに保持される。
図１１は本願の特殊効果生成装置の一実施例の構造模式図である。該実施例の特殊効果生成装置は、本願の上記各特殊効果生成方法の実施例を実現するために用いられる。図１１に示すように、該実施例の特殊効果生成装置は、第２のインポートモジュール、第２の取得モジュール、キーポイント検出モジュール及び第２の生成モジュールを含む。
第２のインポートモジュールは、特殊効果プログラムファイルパッケージをインポートするために用いられる。ここで、該特殊効果プログラムファイルパッケージはサブ素材及びサブ素材の再生パラメータのパラメータ値を含んでもよく、該サブ素材の再生パラメータのパラメータ値はサブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含む。そのうちの一実施形態では、本願の各特殊効果生成装置の実施例における特殊効果プログラムファイルパッケージは、本願の上記のいずれか１つの特殊効果プログラムファイルパッケージの生成方法又は装置の実施例によって生成したものであってもよい。
第２の取得モジュールは、特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するために用いられる。
キーポイント検出モジュールは、ビデオ画像に対してキーポイント検出を行うために用いられる。
第２の生成モジュールは、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、上記ビデオ画像上でサブ素材の特殊効果を生成するために用いられる。
本願の上記実施例で提供された特殊効果生成装置によれば、特殊効果プログラムファイルパッケージをインポートし、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
そのうちの一実施形態では、第２のインポートモジュールは、ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、特殊効果プログラムファイルパッケージをメモリに読み込むことと、サブ素材の再生パラメータのパラメータ値を含む特殊効果プログラムファイルパッケージを解析し、サブ素材及び特殊効果プログラムファイルを取得することと、を実行するために用いられる。その中の特殊効果プログラムファイルは、例えば、ｊｓｏｎプログラムの特殊効果プログラムファイルを含んでもよい。
そのうちの選択可能な一例では、第２の取得モジュールは、ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成することと、サブ素材及び特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、ステッカーハンドルに記憶することと、を実行するために用いられる。
図１２は本願の特殊効果生成装置の別の実施例の構造模式図である。図１２に示すように、図１１に示した実施例と比べて、該実施例の特殊効果生成装置は、ステッカーハンドル中の特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおけるサブ素材の表示位置及びビデオフレーム数を取得し、ビデオからビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含む。
そのうちの一実施形態では、第２の生成モジュールは、ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、ステッカーハンドルからビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取ることと、検出されたキーポイント及びビデオの現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、ビデオの現在ビデオ画像上に表示しようとするサブ素材の現在ビデオ画像での再生状態及び表示位置を決定することと、ビデオの現在ビデオ画像上に表示しようとするサブ素材の現在ビデオ画像での再生状態に基づいて、現在ビデオ画像上の表示位置に、現在ビデオ画像に表示しようとするサブ素材を表示することと、を実行するために用いられる。
なお、更に図１２を参照し、本願の特殊効果生成装置の更に別の実施例では、第２の取得モジュールは、更に特殊効果プログラムファイルパッケージの再生が終了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによってステッカーハンドルを廃棄するために用いられる。
本願の各特殊効果生成装置の実施例の一実施形態では、キーポイント検出モジュールは、ニューラルネットワークによって、ビデオ画像に対して対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられる。
その中のキーポイント検出結果は、例えば、対応関係に関わるキーポイントのビデオ画像での位置、対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含む。
なお、本願の実施例で提供された別の電子機器は、
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶されたコンピュータプログラムを実行するために用いられ、コンピュータプログラムが実行されると、本願の上記のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するプロセッサと、を含む。
図１３は本願の電子機器の一適用実施例の構成模式図である。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図を示す図１３を参照する。図１３に示すように、該電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）に記憶された実行可能コマンド又は記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ及び／又はランダムアクセスメモリと通信して実行可能コマンドを実行し、通信バスを介して通信部に接続され、通信部を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、サブ素材をインポートし、前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立し、前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成する。更に例えば、特殊効果プログラムファイルパッケージをインポートし、前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する。
また、ＲＡＭには、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭは、通信バスを介して相互に接続される。ＲＡＭを有する場合に、ＲＯＭは選択可能なモジュールである。ＲＡＭは実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭに書き込み、実行可能コマンドによってプロセッサに本願の上記のいずれか１種の方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インターフェイスも通信バスに接続される。通信部は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
キーボード、マウスなどを含む入力部と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部と、ハードディスクなどを含む記憶部と、ＬＡＮカード、モデムなどのネットワークインターフェイスカードを含む通信部とがＩ／Ｏインターフェイスに接続されている。通信部は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブも必要に応じてＩ／Ｏインターフェイスに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライブ上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部にインストールする。
なお、図１３に示す構造は選択可能な一実施形態に過ぎず、実践過程では、実際の必要に応じて上記図１３の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてよく、通信部は分離設置するか、またはＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の開示した保護範囲に属する。
特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされ得る。ＣＰＵによって該コンピュータプログラムを実行する時に、本願の方法で限定された上記機能を実行する。
なお、本願の実施例は、コンピュータコマンドを含むコンピュータプログラムであって、コンピュータコマンドが機器のプロセッサ上で動作する時に、本願の上記のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するコンピュータプログラムを更に提供する。
なお、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、本願の上記のいずれか１つの実施例の特殊効果プログラムファイルパッケージの生成方法又は特殊効果生成方法を実現するコンピュータ可読記憶媒体を更に提供する。
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
本願の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。
本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
本願の上記実施例で提供された特殊効果生成方法及び装置、電子機器、プログラム並びに媒体によれば、特殊効果プログラムファイルパッケージを読み込み、該特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得し、ビデオ画像に対してキーポイント検出を行い、検出されたキーポイント及び再生パラメータのパラメータ値に基づいて、現在再生しているビデオ上でサブ素材の特殊効果を生成する。本願の実施例は、予め生成した特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値によって、ビデオ画像に対してキーポイント検出を行い、ビデオ画像上で特殊効果を生成して、ビデオの特殊効果の再生を図って、ビデオ再生効果を高める。
例えば、本願は以下の項目を提供する。
（項目１）
サブ素材をインポートするステップと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
（項目２）
サブ素材をインポートする前記ステップは、
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする項目１に記載の方法。
（項目３）
操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする項目２に記載の方法。
（項目４）
対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を含むことを特徴とする項目２又は３に記載の方法。
（項目５）
前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする項目１−４のいずれか一項に記載の方法。
（項目６）
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする項目１−５のいずれか一項に記載の方法。
（項目７）
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目６に記載の方法。
（項目８）
前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目７に記載の方法。
（項目９）
前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含むことを特徴とする項目１−８のいずれか一項に記載の方法。
（項目１０）
前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、
前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含むことを特徴とする項目３−９のいずれか一項に記載の方法。
（項目１１）
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目１−１０のいずれか一項に記載の方法。
（項目１２）
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目１１に記載の方法。
（項目１３）
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含むことを特徴とする項目１１又は１２に記載の方法。
（項目１４）
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする項目１３に記載の方法。
（項目１５）
コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含むことを特徴とする項目１−１４のいずれか一項に記載の方法。
（項目１６）
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目１５に記載の方法。
（項目１７）
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする項目１６に記載の方法。
（項目１８）
サブ素材をインポートする前記ステップの後に、
前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップを更に含むことを特徴とする項目１５−１７のいずれか一項に記載の方法。
（項目１９）
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする項目１８に記載の方法。
（項目２０）
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする項目１８又は１９に記載の方法。
（項目２１）
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含むことを特徴とする項目１−２０のいずれか一項に記載の方法。
（項目２２）
特殊効果プログラムファイルパッケージを生成する前記ステップの前に、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含むことを特徴とする項目１−２１のいずれか一項に記載の方法。
（項目２３）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする項目２２に記載の方法。
（項目２４）
受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含むことを特徴とする項目１−２３のいずれか一項に記載の方法。
（項目２５）
前記操作画面は、左側、中部及び右側という３つの領域を含み、
操作画面を表示する前記ステップは、
前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示することを含むことを特徴とする項目２４に記載の方法。
（項目２６）
特殊効果プログラムファイルパッケージを生成する前記ステップの後に、
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含むことを特徴とする項目１−２５のいずれか一項に記載の方法。
（項目２７）
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を含むことを特徴とする項目２６に記載の方法。
（項目２８）
前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする項目１−２７のいずれか一項に記載の方法。
（項目２９）
特殊効果プログラムファイルパッケージをインポートするステップと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、
ビデオ画像に対してキーポイント検出を行うステップと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を含むことを特徴とする特殊効果生成方法。
（項目３０）
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする項目２９に記載の方法。
（項目３１）
特殊効果プログラムファイルパッケージをインポートする前記ステップは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含むことを特徴とする項目２９又は３０に記載の方法。
（項目３２）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする項目３１に記載の方法。
（項目３３）
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含むことを特徴とする項目３１又は３２に記載の方法。
（項目３４）
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含むことを特徴とする項目３３に記載の方法。
（項目３５）
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含むことを特徴とする項目３３又は３４に記載の方法。
（項目３６）
前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するステップを更に含むことを特徴とする項目３３−３５のいずれか一項に記載の方法。
（項目３７）
前記ビデオ画像に対してキーポイント検出を行う前記ステップは、
ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含むことを特徴とする項目３０−３６のいずれか一項に記載の方法。
（項目３８）
前記キーポイント検出結果は、
前記ビデオの画像における前記対応関係に関わるキーポイントの位置、
前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目３７に記載の方法。
（項目３９）
前記特殊効果プログラムファイルパッケージは、項目１−２８のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする項目２９−３８のいずれか一項に記載の方法。
（項目４０）
サブ素材をインポートするための第１のインポートモジュールと、
前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、
前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
（項目４１）
操作欄を含む操作画面と、
前記操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするための前記第１のインポートモジュールと、を更に含むことを特徴とする項目４０に記載の装置。
（項目４２）
前記第１のインポートモジュールは、
前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、を実行するために用いられることを特徴とする項目４１に記載の装置。
（項目４３）
前記第１のインポートモジュールは、
前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップ、
前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップ、を実行するために用いられることを特徴とする項目４１又は４２に記載の装置。
（項目４４）
前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする項目４０−４４のいずれか一項に記載の装置。
（項目４５）
前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする項目４０−４４のいずれか一項に記載の装置。
（項目４６）
前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目４５に記載の装置。
（項目４７）
前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする項目４６に記載の装置。
（項目４８）
前記第１の取得モジュールは、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する時に、
前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップ、を実行するために用いられることを特徴とする項目４０−４７のいずれか一項に記載の装置。
（項目４９）
前記第１の取得モジュールは、前記サブ素材の再生パラメータのパラメータ値を取得する時に、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップ、を実行するために用いられることを特徴とする項目４２−４９のいずれか一項に記載の装置。
（項目５０）
前記再生パラメータは、
前記サブ素材を表示するか否かを示すための表示パラメータ、
前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする項目４０−４９のいずれか一項に記載の装置。
（項目５１）
前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする項目４０に記載の装置。
（項目５２）
前記位置種類パラメータは、
前景を示すためのパラメータ、
前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
参照部位に関係する再生位置関係、
背景を示すためのパラメータのいずれか一項を含むことを特徴とする項目５０又は５１に記載の装置。
（項目５３）
前記の参照部位に関係する再生位置関係は、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする項目５２に記載の装置。
（項目５４）
前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、しかも前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含むことを特徴とする項目４０−５３のいずれか一項に記載の装置。
（項目５５）
前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする項目５４に記載の装置。
（項目５６）
前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像のいずれか一項又は複数項を含むことを特徴とする項目５５に記載の装置。
（項目５７）
前記コンテンツ表示欄は、更に前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられることを特徴とする項目５４−５６のいずれか一項に記載の装置。
（項目５８）
前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含むことを特徴とする項目５７に記載の装置。
（項目５９）
前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含むことを特徴とする項目５７又は５８に記載の装置。
（項目６０）
操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含むことを特徴とする項目４０−５９のいずれか一項に記載の装置。
（項目６１）
前記操作画面は、
事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、且つ前記サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含むことを特徴とする項目４０−６０のいずれか一項に記載の装置。
（項目６２）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする項目６１に記載の装置。
（項目６３）
前記操作画面は、左側、中部及び右側という３つの領域を含み、
前記操作画面の左側は前記操作欄を表示するためのものであり、前記操作画面の中部は前記コンテンツ表示欄を表示するためのものであり、前記操作画面の右側は前記プログラムファイル欄を表示するためのものであることを特徴とする項目４０−６２のいずれか一項に記載の装置。
（項目６４）
受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする項目４０−６３のいずれか一項に記載の装置。
（項目６５）
前記保存モジュールは、
保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、
前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を実行するために用いられることを特徴とする項目６４に記載の装置。
（項目６６）
前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする項目４０−６５のいずれか一項に記載の装置。
（項目６７）
特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、
前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、
ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、
検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
（項目６８）
前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする項目６７に記載の装置。
（項目６９）
前記第２のインポートモジュールは、
ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を実行するために用いられることを特徴とする項目６７又は６８に記載の装置。
（項目７０）
前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする項目６９に記載の装置。
（項目７１）
前記第２の取得モジュールは、
ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を実行するために用いられることを特徴とする項目６９又は７０に記載の装置。
（項目７２）
前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含むことを特徴とする項目７１に記載の装置。
（項目７３）
前記第２の生成モジュールは、
ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を実行するために用いられることを特徴とする項目７１又は７２に記載の装置。
（項目７４）
前記第２の取得モジュールは、更に前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられることを特徴とする項目７１−７３のいずれか一項に記載の装置。
（項目７５）
前記キーポイント検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられることを特徴とする項目６８−７４のいずれか一項に記載の装置。
（項目７６）
前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする項目７５に記載の装置。
（項目７７）
前記特殊効果プログラムファイルパッケージは、項目１−２８のいずれか一項に記載の方法を用いて生成されたものであり、又は項目４０−６６のいずれか一項に記載の装置で生成されたものであることを特徴とする項目６７−７６のいずれか一項に記載の装置。
（項目７８）
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行するために用いられるプロセッサと、を含み、前記コンピュータプログラムが実行されると、前記項目１−３９のいずれか一項に記載の方法を実現することを特徴とする電子機器。
（項目７９）
コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、前記項目１−３９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

Claims (79)

  1. サブ素材をインポートするステップと、
    前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するステップと、
    前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するステップと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成方法。
  2. サブ素材をインポートする前記ステップは、
    操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする請求項１に記載の方法。
  3. 操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートする前記ステップは、
    前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
    前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップを含むことを特徴とする請求項２に記載の方法。
  4. 対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップは、
    前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップと、
    前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
    前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップと、を含むことを特徴とする請求項２又は３に記載の方法。
  5. 前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする請求項１−４のいずれか一項に記載の方法。
  6. 前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項１−５のいずれか一項に記載の方法。
  7. 前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
    前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項６に記載の方法。
  8. 前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項７に記載の方法。
  9. 前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する前記ステップは、
    前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
    前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップを含むことを特徴とする請求項１−８のいずれか一項に記載の方法。
  10. 前記サブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
    前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、
    前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップを含むことを特徴とする請求項３−９のいずれか一項に記載の方法。
  11. 前記再生パラメータは、
    前記サブ素材を表示するか否かを示すための表示パラメータ、
    前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
    前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
    前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
    前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
    前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
    前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
    前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
    前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
    前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
  12. 前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする請求項１１に記載の方法。
  13. 前記位置種類パラメータは、
    前景を示すためのパラメータ、
    前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    参照部位に関係する再生位置関係、
    背景を示すためのパラメータのいずれか一項を含むことを特徴とする請求項１１又は１２に記載の方法。
  14. 前記の参照部位に関係する再生位置関係は、
    前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
    前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
    前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項１３に記載の方法。
  15. コンテンツ表示欄によって少なくとも１つの参照部位を含む参照画像を表示し、前記参照画像上のキーポイントを表示するステップを更に含むことを特徴とする請求項１−１４のいずれか一項に記載の方法。
  16. 前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする請求項１５に記載の方法。
  17. 前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像の中のいずれか一項又は複数項を含むことを特徴とする請求項１６に記載の方法。
  18. サブ素材をインポートする前記ステップの後に、
    前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を前記コンテンツ表示欄に表示するステップを更に含むことを特徴とする請求項１５−１７のいずれか一項に記載の方法。
  19. 前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする請求項１８に記載の方法。
  20. 前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するステップを更に含むことを特徴とする請求項１８又は１９に記載の方法。
  21. 操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するステップを更に含むことを特徴とする請求項１−２０のいずれか一項に記載の方法。
  22. 特殊効果プログラムファイルパッケージを生成する前記ステップの前に、
    事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、プログラムファイル欄によって前記サブ素材の特殊効果プログラムファイルを表示するステップを更に含むことを特徴とする請求項１−２１のいずれか一項に記載の方法。
  23. 前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする請求項２２に記載の方法。
  24. 受け取った起動命令により起動し、操作欄、コンテンツ表示欄及び／又はプログラムファイル欄を含む操作画面を表示するステップを更に含むことを特徴とする請求項１−２３のいずれか一項に記載の方法。
  25. 前記操作画面は、左側、中部及び右側という３つの領域を含み、
    操作画面を表示する前記ステップは、
    前記操作画面の左側に前記操作欄を表示し、前記操作画面の中部に前記コンテンツ表示欄を表示し、前記操作画面の右側に前記プログラムファイル欄を表示することを含むことを特徴とする請求項２４に記載の方法。
  26. 特殊効果プログラムファイルパッケージを生成する前記ステップの後に、
    受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するステップを更に含むことを特徴とする請求項１−２５のいずれか一項に記載の方法。
  27. 受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存する前記ステップは、
    保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
    前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
    前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を含むことを特徴とする請求項２６に記載の方法。
  28. 前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする請求項１−２７のいずれか一項に記載の方法。
  29. 特殊効果プログラムファイルパッケージをインポートするステップと、
    前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するステップと、
    ビデオ画像に対してキーポイント検出を行うステップと、
    検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するステップと、を含むことを特徴とする特殊効果生成方法。
  30. 前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする請求項２９に記載の方法。
  31. 特殊効果プログラムファイルパッケージをインポートする前記ステップは、
    ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
    前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を含むことを特徴とする請求項２９又は３０に記載の方法。
  32. 前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする請求項３１に記載の方法。
  33. 前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得する前記ステップは、
    ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
    前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を含むことを特徴とする請求項３１又は３２に記載の方法。
  34. 前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るステップを更に含むことを特徴とする請求項３３に記載の方法。
  35. 検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成する前記ステップは、
    ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
    前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
    前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を含むことを特徴とする請求項３３又は３４に記載の方法。
  36. 前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するステップを更に含むことを特徴とする請求項３３−３５のいずれか一項に記載の方法。
  37. 前記ビデオ画像に対してキーポイント検出を行う前記ステップは、
    ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するステップを含むことを特徴とする請求項３０−３６のいずれか一項に記載の方法。
  38. 前記キーポイント検出結果は、
    前記ビデオの画像における前記対応関係に関わるキーポイントの位置、
    前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項３７に記載の方法。
  39. 前記特殊効果プログラムファイルパッケージは、請求項１−２８のいずれか一項に記載の方法を用いて生成されたものであることを特徴とする請求項２９−３８のいずれか一項に記載の方法。
  40. サブ素材をインポートするための第１のインポートモジュールと、
    前記サブ素材の再生パラメータのパラメータ値を取得し、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立するための第１の取得モジュールと、
    前記サブ素材、前記対応関係及び前記パラメータ値に基づいて、特殊効果プログラムファイルパッケージを生成するための第１の生成モジュールと、を含むことを特徴とする特殊効果プログラムファイルパッケージの生成装置。
  41. 操作欄を含む操作画面と、
    前記操作欄の対話インターフェイスによって入力したインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするための前記第１のインポートモジュールと、を更に含むことを特徴とする請求項４０に記載の装置。
  42. 前記第１のインポートモジュールは、
    前記操作欄における特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、又は、
    前記操作欄の対話インターフェイスによって送られた選択命令を受け取り、前記選択命令で選択した参照部位を、現在の特殊効果を加えようとする目標部位とし、前記目標部位のための特殊効果パラメータ設定画面を前記操作欄に表示し、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダー中のサブ素材をインポートするステップ、を実行するために用いられることを特徴とする請求項４１に記載の装置。
  43. 前記第１のインポートモジュールは、
    前記対話インターフェイスによって送られたインポート命令を受け取り、前記インポート命令に示される素材フォルダーを取得、表示するステップ、
    前記素材フォルダー中のサブ素材に対する選択操作を受け取ったことに応じて、前記サブ素材選択操作により選択されたサブ素材をインポートし、及び／又は、
    前記素材フォルダー中のサブ素材に対する選択操作が受け取られていないことに応じて、事前設定に基づいて、素材フォルダー中の少なくとも１つのサブ素材を選択し、事前設定に基づいて選択されたサブ素材をインポートするステップ、を実行するために用いられることを特徴とする請求項４１又は４２に記載の装置。
  44. 前記サブ素材は、画像、動画、ビデオ、音声の中のいずれか一項又は複数項を含むことを特徴とする請求項４０−４４のいずれか一項に記載の装置。
  45. 前記キーポイントは、頭部キーポイント、顔部キーポイント、肩部キーポイント、腕キーポイント、ジェスチャキーポイント、腰部キーポイント、腿部キーポイント、足部キーポイント、人体骨格キーポイントの中のいずれか１種又は複数種を含むことを特徴とする請求項４０−４４のいずれか一項に記載の装置。
  46. 前記頭部キーポイントは、頭頂部キーポイント、鼻先キーポイント及びあごキーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記面部顔部キーポイントは、顔部輪郭キーポイント、目キーポイント、眉毛キーポイント、鼻キーポイント、口部キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記肩部キーポイントは、肩部と頭部の結合位置に位置する肩頭結合キーポイント、及び腕根元部輪郭キーポイントと肩頭結合キーポイントとの間の中点位置に位置する肩輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記腕キーポイントは、手首輪郭キーポイント、肘輪郭キーポイント、腕根元部輪郭キーポイント、手首輪郭キーポイントと肘輪郭キーポイントとの間の中点位置に位置する前腕輪郭中点キーポイント、及び肘輪郭キーポイントと腕根元部輪郭キーポイントとの間の中点位置に位置する上腕中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記ジェスチャキーポイントは、ジェスチャボックスの４つの頂点キーポイント、及びジェスチャボックスの中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記腿部キーポイントは、股間部キーポイント、ひざ輪郭キーポイント、足首輪郭キーポイント、太腿付け根外側輪郭キーポイント、ひざ輪郭キーポイントと足首輪郭キーポイントとの間の中点位置に位置する下腿輪郭中点キーポイント、ひざ内輪郭キーポイントと股間部キーポイントとの間の中点位置に位置する太腿内輪郭中点キーポイント、及びひざ外輪郭キーポイントと太腿付け根外側輪郭キーポイントとの間の中点位置に位置する太腿外輪郭中点キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記腰部キーポイントは、太腿付け根外側輪郭キーポイントと腕根元部輪郭キーポイントとの間をＮ等分して生成したＮ個の等分点の中のいずれか一項又は複数項を含み、前記Ｎが１より大きく、及び／又は、
    前記足部キーポイントは、つま先キーポイント及び踵キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記人体骨格キーポイントは、右肩骨格キーポイント、右肘骨格キーポイント、右手首骨格キーポイント、左肩骨格キーポイント、左肘骨格キーポイント、左手首骨格キーポイント、右寛骨骨格キーポイント、右膝骨格キーポイント、右踝骨格キーポイント、左寛骨骨格キーポイント、左膝骨格キーポイント、左踝骨格キーポイント、頭頂部骨格キーポイント、及び頸部骨格キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項４５に記載の装置。
  47. 前記目キーポイントは、左目縁キーポイント、左目瞳孔中心キーポイント、左目中心キーポイント、右目縁キーポイント、右目瞳孔中心キーポイント、及び右目中心キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記眉毛キーポイントは、左眉毛キーポイント及び右眉毛キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記鼻キーポイントは、鼻筋キーポイント、鼻下縁キーポイント、及び鼻外側輪郭キーポイントの中のいずれか一項又は複数項を含み、及び／又は、
    前記口部キーポイントは、上口唇キーポイント、及び下口唇キーポイントの中のいずれか一項又は複数項を含むことを特徴とする請求項４６に記載の装置。
  48. 前記第１の取得モジュールは、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を確立する時に、
    前記サブ素材の表示位置と前記少なくとも１つのキーポイントとの間の対応関係を確立するステップ、及び／又は、
    前記サブ素材の表示位置と検出ボックスの中心キーポイントとの間の対応関係を確立するステップ、を実行するために用いられることを特徴とする請求項４０−４７のいずれか一項に記載の装置。
  49. 前記第１の取得モジュールは、前記サブ素材の再生パラメータのパラメータ値を取得する時に、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値を受け取ったことに応じて、前記設定されたパラメータ値を前記サブ素材の再生パラメータのパラメータ値とし、及び／又は、前記特殊効果パラメータ設定画面中の対話インターフェイスによって送られた、前記サブ素材の再生パラメータに対して設定されたパラメータ値が受け取られていないことに応じて、事前設定パラメータ値を前記サブ素材の再生パラメータのパラメータ値とするステップ、を実行するために用いられることを特徴とする請求項４２−４９のいずれか一項に記載の装置。
  50. 前記再生パラメータは、
    前記サブ素材を表示するか否かを示すための表示パラメータ、
    前記サブ素材の表示をトリガするトリガ動作を示すためのトリガ動作パラメータ、
    前記サブ素材のリピート再生回数を示すためのリピートパラメータ、
    前記サブ素材を遅延表示する時間を示すための遅延トリガパラメータ、
    前記サブ素材の表示を終了する動作を示すための終了トリガパラメータ、
    前記サブ素材の表示サイズの変化の参照基準を示すための表示サイズパラメータ、
    前記サブ素材と位置の関係種類を示すための位置種類パラメータ、
    前記サブ素材が事前設定参照部位に従って移動するか否かを示すための位置関連付けパラメータ、
    前記サブ素材と事前設定キーポイントとの間の位置結び付け関係を示すための位置パラメータ、
    前記サブ素材の回転基準としてのキーポイントを示すための回転パラメータの中のいずれか一項又は複数項を含むことを特徴とする請求項４０−４９のいずれか一項に記載の装置。
  51. 前記トリガ動作パラメータに対応するトリガ動作は、無動作トリガ、目部動作、頭部動作、眉部動作、手部動作、口部動作、肩部動作の中のいずれか一項又は複数項を含むことを特徴とする請求項４０に記載の装置。
  52. 前記位置種類パラメータは、
    前景を示すためのパラメータ、
    前記サブ素材が顔部位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が手の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が頭部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が肩部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が腕の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が腰部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が腿部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が足部の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    前記サブ素材が人体骨格の位置に従って位置決め及び／又は移動することを示すためのパラメータ、
    参照部位に関係する再生位置関係、
    背景を示すためのパラメータのいずれか一項を含むことを特徴とする請求項５０又は５１に記載の装置。
  53. 前記の参照部位に関係する再生位置関係は、
    前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大されること、
    前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われること、
    前記サブ素材が前記参照部位の位置に従って移動し、前記サブ素材が前記参照部位の大きさに従って縮小拡大され、前記サブ素材が前記参照部位の回転に従って奥行き縮小拡大を行われ、前記サブ素材が前記参照部位の平面回転に従って回転することの中のいずれか一項又は複数項を含むことを特徴とする請求項５２に記載の装置。
  54. 前記操作画面は、少なくとも１つの参照部位を含む参照画像を表示し、しかも前記参照画像におけるキーポイントを表示するためのコンテンツ表示欄を更に含むことを特徴とする請求項４０−５３のいずれか一項に記載の装置。
  55. 前記参照画像は、参照人物の少なくとも一部の画像を含むことを特徴とする請求項５４に記載の装置。
  56. 前記参照人物の少なくとも一部の画像は、前記参照人物の完全画像、頭部画像、顔部画像、肩部画像、腕画像、ジェスチャ画像、腰部画像、腿部画像、足部画像のいずれか一項又は複数項を含むことを特徴とする請求項５５に記載の装置。
  57. 前記コンテンツ表示欄は、更に前記サブ素材の再生パラメータのパラメータ値に基づいて、インポートされたサブ素材を表示するために用いられることを特徴とする請求項５４−５６のいずれか一項に記載の装置。
  58. 前記コンテンツ表示欄で受け取った前記サブ素材に対する位置移動操作により、前記コンテンツ表示欄における前記サブ素材の表示位置を更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第１の更新モジュールを更に含むことを特徴とする請求項５７に記載の装置。
  59. 前記コンテンツ表示欄で受け取った前記サブ素材のサイズに対する調整操作により、前記コンテンツ表示欄における前記サブ素材の表示サイズを更新し、且つ前記サブ素材の再生パラメータ中の対応パラメータ値を更新するための第２の更新モジュールを更に含むことを特徴とする請求項５７又は５８に記載の装置。
  60. 操作欄の対話インターフェイスによって受け取った、２つ又は２つ以上のサブ素材に対して送られたレイヤーパラメータ調整命令に基づいて、前記２つ又は２つ以上のサブ素材の間の遮蔽関係を調整し、調整された遮蔽関係及び前記再生パラメータのパラメータ値に基づいて、前記２つ又は２つ以上のサブ素材を表示するための調整モジュールを更に含むことを特徴とする請求項４０−５９のいずれか一項に記載の装置。
  61. 前記操作画面は、
    事前に設定された特殊効果プログラムファイル及び前記サブ素材の再生パラメータのパラメータ値に基づいて、前記サブ素材の特殊効果プログラムファイルを生成し、且つ前記サブ素材の特殊効果プログラムファイルを表示するためのプログラムファイル欄を更に含むことを特徴とする請求項４０−６０のいずれか一項に記載の装置。
  62. 前記特殊効果プログラムファイルは、ｊｓｏｎプログラムで生成される特殊効果プログラムファイルを含むことを特徴とする請求項６１に記載の装置。
  63. 前記操作画面は、左側、中部及び右側という３つの領域を含み、
    前記操作画面の左側は前記操作欄を表示するためのものであり、前記操作画面の中部は前記コンテンツ表示欄を表示するためのものであり、前記操作画面の右側は前記プログラムファイル欄を表示するためのものであることを特徴とする請求項４０−６２のいずれか一項に記載の装置。
  64. 受け取った保存命令により、前記保存命令に示される位置に前記特殊効果プログラムファイルパッケージを保存するための保存モジュールを更に含むことを特徴とする請求項４０−６３のいずれか一項に記載の装置。
  65. 前記保存モジュールは、
    保存命令を受け取ったことに応じて、保存パス選択インターフェイス及び圧縮インターフェイスを表示するステップと、
    前記保存パス選択インターフェイスから送られた保存位置を受け取るステップと、
    前記圧縮インターフェイスから送られた圧縮方式を受け取り、前記圧縮方式に基づいて前記サブ素材の特殊効果プログラムファイルパッケージを圧縮し、圧縮ファイルパッケージを生成するステップと、
    前記圧縮ファイルパッケージを前記保存位置に示されるフォルダーに記憶するステップと、を実行するために用いられることを特徴とする請求項６４に記載の装置。
  66. 前記特殊効果プログラムファイルパッケージ中のサブ素材の大きさは、前記サブ素材のインポートされる前の大きさに保持されることを特徴とする請求項４０−６５のいずれか一項に記載の装置。
  67. 特殊効果プログラムファイルパッケージをインポートするための第２のインポートモジュールと、
    前記特殊効果プログラムファイルパッケージ中のサブ素材の再生パラメータのパラメータ値を取得するための第２の取得モジュールと、
    ビデオ画像に対してキーポイント検出を行うためのキーポイント検出モジュールと、
    検出されたキーポイント及び前記再生パラメータのパラメータ値に基づいて、前記ビデオ画像上で前記サブ素材の特殊効果を生成するための第２の生成モジュールと、を含むことを特徴とする特殊効果生成装置。
  68. 前記特殊効果プログラムファイルパッケージは、サブ素材及び前記サブ素材の再生パラメータのパラメータ値を含み、前記サブ素材の再生パラメータのパラメータ値は、前記サブ素材の表示位置と所定の少なくとも１つのキーポイントとの間の対応関係を含むことを特徴とする請求項６７に記載の装置。
  69. 前記第２のインポートモジュールは、
    ステッカー素材を読み取るための第１のインターフェイス関数を呼び出すことによって、前記特殊効果プログラムファイルパッケージをメモリに読み込むステップと、
    前記特殊効果プログラムファイルパッケージを解析し、前記サブ素材、及び特殊効果プログラムファイルを取得するステップであって、前記特殊効果プログラムファイルが前記サブ素材の再生パラメータのパラメータ値を含むステップと、を実行するために用いられることを特徴とする請求項６７又は６８に記載の装置。
  70. 前記特殊効果プログラムファイルは、ｊｓｏｎプログラムの特殊効果プログラムファイルを含むことを特徴とする請求項６９に記載の装置。
  71. 前記第２の取得モジュールは、
    ステッカーハンドルを作成するための第２のインターフェイス関数によって、ステッカーハンドルを作成するステップと、
    前記サブ素材及び前記特殊効果プログラムファイル中の再生パラメータのパラメータ値を読み取り、前記ステッカーハンドルに記憶するステップと、を実行するために用いられることを特徴とする請求項６９又は７０に記載の装置。
  72. 前記ステッカーハンドル中の前記特殊効果プログラムファイル中の再生パラメータのパラメータ値に基づいて、ビデオにおける前記サブ素材の表示位置及びビデオフレーム数を取得し、前記ビデオから前記ビデオフレーム数に対応するビデオ画像を予め読み取るための第３の取得モジュールを更に含むことを特徴とする請求項７１に記載の装置。
  73. 前記第２の生成モジュールは、
    ステッカー素材をレンダリングするための第３のインターフェイス関数を呼び出すことによって、前記ステッカーハンドルから前記ビデオの現在ビデオ画像上に表示しようとするサブ素材を読み取るステップと、
    前記検出されたキーポイント及び前記現在ビデオ画像上に表示しようとするサブ素材の再生パラメータのパラメータ値に基づいて、前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態及び表示位置を決定するステップと、
    前記現在ビデオ画像上に表示しようとするサブ素材の前記現在ビデオ画像での再生状態に基づいて、前記現在ビデオ画像上の前記表示位置に、前記現在ビデオ画像上に表示しようとするサブ素材を表示するステップと、を実行するために用いられることを特徴とする請求項７１又は７２に記載の装置。
  74. 前記第２の取得モジュールは、更に前記特殊効果プログラムファイルパッケージの再生が完了したことに応じて、ステッカーハンドルを廃棄するための第４のインターフェイス関数を呼び出すことによって前記ステッカーハンドルを廃棄するために用いられることを特徴とする請求項７１−７３のいずれか一項に記載の装置。
  75. 前記キーポイント検出モジュールは、ニューラルネットワークによって、前記ビデオ画像に対して、前記対応関係に関わるキーポイントの検出を行い、キーポイント検出結果を出力するために用いられることを特徴とする請求項６８−７４のいずれか一項に記載の装置。
  76. 前記キーポイント検出結果は、前記ビデオの画像における前記対応関係に関わるキーポイントの位置、前記対応関係に関わるキーポイントの事前設定番号の中のいずれか一項又は複数項を含むことを特徴とする請求項７５に記載の装置。
  77. 前記特殊効果プログラムファイルパッケージは、請求項１−２８のいずれか一項に記載の方法を用いて生成されたものであり、又は請求項４０−６６のいずれか一項に記載の装置で生成されたものであることを特徴とする請求項６７−７６のいずれか一項に記載の装置。
  78. コンピュータプログラムを記憶するためのメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行するために用いられるプロセッサと、を含み、前記コンピュータプログラムが実行されると、前記請求項１−３９のいずれか一項に記載の方法を実現することを特徴とする電子機器。
  79. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、該コンピュータプログラムがプロセッサにより実行されると、前記請求項１−３９のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
JP2020528474A 2018-01-19 2019-01-10 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器 Active JP7015921B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810055429.9 2018-01-19
CN201810055429.9A CN108259496B (zh) 2018-01-19 2018-01-19 特效程序文件包的生成及特效生成方法与装置、电子设备
PCT/CN2019/071094 WO2019141126A1 (zh) 2018-01-19 2019-01-10 特效程序文件包的生成及特效生成方法与装置、电子设备

Publications (2)

Publication Number Publication Date
JP2021504827A true JP2021504827A (ja) 2021-02-15
JP7015921B2 JP7015921B2 (ja) 2022-02-15

Family

ID=62741327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528474A Active JP7015921B2 (ja) 2018-01-19 2019-01-10 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器

Country Status (6)

Country Link
US (1) US11521389B2 (ja)
JP (1) JP7015921B2 (ja)
KR (1) KR20200087798A (ja)
CN (1) CN108259496B (ja)
SG (1) SG11202004849YA (ja)
WO (1) WO2019141126A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259496B (zh) * 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN112860168B (zh) * 2018-02-08 2022-08-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
CN108958610A (zh) 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN109064388A (zh) * 2018-07-27 2018-12-21 北京微播视界科技有限公司 人脸图像效果生成方法、装置和电子设备
CN108882025B (zh) 2018-08-07 2019-12-10 北京字节跳动网络技术有限公司 视频帧处理方法和装置
CN110941327A (zh) * 2018-09-21 2020-03-31 北京微播视界科技有限公司 虚拟对象的显示方法和装置
CN110941974B (zh) * 2018-09-21 2021-07-20 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110069125B (zh) * 2018-09-21 2023-12-22 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110069126B (zh) * 2018-11-16 2023-11-03 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN110428390B (zh) * 2019-07-18 2022-08-26 北京达佳互联信息技术有限公司 一种素材展示方法、装置、电子设备和存储介质
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
CN112929732B (zh) * 2019-12-06 2022-07-08 腾讯科技（深圳）有限公司 视频的处理方法、装置和计算机存储介质
CN112637518B (zh) * 2020-12-21 2023-03-24 北京字跳网络技术有限公司 模拟拍照特效的生成方法、装置、设备及介质
CN114758037A (zh) * 2020-12-28 2022-07-15 北京小米移动软件有限公司 影像生成方法、装置、终端设备及存储介质
CN113240777A (zh) * 2021-04-25 2021-08-10 北京达佳互联信息技术有限公司 特效素材处理方法、装置、电子设备及存储介质
CN115239845A (zh) * 2021-04-25 2022-10-25 北京字跳网络技术有限公司 一种特效配置文件的生成方法、装置、设备及介质
CN113760161A (zh) * 2021-08-31 2021-12-07 北京市商汤科技开发有限公司 数据生成、图像处理方法、装置、设备及存储介质
CN113938618B (zh) * 2021-09-29 2024-04-30 北京达佳互联信息技术有限公司 特效制作方法、装置、电子设备及存储介质
CN116459516A (zh) * 2022-01-12 2023-07-21 北京字跳网络技术有限公司 分屏特效道具生成方法、装置、设备和介质
CN115914758B (zh) * 2022-11-18 2024-01-26 广东轻工职业技术学院 基于区块链云计算的影视特效处理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118005A (ja) * 1997-06-26 1999-01-22 Nagano Nippon Denki Software Kk 画像効果処理方式およびコンピュータ
JP2000083195A (ja) * 1998-07-31 2000-03-21 Sony United Kingdom Ltd ビデオ特殊効果装置
JP2001307123A (ja) * 2000-02-18 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体
JP2007156945A (ja) * 2005-12-07 2007-06-21 Sony Corp 画像処理装置および画像処理方法、プログラム、並びにデータ構造
JP2007257585A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2017010543A (ja) * 2015-06-24 2017-01-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2340358B (en) * 1998-07-31 2002-11-13 Sony Uk Ltd Video special effects
WO2002050657A1 (en) * 2000-12-19 2002-06-27 Coolernet, Inc. System and method for multimedia authoring and playback
EP1402371B1 (fr) 2001-07-04 2004-10-06 Okyz Procede et systeme d'exportation de donnees associees a des entites geometriques bidimensionnelles ou tridimensionnelles
JP2003092706A (ja) 2001-09-18 2003-03-28 Sony Corp 効果付加装置、効果付加方法、及び効果付加プログラム
US8737810B2 (en) * 2002-11-15 2014-05-27 Thomson Licensing Method and apparatus for cropping of subtitle elements
JP2004171184A (ja) 2002-11-19 2004-06-17 Toppan Printing Co Ltd Ｗｅｂサーバ及びＷｅｂコンテンツ配信方法
TWI227444B (en) 2003-12-19 2005-02-01 Inst Information Industry Simulation method for make-up trial and the device thereof
JP2005242566A (ja) 2004-02-25 2005-09-08 Canon Inc 画像合成装置及び方法
CN1564202A (zh) 2004-03-16 2005-01-12 无敌科技(西安)有限公司 图像过场动画特效的生成及播放方法
US7903927B2 (en) 2004-07-08 2011-03-08 Sony Corporation Editing apparatus and control method thereof, and program and recording medium
JP2006260198A (ja) 2005-03-17 2006-09-28 Toshiba Corp 仮想化粧装置、仮想化粧方法および仮想化粧プログラム
FR2884008A1 (fr) 2005-03-31 2006-10-06 France Telecom Systeme et procede de localisation de points d'interet dans une image d'objet mettant en oeuvre un reseau de neurones
JP4799105B2 (ja) 2005-09-26 2011-10-26 キヤノン株式会社 情報処理装置及びその制御方法、コンピュータプログラム、記憶媒体
US20070153091A1 (en) * 2005-12-29 2007-07-05 John Watlington Methods and apparatus for providing privacy in a communication system
WO2009034718A1 (ja) 2007-09-12 2009-03-19 Hubase-I.Inc フラッシュファイル生成システム及びオリジナル画像情報生成システム
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP2012113677A (ja) 2010-11-05 2012-06-14 Aitia Corp 情報処理装置および情報処理プログラム
CN102567031A (zh) 2012-03-01 2012-07-11 盛乐信息技术（上海）有限公司 视频特效扩充方法及系统
US8824793B2 (en) * 2012-03-02 2014-09-02 Adobe Systems Incorporated Methods and apparatus for applying a bokeh effect to images
CN102801924B (zh) 2012-07-20 2014-12-03 合肥工业大学 一种基于Kinect的电视节目主持互动系统
CN102760303A (zh) 2012-07-24 2012-10-31 南京仕坤文化传媒有限公司 一种虚拟现实动态场景视频的拍摄技术与嵌入方法
US9076247B2 (en) * 2012-08-10 2015-07-07 Ppg Industries Ohio, Inc. System and method for visualizing an object in a simulated environment
WO2014028009A1 (en) * 2012-08-15 2014-02-20 Empire Technology Development Llc Digital media privacy protection
CN102984465B (zh) 2012-12-20 2015-10-07 北京中科大洋科技发展股份有限公司 一种适用于网络化智能化数字媒体的节目合成系统及方法
CN104637078B (zh) * 2013-11-14 2017-12-15 腾讯科技（深圳）有限公司 一种图像处理方法及装置
US9501701B2 (en) * 2014-01-31 2016-11-22 The Charles Stark Draper Technology, Inc. Systems and methods for detecting and tracking objects in a video stream
CN103928039B (zh) 2014-04-15 2016-09-21 北京奇艺世纪科技有限公司 一种视频合成方法及装置
CN104967893B (zh) 2014-07-10 2019-03-29 腾讯科技（北京）有限公司 便携电子设备的视频生成方法和装置
CN105451090B (zh) 2014-08-26 2019-03-29 联想(北京)有限公司 图像处理方法和图像处理装置
CN104394331A (zh) 2014-12-05 2015-03-04 厦门美图之家科技有限公司 一种画面视频中添加匹配音效的视频处理方法
CN104469179B (zh) * 2014-12-22 2017-08-04 杭州短趣网络传媒技术有限公司 一种将动态图片结合到手机视频中的方法
CN104778712B (zh) * 2015-04-27 2018-05-01 厦门美图之家科技有限公司 一种基于仿射变换的人脸贴图方法和系统
CN106296781B (zh) * 2015-05-27 2020-09-22 深圳超多维科技有限公司 特效图像生成方法及电子设备
CN105975935B (zh) 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN106097417B (zh) * 2016-06-07 2018-07-27 腾讯科技（深圳）有限公司 主题生成方法、装置、设备
CN106101576B (zh) * 2016-06-28 2019-07-16 Oppo广东移动通信有限公司 一种增强现实照片的拍摄方法、装置及移动终端
CN106231205B (zh) * 2016-08-10 2019-07-30 苏州黑盒子智能科技有限公司 增强现实移动终端
CN106341720B (zh) 2016-08-18 2019-07-26 北京奇虎科技有限公司 一种在视频直播中添加脸部特效的方法及装置
CN107341435A (zh) 2016-08-19 2017-11-10 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN106373170A (zh) * 2016-08-31 2017-02-01 北京云图微动科技有限公司 一种视频制作方法及装置
EP3321846A1 (en) * 2016-11-15 2018-05-16 Mastercard International Incorporated Systems and methods for secure biometric sample raw data storage
US10733699B2 (en) 2017-10-24 2020-08-04 Deep North, Inc. Face replacement and alignment
CN108259496B (zh) * 2018-01-19 2021-06-04 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备
US20190236547A1 (en) * 2018-02-01 2019-08-01 Moxtra, Inc. Record and playback for online collaboration sessions
CN112860168B (zh) 2018-02-08 2022-08-02 北京市商汤科技开发有限公司 特效程序文件包的生成及特效生成方法与装置、电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1118005A (ja) * 1997-06-26 1999-01-22 Nagano Nippon Denki Software Kk 画像効果処理方式およびコンピュータ
JP2000083195A (ja) * 1998-07-31 2000-03-21 Sony United Kingdom Ltd ビデオ特殊効果装置
JP2001307123A (ja) * 2000-02-18 2001-11-02 Nippon Telegr & Teleph Corp <Ntt> 表情変形のある似顔絵作成方法及び装置、似顔絵作成システム、似顔絵作成システム用送信機及び受信機、並びに、似顔絵作成プログラム及び似顔絵作成プログラムを記録した記録媒体
JP2007156945A (ja) * 2005-12-07 2007-06-21 Sony Corp 画像処理装置および画像処理方法、プログラム、並びにデータ構造
JP2007257585A (ja) * 2006-03-27 2007-10-04 Fujifilm Corp 画像処理方法および装置ならびにプログラム
JP2017010543A (ja) * 2015-06-24 2017-01-12 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置

Also Published As

Publication number Publication date
KR20200087798A (ko) 2020-07-21
SG11202004849YA (en) 2020-06-29
JP7015921B2 (ja) 2022-02-15
CN108259496B (zh) 2021-06-04
US11521389B2 (en) 2022-12-06
US20200285858A1 (en) 2020-09-10
WO2019141126A1 (zh) 2019-07-25
CN108259496A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
JP7015921B2 (ja) 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器
JP7167165B2 (ja) 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器
JP7066855B2 (ja) 変形特殊効果プログラムファイルパッケージの生成及び変形特殊効果生成方法並びに装置
JP7033372B2 (ja) 輪郭描画特殊効果プログラムファイルパッケージの生成方法及び装置、並びに輪郭描画特殊効果生成方法及び装置
CN108711180B (zh) 美妆和/或换脸特效程序文件包的生成及美妆和/或换脸特效生成方法与装置
JP6967090B2 (ja) 人体輪郭キーポイントの検出方法、画像処理方法、装置及び機器
CN109035373B (zh) 三维特效程序文件包的生成及三维特效生成方法与装置
CN115797546A (zh) 虚拟形象的生成方法、装置、设备及介质
JP2723070B2 (ja) 人物像表示によるユーザインタフェース装置
CN115272631A (zh) 一种虚拟面部模型处理方法及相关设备
Kharitonova Animating Non-Human Characters Using Human Motion

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R150 Certificate of patent or registration of utility model

Ref document number: 7015921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150