JP2021108030A - コンピュータプログラム、サーバ装置及び方法 - Google Patents
コンピュータプログラム、サーバ装置及び方法 Download PDFInfo
- Publication number
- JP2021108030A JP2021108030A JP2019239318A JP2019239318A JP2021108030A JP 2021108030 A JP2021108030 A JP 2021108030A JP 2019239318 A JP2019239318 A JP 2019239318A JP 2019239318 A JP2019239318 A JP 2019239318A JP 2021108030 A JP2021108030 A JP 2021108030A
- Authority
- JP
- Japan
- Prior art keywords
- specific
- facial expression
- action
- expression
- performer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Ophthalmology & Optometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1は、一実施形態に関する通信システム1の構成の一例を示すブロック図である。図1に示すように、通信システム1は、通信網10に接続される1又はそれ以上の端末装置20と、通信網10に接続される1又はそれ以上のサーバ装置30と、を含むことができる。なお、図1には、端末装置20の例として、3つの端末装置20A〜20Cが例示され、サーバ装置30の例として、3つのサーバ装置30A〜30Cが例示されているが、端末装置20として、これら以外の1又はそれ以上の端末装置20が通信網10に接続されてもよく、サーバ装置30として、これら以外の1又はそれ以上のサーバ装置30が通信網10に接続されてもよい。
次に、端末装置20、サーバ装置30及びスタジオユニット40の各々が有するハードウェア構成の一例について説明する。
各端末装置20のハードウェア構成の一例について、図2を参照しつつ説明する。図2は、図1に示した端末装置20のハードウェア構成の一例を模式的に示すブロック図である(なお、図2において、括弧内の参照符号は、後述するように各サーバ装置30に関連して付されたものである)。
各サーバ装置30のハードウェア構成の一例について、同じく図2を参照しつつ説明する。各サーバ装置30のハードウェア構成としては、例えば、前述の各端末装置20のハードウェア構成と同一のものを用いることが可能である。したがって、各サーバ装置30が有する構成要素に対する参照符号は、図2において括弧内に示されている。
スタジオユニット40は、パーソナルコンピュータ等の情報処理装置により実装可能なものであって、図示はされていないが、前述した端末装置20及びサーバ装置30と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイスと、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
次に、スタジオユニット40、端末装置20、及びサーバ装置30の各々が有する機能の一例について説明する。
スタジオユニット40の機能の一例(一実施形態)について、図3を参照しつつ説明する。図3は、図1に示したスタジオユニット40の機能の一例を模式的に示すブロック図である(なお、図3において、括弧内の参照符号は、後述するように端末装置20及びサーバ装置30に関連して付されたものである)。
センサ部100は、例えばスタジオルーム(図示せず)に配される。スタジオルームにおいては、演者が種々のパフォーマンスを行い、センサ部100が当該演者の動作、表情、及び発話(歌唱を含む)等を検出する。
変化量取得部110は、センサ部100により取得された演者(前述のとおり、サポータ又はオペレータであってもよい)の身体の動作に関するデータに基づいて、当該演者の身体の複数の特定部分の各々の変化量(変位量)を取得する。具体的には、変化量取得部110は、例えば、右頬という特定部分について、単位時間区間1において取得された位置(座標)と、単位時間区間2において取得された位置(座標)と、の差分をとることにより、単位時間区間1と単位時間区間2との間において、右頬という特定部分の変化量を取得することができる。変化量取得部110は、他の特定部分についても同様にその特定部分の変化量を取得することができる。
次に、判定部120について図4A及び図4Bを参照しつつ説明する。図4Aは、特定の表情「片目を閉じる(ウィンク)」に対応して特定される特定部分と、その閾値の関係を示す図である。図4Bは、特定の表情「笑い顔」に対応して特定される特定部分と、その閾値の関係を示す図である。
生成部130は、センサ部100からの、演者の顔や手足等に関する動作データ(MPEGファイル及びTSVファイル等)、演者の体の各部位の位置や向きに関するデータ、及び演者により発せられた発話及び/又は歌唱に関する音声データ(MPEGファイル等)に基づいて、演者に対応するアバターオブジェクトのアニメーションを含む動画を生成することができる。アバターオブジェクトの動画自体については、生成部130は、図示しないキャラクターデータ記憶部に記憶された様々な情報(例えば、ジオメトリ情報、ボーン情報、テクスチャ情報、シェーダ情報及びブレンドシェイプ情報等)を用いて、図示しないレンダリング部にレンダリングを実行させることにより、アバターオブジェクトの動画を生成することもできる。
次に、ユーザインタフェイス部140について図6乃至図8を参照しつつ説明する。図6乃至図8は、ユーザインタフェイス部140の一例を模式的に示す図である。
表示部150は、生成部130により生成された動画やユーザインタフェイス部140に関する画面を、スタジオユニット40のディスプレイ(タッチパネル)及び/又はスタジオユニット40に接続されたディスプレイ等に表示することができる。表示部150は、生成部130により生成された動画を順次表示することもできるし、記憶部160に記憶された動画を、演者等の指示にしたがってディスプレイ等に表示することもできる。
記憶部160は、生成部130により生成された動画(又は画像)を記憶することができる。また、記憶部160は、前述の閾値を記憶することができる。具体的には、記憶部160は、特定のアプリケーションがインストールされた時点においては所定のデフォルト値を記憶することもできるし、ユーザインタフェイス部140によって設定された各閾値を記憶することもできる。
通信部170は、生成部130により生成された(さらに記憶部160に記憶された)動画(又は画像)を、通信網10を介してサーバ装置30に送信することができる。
端末装置20の機能の具体例について、図3を参照しつつ説明する。端末装置20の機能としては、例えば、前述したスタジオユニット40の機能を用いることが可能である。したがって、端末装置20が有する構成要素に対する参照符号は、図3において括弧内に示されている。
サーバ装置30の機能の具体例について、図3を参照しつつ説明する。サーバ装置30の機能としては、例えば、前述したスタジオユニット40の機能を用いることが可能である。したがって、サーバ装置30が有する構成要素に対する参照符号は、図3において括弧内に示されている。
次に、上記構成を有する通信システム1においてなされる全体的な動作について、図9及び図10を参照して説明する。図9及び図10は、図1に示した通信システム1において行われる動作の一部の一例を示すフロー図である。なお、図10に示されるフロー図は、前述の「第1の態様」を一例として示すものである。
以上のとおり説明した実施形態においては、演者等が、ユーザインタフェイス部140を操作しつつ、自ら特定の表情又は所作を形成する態様を想定したが、これに限定されず、例えば、サポータやオペレータがユーザインタフェイス部140を操作しつつ、演者が特定の表情又は所作を形成する態様としてもよい。この場合においてサポータやオペレータは、図6乃至図8のようなユーザインタフェイス部140を確認しつつ閾値等を設定することができる。また、同時に、センサ部100が演者の動作、表情、及び発話(歌唱を含む)等を検出し、演者が特定の表情又は所作を形成した旨が判定されると、図7に示すように、ユーザインタフェイス部140に特定表現を反映したアバターオブジェクトの画像又は動画が表示される。
第1の態様によるコンピュータプログラムは、「1又は複数のプロセッサに実行されることにより、センサにより取得される身体の動作に関するデータに基づいて、前記身体の複数の特定部分の各々の変化量を取得し、複数の前記特定部分の各々の変化量のうち、予め特定される少なくとも1箇所以上の前記特定部分の各々の変化量の全てが各閾値を上回る場合に、特定の表情又は所作が形成されたと判定し、判定された前記特定の表情又は所作に対応する特定表現を、演者に対応するアバターオブジェクトに対して反映させた画像又は動画を生成する、ように前記プロセッサを機能させる」ものである。
本件出願に開示された技術は、例えば、次のような分野において適用することが可能なものである。
(1)アバターオブジェクトが登場するライブ動画を配信するアプリケーション・サービス
(2)文字及びアバターオブジェクトを用いてコミュニケーションすることができるアプリケーション・サービス(チャットアプリケーション、メッセンジャー、メールアプリケーション等)
10 通信網
20(20A〜20C) 端末装置
30(30A〜30C) サーバ装置
40(40A、40B) スタジオユニット
100(200、300) センサ部
110(210、310) 変化量取得部
120(220、320) 判定部
130(230、330) 生成部
140(240、340) ユーザインタフェイス部
141 第1のユーザインタフェイス部
142 第2のユーザインタフェイス部
143 第3のユーザインタフェイス部
144 画像情報
145 文字情報
147 第1テスト画像(第1テスト動画)
148 第2テスト画像(第2テスト動画)
150(250、350) 表示部
160(260、360) 記憶部
170(270、370) 通信部
Claims (25)
- 1又は複数のプロセッサに実行されることにより、
センサにより取得される身体の動作に関するデータに基づいて、前記身体の複数の特定部分の各々の変化量を取得し、
複数の前記特定部分の各々の変化量のうち、予め特定される少なくとも1箇所以上の前記特定部分の各々の変化量の全てが各閾値を上回る場合に、特定の表情又は所作が形成されたと判定し、
判定された前記特定の表情又は所作に対応する特定表現を、演者に対応するアバターオブジェクトに対して反映させた画像又は動画を生成する、
ように前記プロセッサを機能させる、コンピュータプログラム。 - 前記特定表現は、特定の動作又は表情を含む、請求項1に記載のコンピュータプログラム。
- 前記身体は、前記演者の身体である、請求項1又は2に記載のコンピュータプログラム。
- 前記プロセッサは、予め特定される少なくとも1箇所以上の前記特定部分の各々の変化量の全てが各閾値を所定時間上回る場合に、前記特定の表情又は所作が形成されたと判定する、請求項1乃至3のいずれか一項に記載のコンピュータプログラム。
- 前記プロセッサは、判定された前記特定の表情又は所作に対応する前記特定表現を、前記演者に対応するアバターオブジェクトに対して一定時間だけ反映させた画像又は動画を生成する、請求項1乃至4のいずれか一項に記載のコンピュータプログラム。
- 前記特定の表情又は所作、前記特定の表情又は所作に対応する前記特定部分、前記閾値の各々、前記特定の表情又は所作と前記特定表現との対応関係、前記所定時間、及び前記一定時間、の少なくともいずれかは、ユーザインタフェイスを介して設定又は変更される、請求項1乃至5のいずれか一項に記載のコンピュータプログラム。
- 前記閾値の各々は、前記ユーザインタフェイスを介して、前記特定部分毎に任意の値に設定又は変更される、請求項6に記載のコンピュータプログラム。
- 前記閾値の各々は、前記ユーザインタフェイスを介して、前記特定部分毎に予め定められる複数の所定値のいずれかに設定又は変更される、請求項6に記載のコンピュータプログラム。
- 前記ユーザインタフェイスは、
前記閾値の各々を前記特定部分毎に任意の値に設定する第1のユーザインタフェイス、
前記閾値の各々を前記特定部分毎に予め定められる複数の所定値のいずれかに設定する第2のユーザインタフェイス、及び
前記特定の表情又は所作と前記特定表現との対応関係を設定する第3のユーザインタフェイス、
の少なくともいずれか1つを含む、請求項6に記載のコンピュータプログラム。 - 前記特定の表情又は所作、前記特定の表情又は所作に対応する前記特定部分、前記閾値の各々、前記特定の表情又は所作と前記特定表現との対応関係、前記所定時間、及び前記一定時間、の少なくともいずれかの設定又は変更時において、前記ユーザインタフェイスには、前記特定の表情又は所作に関する画像情報及び文字情報の少なくとも一方が含まれる、請求項6乃至9のいずれか一項に記載のコンピュータプログラム。
- 前記特定の表情又は所作、前記特定の表情又は所作に対応する前記特定部分、前記閾値の各々、前記特定の表情又は所作と前記特定表現との対応関係、前記所定時間、及び前記一定時間、の少なくともいずれかの設定又は変更時において前記特定の表情又は所作が形成されたと判定された場合、前記ユーザインタフェイスには、前記特定の表情又は所作と同一の前記特定表現を前記アバターオブジェクトに反映させた第1テスト画像又は第1テスト動画が含まれる、請求項6乃至10のいずれか一項に記載のコンピュータプログラム。
- 前記特定の表情又は所作、前記特定の表情又は所作に対応する前記特定部分、前記閾値の各々、前記特定の表情又は所作と前記特定表現との対応関係、前記所定時間、及び前記一定時間、の少なくともいずれかの設定又は変更時において前記特定の表情又は所作が形成されたと判定された場合、前記ユーザインタフェイスには、前記一定時間とは異なる特定時間にわたって、前記第1テスト画像又は前記第1テスト動画と同一の第2テスト画像又は第2テスト動画が含まれる、請求項11に記載のコンピュータプログラム。
- 前記特定の表情又は所作と前記特定表現との対応関係は、前記特定の表情又は所作と前記特定表現が同一の関係、前記特定の表情又は所作と前記特定表現が類似する関係、及び前記特定の表情又は所作と前記特定表現が無関係、のいずれかである、請求項6に記載のコンピュータプログラム。
- 前記特定の表情又は所作、前記特定の表情又は所作に対応する前記特定部分、前記閾値の各々、前記特定の表情又は所作と前記特定表現との対応関係、前記所定時間、及び前記一定時間、の少なくともいずれかは、前記画像又は動画の配信中に変更される、請求項6乃至13に記載のコンピュータプログラム。
- 前記特定部分は、顔の一部分である、請求項1乃至14のいずれか一項に記載のコンピュータプログラム。
- 前記特定部分が、眉、目、瞼、頬、鼻、耳、唇、舌、及び顎を含む群から選択されるものである、請求項15に記載のコンピュータプログラム。
- 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項1乃至16のいずれか一項に記載のコンピュータプログラム。
- 前記プロセッサが、スマートフォン、タブレット、携帯電話若しくはパーソナルコンピュータ、又は、サーバ装置に搭載される、請求項1乃至17のいずれか一項に記載のコンピュータプログラム。
- プロセッサを具備し、
該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
センサにより取得される身体の動作に関するデータに基づいて、前記身体の複数の特定部分の各々の変化量を取得し、
複数の前記特定部分の各々の変化量のうち、予め特定される少なくとも1箇所以上の前記特定部分の各々の変化量の全てが各閾値を上回る場合に、特定の表情又は所作が形成されたと判定し、
判定された前記特定の表情又は所作に対応する特定表現を、演者に対応するアバターオブジェクトに対して反映させた画像又は動画を生成する、
サーバ装置。 - 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項19に記載のサーバ装置。
- スタジオに配置される、請求項19又は20に記載のサーバ装置。
- コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
センサにより取得される身体の動作に関するデータに基づいて、前記身体の複数の特定部分の各々の変化量を取得する変化量取得工程と、
複数の前記特定部分の各々の変化量のうち、予め特定される少なくとも1箇所以上の前記特定部分の各々の変化量の全てが各閾値を上回る場合に、特定の表情又は所作が形成されたと判定する判定工程と、
前記判定工程によって判定された前記特定の表情又は所作に対応する特定表現を、演者に対応するアバターオブジェクトに対して反映させた画像又は動画を生成する生成工程と、
を含む方法。 - 前記変化量取得工程、前記判定工程、及び前記生成工程は、スマートフォン、タブレット、携帯電話及びパーソナルコンピュータを含む群から選択される端末装置に搭載された前記プロセッサにより実行される、請求項22に記載の方法。
- 前記変化量取得工程、前記判定工程、及び前記生成工程は、サーバ装置に搭載された前記プロセッサにより実行される、請求項22に記載の方法。
- 前記プロセッサが、中央処理装置(CPU)、マイクロプロセッサ又はグラフィックスプロセッシングユニット(GPU)である、請求項22乃至24のいずれか一項に記載の方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239318A JP7080212B2 (ja) | 2019-12-27 | 2019-12-27 | コンピュータプログラム、サーバ装置及び方法 |
US17/077,135 US20210201002A1 (en) | 2019-12-27 | 2020-10-22 | Moving image distribution computer program, server device, and method |
JP2022084302A JP7408068B2 (ja) | 2019-12-27 | 2022-05-24 | コンピュータプログラム、サーバ装置及び方法 |
JP2023214338A JP2024029036A (ja) | 2019-12-27 | 2023-12-20 | コンピュータプログラム、サーバ装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239318A JP7080212B2 (ja) | 2019-12-27 | 2019-12-27 | コンピュータプログラム、サーバ装置及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022084302A Division JP7408068B2 (ja) | 2019-12-27 | 2022-05-24 | コンピュータプログラム、サーバ装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021108030A true JP2021108030A (ja) | 2021-07-29 |
JP7080212B2 JP7080212B2 (ja) | 2022-06-03 |
Family
ID=76546270
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239318A Active JP7080212B2 (ja) | 2019-12-27 | 2019-12-27 | コンピュータプログラム、サーバ装置及び方法 |
JP2022084302A Active JP7408068B2 (ja) | 2019-12-27 | 2022-05-24 | コンピュータプログラム、サーバ装置及び方法 |
JP2023214338A Pending JP2024029036A (ja) | 2019-12-27 | 2023-12-20 | コンピュータプログラム、サーバ装置及び方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022084302A Active JP7408068B2 (ja) | 2019-12-27 | 2022-05-24 | コンピュータプログラム、サーバ装置及び方法 |
JP2023214338A Pending JP2024029036A (ja) | 2019-12-27 | 2023-12-20 | コンピュータプログラム、サーバ装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210201002A1 (ja) |
JP (3) | JP7080212B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024085084A1 (ja) * | 2022-10-21 | 2024-04-25 | 株式会社Nttドコモ | アバター制御装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6831453B2 (ja) * | 2017-05-02 | 2021-02-17 | 日本電信電話株式会社 | 信号検索装置、方法、及びプログラム |
US10984575B2 (en) | 2019-02-06 | 2021-04-20 | Snap Inc. | Body pose estimation |
US11660022B2 (en) | 2020-10-27 | 2023-05-30 | Snap Inc. | Adaptive skeletal joint smoothing |
US11615592B2 (en) | 2020-10-27 | 2023-03-28 | Snap Inc. | Side-by-side character animation from realtime 3D body motion capture |
US11450051B2 (en) * | 2020-11-18 | 2022-09-20 | Snap Inc. | Personalized avatar real-time motion capture |
US11734894B2 (en) | 2020-11-18 | 2023-08-22 | Snap Inc. | Real-time motion transfer for prosthetic limbs |
US11748931B2 (en) | 2020-11-18 | 2023-09-05 | Snap Inc. | Body animation sharing and remixing |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002315966A (ja) * | 2001-04-20 | 2002-10-29 | Square Co Ltd | ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。 |
JP2005323340A (ja) * | 2004-04-07 | 2005-11-17 | Matsushita Electric Ind Co Ltd | 通信端末及び通信方法 |
JP2006202188A (ja) * | 2005-01-24 | 2006-08-03 | Oki Electric Ind Co Ltd | 画像合成装置およびそのパターン確認方法 |
JP2010081562A (ja) * | 2008-09-29 | 2010-04-08 | Fujifilm Corp | 撮像装置、方法およびプログラム |
JP2012100063A (ja) * | 2010-11-02 | 2012-05-24 | Canon Inc | 撮像装置 |
JP2013020365A (ja) * | 2011-07-08 | 2013-01-31 | Namco Bandai Games Inc | ゲームシステム、プログラム、及び情報記憶媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4986175B2 (ja) | 2007-12-28 | 2012-07-25 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP5106355B2 (ja) | 2008-11-13 | 2012-12-26 | キヤノン株式会社 | 表情判定装置、その制御方法、撮像装置及びプログラム |
JP2012181704A (ja) | 2011-03-01 | 2012-09-20 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
JP2013009073A (ja) | 2011-06-23 | 2013-01-10 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及びサーバ |
US9350951B1 (en) * | 2011-11-22 | 2016-05-24 | Scott Dallas Rowe | Method for interactive training and analysis |
US10860838B1 (en) * | 2018-01-16 | 2020-12-08 | Electronic Arts Inc. | Universal facial expression translation and character rendering system |
WO2019209431A1 (en) * | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
-
2019
- 2019-12-27 JP JP2019239318A patent/JP7080212B2/ja active Active
-
2020
- 2020-10-22 US US17/077,135 patent/US20210201002A1/en active Pending
-
2022
- 2022-05-24 JP JP2022084302A patent/JP7408068B2/ja active Active
-
2023
- 2023-12-20 JP JP2023214338A patent/JP2024029036A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002315966A (ja) * | 2001-04-20 | 2002-10-29 | Square Co Ltd | ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。 |
JP2005323340A (ja) * | 2004-04-07 | 2005-11-17 | Matsushita Electric Ind Co Ltd | 通信端末及び通信方法 |
JP2006202188A (ja) * | 2005-01-24 | 2006-08-03 | Oki Electric Ind Co Ltd | 画像合成装置およびそのパターン確認方法 |
JP2010081562A (ja) * | 2008-09-29 | 2010-04-08 | Fujifilm Corp | 撮像装置、方法およびプログラム |
JP2012100063A (ja) * | 2010-11-02 | 2012-05-24 | Canon Inc | 撮像装置 |
JP2013020365A (ja) * | 2011-07-08 | 2013-01-31 | Namco Bandai Games Inc | ゲームシステム、プログラム、及び情報記憶媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024085084A1 (ja) * | 2022-10-21 | 2024-04-25 | 株式会社Nttドコモ | アバター制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7408068B2 (ja) | 2024-01-05 |
JP2022111142A (ja) | 2022-07-29 |
US20210201002A1 (en) | 2021-07-01 |
JP2024029036A (ja) | 2024-03-05 |
JP7080212B2 (ja) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7080212B2 (ja) | コンピュータプログラム、サーバ装置及び方法 | |
KR102652922B1 (ko) | 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집 | |
JP5859456B2 (ja) | プレゼンテーション用カメラ・ナビゲーション | |
WO2015188614A1 (zh) | 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜 | |
US11288854B2 (en) | Information processing apparatus and information processing method | |
CN115917474A (zh) | 在三维环境中呈现化身 | |
KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
US20220262080A1 (en) | Interfaces for presenting avatars in three-dimensional environments | |
US20240257409A1 (en) | Computer program, server device, terminal device, and method for moving gift in virtual space | |
JP2024040211A (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP2024028853A (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP6691631B1 (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP2021170168A (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
JP7418709B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
JP2021174283A (ja) | コンピュータプログラム、サーバ装置、端末装置、及び方法 | |
JP2021071942A (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
WO2020235346A1 (ja) | コンピュータプログラム、サーバ装置、端末装置、システム及び方法 | |
WO2021053870A1 (ja) | 動画処理方法、サーバ装置及びコンピュータプログラム | |
JP2023072111A (ja) | 情報処理装置、制御プログラム、制御方法および情報処理システム | |
WO2023196258A1 (en) | Methods for quick message response and dictation in a three-dimensional environment | |
CN117193538A (zh) | 用于在三维环境中呈现化身的界面 | |
JP2019164614A (ja) | アバター制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220524 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7080212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |