JP2021152785A - 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 - Google Patents
動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 Download PDFInfo
- Publication number
- JP2021152785A JP2021152785A JP2020053114A JP2020053114A JP2021152785A JP 2021152785 A JP2021152785 A JP 2021152785A JP 2020053114 A JP2020053114 A JP 2020053114A JP 2020053114 A JP2020053114 A JP 2020053114A JP 2021152785 A JP2021152785 A JP 2021152785A
- Authority
- JP
- Japan
- Prior art keywords
- user
- character object
- data
- user device
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
以下、動画配信システムの第1実施形態について説明する。
図1に示すように、動画配信システム11は、ユーザ装置12とサーバ13とを備える。動画配信システム11は、複数のユーザ装置12とサーバ13との間でネットワーク14を介してデータを送受信することによりユーザ装置12に動画を表示するシステムである。ユーザ装置12には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされている。以下、動画を配信するユーザを「配信ユーザ」、配信ユーザによって配信された動画を視聴するユーザを「視聴ユーザ」といい、これらを区別しない場合には単に「ユーザ」という。
表示制御部20Cは、配信モードにおいて、アバターデータ22Bにモーションデータを適用する。また、表示制御部20Cは、アバターオブジェクト、アバターオブジェクト以外のオブジェクトを表示する場合はそのオブジェクトを含めてレンダリングを行う。ここでいうレンダリングは、透視投影、隠面消去(ラスタ化)等が含まれる描画処理をいう。レンダリングは、これらのうち少なくとも一つの処理であってもよい。また、上記の処理に加えて、シェーディング、テクスチャマッピング等の処理を含んでいてもよい。また、表示制御部20Cは、レンダリングされた画像を用いてアニメーションを生成する。さらに、表示制御部20Cは、アニメーションと、視聴ユーザのユーザ装置12から送信された投稿メッセージ又はサーバ13から送信された通知、操作ボタン等のGUI(Graphical User Interface)パーツ等とを合成した(又は重畳した)動画データをディスプレイ28に出力する。
次に、コラボレーション配信機能(共演機能)について説明する。視聴ユーザ102は、配信中の動画に自身に対応するアバターオブジェクトを表示させるコラボレーション配信に参加することができる。コラボレーション配信に参加するにあたり、視聴ユーザ102が用いるユーザ装置12は、サーバ13を介して、コラボレーション配信を許可する設定で配信をしている配信ユーザ100が用いるユーザ装置12に参加要請を送信する。配信ユーザ100が参加要請を承認すると、配信ユーザ100がホストユーザ103(図3参照)、参加要請を行った視聴ユーザ102がゲストユーザ104(図3参照)となり、ホストユーザ103に対応するアバターオブジェクトとゲストユーザ104に対応するアバターオブジェクトとが動画に表示される。なお、コラボレーション配信を許可する設定をしていない配信ユーザ100が配信する動画には、参加要請を行うことができない。
第1ゲストユーザが用いるユーザ装置である配信ユーザ装置12Bは、構成データ120をサーバ13に送信する。また、第2ゲストユーザが用いるユーザ装置である配信ユーザ装置12Cは、モーションデータ、カメラデータ、ギフトオブジェクトデータを送信しない。配信ユーザ装置12Cは、音声データを含む簡易データ121をサーバ13に送信する。
次に、図10及び図11を参照して、ホストユーザと複数のゲストユーザとが共演する場合の処理手順について説明する。
第1ゲストユーザの配信ユーザ装置12Bは、制限条件が満たされると退出申請を送信する(ステップS30)。退出申請は、アバターオブジェクトの識別情報とともに送信される。サーバ13は、退出申請を受信すると、アバターオブジェクトの識別情報に基づき、参加待機列を更新する(ステップS31)。つまり、参加待機列で待機中のアバターオブジェクトの順番を繰り上げる。
(1)コラボレーション配信に参加するユーザ装置12は、ホストユーザの動きが反映されるアバターオブジェクトと、ホストユーザに参加要請を行った第1ゲストユーザの動きが反映されるアバターオブジェクトを動画の描画空間にレンダリングする。また、ユーザ装置12は、ホストユーザに参加要請を行った第2ゲストユーザに対応するアバターオブジェクトを、ホストユーザに対応するアバターオブジェクト及び第1ゲストユーザに対応するアバターオブジェクトよりも描画の処理負荷が少ないオブジェクトデータを用いてレンダリングする。このため、第2ゲストユーザに対応するアバターオブジェクトのレンダリング処理にかかる負荷が軽減されるので、3つ以上のアバターオブジェクトを描画する場合であっても、描画処理にかかる負荷を軽減することができる。また、第2ゲストユーザのユーザ装置12からは、モーションデータを含まない簡易データ121が送信されるので、ユーザ装置12間で送受信されるデータ量を低減することができる。
次に、動画配信システムの第2実施形態について説明する。なお、第1実施形態では、ホストユーザのユーザ装置12が動画データをエンコードして送信する映像配信方式であるのに対し、本実施形態では視聴者のユーザ装置側でアバターオブジェクトをレンダリングする。以下、第1実施形態と同様の部分については同一符号を付してその詳細な説明を省略する。
次に、図17及び図18を参照して、ホストユーザと複数のゲストユーザとが共演する場合の処理手順について説明する。
(7)視聴ユーザのユーザ装置12は、アニメーション構成データをサーバ13から受信して、オブジェクトをレンダリングし、アニメーションを生成する。このため、ホストユーザのユーザ装置12が、アニメーションをエンコードする必要が無いためホストユーザのユーザ装置12にかかる負荷を軽減することができる。
・上記実施形態では、アバターオブジェクトは、正面方向112,115、及び幅方向114,117(図4参照)に変位可能であるとしたが、これに代えて若しくは加えて、ユーザの顔の高さ位置の変化に基づき高さ方向113,116の位置を変更してもよい。
12…ユーザ装置
13…サーバ。
Claims (13)
- コンピュータを、
第1ユーザの動きが反映される第1キャラクタオブジェクトと、前記第1ユーザに参加要請を行った第2ユーザの動きが反映される第2キャラクタオブジェクトとを動画の描画空間にレンダリングする第1画像処理部と、
前記第1ユーザに参加要請を行った第3ユーザに対応する第3キャラクタオブジェクトを、前記第1キャラクタオブジェクト及び前記第2キャラクタオブジェクトよりも描画の処理負荷が少ないオブジェクトデータを用いてレンダリングする第2画像処理部として機能させる
動画用アプリケーションプログラム。 - 前記第2画像処理部は、前記第3キャラクタオブジェクトに前記第3ユーザの動きを反映せず静止状態で表示する
請求項1に記載の動画用アプリケーションプログラム。 - 前記第2画像処理部は、前記第3キャラクタオブジェクトを、前記第1キャラクタオブジェクト及び前記第2キャラクタオブジェクトを含む領域とは異なる領域に表示する
請求項1又は2に記載の動画用アプリケーションプログラム。 - 前記第1画像処理部は、前記第2キャラクタオブジェクトを第1表示位置にレンダリングし、
前記第2画像処理部は、前記第3キャラクタオブジェクトを第2表示位置にレンダリングするとともに、
前記第1画像処理部は、前記第2キャラクタオブジェクトに関する制限条件が成立したとき、前記第2キャラクタオブジェクトを前記第1表示位置から退出させ、前記第3キャラクタオブジェクトを前記第1表示位置にレンダリングする
請求項1〜3のいずれか1項に記載の動画用アプリケーションプログラム。 - 前記第1画像処理部は、前記第2キャラクタオブジェクトに関する制限条件が成立したとき、前記第2キャラクタオブジェクトをユーザが用いるディスプレイに表示される画面から退出させ、3次元モデルデータに基づく第2キャラクタオブジェクトを前記第1表示位置にレンダリングする
請求項4に記載の動画用アプリケーションプログラム。 - 前記第1画像処理部は、
前記第1キャラクタオブジェクト及び前記第2キャラクタオブジェクトを、それらの正面方向に沿ったベクトルが、隣り合うキャラクタオブジェクト側に傾くようにレンダリングし、
前記第1ユーザの正面方向への移動量及び第2ユーザの正面方向への移動量に基づいて、前記第1キャラクタオブジェクト及び前記第2キャラクタオブジェクトをそれらの正面方向に沿って移動させる
請求項1〜5のいずれか1項に記載の動画用アプリケーションプログラム。 - 前記第2画像処理部は、前記第3キャラクタオブジェクトを、仮想カメラを基準とした奥行方向の情報を低減又は省略したデータを用いて描画する
請求項1〜6のいずれか1項に記載の動画用アプリケーションプログラム。 - 前記コンピュータを、
前記第1ユーザの動きを示すモーションデータ、前記第2ユーザの動きを示すモーションデータ、前記第3キャラクタオブジェクトを描画するための簡易データに基づきアニメーションを生成する第1アニメーション生成部と、
前記アニメーションをエンコードして、エンコードしたデータを、動画を配信するサーバに送信するエンコード部としてさらに機能させる
請求項1〜7のいずれか1項に記載の動画用アプリケーションプログラム。 - 前記コンピュータを、
動画を配信するサーバから、前記第1ユーザの動きを示すモーションデータ、前記第2ユーザの動きを示すモーションデータ、前記第3キャラクタオブジェクトを描画するための簡易データを含むアニメーション構成データを受信する構成データ受信部と、
前記アニメーション構成データに基づいて、前記第1キャラクタオブジェクト、前記第2キャラクタオブジェクト及び前記第3キャラクタオブジェクトを含むアニメーションを生成する第2アニメーション生成部として機能させる
請求項1〜8のいずれか1項に記載の動画用アプリケーションプログラム。 - コンピュータが、
第1ユーザの動きが反映される第1キャラクタオブジェクトと、前記第1ユーザに参加要請を行った第2ユーザの動きが反映される第2キャラクタオブジェクトを動画の描画空間にレンダリングする第1画像処理ステップと、
前記第1ユーザに参加要請を行った第3ユーザに対応する第3キャラクタオブジェクトを、前記第1キャラクタオブジェクト及び前記第2キャラクタオブジェクトよりも描画の処理負荷が少ないオブジェクトデータを用いてレンダリングする第2画像処理ステップとを実行する
動画のオブジェクト描画方法。 - 第1ユーザの動きが反映される第1キャラクタオブジェクトと、前記第1ユーザに参加要請を行った第2ユーザの動きが反映される第2キャラクタオブジェクトとを動画の描画空間にレンダリングする第1画像処理部と、
前記第1ユーザに参加要請を行った第3ユーザに対応する第3キャラクタオブジェクトを、前記第1キャラクタオブジェクト及び前記第2キャラクタオブジェクトよりも描画の処理負荷が少ないオブジェクトデータを用いてレンダリングする第2画像処理部とを備える
動画配信システム。 - 第2ユーザが用いる第2ユーザ装置から、第1ユーザに対応する第1キャラクタオブジェクトが含まれる動画への参加要請を受け付ける第1受付部と、
第3ユーザが用いる第3ユーザ装置から、前記動画への参加要請を受け付ける第2受付部と、
前記第2ユーザ装置から、前記第2ユーザの動きが反映されたモーションデータを含むアニメーション構成データを受信する第1受信部と、
前記アニメーション構成データを前記第1ユーザが用いる第1ユーザ装置及び前記第3ユーザ装置に送信する第1送信部と、
前記第3ユーザ装置から、前記第1キャラクタオブジェクトよりも描画の処理負荷が少ないオブジェクトデータを描画するための簡易データを受信する第2受信部と、
前記簡易データを前記第1ユーザ装置及び前記第2ユーザ装置に送信する第2送信部と、を備える
動画配信サーバ。 - 第2ユーザが用いる第2ユーザ装置から、第1ユーザに対応する第1キャラクタオブジェクトが含まれる動画への参加要請を受け付ける第1受付ステップと、
第3ユーザが用いる第3ユーザ装置から、前記動画への前記参加要請を受け付ける第2受信ステップと、
前記第2ユーザ装置から、前記第2ユーザの動きが反映されたモーションデータを含むアニメーション構成データを受信する第1受信ステップと、
前記アニメーション構成データを前記第1ユーザが用いる第1ユーザ装置及び前記第3ユーザ装置に送信する第1送信ステップと、
前記第3ユーザ装置から、前記第1キャラクタオブジェクトよりも描画の処理負荷が少ないオブジェクトデータを描画するための簡易データを受信する第2受信ステップと、
前記簡易データを前記第1ユーザ装置及び前記第2ユーザ装置に送信する第2送信ステップと、を実行する
動画配信方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053114A JP7098676B2 (ja) | 2020-03-24 | 2020-03-24 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 |
JP2022037710A JP7489642B2 (ja) | 2020-03-24 | 2022-03-11 | プログラム、オブジェクト描画方法及び情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020053114A JP7098676B2 (ja) | 2020-03-24 | 2020-03-24 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037710A Division JP7489642B2 (ja) | 2020-03-24 | 2022-03-11 | プログラム、オブジェクト描画方法及び情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021152785A true JP2021152785A (ja) | 2021-09-30 |
JP7098676B2 JP7098676B2 (ja) | 2022-07-11 |
Family
ID=77886582
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020053114A Active JP7098676B2 (ja) | 2020-03-24 | 2020-03-24 | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 |
JP2022037710A Active JP7489642B2 (ja) | 2020-03-24 | 2022-03-11 | プログラム、オブジェクト描画方法及び情報処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037710A Active JP7489642B2 (ja) | 2020-03-24 | 2022-03-11 | プログラム、オブジェクト描画方法及び情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7098676B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7312975B1 (ja) | 2022-03-31 | 2023-07-24 | グリー株式会社 | 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 |
JP7323900B1 (ja) | 2022-06-29 | 2023-08-09 | グリー株式会社 | プログラム、情報処理方法、及び情報処理装置 |
JP7357865B1 (ja) | 2022-07-25 | 2023-10-10 | グリー株式会社 | プログラム、情報処理方法、及び情報処理装置 |
WO2024042843A1 (ja) * | 2022-08-24 | 2024-02-29 | 株式会社Jvcケンウッド | アバター制御装置、アバター制御方法、及びアバター制御プログラム |
WO2024042842A1 (ja) * | 2022-08-24 | 2024-02-29 | 株式会社Jvcケンウッド | アバター制御装置、アバター制御方法、及びアバター制御プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000215324A (ja) * | 1999-01-21 | 2000-08-04 | Mitsubishi Electric Corp | マルチユ―ザ型テクスチャ使用3次元空間表示装置、空間表示方法及び空間表示方法記録媒体 |
JP2007229204A (ja) * | 2006-03-01 | 2007-09-13 | Square Enix Co Ltd | 画像生成方法、画像生成装置、および画像生成プログラム |
JP2019204244A (ja) * | 2018-05-22 | 2019-11-28 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009181457A (ja) | 2008-01-31 | 2009-08-13 | G Mode:Kk | チャット・ソフトウェア |
JP5791837B1 (ja) | 2015-02-18 | 2015-10-07 | 株式会社 ディー・エヌ・エー | ビデオチャットを提供するサーバ、プログラム及び方法 |
JP2018033706A (ja) | 2016-08-31 | 2018-03-08 | 株式会社スクウェア・エニックス | プログラム、及びシステム |
JP6668549B1 (ja) | 2019-09-25 | 2020-03-18 | グリー株式会社 | 情報処理システム、情報処理方法およびコンピュータプログラム |
-
2020
- 2020-03-24 JP JP2020053114A patent/JP7098676B2/ja active Active
-
2022
- 2022-03-11 JP JP2022037710A patent/JP7489642B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000215324A (ja) * | 1999-01-21 | 2000-08-04 | Mitsubishi Electric Corp | マルチユ―ザ型テクスチャ使用3次元空間表示装置、空間表示方法及び空間表示方法記録媒体 |
JP2007229204A (ja) * | 2006-03-01 | 2007-09-13 | Square Enix Co Ltd | 画像生成方法、画像生成装置、および画像生成プログラム |
JP2019204244A (ja) * | 2018-05-22 | 2019-11-28 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
AI, WRIGHT FLYER LIVE ENTERTAINMENT、「REALITY」にてコラボ配信できる「アバターコラボ」機能を正式搭載, JPN6022008930, 6 November 2019 (2019-11-06), ISSN: 0004722146 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7312975B1 (ja) | 2022-03-31 | 2023-07-24 | グリー株式会社 | 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 |
JP2023151004A (ja) * | 2022-03-31 | 2023-10-16 | グリー株式会社 | 端末装置の制御プログラム、端末装置、端末装置の制御方法、サーバ装置の制御プログラム、サーバ装置、及びサーバ装置の制御方法 |
JP7323900B1 (ja) | 2022-06-29 | 2023-08-09 | グリー株式会社 | プログラム、情報処理方法、及び情報処理装置 |
JP2024004560A (ja) * | 2022-06-29 | 2024-01-17 | グリー株式会社 | プログラム、情報処理方法、及び情報処理装置 |
JP7357865B1 (ja) | 2022-07-25 | 2023-10-10 | グリー株式会社 | プログラム、情報処理方法、及び情報処理装置 |
WO2024042843A1 (ja) * | 2022-08-24 | 2024-02-29 | 株式会社Jvcケンウッド | アバター制御装置、アバター制御方法、及びアバター制御プログラム |
WO2024042842A1 (ja) * | 2022-08-24 | 2024-02-29 | 株式会社Jvcケンウッド | アバター制御装置、アバター制御方法、及びアバター制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7489642B2 (ja) | 2024-05-24 |
JP7098676B2 (ja) | 2022-07-11 |
JP2022089817A (ja) | 2022-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7098676B2 (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画配信システム、動画配信サーバ及び動画配信方法 | |
WO2020138107A1 (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
US11074737B2 (en) | Information processing apparatus and method | |
JP6724219B1 (ja) | 動画アプリケーションプログラム、動画表示方法、動画配信システム及び情報処理装置 | |
JP6883140B1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7473909B2 (ja) | 動画用アプリケーションプログラム、動画のオブジェクト描画方法、動画管理プログラム、動画管理方法、サーバ及び動画配信システム | |
JP2023067892A (ja) | 情報処理プログラム、情報処理方法、情報処理装置 | |
JP7300925B2 (ja) | キャラクタを使ったライブ通信システム | |
JP2023143963A (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP7497832B2 (ja) | プログラム、情報処理方法及び情報処理システム | |
JP2023095862A (ja) | プログラム及び情報処理方法 | |
JP7001796B1 (ja) | 情報処理プログラム、情報処理方法及び情報処理システム | |
JP2021007198A (ja) | 動画配信システム、動画配信方法、情報処理装置、動画配信プログラム及び動画視聴プログラム | |
JP7092930B1 (ja) | プログラム、情報処理方法、サーバ及びサーバの情報処理方法 | |
JP2022097475A (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7323900B1 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP7223834B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP7357865B1 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP6983980B1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7301262B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
JP7148700B2 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200408 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210930 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |