JP2020064616A

JP2020064616A - 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器

Info

Publication number: JP2020064616A
Application number: JP2019163325A
Authority: JP
Inventors: 兆祥劉; Zhao Xiang Liu; 士國廉; Shi Guo Lian; 寧王; Yasushi O
Original assignee: Cloudminds Shenzhen Robotics Systems Co Ltd
Current assignee: Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date: 2018-10-18
Filing date: 2019-09-06
Publication date: 2020-04-23
Anticipated expiration: 2039-09-06
Also published as: JP6902683B2; US20200125920A1; CN109491564A

Abstract

【課題】仮想ロボットとユーザとの間のインタラクションを実現し、仮想ロボットのリアルタイム性、柔軟性及び適用性を向上させ、ユーザによる仮想ロボットとの情感、アクションのコミュニケーションへのニーズに応えることができる仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器を提供する。【解決手段】インタラクション方法は、ユーザより入力された仮想ロボットとインタラクションするインタラクティブ情報を取得するステップと、インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た仮想ロボットの制御モデルに入力するステップと、制御モデルがインタラクティブ情報に基づいて出力した行動制御情報に基づいて、仮想ロボットに対して行動制御を行うステップとを含む。【選択図】図１

Description

本開示は、ヒューマンコンピュータインタラクションの分野に関し、具体的には、仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器に関する。

現在、仮想アイドルは、エンターテインメント分野において新たなスポットライトとなり、人々の中で人気を集めてきた。しかしながら、伝統的な仮想アイドルは、主にシステムにより事前設定され、キャラクター、プロットの発展、インタラクション方式などの要素に基づいて事前に実装されており、視聴者とリアルタイムで対話することはできず、柔軟性および適用性は低い。

ネットワークのライブストリーミング業界の発展に伴い、ユーザは、ネットワークのライブストリーミングプラットフォームにおいてライブストリーミングを視聴し、文字を通じてストリーマーと対話したり、さらにはストリーマーへ仮想賞品を贈ったりすることができ、従来の仮想アイドル技術は、ライブストリーミングプラットフォームに適用してライブストリーミングを達成することはできず、ライブルームの従来の補助ロボットの機能も比較的単純で、主に音声に基づいており、人々の感情的なコミュニケーションやアクションのコミュニケーションのエクスペリエンスを満たすことができない。

本開示の主な目的は、上記関連技術に存在する問題を解決するために、仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器を提供することである。

上記目的を達成させるために、本開示の実施例の第１態様は、仮想ロボットのインタラクション方法を提供し、該方法は、
ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得するステップと、
前記インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た前記仮想ロボットの制御モデルに入力するステップと、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うステップとを含む。

前記制御モデルを訓練する方法をさらに含み、該方法は、
ビデオライブストリーミングプラットフォームからユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を取得するステップと、
ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するステップとを含むようにしてもよい。

前記ビデオライブストリーミングプラットフォームから、ユーザが入力したインタラクティブ情報に対するストリーマーの行動応答情報を取得するステップは、
人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出するステップ、及び／又は
顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出するステップ、及び／又は
音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出するステップを含むようにしてもよい。

前記制御モデルは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられるディープラーニングネットワークを含み、ユーザがビデオライブストリーミングプラットフォームにおいて入力する前記インタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及びユーザがストリーマーに贈るバーチャルギフトの画像情報を含み、前記行動応答情報は、ストリーマーの体の動き情報、顔表情情報及び音声情報を含み、
前記ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するステップは、
前記テキスト情報及び前記バーチャルギフトの画像情報を訓練入力として、前記仮想ロボットの体の動き、顔表情及び音声を訓練するステップを含むようにしてもよい。

前記ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得する前に、前記方法は、
ユーザが入力した好み情報を取得するステップと、
前記仮想ロボットの複数のタイプの制御モデルの中から、前記好み情報とマッチングした目的制御モデルを特定するステップとをさらに含み、
前記インタラクティブ情報を前記仮想ロボットの制御モデルに入力する前記ステップは、
前記インタラクティブ情報を前記目的制御モデルに入力するステップを含み、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う前記ステップは、
前記目的制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うステップを含むようにしてもよい。

本開示の実施例の第２態様は、仮想ロボットのインタラクション装置を提供し、該装置は、
ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得する第１取得モジュールと、
前記インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た前記仮想ロボットの制御モデルに入力するモデル入力モジュールと、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う制御モジュールとを備える。

ビデオライブストリーミングプラットフォームからユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を取得する第２取得モジュールと、
ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するモデル訓練モジュールとをさらに備えるようにしてもよい。

前記第２取得モジュールは、
人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出する第１取得サブモジュール、及び／又は
顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出する第２取得サブモジュール、及び／又は
音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出する第３取得サブモジュールを備えるようにしてもよい。

前記制御モデルは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられるディープラーニングネットワークを含み、ユーザがビデオライブストリーミングプラットフォームにおいて入力する前記インタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及びユーザがストリーマーに贈るバーチャルギフトの画像情報を含み、前記行動応答情報は、ストリーマーの体の動き情報、顔表情情報及び音声情報を含み、
前記モデル訓練モジュールは、
前記テキスト情報及び前記バーチャルギフトの画像情報を訓練入力として、前記仮想ロボットの体の動き、顔表情及び音声を訓練するようにしてもよい。

前記装置は、
ユーザが入力した好み情報を取得する第３取得モジュールと、
前記仮想ロボットの複数のタイプの制御モデルの中から、前記好み情報とマッチングした目的制御モデルを特定する決定モジュールとをさらに備え、
前記モデル入力モジュールは、前記インタラクティブ情報を前記目的制御モデルに入力し、
前記制御モジュールは、前記目的制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うようにしてもよい。

本開示の実施例の第３態様は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、第１態様の前記方法のステップを実現するコンピュータ可読記憶媒体を提供する。

本開示の実施例の第４態様は、電子機器を提供し、該電子機器は、
コンピュータプログラムが記憶されたメモリと、
前記メモリにおける前記コンピュータプログラムを実行して、第１態様の前記方法のステップを実現するプロセッサとを備える。

上記技術案によれば、少なくとも下記技術的効果を奏する。ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を含むビデオライブストリーミングプラットフォームの履歴データを、モデル訓練サンプルとして訓練して、出力が仮想ロボットの行動を制御する制御情報となる制御モデルを得る。このようにして、該制御モデルに基づいて、ユーザより入力された、仮想ロボットとインタラクションするインタラクティブ情報をリアルタイムで収集することにより、ユーザに対する仮想ロボットのリアルタイムなインタラクション応答を制御することができ、仮想ロボットのリアルタイム性、柔軟性及び適用性を向上させ、ユーザによる仮想ロボットとの情感、アクションのコミュニケーションへのニーズに応える。

本開示のほかの特徴及び利点については、後述する発明を実施する形態の部分において詳細に説明する。

図面は、本開示をより理解しやすくするために提供されるものであり、明細書の一部を構成し、下記特定の実施形態とともに本開示を解釈するが、本開示を制限するものではない。

本開示の実施例による仮想ロボットのインタラクション方法の模式的フローチャートである。本開示の実施例による仮想ロボットの制御モデルの訓練方法の模式的フローチャートである。本開示の実施例による制御モデルの訓練過程の模式図である。本開示の実施例による別の制御モデルの訓練過程の模式図である。本開示の実施例による仮想ロボットのインタラクション装置の構造模式図である。本開示の実施例による仮想ロボットのインタラクション装置の構造模式図である。本開示の実施例による別の仮想ロボットの訓練装置の構造模式図である。本開示の実施例によるさらなる電子機器の構造模式図である。

以下、図面を参照しながら本開示の特定の実施形態を詳細に説明する。なお、ここで説明する特定の実施形態は、本開示を説明して解釈するものに過ぎず、本開示を制限するものではない。

本開示の実施例は、図１に示すように、Ｓ１１〜Ｓ１３を含む仮想ロボットのインタラクション方法を提供し、
Ｓ１１において、ユーザより入力された、仮想ロボットとインタラクションするインタラクティブ情報を取得する。

１つの可能な実施形態では、本開示の実施例は、動画技術とネットワークのライブストリーミング技術を組み合わせて、バーチャルキャラクターのアバターをネットワークのライブストリーミングルームで表示させ、ユーザが入力した前記インタラクティブ情報は、ユーザが仮想ロボットのライブストリーミングルームにおいて入力するテキスト情報及び／又はユーザが贈るギフトの画像情報などであってもよい。

上記は、本開示の実施例の可能な適用シナリオの一例を挙げて説明したが、別の可能な実施形態においては、該仮想ロボットは、ネットワークのライブストリーミングに適用するのではなく、単独した最終製品に内蔵されて、チャットロボット又は情感的なインタラクションをするロボットとして販売してもよい。本開示では、それについて限定しない。

Ｓ１２において、前記インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た前記仮想ロボットの制御モデルに入力する。

具体的には、ビデオライブストリーミングプラットフォームの履歴放送情報に基づいて、大量のサンプルを取得することができ、各ストリーマーライブストリーミングルームのチャットルームにいる視聴者が入力するテキスト情報、贈るバーチャルギフトの画像情報を上記インタラクティブ情報とするとともに、ストリーマービデオ及びオーディオからストリーマーの行動応答情報を抽出し、それにより大量のモデル訓練サンプルを取得し、このようにして、訓練して得た制御モデルの仮想ロボットに対する制御は、ストリーマーの本格的な応答により近くなる。

Ｓ１３において、前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う。

具体的には、仮想ロボットに対する行動制御は、アバターとして表示させる仮想ロボットの体の動き、顔表情及び音声出力の制御を含み得る。

上記方法によれば、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を含むビデオライブストリーミングプラットフォームの履歴放送データをモデル訓練サンプルとして訓練して、出力が仮想ロボットの行動を制御する制御情報となる制御モデルを得る。このように、該制御モデルに基づいて、ユーザより入力された、仮想ロボットとインタラクションするインタラクティブ情報をリアルタイムで収集することにより、ユーザに対する仮想ロボットのリアルタイムなインタラクション応答を制御することができ、仮想ロボットのリアルタイム性、柔軟性及び適用性を向上させ、ユーザによる仮想ロボットとの情感、アクションのコミュニケーションへのニーズに応える。

当業者が本開示の実施例による技術案をさらに理解できるように、以下、本開示の実施例による仮想ロボットのインタラクション方法について詳細に説明する。

まず、ステップＳ１２における前記制御モデルに関しては、本開示の実施例は、該制御モデルの訓練方法をさらに含み、なお、制御モデルに対する訓練は、ビデオライブストリーミングプラットフォームから収集したサンプルに基づいて事前に行われ、後で仮想ロボットとユーザとのインタラクション過程において、インタラクションするごとに制御モデルを訓練せずに済み、もしくは、ビデオライブストリーミングプラットフォームから新しく収集するサンプルに基づいて該制御モデルを周期的に更新してもよい。

具体的には、仮想ロボットに対する制御モデルの訓練方法は、図２に示すように、Ｓ２１とＳ２２を含む。

Ｓ２１において、ビデオライブストリーミングプラットフォームからユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を取得する。

一例として、ユーザがビデオライブストリーミングプラットフォームにおいて入力するインタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及び／又はユーザがストリーマーに贈るバーチャルギフトの画像情報を含む。

Ｓ２２において、ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練する。

以下、ストリーマーの行動応答情報を取得する方式について説明する。

方式１は、人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出する。

その中でも、前記体の動き情報は、主に四肢の関節の位置情報をいう。人体姿勢解析モジュールにより連続画像フレームを入力し、畳み込みニューラルネットワークを通じて学習して姿勢の確率マップを取得した後、オプティカルフロー情報と組み合わせて中間混合概率分布マップを生成し、最後に、関節位置情報は得られる。

方式２は、顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出する。

具体的には、まず、顔検出モジュールによってストリーマービデオから顔領域を抽出し、次にディープニューラルネットワークを通じて学習し、表情の分類結果を生成する。

方式３は、音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出する。

まず、１つの音声を１枚の図像に変換して入力とし、すなわち、まず１フレームごとの音声についてフーリエ変換を行い、次に時間と周波数を図像の２つの次元とし、その後、畳み込みネットワークを通じて音声全体に対してモデリングし、出力ユニットを最後の認識結果たとえば音節又は漢字に直接対応させる。

なお、上記３種類の実施形態は、実際の必要（たとえば製品機能設計）に応じて選択的に実施してもよく、つまり、ステップＳ２１では、ビデオライブストリーミングプラットフォームから、ユーザが入力したインタラクティブ情報に対するストリーマーの行動応答情報を取得するステップは、人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出するステップ、及び／又は顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出するステップ、及び／又は音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出するステップを含む。

以下、ユーザがビデオライブストリーミングプラットフォームにおいて入力する前記インタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及びユーザがストリーマーに贈るバーチャルギフトの画像情報を含み、前記行動応答情報は、ストリーマーの体の動き情報、顔表情情報及び音声情報を含む場合を例にして、制御モデルの訓練を説明する。

具体的には、前記制御モデルは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられるディープラーニングネットワークを含み、前記ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するステップは、前記テキスト情報及び前記バーチャルギフトの画像情報を訓練入力として、前記仮想ロボットの体の動き、顔表情及び音声を訓練するステップを含む。

一例として、図３及び図４は、それぞれ制御モデルの訓練の模式図を示している。図３には、訓練データの由来が示されており、図４には、ディープラーニングネットワークに基づく制御モデルの訓練過程が示されている。図３に示すように、テキスト情報及びギフト画像をディープラーニングネットワークの入力サンプルとし、人体姿勢解析モジュール及び顔表情分析モジュールによってストリーマービデオから抽出された体の動き情報及び顔表情情報、及び音声分析モジュールによってストリーマーオーディオから抽出された音声情報をディープラーニングネットワークにより標識された出力サンプルとする。図４に示すように、ディープニューラルネットワークは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられ、仮想ロボットに対して体の動き、顔表情及び音声ごとに訓練する。

なお、人体姿勢解析、顔表情分析及び音声分析は、いずれもニューラルネットワークによる深度学習の方式で実現できる。

本開示の実施例の１つの可能な実施形態において、ユーザが仮想ロボットとインタラクションする前に、ユーザが自身の好みに応じて仮想ロボットを選択するようにしてもよい。一例として、ステップＳ１１の前、ユーザが入力した好み情報を取得し、前記仮想ロボットの複数のタイプの制御モデルの中から、前記好み情報とマッチングした目的制御モデルを特定し、ただし、該複数のタイプの制御モデルは、異なる性格のタイプのストリーマーについてデータを収集して訓練して得た制御モデルであってもよく、それに対応して、ステップＳ１２は、前記インタラクティブ情報を前記目的制御モデルに入力するステップを含み、ステップＳ１３では、前記目的制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う。

該好み情報は、ユーザがユーザ選択用のラベル情報から選択する目的ラベル情報であってもよく、該ラベル情報は、たとえば、ストリーマーの性格ラベル、ストリーマーのパフォーマンススタイルラベルなどとしてもよい。

一例として、本開示の実施例は、ビデオライブストリーミングプラットフォームにおいてストリーマーごとに表示させる性格ラベル、パフォーマンスタイプラベルなどに基づいてストリーマーを分類し、ユーザが好み情報を入力して選択するように、各クラスのストリーマーの履歴放送情報に基づいて訓練制御モデルをそれぞれ予め訓練しておく。それにより、ユーザの好みに応じてユーザに対する仮想ロボットのインタラクションを制御することができ、ユーザによる仮想ロボット性格のカスタマイズを実現することに相当し、このため、ユーザーエクスペリエンスを向上させる。特定の実施では、仮想ロボットの外形もユーザの好みに応じてカスタマイズをすることができ、本開示では、それについて限定しない。

同様な発明の構想に基づいて、本開示の実施例は、上記方法の実施例による仮想ロボットのインタラクション方法を実施するための仮想ロボットのインタラクション装置をさらに提供し、図５に示すように、該装置は、
ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得する第１取得モジュール５１と、
前記インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た前記仮想ロボットの制御モデルに入力するモデル入力モジュール５２と、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う制御モジュール５３とを備える。

上記装置によれば、該装置は、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を含むビデオライブストリーミングプラットフォームの履歴放送データを、モデル訓練サンプルとして訓練して、出力が仮想ロボットの行動を制御する制御情報となる制御モデルを得る。このようにして、該制御モデルに基づいて、ユーザより入力された、仮想ロボットとインタラクションするインタラクティブ情報をリアルタイムで収集することにより、ユーザに対する仮想ロボットのリアルタイムなインタラクション応答を制御することができ、仮想ロボットのリアルタイム性、柔軟性及び適用性を向上させ、ユーザによる仮想ロボットとの情感、アクションのコミュニケーションへのニーズに応える。

図６に示すように、前記装置は、
ユーザが入力した好み情報を取得する第３取得モジュール５４と、
前記仮想ロボットの複数のタイプの制御モデルの中から、前記好み情報とマッチングした目的制御モデルを特定する決定モジュール５５とをさらに備え、
前記モデル入力モジュール５２は、前記インタラクティブ情報を前記目的制御モデルに入力し、
前記制御モジュール５３は、前記目的制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うようにしてもよい。

本開示の実施例は、図２による仮想ロボットの訓練方法を実施するための仮想ロボットの訓練装置をさらに提供し、図７に示すように、該装置は、
ビデオライブストリーミングプラットフォームからユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を取得する第２取得モジュール５６と、ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するモデル訓練モジュール５７とを備える。一例として、ユーザがビデオライブストリーミングプラットフォームにおいて入力するインタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及び／又はユーザがストリーマーに贈るバーチャルギフトの画像情報を含む。

前記第２取得モジュール５６は、
人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出する第１取得サブモジュール、及び／又は
顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出する第２取得サブモジュール、及び／又は
音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出する第３取得サブモジュールを備えるようにしてもよい。

前記制御モデルは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられるディープラーニングネットワークを含み、ユーザがビデオライブストリーミングプラットフォームにおいて入力する前記インタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及びユーザがストリーマーに贈るバーチャルギフトの画像情報を含み、前記行動応答情報は、ストリーマーの体の動き情報、顔表情情報及び音声情報を含み、
前記モデル訓練モジュール５７は、
前記テキスト情報及び前記バーチャルギフトの画像情報を訓練入力として、前記仮想ロボットの体の動き、顔表情及び音声を訓練するようにしてもよい。

なお、以上提供する仮想ロボットのインタラクション装置及び訓練装置は、個別に設置してもよく、同じサーバーに集積させてもよく、たとえば、該インタラクション装置及び該訓練装置は、ソフトウェア、ハードウェア又は両方を組み合わせた形態でサーバーの一部または全部を実現し、本開示では、それについて限定しない。

上記実施例における装置に関しては、その各モジュールが操作を実行する具体的な方式について、該方法に関連する実施例において詳細に説明したため、ここで詳細に説明しない。

本開示の実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、上記仮想ロボットのインタラクション方法のステップを実現するコンピュータ可読記憶媒体をさらに提供する。

本開示の実施例は、さらに電子機器を提供し、該電子機器は、
コンピュータプログラムが記憶されたメモリと、
前記メモリにおける前記コンピュータプログラムを実行して、上記仮想ロボットのインタラクション方法のステップを実現するプロセッサとを備える。

なお、該電子機器は、仮想ロボットの制御装置としてもよく、又は、仮想ロボットは、該電子機器において運行してもよく、本開示では、それについて限定しない。

図８は、本開示の実施例による上記電子機器のブロック図である。図８に示すように、該電子機器８００は、プロセッサ８０１、メモリ８０２を備えてもよい。該電子機器８００は、マルチメディアコンポーネント８０３、入力／出力（Ｉ／Ｏ）インターフェース８０４、及び通信コンポーネント８０５のうちの１つ又は複数を備えてもよい。

プロセッサ８０１は、上記仮想ロボットのインタラクション方法における全部又は一部のステップを実行するように該電子機器８００全体の操作を制御する。メモリ８０２は、該電子機器８００の操作をサポートするように各種タイプのデータを記憶しており、これらデータは、たとえば、該電子機器８００において操作するいずれかのアプリケーションプログラム又は方法の命令、及びアプリケーションプログラムに関連するデータ、たとえば連絡先データ、送受信するメッセージ、画像、オーディオ、ビデオなどを含む。該メモリ８０２は、任意のタイプの揮発性又は不揮発性の記憶装置又はこれらの組み合わせにより実現でき、たとえば、スタティックランダムアクセスメモリ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＳＲＡＭ））、電気的消去可能プログラマブル読み出し専用メモリ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ（ＥＥＰＲＯＭ））、消去可能プログラマブル読み出し専用メモリ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ（ＥＰＲＯＭ））、プログラマブル読み出し専用メモリ（ＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ（ＰＲＯＭ））、読み取り専用メモリ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ））、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクである。マルチメディアコンポーネント８０３は、画面及びオーディオコンポーネントを備えてもよい。画面は、たとえば、タッチスクリーンであってもよく、オーディオコンポーネントは、オーディオ信号を出力及び／又は入力することに用いられる。たとえば、オーディオコンポーネントは、外部からのオーディオ信号を受信可能なマイクロフォンを含み得る。受信するオーディオは、さらにメモリ８０２に記憶され又は通信コンポーネント８０５により送信される。オーディオコンポーネントは、オーディオ信号を出力するための少なくとも１つのスピーカーを備える。Ｉ／Ｏインターフェース８０４は、プロセッサ８０１とほかのインターフェースモジュールとの間のインターフェースとなり、上記ほかのインターフェースモジュールは、キーボード、マウス、ボタンなどであってもよい。これらボタンは、仮想ボタン又は物理ボタンである。通信コンポーネント８０５は、該電子機器８００とほかの機械との間の有線又は無線通信に用いられる。無線通信は、たとえばＷｉ−Ｆｉ、ブルートゥース、近距離無線通信（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣ））、２Ｇ、３Ｇ又は４Ｇ、又はこれらの１種又は複数種の組み合わせであり、このため、対応した該通信コンポーネント８０５は、Ｗｉ−Ｆｉモジュール、ブルートゥースモジュール、ＮＦＣモジュールを備えてもよい。

例示的な一実施例では、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ（ＡＳＩＣ））、ジブラルタルシグナルプロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ（ＤＳＰ））、デジタル信号処理機器（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＤｅｖｉｃｅ（ＤＳＰＤ））、プログラマブルロジックデバイス（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ（ＰＬＤ））、フィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ（ＦＰＧＡ））、コントローラ、マイクロコントローラ、マイクロプロセッサ又はほかの電子素子により実現されて、上記仮想ロボットのインタラクション方法を実行するようにしてもよい。

本開示の実施例による上記コンピュータ可読記憶媒体は、プログラム命令を含む上記メモリ８０２であってもよく、上記プログラム命令は、電子機器８００のプロセッサ８０１により実行されて、上記仮想ロボットのインタラクション方法を完成できる。

以上、図面を参照しながら、本開示の好適実施形態を詳細に説明したが、本開示は、上記実施形態の詳細に制限されず、本開示の技術的構想から逸脱せずに、本開示の技術案について様々な簡単な変形をすることができ、これら簡単な変形は、いずれも本開示の保護範囲に属する。

なお、上記特定の実施形態において説明した各特定の技術的特徴は、矛盾しない限り、任意の適切な方式で組み合わせることができ、重複しないように、本開示では、各種可能な組み合わせ方式について説明しない。

また、本開示の様々な実施形態も、互いに任意に組み合わせることができ、本開示の主旨に違反しない限り、本開示において開示されている内容とみなされるべきである。

Claims

仮想ロボットのインタラクション方法であって、
ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得するステップと、
前記インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た前記仮想ロボットの制御モデルに入力するステップと、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うステップとを含むことを特徴とする仮想ロボットのインタラクション方法。
前記制御モデルを訓練する方法をさらに含み、前記方法は、
ビデオライブストリーミングプラットフォームからユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を取得するステップと、
ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するステップとを含むことを特徴とする請求項１に記載の方法。
ビデオライブストリーミングプラットフォームから、ユーザが入力したインタラクティブ情報に対するストリーマーの行動応答情報を取得する前記ステップは、
人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出するステップ、及び／又は
顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出するステップ、及び／又は
音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出するステップを含むことを特徴とする請求項２に記載の方法。
前記制御モデルは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられるディープラーニングネットワークを含み、ユーザがビデオライブストリーミングプラットフォームにおいて入力する前記インタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及びユーザがストリーマーに贈るバーチャルギフトの画像情報を含み、前記行動応答情報は、ストリーマーの体の動き情報、顔表情情報及び音声情報を含み、
前記ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練する前記ステップは、
前記テキスト情報及び前記バーチャルギフトの画像情報を訓練入力として、前記仮想ロボットの体の動き、顔表情及び音声を訓練するステップを含むことを特徴とする請求項２に記載の方法。
前記ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得する前に、前記方法は、
ユーザが入力した好み情報を取得するステップと、
前記仮想ロボットの複数のタイプの制御モデルの中から、前記好み情報とマッチングした目的制御モデルを特定するステップとをさらに含み、
前記インタラクティブ情報を前記仮想ロボットの制御モデルに入力する前記ステップは、
前記インタラクティブ情報を前記目的制御モデルに入力するステップを含み、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う前記ステップは、
前記目的制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うステップを含むことを特徴とする請求項２〜４のいずれか１項に記載の方法。
仮想ロボットのインタラクション装置であって、
ユーザより入力された、前記仮想ロボットとインタラクションするインタラクティブ情報を取得する第１取得モジュールと、
前記インタラクティブ情報を、ビデオライブストリーミングプラットフォームのユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして訓練して得た前記仮想ロボットの制御モデルに入力するモデル入力モジュールと、
前記制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行う制御モジュールとを備えることを特徴とする仮想ロボットのインタラクション装置。
ビデオライブストリーミングプラットフォームからユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報を取得する第２取得モジュールと、
ビデオライブストリーミングプラットフォームから取得した、ユーザが入力したインタラクティブ情報及び該インタラクティブ情報に対するストリーマーの行動応答情報をモデル訓練サンプルとして前記制御モデルを訓練するモデル訓練モジュールとをさらに備えることを特徴とする請求項６に記載の装置。
前記第２取得モジュールは、
人体姿勢解析モジュールによってストリーマービデオからストリーマーの体の動き情報を抽出する第１取得サブモジュール、及び／又は
顔表情分析モジュールによってストリーマービデオからストリーマーの顔表情情報を抽出する第２取得サブモジュール、及び／又は
音声分析モジュールによってストリーマーオーディオからストリーマーの音声情報を抽出する第３取得サブモジュールを備えることを特徴とする請求項７に記載の装置。
前記制御モデルは、畳み込みネットワーク及び完全接続層により体の動き出力、顔表情出力、音声出力の３つのブランチに分けられるディープラーニングネットワークを含み、ユーザがビデオライブストリーミングプラットフォームにおいて入力する前記インタラクティブ情報は、ユーザがライブストリーミングチャットルームにおいて入力するテキスト情報及びユーザがストリーマーに贈るバーチャルギフトの画像情報を含み、前記行動応答情報は、ストリーマーの体の動き情報、顔表情情報及び音声情報を含み、
前記モデル訓練モジュールは、
前記テキスト情報及び前記バーチャルギフトの画像情報を訓練入力として、前記仮想ロボットの体の動き、顔表情及び音声を訓練することを特徴とする請求項７に記載の装置。
前記装置は、
ユーザが入力した好み情報を取得する第３取得モジュールと、
前記仮想ロボットの複数のタイプの制御モデルの中から、前記好み情報とマッチングした目的制御モデルを特定する決定モジュールとをさらに備え、
前記モデル入力モジュールは、前記インタラクティブ情報を前記目的制御モデルに入力し、
前記制御モジュールは、前記目的制御モデルが前記インタラクティブ情報に基づいて出力した行動制御情報に基づいて、前記仮想ロボットに対して行動制御を行うことを特徴とする請求項７〜９のいずれか１項に記載の装置。
コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、請求項１〜５のいずれか１項に記載の前記方法のステップを実現することを特徴とするコンピュータ可読記憶媒体。
電子機器であって、
コンピュータプログラムが記憶されたメモリと、
前記メモリにおける前記コンピュータプログラムを実行して、請求項１〜５のいずれか１項に記載の方法のステップを実現するプロセッサとを備えることを特徴とする電子機器。