JP2021086415A - 仮想人物対話システム、映像生成方法、映像生成プログラム - Google Patents
仮想人物対話システム、映像生成方法、映像生成プログラム Download PDFInfo
- Publication number
- JP2021086415A JP2021086415A JP2019215306A JP2019215306A JP2021086415A JP 2021086415 A JP2021086415 A JP 2021086415A JP 2019215306 A JP2019215306 A JP 2019215306A JP 2019215306 A JP2019215306 A JP 2019215306A JP 2021086415 A JP2021086415 A JP 2021086415A
- Authority
- JP
- Japan
- Prior art keywords
- virtual person
- video
- model
- person
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000003993 interaction Effects 0.000 title abstract 2
- 238000012545 processing Methods 0.000 claims abstract description 59
- 239000000284 extract Substances 0.000 claims abstract description 23
- 238000003780 insertion Methods 0.000 claims abstract description 10
- 230000037431 insertion Effects 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 208000025967 Dissociative Identity disease Diseases 0.000 claims description 2
- 238000013500 data storage Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000003702 image correction Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000009966 trimming Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
前記映像モデルデータベース内のデータから、前記仮想人物の生成に使用する使用映像モデルを選択する映像モデル選択ステップと、登録される情報ソースから、生成する仮想人物の顔データを抽出する映像処理ステップと、前記顔データを前記使用映像モデルに統合する顔挿入ステップと、前記情報ソースから音声を抽出し、前記仮想人物の声を生成する音声処理ステップと、前記顔データが統合された前記使用映像モデルと、生成された前記仮想人物の声と、に基づいて、前記仮想人物が発話する映像を生成する映像表示処理ステップと、を含む。
なお、コンピュータプログラムは、インターネット等のネットワークを介したダウンロードによって提供したり、CD−ROMなどのコンピュータ読取可能な各種の記録媒体に記録して提供したりすることができる。
仮想人物対話システムは、実際にはそこにいない特定の仮想人物の動画、声を再生し、また発話内容を自動生成することで、ユーザが仮想人物との対話を疑似的に行うことができるシステムである。仮想人物の生成対象となる人物(以下、「対象人物」ともいう。)は、故人や有名人、戦争体験者等の語り手等、場所や時間の制限により話す機会が無い又は限られる人物が想定されるが、どのような人物であってもよい。仮想人物は、ユーザから登録される、対象人物に関する情報および後述するモデルデータに基づいて生成される。仮想人物は、ユーザ端末10(図1参照)上において再生され、あたかも実際に存在しているかのように、動作し、発話し、ユーザに話しかけたり、ユーザからの質問に答えたりする。
記憶装置20は、情報処理を実行するためのCPU(Central Processing Unit)などの演算装置、RAM(Random Access Memory)やROM(Read Only Memory)などの記憶装置を備え、これによりソフトウェア資源として少なくとも、映像モデルDB21、性格モデルDB22、仮想人物データ記憶部23、および通信処理部29を有する。なお、本明細書において「DB」は「データベース」の略である。
仮想人物生成装置30は、情報処理を実行するためのCPU(Central Processing Unit)などの演算装置、RAM(Random Access Memory)やROM(Read Only Memory)などの記憶装置を備え、これによりソフトウェア資源として少なくとも、映像処理部31、音声処理部32、性格処理部33および通信処理部39を備える。
動画生成装置40は、仮想人物生成装置30により生成された仮想人物の動画を、ユーザ端末10上に表示させる装置である。動画生成装置40は、映像表示処理部41、対話処理部42、通信処理部49を備える。
図3を用いて、仮想人物生成装置30が使用映像モデルを決定する流れを説明する。同図に示すように、まず、ユーザ端末10から対象人物の情報ソースが登録され、仮想人物生成装置30に送信される(ステップS11)。次いで、仮想人物生成装置30は、情報ソースから外観データを抽出する(ステップS12)。外観データのうち、動画を静止画に変換する(ステップS13)。次いで、登録された静止画および動画から変換された静止画に対し、対象人物の画像をトリミングし、画像の色調および解像度を補正する(ステップS14)。トリミングおよび画像の補正は、順不同である。なお、このとき、補正してもデータの品質が所定以下である場合は、当該画像を後の工程に使用しないことを決定してもよい。
図4を用いて、仮想人物生成装置30が仮想人物の声を生成する流れを説明する。まず、ユーザ端末10から情報ソースが登録されると(ステップS21)、仮想人物生成装置30は、当該情報ソースから対象人物の音声データを抽出する(ステップS22)。仮想人物生成装置30は、当該音声データに基づいて、仮想人物の声を生成する。
図5を用いて、仮想人物生成装置30が仮想人物の性格モデルを決定する流れを説明する。ユーザ端末10から情報ソースが登録されると(ステップS31)、仮想人物生成装置30は、当該情報ソースからブログやSNSなどのテキストデータを抽出する(ステップS32)。また、このとき、手書きの日記等の画像データを抽出し、テキストデータに変換する。さらに、音源データを抽出し、対象人物の声をテキストデータに変換する。抽出されたテキストデータは、所定のルールに基づいて仮想人物データ記憶部23に格納される(ステップS33)。
図6を用いて、ユーザが仮想人物対話システムを用いて仮想人物と対話する流れを説明する。ユーザ端末10にIDおよびパスワードが入力されると(ステップS41)、仮想人物生成装置30により認証され(ステップS42)、IDに紐づけられている仮想人物との対話が可能となる。このとき、仮想人物からチャットの着信がある、電話がかかってくる、メールが届く、といった演出がなされてもよい。次いで、記憶装置20の仮想人物データ記憶部23から、対話する仮想人物のデータが呼び出され、動画生成装置40により参照可能な状態となる(ステップS43)。すなわち、ユーザ端末10上に仮想人物の像が表示される。仮想人物は、表示された時点で発話してもよく、動作をしてもよい。
10 ユーザ端末
20 記憶装置
21 映像モデルDB
30 仮想人物生成装置
31 映像処理部
40 動画生成装置
41 映像表示処理部
Claims (7)
- 人が動作する映像モデルを複数種類記憶する映像モデルデータベースと、
前記映像モデルデータベース内のデータから、仮想人物の生成に使用する使用映像モデルを選択する映像モデル選択部と、
登録される情報ソースから、前記仮想人物の顔データを抽出する映像処理部と、
前記顔データを前記使用映像モデルに統合する顔挿入部と、
前記情報ソースから音声を抽出し、前記仮想人物の声を生成する音声処理部と、
前記顔データが統合された前記使用映像モデルと、生成された前記仮想人物の声と、に基づいて、前記仮想人物が発話する映像を生成する映像表示処理部と、
を備える、
仮想人物対話システム。
- 人物の性格モデルを複数記憶する性格モデルデータベースと、
前記仮想人物の性格に関する質問を提示し、前記質問に対する回答に基づいて、前記仮想人物の生成に使用する使用性格モデルを前記性格モデルデータベース内のデータから選択する性格モデル選択部と、
前記使用性格モデルに基づいて、前記仮想人物が発話するメッセージを生成する対話処理部と、
をさらに備える、
請求項1記載の仮想人物対話システム。
- 前記性格モデル選択部は、前記仮想人物が作成した記録に基づいて前記使用性格モデルを選択する、
請求項2記載の仮想人物対話システム。
- 前記仮想人物への質問が入力される入力部と、前記仮想人物の返答を出力する出力部と、をさらに備え、
前記対話処理部は、前記質問に対する返答を生成し、前記出力部から前記返答を出力させる、
請求項2又は3記載の仮想人物対話システム。
- 前記メッセージに対する評価に基づいて前記使用性格モデルを補正する性格モデル補正部をさらに備える、
請求項2乃至4のいずれかに記載の仮想人物対話システム。
- 人が動作する映像モデルを複数種類記憶する映像モデルデータベースを備える仮想人物対話システムにより、仮想人物の映像を生成する方法であって、
前記映像モデルデータベース内のデータから、前記仮想人物の生成に使用する使用映像モデルを選択する映像モデル選択ステップと、
登録される情報ソースから、生成する前記仮想人物の顔データを抽出する映像処理ステップと、
前記顔データを前記使用映像モデルに統合する顔挿入ステップと、
前記情報ソースから音声を抽出し、前記仮想人物の声を生成する音声処理ステップと、
前記顔データが統合された前記使用映像モデルと、生成された前記仮想人物の声と、に基づいて、前記仮想人物が発話する映像を生成する映像表示処理ステップと、
を含む、
映像生成方法。
- 人が動作する映像モデルを複数種類記憶する映像モデルデータベースを備える仮想人物対話システムにより、仮想人物の映像を生成するコンピュータプログラムであって、
前記映像モデルデータベース内のデータから、前記仮想人物の生成に使用する使用映像モデルを選択する映像モデル選択命令と、
登録される情報ソースから、生成する前記仮想人物の顔データを抽出する映像処理命令と、
前記顔データを前記使用映像モデルに統合する顔挿入命令と、
前記情報ソースから音声を抽出し、前記仮想人物の声を生成する音声処理命令と、
前記顔データが統合された前記使用映像モデルと、生成された前記仮想人物の声と、に基づいて、前記仮想人物が発話する映像を生成する映像表示処理命令と、
をコンピュータに実行させる、
映像生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215306A JP6796762B1 (ja) | 2019-11-28 | 2019-11-28 | 仮想人物対話システム、映像生成方法、映像生成プログラム |
JP2020179082A JP7496128B2 (ja) | 2019-11-28 | 2020-10-26 | 仮想人物対話システム、映像生成方法、映像生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215306A JP6796762B1 (ja) | 2019-11-28 | 2019-11-28 | 仮想人物対話システム、映像生成方法、映像生成プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020179082A Division JP7496128B2 (ja) | 2019-11-28 | 2020-10-26 | 仮想人物対話システム、映像生成方法、映像生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6796762B1 JP6796762B1 (ja) | 2020-12-09 |
JP2021086415A true JP2021086415A (ja) | 2021-06-03 |
Family
ID=73646856
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019215306A Active JP6796762B1 (ja) | 2019-11-28 | 2019-11-28 | 仮想人物対話システム、映像生成方法、映像生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6796762B1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115239916A (zh) * | 2021-04-22 | 2022-10-25 | 北京字节跳动网络技术有限公司 | 虚拟形象的互动方法、装置和设备 |
CN113674184A (zh) * | 2021-07-19 | 2021-11-19 | 清华大学 | 虚拟说话人肢体手势生成方法、装置、设备及存储介质 |
CN113808281B (zh) * | 2021-08-23 | 2024-02-27 | 桂林未来鹏创软件有限公司 | 一种汽车虚拟精灵形象生成方法、系统、装置和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259446A (ja) * | 1998-03-12 | 1999-09-24 | Aqueous Reserch:Kk | エージェント装置 |
JP2001357413A (ja) * | 2000-06-13 | 2001-12-26 | Minolta Co Ltd | アニメーション会話システムおよびそれに用いられるサーバ |
JP2005071182A (ja) * | 2003-08-26 | 2005-03-17 | Matsushita Electric Works Ltd | 3次元アニメーション作成支援装置 |
JP2007133728A (ja) * | 2005-11-11 | 2007-05-31 | Kenwood Corp | エージェント装置、エージェント機能付車載用ナビゲーション装置、エージェント出力方法 |
JP2007279776A (ja) * | 2004-07-23 | 2007-10-25 | Matsushita Electric Ind Co Ltd | Cgキャラクタエージェント装置 |
JP2011150390A (ja) * | 2010-01-19 | 2011-08-04 | Kddi Corp | 性格推定装置及びプログラム |
WO2017130497A1 (ja) * | 2016-01-28 | 2017-08-03 | ソニー株式会社 | 通信システムおよび通信制御方法 |
-
2019
- 2019-11-28 JP JP2019215306A patent/JP6796762B1/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11259446A (ja) * | 1998-03-12 | 1999-09-24 | Aqueous Reserch:Kk | エージェント装置 |
JP2001357413A (ja) * | 2000-06-13 | 2001-12-26 | Minolta Co Ltd | アニメーション会話システムおよびそれに用いられるサーバ |
JP2005071182A (ja) * | 2003-08-26 | 2005-03-17 | Matsushita Electric Works Ltd | 3次元アニメーション作成支援装置 |
JP2007279776A (ja) * | 2004-07-23 | 2007-10-25 | Matsushita Electric Ind Co Ltd | Cgキャラクタエージェント装置 |
JP2007133728A (ja) * | 2005-11-11 | 2007-05-31 | Kenwood Corp | エージェント装置、エージェント機能付車載用ナビゲーション装置、エージェント出力方法 |
JP2011150390A (ja) * | 2010-01-19 | 2011-08-04 | Kddi Corp | 性格推定装置及びプログラム |
WO2017130497A1 (ja) * | 2016-01-28 | 2017-08-03 | ソニー株式会社 | 通信システムおよび通信制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6796762B1 (ja) | 2020-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
US20220150285A1 (en) | Communication assistance system, communication assistance method, communication assistance program, and image control program | |
US20160134840A1 (en) | Avatar-Mediated Telepresence Systems with Enhanced Filtering | |
JP6796762B1 (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
DE112013001461B4 (de) | Modifizieren des Aussehens eines Teilnehmers während einer Videokonferenz | |
CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
CN111145282A (zh) | 虚拟形象合成方法、装置、电子设备和存储介质 | |
CN112927712A (zh) | 视频生成方法、装置和电子设备 | |
US11341619B2 (en) | Method to provide a video with a computer-modified visual of a desired face of a person | |
CN109446303A (zh) | 机器人交互方法、装置、计算机设备及可读存储介质 | |
CN110794964A (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
KR20220127471A (ko) | 가상현실을 이용한 심리 상담 제공 장치, 방법 및 프로그램 | |
CN112669846A (zh) | 交互系统、方法、装置、电子设备及存储介质 | |
US20220328070A1 (en) | Method and Apparatus for Generating Video | |
CN117523088A (zh) | 一种个性化的三维数字人全息互动形成系统及方法 | |
US20220165024A1 (en) | Transforming static two-dimensional images into immersive computer-generated content | |
CN112669416A (zh) | 客服服务系统、方法、装置、电子设备及存储介质 | |
JP7496128B2 (ja) | 仮想人物対話システム、映像生成方法、映像生成プログラム | |
CN115499613A (zh) | 视频通话方法、装置、电子设备及存储介质 | |
JP2003108502A (ja) | 身体性メディア通信システム | |
KR102605178B1 (ko) | 가족 관계에 기초하여 음성 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램 | |
JP2005038160A (ja) | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 | |
WO2024004609A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
CN116741143B (zh) | 基于数字分身的个性化ai名片的交互方法及相关组件 | |
US20240202634A1 (en) | Dialogue training device, dialogue training system, dialogue training method, and computer-readable medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191224 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200622 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201016 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6796762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |