JP2023182491A - アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置 - Google Patents

アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置 Download PDF

Info

Publication number
JP2023182491A
JP2023182491A JP2022105121A JP2022105121A JP2023182491A JP 2023182491 A JP2023182491 A JP 2023182491A JP 2022105121 A JP2022105121 A JP 2022105121A JP 2022105121 A JP2022105121 A JP 2022105121A JP 2023182491 A JP2023182491 A JP 2023182491A
Authority
JP
Japan
Prior art keywords
video
predetermined
word
subtitles
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022105121A
Other languages
English (en)
Inventor
啓介 伴野
Keisuke Tomono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2022105121A priority Critical patent/JP2023182491A/ja
Publication of JP2023182491A publication Critical patent/JP2023182491A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】利用者が記憶したい単語を効果的に記憶させ易くする。【解決手段】抽出手順は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に所定字幕から利用者が選択した単語と、所定字幕とを抽出する。生成手順は、抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち所定映像動画に対応した第1領域に追加し、抽出手順により抽出された所定字幕を、第1領域に対応して映像動画ごとに設定された第2領域であって第1領域に追加された単語の記憶を支援するための所定映像動画に対応した第2領域に追加することで、映像動画ごとに、利用者が選択した単語をまとめた辞書を生成する。更新手順は、単語の追加時に、所定映像動画の字幕の中で所定字幕が表示される表示順が早いほど、単語が上位に表示されるように辞書を更新する。【選択図】図2

Description

本発明は、アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置に関する。
外国語の学習において、単語の記憶は最も重要な学習の一つである。しかしながら、外国語は利用者の文化とは異なる文化で発展してきた言語であるため、単語を記憶し難い場合が多い。市販で一般に入手可能な辞書には、単語の意味や例文等が記載されているが、このような辞書では単語の使い方まで利用者が正確に熟達することはできないため、記憶した単語でも時間の経過とともに忘れてしまう場合が多い。
従来、単語を用いた文章に容易にアクセスできるようにすることで単語を理解し易くさせる技術が知られている。
特開2011-221414号公報
しかしながら、従来の技術では、利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。例えば、従来の技術では、単語を利用者にとって想起し易い映像に関連付けて記憶させることができないため、利用者が記憶したい単語を効果的に記憶させ易くすることができなかった。
本願は、上記に鑑みてなされたものであって、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
本願に係るアニメーション作品を用いた記憶支援プログラムは、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
実施形態の一態様によれば、利用者が記憶したい単語を効果的に記憶させ易くすることができるという効果を奏する。
図1は、実施形態に係る情報処理システムの構成例を示す図である。 図2は、実施形態に係る記憶支援装置の構成例を示す図である。 図3は、実施形態に係る辞書情報記憶部の一例を示す図である。 図4は、実施形態に係る辞書の一例を示す図である。 図5は、実施形態に係る単語の選択の一例を示す図である。 図6は、実施形態に係る辞書の一例を示す図である。 図7は、実施形態に係る字幕情報記憶部の一例を示す図である。 図8は、実施形態に係るユーザインターフェースの一例を示す図である。 図9は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図10は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図11は、実施形態に係る情報処理システムによる情報処理の手順を示すフローチャートである。 図12は、変形例1に係る情報処理を説明するための説明図である。
本明細書及び添付図面の記載により、少なくとも以下の事項が明らかとなる。
態様1は、利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、をコンピュータに実行させることを特徴とする。
態様1によれば、例えば、利用者が映像動画を視聴中に、利用者にとって記憶したい単語が字幕に登場した場合には、その字幕が表示中に単語を選択することで、その単語とその字幕とを対応付けて所定の領域に追加した辞書を生成することができる。また、利用者が視聴した映像動画ごとに利用者のための辞書を生成することができる。また、字幕は映像に対応付けて表示されるため、利用者は字幕から字幕が表示された映像を想起することができる。
また、態様1によれば、例えば、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画を視聴中に、映像に対応して利用者が学習中の異文化の言語を字幕として閲覧させることができるため、利用者は映像動画の映像や音声を五感で正確に理解しながら、字幕を閲覧することができる。このため、字幕として表示された翻訳文に含まれる単語の使い方を、異文化の言語であっても、映像動画から効果的に学習させることができる。例えば、単語の意味だけでなく、単語がどのような場面で発話者がどのように感じた時にどのような単語とともに使われるかといった単語の使い方を学習させることができる。また、単語の使い方を、映像動画から五感で正確に理解することで、単語から字幕が表示された映像の想起が可能となるだけでなく、映像から単語の想起も可能となる。このため、学習以外の日常生活において、映像を何気なく思い出すだけで、単語の想起が可能となる。また、利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画は、利用者にとって理解し易いものであるため、映像だけでなく音声も何気なく思い出し易いため、単語を想起し易くさせることができる。
また、態様1によれば、例えば、映像動画で表示される字幕の順序になるように辞書に含まれる単語の順序を並び替えることができるため、映像動画のストーリーの順序で単語を表示させることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができるため、その単語の意味や使い方も想起することができる。このように、映像動画のストーリーを一つの括りとして、映像動画の字幕に登場した単語の意味や使い方を想起し易くさせることができる。このため、単語それぞれの意味や使い方を個別に思い出せるか否かを確認する手間を省くことができるため、利用者の復習時の負担を軽減させることができる。
態様2は、態様1において、各話が所定時間長の複数話から構成された映像動画であって、前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新することを特徴とする。
態様2によれば、例えば、映像動画の話(エピソード)の順番を加味して辞書に含まれる単語の順序を並び替えることができるため、映像動画が複数話から構成される場合でも、利用者は辞書に含まれる単語を順序通りに見ることで映像動画のストーリーを想起することができる。また、話の順番を加味することで各話の字幕に登場した単語同士の順番が結果的に近くなるため、話ごとにストーリーを想起し易くさせることができる。このため、利用者は辞書に含まれる単語を順序通りに見ることで話ごとにストーリーを想起することができる。また、話ごとにストーリーを想起することで、複数話全体のストーリーを想起することができる。このため、話ごとにストーリーが完結する映像動画の場合でも、複数話全体でストーリーが完結する映像動画の場合でもストーリーの想起がし易くなる。また、各話が所定時間長であることで、話ごとにストーリーが想起し易くなるため、単語の想起もし易くなる。このように、各話のストーリーを一つの括りとして、各話の字幕に登場した単語の意味や使い方を想起し易くさせることができる。
態様3は、態様1において、前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする。
態様3によれば、例えば、辞書に含まれる単語の順序に応じた順番で、対応した映像画像を表示させることができるため、利用者は辞書に含まれる単語を見ることなく、単語の順序に応じた順番で対応した映像画像を閲覧するだけで単語の意味や使い方を想起できるか否かを復習することができる。このように、辞書のような文字の羅列ではなく利用者の嗜好に沿った映像動画中の映像画像を表示させることができるため、利用者に学習を実感させることなく復習を行わせることができる。また、利用者の嗜好に沿った映像動画中の映像画像であるほど、利用者は映像画像を閲覧するだけで映像画像の前後の内容が想起し易くなるため、学習時だけでなく復習時も単語の意味や使い方をより深く理解させることができる。
態様4は、態様3において、前記単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させることを特徴とする。
態様4によれば、例えば、対象となる映像画像の場面中で最も印象的な映像画像を表示させることができるため、利用者に場面の想起をし易くさせることができる。このため、利用者はそのような映像画像を閲覧することで対象となる映像画像の前後を含む場面全体を想起できるため、対象となる単語の意味や使い方をより深く理解させることができる。また、印象的な映像画像は、その場面中の他の映像画像とは異なる特徴情報(例えば、エフェクト)や、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む場合が多いため、利用者の嗜好に沿った映像動画であるほど、利用者に学習を実感させることなく復習を行わせることができる。また、例えば、対象となる映像画像を、場面中の印象的な映像画像とともに表示させることで、対象となる映像画像の前後の内容を場面全体に絡めて想起させることができる。
態様5は、態様3において、前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させることを特徴とする。
態様5によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に単語を重畳して表示させることで、単語と映像画像とをより深く対応付けて記憶させることができるため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
態様6は、態様3において、前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させることを特徴とする。
態様6によれば、例えば、利用者が視聴した映像動画中の映像画像を辞書に追加して表示させることができるため、映像画像を想起することで前後の内容も自然と想起されることから、単語と映像画像とを対応付けて復習させるだけでなく、映像画像の前後の内容を含めて対応付けて復習させることができる。また、辞書に含まれる単語の順序に応じた順番で映像画像も表示されるため、その順序で映像画像を見ることで利用者は映像動画のストーリーを想起できるため、映像動画の視聴中に理解した単語の意味や使い方を想起することができる。また、映像画像に字幕を重畳して表示させることで、その字幕に含まれる単語と映像画像とをより深く対応付けて記憶させることができる。また、字幕は映像画像の前後の内容の想起を手助けするため、映像画像の前後の内容を含めて対応付けて記憶させることができる。このため、単語から映像画像の想起、及び、映像画像から単語の想起をし易くさせることができる。また、利用者の嗜好に沿った映像動画であるほど、何気ない瞬間に思い出す機会が多くなるため、利用者に学習を実感させることなく日常生活の中で自然に記憶させることができる。
態様7は、態様1において、前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする。
態様7によれば、例えば、利用者は一の映像動画の字幕に登場した単語を他の映像動画で復習することができるため、その単語の記憶を定着させることができる。また、利用者は一の映像動画の字幕に登場した単語が他の映像動画でどのように使われるのかを確認することができるため、その単語の意味や使い方をより深く理解させることができる。また、一の映像動画の字幕に登場した単語をより多く含む他の映像動画はその一の映像動画と特徴(例えば、映像動画の世界観やストーリー、映像動画のストーリーの中心となるキャラクター(メインキャラクター)の特徴)が類似し得るため、例えば一の映像動画を見終わった後の次の映像動画の候補として、一の映像動画と特徴が類似した他の映像動画を提案することができる。このため、利用者は一の映像動画の後に他の映像動画を抵抗なく快適に視聴できるため、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
態様8は、態様7において、前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案することを特徴とする。
態様8によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語と関連して広く用いられる共起語や類義語(同義語も含む)等である場合もあり、また、共起語や類義語等はまとめて記憶し易いため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、共起語や類義語等である場合には、一の映像動画の字幕に登場しなかった単語でも一の映像動画のストーリーを想起することで推測できる場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。
態様9は、態様8において、前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
態様9によれば、例えば、他の映像動画の字幕に含まれる単語であって一の映像動画の字幕に登場しなかった単語も一の映像動画の字幕に登場した単語に対応した発話を行ったメインキャラクターの特徴と類似した特徴のキャラクターの発話に対応して広く用いられる単語である場合もあるため、他の映像動画から生成された辞書に含まれる単語を記憶させ易くすることができる。また、利用者の映像動画に対する嗜好性はメインキャラクターの特徴に起因する場合も多いため、利用者は他の映像動画を抵抗なく快適に視聴することができる。このため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
態様10は、態様7において、前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案することを特徴とする。
態様10によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画の特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った映像動画を提案することができる。
態様11は、態様10において、前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
態様11によれば、例えば、対象となる辞書以外の辞書が生成された他の映像動画のメインキャラクターの特徴を基に辞書が生成されていない他の映像動画を提案することができるため、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができる。
態様12は、態様11において、前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案することを特徴とする。
態様12によれば、例えば、利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案することができるため、利用者に学習を実感させることなく、他の映像動画を用いた単語の学習を抵抗なく快適に行わせることができる。
以下に、本願に係るアニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置を実施するための形態(以下、「実施形態」と呼ぶ。)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係るアニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.はじめに〕
外国語の学習において、単語の記憶は最も重要な学習の一つである。しかしながら、外国語は利用者の文化とは異なる文化で発展してきた言語であるため、単語を記憶し難い場合が多い。市販で一般に入手可能な辞書には、単語の意味や例文等が記載されているが、このような辞書では単語の使い方まで利用者が正確に熟達することはできないため、記憶した単語でも時間の経過とともに忘れてしまう場合が多い。
また、市販で一般に入手可能な辞書は、辞書の難易度が上がるほど、単語の意味を説明するための言葉や例文に使われる言葉の難易度も上がる傾向にある場合が多い。例えば、利用者の言語でも馴染みが低い言葉が用いられる場合がある。しかしながら、異文化の言語を、利用者の言語でも馴染みが低い言葉で説明されても利用者が理解できない場合がある。また、利用者が理解できたとしても、そのような理解で記憶した単語では時間の経過とともに忘れてしまう場合が多い。
また、異文化の言語をその異文化で制作された映像動画の中で学習させる手法は異文化の言語の学習において広く用いられる手法であるが、そのような映像動画に登場する発話者の感性は、利用者の感性と異なる場合があるため、言語の問題だけでなくそのような映像動画はそもそも理解し難い場合がある。例えば、異文化で長年生活してきた利用者でも、その異文化で制作された映像動画において喜怒哀楽のポイントが理解できない場合がある。例えば、「笑う」ポイントが理解できずコメディーを十分に楽しめない場合がある。このように、その異文化で生まれ育った利用者でなければ、その異文化の言語の理解度に関わらず、その異文化で制作された映像動画を深く理解できない場合がある。
本願は、上記に鑑みてなされたものであって、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とする。
(実施形態)
〔2.情報処理システムの構成〕
図1に示す情報処理システム1について説明する。図1に示すように、情報処理システム1は、端末装置10と、記憶支援装置100とが含まれる。端末装置10と、記憶支援装置100とは所定の通信網(ネットワークN)を介して、有線又は無線により通信可能に接続される。図1は、実施形態に係る情報処理システム1の構成例を示す図である。
端末装置10は、外国語の学習を行う利用者によって利用される情報処理装置である。端末装置10は、実施形態における処理を実現可能であれば、どのような装置であってもよい。また、端末装置10は、スマートフォンや、タブレット型端末や、ノート型PCや、デスクトップPCや、携帯電話機や、PDA等の装置であってもよい。
端末装置10は、例えば、スマートフォンやタブレット等のスマートデバイスであり、4G~6G(Generation)やLTE(Long Term Evolution)等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置10は、液晶ディスプレイ等の画面であって、タッチパネルの機能を有する画面を有し、利用者から指やスタイラス等によりタップ操作、スライド操作、スクロール操作等、コンテンツ等の表示データに対する各種の操作を受け付けてもよい。
記憶支援装置100は、利用者が記憶したい単語を効果的に記憶させ易くすることを目的とした情報処理装置である。記憶支援装置100は、実施形態における処理を実現可能であれば、どのような装置であってもよい。例えば、記憶支援装置100は、サーバ装置やクラウドシステム等により実現される。
なお、図1では、端末装置10と記憶支援装置100が別装置である場合を示したが、端末装置10と記憶支援装置100は一体であってもよい。
下記実施形態において、映像動画は利用者と同じ文化で生まれ育った視聴者を主な対象とした映像動画である。すなわち、利用者の文化で制作された映像動画である。このため、利用者は映像動画を最も理解し易い言語で視聴できる。また、映像動画には利用者が学習中の言語に翻訳された字幕が含まれる。このため、映像動画中の音声が翻訳された字幕が表示される。なお、字幕は映像動画中の映像に埋め込まれたものであってもよいし、映像動画が再生されるごとに付されたものであってもよい。また、下記実施形態では、英語の字幕が表示される場合を例に挙げて説明するが、利用者が学習中の言語はどのような言語であってもよく、特に限定されないものとする。
下記実施形態において、映像動画は、アニメーション作品、いわゆる、アニメである。例えば、映像動画は、各話が所定時間長(例えば、30分のテレビ放送枠で放映可能な所定時間長)の複数話から構成されたアニメである。なお、アニメに複数のテレビシーズン(シーズン)がある場合(例えば、複数のクール(四半期)に分けてクールごとに放映された場合)には、映像動画は、特定のシーズンの複数話をまとめて一つの映像動画とした特定のシーズンの映像動画であってもよいし、各シーズンの複数話を全てまとめて一つの映像動画としたシーズン全体の映像動画であってもよい。また、映像動画は、例えば、リアルタイムに放映されているものであってもよいし、過去に放映されたものであってもよい。また、所定のウェブサイトにアップロードされたものであってもよいし、所定のアプリケーション(アプリ)で視聴可能なものでもよく、利用者の映像動画の視聴場所などの視聴態様は特に限定されないものとする。また、映像動画は、アニメに限られず、所定の事象を達成することを目的としたシミュレーションゲーム(例えば、恋愛シミュレーションゲーム)であってもよい。このようなゲームでは、利用者が何も操作せずともゲームの進行(例えば、キャラクターの会話が進む、映像が切り替わり場面が遷移する)を可能にできるため、このようなゲームもアニメーション作品とする。
〔3.記憶支援装置の構成〕
次に、図2を用いて、実施形態に係る記憶支援装置100の構成について説明する。図2は、実施形態に係る記憶支援装置100の構成例を示す図である。図2に示すように、記憶支援装置100は、通信部110と、記憶部120と、制御部130とを有する。なお、記憶支援装置100は、記憶支援装置100の管理者から各種操作を受け付ける入力部(例えば、キーボードやマウス等)や、各種情報を表示するための表示部(例えば、液晶ディスプレイ等)を有してもよい。
(通信部110)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線又は無線で接続され、ネットワークNを介して、端末装置10等との間で情報の送受信を行う。
(記憶部120)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置によって実現される。図2に示すように、記憶部120は、辞書情報記憶部121と、字幕情報記憶部122とを有する。
辞書情報記憶部121は、利用者が生成した辞書に関する情報を記憶する。ここで、図3に、実施形態に係る辞書情報記憶部121の一例を示す。図3は、実施形態に係る辞書情報記憶部121の一例を示す図である。図3に示すように、辞書情報記憶部121は、「利用者ID」、「映像動画」、「辞書」といった項目を有する。
「利用者ID」は、利用者を識別するための識別情報を示す。「映像動画」は、利用者が辞書を生成した映像動画を示す。例えば、映像動画の作品名である。「辞書」は、映像動画に対応した辞書に関する情報を示す。図3に示した例では、「辞書」に「辞書#1」や「辞書#2」といった概念的な情報が格納される例を示したが、実際には、利用者が辞書に追加した単語や字幕等の情報が映像動画ごとに格納される。
すなわち、図3では、利用者ID「U1」によって識別される利用者が辞書を生成した映像動画が「○×○×YY1」、「○×○×YY2」、・・・、「○×○×YYN」であり、映像動画に対応した辞書に関する情報が「辞書#1」、「辞書#2」、・・・、「辞書#N」である例を示す。例えば、利用者U1が「○×○×YY1」の映像動画を用いて生成した辞書には「辞書#1」に含まれる単語や字幕等が追加されたことを示す。
(辞書に単語と字幕を追加する場合)
以下、図4を用いて、実施形態に係る辞書の詳細について説明する。図4は、実施形態に係る辞書の一例を示す図である。辞書D1は、利用者U1が「○×○×YY1」の作品名の映像動画を視聴中に、利用者U1が字幕に登場した単語を選択することで生成された辞書である。領域R1は、選択された単語を追加するための所定の領域(第1領域に対応)である。なお、第1領域は、映像動画ごとに設定される。このため、領域R1は、「○×○×YY1」の映像動画のために設定された所定の領域である。領域R1には、利用者が「○×○×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに単語が追加される。例えば、利用者が「○×○×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、「cobblestone」の単語が領域R1に追加される。また、利用者は単語の選択を映像動画の再生中に行ってもよいし、映像動画の再生を一時停止させた上で行ってもよい。ここで、図5を用いて、実施形態に係る単語の選択について説明する。
図5は、実施形態に係る単語の選択の一例を示す図である。画面G1は、端末装置10の表示画面である。画面G1には、利用者が視聴中の「○×○×YY1」の映像動画が再生されており、「This is a town of cobblestone streets」の字幕が表示されている。利用者は「This is a town of cobblestone streets」の字幕が表示中に画面G1に対する操作によって画面上に表示枠W1を表示させることで、表示枠W1に含まれる単語が選択される。例えば、従来の画像解析処理の技術を用いて、表示枠W1に含まれる単語を特定することで、特定された単語が選択される。表示枠W1は、例えば、画面上の位置P1から位置P2の方向に利用者が指でスワイプを行うことで表示された枠である。ここでは、表示枠W1に単語の一部が含まれる「cobblestone」が選択される。また、選択された「cobblestone」の表示を、「This is a town of cobblestone streets」の字幕の表示中のみフォントを拡大するなど、強調させてもよい。そして、表示枠W1は、「cobblestone」の選択時にリセットされてもよいし、「This is a town of cobblestone streets」の字幕が消える際にリセットされてもよいし、利用者の操作ミスなどにより字幕外に表示され単語が何も特定されなかった際や複数の単語が特定された際にリセットされてもよい。表示枠W1はリセットされると画面から消えて、画面上に他の表示枠が表示可能となる。なお、画面上で表示枠を表示させることで単語の選択を行う場合を例に挙げて説明したが、実施形態に係る単語の選択はどのような方法によって行われてもよく、特に限定されないものとする。
図4の説明に戻る。ここで、実施形態に係る第1領域への単語の追加について説明する。例えば、利用者が視聴中の「○×○×YY1」の映像動画において、「I will jump across red flagstones」の字幕が、「This is a town of cobblestone streets」の字幕よりも後に表示される字幕である場合には、利用者が視聴中の画面に「I will jump across red flagstones」の字幕が表示され、「I will jump across red flagstones」の字幕が表示中に「I will jump across red flagstones」の字幕から「flagstones」の単語を選択すると、領域R1の領域中で「cobblestone」よりも順序が後になるように「flagstones」の単語が領域R1に追加される。このため、例えば、利用者が巻き戻しなどにより「I will jump across red flagstones」の字幕を表示させて「flagstones」の単語を選択した後に、更に巻き戻しなどにより「This is a town of cobblestone streets」の字幕を表示させて「cobblestone」の単語を選択した場合でも、「flagstones」の単語の順序が後になるように「cobblestone」の単語が領域R1に追加される。このように、利用者が字幕を表示させた順序や単語を選択した順序に関わらず、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加される単語の順序が決定されてもよいし、第1領域に追加された単語の順序が並び替えられてもよい。なお、「I will jump across red flagstones」の字幕から「flagstones」の単語を選択した場合など、選択された単語が複数形などの基本形(例えば、単数形)の変化形である場合には、選択された単語がそのまま第1領域に追加されてもよいし、選択された単語の基本形が第1領域に追加されてもよい。この場合には、「flagstones」の単語が「flagstone」として第1領域に追加されてもよい。
また、「○×○×YY1」の映像動画が複数話から構成された映像動画で、「I will jump across red flagstones」の字幕が、「This is a town of cobblestone streets」の字幕よりも後の話で表示される字幕である場合には、「I will jump across red flagstones」の字幕が表示中に「flagstones」の単語を選択すると、領域R1の領域中で「cobblestone」よりも順序が後になるように「flagstones」の単語が領域R1に追加される。例えば、「○×○×YY1」の映像動画の第2話を視聴中に「I will jump across red flagstones」の字幕が表示され、「flagstones」の単語を選択した場合には、「○×○×YY1」の映像動画の第1話を視聴中に表示された「This is a town of cobblestone streets」の字幕から選択された「cobblestone」の単語よりも順序が後になるように「flagstones」の単語が領域R1に追加される。このため、例えば、利用者が第2話を先に視聴して「I will jump across red flagstones」の字幕から「flagstones」の単語を選択した後に、第1話を視聴して「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択した場合でも、「flagstones」の単語の順序が後になるように「cobblestone」の単語が領域R1に追加される。このように、映像動画の話の順番に基づいて第1領域に追加される単語の順序が決定されてもよいし、第1領域に追加された単語の順序が並び替えられてもよい。
また、領域R2は、単語の選択時に表示された字幕を追加するための所定の領域(第2領域に対応)である。なお、第2領域は、第1領域に対応して映像動画ごとに設定される。このため、領域R2は、「○×○×YY1」の映像動画のために設定された所定の領域である。領域R2には、利用者が「○×○×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに選択時の画面に表示された単語を含む字幕が追加される。例えば、利用者が「○×○×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、「This is a town of cobblestone streets」の字幕が領域R2に追加される。具体的には、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加される。なお、第2領域への字幕の追加は、第1領域への単語の追加に対応して行われてもよいし、第1領域への単語の追加と同時に行われてもよい。例えば、領域R1に追加された「cobblestone」の単語の順序に対応して、「This is a town of cobblestone streets」の字幕が、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。また、例えば、「cobblestone」の単語が、領域R1のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されるとともに、「This is a town of cobblestone streets」の字幕が、領域R2のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。
しかしながら、発話が長く発話全体に対応した字幕が画面に収まらない場合など、字幕が複数に分けて表示される場合がある。このような場合には、単語の選択時の画面に表示された発話の一部に対応した字幕が追加される。例えば、「This is」と「a town of cobblestone streets」とが映像動画中で分けて表示される場合には、画面に表示された「a town of cobblestone streets」の字幕から「cobblestone」の単語を選択すると、「a town of cobblestone streets」の字幕が領域R2に追加される。なお、発話の一部に対応した字幕に限られず、単語の選択時の画面に表示された字幕を含む発話全体に対応した字幕が追加されてもよい。例えば、「This is」と「a town of cobblestone streets」とが映像動画中で分けて表示される場合には、画面に表示された「a town of cobblestone streets」の字幕から「cobblestone」の単語を選択すると、発話全体に対応した「This is a town of cobblestone streets」の字幕が追加されてもよい。なお、単語の選択時の画面に表示された字幕に、単語の選択時の画面に表示された字幕以外の字幕が組み合わされて追加される場合には、組み合わされる字幕は、単語の選択時の画面に表示された字幕直前の字幕であってもよいし、単語の選択時の画面に表示された字幕直後の字幕であってもよい。このように、組み合わされる字幕は、利用者が視聴した映像までに表示された字幕に限られず、これから視聴される映像に表示される字幕であってもよい。
また、単語の選択時の画面に表示された字幕が複数文から構成される場合がある。例えば、「cobblestone」の単語の選択時の画面に表示された字幕が、「This is a town of cobblestone streets. This is」といったように、「cobblestone」の単語を含む文の他に他の文の少なくとも一部を含む場合である。このような場合には、単語の選択時の画面に表示された字幕全体が領域R2に追加されてもよいし、単語の選択時の画面に表示された字幕のうち選択された単語を文に含む一部のみが領域R2に追加されてもよい。例えば、単語の選択時の画面に表示された字幕全体の「This is a town of cobblestone streets. This is」が領域R2に追加されてもよいし、単語の選択時の画面に表示された字幕のうち選択された単語を文に含む「This is a town of cobblestone streets.」のみが領域R2に追加されてもよい。
また、映像動画中でキャラクターが同時に発話した場合など、複数の字幕が画面上の別々の位置に同時に表示される場合がある。このような場合には、選択された単語を含む一の字幕のみが領域R2に追加されてもよいし、単語の選択時に画面上で表示された複数の字幕が領域R2に追加されてもよい。
また、単語の選択時に表示された字幕に、選択された単語の他に特徴的な意味を有する単語の数が少ない場合がある。例えば、「cobblestone」の単語の選択時の画面に表示された字幕が、「This is a cobblestone」といったように、「cobblestone」の他に特徴的な意味を有する単語がない場合である。例えば、「This」は名詞の代わりに用いられる代名詞であり、「is」は主語の状態を表すための動詞であり、「a」は名詞の特性を示すための冠詞であるため、それぞれ、「This」、「is」、「a」のみでは特徴的な意味を有さない。このような場合には、単語の選択時に表示された字幕に、単語の選択時の前後の画面に表示された字幕を加えた字幕が領域R2に追加されてもよい。また、従来の自然言語処理の技術を用いて、単語の選択時に表示された字幕と、単語の選択時の前後の画面に表示された字幕とに基づいて、両者の字幕が表示された際の発話の内容に沿った、選択された単語を含む字幕を生成することで、生成された字幕が領域R2に追加されてもよい。例えば、「cobblestone」の単語の選択時の画面に表示された「This is a cobblestone」の字幕と、「This is a cobblestone」の字幕の次に表示される「This is a street」の字幕とに基づいて、「This is a cobblestone street」といったような複数の字幕を一文にまとめた字幕を生成し、「This is a cobblestone street」の字幕が領域R2に追加されてもよい。なお、「This is a cobblestone」の「This」と「This is a street」の「This」とが異なる対象を指し示す場合には、「This is a cobblestone street」とすると、両者の字幕が表示された際の発話の内容に沿わない。このため、「cobblestone」の単語の選択時の画面に表示された映像の少なくとも一部が、「This is a street」の字幕が表示される映像に含まれる場合に、「This is a cobblestone street」といった字幕を生成してもよい。
(辞書に単語と字幕と映像画像を追加する場合)
以下、図6を用いて、実施形態に係る辞書の詳細について更に説明する。図6は、実施形態に係る辞書の一例を示す図である。辞書D2は、利用者U1が「○×○×YY1」の作品名の映像動画を視聴中に、利用者U1が字幕に登場した単語を選択することで生成された辞書である。辞書D2は、図4に示した辞書D1に、単語の選択時に画面に表示された映像画像が追加された辞書である。このため、辞書D1と同様の説明は適宜省略する。
領域R3は、単語の選択時に表示された映像画像を追加するための所定の領域(第3領域に対応)である。なお、第3領域は、第1領域に対応して映像動画ごとに設定される。このため、領域R3は、「○×○×YY1」の映像動画のために設定された所定の領域である。領域R3には、利用者が「○×○×YY1」の映像動画を視聴中に、字幕に登場した単語を選択するごとに選択時の画面に表示された映像画像が追加される。なお、単語の選択時に表示された字幕を映像に含む映像画像が追加されてもよいし、単語の選択時に表示された字幕を除いた映像画像が追加されてもよい。例えば、字幕と映像動画とが別々に記憶され、映像動画の再生時に字幕が付される場合には、利用者に映像動画を提供している外部の情報処理装置等から、単語の選択時に表示された字幕を除いた映像画像を取得することで、字幕を除いた映像画像が追加されてもよいし、単語の選択時に表示された画面をスクリーンショットなどにより撮影することで、字幕を映像に含む映像画像が追加されてもよい。また、例えば、映像動画に字幕が埋め込まれている場合には、オリジナルの映像動画を記憶した外部の情報処理装置等から、単語の選択時に表示された字幕を除いた映像画像を取得することで、字幕を除いた映像画像が追加されてもよいし、単語の選択時に表示された画面をスクリーンショットなどにより撮影することで、字幕を映像に含む映像画像が追加されてもよい。領域R3では、字幕を除いた映像画像が追加される。
利用者が「○×○×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像IM11が領域R3に追加される。例えば、「This is a town of cobblestone streets」の字幕が領域R2に追加されるとともに、「cobblestone」の単語の選択時に表示された映像画像IM11が領域R3に追加される。具体的には、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加される。なお、第3領域への映像画像の追加は、第1領域への単語の追加に対応して行われてもよいし、第1領域への単語の追加と同時に行われてもよい。例えば、領域R1に追加された「cobblestone」の単語の順序に対応して、「cobblestone」の単語の選択時に表示された映像画像が、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。また、例えば、「cobblestone」の単語が、領域R1のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されるとともに、「cobblestone」の単語の選択時に表示された映像画像が、領域R3のうちの「cobblestone」の単語の順序に対応した所定の領域に追加されてもよい。
また、利用者が「○×○×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像の場面中で印象的な映像画像が領域R3に追加されてもよい。例えば、単語の選択時に画面に表示された字幕と、単語の選択時に画面に表示された字幕よりも前に表示された字幕とから、単語の選択時に画面に表示された映像画像の場面の開始を推定することで、推定された場面の開始までの範囲に含まれる映像画像の中から印象的な映像画像として特徴的な映像画像が追加されてもよい。なお、外部の情報処理装置等から、映像動画の場面に関する情報が取得可能な場合には、外部の情報処理装置等から映像動画の場面に関する情報を取得することで、取得された映像動画の場面に関する情報に基づいて、単語の選択時に画面に表示された映像画像の場面の開始や場面全体の範囲が推定されてもよい。そして、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中から特徴的な映像画像が追加されてもよい。例えば、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも他の映像画像とは異なる特徴情報を含む映像画像が追加されてもよい。また、例えば、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む映像画像が追加されてもよい。なお、映像動画のメインキャラクターは、例えば、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像に含まれるキャラクターの特徴に基づいてメインキャラクターと推定されたキャラクターであってもよいし、映像動画の字幕に関する情報に基づいてメインキャラクターと推定されたキャラクターであってもよいし、映像動画に関する情報を外部の情報処理装置等から取得することでメインキャラクターと推定されたキャラクターであってもよい。このように、映像動画のメインキャラクターの推定方法は特に限定されないものとする。また、利用者にとって印象的な映像画像は、利用者の嗜好に沿ったキャラクターを映像に含む映像画像である場合が多いため、外部の情報処理装置等から利用者の嗜好情報(例えば、利用者が好きなキャラクターの体型や顔の形状や髪型や髪色などの外見の特徴、利用者が好きなキャラクターの着用している衣装の特徴、利用者が好きなキャラクターの話し方の特徴、利用者が好きなキャラクターに設定された身長や性別や年齢や性格や趣味や特技や特殊能力などの属性、利用者が好きなキャラクターのデザイナーがデザインした他のキャラクターや衣装の特徴)を取得することで、取得された利用者の嗜好情報に基づいて、映像動画のメインキャラクターのうち利用者の嗜好に最も沿ったキャラクターを少なくとも映像に含む映像画像が追加されてもよい。また、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも最も特徴的な映像画像が追加されてもよい。例えば、利用者の嗜好に最も沿ったキャラクターが最も大きく画面に映る映像画像が追加されてもよい。また、利用者が「○×○×YY1」の映像動画を視聴中、「This is a town of cobblestone streets」の字幕が表示され、「This is a town of cobblestone streets」の字幕が表示中に「This is a town of cobblestone streets」の字幕から「cobblestone」の単語を選択することで、単語の選択時に画面に表示された映像画像の場面中で印象的な映像画像とともに、単語の選択時に画面に表示された映像画像が領域R3に追加されてもよい。
字幕情報記憶部122は、映像動画で表示される字幕に関する情報を記憶する。ここで、図7に、実施形態に係る字幕情報記憶部122の一例を示す。図7は、実施形態に係る字幕情報記憶部122の一例を示す図である。図7に示すように、字幕情報記憶部122は、「映像動画ID」、「字幕」といった項目を有する。
「映像動画ID」は、映像動画を識別するための識別情報を示す。「字幕」は、映像動画で表示される字幕を示す。図7に示した例では、「字幕」に「字幕#1」や「字幕#2」といった概念的な情報が格納される例を示したが、実際には、字幕を構成する単語情報(字幕に含まれる文字情報)が字幕ごとに格納される。
すなわち、図7では、映像動画ID「M1」によって識別される映像動画で表示される字幕が「字幕#1」、・・・、「字幕#N」である例を示す。
(制御部130)
制御部130は、コントローラ(Controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、記憶支援装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図2に示すように、制御部130は、取得部131と、抽出部132と、生成部133と、更新部134と、表示部135と、提案部136とを有し、以下に説明する情報処理の作用を実現又は実行する。なお、制御部130の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
(取得部131)
取得部131は、外部の情報処理装置から各種情報を取得する。例えば、取得部131は、端末装置10等の他の情報処理装置から各種情報を取得する。また、取得部131は、記憶部120から各種情報を取得する。また、取得部131は、取得した各種情報を記憶部120に格納する。
取得部131は、利用者が映像動画を視聴中に画面上で操作を行った際の操作情報を取得する。例えば、取得部131は、利用者が映像動画を視聴中に画面上で表示させた表示枠に関する情報(例えば、画面上での表示枠の位置やサイズを示す座標情報)を取得する。例えば、取得部131は、利用者が指でスワイプを行うことで表示させた表示枠に関する情報を取得する。
取得部131は、利用者が視聴中の映像動画に関する情報を取得する。例えば、取得部131は、利用者が映像動画を視聴中に画面上で操作を行うことで単語が選択された際に、利用者が視聴中の映像動画に関する情報を取得する。例えば、取得部131は、利用者が視聴中の映像動画の字幕に関する情報を取得する。例えば、取得部131は、利用者が「○×○×YY1」の映像動画を視聴中に、表示された字幕から「cobblestone」の単語を選択した場合には、「cobblestone」の単語の選択時に画面上に表示された字幕に関する情報を取得してもよいし、「○×○×YY1」の映像動画に含まれる字幕全体に関する情報を取得してもよい。
(抽出部132)
抽出部132は、取得部131により取得された情報に基づいて、利用者が選択した単語と、単語の選択時に表示された字幕とを抽出する。例えば、抽出部132は、画面上に表示された表示枠に関する情報と、表示枠が表示された際に表示された字幕に関する情報とに基づいて、表示枠が表示された際に表示された字幕から利用者が選択した単語を抽出する。例えば、抽出部132は、表示枠に少なくとも文字の一部を含む単語を、利用者が選択した単語として抽出する。また、例えば、抽出部132は、利用者の単語の選択時に表示された字幕を抽出する。具体的には、抽出部132は、単語が抽出された字幕を抽出する。例えば、抽出部132は、「This is a town of cobblestone streets」の字幕が表示中に利用者の画面上での操作によって表示された表示枠が「cobblestone」の単語に最も重畳した場合には、「cobblestone」の単語を抽出するとともに「This is a town of cobblestone streets」の字幕を抽出する。また、抽出部132は、利用者の単語の選択時に表示された映像画像を抽出してもよい。例えば、抽出部132は、利用者の単語の選択時にスクリーンショットなどによって画面を撮影することで、撮影された映像画像を抽出してもよい。また、例えば、抽出部132は、利用者の単語の選択時に表示された映像画像を外部の情報処理装置等から取得してもよい。
抽出部132は、利用者の単語の選択時に表示された映像画像の場面中で印象的な映像画像を抽出してもよい。例えば、抽出部132は、単語の選択時に画面に表示された字幕と、単語の選択時に画面に表示された字幕よりも前に表示された字幕とから、単語の選択時に画面に表示された映像画像の場面の開始を推定する。そして、抽出部132は、推定された場面の開始までの範囲に含まれる映像画像の中から印象的な映像画像を抽出する。また、例えば、抽出部132は、外部の情報処理装置等から映像動画の場面に関する情報を取得することで、取得された映像動画の場面に関する情報に基づいて、単語の選択時に画面に表示された映像画像の場面の開始や場面全体の範囲を推定してもよい。そして、抽出部132は、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中から印象的な映像画像を抽出してもよい。
抽出部132は、推定された場面の開始までの範囲又は場面全体の範囲に含まれる映像画像の中でも他の映像画像とは異なる特徴情報を含む映像画像を抽出してもよい。また、抽出部132は、映像動画のメインキャラクターのうち少なくともいずれかのキャラクターを映像に含む映像画像を抽出してもよい。例えば、抽出部132は、利用者の嗜好情報に基づいて、映像動画のメインキャラクターの中から利用者の嗜好に最も沿ったキャラクターを推定し、推定されたキャラクターを少なくとも映像に含む映像画像を抽出してもよい。例えば、抽出部132は、推定されたキャラクターが最も大きく画面に映る映像画像を抽出してもよい。
(生成部133)
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する。図4の例では、生成部133は、「cobblestone」の単語を、「○×○×YY1」の映像動画に対応した第1領域に追加し、「This is a town of cobblestone streets」の字幕を、「○×○×YY1」の映像動画に対応した第2領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加することで、辞書D1を生成する。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。図6の例では、生成部133は、「cobblestone」の単語を、「○×○×YY1」の映像動画に対応した第1領域に追加し、「This is a town of cobblestone streets」の字幕を、「○×○×YY1」の映像動画に対応した第2領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加し、映像画像IM11を、「○×○×YY1」の映像動画に対応した第3領域のうちの「cobblestone」の単語の順序に対応した所定の領域に追加することで、辞書D2を生成する。
(更新部134)
更新部134は、第1領域への単語の追加時に、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加される単語の順序を決定することで、生成部133により生成された辞書を更新する。また、更新部134は、第1領域への単語の追加時に、映像動画ごとに予め定められた字幕の表示順に基づいて第1領域に追加された単語の順序を並び替えることで、生成部133により生成された辞書を更新してもよい。例えば、更新部134は、第1領域への単語の追加時に、第2領域へ追加される字幕の表示順が早いほど、第1領域に追加される単語が上位に表示されるように辞書を更新する。また、例えば、更新部134は、第1領域への単語の追加時に、複数話のうち第2領域へ追加される字幕が登場する話の順番が早いほど、第1領域に追加される単語が上位に表示されるように辞書を更新する。
(表示部135)
表示部135は、更新部134により更新された単語の順序に応じた順番で、利用者の単語の選択時に表示された映像画像を表示させる。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第3領域に追加された映像画像を取得し、取得した映像画像を組み合わせてスライドショーなどのアニメーションを生成することで、利用者の単語の選択時に表示された映像画像を表示させる。例えば、「○×○×YY1」の映像動画では、「This is a town of cobblestone streets」の字幕が、「I will jump across red flagstones」の字幕よりも前に表示される字幕であるため、表示部135は、利用者から「○×○×YY1」の映像動画の選択を受け付けた場合には、「cobblestone」の単語の選択時に表示された映像画像が、「flagstones」の単語の選択時に表示された映像画像よりも先に表示されるようにスライドショーなどのアニメーションを生成する。図8は、実施形態に係るユーザインターフェースの一例を示す図である。
画面G2は、端末装置10の表示画面である。画面G2には、利用者U1が辞書を生成した映像動画を示す項目L1乃至項目LNが表示されている。例えば、項目L1は「○×○×YY1」の映像動画を示す項目であり、項目L2は「○×○×YY2」の映像動画を示す項目であり、項目LNは「○×○×YYN」の映像動画を示す項目である。画面G2には、利用者U1が辞書を生成した映像動画の数だけ項目が表示される。表示部135は、例えば、利用者U1から画面上で項目L1を選択する操作(例えば、タップ、クリック)を受け付けると、「○×○×YY1」の映像動画に対応して生成された辞書D2の領域R3に追加された映像画像を用いて、領域R1の単語の順序に応じた順番で映像画像を表示させるアニメーションを生成し、生成したアニメーションを表示させるための画面を表示させて、領域R3に追加された映像画像を表示させる。また、表示部135は、例えば、利用者U1から画面上で項目L2を選択する操作を受け付けると、「○×○×YY2」の映像動画に対応して生成された辞書の第3領域に追加された映像画像を用いて、「○×○×YY2」の映像動画に対応して生成された辞書の第1領域の単語の順序に応じた順番で映像画像を表示させるアニメーションを生成し、生成したアニメーションを表示させるための画面を表示させて、「○×○×YY2」の映像動画に対応して生成された辞書の第3領域に追加された映像画像を表示させる。なお、画面G2は一例であり、映像動画の選択を受け付ける態様は特に限定されないものとする。例えば、画面G2のような、利用者が辞書を生成した映像動画を項目でまとめた画面から項目を選択させることで映像動画を選択させるユーザインターフェースに限られず、表示部135は、利用者が生成した辞書それぞれが映像画像をアニメーションで表示させるための項目を有するユーザインターフェースを用いて映像動画の選択を受け付けてもよい。例えば、表示部135は、辞書D2に含まれる「○×○×YY1」の作品名(辞書のタイトル)を操作することで「○×○×YY1」の映像動画の選択を受け付け、また、「○×○×YY2」の映像動画に対応して生成された辞書に含まれる「○×○×YY2」の作品名を操作することで「○×○×YY2」の映像動画の選択を受け付けてもよい。
表示部135は、第3領域に追加された映像画像(例えば、単語の選択時に表示された字幕を除いた映像画像)に第1領域に追加された単語を重畳させた映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成してもよい。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第1領域に追加された単語と第3領域に追加された映像画像とを辞書から抽出し、抽出した映像画像それぞれに対して対応した単語を重畳させることで単語が重畳された映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成する。そして、表示部135は、第3領域に追加された映像画像を、第3領域への映像画像の追加時に第1領域へ追加された単語を重畳させた映像画像をアニメーションで表示させる。図6の例を用いると、表示部135は、映像画像IM1に「quintessentially」の単語を重畳させた映像画像と、映像画像IM2に「ventriloquism」の単語を重畳させた映像画像と、映像画像IM11に「cobblestone」の単語を重畳させた映像画像と、映像画像IM3に「battle-scarred」の単語を重畳させた映像画像と、映像画像IM4に「flagstones」の単語を重畳させた映像画像を組み合わせることでアニメーションを生成し、「quintessentially」から始まり、「ventriloquism」、「cobblestone」、「battle-scarred」、「flagstones」の順番で、映像画像IM1に「quintessentially」の単語を重畳させた映像画像と、映像画像IM2に「ventriloquism」の単語を重畳させた映像画像と、映像画像IM11に「cobblestone」の単語を重畳させた映像画像と、映像画像IM3に「battle-scarred」の単語を重畳させた映像画像と、映像画像IM4に「flagstones」の単語を重畳させた映像画像をアニメーションで表示させる。また、表示部135は、第3領域に追加された映像画像が、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像である場合には、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像に第1領域へ追加された単語を重畳させた映像画像をアニメーションで表示させてもよい。
表示部135は、第3領域に追加された映像画像(例えば、単語の選択時に表示された字幕を除いた映像画像)に第2領域に追加された字幕を重畳させた映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成してもよい。例えば、表示部135は、利用者から映像動画の選択を受け付けると、選択された映像動画に対応して生成された辞書の第2領域に追加された字幕と第3領域に追加された映像画像とを辞書から抽出し、抽出した映像画像それぞれに対して対応した字幕を重畳させることで字幕が重畳された映像画像を生成し、生成した映像画像を組み合わせることで、映像画像を表示させるためのアニメーションを生成する。そして、表示部135は、第3領域に追加された映像画像を、第3領域への映像画像の追加時に第2領域へ追加された字幕を重畳させた映像画像をアニメーションで表示させる。図6の例を用いると、表示部135は、映像画像IM1に「・・・・・・・・・quintessentially・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM2に「・・・・・・・・・ventriloquism・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM11に「This is a town of cobblestone streets」の字幕を重畳させた映像画像と、映像画像IM3に「・・・・・・・・・battle-scarred・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM4に「I will jump across red flagstones」の字幕を重畳させた映像画像を組み合わせることでアニメーションを生成し、「quintessentially」から始まり、「ventriloquism」、「cobblestone」、「battle-scarred」、「flagstones」の順番で、映像画像IM1に「・・・・・・・・・quintessentially・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM2に「・・・・・・・・・ventriloquism・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM11に「This is a town of cobblestone streets」の字幕を重畳させた映像画像と、映像画像IM3に「・・・・・・・・・battle-scarred・・・・・・・・・」の字幕を重畳させた映像画像と、映像画像IM4に「I will jump across red flagstones」の字幕を重畳させた映像画像をアニメーションで表示させる。また、表示部135は、第3領域に追加された映像画像が、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像である場合には、第1領域の単語の選択時に表示された映像画像の場面中の印象的な映像画像に第2領域へ追加された字幕を重畳させた映像画像をアニメーションで表示させてもよい。
(提案部136)
提案部136は、利用者の所定の操作(例えば、辞書を選択する操作、辞書を開く操作、辞書に単語を追加する操作)に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信する。例えば、提案部136は、「○×○×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含む映像動画を提案する。例えば、提案部136は、「○×○×YY10」の映像動画の字幕が、領域R1に追加された「cobblestone」の単語を含む場合には、「○×○×YY10」の映像動画を候補として提案する。また、提案部136は、第1領域に追加された単語を字幕に多く含む映像動画ほど優先的に提案してもよい。例えば、提案部136は、領域R1に追加された「cobblestone」の単語のみを字幕に含む「○×○×YY11」の映像動画の他に、領域R1に追加された「cobblestone」の単語と「flagstones」の単語の複数の単語を字幕に含む「○×○×YY12」の映像動画が候補として提案可能である場合には、「○×○×YY11」の映像動画よりも「○×○×YY12」の映像動画を優先的に提案する。また、提案部136は、第1領域に追加された同一の単語が映像動画の複数の字幕に登場する場合には、同一の単語が複数の字幕に登場する回数をカウントに含めた字幕に登場する単語の数に基づいて候補の優先順位を決定してもよい。また、提案部136は、第1領域に追加された同一の単語が映像動画の複数の字幕に登場する場合には、同一の単語が複数の字幕に登場する回数をカウントに含めない字幕に登場する単語の種類の数に基づいて候補の優先順位を決定してもよい。
提案部136は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、選択された辞書に対応した映像動画と特徴が類似する一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信してもよい。例えば、提案部136は、「○×○×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含み、且つ、「○×○×YY1」の映像動画と特徴が類似する映像動画を提案する。例えば、提案部136は、「○×○×YY1」の映像動画のメインキャラクターの特徴に基づいて、「○×○×YY1」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案する。なお、提案部136は、映像動画のメインキャラクターの特徴を、映像動画の字幕に関する情報に基づいて推定してもよいし、映像動画に関する情報を外部の情報処理装置等から取得することで推定してもよい。例えば、提案部136は、選択された「○×○×YY1」の映像動画のメインキャラクターの特徴を、「○×○×YY1」の映像動画の字幕に関する情報に基づいて推定してもよいし、「○×○×YY1」の映像動画に関する情報を外部の情報処理装置等から取得することで推定してもよい。また、例えば、提案部136は、選択された「○×○×YY1」の映像動画のメインキャラクターの特徴を、領域R3に追加された映像画像に基づいて推定してもよい。
提案部136は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、選択された辞書以外の他の辞書に対応した映像動画と特徴が類似する一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信してもよい。例えば、提案部136は、「○×○×YY1」の映像動画に対応して生成された辞書D1(又は辞書D2)が選択された場合には、領域R1に追加された単語のうち一以上の単語を字幕に含み、且つ、利用者U1が辞書を生成した他の映像動画である「○×○×YY2」乃至「○×○×YYN」の映像動画と特徴が類似する映像動画を提案する。例えば、提案部136は、「○×○×YY2」の映像動画のメインキャラクターの特徴に基づいて、「○×○×YY2」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案する。また、例えば、提案部136は、「○×○×YY2」の映像動画のメインキャラクターの特徴と「○×○×YY3」の映像動画のメインキャラクターの特徴とに基づいて、「○×○×YY2」及び/又は「○×○×YY3」の映像動画のメインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を提案してもよい。また、例えば、提案部136は、「○×○×YY2」乃至「○×○×YYN」の映像動画のメインキャラクターの特徴に基づいて利用者U1のキャラクターの嗜好情報を推定することで利用者U1の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を提案してもよい。
〔4.情報処理のフロー〕
次に、図9乃至図11を用いて、実施形態に係る情報処理システム1による情報処理の手順について説明する。図9乃至図11は、実施形態に係る情報処理システム1による情報処理の手順を示すフローチャートである。
図9に示すように、記憶支援装置100は、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合には、利用者が選択した単語と、利用者の単語の選択時に表示された字幕とを抽出する(ステップS101)。
記憶支援装置100は、抽出された単語を、利用者が視聴中の映像動画に表示される字幕の中で、抽出された字幕が表示される表示順が早いほど上位になるように、利用者が視聴中の映像動画に対応して生成された辞書の第1領域に追加し、抽出された字幕を、利用者が視聴中の映像動画に対応して生成された辞書の第2領域に追加することで辞書を更新する(ステップS102)。
図10に示すように、記憶支援装置100は、利用者から映像動画の選択を受け付けた場合には、利用者が選択した映像動画に対応して生成された辞書の第3領域に追加された映像画像を取得する(ステップS201)。
記憶支援装置100は、取得された映像画像を組み合わせてアニメーションを生成することで、利用者が選択した映像動画に対応して生成された辞書の第3領域に追加された映像画像をアニメーションで表示させる(ステップS202)。
図11に示すように、記憶支援装置100は、利用者の所定の操作に応じて選択された辞書の第1領域に追加された単語に関する情報を取得する(ステップS301)。
記憶支援装置100は、取得された単語に関する情報に基づいて、選択された辞書の第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案するための情報を送信する(ステップS302)。
〔5.変形例〕
上述した実施形態に係る情報処理システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム1の他の実施形態について説明する。
(変形例1:第1領域で単語を指定することで辞書を更新する)
上記実施形態では、抽出部132が、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合に、利用者が選択した単語とともに、単語の選択時に表示された字幕を抽出する場合を示した。ここで、抽出部132は、利用者が映像動画を視聴後に、利用者が視聴した映像動画に対応した辞書に含まれる第1領域で、利用者が映像動画を視聴中に表示された単語を指定(例えば、入力)することで、指定された単語を含む字幕を、映像動画ごとに予め定められた字幕から抽出してもよい。例えば、抽出部132は、利用者が「○×○×YY1」の映像動画を視聴中に「cobblestone」の単語を記憶して、「○×○×YY1」の映像動画の視聴後に、「○×○×YY1」の映像動画に対応した辞書D1(又は辞書D2)の領域R1で「cobblestone」の単語を指定することで、「○×○×YY1」の映像動画に予め定められた字幕から「cobblestone」の単語を含む「This is a town of cobblestone streets」の字幕を抽出してもよい。
図12は、変形例1に係る情報処理を説明するための説明図である。辞書D3は、図4に示した辞書D1に対応した辞書である。このため、辞書D1と同様の説明は適宜省略する。更新部134は、領域R1のうちの「cobblestone」の単語が指定された領域R11に対応して、領域R2のうちの領域R12に「This is a town of cobblestone streets」の字幕を追加することで辞書D3を更新する。そして、更新部134は、「○×○×YY1」の映像動画に表示される字幕の表示順に基づいて決定された領域R1での「cobblestone」の単語の順序に応じて、領域R2のうちの「cobblestone」の単語の順序に応じた所定の領域に「This is a town of cobblestone streets」の字幕を追加することで辞書D3を更新する。
(変形例2:市販の辞書を用いて利用者が視聴した映像動画の辞書を自動で生成する)
上記実施形態では、抽出部132が、利用者が映像動画を視聴中に、表示された字幕から単語を選択した場合に、利用者が選択した単語とともに、単語の選択時に表示された字幕を抽出する場合を示した。また、変形例1では、抽出部132が、利用者が視聴した映像動画に対応した辞書に含まれる第1領域で、利用者が映像動画を視聴中に表示された単語を指定することで、指定された単語を含む字幕を、映像動画ごとに予め定められた字幕から抽出する場合を示した。ここで、抽出部132は、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕に、利用者が予め指定した市販の辞書(例えば、資格試験用の辞書、教科書)に含まれる単語(以下、適宜、「学習用単語」とする。)が登場する場合には、登場する学習用単語とともに、学習用単語ごとに対象の学習用単語が表示される字幕を抽出してもよい。例えば、抽出部132は、学習用単語ごとに対象の学習用単語が表示される字幕を、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕から抽出する。なお、抽出部132は、利用者が複数の市販の辞書を指定した場合には、指定された複数の市販の辞書のうち少なくともいずれかに含まれる学習用単語を抽出してもよい。また、抽出部132は、学習用単語が利用者の嗜好に沿ったキャラクターの発話に対応した字幕に含まれる単語である場合に、学習用単語と字幕の抽出を行ってもよい。また、抽出部132は、学習用単語が利用者の嗜好に沿ったキャラクターの発話に対応した字幕に含まれる単語でない場合(言い換えると、利用者の嗜好に沿ったキャラクターではないキャラクターの発話に対応した字幕に含まれる単語である場合)には、学習用単語と字幕の抽出を行わなくてもよい。そして、生成部133は、対象の学習用単語を、利用者が映像動画を視聴したことで選択された映像動画に対応した第1領域に追加し、対象の学習用単語が表示される字幕を、利用者が映像動画を視聴したことで選択された映像動画に対応した第2領域に追加することで、利用者が視聴した映像動画に対応した辞書を自動で生成する。また、抽出部132は、利用者が映像動画を視聴したことで選択された映像動画に予め定められた字幕に、利用者が予め指定した市販の辞書に含まれない単語が登場する場合に、利用者が予め指定した市販の辞書に含まれない単語とともに、利用者が予め指定した市販の辞書に含まれない単語が表示される字幕を抽出してもよい。例えば、抽出部132は、利用者が複数の市販の辞書を指定し、複数の市販の辞書に含まれない単語が字幕に登場する場合に単語と字幕の抽出を行ってもよい。
(変形例3:第1領域に追加された単語の類義語を第4領域に追加した辞書を生成する) 上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した(図4参照)。また、上記実施形態では、生成部133が、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する場合を示した(図6参照)。ここで、生成部133は、抽出部132により抽出された単語の類義語が、利用者が予め指定した市販の辞書に登場する場合には、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した所定の領域(以下、適宜、「第4領域」とする。)に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。ここで、第4領域は、第1領域に追加された単語の類義語を追加するための所定の領域である。なお、第4領域は、第1領域に対応して映像動画ごとに設定される。第4領域には、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場する場合にのみ、第1領域に追加された単語の類義語が追加される。具体的には、第4領域のうちの第1領域に追加された単語の順序に対応した所定の領域に追加される。また、第1領域に追加された単語の類義語が予め指定された市販の辞書に登場しない場合には、第4領域のうちの第1領域に追加された単語の順序に対応した所定の領域は空欄となる。
生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成する。また、生成部133は、抽出部132により抽出された単語を、利用者が視聴中の映像動画に対応した第1領域に追加し、抽出部132により抽出された字幕を、利用者が視聴中の映像動画に対応した第2領域に追加し、抽出部132により抽出された映像画像を、利用者が視聴中の映像動画に対応した第3領域に追加し、抽出部132により抽出された単語の類義語を、利用者が視聴中の映像動画に対応した第4領域に追加することで、映像動画ごとに利用者が選択した単語をまとめた辞書を生成してもよい。なお、第4領域に追加される類義語は、第1領域に追加された単語と関連が高い単語に限られない。例えば、生成部133は、抽出部132により「quintessential」の単語が抽出され、「quintessential」の単語と関連が高い「typical」の単語や「ultimate」の単語が予め指定された市販の辞書に含まれる場合には、第1領域に「quintessential」の単語を追加するとともに、第4領域に「typical」の単語や「ultimate」の単語を追加することで辞書を生成してもよいし、「quintessential」の単語と関連がやや高い「classic」の単語や「ideal」の単語が予め指定された市販の辞書に含まれる場合には、第1領域に「quintessential」の単語を追加するとともに、第4領域に「classic」の単語や「ideal」の単語を追加することで辞書を生成してもよい。なお、生成部133は、「typical」と「ultimate」と「classic」と「ideal」の全ての単語が予め指定された市販の辞書に含まれる場合には、「quintessential」の類義語として第4領域に追加される単語をどのように選択してもよい。また、第4領域に追加される類義語の、第1領域に追加された単語との関連の度合いは利用者により適宜調整されてもよい。例えば、生成部133は、利用者が第4領域に追加される類義語を「関連が高い単語のみ」に設定した場合には、「typical」と「ultimate」と「classic」と「ideal」の単語のうち「typical」と「ultimate」の単語を第4領域に追加される類義語の候補とし、利用者が第4領域に追加される類義語を「関連がやや高い単語を含む」に設定した場合には、「typical」と「ultimate」と「classic」と「ideal」の全ての単語を第4領域に追加される類義語の候補として、第4領域に追加される単語を選択してもよい。
〔6.その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
なお、以下のような構成も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示手順は、
前記単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記抽出手順は、
前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記抽出手順は、
前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(7)に記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(8)に記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(7)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(11)に記載のアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出工程と、
前記抽出工程により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出部と、
前記抽出部により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
また、以下のような構成(変形例1に対応)も本発明の技術的範囲に属する。
(1)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出手順と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
(2)
前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
前記更新手順は、
前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する
前記(1)に記載のアニメーション作品を用いた記憶支援プログラム。
(3)
前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該第1領域への単語の追加に対応して前記第2領域に追加された所定字幕が表示された当該所定映像動画の一部である映像画像を表示させる表示手順、を更に有することを特徴とする
前記(1)又は(2)に記載のアニメーション作品を用いた記憶支援プログラム。
(4)
前記表示手順は、
前記第1領域への単語の追加に対応して前記第2領域に追加された所定字幕が表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
前記(3)に記載のアニメーション作品を用いた記憶支援プログラム。
(5)
前記抽出手順は、
前記所定字幕が表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(6)
前記抽出手順は、
前記所定字幕が表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
前記生成手順は、
前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
前記表示手順は、
前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
前記(3)又は(4)に記載のアニメーション作品を用いた記憶支援プログラム。
(7)
前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、を更に有することを特徴とする
前記(1)~(6)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(8)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
前記(7)に記載のアニメーション作品を用いた記憶支援プログラム。
(9)
前記提案手順は、
前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(8)に記載のアニメーション作品を用いた記憶支援プログラム。
(10)
前記提案手順は、
前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
前記(7)~(9)のいずれか一つに記載のアニメーション作品を用いた記憶支援プログラム。
(11)
前記提案手順は、
前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(10)に記載のアニメーション作品を用いた記憶支援プログラム。
(12)
前記提案手順は、
前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
前記(11)に記載のアニメーション作品を用いた記憶支援プログラム。
(13)
コンピュータが実行する記憶支援方法であって、
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出工程と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成工程と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
(14)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出部と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成部と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
を有することを特徴とするアニメーション作品を用いた記憶支援装置。
(15)
利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画の中から選択された所定映像動画の字幕のうち当該利用者が当該所定映像動画を視聴中に表示された字幕から、当該利用者が指定した単語を含む所定字幕を抽出する抽出手順と、
前記利用者により指定された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が指定した単語をまとめた辞書を生成する生成手順と、
前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
1 情報処理システム
10 端末装置
100 記憶支援装置
110 通信部
120 記憶部
121 辞書情報記憶部
122 字幕情報記憶部
130 制御部
131 取得部
132 抽出部
133 生成部
134 更新部
135 表示部
136 提案部
N ネットワーク

Claims (14)

  1. 利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出手順と、
    前記抽出手順により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出手順により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成手順と、
    前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する更新手順と、
    をコンピュータに実行させることを特徴とするアニメーション作品を用いた記憶支援プログラム。
  2. 前記映像動画は、各話が所定時間長の複数話から構成された映像動画であって、
    前記更新手順は、
    前記所定映像動画を構成する複数話のうち前記所定字幕が登場する話の順番が早いほど、当該単語が上位に表示されるように前記生成手順により生成された辞書を更新する
    ことを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  3. 前記生成手順により辞書が生成された映像動画の中から選択された所定映像動画に対応した第1領域に追加された単語の順序に応じた順番で、当該単語の選択時に表示された当該所定映像動画の一部である映像画像を表示させる表示手順、
    を更に有することを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  4. 前記表示手順は、
    前記単語の選択時に表示された前記映像画像の場面中に表示された映像画像のうち印象的な映像画像を表示させる
    ことを特徴とする請求項3に記載のアニメーション作品を用いた記憶支援プログラム。
  5. 前記抽出手順は、
    前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
    前記生成手順は、
    前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
    前記表示手順は、
    前記第3領域に追加された映像画像と、当該映像画像に対応して前記第1領域に追加された単語とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該単語を重畳させることで、当該映像画像を表示させる
    ことを特徴とする請求項3に記載のアニメーション作品を用いた記憶支援プログラム。
  6. 前記抽出手順は、
    前記単語の選択時に表示された、前記所定字幕を除いた前記所定映像動画の一部である映像画像を抽出し、
    前記生成手順は、
    前記抽出手順により抽出された映像画像を、前記第1領域に対応して映像動画ごとに設定された第3領域であって前記第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第3領域に追加することで、前記辞書を生成し、
    前記表示手順は、
    前記第3領域に追加された映像画像と、当該映像画像に対応して前記第2領域に追加された所定字幕とを、前記生成手順により生成された辞書から抽出し、当該映像画像に当該所定字幕を重畳させることで、当該映像画像を表示させる
    ことを特徴とする請求項3に記載のアニメーション作品を用いた記憶支援プログラム。
  7. 前記生成手順により生成された辞書の中から選択された所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む一以上の映像動画を新たな辞書を生成するための候補として提案する提案手順、
    を更に有することを特徴とする請求項1に記載のアニメーション作品を用いた記憶支援プログラム。
  8. 前記提案手順は、
    前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記所定辞書が生成された所定映像動画と特徴が類似する一以上の映像動画を前記候補として提案する
    ことを特徴とする請求項7に記載のアニメーション作品を用いた記憶支援プログラム。
  9. 前記提案手順は、
    前記所定辞書が生成された所定映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
    ことを特徴とする請求項8に記載のアニメーション作品を用いた記憶支援プログラム。
  10. 前記提案手順は、
    前記所定辞書の前記第1領域に追加された単語のうち一以上の単語を字幕に含む映像動画のうち、前記利用者が前記辞書を生成した他の映像動画の特徴に基づいて、一以上の映像動画を前記候補として提案する
    ことを特徴とする請求項7に記載のアニメーション作品を用いた記憶支援プログラム。
  11. 前記提案手順は、
    前記利用者が前記辞書を生成した他の映像動画のメインキャラクターの特徴に基づいて、当該メインキャラクターのうち一のメインキャラクターの特徴と類似した特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
    ことを特徴とする請求項10に記載のアニメーション作品を用いた記憶支援プログラム。
  12. 前記提案手順は、
    前記他の映像動画のメインキャラクターの特徴に基づいて推定された前記利用者の嗜好に沿った特徴のキャラクターをメインキャラクターに含む映像動画を前記候補として提案する
    ことを特徴とする請求項11に記載のアニメーション作品を用いた記憶支援プログラム。
  13. コンピュータが実行する記憶支援方法であって、
    利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出工程と、
    前記抽出工程により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出工程により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成工程と、
    前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成工程により生成された辞書を更新する更新工程と、
    を含むことを特徴とするアニメーション作品を用いた記憶支援方法。
  14. 利用者の属性に応じた言語で発話された音声が所定言語で翻訳された字幕付きの映像動画のうち当該利用者が視聴中の所定映像動画の字幕のうち所定字幕が表示中に当該所定字幕から当該利用者が選択した単語と、当該所定字幕とを抽出する抽出部と、
    前記抽出部により抽出された単語を、映像動画ごとに設定された第1領域のうち前記所定映像動画に対応した第1領域に追加し、前記抽出部により抽出された所定字幕を、当該第1領域に対応して映像動画ごとに設定された第2領域であって当該第1領域に追加された単語の記憶を支援するための前記所定映像動画に対応した第2領域に追加することで、映像動画ごとに、前記利用者が選択した単語をまとめた辞書を生成する生成部と、
    前記第1領域への単語の追加時に、前記所定映像動画の字幕の中で前記所定字幕が表示される表示順が早いほど、当該単語が上位に表示されるように前記生成部により生成された辞書を更新する更新部と、
    を有することを特徴とするアニメーション作品を用いた記憶支援装置。
JP2022105121A 2022-06-14 2022-06-14 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置 Pending JP2023182491A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022105121A JP2023182491A (ja) 2022-06-14 2022-06-14 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022105121A JP2023182491A (ja) 2022-06-14 2022-06-14 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置

Publications (1)

Publication Number Publication Date
JP2023182491A true JP2023182491A (ja) 2023-12-26

Family

ID=89310147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022105121A Pending JP2023182491A (ja) 2022-06-14 2022-06-14 アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置

Country Status (1)

Country Link
JP (1) JP2023182491A (ja)

Similar Documents

Publication Publication Date Title
US10580319B2 (en) Interactive multimedia story creation application
Pérez-González et al. The Routledge handbook of audiovisual translation
US20220053243A1 (en) Event-driven streaming media interactivity
US10283013B2 (en) System and method for language learning through film
CA2923003C (en) A method and system for reading fluency training
JP7120637B2 (ja) 学習支援システム、学習支援システムの制御方法及び学習支援プログラム
CN107403011A (zh) 虚拟现实环境语言学习实现方法和自动录音控制方法
KR20190083532A (ko) 학습자가 선택한 동영상을 학습 콘텐츠로 활용하는 외국어 학습시스템 및 이의 학습 콘텐츠 생성방법
CN107037946B (zh) 提供绘图指导来引导用户的数字用户接口
KR20180042116A (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
JP2023182491A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
CN115963963A (zh) 互动小说生成方法、呈现方法、装置、设备及介质
Coupland et al. Styling syncretic bilingualism on Welsh-language TV: Madamrygbi
JP2024016496A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
KR102645880B1 (ko) 자기주도 영어 학습 콘텐츠 제공 방법 및 장치
JP2024031185A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
Specker L1/L2 Eye movement reading of closed captioning: A multimodal analysis of multimodal use
KR20220037696A (ko) 연관 정보 제공 방법 및 시스템
KR20170107799A (ko) 외국어 학습 방법
JP2024067572A (ja) アニメーション作品を用いた記憶支援プログラム、アニメーション作品を用いた記憶支援方法及びアニメーション作品を用いた記憶支援装置
KR101207918B1 (ko) 액션 이북 장치 및 그 운용방법
KR20200129505A (ko) 뇌과학 기반 학습 기억 방법 및 시스템 그리고 기록 매체
Schneider Development and validation of a concept for layered audio descriptions
JP7282444B1 (ja) プログラム、情報処理装置、情報処理システム、情報処理方法
Burczynska Investigating the multimodal construal and reception of irony in film translation-an experimental approach