JP2018041054A

JP2018041054A - Multi-media content using karaoke subtitles expression to be used for learning foreign language

Info

Publication number: JP2018041054A
Application number: JP2016192196A
Authority: JP
Inventors: 健彦大塚; Takehiko Otsuka
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-09-09
Filing date: 2016-09-09
Publication date: 2018-03-15

Abstract

PROBLEM TO BE SOLVED: To conform to situations in which it has been revealed by academic research of developmental psychology or the like that a method and means for appealing to visual/video stimuli, learning and acquiring a foreign language that is not used to be considered or concerned about in a conventional foreign language learning and teaching materials or the like that are suited to the same are required.SOLUTION: A multi-media content using karaoke subtitles expressions which can effectively appeal to visual/video stimuli is created. The current invention provides and distributes the content to many people through a variety of media, and more effective and reliable foreign language acquisition is facilitated by utilizing characteristics (interactivity) of the multi-media content.

Description

コンピューターなどの情報処理、マルチメディアコンテンツ作成装置の開発、作成技術。同じく、マルチメディアコンテンツの表示、再生装置の開発、作成技術。
マルチメディアコンテンツ作成のためのソフトウェア開発、作成技術。
カラオケ字幕作成装置、情報処理装置で作成するためのソフトウェア開発、作成技術。Information processing such as computers, development of multimedia content creation device, creation technology. Similarly, multimedia content display and playback device development and creation technology.
Software development and creation technology for multimedia content creation.
Software development and creation technology for creating karaoke subtitle creation equipment and information processing equipment.

マルチメディアコンテンツを提供、配信する各種、媒体、インフラ基盤設置などの開発、作成技術。
外国語学習のための教科書、参考書籍、練習書籍に費やされた膨大な学術研究と書籍、および、それらを安価に提供、配信するための販売経路の開発、作成技術。Development and creation technology for various media, infrastructure, and infrastructure installation and distribution of multimedia content.
Technology to develop and create a huge amount of academic research and books spent on textbooks, reference books, and practice books for learning foreign languages, and sales channels to provide and distribute them at low cost.

カラオケ装置、カラオケ字幕開発、作成技術関連の研究文献、ソフトウェア関連の開発、また仕様と実装に関連した開発、作成、研究文献、他、下記書籍。書籍名「発達障害のいま」著者名杉山登志郎出版社名株式会社講談社 Karaoke equipment, karaoke subtitle development, creation technology-related research literature, software-related development, development and creation related to specifications and implementation, research literature, etc. Name of Book “Current State of Developmental Disorders” Author Toshiro Sugiyama Publisher Name Kodansha Co., Ltd.

人間の学習においても、認知、情報理論における入力と出力のモデルを用いて、そのメカニズムを把握することができる（むしろ実際の人間の学習機能を抽象化、モデル化して学問などの対象として扱うことができたというべきであるが）。
さらに最近の発達心理学などの学問的究明により、人間の学習にかかわる、感覚、知覚機能において、聴覚言語優位型と視覚映像優位型というタイプ論が支持され始めている、それによると全ての人間は、どちらかのタイプに区分することができるが、両極性の原理にしたがい、極端な例（人間）の存在は、まれであり、どちらかのタイプにニ分されるとしても、どちらの機能も併せ持っているという理解も、また正しい。
だが、従来の学校生活、教育においても、このタイプ区分は、教師、また児童、生徒自身も、明確に意識、認識されてらず、聴覚言語優位型にのみ配慮した学習、学習指導がおこなわれ、また教材のみが提供されていたことが問題とされるようになっている。
それらは、じつは、学校での教育、学習にのみ限定されず、より重要ともいえる家庭においても、さらには児童、生徒健全な成長、発達においてもの同様との指摘があり、重要性、必要性を痛感させるものである。
そのような状況を鑑みて、今回の課題、外国語学習におけるカラオケ字幕利用によるマルチメディアコンテ提供というテーマにもどると、これは視覚映像優位型の人間（児童、生徒、学生、また独学をふくむ外国語学習者）に配慮したものである。
さらにいえば、わたくしたち人間にそなわった視覚映像優位型的側面に配慮したもので、両者を組み合わせた方式のほうが、どちらのタイプの人間にもより効果的で確実性が高いのである、
このような状況を知るのに好適な書籍に記載された報告、考察によると教師が聴覚言語優位型がより優勢な場合で、かつ上記のタイプ論を知らない場合、教師自身の学習体験に基づいた教育、学習指導になることは自然なことであるだろう。
典型的な事例を下記書籍から要約、引用、説明すると、教師が「教科書を何回も、読めばわかるようになる」という指導をしたとしても、視覚映像優位型で、聴覚言語におとる児童、生徒の場合は、「何回読んでもわからないままである」というのである。
（「発達障害のいま」、ｐ７２、講談社現代新書）In human learning, it is possible to grasp the mechanism by using input and output models in cognition and information theory (rather, the actual human learning function is abstracted and modeled and treated as an object of study etc. I should have been able to).
Furthermore, recent academic studies such as developmental psychology have begun to support the type theory of auditory language dominant type and visual image dominant type in the senses and perceptual functions related to human learning, according to which all human beings Can be divided into either type, but according to the principle of bipolarity, the existence of extreme cases (humans) is rare and even if divided into either type, both functions The understanding of having both is also correct.
However, even in conventional school life and education, this type classification is not clearly recognized and recognized by teachers, children, and students themselves, and learning and learning guidance that considers only the auditory language dominant type is performed, Another problem is that only teaching materials were provided.
In fact, they are not limited only to education and learning at school, but are also pointed out in families that can be said to be more important, as well as in children, students' healthy growth and development, and the importance and necessity It is painful.
Taking this situation into consideration, we return to the theme of this issue, the provision of multimedia storytelling using karaoke subtitles in foreign language learning. This is a visual-dominant human (children, students, students, and foreigners including self-study). Language learners).
Furthermore, we are concerned with the visual image-dominated aspect that we all have, and the combination of both is more effective and more reliable for both types of people.
Based on reports and discussions in books suitable for knowing such situations, if the teacher is more prevalent in auditory language and does not know the above type theory, it is based on the teacher's own learning experience. It would be natural to become an educated and learning teacher.
Summarizing, quoting, and explaining typical examples from the following books: Even if the teacher teaches that "you will be able to understand if you read the textbooks many times", it is a visual image-dominated type and a child who uses auditory language In the case of students, it is "I don't know how many times I read".
("Now of Developmental Disorders", p72, Kodansha Modern New Book)

読み取り、聞き取り等、主に聴覚刺激による認識、記憶機能に訴え、内容理解、習得を期待する従来の外国語学習において、カラオケ字幕表現を用いたマルチメディアコンテンツを作成して、視覚刺激に訴える教材等を作成する。
注：ここでいうカラオケ字幕表現とは、歌声、発音にあわせて文字色が変化していくこと（ワイプという）。また文字の強調表示、装飾を施すこと（エフェクトという）などを意味している。
付言すると、文字、文字のまとまりである単語、単語の集合、組合せによる文章というような単位により生成される形（文字の形）にカラオケ字幕表現を施し、視覚刺激に訴えまたマルチメディアコンテンツの特長のひとつであるインターアクティブ性をあわせもたせ、より効果的で確実な外国語習得をおこなえるようにするマルチメディアコンテンツを作成して、表示、再生、操作できるように、さまざまな媒体を経由して、さまざまな端末機器、装置上で提供、配信すること。
それにより視覚映像優位型の人、児童、生徒に、より学習、習得のしやすい教材を提供することができる。
このようなマルチメディアコンテンツは、一見、だれでも考え付きそうであるが、いままで、おこなわれなかったのは、上に書いたように、発達心理学の研究により、聴覚言語優位型と視覚映像優位型という学問的な区分が判明されていなかったこと、また、聴覚言語優位型の人には、必要性が少なく、考え付くことすら、できなかったことによる、また、視覚映像優位型の人も、自らの特長を意識できず、また、カラオケ字幕表現を用いて、語学学習をするという発想が困難、不可能に近かったことによる。
わたくしは、中学生時代から、洋楽を聴く趣味があり、同時にパソコン使用歴が４０年ちかくあり、カラオケ字幕を使用したマルチメディアコンテンツを作成するスキルがあったからである。パソコンで、カラオケ字幕動画をつくるのは、相当の労力が必要で、またかなり高度なパソコン操作の知識、技能が必要とされる（４つのソフトウェアを利用する。つまり、４つの工程があり、さらに洋楽の場合、相当数の曲数の歌を知っていて、その歌い方を体得して、歌手の歌、声、発音の個性を正確にわかっていて、はじめてできるものである）。
日本のインターネットのトラフィック量の１０％ちかくを占有していると推定されているニコニコ動画でも、カラオケ動画を定常的に作成しているユーザーは、７００人程度である（もちろん曲の著作権を侵害することはなく、あらかじめ、使用許諾を得ている曲にカラオケ字幕表現を適用して、動画を作成、投稿する）。
さらに英語のカラオケ動画を作成しているのは、５人で、さらに英語以外（フランス語、スペイン語）の言語を扱っているのは、わたし一人である。ＹｏｕＴｕｂｅでは、海外の視聴者から、”ＡｒｅｙｏｕｒｅａｌｌｙｆｒｏｍＪａｐａｎ？（「あなたは本当に日本人なのですか？」）”という文面のメッセージが何通も送られてくる。結論として、現実問題としては、だれでもが容易に作成できること（考え付く事柄）とはいえないのである。Teaching materials that appeal to visual stimuli by creating multimedia content using karaoke subtitles in conventional foreign language learning that expects reading, listening, etc., mainly recognition by auditory stimuli, memory function, content understanding and acquisition Create etc.
Note: The karaoke subtitle expression used here means that the character color changes according to the singing voice and pronunciation (called wipe). It also means emphasizing characters, decorating them (called effects), and so on.
In addition, karaoke subtitles are applied to forms (character forms) generated by units such as characters, words that are a group of characters, word sets, and sentences of combinations, and appeal to visual stimuli. In order to create multimedia content that can be interactivity, and to acquire a more effective and reliable acquisition of foreign languages, and to display, play, and operate it via various media, Provide and distribute on various terminal devices and devices.
As a result, it is possible to provide educational materials that are easier to learn and learn for people, children, and students who are dominant in visual images.
At first glance, this kind of multimedia content seems to be thought of by anyone, but what has not been done so far is, as I wrote above, based on research on developmental psychology, auditory language dominant type and visual image The scholarly division of dominant type was not found, and there was little need for auditory language dominant type people, and it was impossible even to come up with them. This is because he was unable to be aware of his own features, and his idea of learning languages using karaoke subtitles was difficult or impossible.
This is because I had a hobby of listening to Western music since I was in junior high school, at the same time I have used PC for 40 years, and I had the skill to create multimedia contents using karaoke subtitles. Creating a karaoke subtitle video on a computer requires considerable effort and requires a very advanced knowledge and skill of computer operation (uses 4 software, that is, 4 processes, In the case of Western music, it is only possible to know a considerable number of songs, know how to sing them, and know exactly the individuality of the singer's song, voice and pronunciation.)
Even with Nico Nico Douga, which is estimated to occupy 10% of the Internet traffic in Japan, there are about 700 users who regularly create karaoke videos (of course infringing the copyright of the song) And apply karaoke subtitles to songs that have been licensed in advance to create and post videos.)
In addition, five people are making karaoke videos in English, and I am the only one who handles languages other than English (French, Spanish). Youtube has sent several messages from overseas viewers saying "Are you really from Japan?" It can't be said that anyone can easily create it (what they can think of).

人間の学習においても、認知、情報理論における入力と出力のモデルを用いて、そのメカニズムを把握することができる（むしろ実際の人間の学習機能を抽象化、モデル化して学問などの対象として扱うことができたというべきであるが）。
さらに最近の発達心理学などの学問的究明により、人間の学習にかかわる、感覚、知覚機能において、聴覚言語優位型と視覚映像優位型というタイプ論が支持され始めている、それによると全ての人間は、どちらかのタイプに区分することができるが、両極性の原理にしたがい、極端な例（人間）の存在は、まれであり（ぞの割合は正規分布を当てはめ、推定することも可能だろう、どちらかのタイプに二分されるとしても、どちらの機能も併せ持っているという理解も、また正しい。
だが、従来の学校生活、教育においても、このタイプ区分は、教師、また児童、生徒自身も、明確に意識、認識されておらず、聴覚言語優位型にのみ配慮した学習、学習指導がおこなわれ、また教材のみが提供されていたことが問題とされるようになっている。
それらは、じつは、学校での教育、学習にのみ限定されず、より重要ともいえる家庭においても、さらには児童、生徒の健全な成長、発達においても、様々な生活知識、良好な人間関係の育成にも、その学習方法が利用できるもので、その重要性、必要性のみならず、実施の緊急性も痛感させられるのである。
そのような状況を鑑みて、今回の課題、外国語学習におけるカラオケ字幕利用によるマルチメディアコンテ提供というテーマにもどると、これは視覚映像優位型の人間（児童、生徒、学生、また独学をふくむ外国語学習者）に配慮したものである。
さらにいえば、わたくしたち人間にそなわった視覚映像優的側面に配慮したもので、両者を組み合わせた方式のほうが、どちらのタイプの人間にもより効果的で確実性が高いのである。
このような状況を知るのに好適な書籍に記載された報告、考察によると教師が聴覚言語優位型がより優勢な場合で、かつ上記のタイプ論を知らない場合、教師自身の学習体験に基づいた教育、学習指導になることは自然なことであるだろう。
典型的な事例を非特許文献に記した書籍から要約、引用、説明すると、教師が「教科書を何回も、読めばわかるようになる」という指導をしたとしても、視覚映像優位型で、聴覚言語におとる、苦手な児童、生徒の場合は、「何回読んでもわからないままである」というのである。
（「発達障害のいま」、ｐ７２〜７３）In human learning, it is possible to grasp the mechanism by using input and output models in cognition and information theory (rather, the actual human learning function is abstracted and modeled and treated as an object of study etc. I should have been able to).
Furthermore, recent academic studies such as developmental psychology have begun to support the type theory of auditory language dominant type and visual image dominant type in the senses and perceptual functions related to human learning, according to which all human beings , Can be divided into either type, but according to the principle of bipolarity, the existence of extreme cases (humans) is rare (the proportion of each may be estimated by fitting a normal distribution) Even if it is divided into either type, the understanding that both functions are combined is also correct.
However, even in conventional school life and education, this type classification is not clearly conscious and recognized by teachers, children, and students themselves, and learning and learning guidance are performed with consideration given only to the auditory language dominant type. In addition, the problem is that only teaching materials were provided.
In fact, they are not limited only to education and learning at school, but also at home, which can be said to be more important, as well as the healthy growth and development of children and students. Moreover, the learning method can be used, and not only its importance and necessity but also the urgency of implementation can be felt.
Taking this situation into consideration, we return to the theme of this issue, the provision of multimedia storytelling using karaoke subtitles in foreign language learning. This is a visual-dominant human (children, students, students, and foreigners including self-study). Language learners).
Furthermore, we consider the superior aspect of visual image that we are humans, and the combination of both methods is more effective and more reliable for both types of humans.
Based on reports and discussions in books suitable for knowing such situations, if the teacher is more prevalent in auditory language and does not know the above type theory, it is based on the teacher's own learning experience. It would be natural to become an educated and learning teacher.
Summarizing, quoting, and explaining typical cases from books listed in non-patent literature, even if the teacher teaches that "you will be able to understand if you read the textbook many times" In the case of students and students who are not good at speaking in a language, they say, “I don't know how many times I read”.
("Now of developmental disabilities", p72-73)

読み取り、作文、聞き取り等、主に聴覚・言語刺激による認識、記憶機能に訴え、内容理解、習得を期待する従来の外国語学習において、カラオケ字幕表現を用いたマルチメディアコンテンツを作成して、視覚・映像刺激に訴える教材等を作成する。
注：ここでいうカラオケ字幕表現とは、歌声、発音にあわせて文字色が変化していくこと（ワイプという）。また文字の強調表示、装飾を施すこと（エフェクトという）などを意味している。
付言すると、文字、文字のまとまりである単語、単語の集合、組合せによる文章というような単位により生成される形（文字の形）にカラオケ字幕表現を施し、視覚・映像刺激に訴えまたマルチメディアコンテンツの特長のひとつであるインターアクティブ性をあわせもたせ、より効果的で確実な外国語習得をおこなえるようにするマルチメディアコンテンツを作成して、表示、再生、操作できるように、さまざまな媒体を経由して、さまざまな端末機器、装置上で提供、配信する。
それにより視覚映像優位型の人、児童、生徒に、より学習、習得のしやすい教材を提供することができる。
このようなマルチメディアコンテンツは、一見、だれでも考え付きそうであるが、いままで、おこなわれなかったのは、上に書いたように、発達心理学の研究により、聴覚言語優位型と視覚映像優位型という認知機能の区分が判明されていなかったこと、また、聴覚言語優位型の人には、必要性が少なく、考え付くことすら、できなかったことによる、また、視覚映像優位型の人も、自らの特長を意識できず、また、カラオケ字幕表現を用いて、語学学習をするという発想が困難、不可能に近かっただろう。
わたくしは、中学生時代から、洋楽を聴く趣味があり、同時にパソコン使用歴が４０年ちかくあり、カラオケ字幕を使用したマルチメディアコンテンツを作成するスキルがあり、上のようなカラオケ字幕コンテンツを作成できたのである。パソコンで、カラオケ字幕動画をつくるのは、相当の労力が必要で、またかなり高度なパソコン操作の知識、技能が必要とされる（４つのソフトウェアを利用する。つまり、４つの工程があり、さらに洋楽の場合、相当数の曲数の歌を知っていて、その歌い方を体得して、歌手の歌、声、発音の個性を正確にわかっていて、はじめてできるものである）。
日本のインターネットのトラフィック量の１０％ちかくを占有していると推定されているニコニコ動画でも、カラオケ動画を定常的に作成しているユーザーは、７００人程度である（もちろん曲の著作権を侵害することはなく、あらかじめ、使用許諾を得ている曲にカラオケ字幕表現を適用して、動画を作成、投稿する）。
さらに英語のカラオケ動画を作成しているのは、５人で、さらに英語以外（フランス語、スペイン語）の言語を扱っているのは、わたし一人である。ＹｏｕＴｕｂｅでは、海外の視聴者から、”ＡｒｅｙｏｕｒｅａｌｌｙｆｒｏｍＪａｐａｎ？（「あなたは本当に日本人なのですか？」）”という文面のメッセージが何通も送られてくる。結論として、現実問題としては、だれでもが容易に作成できること（考え付く事柄）とはいえないのである。In conventional foreign language learning that expects reading, writing, listening, etc., mainly recognition by auditory / linguistic stimulation, memory function, content understanding and acquisition, multimedia contents using karaoke subtitle expression are created and visually・ Create teaching materials that appeal to video stimulation.
Note: The karaoke subtitle expression used here means that the character color changes according to the singing voice and pronunciation (called wipe). It also means emphasizing characters, decorating them (called effects), and so on.
In addition, karaoke subtitle expression is applied to forms (character forms) generated by units such as characters, words that are a group of characters, word collections, and sentences of combinations, and multimedia contents are appealing to visual and visual stimuli. Through the use of various media, you can create, display, play, and operate multimedia contents that combine the interactivity, which is one of the features of, to create a more effective and reliable learning of foreign languages. Provided and distributed on various terminal devices and devices.
As a result, it is possible to provide educational materials that are easier to learn and learn for people, children, and students who are dominant in visual images.
At first glance, this kind of multimedia content seems to be thought of by anyone, but what has not been done so far is, as I wrote above, based on research on developmental psychology, auditory language dominant type and visual image The classification of the cognitive function of the dominant type was not found, and the auditory language dominant type was less necessary and could not even come up with it. They couldn't be aware of their own features, and the idea of learning language using karaoke subtitles would be difficult or impossible.
Since I was a junior high school student, I have a hobby of listening to Western music, and at the same time I have been using PC for 40 years. It is. Creating a karaoke subtitle video on a computer requires considerable effort and requires a very advanced knowledge and skill of computer operation (uses 4 software, that is, 4 processes, In the case of Western music, it is only possible to know a considerable number of songs, know how to sing them, and know exactly the individuality of the singer's song, voice and pronunciation.)
Even with Nico Nico Douga, which is estimated to occupy 10% of the Internet traffic in Japan, there are about 700 users who regularly create karaoke videos (of course infringing the copyright of the song) And apply karaoke subtitles to songs that have been licensed in advance to create and post videos.)
In addition, five people are making karaoke videos in English, and I am the only one who handles languages other than English (French, Spanish). Youtube has sent several messages from overseas viewers saying "Are you really from Japan?" It can't be said that anyone can easily create it (what they can think of).

Claims

To create multimedia content using karaoke subtitles in foreign language learning.

Provide and distribute to learners via various terminals and devices via various media so that the multimedia content created in this way can be displayed, played back and operated.