JP2020043454A - Video content generation method and generation program - Google Patents

Video content generation method and generation program Download PDF

Info

Publication number
JP2020043454A
JP2020043454A JP2018168950A JP2018168950A JP2020043454A JP 2020043454 A JP2020043454 A JP 2020043454A JP 2018168950 A JP2018168950 A JP 2018168950A JP 2018168950 A JP2018168950 A JP 2018168950A JP 2020043454 A JP2020043454 A JP 2020043454A
Authority
JP
Japan
Prior art keywords
information
content
video
moving image
image content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018168950A
Other languages
Japanese (ja)
Other versions
JP7121988B2 (en
Inventor
幸太 武下
Kota Takeshita
幸太 武下
俊兵 名波
Shumpei Nawa
俊兵 名波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crossfader Inc
Original Assignee
Crossfader Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crossfader Inc filed Critical Crossfader Inc
Priority to JP2018168950A priority Critical patent/JP7121988B2/en
Publication of JP2020043454A publication Critical patent/JP2020043454A/en
Application granted granted Critical
Publication of JP7121988B2 publication Critical patent/JP7121988B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

To provide a video content generation method and a generation program which allow any one to generate a video content of good looking easily.SOLUTION: A video content generation method includes an extraction start point determination step S3 of determining N extraction start points on the basis of the speech information of a first material content, a split video extraction step S4 of extracting N split video information having the N extraction start points, respectively, as start points from the video information of the first material content, and a content synthesis step S6 of synthesizing music information and split video information on the basis of synthesis information corresponding to the second material content. The synthesis information contains multiple video changeover points synchronized with a beat represented by the music information, and the multiple video changeover points belong, respectively, to any one of the multiple video changeover points. In the content synthesis step S6, the multiple video changeover points belong to the same group are the start points of N split video information, respectively.SELECTED DRAWING: Figure 2

Description

本発明は、映像情報と音声情報とを含む第1素材コンテンツから新たな動画コンテンツを生成する方法およびプログラムに関し、特に、ユーザ自身が作成した第1素材コンテンツとプリセットされた第2素材コンテンツとを合成することにより新たな動画コンテンツを生成する方法およびプログラムに関する。   The present invention relates to a method and a program for generating a new moving image content from a first material content including video information and audio information, and more particularly, to a method of combining a first material content created by a user himself and a preset second material content. The present invention relates to a method and a program for generating new moving image content by combining.

近年のスマートフォンの普及に伴い、高価な機材を用意しなくても、簡単に動画を撮影することが可能となってきている。また、高速な通信環境が整備されたことにより、近年では、スマートフォンで撮影した動画を一般に公開することも容易である。   With the spread of smart phones in recent years, it has become possible to easily shoot moving images without preparing expensive equipment. In addition, with the development of a high-speed communication environment, in recent years, it is also easy to make a moving image taken by a smartphone public.

このような状況を活かしたスマートフォン向けアプリケーションソフトウェアとして、「TikTok(登録商標)」が知られている。TikTokのユーザは、以下の手順により、オリジナルな動画を生成して一般に公開することができる(例えば、非特許文献1,2参照)。
(1)プリセットされた複数の音楽からBGMとする音楽を選択する。
(2)選択したBGMに合うような動画を撮影する。
(3)撮影した動画をアップロードする。
また、ユーザは、撮影した動画をアップロードする前に、フィルターまたはタイム効果と呼ばれる複数の特殊効果の中から選択した1以上の特殊効果を施すことにより、撮影した動画を装飾することもできる。
“TikTok (registered trademark)” is known as application software for smartphones taking advantage of such a situation. The user of TikTok can generate an original moving image and make it public to the public by the following procedure (for example, see Non-Patent Documents 1 and 2).
(1) Select music to be BGM from a plurality of preset music.
(2) Shoot a moving image suitable for the selected BGM.
(3) Upload the shot video.
Further, the user can decorate the captured moving image by applying one or more special effects selected from a plurality of special effects called filters or time effects before uploading the captured moving image.

"Tik Tok (アプリ)"、[online]、ウィキペディア フリー百科事典、[平成30年9月3日検索]、インターネット〈URL:https://ja.wikipedia.org/wiki/Tik_Tok_(%E3%82%A2%E3%83%97%E3%83%AA)〉"Tik Tok (app)", [online], Wikipedia free encyclopedia, [searched September 3, 2018], Internet <URL: https://en.wikipedia.org/wiki/Tik_Tok_(%E3%82 (% A2% E3% 83% 97% E3% 83% AA)) "無料の動画作成アプリ『Tik Tok』の基本的な使い方-曲の挿入・動画の保存方法など紹介!"、[online]、平成30年4月18日、ドハック、[平成30年9月3日検索]、インターネット〈URL:https://dohack.jp/video/tik-tok〉"Basic usage of free movie creation application" Tik Tok "-Introduction to how to insert songs and save videos!", [Online], April 18, 2018, Dohak, [September 3, 2018 Day search], Internet <URL: https://dohack.jp/video/tik-tok>

上記アプリケーションソフトウェアを用いた動画の生成では、BGMに合うような動画を撮影したり、撮影した動画に特殊効果を施したりする際に、ユーザの美的センスが求められる。このため、上記アプリケーションソフトウェアは、自分自身の美的センスに自信のない者にとっては非常にとっつきづらいものとなっていた。   In the generation of a moving image using the application software, a user's aesthetic sense is required when shooting a moving image suitable for BGM or when applying a special effect to the shot moving image. For this reason, the above-mentioned application software is very difficult for those who are not confident in their own aesthetic sense.

本発明は、上記事情に鑑みてなされたものであって、誰もが簡単に見栄えのよい動画コンテンツを生成することができる動画コンテンツ生成方法および生成プログラムを提供することを課題とする。   The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a moving image content generation method and a generation program that allow anyone to easily generate good-looking moving image content.

上記課題を解決するために、本発明に係る動画コンテンツ生成方法は、映像情報と音声情報とを含む第1素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法であって、
記憶装置から前記第1素材コンテンツを読み込む第1読込工程と、読み込まれた前記第1素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、分離された前記音声情報に基づいて、N個(ただし、Nは2以上の整数)の抽出開始点を決定する抽出開始点決定工程と、分離された前記映像情報から、N個の前記抽出開始点のそれぞれを始点としたN個の分割映像情報を抽出する分割映像抽出工程と、前記記憶装置から音楽情報である第2素材コンテンツと該第2素材コンテンツに対応する合成情報とを読み込む第2読込工程と、前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程とを備え、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、前記複数の映像切替点は、N個のグループのいずれかに属しており、前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれをN個のうちのいずれかの前記分割映像情報の始点とする、との構成を有している。
In order to solve the above problem, a moving image content generation method according to the present invention is a moving image content generation method for generating a moving image content from a first material content including video information and audio information,
A first reading step of reading the first material content from a storage device, a content separating step of separating the read first material content into the video information and the audio information, and based on the separated audio information. , N (where N is an integer equal to or greater than 2) extraction start point determination step, and N extraction start points starting from each of the N extraction start points are obtained from the separated video information. A second image content, which is music information, and a composite information corresponding to the second material content from the storage device; and And synthesizing the music information and the divided video information to generate the moving image content.
The composition information includes a plurality of video switching points synchronized with a beat represented by the music information, and the plurality of video switching points belong to any of N groups. Are set as the start points of any of the N pieces of the divided video information.

上記動画コンテンツ生成方法は、前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位N個の時間を前記抽出開始点とする、との構成を有していてもよい。   The moving image content generation method has a configuration in which, in the extraction start point determining step, the upper N times of a plurality of sound volume peak points included in the separated audio information are set as the extraction start point. It may be.

上記動画コンテンツ生成方法は、前記第1素材コンテンツおよび前記第2素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに備え、前記第1読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第1素材コンテンツのうちの1つを読み込み、前記第2読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第2素材コンテンツのうちの1つと該1つに対応する前記合成情報とを読み込む、との構成を有していてもよい。   The moving image content generation method further includes a command receiving step of receiving a command regarding selection of the first material content and the second material content, and in the first reading step, the command is stored in advance in the storage device based on the command. Reading one of the plurality of first material contents, and in the second reading step, reading one of the plurality of second material contents stored in advance in the storage device based on the command. And reading the combined information corresponding to the one.

なお、前記合成情報は、MIDI形式で記述することができる。この場合は、前記N個のグループを音階で表現することができる。   Note that the synthesis information can be described in a MIDI format. In this case, the N groups can be represented by musical scales.

また、上記課題を解決するために、本発明に係る動画コンテンツ生成プログラムは、映像情報と音声情報とを含む第1素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法を情報処理装置に実行させる動画コンテンツ生成プログラムであって、
前記情報処理装置に、記憶装置から前記第1素材コンテンツを読み込む第1読込工程と、読み込まれた前記第1素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、分離された前記音声情報に基づいて、N個(ただし、Nは2以上の整数)の抽出開始点を決定する抽出開始点決定工程と、分離された前記映像情報から、N個の前記抽出開始点のそれぞれを始点としたN個の分割映像情報を抽出する分割映像抽出工程と、前記記憶装置から音楽情報である第2素材コンテンツと該第2素材コンテンツに対応する合成情報とを読み込む第2読込工程と、前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程とを実行させ、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、前記複数の映像切替点は、N個のグループのいずれかに属しており、前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれがN個のうちのいずれかの前記分割映像情報の始点とされる、との構成を有していてもよい。
According to another aspect of the present invention, there is provided a moving image content generation program for causing an information processing apparatus to execute a moving image content generation method for generating a moving image content from a first material content including video information and audio information. A content generation program,
A first reading step of reading the first material content from a storage device into the information processing apparatus; a content separating step of separating the read first material content into the video information and the audio information; An extraction start point determination step of determining N (where N is an integer of 2 or more) extraction start points based on the audio information; and N extraction start points from the separated video information. A divided video extracting step of extracting N pieces of divided video information starting from a second source content, and a second reading step of reading a second material content, which is music information, and synthesis information corresponding to the second material content from the storage device. By synthesizing the music information and the divided video information based on the synthesizing information, to execute a content synthesizing step of generating the moving image content,
The composition information includes a plurality of video switching points synchronized with a beat represented by the music information, and the plurality of video switching points belong to any of N groups. , Each of which is a start point of any of the N pieces of the divided video information.

上記動画コンテンツ生成プログラムは、前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位N個に対応する時間が前記抽出開始点とされる、との構成を有していてもよい。   In the moving image content generation program, in the extraction start point determining step, a time corresponding to the top N among a plurality of volume peak points included in the separated audio information is set as the extraction start point. It may have a configuration.

上記動画コンテンツ生成プログラムは、前記情報処理装置に、前記第1素材コンテンツおよび前記第2素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに実行させ、前記第1読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第1素材コンテンツのうちの1つが読み込まれ、前記第2読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第2素材コンテンツのうちの1つと該1つに対応する前記合成情報とが読み込まれる、との構成を有していてもよい。   The moving image content generation program causes the information processing apparatus to further execute a command receiving step of receiving a command regarding selection of the first material content and the second material content, and in the first reading step, based on the command. One of the plurality of first material contents stored in advance in the storage device is read, and in the second reading step, the plurality of second material contents stored in advance in the storage device based on the command are read. One of the material contents and the synthesis information corresponding to the one may be read.

なお、前記合成情報は、MIDI形式で記述することができる。この場合は、前記N個のグループを音階で表現することができる。   Note that the synthesis information can be described in a MIDI format. In this case, the N groups can be represented by musical scales.

本発明によれば、誰もが簡単に見栄えのよい動画コンテンツを生成することができる動画コンテンツ生成方法および生成プログラムを提供することができる。   Advantageous Effects of Invention According to the present invention, it is possible to provide a moving image content generation method and a generation program that allow anyone to easily generate good-looking moving image content.

本発明の実施例に係る動画コンテンツ生成プログラムを実行している最中のスマートフォンの概略的な構成を示すブロック図である。FIG. 3 is a block diagram illustrating a schematic configuration of a smartphone during execution of a moving image content generation program according to an embodiment of the present invention. 本発明の実施例に係る動画コンテンツ生成方法のフロー図である。FIG. 4 is a flowchart of a moving image content generation method according to an embodiment of the present invention. 図2に示すコンテンツ分離工程を説明するための図である。FIG. 3 is a diagram for explaining a content separation step shown in FIG. 2. 図2に示す抽出開始点決定工程を説明するための図である。FIG. 3 is a diagram for explaining an extraction start point determination step shown in FIG. 2. 図2に示す分割映像抽出工程を説明するための図である。FIG. 3 is a diagram for explaining a divided video extracting step shown in FIG. 2. 図2に示す第2読込工程において読み込まれる音楽情報および合成情報の構成を示す図である。FIG. 3 is a diagram illustrating a configuration of music information and composite information read in a second reading step illustrated in FIG. 2. 図2に示すコンテンツ合成工程の前半部分を説明するための図である。FIG. 3 is a diagram for explaining the first half of the content synthesizing step shown in FIG. 2. 図2に示すコンテンツ合成工程の後半部分を説明するための図である。FIG. 3 is a diagram for explaining the latter half of the content synthesizing step shown in FIG. 2. 本発明の変形例1に係る動画コンテンツ生成方法のフロー図である。FIG. 9 is a flowchart of a moving image content generation method according to a first modification of the present invention. 本発明の変形例2に係る動画コンテンツ生成プログラムを実行している最中のスマートフォンの概略的な構成を示すブロック図である。FIG. 13 is a block diagram illustrating a schematic configuration of a smartphone during execution of a moving image content generation program according to Modification 2 of the present invention. 本発明の変形例2に係る動画コンテンツ生成方法のフロー図である。FIG. 9 is a flowchart of a moving image content generation method according to Modification 2 of the present invention. 本発明の変形例2に係る動画コンテンツ生成方法の別のフロー図である。FIG. 14 is another flowchart of the moving image content generation method according to Modification 2 of the present invention. 本発明の変形例3に係る動画コンテンツ生成プログラムを実行している最中のスマートフォンの概略的な構成を示すブロック図である。FIG. 14 is a block diagram illustrating a schematic configuration of a smartphone during execution of a moving image content generation program according to Modification 3 of the present invention. 本発明の変形例3に係る動画コンテンツ生成方法の第2読込工程において読み込まれる音楽情報、合成情報および特殊効果情報の構成を示す図である。FIG. 14 is a diagram showing a configuration of music information, synthesis information, and special effect information read in a second reading step of the moving image content generation method according to Modification 3 of the present invention.

以下、添付図面を参照しながら、本発明に係る動画コンテンツ生成方法および生成プログラムの一実施例について説明する。   Hereinafter, an embodiment of a moving image content generation method and a generation program according to the present invention will be described with reference to the accompanying drawings.

[実施例]
図1に、スマートフォン10の概略的な構成を示す。同図に示すように、スマートフォン10は、MPU(Micro Processor Unit)からなる情報処理装置11と、メモリからなる記憶装置12と、カメラ13と、マイク14と、タッチパネルディスプレイ15と、スピーカー16とを備えている。
[Example]
FIG. 1 shows a schematic configuration of the smartphone 10. As shown in FIG. 1, the smartphone 10 includes an information processing device 11 including an MPU (Micro Processor Unit), a storage device 12 including a memory, a camera 13, a microphone 14, a touch panel display 15, and a speaker 16. Have.

情報処理装置11は、第1素材コンテンツ生成部20と動画コンテンツ生成部21とを有している。このうち、第1素材コンテンツ生成部20は、標準的に備えられた動画撮影プログラムがユーザによって実行されたときに情報処理装置11内に形成される機能ブロックである。一方、動画コンテンツ生成部21は、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行されたときに情報処理装置11内に形成される機能ブロックである。   The information processing device 11 includes a first material content generation unit 20 and a moving image content generation unit 21. Among them, the first material content generation unit 20 is a functional block formed in the information processing apparatus 11 when a standardly provided moving image shooting program is executed by a user. On the other hand, the moving image content generation unit 21 is a functional block formed in the information processing device 11 when the moving image content generation program according to the present embodiment is executed by a user.

第1素材コンテンツ生成部20は、カメラ13が出力する映像信号とマイクが出力する音声信号とに基づいて、映像情報と音声情報とを含む第1素材コンテンツ(動画ファイル)を生成し、これを記憶装置12に記憶させる。   The first material content generation unit 20 generates first material content (moving image file) including video information and audio information based on the video signal output from the camera 13 and the audio signal output from the microphone. It is stored in the storage device 12.

記憶装置12は、第1素材コンテンツに加え、音楽情報である第2素材コンテンツ、およびこれに対応する合成情報をさらに記憶している。第2素材コンテンツおよび合成情報は、予め記憶されていてもよいし、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行されたときに記憶されてもよい。第2素材コンテンツおよび合成情報については、後で詳しく説明する。   The storage device 12 further stores, in addition to the first material content, a second material content, which is music information, and synthetic information corresponding thereto. The second material content and the synthesis information may be stored in advance, or may be stored when the moving image content generation program according to the present embodiment is executed by the user. The second material content and the combined information will be described later in detail.

なお、本実施例では、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行された時に、各1つの第1素材コンテンツ、第2素材コンテンツおよび合成情報が記憶装置12に既に記憶されているものとする。   In the present embodiment, when the moving image content generation program according to the present embodiment is executed by the user, each of the first material content, the second material content, and the combination information are already stored in the storage device 12. And

動画コンテンツ生成部21は、前述した通り、本実施例に係る動画コンテンツ生成プログラムがユーザによって実行されたときに形成される。動画コンテンツ生成部21は、本実施例に係る動画コンテンツ生成方法を実行することにより、記憶装置12に記憶された第1素材コンテンツおよび第2素材コンテンツを合成情報に基づいて合成し、新たな動画コンテンツを生成する。言い換えると、本実施例に係る動画コンテンツ生成プログラムは、情報処理装置11に本実施例に係る動画コンテンツ生成方法を実行させることにより、新たな動画コンテンツを生成する。   As described above, the moving image content generation unit 21 is formed when the user executes the moving image content generation program according to the present embodiment. The moving image content generation unit 21 combines the first material content and the second material content stored in the storage device 12 based on the synthesis information by executing the moving image content generation method according to the present embodiment, and generates a new moving image. Generate content. In other words, the moving image content generation program according to the present embodiment generates new moving image content by causing the information processing apparatus 11 to execute the moving image content generation method according to the embodiment.

動画コンテンツ生成部21は、生成した動画コンテンツをタッチパネルディスプレイ15およびスピーカー16を介して再生することができる。この他、動画コンテンツ生成部21は、生成した動画コンテンツを不図示の通信部を介してアップロードしたり、記憶装置12に記憶させたりすることもできる。   The moving image content generation unit 21 can reproduce the generated moving image content via the touch panel display 15 and the speaker 16. In addition, the moving image content generation unit 21 can upload the generated moving image content via a communication unit (not shown) or store the generated moving image content in the storage device 12.

続いて、図2を参照しながら、本実施例に係る動画コンテンツ生成方法(すなわち、動画コンテンツ生成部21の動作)について説明する。   Subsequently, the moving image content generation method according to the present embodiment (that is, the operation of the moving image content generation unit 21) will be described with reference to FIG.

第1読込工程S1において、動画コンテンツ生成部21は、記憶装置12から第1素材コンテンツを読み込む。前述した通り、第1素材コンテンツは、ユーザ自身が撮影した動画に関するファイルであり、映像情報と音声情報とを含んでいる。   In the first reading step S1, the moving image content generation unit 21 reads the first material content from the storage device 12. As described above, the first material content is a file related to a moving image shot by the user himself, and includes video information and audio information.

工程S1の次に実行されるコンテンツ分離工程S2において、動画コンテンツ生成部21は、工程S1で読み込まれた第1素材コンテンツを映像情報と音声情報とに分離する(図3参照)。   In the content separation step S2 executed after the step S1, the moving image content generation unit 21 separates the first material content read in the step S1 into video information and audio information (see FIG. 3).

工程S2の次に実行される抽出開始点決定工程S3において、動画コンテンツ生成部21は、工程S2で分離された音声情報を解析して当該音声情報に含まれる音量ピーク点のうちの上位N個(ただし、Nは2以上の整数。本実施例では、N=7)を特定するとともに、これらに対応する時間を抽出開始点とする。図4に示すように、本実施例では、音量ピーク点P1,P2,・・・,P6,P7に対応する時間t1,t2,・・・,t6,t7が抽出開始点となる。   In the extraction start point determination step S3 executed after the step S2, the moving image content generation unit 21 analyzes the audio information separated in the step S2, and analyzes the top N sound volume peak points among the sound volume peak points included in the audio information. (However, N is an integer of 2 or more; in this embodiment, N = 7), and the time corresponding to these is set as the extraction start point. As shown in FIG. 4, in the present embodiment, the time points t1, t2,..., T6, and t7 corresponding to the sound volume peak points P1, P2,.

工程3の次に実行される分割映像抽出工程S4において、動画コンテンツ生成部21は、工程S2で分離された映像情報から、工程S3で決定された7個の抽出開始点t1,t2,・・・,t6,t7のそれぞれを始点とした7個の分割映像情報V1,V2,・・・,V6,V7を抽出する(図5参照)。より詳しくは、動画コンテンツ生成部21は、抽出開始点t1−t2間の情報を分割映像情報V1として抽出し、抽出開始点t2−t3間の情報を分割映像情報V2として抽出し、・・・、抽出開始点t6−t7間の情報を分割映像情報V6として抽出し、抽出開始点t7と当該映像情報の終端との間の情報を分割映像情報V7として抽出する。   In the divided video extraction step S4 executed after the step 3, the moving image content generation unit 21 extracts seven extraction start points t1, t2,... Determined in the step S3 from the video information separated in the step S2. ., V6,..., V6, and V7 starting from each of t, t6, and t7 (see FIG. 5). More specifically, the moving image content generation unit 21 extracts information between the extraction start points t1 and t2 as divided video information V1, extracts information between the extraction start points t2 and t3 as divided video information V2, and so on. The information between the extraction start points t6 and t7 is extracted as the divided video information V6, and the information between the extraction start point t7 and the end of the video information is extracted as the divided video information V7.

工程S4の次に実行される第2読込工程S5において、動画コンテンツ生成部21は、記憶装置12から第2素材コンテンツおよびこれに対応する合成情報を読み込む。   In a second reading step S5 executed after the step S4, the moving image content generation unit 21 reads the second material content and the corresponding composite information from the storage device 12.

図6(A)に、読み込まれた第2素材コンテンツに含まれる音楽情報を示す。また、図6(B)に、読み込まれた合成情報を示す。これらの図から明らかなように、合成情報は、音楽情報が表すビートに同期した複数の映像切替点SW1,SW2,・・・,SW15,SW16を含んでいる。そして、複数の映像切替点SW1,SW2,・・・,SW15,SW16は、7個のグループC3,D3,E3,F3,G3,A3,B3のいずれかに属している。例えば、映像切替点SW1,SW14はグループC3に属し、映像切替点SW10,SW11,SW12,SW13はグループF3に属している。   FIG. 6A shows music information included in the read second material content. FIG. 6B shows the read synthesis information. As is apparent from these figures, the synthesis information includes a plurality of video switching points SW1, SW2,..., SW15, SW16 synchronized with the beat represented by the music information. The plurality of video switching points SW1, SW2,..., SW15, and SW16 belong to one of the seven groups C3, D3, E3, F3, G3, A3, and B3. For example, the video switching points SW1 and SW14 belong to the group C3, and the video switching points SW10, SW11, SW12, and SW13 belong to the group F3.

合成情報は、MIDI(Musical Instrument Digital Interface)形式で記述されている。MIDI形式を利用することにより、7個のグループC3,D3,E3,F3,G3,A3,B3のいずれかに属する複数の映像切替点の時間的な位置を容易に記述することができる。なお、C3、D3、E3、F3、G3、A3およびB3は、それぞれ、第3オクターブの音階「ド」、「レ」、「ミ」、「ファ」、「ソ」、「ラ」および「シ」を意味する。   The synthesis information is described in MIDI (Musical Instrument Digital Interface) format. By using the MIDI format, the temporal position of a plurality of video switching points belonging to any of the seven groups C3, D3, E3, F3, G3, A3, and B3 can be easily described. Note that C3, D3, E3, F3, G3, A3, and B3 are the scales of the third octave, "do," "le," "mi," "fa," "so," "la," and "sh," respectively. Means.

工程S5の次に実行されるコンテンツ合成工程S6において、動画コンテンツ生成部21は、合成情報に含まれる映像切替点SW1,SW2,・・・,SW15,SW16に基づいて、工程S4で抽出された7個の分割映像情報V1,V2,・・・,V6,V7と第2素材コンテンツに含まれる音楽情報とを合成する。   In the content synthesizing step S6 executed after the step S5, the moving image content generation unit 21 extracts the video switching points SW1, SW2,..., SW15, and SW16 included in the synthesis information in the step S4. .., V6, V7 and the music information included in the second material content.

より具体的には、動画コンテンツ生成部21は、まず、7個の分割映像情報V1,V2,・・・,V6,V7と7個のグループC3,D3,E3,F3,G3,A3,B3とを対応付ける。本実施例では、この対応付けをランダムに行い、その結果、グループC3と分割映像情報V1、グループD3と分割映像情報V3、グループE3と分割映像情報V5、グループF3と分割映像情報V6、グループG3と分割映像情報V2、グループA3と分割映像情報V4、およびグループB3と分割映像情報V7が対応付けられたものとする(図7参照)。   More specifically, the moving image content generation unit 21 first determines the seven divided video information V1, V2,..., V6, V7 and the seven groups C3, D3, E3, F3, G3, A3, B3. Is associated with In this embodiment, this association is performed at random, and as a result, as a result, the group C3 and the divided video information V1, the group D3 and the divided video information V3, the group E3 and the divided video information V5, the group F3 and the divided video information V6, and the group G3 And the divided video information V2, the group A3 and the divided video information V4, and the group B3 and the divided video information V7 are associated with each other (see FIG. 7).

続いて、動画コンテンツ生成部21は、グループC3に属する映像切替点SW1,SW14が分割映像情報V1の開始点となり、グループD3に属する映像切替点SW6が分割映像情報V3の開始点となり、グループE3に属する映像切替点SW5が分割映像情報V5の開始点となり、グループF3に属する映像切替点SW10,SW11,SW12,SW13が分割映像情報V6の開始点となり、グループG3に属する映像切替点SW15が分割映像情報V2の開始点となり、グループA3に属する映像切替点SW2,SW4,SW7,SW9,SW16が分割映像情報V4の開始点となり、グループB3に属する映像切替点SW3,SW8が分割映像情報V7の開始点となるように分割映像情報V1,V2,・・・,V6,V7を繋ぎ合わせ、繋ぎ合わせたものと音声情報とを合成する(図8参照)。   Subsequently, the moving image content generation unit 21 determines that the video switching points SW1 and SW14 belonging to the group C3 are the starting points of the divided video information V1, the video switching points SW6 belonging to the group D3 are the starting points of the divided video information V3, and the group E3 Is the start point of the divided video information V5, the video switching points SW10, SW11, SW12, and SW13 belonging to the group F3 are the starting points of the divided video information V6, and the video switching point SW15 belonging to the group G3 is the divided point. The video switching points SW2, SW4, SW7, SW9 and SW16 belonging to the group A3 are the starting points of the divided video information V4, and the video switching points SW3 and SW8 belonging to the group B3 are the starting points of the divided video information V7. Connect the divided video information V1, V2,..., V6, V7 so as to be the starting point. Were synthesized and those joined and audio information (see FIG. 8).

このとき、動画コンテンツ生成部21は、例えば、映像切替点S1−S2間の時間が分割映像情報V1の時間よりも短い場合は、分割映像情報V1の先頭の一部分だけを使用し、映像切替点S1−S2間の時間が分割映像情報V1の時間よりも長い場合は、分割映像情報V1の最終フレーム(静止画)で穴埋めをする。   At this time, for example, when the time between the video switching points S1 and S2 is shorter than the time of the divided video information V1, the moving image content generation unit 21 uses only a part of the head of the divided video information V1 and When the time between S1 and S2 is longer than the time of the divided video information V1, the hole is filled with the last frame (still image) of the divided video information V1.

このように、本実施例に係る動画コンテンツ生成方法および生成プログラムによれば、美的センスが必要となる作業をユーザが行わなくても、ユーザが作成した第1素材コンテンツに含まれる音声情報と予め用意された合成情報とに基づいて、第1素材コンテンツに含まれる映像情報が第2素材コンテンツに含まれる音楽情報(BGM)に合うように編集され、見栄えのよい新たな動画コンテンツが得られる。   As described above, according to the moving image content generation method and the generation program according to the present embodiment, even if the user does not perform an operation requiring an aesthetic sense, the audio information included in the first material content created by the user and the Based on the prepared composite information, the video information included in the first material content is edited to match the music information (BGM) included in the second material content, and a new moving image content with a good appearance is obtained.

なお、本発明に係る動画コンテンツ生成方法および生成プログラムには、以下に例示する複数の変形例がある。   Note that the moving image content generation method and the generation program according to the present invention include a plurality of modified examples exemplified below.

[変形例1]
第2読込工程S5は、第1読込工程S1の前に実行されてもよいし(図9(A)参照)、第1読込工程S1−分割映像抽出工程S4と同時並行的に実行されてもよい(図9(B)参照)。つまり、本発明では、コンテンツ合成工程S6の前に、第1読込工程S1−分割映像抽出工程S4と第2読込工程S5とが実行されていればよい。
[Modification 1]
The second reading step S5 may be executed before the first reading step S1 (see FIG. 9A), or may be executed simultaneously and in parallel with the first reading step S1-the divided image extracting step S4. Good (see FIG. 9B). That is, in the present invention, the first reading step S1-the divided image extracting step S4 and the second reading step S5 may be executed before the content synthesizing step S6.

[変形例2]
図10に示すように、記憶装置12は、複数の第1素材コンテンツと、複数の第2素材コンテンツと、複数の第2素材コンテンツのそれぞれに対応する合成情報とを記憶していてもよい。この場合は、図11に示すように、第1読込工程S1および第2読込工程S5の前に、選択指令受付工程S7を実行する必要がある。
[Modification 2]
As illustrated in FIG. 10, the storage device 12 may store a plurality of first material contents, a plurality of second material contents, and composite information corresponding to each of the plurality of second material contents. In this case, as shown in FIG. 11, it is necessary to execute the selection command receiving step S7 before the first reading step S1 and the second reading step S5.

選択指令受付工程S7において、動画コンテンツ生成部21は、記憶装置12に記憶されている複数の第1素材コンテンツおよび第2素材コンテンツに関する情報を選択肢としてタッチパネルディスプレイ15に表示させるとともに、タッチパネルディスプレイ15を介して入力された第1素材コンテンツおよび第2素材コンテンツの選択に関するユーザからの指令を受け付ける。そして、第1読込工程S1において、動画コンテンツ生成部21は、ユーザによって選択された第1素材コンテンツを読み込む。第2読込工程S5についても同様である。   In the selection command receiving step S7, the moving image content generation unit 21 causes the touch panel display 15 to display information on the plurality of first material contents and the second material content stored in the storage device 12 as options, and An instruction from the user regarding selection of the first material content and the second material content input via the terminal is received. Then, in the first reading step S1, the moving image content generation unit 21 reads the first material content selected by the user. The same applies to the second reading step S5.

なお、第1読込工程S1および第2読込工程S5を直列的に実行する場合は、第1素材コンテンツおよび第2素材コンテンツの選択に関する指令を受け付ける選択指令受付工程S7を第1読込工程S1の前に実行してもよいし(図12(A)参照)、第1素材コンテンツの選択に関する指令を受け付ける選択指令受付工程S7Aを第1読込工程S1の前に実行するとともに、第2素材コンテンツの選択に関する指令を受け付ける選択指令受付工程S7Bを第2読込工程S5の前に実行してもよい(図12(B)参照)。   When the first reading step S1 and the second reading step S5 are executed in series, the selection command receiving step S7 for receiving a command related to the selection of the first material content and the second material content is performed before the first reading step S1. (See FIG. 12 (A)), the selection instruction receiving step S7A for receiving an instruction regarding the selection of the first material content is executed before the first reading step S1, and the selection of the second material content is performed. The selection command accepting step S7B for accepting an instruction relating to the second reading step S5 may be executed before the second reading step S5 (see FIG. 12B).

[変形例3]
図13に示すように、記憶装置12は、第2素材コンテンツに対応する特殊効果情報をさらに記憶していてもよい。この場合、動画コンテンツ生成部21は、第2読込工程S5において、第2素材コンテンツとともに合成情報および特殊効果情報を読み込む。ただし、動画コンテンツ生成部21は、特殊効果情報が存在しない第2素材コンテンツについては、第2素材コンテンツとともに合成情報のみを読み込む。
[Modification 3]
As shown in FIG. 13, the storage device 12 may further store special effect information corresponding to the second material content. In this case, in the second reading step S5, the moving image content generation unit 21 reads the combined information and the special effect information together with the second material content. However, for the second material content in which no special effect information exists, the moving image content generation unit 21 reads only the composite information together with the second material content.

図14に示すように、特殊効果情報は、複数の特殊効果適用期間EF1,EF2,・・・,EF6,EF7を含んでいる。そして、特殊効果適用期間EF1,EF2,・・・,EF6,EF7は、4個のグループC4,D4,E4,F4のいずれかに属している。   As shown in FIG. 14, the special effect information includes a plurality of special effect application periods EF1, EF2,..., EF6, EF7. The special effect application periods EF1, EF2,..., EF6, EF7 belong to one of the four groups C4, D4, E4, F4.

グループC4に属する特殊効果適用期間EF1,EF4,EF6は、特殊効果「拡大」を適用する期間であり、グループD4に属する特殊効果適用期間EF7は、特殊効果「フェイドアウト」を適用する期間であり、グループE4に属する特殊効果適用期間EF2,EF5は、特殊効果「早送り」を適用する期間であり、グループF4に属する特殊効果適用期間EF3は、特殊効果「スローモーション」を適用する期間である。   The special effect application period EF1, EF4, EF6 belonging to the group C4 is a period for applying the special effect “expansion”, the special effect application period EF7 for the group D4 is a period for applying the special effect “fade out”, The special effect application periods EF2 and EF5 belonging to the group E4 are periods during which the special effect “fast-forward” is applied, and the special effect application period EF3 belonging to the group F4 is a period during which the special effect “slow motion” is applied.

特殊効果情報は、MIDI形式で記述されている。MIDI形式を利用することにより、4個のグループC4,D4,E4,F4のいずれかに属する特殊効果適用期間の時間的な範囲を容易に記述することができる。なお、C4、D4、E4およびF4は、それぞれ、第4オクターブの音階「ド」、「レ」、「ミ」および「ファ」を意味する。   The special effect information is described in a MIDI format. By using the MIDI format, the time range of the special effect application period belonging to any of the four groups C4, D4, E4, and F4 can be easily described. Note that C4, D4, E4, and F4 mean the scales "do", "le", "mi", and "fa" of the fourth octave, respectively.

動画コンテンツ生成部21は、コンテンツ合成工程S6において、複数の分割映像情報を繋ぎ合わせたものに特殊効果情報にしたがった特殊効果を適用する。そして、動画コンテンツ生成部21は、特殊効果を適用した後の映像情報と音楽情報とを合成する。   In the content synthesizing step S6, the moving image content generation unit 21 applies a special effect according to the special effect information to a combination of a plurality of pieces of divided video information. Then, the moving image content generation unit 21 combines the video information and the music information after applying the special effect.

特殊効果の種類を増やす場合は、例えば、第4オクターブの音階「ソ」、「ラ」、「シ」を意味するG4、A4、B4を利用すればよい。また、合成情報および特殊効果情報は、MIDI形式で記述された単一のファイルであってもよい。   When increasing the types of special effects, for example, G4, A4, and B4, which represent the scales “S”, “La”, and “S” of the fourth octave, may be used. Further, the combination information and the special effect information may be a single file described in the MIDI format.

[その他の変形例]
(1)動画コンテンツ生成部21は、第1素材コンテンツの音声情報に含まれる音量ピーク点以外のものに基づいて抽出開始点を決定してもよい。例えば、動画コンテンツ生成部21は、音声情報の音量が急激に増加/減少した点を抽出開始点としてもよい。
[Other Modifications]
(1) The moving image content generation unit 21 may determine the extraction start point based on a point other than the volume peak point included in the audio information of the first material content. For example, the moving image content generation unit 21 may set the point at which the volume of the audio information sharply increases / decreases as the extraction start point.

(2)動画コンテンツ生成部21は、コンテンツ合成工程S6を実行した後に、N個の分割映像情報とN個のグループとのランダムな対応付けのやり直しの要否についての指令を受け付けてもよい。対応付けをやり直すことにより、第1素材コンテンツ自体および第2素材コンテンツ自体に何も変更を加えなくても、様々な動画コンテンツを生成することができる。   (2) After executing the content synthesizing step S6, the moving image content generation unit 21 may receive a command as to whether or not it is necessary to re-associate the N pieces of divided video information with the N groups at random. By re-associating, it is possible to generate various moving image contents without making any changes to the first material content itself and the second material content itself.

(3)動画コンテンツ生成部21は、ランダムにではなく、予め定められたルールにしたがってN個の分割映像情報とN個のグループとを対応付けてもよい。   (3) The moving image content generation unit 21 may associate the N pieces of divided video information with the N groups according to a predetermined rule instead of randomly.

(4)動画コンテンツ生成部21は、抽出開始点決定工程S3を実行する前に、抽出開始点の決定に関するユーザからの指令を受け付けてもよい。この指令には、抽出開始点決定工程S3において解析を行うべき範囲の指定や、抽出開始点の直接的な指定が含まれる。なお、ユーザによってM個(ただし、Mは1以上N以下の整数)の抽出開始点が指定された場合、動画コンテンツ生成部21は、音声情報を解析することによって(N−M)個の抽出開始点を決定することになる。また、ユーザによって抽出開始点が指定された場合、動画コンテンツ生成部21は、当該指定に係る抽出開始点を始点とする分割映像情報を多くの映像切替点を含むグループ(図6に示す一例では、5個の映像切替点SW2,SW4,SW7,SW9,SW16を含むグループA3)に対応付けることが好ましい。   (4) Before executing the extraction start point determination step S3, the moving image content generation unit 21 may receive an instruction from the user regarding the determination of the extraction start point. This instruction includes designation of a range to be analyzed in the extraction start point determination step S3 and direct designation of the extraction start point. When the user specifies M (where M is an integer of 1 or more and N or less) extraction start points, the moving image content generation unit 21 analyzes the audio information to extract (N−M) extraction points. The starting point will be determined. In addition, when the extraction start point is specified by the user, the moving image content generation unit 21 assigns the divided video information starting from the extraction start point according to the specification to a group including many video switching points (in the example illustrated in FIG. 6, It is preferable to correspond to group A3) including five video switching points SW2, SW4, SW7, SW9, and SW16.

(5)動画コンテンツ生成部21は、コンテンツ合成工程S6を実行した後に、抽出開始点の決定に関する指令を受け付けてもよい。指令を受け付けた場合、動画コンテンツ生成部21は、抽出開始点決定工程S3、分割映像抽出工程S4およびコンテンツ合成工程S6を再度実行する。なお、動画コンテンツ生成部21は、コンテンツ合成工程S6を実行した後に、抽出開始点の決定に関する指令に加え、対応付けのやり直しの要否についての指令を受け付けてもよい。   (5) After executing the content synthesizing step S6, the moving image content generation unit 21 may receive a command regarding determination of the extraction start point. When receiving the command, the moving image content generation unit 21 executes the extraction start point determining step S3, the divided video extracting step S4, and the content synthesizing step S6 again. Note that, after executing the content synthesizing step S6, the moving image content generation unit 21 may receive an instruction on whether or not re-association is necessary, in addition to the instruction regarding the determination of the extraction start point.

(6)動画コンテンツ生成部21は、選択指令受付工程S7,S7Bにおいて、第2素材コンテンツに関する情報をユーザに提示する代わりに、曲調に関する選択肢(例えば、楽しい、悲しい等)と曲のテンポに関する選択肢(例えば、ゆっくり、はやい等)をユーザに提示してもよい。この場合、ユーザは、曲調とテンポを選択することにより、間接的に第2素材コンテンツを選択することになる。   (6) In the selection command accepting steps S7 and S7B, the moving image content generation unit 21 instead of presenting the information on the second material content to the user, selects options related to the tune (for example, fun, sad, etc.) and options related to the tempo of the song. (For example, slowly, quickly, etc.) may be presented to the user. In this case, the user indirectly selects the second material content by selecting the tune and the tempo.

(7)第1素材コンテンツに含まれる音声情報は、右側音声情報および左側音声情報からなっていてもよい。この場合は、例えば、右側音声情報および左側音声情報の一方、またはこれらを平均化したものに基づいて、抽出開始点を決定することができる。   (7) The audio information included in the first material content may include right audio information and left audio information. In this case, for example, the extraction start point can be determined based on one of the right-side audio information and the left-side audio information or an average thereof.

(8)合成情報および特殊効果情報は、MIDI以外の形式で記述されていてもよい。   (8) The combination information and the special effect information may be described in a format other than MIDI.

(9)情報処理装置11は、スマートフォンに備えられたものに限定されない。   (9) The information processing device 11 is not limited to one provided in the smartphone.

10 スマートフォン
11 情報処理装置
12 記憶装置
13 カメラ
14 マイク
15 タッチパネルディスプレイ
16 スピーカー
20 第1素材コンテンツ生成部
21 動画コンテンツ生成部
Reference Signs List 10 smartphone 11 information processing device 12 storage device 13 camera 14 microphone 15 touch panel display 16 speaker 20 first material content generation unit 21 video content generation unit

Claims (8)

映像情報と音声情報とを含む第1素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法であって、
記憶装置から前記第1素材コンテンツを読み込む第1読込工程と、
読み込まれた前記第1素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、
分離された前記音声情報に基づいて、N個(ただし、Nは2以上の整数)の抽出開始点を決定する抽出開始点決定工程と、
分離された前記映像情報から、N個の前記抽出開始点のそれぞれを始点としたN個の分割映像情報を抽出する分割映像抽出工程と、
前記記憶装置から音楽情報である第2素材コンテンツと該第2素材コンテンツに対応する合成情報とを読み込む第2読込工程と、
前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程と、
を備え、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、
前記複数の映像切替点は、N個のグループのいずれかに属しており、
前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれをN個のうちのいずれかの前記分割映像情報の始点とする
ことを特徴とする動画コンテンツ生成方法。
A moving image content generation method for generating a moving image content from a first material content including video information and audio information,
A first reading step of reading the first material content from a storage device;
A content separating step of separating the read first material content into the video information and the audio information;
An extraction start point determining step of determining N (where N is an integer of 2 or more) extraction start points based on the separated audio information;
A divided video extracting step of extracting N divided video information starting from each of the N extraction start points from the separated video information,
A second reading step of reading, from the storage device, a second material content that is music information and synthesis information corresponding to the second material content;
A content synthesizing step of generating the moving image content by synthesizing the music information and the divided video information based on the synthesizing information;
With
The synthesis information includes a plurality of video switching points synchronized with the beat represented by the music information,
The plurality of video switching points belong to any of the N groups,
In the content synthesizing step, each of the video switching points belonging to the same group is set as a start point of one of N pieces of the divided video information.
前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位N個の時間を前記抽出開始点とする
ことを特徴とする請求項1に記載の動画コンテンツ生成方法。
2. The moving image content according to claim 1, wherein, in the extraction start point determination step, upper N times of a plurality of sound volume peak points included in the separated audio information are set as the extraction start point. 3. Generation method.
前記第1素材コンテンツおよび前記第2素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに備え、
前記第1読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第1素材コンテンツのうちの1つを読み込み、
前記第2読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第2素材コンテンツのうちの1つと該1つに対応する前記合成情報とを読み込む
ことを特徴とする請求項1または請求項2に記載の動画コンテンツ生成方法。
A command receiving step of receiving a command regarding selection of the first material content and the second material content,
In the first reading step, one of the plurality of first material contents stored in advance in the storage device is read based on the command,
In the second reading step, one of the plurality of second material contents stored in the storage device in advance and the composite information corresponding to the one are read based on the command. The moving image content generation method according to claim 1 or 2.
前記合成情報は、MIDI形式で記述されており、
前記N個のグループは、音階に対応している
ことを特徴とする請求項1〜3のいずれか一項に記載の動画コンテンツ生成方法。
The synthesis information is described in a MIDI format,
The method according to any one of claims 1 to 3, wherein the N groups correspond to musical scales.
映像情報と音声情報とを含む第1素材コンテンツから動画コンテンツを生成する動画コンテンツ生成方法を情報処理装置に実行させる動画コンテンツ生成プログラムであって、
前記情報処理装置に、
記憶装置から前記第1素材コンテンツを読み込む第1読込工程と、
読み込まれた前記第1素材コンテンツを前記映像情報と前記音声情報とに分離するコンテンツ分離工程と、
分離された前記音声情報に基づいて、N個(ただし、Nは2以上の整数)の抽出開始点を決定する抽出開始点決定工程と、
分離された前記映像情報から、N個の前記抽出開始点のそれぞれを始点としたN個の分割映像情報を抽出する分割映像抽出工程と、
前記記憶装置から音楽情報である第2素材コンテンツと該第2素材コンテンツに対応する合成情報とを読み込む第2読込工程と、
前記合成情報に基づいて前記音楽情報と前記分割映像情報とを合成することにより、前記動画コンテンツを生成するコンテンツ合成工程と、
を実行させ、
前記合成情報は、前記音楽情報が表すビートに同期した複数の映像切替点を含み、
前記複数の映像切替点は、N個のグループのいずれかに属しており、
前記コンテンツ合成工程において、同じグループに属する前記映像切替点のそれぞれがN個のうちのいずれかの前記分割映像情報の始点とされる
ことを特徴とする動画コンテンツ生成プログラム。
A video content generation program for causing an information processing apparatus to execute a video content generation method of generating video content from first material content including video information and audio information,
In the information processing device,
A first reading step of reading the first material content from a storage device;
A content separating step of separating the read first material content into the video information and the audio information;
An extraction start point determining step of determining N (where N is an integer of 2 or more) extraction start points based on the separated audio information;
A divided video extracting step of extracting N divided video information starting from each of the N extraction start points from the separated video information,
A second reading step of reading, from the storage device, a second material content that is music information and synthesis information corresponding to the second material content;
A content synthesizing step of generating the moving image content by synthesizing the music information and the divided video information based on the synthesizing information;
And execute
The synthesis information includes a plurality of video switching points synchronized with the beat represented by the music information,
The plurality of video switching points belong to any of the N groups,
In the content synthesizing step, each of the video switching points belonging to the same group is set as a start point of one of N pieces of the divided video information.
前記抽出開始点決定工程において、分離された前記音声情報に含まれる複数の音量ピーク点のうちの上位N個に対応する時間が前記抽出開始点とされる
ことを特徴とする請求項5に記載の動画コンテンツ生成プログラム。
6. The extraction start point determining step, wherein a time corresponding to the top N among a plurality of sound volume peak points included in the separated audio information is set as the extraction start point. Video content generation program.
前記情報処理装置に、前記第1素材コンテンツおよび前記第2素材コンテンツの選択に関する指令を受け付ける指令受付工程をさらに実行させ、
前記第1読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第1素材コンテンツのうちの1つが読み込まれ、
前記第2読込工程において、前記指令に基づいて前記記憶装置に予め記憶されている複数の前記第2素材コンテンツのうちの1つと該1つに対応する前記合成情報とが読み込まれる
ことを特徴とする請求項5または請求項6に記載の動画コンテンツ生成プログラム。
Causing the information processing apparatus to further execute a command receiving step of receiving a command regarding selection of the first material content and the second material content;
In the first reading step, one of the plurality of first material contents stored in advance in the storage device is read based on the command,
In the second reading step, one of the plurality of second material contents stored in the storage device in advance and the composite information corresponding to the one are read based on the command. The moving image content generation program according to claim 5 or 6, wherein
前記合成情報は、MIDI形式で記述されており、
前記N個のグループは、音階に対応している
ことを特徴とする請求項5〜7のいずれか一項に記載の動画コンテンツ生成プログラム。
The synthesis information is described in a MIDI format,
The moving image content generation program according to any one of claims 5 to 7, wherein the N groups correspond to musical scales.
JP2018168950A 2018-09-10 2018-09-10 MOVIE CONTENT GENERATION METHOD AND GENERATION PROGRAM Active JP7121988B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018168950A JP7121988B2 (en) 2018-09-10 2018-09-10 MOVIE CONTENT GENERATION METHOD AND GENERATION PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168950A JP7121988B2 (en) 2018-09-10 2018-09-10 MOVIE CONTENT GENERATION METHOD AND GENERATION PROGRAM

Publications (2)

Publication Number Publication Date
JP2020043454A true JP2020043454A (en) 2020-03-19
JP7121988B2 JP7121988B2 (en) 2022-08-19

Family

ID=69798860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168950A Active JP7121988B2 (en) 2018-09-10 2018-09-10 MOVIE CONTENT GENERATION METHOD AND GENERATION PROGRAM

Country Status (1)

Country Link
JP (1) JP7121988B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228415A1 (en) * 2021-04-27 2022-11-03 北京字节跳动网络技术有限公司 Rhythm interaction method and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112113A (en) * 2000-09-27 2002-04-12 Nippon Columbia Co Ltd Video-editing apparatus and storage medium
JP2004096617A (en) * 2002-09-03 2004-03-25 Sharp Corp Video editing method, video editing apparatus, video editing program, and program recording medium
JP2006512820A (en) * 2002-12-24 2006-04-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for enhancing an audio signal
JP2011024033A (en) * 2009-07-16 2011-02-03 Mitsubishi Electric Corp Video section determination device, method of determining video section, and summarized video reproduction apparatus
JP2016111386A (en) * 2014-12-02 2016-06-20 キヤノン株式会社 Control method of video editing device, video editing device, video editing method, computer program, and storing medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002112113A (en) * 2000-09-27 2002-04-12 Nippon Columbia Co Ltd Video-editing apparatus and storage medium
JP2004096617A (en) * 2002-09-03 2004-03-25 Sharp Corp Video editing method, video editing apparatus, video editing program, and program recording medium
JP2006512820A (en) * 2002-12-24 2006-04-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and system for enhancing an audio signal
JP2011024033A (en) * 2009-07-16 2011-02-03 Mitsubishi Electric Corp Video section determination device, method of determining video section, and summarized video reproduction apparatus
JP2016111386A (en) * 2014-12-02 2016-06-20 キヤノン株式会社 Control method of video editing device, video editing device, video editing method, computer program, and storing medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022228415A1 (en) * 2021-04-27 2022-11-03 北京字节跳动网络技术有限公司 Rhythm interaction method and device

Also Published As

Publication number Publication date
JP7121988B2 (en) 2022-08-19

Similar Documents

Publication Publication Date Title
TWI774967B (en) Method and device for audio synthesis, storage medium and calculating device
CN107124624B (en) Method and device for generating video data
KR100762585B1 (en) Apparatus and method of music synchronization based on dancing
JP4660861B2 (en) Music image synchronized video scenario generation method, program, and apparatus
JP6159989B2 (en) Scenario generation system, scenario generation method, and scenario generation program
JP2013171070A (en) Music information processing apparatus and music information processing method
JP2018534631A (en) Dynamic change of audio content
JP2010066789A (en) Avatar editing server and avatar editing program
CN106101576A (en) Image pickup method, device and the mobile terminal of a kind of augmented reality photo
KR20180080642A (en) Video editing method with music source
JP7121988B2 (en) MOVIE CONTENT GENERATION METHOD AND GENERATION PROGRAM
KR101414217B1 (en) Real time image synthesis apparatus and image synthesis method
JP5457867B2 (en) Image display device, image display method, and image display program
JP6641045B1 (en) Content generation system and content generation method
KR101850285B1 (en) Device and method for generating video script, and video producing system and method based on video script, computer program media
JP2012198380A (en) Display control device
CN109327731B (en) Method and system for synthesizing DIY video in real time based on karaoke
JP6227456B2 (en) Music performance apparatus and program
WO2005008599A1 (en) Moving picture generation device and moving picture generation method
JP5772124B2 (en) Karaoke equipment
WO2004081940A1 (en) A method and apparatus for generating an output video sequence
JP6110731B2 (en) Command input recognition system by gesture
JP2009272846A (en) Image processor, image processing method and program
JP2023174364A (en) Karaoke device
JP7456232B2 (en) Photo movie generation system, photo movie generation device, user terminal, photo movie generation method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7121988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150