JP2007201806A

JP2007201806A - Creation method of moving picture data with sound

Info

Publication number: JP2007201806A
Application number: JP2006017801A
Authority: JP
Inventors: Kazuyoshi Maeda; 和良前田
Original assignee: KOBE NOMADO KK
Current assignee: KOBE NOMADO KK
Priority date: 2006-01-26
Filing date: 2006-01-26
Publication date: 2007-08-09
Anticipated expiration: 2026-01-26
Also published as: JP4645955B2

Abstract

<P>PROBLEM TO BE SOLVED: To create moving picture data with sound of a music performance scene which is easy to see for an appreciation person by necessary minimum machines and people. <P>SOLUTION: A live video image is recorded with a video camera 12 and a voice recording device 13, a moving video of guitarists 2, bassists 3, drummers 4, and keyboardists 5 photographed by a second chorus, is inserted to a moving video of vocalists 1 of a first chorus photographed by the video camera 12. Since operation of the guitarists 2, etc. of the first chorus and the second chorus are substantially the same, the appreciation person recognizes that the moving video after edition is photographed in the first chorus using a plurality of video cameras. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、音楽演奏シーンの音声付動画データの作成方法に関する。 The present invention relates to a method for creating moving image data with sound of a music performance scene.

通信回線のブロードバンド化によるストリーミング技術の発展、デジタル放送の本格化等に伴い、各種映像のコンテンツとしての需要と価値が高まっている。特に、ウェブサイトからのダウンロードが音楽購入の一形態として一般化していることも相俟って、ロック及びポップスを含む各種音楽をコンサート等で演奏ないしは実演しているシーン（以下、「音楽演奏シーン」と略称する場合がある。）の音声付動画（以下、「ライブ映像」と略称する場合がある。）のコンテンツとしての需要と価値が、近年飛躍的に高まっている。具体的には、多種多様な演奏者及び楽曲のライブ映像が、インターネット、デジタル放送等のコンテンツとして速やかにかつ大量に供給されることが求められている。 With the development of streaming technology due to broadband communication lines and the full-scale digital broadcasting, demand and value as various video contents are increasing. In particular, scenes where various types of music including rock and pop are being played or performed at concerts (hereinafter referred to as “music performance scenes”) in conjunction with the fact that downloading from websites has become a common form of music purchase. In recent years, the demand and value as a content of a moving image with sound (hereinafter sometimes abbreviated as “live video”) has increased dramatically. Specifically, it is required that live videos of various performers and music pieces be supplied promptly and in large quantities as contents such as the Internet and digital broadcasting.

しかし、ライブ映像の作成には多数の機材と人員が必要である。詳細には、ボーカリストに加え、ギター、ベース、ドラム、及びキーボードの奏者からなる一般的な５人編成のロックバンドのライブ映像の収録（演奏シーンの動画の撮影及び演奏されている楽曲の録音）には、通常、機材として最低２台以上のビデオカメラと１台以上の録音装置が必要であり、ビデオカメラについて少なくとも２人以上、録音装置について１人以上の人員が必要である。ライブ映像を収録するには、演奏が行われている現場（海外を含む遠隔地の場合もある。）まで出向く必要があるので、前述のように多量のライブ映像をコンテンツとして供給する上で、収録に多数の機材と人員が必要であることは大きな障壁となっている。 However, creating a live video requires a lot of equipment and personnel. Specifically, in addition to vocalists, recording of live video of a typical five-member rock band consisting of guitar, bass, drums, and keyboard players (shooting a video of the performance scene and recording the music being played) In general, at least two video cameras and one or more recording devices are required as equipment, and at least two or more personnel are required for the video camera and one or more personnel for the recording device. In order to record live video, it is necessary to go to the site where the performance is performed (in some cases, remote locations including overseas). The large number of equipment and personnel required for recording is a major barrier.

一方、１台のビデオカメラのみを使用して、例えば前述の一般的な５人編成のバンドの演奏シーンのライブ映像を収録しようとすると、１台のビデオカメラで５人の人間を撮影するためにパーン、ズームイン、ズームアウト等を過剰に使用する必要がある。その結果、収録されたライブ映像は、鑑賞者にとって非常に見づらい低品質のものとなり、コンテンツとしての商業的価値が著しく損なわれる。 On the other hand, if only one video camera is used to record a live image of the performance scene of the above-mentioned general five-member band, for example, five people are photographed with one video camera. It is necessary to use excessive functions such as panning, zooming in, and zooming out. As a result, the recorded live video is of a low quality that is very difficult for viewers to see, and the commercial value of the content is significantly impaired.

例えば特許文献１及び２に音楽の収録に関する技術が開示されているが、これらの文献には前述の音楽演奏シーンの収録における問題点やそれに対する解決策は示唆されていない。 For example, Patent Documents 1 and 2 disclose music recording techniques, but these documents do not suggest the problems in the recording of the music performance scene described above and solutions therefor.

特開２００３−０１５６５７号JP 2003-015657 A 特開平１１−０４５５５４号JP 11-045554 A

本発明は、必要最小限の機材と人員で鑑賞者にとって自然で見やすい高品質の音楽演奏シーンの音声付動画データを作成することを課題とする。 SUMMARY OF THE INVENTION An object of the present invention is to create high-quality moving image data with sound of a music performance scene that is natural and easy for viewers to view with minimum necessary equipment and personnel.

前記課題を解決するために本発明は、互いに同一又は類似の複数のコーラスを含む楽曲が、少なくとも１人の主演者と少なくとも１人の副演者とによって演奏されている音楽演奏シーンの音声付動画データを作成する方法であって、前記音楽演奏シーンを撮影して一次動画データとして記録すると共に、前記演奏されている楽曲を録音して音声データとして記録する収録工程と、前記一次動画データを編集して前記音声データと同期させて再生させる二次動画データを作成する編集工程とを備え、前記収録工程は、前記複数のコーラスのうちの１つのコーラスの開始から終了までの前記主演者の動作をビデオカメラで撮影し、第１の記憶部に第１の一次動画データとして記憶させる第１の撮影工程と、前記第１の撮影工程と同時に前記１つのコーラスを録音装置で録音し、第２の記憶部に前記音声データとして記憶させる録音工程と、前記複数のコーラスの内の他のコーラス中の前記副演者の動作をビデオカメラで撮影し、前記第１の記憶部に第２の一次動画データとして記憶させる第２の撮影工程とを備え、前記第１の一次動画データと前記音声データは同一の時点からの経過時間である時間情報をそれぞれ備え、前記編集工程は、前記時間情報に基づいて、前記第１つのコーラスの開始を基準とした１つ又は複数の時間領域の前記第１の一次動画データを、前記他のコーラスの開始を基準とした同一の時間領域の前記第２の一次動画データに置き換えることにより、前記１つのコーラスの開始から終了までに対応する前記二次動画データを作成する工程と、前記二次動画データを前記１つのコーラスの開始から終了までの前記音声データと共に第３の記憶部に記憶させる工程とを備えることを特徴とする、音楽演奏シーンの音声付動画データの作成方法を提供する。 In order to solve the above-described problems, the present invention provides an audio-added moving image of a music performance scene in which a song including a plurality of choruses that are the same or similar to each other is played by at least one performer and at least one sub-actor. A method of creating data, wherein the music performance scene is photographed and recorded as primary video data, and a recording step of recording the music being played and recorded as audio data, and editing the primary video data An editing step for creating secondary moving image data to be played back in synchronization with the audio data, and the recording step is an operation of the star from the start to the end of one of the plurality of choruses A first photographing step of photographing with a video camera and storing the first primary moving image data in the first storage unit, and the one photographing step simultaneously with the first photographing step A recording step of recording a chorus with a recording device and storing the recording as the audio data in a second storage unit, and shooting the actions of the performer in the other choruses of the plurality of choruses with a video camera; A second photographing step for storing the first primary moving image data in the first storage unit, and the first primary moving image data and the audio data each include time information that is an elapsed time from the same time point, Based on the time information, the editing step uses the first primary moving image data in one or more time regions based on the start of the first chorus as a reference based on the start of the other chorus. Creating the secondary video data corresponding to the start and end of the one chorus by replacing with the second primary video data in the same time domain; and the secondary video data Wherein characterized in that it comprises together with the audio data from the start to the end of one chorus and a step of storing in the third storage unit, provides a method of creating moving image data with sound of musical performance scene.

具体的には、前記第１の撮影工程で前記主演者の動作を撮影するビデオカメラは、前記第２の撮影工程で前記副演者の動作を撮影するビデオカメラと同一である。 Specifically, the video camera that captures the action of the lead performer in the first shooting process is the same as the video camera that captures the action of the performer in the second shooting process.

収録工程では、最少で１台のビデオカメラ及び１台の録音装置で撮影と録音を行い、第１及び第２の一次動画データと音声データを得ることができる。編集工程では、ある１つのコーラスの開始から終了までの主演者（例えば歌手ないしはボーカリスト）の動作である第１の一次動画データのうち一つ又は複数の時間領域のデータを、他のコーラス中の副演者（例えばギタリスト、ベーシスト、ドラマー、キーボード奏者等の楽器演奏者、ダンサー、バックコーラス等）の動作である第２の一次動画データのうちの同一の時間領域のデータで置き換えることにより、二次動画データを作成する。 In the recording process, the first and second primary moving image data and audio data can be obtained by performing shooting and recording with at least one video camera and one recording device. In the editing process, one or a plurality of time domain data of the first primary moving image data, which is the action of a star (for example, a singer or a vocalist) from the start to the end of one chorus, By substituting with data in the same time domain from the second primary video data that is the action of a sub-actor (eg, guitarist, bassist, drummer, keyboard player, etc., dancer, back chorus, etc.) Create video data.

楽曲に含まれる複数のコーラスは同一又は類似（例えば同一又は類似の複数種類のメロディが同一の順序で配置されている。）であるので、１つのコーラスにおける副演者の動作と他のコーラスにおける副演者の動作は実質的に同一である。従って、ある時間領域の音声データと、それと同一の時間領域の第２の一次動画データ（異なるコーラスにおける副奏者の動作）とを同時に再生した場合、鑑賞者が、副奏者の動作は音声とは異なるコーラスにおけるものであると気付くことは、現実的には殆どあり得ない。換言すれば、ある時間領域の音声データと同一の時間領域の第２の一次動画データを同時に再生した場合、鑑賞者はそれらが共に同一のコーラスにおける音声と副奏者の動作であると認識する。従って、音声データと同期して二次動画データを再生した場合、映像に現れる主演者の動作と副演者の動作の両方が音声と同一のコーラスにおけるものであると認識する。換言すれば、音声データと同期して二次動画データを再生した音声付動画は、音声の録音と同時に多数のビデオカメラで主演奏者と副演奏者を撮影して編集したものであると、鑑賞者には認識される。また、二次動画データは１台のビデオカメラでパーン等を多用して撮影対象（主演者及び副演者）を切り換えたものでないので、鑑賞者にとっては違和感がなく自然な映像として認識される。 Since the plurality of choruses included in the music are the same or similar (for example, the same or similar types of melody are arranged in the same order), the actions of the performer in one chorus and the sub chorus in another chorus. The performer's behavior is substantially the same. Therefore, when the audio data in a certain time domain and the second primary moving image data in the same time domain (the performance of the performer in different choruses) are reproduced at the same time, Realizing that it is in a different chorus is almost impossible. In other words, when the second primary moving image data in the same time domain as the audio data in a certain time domain is played back simultaneously, the viewer recognizes that they are both the voice in the same chorus and the movement of the sub-player. Therefore, when the secondary moving image data is reproduced in synchronization with the audio data, it is recognized that both the action of the main performer and the action of the performer appearing in the video are in the same chorus as the sound. In other words, the video with audio that was reproduced from the secondary video data in synchronization with the audio data was recorded by editing the main performer and sub-performer with a number of video cameras at the same time as recording the audio. It is recognized by the person. In addition, since the secondary moving image data is not obtained by switching the shooting target (the main performer and the secondary performer) by using a single video camera with a lot of panning or the like, it is recognized as a natural image without any sense of incongruity for the viewer.

同一又は類似のコーラスであっても、楽曲が実際に演奏される際にはコーラス間にテンポ（楽曲を演奏する速さ）の相違が生じる場合がある。コーラス間のテンポの相違は１つのコーラスの特定の時間領域における音声データに表される音声と、他のコーラスの同一の時間領域における第２の一次動画データに表される副奏者の動作に「ずれ」を生じさせる。例えば、音声データと二次動画データを同期して再生した場合に、ある音声（例えばギターのストローク奏法による音）が発せられた瞬間に、その音声を出すはずの副演者がその音を発する動作を実行していない状態（例えばストローク奏法を行うギタリストの手がギターの弦に到達していない状態）にあることがある。 Even if the chorus is the same or similar, when the music is actually played, there may be a difference in tempo (speed of playing the music) between the choruses. The difference in tempo between choruses is due to the movement of the performer represented in the voice data represented in the audio data in a specific time domain of one chorus and the second primary video data in the same time domain of the other choruses. Cause a "shift". For example, when audio data and secondary video data are played back synchronously, the act of a subsidiary performer who should output the sound at the moment when a certain sound (for example, a sound generated by a guitar stroke) is emitted May not be performed (for example, a guitarist's hand performing a stroke performance does not reach the guitar string).

前記第１及び第２の一次動画データは時系列で連続する複数の静止画像データであるフレームデータを備えている。前述のような「ずれ」は二次動画データを作成する工程で以下の手順を実行ことにより解消できる。まず、前記時間情報に基づいて、前記第１の動画データと置き換える前記時間領域の前記第２の動画データのうちの最初のフレームデータを、前記時間領域の開始時刻の音声データと比較する。そして、前記最初のフレームデータで表されている前記副演者の動作と、前記開始時刻の音声データで表されている音声とにずれがあれば、前記最初のフレームデータよりも１個又は複数個前又は後のフレームデータを、前記時間領域の前記最初のフレームデータに設定して前記ずれを修正する。 The first and second primary moving image data includes frame data which is a plurality of still image data continuous in time series. The “displacement” as described above can be eliminated by executing the following procedure in the process of creating the secondary moving image data. First, based on the time information, the first frame data in the second moving image data in the time domain to be replaced with the first moving image data is compared with audio data at the start time in the time domain. If there is a discrepancy between the performance of the performer represented by the first frame data and the sound represented by the audio data at the start time, one or more than the first frame data. The deviation is corrected by setting the previous or subsequent frame data to the first frame data in the time domain.

本発明によれば、必要最低限の収録用の機材（最少で１台のビデオカメラと１台の録音装置）と、必要最低限の収録用の人員（最少でビデオカメラと録音装置を操作する１人の人員）とで音楽演奏シーンを収録できる。そして、収録によって得られた第１及び第２の一次動画データ並びに音声データから、音声データと同期し、かつパーン等を過剰に使用しない鑑賞者にとって見やすい動画である二次動画データを作成することができる。従って、収録用の機材と人員を大幅に低減しつつ、鑑賞者にとって見やすい高品質の音楽演奏シーンの音声付動画データを得ることができる。 According to the present invention, the minimum necessary recording equipment (minimum one video camera and one recording device) and the minimum necessary recording personnel (minimum video camera and recording device are operated). One person) can record music performance scenes. Then, from the first and second primary video data and audio data obtained by recording, secondary video data that is synchronized with the audio data and is easy to view for viewers who do not use excessive panning or the like is created. Can do. Therefore, it is possible to obtain high-quality moving image data with audio of a music performance scene that is easy for the viewer to see while greatly reducing the equipment and personnel for recording.

まず、音楽演奏シーンの音声付動画データの作成に関する本発明者の新たな着想について説明する。特にロック及びポップス等の軽音楽の楽曲は、歌詞は異なるがメロディは同一又は類似である複数のコーラス（「１番」、「２番」等と一般的に称される単位）の繰り返しで構成される場合が殆どである。そして、ある１つのコーラスと他のコーラスでは歌手ないしはボーカリストの動作（特に口の動き）は異なるが、楽器演奏者（例えば、ギタリスト、ベーシスト、ドラマー、キーボード奏者等）の動作は実質的に同一である場合が殆どである。従って、ある１つのコーラスの演奏を録音した音声を再生し、それと同期して他のコーラスにおける楽器演奏者の動作を撮影した動画を再生すると、鑑賞者（プロの楽器演奏者等の音楽への造詣が深い者も含む）が、動画中の楽器演奏者の動作が再生されている音声とは異なるコーラスにおけるものであると気付くことは、現実的には殆どあり得ない。換言すれば、鑑賞者は音声と楽器演奏者の動作は共に同一のコーラスにおける音声と動作であると認識する。本発明はかかる新たな着想に基づいてなされてものである。 First, a new idea of the present inventor relating to the creation of moving image data with sound of a music performance scene will be described. In particular, light music such as rock and pop is composed of multiple choruses (units commonly called “No. 1”, “No. 2”, etc.) that have different lyrics but the same or similar melody. In most cases. And one chorus and another chorus have different singers or vocalists (especially mouth movements), but instrument players (eg guitarists, bassists, drummers, keyboard players, etc.) are substantially the same. There are almost always cases. Therefore, when a sound recording the performance of one chorus is played back, and a movie that captures the action of the instrument player in another chorus is played back in synchronization with it, a viewer (professional instrument player or other music player) In reality, it is almost impossible to realize that the movement of the instrument player in the video is in a chorus different from the voice being played. In other words, the viewer recognizes that the voice and the action of the musical instrument player are both the voice and action in the same chorus. The present invention has been made based on such a new idea.

次に、添付図面を参照して本発明の実施形態を詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

本発明の実施形態にかかる音楽演奏シーンの音声付動画データの作成方法は、収録工程とそれに続く編集工程に大別される。以下の説明では、図１に示すボーカリスト１、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５からなる５人編成のロックバンドが図２に示す楽曲を演奏するシーンについて音声付動画データを作成するものとする。ボーカリスト１が本発明における主演者であり、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５が本発明における副演者である。 The method of creating moving image data with audio of a music performance scene according to an embodiment of the present invention is roughly divided into a recording process and an editing process that follows. In the following description, the moving image data with audio is created for the scene where the five-piece rock band consisting of the vocalist 1, the guitarist 2, the bassist 3, the drummer 4, and the keyboard player 5 shown in FIG. 1 performs the music shown in FIG. It shall be. The vocalist 1 is the main performer in the present invention, and the guitarist 2, the bassist 3, the drummer 4, and the keyboard player 5 are the sub-actors in the present invention.

まず、図２を参照して収録の対象となる楽曲を説明する。なお、図２において種々の経過時間を示す時間軸は１目盛が１０秒を表している（この点については後述する図３及び図５も同様である。）。 First, music to be recorded will be described with reference to FIG. In FIG. 2, the time axis indicating various elapsed times represents 10 seconds on one scale (this also applies to FIGS. 3 and 5 described later).

この楽曲は、前奏（３０秒）、第１コーラス（１分３０秒）、第１間奏（３０秒）、第２コーラス（１分３０秒）、第２間奏（３０秒）、いわゆるＤメロないしは大サビ（１分３０秒）、及び後奏（３０秒）からなり、総演奏時間は６分３０秒である。第１コーラスと第２コーラスは共に、メロディＡ（２０秒）の２回の繰り返し、メロディＢ（２０秒）、及びサビ（３０秒）からなり、歌詞は異なるが、メロディ（本実施形態では広くギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５が演奏する旋律等の意味で、リズム等も含む。）自体は同一である。なお、サビとは、楽曲中で曲想の変化、印象深いフレーズや歌詞等により曲が盛り上がる部分をいう。本実施形態では、第１コーラスの音声付動画データの作成に本発明を適用している。 This song consists of a prelude (30 seconds), a first chorus (1 minute 30 seconds), a first interlude (30 seconds), a second chorus (1 minute 30 seconds), a second interlude (30 seconds), so-called D melody or It consists of a large chorus (1 minute 30 seconds) and a follower (30 seconds), and the total performance time is 6 minutes 30 seconds. Both the first chorus and the second chorus consist of two repetitions of melody A (20 seconds), melody B (20 seconds), and chorus (30 seconds). It means the melody etc. performed by the guitarist 2, the bassist 3, the drummer 4, and the keyboard player 5, and includes the rhythm etc.) itself. Sabi refers to a portion of a song that is swelled by changes in song ideas, impressive phrases, lyrics, and the like. In the present embodiment, the present invention is applied to the creation of moving image data with sound of the first chorus.

第１コーラスでは、楽曲の演奏開始後、３０秒後に１回目のメロディＡ、５０秒後に２回目のメロディＡ、１分１０秒後にメロディＢ、１分３０秒後にサビが始まる。楽曲の演奏開始後２分の時点で第１コーラスは終了する。一方、第２コーラスでは、楽曲の演奏開始後、２分３０秒後に１回目のメロディＡ、２分５０秒後に２回目のメロディＡ、３分１０秒後にメロディＢ、３分３０秒後にサビが始まる。楽曲の演奏開始後４分の時点で第２コーラスは終了する。前述のように第１コーラスと第２コーラスは同一のメロディを同一の順次で配列して構成されているので、第１コーラスの１回目のメロディＡ、２回目のメロディＢ、及びサビの開始、終了、及びこれらに含まれる特定のフレーズ等の第１コーラス開始時点から測った時間は、第２コーラスの１回目のメロディＡ、２回目のメロディＢ、及びサビの開始、終了、及びこれらに含まれる特定のフレーズ等の第２コーラス開始時点から測った時間と同一である。 In the first chorus, the melody A starts 30 seconds later, the second melody A 50 seconds later, the melody B 1 minute 10 seconds later, and the rust starts 1 minute 30 seconds later. The first chorus ends at 2 minutes after the start of the music performance. On the other hand, in the second chorus, the melody A for the first time is 2 minutes and 30 seconds after the music starts playing, the second melody A for 2 minutes and 50 seconds, the melody B for 3 minutes and 10 seconds, and the rust after 3 minutes and 30 seconds. Begins. The second chorus ends at 4 minutes after the start of the music performance. As described above, since the first chorus and the second chorus are configured by arranging the same melody in the same order, the first melody A, the second melody B of the first chorus, and the start of rust, The time measured from the start of the first chorus of the end and the specific phrases included in these is included in the start and end of the first chorus, the second melody B, and the chorus of the second chorus. It is the same as the time measured from the start time of the second chorus of a specific phrase or the like.

大サビはメロディＣ（３０秒）と、それに続くサビ（３０）秒の３回の繰り返しで構成されている。 Large rust is composed of three repetitions of melody C (30 seconds) followed by rust (30) seconds.

次に、収録工程について説明する。図１を参照すると、音楽演奏が行われる会場のステージ１１上に、楽曲を演奏するボーカリスト１、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５が位置している。 Next, the recording process will be described. Referring to FIG. 1, a vocalist 1, a guitarist 2, a bassist 3, a drummer 4, and a keyboard player 5 who play music are positioned on a stage 11 of a venue where music performance is performed.

楽曲の演奏シーンはビデオカメラ１２により撮影され一次動画データ６として内蔵の記憶部１２ａに記憶される。ビデオカメラ１２はパーン、ズームイン、ズームアウト等の機能を有し、演奏中のボーカリスト１、ギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５のうちの特定の者を撮影することも、バンド全体や会場の聴衆（図示せず）等を撮影することもできる。一次動画データ６は時系列で連続する複数の静止画像データからなり、静止画像データ間の時間間隔はビデオカメラ１２のフレームレート（例えば３０pps）により決まる。演奏される楽曲は２本のマイク又はステレオマイク１３ａを備える録音装置１３で録音され、その記憶部１３ｂにステレオ音声である音声データ７ａとして記憶される。 A musical performance scene is photographed by the video camera 12 and stored as primary moving image data 6 in the built-in storage unit 12a. The video camera 12 has functions such as panning, zooming in, zooming out, etc., and shooting a specific person among the vocalist 1, guitarist 2, bassist 3, drummer 4, and keyboard player 5 during the performance is possible. You can also take photos of the audience (not shown). The primary moving image data 6 is composed of a plurality of still image data continuous in time series, and the time interval between the still image data is determined by the frame rate (for example, 30 pps) of the video camera 12. The musical piece to be played is recorded by a recording device 13 including two microphones or a stereo microphone 13a, and stored as audio data 7a which is stereo sound in the storage unit 13b.

ボーカリスト１の声とドラマー４の演奏するドラムの音はマイク１４で集音される。また、ギタリスト２の演奏するギターやベーシスト３の演奏するベースギターの音は、これらが内蔵するピックアップからアンプ１５へ出力される。また、キーボード奏者５が演奏するキーボードの音はそれ自体が内蔵するアンプから出力される。マイク１４、アンプ１５、及びキーボードからの出力はマルチコネクタボックス等の中継器１６を介してミキシング装置１７に送られる。これらボーカリスト１の声及び各楽器からの出力は、オペレータ１８が手動操作するミキシング装置１７によって楽器から直接出ている音等とのバランスを考慮して調整され、スピーカ１９に出力される。 The voice of the vocalist 1 and the drum sound played by the drummer 4 are collected by the microphone 14. The sound of the guitar played by the guitarist 2 and the bass guitar played by the bassist 3 are output to the amplifier 15 from the pickup built therein. The keyboard sound played by the keyboard player 5 is output from an amplifier built in the keyboard player 5 itself. Outputs from the microphone 14, the amplifier 15, and the keyboard are sent to a mixing device 17 via a repeater 16 such as a multi-connector box. The voice of the vocalist 1 and the output from each musical instrument are adjusted in consideration of the balance with the sound directly emitted from the musical instrument by the mixing device 17 manually operated by the operator 18 and output to the speaker 19.

ミキシング装置１７は出力端子（いわゆるラインアウト）１７ａを備えており、この出力端子１７ａからの出力（スピーカ１９への音声出力と同一である。）は、補助録音装置２１にステレオ音声である音声データ７ｂとして記憶される。前述の録音装置１３の記憶部１３ｂと、この補助録音装置２１が本発明における第２の記憶部を構成している。 The mixing device 17 includes an output terminal (so-called line-out) 17a. The output from the output terminal 17a (the same as the sound output to the speaker 19) is sent to the auxiliary recording device 21 as audio data that is stereo sound. 7b is stored. The storage unit 13b of the recording device 13 and the auxiliary recording device 21 constitute a second storage unit in the present invention.

ビデオカメラ１２の記憶部１２ａに記憶される一次動画データ６と、録音装置１３の記憶部１３ｂ及び補助録音装置２１の記憶された音声データ７ａ，７ｂは、同一の時点（本実施形態では楽曲の演奏開始時点）を基準としてその時点からの経過時間である時間情報をそれぞれ有している。 The primary moving image data 6 stored in the storage unit 12a of the video camera 12 and the audio data 7a and 7b stored in the storage unit 13b of the recording device 13 and the auxiliary recording device 21 are at the same time (in this embodiment, the music data Time information, which is the elapsed time from that point in time, with respect to the performance start point).

ビデオカメラ１２、録音装置１３、及び補助録音装置２１は一人のスタッフ２２により操作される。ビデオカメラ１２は演奏の収録中に撮影対象の変更等の操作が必要であるが、録音装置１３と補助録音装置２１はいったん設定が終了すれば演奏の収録中は特に操作する必要がない。従って、これらの装置を一人のスタッフ２２で操作して収録工程を実行することは容易である。なお、オペレータ１８はライブ映像の収録の有無に拘わらずミキシング装置１７の操作のために必要であり、収録工程を実行するために必要な人員ではない。 The video camera 12, the recording device 13, and the auxiliary recording device 21 are operated by one staff member 22. The video camera 12 requires an operation such as changing the shooting target during recording of the performance, but the recording device 13 and the auxiliary recording device 21 do not need to be particularly operated during the recording of the performance once the setting is completed. Therefore, it is easy to operate these devices with one staff member 22 and execute the recording process. Note that the operator 18 is necessary for the operation of the mixing device 17 regardless of whether or not live video is recorded, and is not a person necessary for executing the recording process.

図２を参照すると、遅くとも楽曲の演奏開始の直前からビデオカメラ１２による撮影、録音装置１３による録音、及び補助録音装置２１によるミキシング装置１７の出力の録音が開始される。録音装置１３及び補助録音装置２１による録音は少なくとも演奏終了まで継続される。同様に、ビデオカメラ１２による撮影も少なくとも演奏終了まで継続するが、第１及び第２コーラスにおける撮影対象が本発明の作成方法を実行する上で重要である。以下、この点について詳述する。 Referring to FIG. 2, recording by the video camera 12, recording by the recording device 13, and recording of the output of the mixing device 17 by the auxiliary recording device 21 are started immediately before the performance of the music starts. Recording by the recording device 13 and the auxiliary recording device 21 is continued at least until the end of the performance. Similarly, the shooting by the video camera 12 continues at least until the end of the performance, but the shooting target in the first and second choruses is important for executing the creation method of the present invention. Hereinafter, this point will be described in detail.

図３を参照すると、第１コーラス（演奏開始後３０秒から１分３０秒）では、ボーカリスト１のみをズームアップして撮影し、撮影した動画を一次動画データ（第１の一次動画データ）６ａとしてビデオカメラ１２の記憶部１２ａに記憶する。一方、第２コーラス（演奏開始後２分３０秒から４分）では、キーボード奏者５、ベーシスト３、ドラマー４、及びギタリスト２の順に撮影対象を切り換えつつ撮影を行い、撮影した動画を一次動画データ（第２の一次動画データ）６ｂとして記憶部１２ａに記憶する。詳細には、第２コーラスの１回目のメロディＡ（演奏開始後２分３０秒から２分５０秒で第２コーラスの開始時点から開始後２０秒まで）では、キーボード奏者５のみをズームアップして撮影する。次に、第２コーラスの２回目のメロディＡ（演奏開始後２分５０秒から３分１０秒で第２コーラス開始後２０秒から４０秒まで）では、ベーシスト３のみをズームアップして撮影する。さらに、第２コーラスのメロディＢ（演奏開始後３分１０秒から３分３０秒で第２コーラス開始後４０秒から１分まで）では、ベーシスト３のみをズームアップして撮影する。さらにまた、第３コーラスのサビ（演奏開始後３分３０秒から４分で第２コーラス開始後１分から１分３０秒）はギタリスト２をズームアップして撮影する。 Referring to FIG. 3, in the first chorus (30 seconds to 1 minute 30 seconds after the start of the performance), only the vocalist 1 is zoomed in and photographed, and the photographed movie is primary movie data (first primary movie data) 6a. Is stored in the storage unit 12a of the video camera 12. On the other hand, in the second chorus (2 minutes to 30 minutes after the start of the performance), shooting is performed while switching the shooting target in the order of the keyboard player 5, the bassist 3, the drummer 4, and the guitarist 2, and the shot video is the primary video data. (Second primary moving image data) 6b is stored in the storage unit 12a. Specifically, in the first melody A of the second chorus (2 minutes 30 seconds to 2 minutes 50 seconds from the start of the performance and from the start time of the second chorus to 20 seconds after the start), only the keyboard player 5 is zoomed up. To shoot. Next, in the second melody A of the second chorus (from 2 minutes 50 seconds to 3 minutes 10 seconds after the start of performance and from 20 seconds to 40 seconds after the start of the second chorus), only the bassist 3 is zoomed in and photographed. . Further, in the second chorus melody B (from 3 minutes 10 seconds to 3 minutes 30 seconds after the start of performance and from 40 seconds to 1 minute after the start of the second chorus), only the bassist 3 is zoomed in and photographed. Furthermore, the chorus of the third chorus (3 minutes 30 seconds to 4 minutes after the start of performance and 1 minute to 1 minute 30 seconds after the start of the second chorus) is taken by zooming in on the guitarist 2.

以上のように、収録工程では、第１コーラスの開始から終了までのボーカリスト１の動作をビデオカメラ１２で撮影してその動画データ（第１の一次動画データ）６ａを記憶部１２ａに記憶させる工程（第１の撮影工程）と同時に、第１コーラスを録音装置１３及び補助録音装置２１で録音し、記憶部１３ｂ及び補助録音装置２１に音声データ７ａ，７ｂとして記憶させる工程を実行している。また、第２コーラス中のボーカリスト１以外のギタリスト２、ベーシスト３、ドラマー４、及びキーボード奏者５の動作をビデオカメラ１２で撮影してその動画データ（第２の一次動画データ）６ｂを記憶部１２ａに記憶させる工程（第２の撮影工程）を実行している。 As described above, in the recording process, the operation of the vocalist 1 from the start to the end of the first chorus is captured by the video camera 12, and the moving image data (first primary moving image data) 6a is stored in the storage unit 12a. Simultaneously with the (first photographing step), the first chorus is recorded by the recording device 13 and the auxiliary recording device 21 and stored in the storage unit 13b and the auxiliary recording device 21 as audio data 7a and 7b. Further, the video camera 12 captures the actions of the guitarist 2, bassist 3, drummer 4, and keyboard player 5 other than the vocalist 1 in the second chorus, and the moving image data (second primary moving image data) 6b is stored in the storage unit 12a. The process (second imaging process) to be stored is executed.

前述のように本実施形態では、前奏、第１間奏、第２間奏、大サビ、及び後奏については本発明を適用されないので、これらに関してはビデオカメラ１２で撮影する対象は特に限定されない。例えば、前奏、第１間奏、第２間奏、及び後奏についてはズームアウトしてバンド全体や聴衆を撮影し、大サビについてはボーカリスト１を撮影してもよい。 As described above, in the present embodiment, the present invention is not applied to the prelude, the first interlude, the second interlude, the great chorus, and the postlude, and therefore the subject to be imaged by the video camera 12 is not particularly limited. For example, the prelude, the first interlude, the second interlude, and the postlude may be zoomed out to photograph the entire band or the audience, and the vocalist 1 may be photographed for the great chorus.

次に、編集工程について説明する。図４は本実施形態において編集工程に使用する音声付動画用の編集システムを示す。この編集システムは本体３１、スピーカ等である音声出力部３２、各種ディスプレイである動画表示部３３、及び編集者３４がこのシステムを操作するためのキーボード等からなる操作部３５を備える。本体３１は、入出力制御部３７、一次記憶部３８、二次記憶部（第３の記憶部）３９、データ管理部４０、音声出力処理部４１、画像出力処理部４２、及び編集処理部４３を備える。入出力制御部３７は、ビデオカメラ１２、録音装置１３、補助録音装置２１、音声出力部３２、及び動画表示部３３との各種データやコマンドの入出力を制御する。一次記憶部３８には一次動画データ６（６ａ，６ｂ）と音声データ７ａ，７ｂ（編集前の音声付動画）が記憶される。二次記憶部３９には編集の結果得られた二次動画データ８と加工済みの音声データ７ｃ（編集後の音声付動画データ）が記憶される。データ管理部４０は、一次記憶部３８及び二次記憶部３９に対するデータの書込や読み出しを制御する。音声出力処理部４１は音声出力部３２で音声データ７ａ〜７ｃを実際に音声として出力ないしは再生させるために必要な処理を実行する。画像出力処理部４２は動画表示部３３で一次動画データ６や二次動画データ８を実際に動画として出力ないしは再生させるために必要な処理を実行する。編集処理部４３は操作部３５から入力される編集者３４の命令に基づいて、動画データの編集や音声データの加工に必要な処理を実行する。編集者３４は音声出力部３２で再生される音声や、動画表示部３３に再生される動画を参照して編集作業を実行できる。このようなシステムは、例えばＣＰＵ、ＲＡＭ、ハードディスク等を備える一般的なパーソナルコンピュータ等のハードウェアに、オペレーティングシステムと一般的な映像編集用のアプリケーション（例えばカノープス株式会社製のEDIUS Pro.3）を実装することで実現できる。 Next, the editing process will be described. FIG. 4 shows an editing system for moving images with audio used in the editing process in the present embodiment. The editing system includes a main body 31, an audio output unit 32 such as a speaker, a moving image display unit 33 as various displays, and an operation unit 35 including a keyboard and the like for the editor 34 to operate the system. The main body 31 includes an input / output control unit 37, a primary storage unit 38, a secondary storage unit (third storage unit) 39, a data management unit 40, an audio output processing unit 41, an image output processing unit 42, and an editing processing unit 43. Is provided. The input / output control unit 37 controls input / output of various data and commands with the video camera 12, the recording device 13, the auxiliary recording device 21, the audio output unit 32, and the moving image display unit 33. The primary storage unit 38 stores primary moving image data 6 (6a, 6b) and audio data 7a, 7b (moving images with sound before editing). The secondary storage unit 39 stores the secondary moving image data 8 obtained as a result of editing and the processed audio data 7c (edited moving image data with audio). The data management unit 40 controls writing and reading of data with respect to the primary storage unit 38 and the secondary storage unit 39. The audio output processing unit 41 performs processing necessary for the audio output unit 32 to actually output or reproduce the audio data 7a to 7c as audio. The image output processing unit 42 executes processing necessary for the primary video data 6 and the secondary video data 8 to be actually output or reproduced as a video in the video display unit 33. The editing processing unit 43 executes processing necessary for editing moving image data and processing audio data based on the instruction of the editor 34 input from the operation unit 35. The editor 34 can execute editing work with reference to the audio reproduced by the audio output unit 32 and the moving image reproduced on the moving image display unit 33. Such a system includes an operating system and a general video editing application (for example, EDIUS Pro.3 manufactured by Canopus Co., Ltd.) on hardware such as a general personal computer including a CPU, a RAM, a hard disk, and the like. It can be realized by mounting.

まず、ビデオカメラ１２の記憶部１２ａ、録音装置１３の記憶部１３ｂ、及び補助録音装置２１から、入出力制御部３７とデータ管理部４０を介して一次記憶部３８に一次動画データ６及び音声データ７ａ，７ｂに送って記憶させる。なお、一次動画データ６及び音声データ７ａ，７ｂを、記憶部１２ａ、記憶部１３ｂ、及び補助録音装置２１からいったん各種記憶媒体に格納し、これらの記憶媒体から編集システムにダウンロードしてもよい。 First, the primary moving image data 6 and audio data from the storage unit 12 a of the video camera 12, the storage unit 13 b of the recording device 13, and the auxiliary recording device 21 to the primary storage unit 38 via the input / output control unit 37 and the data management unit 40. Send to 7a, 7b for storage. Note that the primary moving image data 6 and the audio data 7a and 7b may be temporarily stored in various storage media from the storage unit 12a, the storage unit 13b, and the auxiliary recording device 21, and downloaded from these storage media to the editing system.

音声データについての処理を説明すると、録音装置１３で録音した音声データ７ａと補助録音装置２１で録音した音声データ７ｂを使用して、音声データ７ｃを作成する。具体的には、録音装置１３の音声データ７ａの出力が５０〜７０％で補助録音装置２１の音声データ７ｂの出力が３０〜５０％の割合となるように、音声データ７ａ，７ｂを混合して新たな音声データ７ｃを作成する。補助録音装置２１の音声データ７ｂはミキシング装置１７の出力端子１７ａの出力であるので、会場のノイズ（アンビエント）は含まれず各楽器の出力の割合も実際に会場にいた聴衆が聴いた音とは異なる。一方、録音装置１３の音声データ７ａは、補助録音装置２１の音声データ７ｂよりも音質は劣るがノイズ等の会場の臨場感のある音が含まれる。従って、音声データ７ａ，７ｂを一定の割合で混合することで、高音質で臨場感がある音声が音声データ７ｃとして得られる。得られた音声データ７ｃは二次記憶部３９に記憶される。最終的な音声データ７ｃの編集ないしは作成には、会場にあるミキシング装置１７の出力端子１７ａからの音声出力を使用するので、会場に別途ミキシング装置を持ち込む必要も、ミキシング装置のオペレータが出向く必要はない。従って、最小限の機器と人員によって高音質で臨場感のある音声が音声データ７ｃとして得られる。 Explaining the processing for the audio data, the audio data 7c is created using the audio data 7a recorded by the recording device 13 and the audio data 7b recorded by the auxiliary recording device 21. Specifically, the audio data 7a and 7b are mixed so that the output of the audio data 7a of the recording device 13 is 50 to 70% and the output of the audio data 7b of the auxiliary recording device 21 is 30 to 50%. New voice data 7c is created. Since the audio data 7b of the auxiliary recording device 21 is the output of the output terminal 17a of the mixing device 17, the noise (ambient) of the venue is not included, and the output ratio of each instrument is the sound actually heard by the audience at the venue. Different. On the other hand, the sound data 7a of the recording device 13 includes sounds with a sense of presence in the venue, such as noise, although the sound quality is inferior to the sound data 7b of the auxiliary recording device 21. Therefore, by mixing the audio data 7a and 7b at a certain ratio, high sound quality and realistic sound can be obtained as the audio data 7c. The obtained audio data 7c is stored in the secondary storage unit 39. The final audio data 7c is edited or created by using the audio output from the output terminal 17a of the mixing device 17 at the venue. Therefore, it is necessary to bring a mixing device to the venue separately, and the mixing device operator needs to visit. Absent. Therefore, high sound quality and realistic sound can be obtained as the sound data 7c with the minimum number of devices and personnel.

次に、第１及び第２コーラスの一次動画データ６ａ，６ｂを用いて新たに第１コーラスの二次動画データ８を編集ないしは作成する。本実施形態では、第１コーラスの一次動画データ６ａを部分的に第２コーラスの一次動画データ６ｂで置き換えることにより、第１コーラスの開始から終了までの二次動画データ８を作成する。ここで部分的な動画データの置き換えとは、前述した一次動画データが備える時間情報を参照することにより、第１コーラスの一次動画データ６ａのうち第１コーラスの開始を基準としたある時間領域の動画データを、第２コーラスの開始を基準とした同一の時間領域に含まれる第２コーラスの一次動画データ６ｂで置き換えることを意味する。 Next, the primary video data 8 of the first chorus is newly edited or created using the primary video data 6a and 6b of the first and second choruses. In the present embodiment, the primary video data 6a from the start to the end of the first chorus is created by partially replacing the primary video data 6a of the first chorus with the primary video data 6b of the second chorus. Here, partial replacement of moving image data refers to the time information included in the primary moving image data described above, so that a certain time region of the first chorus primary moving image data 6a is based on the start of the first chorus. This means that the moving image data is replaced with the first moving image data 6b of the second chorus included in the same time region with the start of the second chorus as a reference.

例えば、第１コーラスの一次動画データ６ａと第２コーラスの一次動画データ６ｂを動画表示部５０に表示させ、音声出力部３２から第１コーラスの音声データ６ｃを出力させて第１コーラスの一次動画データ６ａを部分的に第２コーラスの動画データ６ｂに置き換える作業を行う。この際、第１コーラスの一次動画データ６ａの開始（演奏開始後１分３０秒後である第１コーラスの「歌い出し」におけるボーカリスト１の動画）、第２コーラスの一次データ６ｂの開始（演奏開始後２分３０秒後である第２コーラスの「歌い出し」におけるキーボード奏者５の動画）、及び第１コーラスの音声データ６ｃの開始（演奏開始後１分３０秒後である第１コーラスの「歌い出し」の音声）を一致させ、第１コーラスの一次動画データ６ａ、第２コーラスの一次データ６ｂ、及び音声データ６ｃを同期させて再生させる。第１及び第２コーラスの動画と第１コーラスの音声とを参照して、編集を行う。図７はこの編集作業中における動画表示部５０の表示画面の一例を示す。この表示画面は、第１と第２コーラスの一次動画データ６ａ，６ｂを切り換え可能に表示する再生領域６１、編集中の二次動画データ８（第１コーラス）の再生領域６２、第１及び２コーラスの一次動画データ６ａ．６ｂの再生に関する操作のアイコンを含む領域６３、二次動画データ８の再生に関する操作のアイコンを含む領域６４、及び音声の再生に関する操作のアイコンを含む領域６５、及び領域６２に表示する動画データの切り換え、動画データの削除、追加、置き換え等の操作に関するアイコンを備える。以下、編集の具体例を説明する。 For example, the first chorus primary moving image data 6a and the second chorus primary moving image data 6b are displayed on the moving image display unit 50, and the first chorus audio data 6c is output from the audio output unit 32 to generate the first chorus primary moving image. An operation of partially replacing the data 6a with the second chorus moving image data 6b is performed. At this time, the start of the primary chorus data 6a of the first chorus (the video of the vocalist 1 in the “singing” of the first chorus 1 minute 30 seconds after the start of the performance), and the start of the primary data 6b of the second chorus (the performance The video of the keyboard player 5 in the “singing out” of the second chorus 2 minutes and 30 seconds after the start, and the start of the audio data 6c of the first chorus (the first chorus 1 minute 30 seconds after the start of the performance) The first chorus primary moving picture data 6a, the second chorus primary data 6b, and the voice data 6c are reproduced in synchronization. Editing is performed with reference to the moving images of the first and second choruses and the sound of the first chorus. FIG. 7 shows an example of a display screen of the moving image display unit 50 during the editing operation. This display screen includes a playback area 61 for switching the primary video data 6a and 6b of the first and second choruss so as to be switchable, a playback area 62 for the secondary video data 8 being edited (first chorus), first and second Chorus primary video data 6a. An area 63 including an operation icon related to reproduction of 6b, an area 64 including an operation icon related to reproduction of the secondary moving image data 8, an area 65 including an operation icon related to audio reproduction, and the moving image data to be displayed in the area 62 Icons relating to operations such as switching, deletion, addition, and replacement of moving image data are provided. A specific example of editing will be described below.

図５を参照すると、まず、第１コーラスの１回目のメロディＡ（第１コーラスの開始時点から２０秒後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後１０秒から２０秒後までの時間領域に含まれる動画データを、第２コーラスの１回目のメロディＡの同一の時間領域、すなわち第２コーラス開始後１０秒から２０秒までの時間領域の一次動画データ（キーボード奏者５の映像）６ｂに置き換える。また、第１コーラスの２回目のメロディＡ（第１コーラスの開始後２０秒後から４０秒後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後３０秒から４０秒までの時間領域に含まれる動画データを、第２コーラスの２回目のメロディＡの同一の時間領域、すなわち第２コーラス開始後２０秒から４０秒までの時間領域の一次動画データ（ベーシスト３の映像）６ｂに置き換える。さらに、第１コーラスのメロディＢ（第１コーラスの開始後４０秒後から１分後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後５０秒から１分までの時間領域に含まれる動画データを、第２コーラスのメロディＢの同一の時間領域、すなわち第２コーラス開始後５０秒から１分までの時間領域の一次動画データ（ドラマー４の映像）６ｂに置き換える。さらにまた、第１コーラスのサビ（第１コーラスの開始後１分後から１分３０秒後まで）の一次動画データ（ボーカリスト１の映像）６ａのうち、第１コーラス開始後１分２０秒から１分３０秒までの時間領域に含まれる動画データを、第２コーラスのメロディＢの同一の時間領域、すなわち第２コーラス開始後１分２０秒から１分３０秒までの時間領域の一次動画データ（ギタリスト２の映像）６ｂに置き換える。以上の手順で得られた第１コーラスの二次動画データ８は、第１コーラスの開始から終了までの音声データ７ｃと共に二次記憶部３９に記憶される。また、二次記憶部３９に記憶された第１コーラスの二次動画データ８と第１コーラスの音声データ７ｃ、すなわち編集済みの音声付動画データは、外部の機器に出力してもよく、各種記録媒体に記録してもよく、インターネット等の通信回線を通じて配信してもよい。 Referring to FIG. 5, first, among the first moving picture data (video of vocalist 1) 6 a of the first melody A (from the first chorus start time to 20 seconds later) 6 a after the first chorus start 10. The moving image data included in the time region from second to 20 seconds later is the same time region of the first melody A of the second chorus, that is, the first moving image data in the time region from 10 seconds to 20 seconds after the start of the second chorus. (Video of keyboard player 5) Replace with 6b. In addition, in the first moving image data (video of vocalist 1) 6a of the second melody A of the first chorus (from 20 seconds to 40 seconds after the start of the first chorus), from 30 seconds to 40 after the start of the first chorus. The moving image data included in the time region up to second is the same time region of the second melody A of the second chorus, that is, the primary moving image data of the time region from 20 seconds to 40 seconds after the start of the second chorus (bassist 3 (Video) Replace with 6b. Further, in the primary video data (video of vocalist 1) 6a of the first chorus melody B (from 40 seconds to 1 minute after the start of the first chorus), from 50 seconds to 1 minute after the start of the first chorus. The moving image data included in the time region is replaced with the same time region of the second chorus melody B, that is, primary moving image data (video of the drummer 4) 6b in the time region from 50 seconds to 1 minute after the start of the second chorus. Furthermore, in the first chorus rust (from 1 minute after the start of the first chorus to 1 minute 30 seconds) of the primary video data (video of the vocalist 1) 6a, from 1 minute 20 seconds after the start of the first chorus. The moving image data included in the time region up to 1 minute 30 seconds is the same time region of melody B of the second chorus, that is, the primary moving image data in the time region from 1 minute 20 seconds to 1 minute 30 seconds after the start of the second chorus. (Image of guitarist 2) Replace with 6b. The secondary video data 8 of the first chorus obtained by the above procedure is stored in the secondary storage unit 39 together with the audio data 7c from the start to the end of the first chorus. The first chorus secondary video data 8 and the first chorus audio data 7c stored in the secondary storage unit 39, that is, edited video data with audio may be output to an external device. You may record on a recording medium and may distribute via communication lines, such as the internet.

以上の手順で得られた第１コーラスの二次動画データ８を、第１コーラスの音声データ７ｃと共に再生すると、第１コーラスの歌と演奏に合わせてボーカリスト１の動作が表示され、その中にキーボード奏者５、ベーシスト３、ドラマー４、及びギタリスト２の順でその動作が挿入される動画が表示される。前述のように第１コーラスと第２コーラスでキーボード奏者５等の動作は実質的に同一であるので、映像に現れるボーカリスト１の動作とキーボード奏者５等の動作の両方が音声と同じ第１コーラスのものであると認識する。換言すれば、鑑賞者は第１コーラスの音声の録音と同時に多数のビデオカメラでボーカリスト１とキーボード奏者等を撮影して編集した映像を見ているものと認識する。また、二次動画データ８は１台のビデオカメラでパーン等を多用して撮影対象を切り換えたものでないので、鑑賞者にとっては違和感がなく自然な映像として認識される。なお、第１コーラスの二次動画データ８と第１コーラスの音声データ７ｃの前後に、前奏、第１間奏、第２間奏、大サビ、又は後奏の一次動画データ６及びそれに対応する音声データ７ｃを追加してもよい。 When the first chorus secondary video data 8 obtained by the above procedure is reproduced together with the first chorus audio data 7c, the operation of the vocalist 1 is displayed in accordance with the first chorus song and performance, A moving image in which the operation is inserted in the order of the keyboard player 5, the bassist 3, the drummer 4, and the guitarist 2 is displayed. As described above, since the operations of the keyboard player 5 and the like are substantially the same in the first chorus and the second chorus, both the operation of the vocalist 1 and the operation of the keyboard player 5 and the like appearing in the video are the same as the sound. Recognize that In other words, it is recognized that the viewer is viewing the edited video by photographing the vocalist 1 and the keyboard player with a number of video cameras at the same time as recording the sound of the first chorus. In addition, since the secondary moving image data 8 is not one in which a single video camera uses a lot of panning or the like to switch the photographing object, it is recognized as a natural image without any sense of incongruity for the viewer. Before and after the first chorus secondary video data 8 and the first chorus audio data 7c, the primary video data 6 and the corresponding audio data of the prelude, the first interlude, the second interlude, the large chorus, or the postlude. 7c may be added.

第２コーラスの撮影時には、キーボード奏者５、ベーシスト３、ドラマー４、及びギタリスト２の順で撮影対象を切り換えるので、その際にはビデオカメラ１２でパーン等を行う必要があり、これらの部分の一次動画データ６ｂ（第２コーラス開始後２０秒前後、４０秒前後、及び１分前後）にはパーン等の様子が映っていることになる。しかし、パーン等に要する時間は１秒程度に過ぎないので、これらの部分を避けて使用すれば実用上全く問題がない。 When shooting the second chorus, the shooting target is switched in the order of the keyboard player 5, the bassist 3, the drummer 4, and the guitarist 2. In this case, it is necessary to perform panning or the like with the video camera 12, and these parts are primary. In the moving image data 6b (around 20 seconds after the start of the second chorus, around 40 seconds, and around 1 minute), a state of panning or the like is reflected. However, since the time required for the panning is only about 1 second, there is no problem in practical use if these parts are avoided.

次に、編集工程におけるずれの修正について説明する。楽曲が実際に演奏される際には、第１及び第２コーラス間にテンポ（楽曲を演奏する速さ）に相違が生じる場合がある。この第１及び第２コーラス間のテンポの相違は第１コーラスの特定の時間領域における音声データ７ｃで表される音声と、第２コーラスの同一の時間領域における一次動画データ６ｂに表される演奏者の動作に「ずれ」を生じさせる。 Next, correction of deviation in the editing process will be described. When the music is actually played, there may be a difference in tempo (speed of playing the music) between the first and second choruses. The difference in tempo between the first and second choruses is the voice represented by the voice data 7c in a specific time domain of the first chorus and the performance represented by the primary moving picture data 6b in the same time domain of the second chorus. Cause a shift in the movement of the person.

図６の例では、第１コーラスの音声データ７ｃでは第１コーラス開始から１分２０秒後（図５を参照して説明したように第１コーラスの一次動画データ６ａを第２コーラスの一次動画データ６ｂで置き換える最初の時間領域の開始時刻）にギターのストローク奏法による音が発せられている。この場合、第２コーラスの一次動画データ６ｂのうち、置き換えに使用される時間領域の最初の静止画像データ５１（第２コーラス開始から１分２０秒後の静止画像データ５１）がストローク奏法を行うギタリスト２の手がちょうどギターの弦を通過していることを表すもの（第ｎフレーム）であれば、音声と動画の間に「ずれ」はない。しかし、この最初の静止画像データ５１が、ストローク奏法を行うギタリスト２の手がギターの弦に到達していない状態を表すもの（第ｎ−２フレーム）であれば、２個後の第ｎフレームを置き換えに使用される時間領域の最初の静止画像データ５１に設定し直す。逆に、置き換えに使用される時間領域の最初の静止画像データ５１が、ストローク奏法を行うギタリスト２の手が既にギターの弦を通過済みであることを表すもの（第ｎ＋２フレーム）であれば、２個前の第ｎフレームを置き換えに使用される時間領域の最初の静止画像データ５１に設定し直す。このような修正を実行することにより、音声データ７ｃによる音声と、第１コーラスの二次動画データ８のうち第２コーラスの一次動画データ６ｂを挿入した部分での演奏者の動作との間のずれが解消され、自然な音声付動画となる。 In the example of FIG. 6, in the first chorus audio data 7c, 1 minute and 20 seconds after the start of the first chorus (as described with reference to FIG. 5, the first chorus primary moving image data 6a is converted to the second chorus primary moving image. At the start time of the first time region to be replaced with the data 6b), a guitar stroke is produced. In this case, the first still image data 51 (still image data 51 1 minute and 20 seconds after the start of the second chorus) in the time domain used for the replacement of the primary moving image data 6b of the second chorus performs the stroke performance. If the guitarist 2's hand just indicates that it is passing through the guitar string (the nth frame), there is no “shift” between the sound and the moving image. However, if this first still image data 51 represents a state (n-2 frame) in which the hand of the guitarist 2 performing the stroke performance does not reach the string of the guitar, the 2nd nth frame Is reset to the first still image data 51 in the time domain used for replacement. Conversely, if the first still image data 51 in the time domain used for replacement represents that the hand of the guitarist 2 performing the stroke performance has already passed the guitar string (the (n + 2) th frame), The previous n-th frame is reset to the first still image data 51 in the time domain used for replacement. By performing such correction, the sound between the sound data 7c and the player's action at the portion of the first chorus secondary moving image data 8 where the second chorus primary moving image data 6b is inserted. The shift is eliminated, and the video comes with a natural sound.

本発明は前記実施形態に限定されず種々の変形が可能である。例えば、音楽演奏シーンの撮影には最少で１台のビデオカメラがあればよいが、複数台のカメラを使用すればより複雑な音声付動画を作成できる。ビデオカメラと録音装置が一体であってもよい。録音装置１３で録音した音声データ７ａと補助録音装置２１で録音した音声データ７ｂを別途ミキシング装置で混合させた後に編集システムの一次記憶部３８に記憶させてもよい。また、音声データは録音装置１３と補助録音装置２１で録音したものを混合せずにそのまま使用してもよい。前記実施形態では第１コーラスの音声付動画を作成しているが、第１コーラス撮影した演奏者の動画を第２コーラスで撮影したボーカリスト１の動画に挿入して第２コーラスの音声付動画を作成してもよい。さらに、アナログの媒体に記録した音声データと動画データに記憶し、アナログ用の編集装置を使用しても本発明を実施できる。 The present invention is not limited to the above-described embodiment, and various modifications are possible. For example, at least one video camera is sufficient for shooting a music performance scene, but more complex moving images with audio can be created by using a plurality of cameras. The video camera and the recording device may be integrated. The audio data 7a recorded by the recording device 13 and the audio data 7b recorded by the auxiliary recording device 21 may be separately mixed by a mixing device and then stored in the primary storage unit 38 of the editing system. The audio data may be used as it is without mixing the data recorded by the recording device 13 and the auxiliary recording device 21. In the above-described embodiment, the first chorus moving image with sound is created. However, the player's moving image taken with the first chorus is inserted into the vocalist 1 moving image taken with the second chorus, and the second chorus moving image with sound is added. You may create it. Furthermore, the present invention can also be implemented by storing audio data and moving image data recorded on an analog medium and using an analog editing device.

前記実施形態ではボーカリスト１が１人の場合を例に説明したが、ビデオカメラ１２のある程度ズームアップしても画面内に収まる限り、複数のボーカリストがいてもよい。また、ボーカリスト１が楽器を演奏していても問題はない。さらに、前記実施形態ではギタリスト２等の演奏者が複数いる場合を例に説明したが、演奏者は少なくとも１人いればよい。また、複数のコーラスでの動作が同一又は類似である限り、ダンサーやバックコーラスの動画をボーカリストの動画に挿入してもよい。本発明はロックやポップスに限定されず、ジャズやクラシックを含む種々の分野の楽曲に適用できる。 In the above-described embodiment, the case where there is one vocalist 1 has been described as an example, but there may be a plurality of vocalists as long as the video camera 12 can be zoomed up to some extent and still fit within the screen. There is no problem even if the vocalist 1 is playing an instrument. Furthermore, although the case where there are a plurality of players such as the guitarist 2 has been described as an example in the above embodiment, it is sufficient that there is at least one player. Also, as long as the actions in a plurality of choruses are the same or similar, a dancer or back chorus movie may be inserted into the vocalist movie. The present invention is not limited to rock and pop, but can be applied to music in various fields including jazz and classical music.

本発明の実施形態にかかる音声付動画データの作成方法における音楽演奏シーンの収録工程を説明するための模式図。The schematic diagram for demonstrating the recording process of the music performance scene in the production method of the moving image data with audio | voice concerning embodiment of this invention. 収録される楽曲を示すタイムチャート。A time chart showing the music to be recorded. 第１コーラス及び第２コーラスの収録を説明するためのタイムチャート。The time chart for demonstrating recording of a 1st chorus and a 2nd chorus. 本発明の実施形態にかかる音声付動画データの作成方法における編集工程に使用する編集システムを示す模式図。The schematic diagram which shows the edit system used for the edit process in the production method of the moving image data with audio | voice concerning embodiment of this invention. 動画データの編集を示す模式図。The schematic diagram which shows edit of moving image data. 動画データと音声データのずれの修正を説明するための模式図。The schematic diagram for demonstrating correction of the shift | offset | difference of moving image data and audio | voice data. 編集画面の一例を示す模式図。The schematic diagram which shows an example of an edit screen.

Explanation of symbols

１ボーカリスト（主演者）
２ギタリスト（副演者）
３ベーシスト（副演者）
４ドラマー（副演者）
５キーボード奏者（副演者）
６，６ａ，６ｂ一次動画データ
７ａ，７ｂ，７ｃ音声データ
８二次動画データ
１１ステージ
１２ビデオカメラ
１２ａ記憶部（第１の記憶部）
１３録音装置
１３ａステレオマイク
１３ｂ記憶部（第２の記憶部）
１４マイク
１５アンプ
１６中継器
１７ミキシング装置
１７ａ出力端子
１８オペレータ
１９スピーカ
２１補助記憶装置
２２スタッフ
３１本体
３２音声出力部
３３動画表示部
３４編集者
３５操作部
３７入出力制御部
３８一次記憶部
３９二次記憶部（第３の記憶部）
４０データ管理部
４１音声出力処理部
４２画像出力処理部
４３編集処理部
５１静止画像データ 1 Vocalist (leader)
2 Guitarists (actors)
3 Bassist (Assistant)
4 Drummer (Assistant)
5 Keyboard player (secondary performer)
6, 6a, 6b Primary video data 7a, 7b, 7c Audio data 8 Secondary video data 11 Stage 12 Video camera 12a Storage unit (first storage unit)
13 Recording device 13a Stereo microphone 13b Storage unit (second storage unit)
DESCRIPTION OF SYMBOLS 14 Microphone 15 Amplifier 16 Repeater 17 Mixing device 17a Output terminal 18 Operator 19 Speaker 21 Auxiliary storage device 22 Staff 31 Main body 32 Audio | voice output part 33 Movie display part 34 Editor 35 Operation part 37 Input / output control part 38 Primary storage part 39 Second Next storage unit (third storage unit)
40 Data Management Unit 41 Audio Output Processing Unit 42 Image Output Processing Unit 43 Editing Processing Unit 51 Still Image Data

Claims

A method for creating sound-added moving image data of a music performance scene in which music pieces including a plurality of choruses that are the same or similar to each other are played by at least one lead performer and at least one supplementary performer,
Recording the recording of the music performance scene and recording it as primary video data, and recording the music being played as audio data;
An editing step of editing the primary video data and creating secondary video data to be played back in synchronization with the audio data,
The recording process includes
A first photographing step of photographing an action of the star from the start to the end of one of the plurality of choruses with a video camera, and storing the action as first primary moving image data in a first storage unit;
A recording step of recording the one chorus with a recording device simultaneously with the first photographing step, and storing the chorus as the audio data in a second storage unit;
A second shooting step of shooting an action of the performer in another chorus of the plurality of choruses with a video camera and storing the action as second primary moving image data in the first storage unit, and
The first primary moving image data and the audio data each include time information that is an elapsed time from the same time point,
The editing process includes:
Based on the time information, the first primary moving image data of one or more time regions based on the start of the first chorus is converted into the same time region based on the start of the other chorus. Creating the secondary video data corresponding from the start to the end of the one chorus by replacing with the second primary video data;
And storing the secondary moving image data in a third storage unit together with the audio data from the start to the end of the one chorus.

The video camera for photographing the action of the lead performer in the first photographing step is the same as the video camera for photographing the action of the assistant performer in the second photographing step. A method of creating moving image data with audio of the music performance scene described.

The method of creating moving image data with audio according to claim 1 or 2, wherein the main performer is a singer and the subsidiary performer is a musical instrument player.

The first and second primary moving image data includes frame data that is a plurality of still image data continuous in time series,
In the step of creating the secondary moving image data,
Based on the time information, the first frame data of the second moving image data in the time domain to be replaced with the first moving image data is compared with audio data at the start time of the time domain,
If there is a discrepancy between the performance of the performer represented by the first frame data and the sound represented by the audio data at the start time, one or more before the first frame data or 4. The moving image data with audio according to claim 1, wherein the shift is corrected by setting subsequent frame data as the first frame data in the time domain. 5. How to make.