JP4890637B1 - Content editing apparatus and method, and program - Google Patents

Content editing apparatus and method, and program Download PDF

Info

Publication number
JP4890637B1
JP4890637B1 JP2010227123A JP2010227123A JP4890637B1 JP 4890637 B1 JP4890637 B1 JP 4890637B1 JP 2010227123 A JP2010227123 A JP 2010227123A JP 2010227123 A JP2010227123 A JP 2010227123A JP 4890637 B1 JP4890637 B1 JP 4890637B1
Authority
JP
Japan
Prior art keywords
image
audio
content
reproduction
supply
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010227123A
Other languages
Japanese (ja)
Other versions
JP2012084957A (en
Inventor
慎司 村越
Original Assignee
株式会社MoSo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社MoSo filed Critical 株式会社MoSo
Priority to JP2010227123A priority Critical patent/JP4890637B1/en
Application granted granted Critical
Publication of JP4890637B1 publication Critical patent/JP4890637B1/en
Publication of JP2012084957A publication Critical patent/JP2012084957A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

【課題】だれでも簡単に高度な編集を行うことができるようにする。
【解決手段】素材画像供給部21は、予め再生する順番に並べられた画像データを蓄積し、操作入力部23から供給される操作信号に基づいて、画像データを画像再生部24に供給し、画像再生部24が、画像データをデコードして再生する。音声供給部22は、予め指定された音声データを音声再生部25に供給し、音声再生部25は、音声データをデコードして再生する。編集操作処理が開始されると、ユーザは、スピーカから出力される音声や楽曲を聴きながら、ディスプレイに表示される再生された素材画像を視て、素材画像を切り替えるタイミングを、操作入力部23を介して指定し、操作記録部26は、操作入力部23から出力される操作信号であって、素材画像の切り替えを指令する操作信号を時刻に対応付けて、操作情報として記録する。
【選択図】図1
[PROBLEMS] To enable anyone to easily perform advanced editing.
A material image supply unit (21) accumulates image data arranged in the order of reproduction in advance, supplies image data to an image reproduction unit (24) based on an operation signal supplied from an operation input unit (23), The image reproduction unit 24 decodes and reproduces the image data. The audio supply unit 22 supplies audio data designated in advance to the audio reproduction unit 25, and the audio reproduction unit 25 decodes and reproduces the audio data. When the editing operation process is started, the user views the reproduced material image displayed on the display while listening to the sound and music output from the speaker, and sets the timing for switching the material image using the operation input unit 23. The operation recording unit 26 records an operation signal that is an operation signal output from the operation input unit 23 and that instructs switching of the material image as operation information in association with time.
[Selection] Figure 1

Description

本発明は、コンテンツ編集装置および方法、並びにプログラムに関し、特に、だれでも簡単に高度な編集を行うことができるようにするコンテンツ編集装置および方法、並びにプログラムに関する。   The present invention relates to a content editing apparatus, method, and program, and more particularly, to a content editing apparatus, method, and program that enable anyone to easily perform advanced editing.

従来より、複数の素材となる画像をつなぎ合わせて1つの動画コンテンツを生成する、コンテンツの編集のための技術が提案されている。また、カムコーダやレコーダの低価格化などにより、一般家庭においても、気軽に動画コンテンツの編集を行うことができるソフトウェアなどのツールも普及し始めている。   2. Description of the Related Art Conventionally, a technology for content editing has been proposed in which a plurality of images as materials are connected to generate one moving image content. Also, due to the price reduction of camcorders and recorders, tools such as software that can easily edit video content are also becoming popular in ordinary households.

コンテンツの編集を行うにあたり、画像や音声に係る情報を表示する際には、数値や画像などをそのまま表示するだけでなく、例えば、タイムライン表示するなど、視覚的に分かりやすい表示方式が工夫されている。   When editing content, when displaying information related to images and sound, not only numerical values and images are displayed as they are, but also a display method that is easy to understand visually, such as timeline display, has been devised. ing.

タイムライン表示を用いたコンテンツの編集では、通常、横軸が時間とされたGUI画面などにおいて、複数の素材となる画像データのそれぞれのIN点、OUT点を指定するなどして、1つの動画コンテンツが生成されていく。   In content editing using the timeline display, one video is usually specified by specifying the IN point and OUT point of image data as a plurality of materials on a GUI screen or the like where the horizontal axis is time. Content is generated.

従来より、タイムラインの表示として音声信号や画素の輝度値の変化などの波形の画像を表示する例が知られている。   Conventionally, an example of displaying a waveform image such as an audio signal or a change in luminance value of a pixel is known as a timeline display.

また、タイムライン表示エリア内に字幕設定ボックスを割り付けることで、字幕を再生している期間が適切か否かを容易に判断でき、1つの字幕用データを、複数の人で作成できるようにする技術も提案されている(例えば、特許文献1参照)。   Also, by assigning a subtitle setting box in the timeline display area, it is possible to easily determine whether or not the subtitle playback period is appropriate, so that one subtitle data can be created by multiple people. Technology has also been proposed (see, for example, Patent Document 1).

特開2010−157961号公報JP 2010-157961 A

しかしながら、従来の技術のように、時間軸が設定されたタイムライン表示を基に素材となる画像をつなぎ合わせていく方式では、プロのエディターのような高度な編集を行うことができなかった。   However, as in the prior art, the method of connecting images as materials based on a timeline display with a time axis set cannot perform advanced editing like a professional editor.

すなわち、素材となる画像をBGMなどに合わせて切り替えるなどの編集をうまく行うことができなかった。このため、できあがった動画コンテンツを再生したとき、いわゆる素人くさい作品となってしまうことが多かった。   That is, editing such as switching the image as a material in accordance with BGM or the like cannot be performed well. For this reason, when the produced video content is reproduced, it is often a so-called amateurish work.

本発明はこのような状況に鑑みてなされたものであり、だれでも簡単に高度な編集を行うことができるようにするものである。   The present invention has been made in view of such a situation, and makes it possible for anyone to easily perform advanced editing.

本発明の一側面は、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第1の音声供給手段と、前記第1の音声供給手段により供給された音声データを再生する第1の音声再生手段と、前記第1の音声再生手段により再生された音声を出力する出力手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第1の素材画像供給手段と、前記第1の素材画像供給手段により供給された画像データを再生する第1の画像再生手段と、前記第1の画像再生手段により再生された画像データを表示する画像表示手段と、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、コンテンツファイル生成処理を実行する場合、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第2の音声供給手段と、前記第2の音声供給手段により供給された音声データを再生する第2の音声再生手段と、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第2の素材画像供給手段と、前記第2の素材画像供給手段により供給された画像データを再生する第2の画像再生手段と、前記第2の音声再生手段および第2の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段とを備えるコンテンツ編集装置である。 One aspect of the present invention is a content editing apparatus that generates content composed of an image and audio, and when executing content editing operation processing, the first aspect of supplying audio data of audio configuring the content An audio supply means; a first audio reproduction means for reproducing the audio data supplied by the first audio supply means; an output means for outputting the audio reproduced by the first audio reproduction means; The image data of a plurality of material images, which are stored in the order in which they are stored, and which are the material of the images constituting the content, are switched in order based on a switching instruction from the user in synchronization with the supply of the audio data. first and material image supply means, the first image reproducing means for reproducing the image data supplied by said first material image supply means, the first image to be Image display means for displaying the image data reproduced by the raw device, in association with the time at which the operation is performed according to the instruction of the switching by the user to the time elapsed from the time when the supply of the audio data has started operation Operation information recording means for recording as information, second audio supply means for supplying audio data of audio constituting the content, which is the target of the content editing operation processing , when executing content file generation processing, Second audio reproduction means for reproducing the audio data supplied by the second audio supply means, and images of the contents constituting the content subject to the content editing operation processing accumulated in advance in the reproduction order. The operation information recorded in the operation information recording means is synchronized with the supply of the audio data, and the image data of a plurality of material images serving as materials. And a second material image supply means for supplying the basis, and the second image reproducing means for reproducing the image data supplied by said second material image supply means, the second audio reproduction unit and the second A content editing apparatus comprising capture means for capturing audio and images reproduced by an image reproduction means, and encoding means for encoding the captured audio and image data to generate the content file.

本発明の一側面は、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置のコンテンツ編集方法であって、コンテンツ編集操作処理を実行する場合、第1の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、第1の音声再生手段が、前記第1の音声供給手段により供給された音声データを再生し、出力手段が、前記第1の音声再生手段により再生された音声を出力し、第1の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給し、第1の画像再生手段が、前記第1の素材画像供給手段により供給された画像データを再生し、画像表示手段が、前記第1の画像再生手段により再生された画像データを表示し、操作情報記録手段が、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録し、コンテンツファイル生成処理を実行する場合、第2の音声供給手段が、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給し、第2の音声再生手段が、前記第2の音声供給手段により供給された音声データを再生し、素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給し、第2の画像再生手段が、前記第2の素材画像供給手段により供給された画像データを再生し、キャプチャ手段が、前記第2の音声再生手段および第2の画像再生手段により再生された音声および画像をキャプチャし、エンコード手段が、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するステップを含むコンテンツ編集方法である。 One aspect of the present invention is a content editing method of a content editing apparatus that generates content composed of an image and audio, and when executing content editing operation processing, a first audio supply means The audio data of the constituent audio is supplied, the first audio reproducing means reproduces the audio data supplied by the first audio supplying means , and the output means is reproduced by the first audio reproducing means . Audio is output, and the first material image supply means synchronizes the image data of the plurality of material images, which are stored in advance in the order of reproduction, as the material of the image constituting the content, with the supply of the audio data. and, supplying switch to turn on the basis of a command of the switching by the user, the first image reproducing means, the image data supplied by said first material image supply means re And image display means, the first display image data reproduced by the image reproducing means, the operation information recording unit, supplies the time at which the operation is performed according to the instruction of the switching by the user of the audio data When the content file generation processing is executed in association with the elapsed time from the time when the content is started and the content file generation processing is executed, the second audio supply means configures the content that is the target of the content editing operation processing. Audio data for the audio to be supplied, the second audio reproduction means reproduces the audio data supplied by the second audio supply means , and the material image supply means is stored in the order of reproduction in advance. image data of a plurality of material image is an image of the material constituting the content that is the subject of the content editing operation processing, in synchronization with the supply of the audio data And supplies on the basis of the operation information recording unit recording operation information, the second image reproducing means reproduces the image data supplied by said second material image supply means, capture means, said second Content that includes capturing audio and images reproduced by the audio reproduction means and the second image reproduction means , and encoding means for encoding the captured audio and image data to generate a file of the content Editing method.

本発明の一側面は、コンピュータを、画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データを供給する第1の音声供給手段と、前記第1の音声供給手段により供給された音声データを再生する第1の音声再生手段と、前記第1の音声再生手段により再生された音声を出力する出力手段と、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第1の素材画像供給手段と、前記第1の素材画像供給手段により供給された画像データを再生する第1の画像再生手段と、前記第1の画像再生手段により再生された画像データを表示する画像表示手段と、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、コンテンツファイル生成処理を実行する場合、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第2の音声供給手段と、前記第2の音声供給手段により供給された音声データを再生する第2の音声再生手段と、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第2の素材画像供給手段と、前記第2の素材画像供給手段により供給された画像データを再生する第2の画像再生手段と、前記第2の音声再生手段および第2の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段とを備えるコンテンツ編集装置として機能させるプログラムである。 One aspect of the present invention is a content editing apparatus that generates content composed of an image and audio from a computer, and supplies audio data that constitutes the content when performing content editing operation processing. A first audio supply means; a first audio reproduction means for reproducing the audio data supplied by the first audio supply means; and an output means for outputting the audio reproduced by the first audio reproduction means. The image data of a plurality of material images, which are stored in advance in the order of reproduction and serve as the material of the image constituting the content, are synchronized with the supply of the audio data in order based on a switching instruction by the user. a first material image supply means for supplying switch, the first image reproducing means for reproducing the image data supplied by said first material image supply means The image display means for displaying the image data reproduced by the first image reproducing means, the elapsed time of the time at which the operation is performed according to the instruction of the switching by the user from the time the feed was started of the audio data Operation information recording means for recording as operation information in association with the second audio, and when executing a content file generation process, a second audio for supplying audio data constituting the content targeted for the content editing operation process A supply unit; a second audio reproduction unit that reproduces the audio data supplied by the second audio supply unit; and the content that has been stored in advance and that is the target of the content editing operation process. The image data of a plurality of material images, which are the material of the image constituting the image, is synchronized with the supply of the audio data in the operation information recording means. A second material image supply means for supplying, based on the recorded operation information, the second image reproducing means for reproducing the image data supplied by said second material image supply means, the second audio reproduction Content editing apparatus comprising: capture means for capturing sound and images reproduced by the means and second image reproduction means; and encoding means for encoding the captured sound and image data to generate the content file It is a program that functions as

本発明一側面においては、コンテンツ編集操作処理を実行する場合、前記コンテンツを構成する音声の音声データが供給され、前記供給された音声データが再生され、前記再生された音声が出力され、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データが、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給され、前記供給された画像データが再生され、前記再生された画像データが表示され、前記ユーザによる切り替えの指令に係る操作が行われた時刻が前記音声データの供給が開始された時刻からの経過時刻に対応づけられて操作情報として記録され、コンテンツファイル生成処理を実行する場合、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データが供給され、前記供給された音声データが再生され、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データが、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給され、前記供給された画像データが再生され、前記再生された音声および画像がキャプチャされ、前記キャプチャされた音声および画像のデータがエンコードされて前記コンテンツのファイルが生成される。 In one aspect of the present invention, when content editing operation processing is executed, audio data of audio constituting the content is supplied, the supplied audio data is played back, the played back audio is output, and played back in advance The image data of a plurality of material images, which are stored in the order in which they are stored, are used as the image material constituting the content, and are switched in order based on a switching instruction from the user in synchronization with the supply of the audio data. The supplied image data is reproduced, the reproduced image data is displayed, and the time when the operation related to the switching instruction by the user is performed has elapsed from the time when the supply of the audio data is started. time is recorded as the operation information associated with the, if you run a content file generation process, pairs of the content editing operation processing Constituting the content that is the supplied audio data of voice, the supplied audio data is reproduced, stored in the order to be played in advance, forming the content that is the subject of the content editing operation processing Image data of a plurality of material images serving as material of the image to be played is supplied based on the operation information recorded in the operation information recording means in synchronization with the supply of the audio data, and the supplied image data is reproduced. The reproduced sound and image are captured, and the captured sound and image data are encoded to generate the content file.

本発明によれば、だれでも簡単に高度な編集を行うことができる。   According to the present invention, anyone can easily perform advanced editing.

本発明の一実施の形態に係るコンテンツ編集装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the content editing apparatus which concerns on one embodiment of this invention. コンテンツ編集装置における編集操作処理の際に表示されるGUIの画面の例を示す図である。It is a figure which shows the example of the screen of GUI displayed in the case of the edit operation process in a content editing apparatus. 従来のタイムライン表示による編集の例を説明する図である。It is a figure explaining the example of the edit by the conventional timeline display. 本発明による編集の例を説明する図である。It is a figure explaining the example of the edit by this invention. 編集操作処理の例を説明するフローチャートである。It is a flowchart explaining the example of an edit operation process. コンテンツファイル作成処理の例を説明するフローチャートである。It is a flowchart explaining the example of a content file creation process. パーソナルコンピュータの構成例を示すブロック図である。And FIG. 16 is a block diagram illustrating a configuration example of a personal computer.

以下、図面を参照して、本発明の実施の形態について説明する。図1は、本発明の一実施の形態に係るコンテンツ編集装置10の構成例を示すブロック図である。   Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of a content editing apparatus 10 according to an embodiment of the present invention.

同図の例では、コンテンツ編集装置10に、素材画像供給部21、音声供給部22、操作入力部23、画像再生部24、音声再生部25、操作記録部26、タイマ27が設けられている。また、コンテンツ編集装置10に、キャプチャ処理部31、エンコーダ32、画像表示部33、および音声出力部34が設けられている。   In the example shown in the figure, the content editing apparatus 10 is provided with a material image supply unit 21, an audio supply unit 22, an operation input unit 23, an image reproduction unit 24, an audio reproduction unit 25, an operation recording unit 26, and a timer 27. . Further, the content editing apparatus 10 is provided with a capture processing unit 31, an encoder 32, an image display unit 33, and an audio output unit 34.

コンテンツ編集装置10は、音声や楽曲にのせて素材となる画像を順次切り替えたコンテンツのデータ(コンテンツファイルと称することにする)を生成するようになされている。最初に、ユーザは、コンテンツ編集装置10を用いて音声や楽曲を聴きながら、素材となる画像を順次切り替える操作を行う編集操作処理を行う。その後、音声データと画像データを一体化したコンテンツファイルを生成するコンテンツファイル生成処理が行われる。   The content editing apparatus 10 is configured to generate content data (hereinafter referred to as a content file) in which images serving as materials are sequentially switched over audio or music. First, the user performs an editing operation process for performing an operation of sequentially switching images as materials while listening to voice or music using the content editing apparatus 10. Thereafter, a content file generation process for generating a content file in which audio data and image data are integrated is performed.

素材画像供給部21は、予め再生する順番に並べられた画像データを蓄積し、操作入力部23から供給される操作信号に基づいて、画像データを画像再生部24に供給するようになされている。画像データは、例えば、JPEG方式でエンコードされた静止画の画像データであってもよいし、MPEG方式でエンコードされた動画の画像データであってもよい。   The material image supply unit 21 accumulates image data arranged in the order of reproduction in advance, and supplies the image data to the image reproduction unit 24 based on the operation signal supplied from the operation input unit 23. . The image data may be, for example, still image data encoded by the JPEG method, or may be moving image data encoded by the MPEG method.

なお、素材画像供給部21に蓄積される画像データは、素材画像と称される。素材画像の蓄積については後述する。   The image data stored in the material image supply unit 21 is referred to as a material image. The material image accumulation will be described later.

例えば、操作入力部23に接続される図示せぬキーボードの所定のキーが押下されたとき、素材画像供給部21に操作信号が出力される。これにより、素材画像供給部21が、それまで画像再生部24に供給していた画像データの次の順番の画像データを画像再生部24に供給するようになされている。   For example, when a predetermined key (not shown) connected to the operation input unit 23 is pressed, an operation signal is output to the material image supply unit 21. Thus, the material image supply unit 21 supplies the image reproduction unit 24 with the image data in the next order of the image data that has been supplied to the image reproduction unit 24 until then.

画像再生部24は、操作入力部23から供給される操作信号に基づいて、素材画像供給部21から供給される画像データをデコードするなどして再生する。画像再生部24は、例えば、操作入力部23から再生開始の指令に対応する操作信号が供給されたとき、素材画像供給部21から供給される画像データの再生処理を開始するようになされており、操作入力部23から再生終了の指令に対応する操作信号が供給されたとき、素材画像供給部21から供給される画像データの再生処理を終了するようになされている。   The image reproduction unit 24 reproduces the image data supplied from the material image supply unit 21 based on the operation signal supplied from the operation input unit 23 by decoding the image data. For example, when an operation signal corresponding to a reproduction start command is supplied from the operation input unit 23, the image reproduction unit 24 starts reproduction processing of image data supplied from the material image supply unit 21. When the operation signal corresponding to the reproduction end command is supplied from the operation input unit 23, the reproduction process of the image data supplied from the material image supply unit 21 is ended.

音声供給部22は、予め指定された音声データであって所定の形式(例えば、mp3など)で符号化された音声データを蓄積し、操作入力部23から供給される操作信号に基づいて、音声データを音声再生部25に供給するようになされている。音声データは、例えば、CDなどに記録された楽曲をそのままコピーしたものでもよいし、プレイリストに従って再生されるものでもよい。   The audio supply unit 22 accumulates audio data that has been specified in advance and is encoded in a predetermined format (for example, mp3). Based on the operation signal supplied from the operation input unit 23, the audio supply unit 22 Data is supplied to the audio reproduction unit 25. The audio data may be, for example, a copy of a song recorded on a CD or the like, or may be reproduced according to a playlist.

例えば、操作入力部23に接続される図示せぬキーボードの上述した所定のキーが押下されたとき、素材画像供給部21とともに音声供給部22にも操作信号が出力される。これにより、音声供給部22が、音声データを音声再生部25に供給するようになされている。つまり、音声データの供給が開始されるとともに、第1番目の素材画像の画像データの供給が開始されるようになされており、音声データと画像データとが同期して供給されるようになされている。   For example, when a predetermined key described above of a keyboard (not shown) connected to the operation input unit 23 is pressed, an operation signal is output to the sound supply unit 22 together with the material image supply unit 21. Thereby, the audio supply unit 22 supplies the audio data to the audio reproduction unit 25. That is, the supply of audio data is started, and the supply of image data of the first material image is started, so that the audio data and the image data are supplied synchronously. Yes.

音声再生部25は、操作入力部23から供給される操作信号に基づいて、音声供給部22から供給される音声データをデコードするなどして再生する。音声再生部25は、例えば、操作入力部23から再生開始の指令に対応する操作信号が供給されたとき、音声供給部22から供給される音声データの再生処理を開始するようになされており、操作入力部23から再生終了の指令に対応する操作信号が供給されたとき、音声供給部22から供給される音声データの再生処理を終了するようになされている。   The audio reproduction unit 25 reproduces the audio data supplied from the audio supply unit 22 based on the operation signal supplied from the operation input unit 23 by decoding it. For example, when an operation signal corresponding to a reproduction start command is supplied from the operation input unit 23, the audio reproduction unit 25 starts reproduction processing of audio data supplied from the audio supply unit 22, When the operation signal corresponding to the reproduction end command is supplied from the operation input unit 23, the reproduction process of the audio data supplied from the audio supply unit 22 is ended.

編集操作処理においては、画像再生部24により再生された画像のデータは、画像表示部33に供給される。画像表示部33は、画像再生部24により再生された画像のデータとGUI画像のデータとを必要に応じて合成するなどして画像信号を生成し、図示せぬディスプレイに出力するようになされている。これにより、ユーザは、素材画像が順次再生された画像を視ることができる。   In the editing operation process, the image data reproduced by the image reproduction unit 24 is supplied to the image display unit 33. The image display unit 33 generates an image signal by combining the image data reproduced by the image reproduction unit 24 and the GUI image data as necessary, and outputs the image signal to a display (not shown). Yes. Thereby, the user can view the images in which the material images are sequentially reproduced.

また、編集操作処理においては、音声再生部25により再生された音声のデータは、音声出力部34に供給される。音声出力部34は、音声再生部25により再生された音声のデータに基づいて音声信号を生成し、図示せぬスピーカに出力するようになされている。これにより、ユーザは、再生された音声や楽曲を聴くことができる。   In the editing operation process, the audio data reproduced by the audio reproducing unit 25 is supplied to the audio output unit 34. The audio output unit 34 generates an audio signal based on the audio data reproduced by the audio reproduction unit 25 and outputs the audio signal to a speaker (not shown). Thereby, the user can listen to the reproduced voice and music.

すなわち、コンテンツ編集装置10による編集操作処理が開始されると、ユーザは、スピーカから出力される音声や楽曲を聴きながら、ディスプレイに表示される再生された素材画像を視て、素材画像を切り替えるタイミングを、操作入力部23を介して指定することになる。   That is, when the editing operation process by the content editing apparatus 10 is started, the user switches the material image while viewing the reproduced material image displayed on the display while listening to the sound or music output from the speaker. Is specified via the operation input unit 23.

また、コンテンツ編集装置10による編集操作処理が開始されると、タイマ27が計時を開始し、計時した情報を操作記録部26に出力するようになされている。   When the editing operation process by the content editing apparatus 10 is started, the timer 27 starts timing, and the timed information is output to the operation recording unit 26.

操作記録部26は、操作入力部23から出力される操作信号であって、素材画像の切り替えを指令する操作信号を時刻に対応付けて、操作情報として記録するようになされている。すなわち、第1番目の素材画像の再生が開始されてから○○秒後に第2番目の素材画像への切り替えが指令され、その△△秒後に第3番目の素材画像への切り替えが指令され、・・・のような情報が記録されることになる。   The operation recording unit 26 is an operation signal output from the operation input unit 23 and records an operation signal instructing switching of a material image as operation information in association with time. That is, switching to the second material image is instructed XX seconds after the start of the reproduction of the first material image, and switching to the third material image is instructed after ΔΔ seconds, Information such as... Will be recorded.

また、コンテンツ編集装置10によるコンテンツファイル生成処理が開始されると、操作記録部26は、記録された操作情報に対応する操作信号を出力するようになされている。すなわち、操作記録部26は、第1番目の素材画像の再生が開始されてから○○秒後に第2番目の素材画像への切り替えが指令され、その△△秒後に第3番目の素材画像への切り替えが指令され、・・・のように操作信号を出力することになる。   When the content file generation process by the content editing apparatus 10 is started, the operation recording unit 26 outputs an operation signal corresponding to the recorded operation information. That is, the operation recording unit 26 is instructed to switch to the second material image XX seconds after the start of the reproduction of the first material image, and to the third material image △ Δ seconds later. Is switched, and an operation signal is output as shown in FIG.

これにより、素材画像供給部21は、素材画像の画像データを画像再生部24に順次供給し、画像再生部24がこれを再生する。同様に、音声供給部22は、音声データを音声再生部25に供給し、音声再生部25がこれを再生する。   Thereby, the material image supply unit 21 sequentially supplies the image data of the material image to the image reproduction unit 24, and the image reproduction unit 24 reproduces this. Similarly, the audio supply unit 22 supplies audio data to the audio reproduction unit 25, and the audio reproduction unit 25 reproduces it.

なお、コンテンツファイル生成処理が実行される場合、画像再生部24が再生した画像がディスプレイに表示されることはなく、音声再生部25が再生した音声がスピーカから出力されることはない。また、コンテンツファイル生成処理が実行される場合、例えば、画像再生部24の再生レートと音声再生部25の再生レートが通常の再生レートの2倍となるように設定される。   When the content file generation process is executed, the image reproduced by the image reproduction unit 24 is not displayed on the display, and the sound reproduced by the audio reproduction unit 25 is not output from the speaker. When the content file generation process is executed, for example, the playback rate of the image playback unit 24 and the playback rate of the audio playback unit 25 are set to be twice the normal playback rate.

このようにコンテンツ編集装置10においては、編集操作処理では、操作情報の記録のみが行われ、コンテンツファイルの生成は行われないようになされている。   As described above, in the content editing apparatus 10, only the operation information is recorded in the editing operation process, and the content file is not generated.

このようにすることで、例えば、コンテンツ編集装置10に内蔵されるプロセッサなどの処理負荷を軽減することができ、また、画像の切り替え時にノイズなどが発生することなどを抑止できる。   By doing so, for example, it is possible to reduce the processing load of a processor or the like built in the content editing apparatus 10, and it is possible to suppress the occurrence of noise or the like when switching images.

また、編集操作処理が終了した後、例えば、編集操作の出来栄えを確認するために、コンテンツファイルを生成することなく、操作情報に基づいて画像と音声を再生するプレビュー処理が実行されるようにしても構わない。   In addition, after the editing operation process is completed, for example, in order to confirm the quality of the editing operation, a preview process for reproducing an image and a sound based on the operation information is performed without generating a content file. It doesn't matter.

コンテンツ編集装置10のコンテンツファイル生成処理においては、キャプチャ処理部31が画像再生部24から出力されたデータと音声再生部25から出力されたデータとをキャプチャするようになされている。   In the content file generation process of the content editing apparatus 10, the capture processing unit 31 captures the data output from the image playback unit 24 and the data output from the audio playback unit 25.

キャプチャ処理部31は、キャプチャしたデータをエンコーダ32に出力し、エンコーダ32は、キャプチャ処理部31から出力されるデータを所定の形式(例えば、MPEGやWMVなどの方式)で符号化(エンコード)するようになされている。これにより、編集操作処理においてユーザが視聴した音声と画像からなる1つのコンテンツファイルが生成されることになる。   The capture processing unit 31 outputs the captured data to the encoder 32, and the encoder 32 encodes (encodes) the data output from the capture processing unit 31 in a predetermined format (for example, a method such as MPEG or WMV). It is made like that. As a result, one content file composed of sound and images viewed by the user in the editing operation process is generated.

このようにすることで、ユーザは、例えば、BGMに合わせて画像が変化するコンテンツを生成することができる。コンテンツ編集装置10を用いることで、例えば、アマチュアの音楽グループが自分で撮影した画像と自分で演奏した楽曲を用いて、プロモーションビデオなどを作成することも可能である。   By doing in this way, the user can produce | generate the content from which an image changes according to BGM, for example. By using the content editing apparatus 10, for example, it is also possible to create a promotion video or the like using an image taken by an amateur music group and a piece of music performed by the amateur music group.

図2は、コンテンツ編集装置10における編集操作処理の際に、図示せぬディスプレイに表示されるGUIの画面の例を示す図である。なお、この画面は、例えば、操作入力部23を介して入力されるユーザの操作に基づいて、素材画像供給部21により、表示データが生成されて表示されるようになされている。   FIG. 2 is a diagram showing an example of a GUI screen displayed on a display (not shown) during the editing operation process in the content editing apparatus 10. The screen is configured such that display data is generated and displayed by the material image supply unit 21 based on a user operation input via the operation input unit 23, for example.

同図に示される画面100には、素材画像供給部21に蓄積されている画像データの一覧を表示するシナリオウィンドウ101が設けられている。この例では、シナリオウィンドウ101に、各画像データのサムネイル111−1乃至サムネイル111−6が表示されている。   In the screen 100 shown in the figure, a scenario window 101 for displaying a list of image data stored in the material image supply unit 21 is provided. In this example, thumbnails 111-1 to 111-6 of each image data are displayed in the scenario window 101.

なお、上述したように、素材画像供給部21には、予め再生する順番に並べられた画像データが蓄積されており、図中ではサムネイル111−1に対応する画像データ、サムネイル111−2に対応する画像データ、・・・サムネイル111−6に対応する画像データの順に再生されるものとして並べられている。   Note that, as described above, the material image supply unit 21 stores image data arranged in advance in the order of reproduction, and in the drawing, corresponds to the image data corresponding to the thumbnail 111-1 and the thumbnail 111-2. The image data to be reproduced are arranged in order of image data corresponding to the thumbnail 111-6.

例えば、ユーザが図示せぬポインティングデバイスなどを操作してサムネイルをドラッグアンドドロップすることにより、画像データの順番を並べ替えることができる。また、図中のボタン105をクリックすることにより、リムーバブルメディアなどに記録されている画像データを、素材画像供給部21にコピーして蓄積できるようになされている。すなわち、ユーザは、素材画像の画像データを、追加、削除したり、順番の並べ替えを行うことができる   For example, the order of the image data can be rearranged by the user operating a pointing device (not shown) and dragging and dropping thumbnails. Further, by clicking a button 105 in the figure, image data recorded on a removable medium or the like can be copied and stored in the material image supply unit 21. That is, the user can add, delete, or rearrange the image data of the material image.

このように、ユーザは、シナリオウィンドウ101に表示されているサムネイルにより、素材となる画像データの再生の順番を確認することができる。   As described above, the user can confirm the reproduction order of the image data as the material by the thumbnails displayed in the scenario window 101.

また、画面100には、素材ウィンドウ102が設けられている。素材ウィンドウ102は、素材画像供給部21に蓄積されている画像データを加工するときに表示されるウィンドウとされる。例えば、ユーザがシナリオウィンドウ101に表示されているサムネイルのいずれかをダブルクリックすることにより、素材ウィンドウ102が表示される。そして、ユーザは、表示部104に表示された画像データの画像を視ながら、パレット103に表示されたボタンやバーなどのGUI部品を操作して、素材となる画像データの画像のトリミング、カット、回転などの加工を行うことができるようになされている。   The screen 100 is provided with a material window 102. The material window 102 is a window displayed when the image data stored in the material image supply unit 21 is processed. For example, when the user double-clicks one of the thumbnails displayed in the scenario window 101, the material window 102 is displayed. Then, while viewing the image of the image data displayed on the display unit 104, the user operates the GUI parts such as buttons and bars displayed on the palette 103 to trim, cut, Processing such as rotation can be performed.

上述したように、コンテンツ編集装置10による編集操作処理が開始されると、音声再生部25が音声供給部22から供給される音声データをデコードするなどして再生する。また、画像再生部24が素材画像供給部21から供給される画像データをデコードするなどして再生する。このとき、シナリオウィンドウ101の中で、例えば、最初に再生される画像データのサムネイル111−1が中央にハイライトされて表示されるようになされている。また、サムネイル111−1の画像データを再生して得られた画像は、例えば、画面100の一部、または画面100とは別の画面としてディスプレイに表示されるようになされている。   As described above, when the editing operation process by the content editing apparatus 10 is started, the audio reproduction unit 25 decodes the audio data supplied from the audio supply unit 22 and reproduces it. The image reproduction unit 24 reproduces the image data supplied from the material image supply unit 21 by decoding the image data. At this time, in the scenario window 101, for example, the thumbnail 111-1 of the image data to be reproduced first is highlighted in the center and displayed. The image obtained by reproducing the image data of the thumbnail 111-1 is displayed on the display as a part of the screen 100 or a screen different from the screen 100, for example.

そして、ユーザが操作入力部23に接続される図示せぬキーボードの所定のキーを押下すると、サムネイル111−2に対応する画像データの再生が開始されることになる。なお、このとき、音声データは、連続して再生されている。   When the user presses a predetermined key (not shown) connected to the operation input unit 23, the reproduction of the image data corresponding to the thumbnail 111-2 is started. At this time, the audio data is continuously reproduced.

従来より、コンテンツの編集を行うにあたり、画像や音声に係る情報を表示する際には、数値や画像などをそのまま表示するだけでなく、例えば、タイムライン表示するなど、視覚的に分かりやすい表示方式が工夫されている。   Conventionally, when displaying information related to images and audio when editing content, not only numerical values and images are displayed as they are, but also a display method that is visually easy to understand, such as timeline display, for example. Has been devised.

タイムライン表示を用いたコンテンツの編集では、通常、横軸が時間とされたGUI画面などにおいて、複数の素材となる画像データのそれぞれのIN点、OUT点を指定するなどして、1つの動画コンテンツが生成されていく。   In content editing using the timeline display, one video is usually specified by specifying the IN point and OUT point of image data as a plurality of materials on a GUI screen or the like where the horizontal axis is time. Content is generated.

しかしながら、従来の技術のように、時間軸が設定されたタイムライン表示を基に素材となる画像をつなぎ合わせていく方式では、プロのエディターのような高度な編集を行うことができなかった。   However, as in the prior art, the method of connecting images as materials based on a timeline display with a time axis set cannot perform advanced editing like a professional editor.

すなわち、素材となる画像をBGMなどに合わせて切り替えるなどの編集をうまく行うことができなかった。   That is, editing such as switching the image as a material in accordance with BGM or the like cannot be performed well.

例えば、プロのエディターにより編集された楽曲のプロモーションビデオにおいては、楽曲の進行に同期させて画像の切り替えが行われていることが多い。また、楽曲の中で特に高揚感の高い部分などでは、シンバルなどのパーカッションの拍子に同期して画像が切り替えられる場合もある。   For example, in a promotional video of music edited by a professional editor, images are often switched in synchronization with the progress of the music. In addition, in a particularly high part of music, the image may be switched in synchronization with the time of percussion such as a cymbal.

例えば、4分の4拍子の楽曲のテンポが120BPM(Beats Per Minute)である場合、1拍の長さは0.5秒となるが、シャッフルやスウィングなどのリズムで演奏される楽曲の場合、各1拍の時間的長さが異なるものとなる。加えてシンコペーションなどの技法を取り入れた演奏がなされると、楽曲に同期したタイミングを、画面に視覚的に表示された時間軸上で特定することは極めて困難である。   For example, if the tempo of a 4/4 time tune is 120 BPM (Beats Per Minute), the length of one beat is 0.5 seconds, but if the music is played with a rhythm such as shuffle or swing, The time length of each beat is different. In addition, when a performance incorporating a technique such as syncopation is performed, it is extremely difficult to specify the timing synchronized with the music on the time axis visually displayed on the screen.

このため、従来の個人向け編集ツールなどを用いて動画コンテンツを編集しても、できあがった動画コンテンツを再生したとき、いわゆる素人くさい作品となってしまうことが多かった。   For this reason, even if the moving image content is edited using a conventional personal editing tool or the like, when the completed moving image content is reproduced, it is often a so-called amateurish work.

そこで、本発明においては、ユーザに、音声データを再生して出力される楽曲を聴きながら、画像の切り替えを指令する操作のみを行わせるようにした。   Therefore, in the present invention, the user is allowed to perform only an operation for instructing image switching while listening to music output by reproducing audio data.

すなわち、従来の技術による動画コンテンツの編集は、図3に示されるように、ユーザが時間軸とコンテンツの長さを目で確認しながら行われるものであった。すなわち、動画コンテンツのデータを、あたかもフィルムのようにその長さに基づいてカットしてつなぎ合わせるなどして編集されていた。   That is, the editing of the moving image content according to the conventional technique is performed while the user visually confirms the time axis and the length of the content, as shown in FIG. That is, the data of the moving image content is edited by cutting and joining the data as if it were a film based on its length.

これに対して、本願発明においては、図4に示されるように、ユーザが楽曲を聴きながら、リズムに合わせて画像を切り替えていくことで動画コンテンツが編集される。尚、図中の菱形の記号により、画像の切り替えの操作が行われたタイミングが示されている。つまり、本発明によれば、ユーザは視覚的な時間軸を意識することなく、聴覚により時間軸を意識して編集を行うことが可能となるのである。   On the other hand, in the present invention, as shown in FIG. 4, the moving image content is edited by switching images in accordance with the rhythm while the user listens to the music. In addition, the timing at which the image switching operation is performed is indicated by a diamond symbol in the drawing. In other words, according to the present invention, it is possible for the user to make editing while consciously perceiving the time axis without being aware of the visual time axis.

このようにすることで、例えば、楽曲のプロモーションビデオを制作する際に、楽曲の進行に同期させて画像の切り替える編集を簡単に行うことができる。また、楽曲の中で特に高揚感の高い部分などでは、シンバルなどのパーカッションの拍子に同期して画像が切り替えられるようにすることもでき、シャッフルやスウィング、シンコペーションなどの演奏の楽曲に同期したタイミングも、簡単に特定することができる。   By doing in this way, for example, when producing a promotion video of music, editing that switches images in synchronization with the progress of the music can be easily performed. You can also switch the image in synchronization with the time of percussion, such as cymbals, for parts of the song that are particularly uplifting. Even can be identified easily.

従って、本発明によれば、だれでも簡単に高度な編集を行うことができるのである。   Therefore, according to the present invention, anyone can easily perform advanced editing.

次に、図5のフローチャートを参照して、コンテンツ編集装置10による編集操作処理の例について説明する。   Next, an example of editing operation processing by the content editing apparatus 10 will be described with reference to the flowchart of FIG.

ステップS21において、タイマ27は計時を開始する。   In step S21, the timer 27 starts measuring time.

ステップS22において、音声供給部22は、予め指定された音声データの音声再生部25への供給を開始する。   In step S <b> 22, the audio supply unit 22 starts supplying audio data designated in advance to the audio reproduction unit 25.

ステップS23において、素材画像供給部21は、予め再生する順番に並べられた素材画像の画像データの画像再生部24への供給を開始する。   In step S <b> 23, the material image supply unit 21 starts supplying the image data of the material images arranged in advance in the order of reproduction to the image reproduction unit 24.

ステップS24において、音声再生部25は、音声供給部22から供給される音声データをデコードするなどして再生する。   In step S24, the audio reproduction unit 25 reproduces the audio data supplied from the audio supply unit 22 by decoding it.

ステップS25において、画像再生部24は、素材画像供給部21から供給される画像データをデコードするなどして再生する。   In step S25, the image reproduction unit 24 reproduces the image data supplied from the material image supply unit 21 by decoding the image data.

ステップS26において、操作入力部23を介して編集操作処理の終了が指令されたか否かが判定される。   In step S <b> 26, it is determined whether or not the end of the editing operation process is commanded via the operation input unit 23.

ステップS26において、まだ、編集操作処理の終了が指令されていないと判定された場合、処理は、ステップS27に進む。   If it is determined in step S26 that the end of the editing operation process has not been instructed yet, the process proceeds to step S27.

ステップS27において、素材画像供給部21は、操作入力部23を介して素材画像の切り替えが指令されたか否かを判定し、切り替えが指令されたと判定されるまで待機する。   In step S27, the material image supply unit 21 determines whether or not switching of the material image is instructed via the operation input unit 23, and waits until it is determined that the switching is instructed.

ステップS27において、切り替えが指令されたと判定された場合、処理は、ステップS28に進む。ステップS28において、素材画像供給部21は、画像再生部24に供給する画像データを、次の素材画像の画像データに切り替える。   If it is determined in step S27 that switching has been commanded, the process proceeds to step S28. In step S28, the material image supply unit 21 switches the image data supplied to the image reproduction unit 24 to the image data of the next material image.

ステップS29において、操作記録部26は、ステップS27において指令されたと判定された、操作入力部23から出力される操作信号をタイマ27が計時する時刻に対応付けて、操作情報として記録する。   In step S29, the operation recording unit 26 records the operation signal output from the operation input unit 23 determined to have been commanded in step S27 as operation information in association with the time measured by the timer 27.

ステップS29の処理の後、処理は、ステップS25に戻り、それ以降の処理が繰り返し実行される。   After the process of step S29, the process returns to step S25, and the subsequent processes are repeatedly executed.

ステップS26において、編集操作処理の終了が指令されたと判定された場合、編集操作処理は終了する。   If it is determined in step S26 that the end of the editing operation process has been commanded, the editing operation process ends.

このようにして、編集操作処理が実行される。   In this way, the editing operation process is executed.

次に、図6のフローチャートを参照して、コンテンツファイル生成処理の例について説明する。   Next, an example of content file generation processing will be described with reference to the flowchart of FIG.

ステップS41において、音声供給部22は、音声データの音声再生部25への供給を開始する。   In step S <b> 41, the audio supply unit 22 starts supplying audio data to the audio reproduction unit 25.

ステップS42において、素材画像供給部21は、操作記録部26から出力される、操作情報に対応する操作信号に基づいて、素材画像の画像データを画像再生部24に順次供給する。   In step S <b> 42, the material image supply unit 21 sequentially supplies the image data of the material image to the image reproduction unit 24 based on the operation signal corresponding to the operation information output from the operation recording unit 26.

ステップS43において、音声再生部25は、音声データを再生する。   In step S43, the audio reproduction unit 25 reproduces audio data.

ステップS44において、画像再生部24は、画像データを再生する。   In step S44, the image reproduction unit 24 reproduces image data.

なお、コンテンツファイル生成処理が実行される場合、画像再生部24が再生した画像がディスプレイに表示されることはなく、音声再生部25が再生した音声がスピーカから出力されることはない。また、コンテンツファイル生成処理が実行される場合、例えば、画像再生部24の再生レートと音声再生部25の再生レートが通常の再生レートの2倍となるように設定される。   When the content file generation process is executed, the image reproduced by the image reproduction unit 24 is not displayed on the display, and the sound reproduced by the audio reproduction unit 25 is not output from the speaker. When the content file generation process is executed, for example, the playback rate of the image playback unit 24 and the playback rate of the audio playback unit 25 are set to be twice the normal playback rate.

ステップS45において、キャプチャ処理部31は、画像再生部24から出力されたデータと音声再生部25から出力されたデータとをキャプチャする。   In step S <b> 45, the capture processing unit 31 captures the data output from the image playback unit 24 and the data output from the audio playback unit 25.

ステップS46において、エンコーダ32は、ステップS45の処理でキャプチャされたデータを所定の形式(例えば、MPEGやWMVなどの方式)でエンコードする。これにより、編集操作処理においてユーザが視聴した音声と画像からなる1つのコンテンツファイルが生成されることになる。   In step S46, the encoder 32 encodes the data captured in step S45 in a predetermined format (for example, a method such as MPEG or WMV). As a result, one content file composed of sound and images viewed by the user in the editing operation process is generated.

このようにしてコンテンツファイル生成処理が実行される。   In this way, the content file generation process is executed.

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。すなわち、図1に示される各機能ブロックを、コンピュータのプロセッサにより実行されるプログラムなどのソフトウェアにより構成することも可能である。   The series of processes described above can be executed by hardware, or can be executed by software. That is, each functional block shown in FIG. 1 can be configured by software such as a program executed by a processor of a computer.

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータにネットワークや記録媒体からインストールされる。また、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図7に示されるような汎用のパーソナルコンピュータ700などに、ネットワークや記録媒体からインストールされる。   When the above-described series of processing is executed by software, a program constituting the software is installed from a network or a recording medium into a computer incorporated in dedicated hardware. In addition, by installing various programs, it is installed from a network or a recording medium into a general-purpose personal computer 700 as shown in FIG. 7 that can execute various functions.

図7において、CPU(Central Processing Unit)701は、ROM(Read Only Memory)702に記憶されているプログラム、または記憶部708からRAM(Random Access Memory)703にロードされたプログラムに従って各種の処理を実行する。RAM703にはまた、CPU701が各種の処理を実行する上において必要なデータなども適宜記憶される。   In FIG. 7, a CPU (Central Processing Unit) 701 executes various processes according to a program stored in a ROM (Read Only Memory) 702 or a program loaded from a storage unit 708 to a RAM (Random Access Memory) 703. To do. The RAM 703 also appropriately stores data necessary for the CPU 701 to execute various processes.

CPU701、ROM702、およびRAM703は、バス704を介して相互に接続されている。このバス704にはまた、入出力インタフェース705も接続されている。   The CPU 701, ROM 702, and RAM 703 are connected to each other via a bus 704. An input / output interface 705 is also connected to the bus 704.

入出力インタフェース705には、キーボード、マウスなどよりなる入力部706、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部707が接続されている。また、入出力インタフェース705には、ハードディスクなどより構成される記憶部708、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部709が接続されている。通信部709は、インターネットを含むネットワークを介しての通信処理を行う。   The input / output interface 705 is connected to an input unit 706 composed of a keyboard, a mouse, etc., a display composed of an LCD (Liquid Crystal display), etc., and an output unit 707 composed of a speaker. The input / output interface 705 is connected to a storage unit 708 composed of a hard disk and a communication unit 709 composed of a network interface card such as a modem and a LAN card. The communication unit 709 performs communication processing via a network including the Internet.

入出力インタフェース705にはまた、必要に応じてドライブ710が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア711が適宜装着されている。そして、それらのリムーバブルメディアから読み出されたコンピュータプログラムが、必要に応じて記憶部708にインストールされる。   A drive 710 is also connected to the input / output interface 705 as necessary, and a removable medium 711 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted. Then, the computer program read from these removable media is installed in the storage unit 708 as necessary.

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア711などからなる記録媒体からインストールされる。   When the above-described series of processing is executed by software, a program constituting the software is installed from a network such as the Internet or a recording medium such as a removable medium 711.

なお、この記録媒体は、図7に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア711により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM702や、記憶部708に含まれるハードディスクなどで構成されるものも含む。   The recording medium shown in FIG. 7 is a magnetic disk (including a floppy disk (registered trademark)) on which a program is recorded, which is distributed to distribute the program to the user separately from the apparatus main body. Removable media consisting of optical disks (including CD-ROM (compact disk-read only memory), DVD (digital versatile disk)), magneto-optical disks (including MD (mini-disk) (registered trademark)), or semiconductor memory It includes not only those configured by 711 but also those configured by a ROM 702 in which a program is recorded, a hard disk included in the storage unit 708, and the like distributed to the user in a state of being incorporated in the apparatus main body in advance.

なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   Note that the series of processes described above in this specification includes processes that are performed in parallel or individually even if they are not necessarily processed in time series, as well as processes that are performed in time series in the order described. Is also included.

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。   The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

10 コンテンツ編集装置,
21 素材画像供給部,
22 音声供給部,
23 操作入力部,
24 画像再生部,
25 音声再生部,
26 操作記録部,
27 タイマ,
31 キャプチャ処理部,
32 エンコーダ
10 content editing device,
21 Material image supply unit,
22 audio supply unit,
23 Operation input section,
24 image playback unit,
25 audio playback unit,
26 operation recording section,
27 timer,
31 capture processing unit,
32 Encoder

Claims (3)

画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、
コンテンツ編集操作処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第1の音声供給手段と、
前記第1の音声供給手段により供給された音声データを再生する第1の音声再生手段と、
前記第1の音声再生手段により再生された音声を出力する出力手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第1の素材画像供給手段と、
前記第1の素材画像供給手段により供給された画像データを再生する第1の画像再生手段と、
前記第1の画像再生手段により再生された画像データを表示する画像表示手段と、
前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、
コンテンツファイル生成処理を実行する場合、
前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第2の音声供給手段と、
前記第2の音声供給手段により供給された音声データを再生する第2の音声再生手段と、
予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第2の素材画像供給手段と、
前記第2の素材画像供給手段により供給された画像データを再生する第2の画像再生手段と、
前記第2の音声再生手段および第2の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、
前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段と
を備えるコンテンツ編集装置。
A content editing apparatus that generates content composed of images and sound,
When executing the content editing operation process,
First audio supply means for supplying audio data of audio constituting the content;
First audio reproduction means for reproducing the audio data supplied by the first audio supply means ;
Output means for outputting the sound reproduced by the first sound reproducing means ;
The image data of a plurality of material images, which are stored in advance in the order of reproduction and serve as image materials constituting the content, are switched in order based on a switching instruction by the user in synchronization with the supply of the audio data. First material image supply means for supplying
First image reproduction means for reproducing the image data supplied by the first material image supply means ;
Image display means for displaying the image data reproduced by the first image reproduction means ;
Operation information recording means for recording as operation information the time when the operation related to the switching command by the user was performed in association with the elapsed time from the time when the supply of the audio data was started;
When executing the content file generation process,
Second audio supply means for supplying audio data of audio constituting the content to be subjected to the content editing operation processing ;
Second audio reproduction means for reproducing the audio data supplied by the second audio supply means ;
The image data of a plurality of material images, which are stored in advance in the order of reproduction and become the material of the image constituting the content that is the target of the content editing operation processing, are synchronized with the supply of the audio data, Second material image supply means for supplying based on the operation information recorded in the operation information recording means;
Second image reproduction means for reproducing the image data supplied by the second material image supply means ;
Capture means for capturing sound and images reproduced by the second sound reproduction means and the second image reproduction means ;
A content editing apparatus comprising: encoding means for encoding the captured audio and image data to generate the content file.
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置のコンテンツ編集方法であって、
コンテンツ編集操作処理を実行する場合、
第1の音声供給手段が、前記コンテンツを構成する音声の音声データを供給し、
第1の音声再生手段が、前記第1の音声供給手段により供給された音声データを再生し、
出力手段が、前記第1の音声再生手段により再生された音声を出力し、
第1の素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給し、
第1の画像再生手段が、前記第1の素材画像供給手段により供給された画像データを再生し、
画像表示手段が、前記第1の画像再生手段により再生された画像データを表示し、
操作情報記録手段が、前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録し、
コンテンツファイル生成処理を実行する場合、
第2の音声供給手段が、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給し、
第2の音声再生手段が、前記第2の音声供給手段により供給された音声データを再生し、
素材画像供給手段が、予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給し、
第2の画像再生手段が、前記第2の素材画像供給手段により供給された画像データを再生し、
キャプチャ手段が、前記第2の音声再生手段および第2の画像再生手段により再生された音声および画像をキャプチャし、
エンコード手段が、前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成する
ステップを含むコンテンツ編集方法。
A content editing method of a content editing apparatus for generating content composed of images and sound,
When executing the content editing operation process,
A first audio supply means supplies audio data of audio constituting the content;
A first audio reproduction means for reproducing the audio data supplied by the first audio supply means ;
The output means outputs the sound reproduced by the first sound reproducing means ,
The first material image supply means stores image data of a plurality of material images, which are stored in advance in the order of reproduction and serve as image materials constituting the content, by the user in synchronization with the supply of the audio data. Based on the switching command, switch and supply in order,
A first image reproduction means for reproducing the image data supplied by the first material image supply means ;
An image display means displays the image data reproduced by the first image reproduction means ,
The operation information recording means records the time when the operation related to the switching command by the user is performed as operation information in association with the elapsed time from the time when the supply of the audio data is started,
When executing the content file generation process,
A second audio supply means supplies audio data of audio constituting the content that is the target of the content editing operation processing ;
A second audio reproduction unit reproduces the audio data supplied by the second audio supply unit ;
The material image supply means supplies the audio data with the image data of a plurality of material images that are stored in advance in the order of reproduction and become the material of the image constituting the content that is the target of the content editing operation processing. In synchronism with the operation information recorded on the operation information recording means,
A second image reproduction means reproduces the image data supplied by the second material image supply means ;
A capture unit that captures the audio and image reproduced by the second audio reproduction unit and the second image reproduction unit ;
A content editing method including a step of encoding the captured audio and image data to generate a file of the content.
コンピュータを、
画像と音声とにより構成されるコンテンツを生成するコンテンツ編集装置であって、
コンテンツ編集操作処理を実行する場合、
前記コンテンツを構成する音声の音声データを供給する第1の音声供給手段と、
前記第1の音声供給手段により供給された音声データを再生する第1の音声再生手段と、
前記第1の音声再生手段により再生された音声を出力する出力手段と、
予め再生される順番に蓄積された、前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、ユーザによる切り替えの指令に基づいて順番に切り替えて供給する第1の素材画像供給手段と、
前記第1の素材画像供給手段により供給された画像データを再生する第1の画像再生手段と、
前記第1の画像再生手段により再生された画像データを表示する画像表示手段と、
前記ユーザによる切り替えの指令に係る操作が行われた時刻を前記音声データの供給が開始された時刻からの経過時刻に対応づけて操作情報として記録する操作情報記録手段と、
コンテンツファイル生成処理を実行する場合、
前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する音声の音声データを供給する第2の音声供給手段と、
前記第2の音声供給手段により供給された音声データを再生する第2の音声再生手段と、
予め再生される順番に蓄積された、前記コンテンツ編集操作処理の対象とされた前記コンテンツを構成する画像の素材となる複数の素材画像の画像データを、前記音声データの供給と同期して、前記操作情報記録手段に記録された操作情報に基づいて供給する第2の素材画像供給手段と、
前記第2の素材画像供給手段により供給された画像データを再生する第2の画像再生手段と、
前記第2の音声再生手段および第2の画像再生手段により再生された音声および画像をキャプチャするキャプチャ手段と、
前記キャプチャされた音声および画像のデータをエンコードして前記コンテンツのファイルを生成するエンコード手段と
を備えるコンテンツ編集装置として機能させるプログラム。
Computer
A content editing apparatus that generates content composed of images and sound,
When executing the content editing operation process,
First audio supply means for supplying audio data of audio constituting the content;
First audio reproduction means for reproducing the audio data supplied by the first audio supply means ;
Output means for outputting the sound reproduced by the first sound reproducing means ;
The image data of a plurality of material images, which are stored in advance in the order of reproduction and serve as image materials constituting the content, are switched in order based on a switching instruction by the user in synchronization with the supply of the audio data. First material image supply means for supplying
First image reproduction means for reproducing the image data supplied by the first material image supply means ;
Image display means for displaying the image data reproduced by the first image reproduction means ;
Operation information recording means for recording as operation information the time when the operation related to the switching command by the user was performed in association with the elapsed time from the time when the supply of the audio data was started;
When executing the content file generation process,
Second audio supply means for supplying audio data of audio constituting the content to be subjected to the content editing operation processing ;
Second audio reproduction means for reproducing the audio data supplied by the second audio supply means ;
The image data of a plurality of material images, which are stored in advance in the order of reproduction and become the material of the image constituting the content that is the target of the content editing operation processing, are synchronized with the supply of the audio data, Second material image supply means for supplying based on the operation information recorded in the operation information recording means;
Second image reproduction means for reproducing the image data supplied by the second material image supply means ;
Capture means for capturing sound and images reproduced by the second sound reproduction means and the second image reproduction means ;
A program for functioning as a content editing device comprising: encoding means for encoding the captured audio and image data to generate the content file.
JP2010227123A 2010-10-07 2010-10-07 Content editing apparatus and method, and program Expired - Fee Related JP4890637B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010227123A JP4890637B1 (en) 2010-10-07 2010-10-07 Content editing apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010227123A JP4890637B1 (en) 2010-10-07 2010-10-07 Content editing apparatus and method, and program

Publications (2)

Publication Number Publication Date
JP4890637B1 true JP4890637B1 (en) 2012-03-07
JP2012084957A JP2012084957A (en) 2012-04-26

Family

ID=45907876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010227123A Expired - Fee Related JP4890637B1 (en) 2010-10-07 2010-10-07 Content editing apparatus and method, and program

Country Status (1)

Country Link
JP (1) JP4890637B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325627B2 (en) 2014-12-15 2019-06-18 Sony Corporation Information processing method and image processing apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04179997A (en) * 1990-11-14 1992-06-26 Toppan Printing Co Ltd Method and device for generating multi-media software
JPH06351034A (en) * 1993-06-14 1994-12-22 Hitachi Ltd Multiscreen editing device and multiscreen display device
JPH1169290A (en) * 1997-08-15 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> Video production method and device and record medium recorded this method
JP2001175253A (en) * 1999-12-16 2001-06-29 Nippon Columbia Co Ltd Operating device for video editing device, and video editing device
JP2003259302A (en) * 2002-02-28 2003-09-12 Fuji Xerox Co Ltd Method for automatically producing music video, product including information storage medium for storing information, and program
JP2005117329A (en) * 2003-10-07 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> Content editing apparatus and program
JP2006140564A (en) * 2004-11-10 2006-06-01 Matsushita Electric Ind Co Ltd Mobile information terminal

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04179997A (en) * 1990-11-14 1992-06-26 Toppan Printing Co Ltd Method and device for generating multi-media software
JPH06351034A (en) * 1993-06-14 1994-12-22 Hitachi Ltd Multiscreen editing device and multiscreen display device
JPH1169290A (en) * 1997-08-15 1999-03-09 Nippon Telegr & Teleph Corp <Ntt> Video production method and device and record medium recorded this method
JP2001175253A (en) * 1999-12-16 2001-06-29 Nippon Columbia Co Ltd Operating device for video editing device, and video editing device
JP2003259302A (en) * 2002-02-28 2003-09-12 Fuji Xerox Co Ltd Method for automatically producing music video, product including information storage medium for storing information, and program
JP2005117329A (en) * 2003-10-07 2005-04-28 Nippon Telegr & Teleph Corp <Ntt> Content editing apparatus and program
JP2006140564A (en) * 2004-11-10 2006-06-01 Matsushita Electric Ind Co Ltd Mobile information terminal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10325627B2 (en) 2014-12-15 2019-06-18 Sony Corporation Information processing method and image processing apparatus
US10847185B2 (en) 2014-12-15 2020-11-24 Sony Corporation Information processing method and image processing apparatus

Also Published As

Publication number Publication date
JP2012084957A (en) 2012-04-26

Similar Documents

Publication Publication Date Title
JP4596060B2 (en) Electronic device, moving image data section changing method and program
JP4650288B2 (en) REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM
JP2013135354A (en) Information processing apparatus, information processing method, and program
JP4890637B1 (en) Content editing apparatus and method, and program
JP4911008B2 (en) Image data recording apparatus and image data reproducing apparatus
JP2007035121A (en) Reproduction controller and method, and program
JP2010178010A (en) Moving image editor
JP4910748B2 (en) Display device, display method, and program
JP4313639B2 (en) Signal processing device
JP2005094391A (en) Device, method and program for editing and recording data, and recording medium having data editing and recording program recorded thereon
JP2006270805A (en) Simple video image editing method and electronic equipment having the same
JP4854339B2 (en) Video playback device
JP2011078139A (en) Image reproduction apparatus, music processing program, and image reproduction program
JP5551403B2 (en) Movie creating apparatus, computer program, and storage medium
JP2009118117A (en) Slide show generating system, slide show generating method, and slide show generating program
JP4257327B2 (en) Video editing device
US20200162783A1 (en) A Method Of Combining Data
JP3797762B2 (en) Video editing method
JP5490480B2 (en) Movie creating apparatus, computer program, and storage medium
JP2010239400A (en) Sending out server, video server, video server system, material management method and material management program
JP4333653B2 (en) Reproduction method and reproduction apparatus
JP2004095019A (en) Information reproduction device and information reproduction method
JP3558051B2 (en) Movie editing / playback program, computer-readable recording medium recording movie editing / playback program, movie editing / playback apparatus and method
JP2004342193A (en) Disk reproducing device and program for disk reproduction
JP2009017385A (en) Motion picture generating apparatus, motion picture generating method and motion picture generating program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111214

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees