JP2019096950A - Imaging apparatus, imaging method and imaging program - Google Patents
Imaging apparatus, imaging method and imaging program Download PDFInfo
- Publication number
- JP2019096950A JP2019096950A JP2017222768A JP2017222768A JP2019096950A JP 2019096950 A JP2019096950 A JP 2019096950A JP 2017222768 A JP2017222768 A JP 2017222768A JP 2017222768 A JP2017222768 A JP 2017222768A JP 2019096950 A JP2019096950 A JP 2019096950A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- imaging
- display
- control unit
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、映像合成編集が可能な撮像装置、撮像方法及び撮像プログラムに関する。 The present invention relates to an imaging device, an imaging method, and an imaging program capable of video composition and editing.
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、静止画のみならず、動画撮影機能を有するものが多い。動画撮影を行った得た動画は、鑑賞上、無駄な部分や変化の乏しい部分が比較的多く、変化が少なく見栄えが良くない場合がある。そこで、動画撮影を複数回を行い、複数の動画像を編集することで鑑賞、観察に適した動画を作成する映像編集が行われることがある。 2. Description of the Related Art In recent years, mobile devices (shooting devices) with a shooting function such as digital cameras often have a moving image shooting function as well as still images. A moving image obtained by moving image shooting may have a relatively large number of useless portions or portions with a low degree of change, and may not look good due to a small number of changes. Therefore, there are cases where video editing is performed to create moving images suitable for viewing and observation by performing moving image shooting a plurality of times and editing a plurality of moving images.
このような動画像の映像編集装置においては、撮像装置によって撮影して得た複数の動画像を記録メディアや通信回線等を介して取り込んで編集作業を行う必要があり、比較的煩雑な作業を必要とする。そこで、特許文献１においては、先に撮影した映像に後から音声を合成するアフターレコーディング機能を有するビデオカメラが提案されている。この提案のビデオカメラにおいては、撮影した画像データの再生中に操作部の第２音声録音ボタンが押されると、再生中に取得した音声データを再生中の画像データに対応する音声記録部分に第２音声として記録するようになっている。 In such a moving image video editing apparatus, it is necessary to read in a plurality of moving images obtained by photographing with an imaging device via a recording medium, a communication line, etc. I need. Therefore, in Patent Document 1, there is proposed a video camera having an after-recording function of combining an audio with an image captured earlier. In the video camera of this proposal, when the second voice recording button of the operation unit is pressed during playback of the shot image data, the voice recording portion corresponding to the image data being played back is acquired in the voice recording portion. It is designed to record as 2 voices.
しかしながら、特許文献１の装置においては、先に撮影して得た映像に音声を追加するアフターレコーディングは可能であるが、先に撮影して得た映像に後から追加した映像を挿入することはできない。特に、単に挿入するだけでなく、先に撮影した得た映像の所望の位置（タイミング）に後から撮影して得た映像を合成する作業を簡単に行う撮像装置は開発されていない。 However, in the device of Patent Document 1, after-recording is possible in which audio is added to the video taken and obtained first, but inserting the video added later in the video taken and obtained first is Can not. In particular, there has not been developed an image pickup apparatus which simply performs an operation of combining images obtained by shooting later on a desired position (timing) of the images obtained earlier than simply inserting the image.
本発明は、簡単な作業によって記録済みの動画像に所望の動画像を挿入することができる撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。 An object of the present invention is to provide an imaging device, an imaging method and an imaging program capable of inserting a desired moving image into a recorded moving image by a simple operation.
本発明の一態様による撮像装置は、画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御部と、被写体の動画像を撮像する撮像部と、前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示部と、前記編集前動画データの再生時に前記撮像部に前記動画像を挿入動画として撮像させる追加撮影モードを実行する編集制御部とを具備する。 An imaging apparatus according to an aspect of the present invention includes a reproduction control unit that reproduces moving image data including image information and audio information as moving image data before editing, an imaging unit that captures a moving image of a subject, and reproduction of the moving image data before editing A presentation unit that outputs at least one of a moving image and a sound that can be output according to an editing control unit that executes an additional imaging mode that causes the imaging unit to capture the moving image as an insertion moving image And
また、本発明の一態様による撮像方法は、画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行する編集制御ステップとを具備する。 In the imaging method according to one aspect of the present invention, a reproduction control step of reproducing moving image data including image information and audio information as unedited moving image data, and moving image and audio that can be output by reproducing the unedited moving image data. The method further comprises a presenting step of outputting at least one of the steps, and an editing control step of executing an additional imaging mode of causing the imaging unit to capture a moving image of the subject as the moving image upon reproduction of the unedited moving image data.
また、本発明の一態様による撮像プログラムは、コンピュータに、画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行する編集制御ステップとを実行させる。 The imaging program according to one aspect of the present invention may include a reproduction control step of reproducing moving image data including image information and audio information as unedited moving image data on a computer, and moving image that can be output by reproducing the unedited moving image data. And an editing control step of executing an additional imaging mode of causing the imaging unit to capture a moving image of a subject as an inserted moving image at the time of reproduction of the unedited moving image data.
本発明によれば、簡単な作業によって記録済みの動画像に所望の動画像を挿入することができるという効果を有する。 According to the present invention, it is possible to insert a desired moving image into a recorded moving image by a simple operation.
以下、図面を参照して本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置の回路構成を示すブロック図である。また、図２Ａ及び図２Ｂは図１の撮像装置の外観の一例を示す説明図である。
First Embodiment
FIG. 1 is a block diagram showing a circuit configuration of an imaging device according to a first embodiment of the present invention. FIGS. 2A and 2B are explanatory diagrams showing an example of the appearance of the imaging device of FIG.
本実施の形態の撮像装置は、記録済み動画データの再生時に、追加の動画撮影を可能にして、記録済み動画データ（以下、編集前動画データという）と追加撮影して得た動画（以下、挿入動画という）を含む動画データ（以下、挿入動画データという）とを映像合成編集するものである。 The imaging apparatus according to the present embodiment enables additional moving image shooting at the time of reproduction of recorded moving image data, and records the recorded moving image data (hereinafter referred to as pre-edit moving image data) and the moving image obtained by additional shooting (hereinafter, The video data (hereinafter referred to as insertion moving image data) including the insertion moving image) is subjected to video synthesis and editing.
この場合において、動画データ再生時の再生画像及び再生音声のうち少なくとも一方をユーザが確認しながら挿入動画の撮影を行うことで、編集前動画データ中のユーザが希望する部分の動画を所望の挿入動画に置き換えた動画データ（以下、編集後動画データという）を簡単に得ることが可能である。このように、編集後動画データに基づく画像（以下、編集後動画という）には所望の挿入動画が挿入されており、編集前動画データに基づく動画（以下、編集前動画）が単調な動画であったとしても、面白味のある編集後動画データを簡単に取得することができる。 In this case, the user can capture at least one of the reproduced image and the reproduced sound at the time of reproducing the moving image while shooting the inserted moving image, thereby inserting the desired moving image of the portion desired by the user in the unedited moving image data. It is possible to easily obtain moving image data replaced with moving images (hereinafter referred to as edited video data). As described above, a desired insertion moving image is inserted in an image based on the edited moving image data (hereinafter referred to as an edited moving image), and the moving image based on the unedited moving image data (hereinafter referred to as an unedited moving image) is a monotonous moving image. Even if it is, it is possible to easily acquire interesting edited post-edit video data.
図１において、撮像装置１０は、例えばデジタルカメラ等によって構成することができる。撮像装置１０には制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
In FIG. 1, the imaging device 10 can be configured by, for example, a digital camera or the like. The imaging device 10 is provided with a
撮像装置１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子２３を備えた撮像部２１を有している。撮像部２１は、光学系２２を介して入射した光学像を撮像素子２３によって光電変換することで、撮像信号（撮像画像）を取得する。なお、撮像素子２３としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素を有するものであってもよい。
The imaging device 10 includes an
光学系２２は、ズームやフォーカシングのための図示しないレンズ等を備えている。光学系２２は、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えており、それぞれ変倍制御部２４、ピント制御部２５及び絞り制御部２６によって駆動制御されるようになっている。なお、光学系２２のレンズとしては、撮像部２１に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。
The
制御部１１は、変倍制御部２４、絞り制御部２６及びピント制御部２５を制御して、光学系２２のズーム、絞り及びピントを調節することができるようになっている。撮像部２１は、制御部１１に制御されて撮像を行い、撮像画像（動画像及び静止画像）の撮像信号を制御部１１に出力する。また、撮像装置１０にはマイクロホン２７が設けられている。マイクロホン２７は、撮像装置１０の周囲の音声を収音して、音声信号を制御部１１に供給するようになっている。
The
撮像装置１０には操作部３５が設けられている。操作部３５は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、ユーザ操作に基づく操作信号を制御部１１に出力する。制御部１１は、操作部３５からの操作信号に基づいて、撮像部２１を含む各部を制御するようになっている。
The imaging device 10 is provided with an
また、後述する表示部３１の表示画面上には、タッチパネル３２が設けられている。タッチパネル３２は、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
Further, a
制御部１１は、撮像部２１に撮像素子の駆動信号を出力すると共に、撮像部２１からの撮像画像（動画像及び静止画像）を取込む。制御部１１の画像処理部１２は、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。なお、制御部１１は、マイクロホン２７からの音声信号に対しても所定の音声信号処理を行う。
The
制御部１１には記録再生制御部１４が設けられている。記録再生制御部１４は、信号処理後の撮像画像及び音声を圧縮処理し、圧縮後の画像及び音声を記録部３８に与えて記録させることができる。記録部３８は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を読み出して制御部１１に出力することができる。記録部３８としては、例えばカードインターフェースを採用することができ、記録部３８はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録再生制御部１４は、記録部３８に記録されている情報を読み出して利用させることができる。即ち、記録再生制御部１４は、記録部３８に記録されている動画データを再生して、再生動画や再生音声を出力する提示部として機能する。
The
なお、記録再生制御部１４は、記録部３８に記録する画像及び音声を関連付けて記録することができるようになっており、撮像部２１によって取得された撮像画像及びマイクロホン２７によって取得された音声は、相互に同一の時間基準を用いて録画時間と収音時間とが管理された動画データとして記録されるようになっている。なお、記録再生制御部１４は、動画像のみを含む動画データを記録することもできるようになっている。
The recording and
以後説明の簡略化のために、編集前動画データには同一の時間基準を用いて記録された動画像と音声とが含まれるものとして説明する。従って、編集前動画データの再生時には、動画像とこの動画像取得時の音声とが再生されて、表示及び音声出力を行うことが可能である。 Hereinafter, for simplification of the description, it is assumed that moving image data before editing includes moving images and sounds recorded using the same time reference. Therefore, at the time of reproduction of the moving image data before editing, it is possible to reproduce the moving image and the sound at the time of acquisition of the moving image, and to perform display and audio output.
また、制御部１１には、表示制御部１３が設けられている。表示制御部１３は、撮像部２１からの撮像画像や記録再生制御部１４からの再生画像が与えられて、これらの画像表示を表示部３１に対して行うことができる。また、表示制御部１３は、撮像装置１０の操作を行うためのメニュー表示等を表示部３１に表示させることもできるようになっている。また、制御部１１は、マイクロホン２７によって取得した音声や記録再生制御部１４からの再生音声をスピーカ３３に与えて音響出力することもできるようになっている。
Further, the
撮像装置１０には通信部３７が設けられている。通信部３７は、制御部１１に制御されて、図示しない外部機器との間で情報を送受することができるようになっている。通信部３７は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部３７は、ブルートゥース（登録商標）やＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。通信部３７は、撮像部２１によって取得された動画データを送信することができる。
A
また、撮像装置１０は時計部３６を有している。時計部３６は、時刻情報を発生して制御部１１に供給することができる。制御部１１は、この時刻情報を用いて、動画像同士、動画像と音声との時間情報を管理することができる。
The imaging device 10 further includes a
表示部３１は、例えば撮像装置１０の筐体背面に設けられており、ＬＣＤ（液晶表示装置）等の表示面を有している。
The
図２Ａ及び図２Ｂは撮像装置１０の外観を背面側から見て示すものである。筐体１０ａには図１の各回路部が収納される。筐体１０ａには背面に可動部３４が取り付けられ、可動部３４に表示部３１が取り付けられている。可動部３４は、図示しない回動部材等により表示部３１の表示画面３１ａの向きを所定の向きに変更することができるようになっている。図２Ａは表示画面３１ａが撮像装置１０の背面側に向いている状態（以下、非反転状態という）を示しており、図２Ｂは表示画面３１ａが撮像装置１０の正面側に向いている状態（以下、反転状態という）を示している。なお、図２Ａ及び図２Ｂにおいては、操作部３５としてボタン３５ａ及びカーソルキー３５ｂが設けられている例を示している。
2A and 2B show the appearance of the imaging device 10 as viewed from the rear side. Each circuit unit of FIG. 1 is accommodated in the
可動部３４は、例えば、バリアングル(variable angle)式やチルト（tilt）式によって構成してもよい。本実施の形態においては、制御部１１は、図示しないセンサ等により可動部３４の状態を把握することができるようになっている。例えば、制御部１１は、可動部３４が反転状態にあるか非反転状態にあるかを把握することができるようになっている。なお、制御部１１は可動部３４の非反転状態を基準として、可動部３４が筐体１０ａに対して所定の角度以上傾斜したことを傾斜状態として認識してもよく、また、筐体１０ａと可動部３４との距離が所定の距離以上離間したことを離間状態として認識するようになっていてもよい。以後の説明において、制御部１１は、反転状態、非反転状態の判定に代えて、傾斜状態や離間状態の判定を行うようになっていてもよい。
The
本実施の形態においては、制御部１１には、編集制御部１６が設けられている。編集制御部１６は、記録済み動画データの再生時に追加の動画撮影を可能にするモード（以下、追加撮影モードという）の制御を行う。即ち、編集制御部１６は、再生モードから追加撮影モードへの移行制御、追加撮影モードにおける挿入動画の撮影制御、編集前動画に挿入動画を挿入するタイミングの制御、編集前動画と挿入動画との合成制御等を行うようになっている。
In the present embodiment, the
次にこのように構成された実施の形態の動作について図３から図７を参照して説明する。図３は第１の実施の形態の動作を説明するためのフローチャートである。図４は追加撮影モードにおける撮影の様子を説明するための説明図である。図５から図７は追加撮影モードにおける画面表示の表示例を示す説明図である。 Next, the operation of the embodiment configured as described above will be described with reference to FIG. 3 to FIG. FIG. 3 is a flowchart for explaining the operation of the first embodiment. FIG. 4 is an explanatory view for explaining the state of shooting in the additional shooting mode. 5 to 7 are explanatory diagrams showing display examples of the screen display in the additional imaging mode.
追加撮影モードは、撮像装置１０により或いは他の撮影機器により撮影されて取得された動画像を再生した状態で撮影可能なモードであり、ユーザは、再生した動画像を視聴しながら、挿入動画の撮影操作を行う。図４はこの場合の撮影の様子を示している。図４の例は、撮像装置１０の筐体１０ａの正面側をユーザ５０の方に向けた状態で、三脚４７により撮像装置１０を支持した状態を示している。撮像装置１０は筐体１０ａの正面側に光学系２２のレンズを収納した鏡筒２２ａが設けられており、筐体１０ａの上面には操作部３５を構成するシャッタボタン３５ｃが配設されている。筐体１０ａに取り付けられた可動部３４は、表示部３１の表示画面３１ａが筐体１０ａの正面側に向く状態（反転状態）となっている。従って、図４は、所謂自分撮り撮影が可能な状態を示している。なお、追加撮影モードは自分撮り撮影が可能な可動部３４の反転状態に限らず、可動部３４が非反転状態であっても設定可能である。
The additional shooting mode is a mode capable of shooting in a state where a moving image captured and acquired by the imaging device 10 or another imaging device is reproduced, and the user can view an inserted moving image while viewing the reproduced moving image. Perform shooting operation. FIG. 4 shows the state of shooting in this case. The example of FIG. 4 shows a state in which the imaging device 10 is supported by the
図４の例では、表示部３１の表示画面３１ａ上には、上方に編集前動画の再生画面４１が表示され、再生画面４１の下方には再生時間を示すプログレスバー４３が表示され、表示画面３１ａ上の下方にはスルー画４２が表示されている状態を示している。また、表示画面３１ａ上には、撮影の開始を指示するための「開始」ボタン４４も表示されている。
In the example of FIG. 4, the
図４は例えば演奏会等において行われたアンサンブルのメンバーの一人であるユーザ５０が、当該演奏会を撮影して得られた動画像に、自分をクローズアップした動画像を撮影して挿入動画として挿入することを想定したものである。演奏会における撮像時には、必ずしもユーザ５０が目立つように撮影が行われる訳ではなく、ユーザ５０が満足する動画像が得られているとは限らない。ユーザ５０は、動画像を再生して自分が満足する動画像を得るために、編集前動画の一部に例えば置き換える挿入動画を撮影する。即ち、ユーザ５０は、追加撮影モードにおいて、編集前動画の再生画像及び再生音声の少なくとも一方を確認することで、編集前動画に同期させた演奏を行う。そして、後述する編集処理によって、例えば、編集前動画の一部を挿入動画に置き換える。なお、この場合には音声は挿入されず、挿入動画の挿入部分においても、編集前動画データの音声が用いられた編集後動画データが作成される。
For example, in FIG. 4, a
図３から図７を参照して追加撮影モードの動作を詳細に説明する。これらの各図において、アフレコモードは、追加撮影モードを意味する。なお、図３においては、後述するように、ステップＳ２〜Ｓ４は、通常録画モードと追加撮影モードとの選択処理を示し、ステップＳ１０〜Ｓ２２は追加撮影モードの処理を示している。 The operation of the additional imaging mode will be described in detail with reference to FIGS. 3 to 7. In each of these figures, the after recording mode means an additional photographing mode. In FIG. 3, as described later, steps S2 to S4 indicate selection processing of the normal recording mode and the additional photographing mode, and steps S10 to S22 indicate processing of the additional photographing mode.
ユーザ５０は、撮像装置１０の操作部３５を操作して、通常の録画モードか又は追加撮影モードを指定する。本実施の形態においては、制御部１１は、追加撮影モードへの移行は、表示画面（パネル）３１ａが反転状態になった場合に行う。
The
制御部１１は、図３のステップＳ１において、表示部３１の表示画面（パネル）３１ａが反転状態になったことを検出すると、ステップＳ２において、通常の録画モードが指定されているか追加撮影モード（アフレコモード）が指定されているかを判定する。制御部１１は、通常の録画モードが指定されている場合には、ステップＳ４に処理を移行してスルー画表示を行った後ステップＳ８に進む。いま、追加撮影モードが指定されているものとする。この場合には、制御部１１の表示制御部１３は、ステップＳ１でパネル反転を検出すると、ステップＳ３において追加撮影モード表示を行う。
When the
図５はこの追加撮影モード表示の一例を示している。表示制御部１３は、図５の追加撮影モード表示を行う。図５では、表示画面３１ａの中央に機能を選択するための選択表示６０が設けられる。選択表示６０中には、再生を指示する再生ボタン６０ａ、録画を指示する録画ボタン６０ｂ及び編集を指示する編集ボタン６０ｃが表示されている。なお、図５は斜線によって再生ボタン６０ａが選択されていることを示している。また、表示画面３１ａ上の上方に編集前動画の再生画面の表示領域６１ａが設けられ、下方にスルー画の表示領域６２ａが設けられる。また、表示画面３１ａの下端には、再生時間軸を示すプログレスバー６４が表示されており、プログレスバー６４上の丸印６４ａは、現在の再生時間を示している。
FIG. 5 shows an example of this additional imaging mode display. The
また、図６は表示制御部１３による追加撮影モード表示の他の例を示している。図６においても、表示画面３１ａの中央に機能を選択するための選択表示６０が設けられる。図６においても斜線によって再生ボタン６０ａが選択されていることを示している。図６の例では、表示画面３１ａ上の中央に編集前動画の再生画面の表示領域６１ｂが設けられ、この表示領域６１ｂを親画面とし、この親画面中の一部の領域に子画面としてスルー画の表示領域６２ｂが設けられる。また、図６においては、編集前動画データの再生音声の波形を示す音声波形表示６３が表示され、表示画面３１ａの下端には、丸印６４ａによって現在の再生時間を示すプログレスバー６４も表示されている。
Further, FIG. 6 shows another example of the additional photographing mode display by the
制御部１１は、ステップＳ５において、録画選択が行われたか否かを判定する。ユーザ５０が再生ボタン６０ａ又は編集ボタン６０ｃを操作すると、制御部１１は処理をステップＳ７に移行して再生モード又は編集モードを実行する。再生モードが指定された場合には、図５及び図６において、選択表示６０の表示が消えた後、編集前動画の再生が開始される。この場合には、例えば、表示領域６１ａ，６１ｂにおいて或いは表示画面３１ａの画面全体において、編集前動画の再生画像が表示される。
In step S5, the
いま、ユーザ５０が追加撮影モードにおいて挿入動画の撮影を行うものとする。なお、以下の説明では、図５の追加撮影モード表示を採用するものとして説明するが、図６の追加撮影モードを採用する場合の動作も同様である。
Now, it is assumed that the
ユーザ５０は、図５及び図６の選択表示６０中の録画ボタン６０ｂを例えばタッチ操作する。これにより、制御部１１は、ステップＳ５から処理をステップＳ６に移行して録画モードに移行する。
The
挿入動画の録画が開始されると、選択表示６０の表示は消え、表示画面３１ａの下方の表示領域６２ａには、録画画像が表示される。
When the recording of the insertion moving image is started, the display of the
また、図７は表示制御部１３による追加撮影モード表示の他の例を示している。図７は図５及び図６における選択表示６０の表示が消された後の表示例を示している。図７の例では、表示画面３１ａの比較的広い範囲に編集前動画の再生画面の表示領域７１が設けられ、この表示領域７１を親画面とし、この親画面中の一部の領域に子画面としてスルー画又は録画画像の表示領域７２が設けられる。表示領域７２中には録画中には録画画像が表示されていることを示すマーク７２ａが表示されるようになっている。
Further, FIG. 7 shows another example of the additional photographing mode display by the
また、図７においては、表示領域７１の下方に編集前動画データの再生音声のレベルを示すレベル表示７３が表示される。レベル表示７３は、左右の再生音声のレベルをそれぞれ示すＬ，Ｒ用の２つのバーを有しており、各バー中において音声レベルの大きさを例えば着色や発光等（図ではハッチング）によって示している。
Ｌレベル表示７３の下方に、ハッチングで示す着色部によって現在の再生時間を示すプログレスバー７４も表示される。なお、レベル表示７３は、挿入動画の挿入位置の目安として用いることもできる。また、プログレスバー７４の左側には再生時間（ｈｈ：ｍｍ：ｓｓ）が表示され、右側にはトータル時間（ＨＨ：ＭＭ：ＳＳ）が表示されている。
Further, in FIG. 7, a
Below the
次に、制御部１１は、例えばシャッタボタン３５ｃ等の録画開始ボタンの押下操作をステップＳ８において検出する。この検出により、制御部１１は、処理をステップＳ９に移行して、追加撮影モードにおける録画が指定されているか又は通常録画モードにおける録画が指定されているかを判定する。追加撮影モードが指定されている場合には、制御部１１はステップＳ９からステップＳ１０に処理を移行して、再生を開始する。
Next, in step S8, the
記録再生制御部１４は、記録部３８に記録されている編集前動画を読出し、表示制御部１３は、読出された編集前動画データの動画を表示画面３１ａの表示領域６１ａに表示し、音声をスピーカ３３から出力する。次に、制御部１１は、ステップＳ１１において、録画を開始する。制御部１１は撮像部２１を制御し、撮像部２１は被写体を撮像して撮像画像を制御部１１に出力する。画像処理部１２は、入力された撮像画像に所定の信号処理を施す。記録再生制御部１４は、信号処理後の撮像画像を記録部３８に順次記録する。
The recording and
なお、ステップＳ１１の録画に際して、制御部１１は、スピーカ３３が収音した音声信号を取り込むようになっていてもよい。この音声信号は編集後動画データ用としては記録部３８に記録する必要はないが、編集前動画と挿入動画との同期合わせのために利用することも可能である。
Note that, at the time of recording in step S11, the
次のステップＳ１２，Ｓ１３において、制御部１１は、それぞれ再生終了操作、録画終了操作の有無を判定する。再生終了操作又は録画終了操作があった場合には、制御部１１はステップＳ２１，Ｓ２２において、再生終了処理及び録画終了処理を実行する。再生終了操作及び録画終了操作のいずれも行われていない場合には、制御部１１は、次のステップＳ１４において、再生位置がカットイン等の挿入位置に到達したか否かを判定する。
In the next steps S12 and S13, the
本実施の形態においては、制御部１１は、ユーザ操作に基づいて、挿入動画を編集前動画のいずれの位置（挿入位置）に挿入するかを示すマーキングを設定しておくことが可能である。ステップＳ１４では、例えばこのマーキングによって挿入位置に到達したか否かが判断可能である。マーキングが設定されている場合には、ステップＳ８において録画開始ボタンが操作された場合でも、マーキングによって指定された挿入位置に到達するまでは、挿入動画の挿入が行われないようにすることができる。なお、マーキングを設定することなく、ステップＳ８の録画開始ボタンの操作直後に、挿入動画を編集前動画の再生開始位置から挿入するようになっていてもよく、また、ステップＳ８の録画開始ボタンの操作から予め設定された所定時間後に、挿入動画を編集前動画に挿入するようになっていてもよい。なお、マーキングを設定しない場合には、無条件にステップＳ１４からステップＳ１５に処理を移行する。
In the present embodiment, the
更に、本実施の形態においては、マーキングの設定の有無に拘わらず、編集前動画と挿入動画の同期合わせを行った後、実際の挿入位置である録画動画マーキングを設定するようになっている。編集前動画データ中の動画像と音声とは同期がとれている状態である。これに対し、編集前動画と挿入動画とは同期がとれているとは限らない。そこで、編集制御部１６は、編集前動画データと挿入動画データとについて、画像同士の特徴及び音声同士の特徴の少なくとも一方の特徴に基づいて同期合わせを行う。
Furthermore, in the present embodiment, regardless of the presence or absence of the marking setting, after the synchronization between the unedited moving image and the inserted moving image is performed, the recorded moving image marking which is the actual insertion position is set. The moving image in the moving image data before editing and the audio are in a synchronized state. On the other hand, the pre-edit video and the insertion video are not necessarily synchronized. Therefore, the
編集制御部１６は、ステップＳ１４の次のステップＳ１５において、再生動画（音声）特徴を抽出し、ステップＳ１６において録画動画データ（挿入動画データ）の動画（音声）特徴を抽出する。編集制御部１６は、次のステップＳ１７において、動画特徴及び音声特徴の少なくとも一方の特徴が一致するように、編集前動画又は挿入動画を時間的にシフトさせながら特徴の比較を行う。編集制御部１６は、特徴が一致した場合には、シフトさせた時間に応じて録画動画マーキングを設定することで同期合わせを行う。
In step S15 following step S14, the
例えば、音声特徴に基づいて同期合わせを行う場合には、編集前動画データの音声波形と挿入動画データの音声波形とを比較し、波形が一致するように、例えば音声レベルに相当する振幅が十分に大きい複数のタイミングが一致するように挿入動画を時間的にシフトさせることで、同期合わせが可能である。 For example, when performing synchronization on the basis of audio features, the audio waveform of the unedited moving image data and the audio waveform of the inserted moving image data are compared, and the amplitude corresponding to the audio level is sufficient, for example. The synchronization can be achieved by temporally shifting the insertion moving image so that multiple large timings coincide with each other.
また、画像特徴に基づいて同期合わせを行う方法として、編集前動画中の特定部分の動きベクトルと挿入動画中の対応する特定部分の動きベクトルとを比較し、動きベクトルの変化が一致するように挿入動画を時間的にシフトさせることで、同期合わせが可能である。 Also, as a method of performing synchronization on the basis of image features, the motion vector of a specific part in the unedited video is compared with the motion vector of the corresponding specific part in the inset video so that changes in the motion vector match. Synchronization can be performed by temporally shifting the insertion moving image.
編集制御部１６は、動画や音声の特徴が一致しない場合には、ステップＳ１７からステップＳ１２に処理を戻す。編集制御部１６は、動画や音声の特徴が一致した場合には、ステップＳ１７から処理をステップＳ１８に移行して、シフト量に応じて同期合わせのための録画動画マーキングを設定する。即ち、編集制御部１６は、編集前動画の挿入位置と挿入動画の対応する位置とを特定する。
The
本実施の形態においては、追加撮影モードの録画モードにおいて、編集前動画と挿入動画との合成画像の生成が可能である。また、追加撮影モードの編集モードにおいても、編集前動画と挿入動画との合成画像の生成が可能である。録画モードにおいて編集前動画と挿入動画との合成が指定されている場合には、編集制御部１６は、次のステップＳ１９からステップＳ２０に移行して、録画動画マーキングを用いて編集前動画と挿入動画とを同期させて合成し、処理をステップＳ１２に戻す。例えば、編集前動画の録画同期マーキングの位置で、挿入動画に置き換える。記録再生制御部１４は、合成動画は、記録再生制御部１４によって記録部３８に記録される。なお、録画モードにおける合成が指示されていない場合には、編集制御部１６は、合成を行うことなくステップＳ１９から処理をステップＳ１２に戻す。即ち、この場合には、編集前動画は編集されることなく、挿入動画はそのまま記録部３８に記録される。
In the present embodiment, it is possible to generate a composite image of the unedited moving image and the insertion moving image in the recording mode of the additional shooting mode. In addition, also in the edit mode in the additional shooting mode, it is possible to generate a composite image of the unedited moving image and the insertion moving image. When combining of the unedited moving image and the insertion moving image is designated in the recording mode, the
なお、ステップＳ９において追加撮影モードが指定されていないと判定された場合には、制御部１１は、ステップＳ３１において、通常の録画動作を行う。制御部１１は、ステップＳ３２において録画終了操作があったか否かを判定し、録画の終了操作がなければ録画を継続し、終了操作が行われると処理をステップＳ３２からステップＳ３３に移行して、録画を終了する。
If it is determined in step S9 that the additional imaging mode is not designated, the
ステップＳ２２，Ｓ３３の録画終了処理では、記録再生制御部１４は、記録部３８に記録した動画のファイル化を行う。即ち、追加撮影モードにおいて、挿入動画が撮影された場合には、ステップＳ２２において、編集前動画と挿入動画との合成画像の画像ファイルが生成されるか又は、編集前動画に対応する挿入動画の画像ファイルが生成される。また、追加撮影モードでない場合には、通常の動画像の画像ファイルが生成される。この時作られる、画像ファイルには、挿入動画がある場合とない場合を示すメタデータを記録するようにしてもよく、挿入動画の範囲を時間等で表して、これをメタデータ化して記録してもよい。
In the recording end process of steps S22 and S33, the recording and
ステップＳ２２，Ｓ３３の次に、制御部１１はステップＳ２３において可動部３４が反転状態であるか否かを判定する。制御部１１は、反転状態である場合には処理をステップＳ２に戻し、非反転状態になっている場合には、処理をステップＳ２４に移行して、追加撮影モードを終了して通常のカメラモードに移行する。
After steps S22 and S33, the
なお、図３の例では、同期合わせのために、編集前動画データ及び挿入動画データについて、画像特徴や音声特徴が一致するか否かを判定した。しかし、本実施の形態においては、例えば単調な編集前動画に、所望の挿入動画を挿入することで、面白味のある編集後動画を簡単に取得することを目的としており、必ずしも厳密な同期合わせを必要とするものではない。例えば、編集前動画である演奏会の再生画像を視聴しながら、編集前動画データの画像又は音声に同期して演奏を行うことで、十分に実用的な同期合わせを行った挿入画像の撮影が可能である。 Note that, in the example of FIG. 3, it is determined whether or not the image feature and the audio feature match for the pre-edit moving image data and the insertion moving image data for synchronization. However, in the present embodiment, for example, it is intended to easily acquire interesting post-edited moving pictures by inserting desired insertion moving pictures into monotonous pre-edited moving pictures, and strict synchronization is not always required. It is not necessary. For example, by playing in synchronization with the image or voice of the unedited video data while watching the reproduced image of the concert, which is the unedited video, shooting of the inserted image with sufficiently practical synchronization can be performed. It is possible.
なお、一般的には、人は、時間知覚に関して、視覚刺激よりも聴覚刺激の方が鋭敏である。従って、編集前動画データの画像及び音声のうち、少なくとも音声を聴きながら演奏を行うことで、十分な精度で編集前動画と挿入動画との同期合わせが可能である。 Generally, in terms of time perception, humans are more sensitive to auditory stimuli than to visual stimuli. Therefore, by performing the performance while listening to at least the voice of the image and sound of the pre-edited moving image data, it is possible to synchronize the unedited moving image and the inserted moving image with sufficient accuracy.
なお、一般的には、人は、空間知覚に関して、聴覚刺激よりも視覚刺激の方が鋭敏である。従って、編集前動画の画像の動きが特徴的である場合等においては、編集前動画データの画像及び音声のうち、少なくとも画像を見ながら撮影を行うことで、十分な精度で編集前動画と挿入動画との同期合わせが可能であることも考えられる。
ただし、ここでは音楽会の記録の例で説明したが、音楽のように音の連続感が必要でないシーンにおいても本願は活用でき、運動会の徒競走のゴールシーンの後で、後で撮影した選手の顔のアップ画像を挿入するような応用も可能で、音が連続することは必須ではなく、音を置き換えるような仕様であっても、音を重ねるような仕様であってもよい。画像についても置き換えでなく、合成であっても良い。つまり、元の動画を動画Ａ、アフレコ動画として、またはカットイン動画として、これらの後から追記した動画を動画Ｂとした時、動画Ａ→動画Ｂ→動画Ａという動画を編集動画として得るイメージでもっぱら説明したが、動画Ａ→動画Ａ＋Ｂ→動画Ａという編集があってもよい。動画Ａ＋Ｂの時には、メイン画像に動画ＡまたはＢ、サブ画像に動画ＢまたはＡといった表現もあり得る。サブ、メインの差異がなく並列させて鑑賞可能にしてもよい。また、再生時にこうした表現が出来るように別ファイルで動画を記録してもよい。
Generally, in terms of spatial perception, humans are more sensitive to visual stimuli than to auditory stimuli. Therefore, when the motion of the image before editing is characteristic, etc., by taking a picture while looking at at least the image and the voice of the before editing data, the motion before insertion and the insertion are performed with sufficient accuracy. It is also conceivable that synchronization with moving pictures is possible.
However, although the example of the recording of the music meeting was explained here, this application can be used also in the scene where the sense of sound continuity is not necessary like music, and after the goal scene of the race of the athletic meet, the player's It is also possible to apply an up image of a face, it is not necessary that the sound be continuous, and it may be a specification to replace the sound or a specification to overlap the sound. Images may not be replaced, but may be composited. That is, when an original moving image is a moving image A, an after-effect moving image, or a cut-in moving image, and the moving image added after these is a moving image B, Although it has been exclusively described, there may be editing such as movie A → movie A + B → movie A. In the case of the moving image A + B, expressions such as the moving image A or B in the main image and the moving image B or A in the sub image may be possible. It may be possible to view in parallel without making a difference between sub and main. Also, the moving image may be recorded as another file so that such expression can be made at the time of reproduction.
このように本実施の形態においては、追加撮影モードでは、既に記録されている編集前動画データを再生しながら、所望の挿入動画の撮影が可能であり、編集前動画と挿入動画とを合成した合成画像を簡単に得ることができる。これにより、１回の撮影では比較的単調になりがちな動画（編集前動画）に対して、所望の挿入動画を簡単な操作で合成して、面白味のある動画を生成することができる。また、表示画面の向きを変化させることで、追加撮影モードへの移行を可能にしており、挿入画像の撮影操作が極めて簡単である。しかも、追加撮影モードでは、編集前動画の再生が行われるので、再生画像及び再生音声を利用して、比較的容易に編集前動画に同期した挿入動画の撮影が可能である。更に、編集前動画データと挿入動画データとの画像や音声の特徴の一致を検出することで同期合わせを行うこともでき、編集前動画と挿入動画とを確実に同期合わせした状態の合成画像を得ることができる。 As described above, in the present embodiment, in the additional shooting mode, it is possible to shoot a desired insertion moving image while reproducing the pre-editing moving image data already recorded, and combining the pre-edit moving image and the insertion moving image A composite image can be easily obtained. As a result, it is possible to generate an interesting moving image by synthesizing a desired insertion moving image with a simple operation with respect to a moving image (moving image before editing) which tends to be relatively monotonous in one shooting. In addition, by changing the orientation of the display screen, transition to the additional imaging mode is made possible, and the imaging operation of the inserted image is extremely easy. Moreover, in the additional shooting mode, since the unedited moving image is reproduced, it is possible to relatively easily capture the inserted moving image synchronized with the unedited moving image by using the reproduced image and the reproduced sound. Furthermore, synchronization can be performed by detecting matching of the features of the image and audio of the unedited moving image data and the inserted moving image data, and the composite image in a state where the unedited moving image and the inserted moving image are surely synchronized You can get it.
例えば、結婚式や演奏会等のイベントにおいて撮影された動画を登録されたＳＮＳ（ソーシャル・ネットワーキング・サービス）を送信先に設定して、アップロードすることが考えられる。このような場合においても、追加撮影モードを利用することで、自分をクローズアップした動画像等を挿入動画として撮像して合成した後アップロードすることで、面白味のある動画像の投稿が簡単に行える。 For example, it may be considered that a social networking service (SNS) registered as a destination is set as a transmission destination for a moving image shot at an event such as a wedding or a concert. Even in such a case, by using the additional shooting mode, it is possible to easily post an interesting moving image by capturing the moving image or the like close-up of oneself as an insertion moving image and combining it and then uploading it. .
（第２の実施の形態）
図８は本発明の第２の実施の形態において採用される動作フローを示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同様である。第１の実施の形態においては、追加撮影モードにおいて挿入動画の１回の撮像のみを行う例を示した。本実施の形態においては、追加撮影モードにおいて複数回の挿入動画の撮像や挿入動画の撮り直しを可能にした例を示している。即ち、本実施の形態は、制御部１１の制御が第１の実施の形態と異なる。
Second Embodiment
FIG. 8 is a flow chart showing an operation flow employed in the second embodiment of the present invention. The hardware configuration of this embodiment is the same as that of the first embodiment. In the first embodiment, an example is shown in which only one imaging of the insertion moving image is performed in the additional imaging mode. In the present embodiment, an example is shown in which it is possible to capture an insertion moving image a plurality of times and to retake an insertion moving image in the additional imaging mode. That is, in the present embodiment, control of the
次に、図８から図１３を参照して第２の実施の形態の動作について説明する。図９から図１２は画面表示を説明するための説明図であり、図１３は複数回の挿入動画の撮影及び挿入動画の撮り直しにおける再生及び録画位置を説明するための説明図である。 Next, the operation of the second embodiment will be described with reference to FIGS. 8 to 13. FIG. 9 to FIG. 12 are explanatory diagrams for explaining the screen display, and FIG. 13 is an explanatory diagram for explaining the reproduction and recording positions in photographing of a plurality of insertion moving images and retaking of the insertion moving images.
撮像装置１０の電源が投入されると、図８のステップＳ４１において、制御部１１は通常の撮影モードが設定されているか否かを判定する。通常の撮影モードが設定されている場合には、制御部１１は、ステップＳ４２においてスルー画を表示部３１に表示させた後、ステップＳ４３において撮影操作を判定するまでステップＳ４２のスルー画表示を繰り返す撮影開始操作の待機状態となる。撮影操作が行われると、制御部１１は、ステップＳ４３からステップＳ４４に処理を移行して、撮像部２１を制御して撮影を行う。撮像画像は記録再生制御部１４によって記録部３８に記録される。制御部１１は、ステップＳ４５において撮影の終了操作を判定するまで、ステップＳ４４の撮影を繰り返す。撮影終了操作があると、制御部１１は処理をステップＳ４１に戻す。制御部１１は、ステップＳ４１において撮影モードでないものと判定すると、次のステップＳ５１においてサムネイル表示を行う。
When the power of the imaging device 10 is turned on, the
図９はこのサムネイル表示を示している。記録再生制御部１４は記録部３８に記録されている複数の動画像を読出し、表示制御部１３は、各動画像に対応するサムネイル画像を生成して表示する。図９の例では、表示画面３１ａ上に９個のサムネイル画像８１が表示されていることを示している。制御部１１は次のステップＳ５２においてサムネイル画像８１が選択操作されたか否かを判定し、選択操作が行われるまでステップＳ５１のサムネイル表示を継続する。例えば、表示制御部１３は表示画面３１ａ上にカーソル８２を表示させており、ユーザのカーソル操作によってサムネイル画像８１の選択が可能である。図９の例は太線によって左端上端のサムネイル画像８１が選択されたことを示している。
FIG. 9 shows this thumbnail display. The recording and
ユーザがサムネイル画像８１の１つを選択すると、制御部１１は、次のステップＳ５３において、選択されたサムネイル画像８１に対応する動画像を読出して再生する。表示制御部１３は、読出された動画像を表示画面３１ａに表示させる。
When the user selects one of the
図１０はこの状態を示しており、表示画面３１ａ上には、選択された動画像の再生画像８５が表示されている。この動画再生状態において、ステップＳ５４において、所定の操作が行われたことを判定するまで、通常の動画再生を継続する。所定の操作が行われると、制御部１１は、ステップＳ５４からステップＳ５５に処理を移行して追加撮影モードに進む。図８の例では、所定の操作として、可動部３４の反転状態、即ち、表示部３１の表示画面３１ａが筐体１０ａの正面方向に面した（反転した）ことを判定するようになっており、可動部３４が反転状態（モニタが反転）になると追加撮影モードに移行する。
FIG. 10 shows this state, and the reproduced
追加撮影モードでは、先ずステップＳ５５において、選択されている動画の再生位置を設定し、更に、挿入画像の撮影のためのスルー画を表示する。なお、この場合の再生位置は、ステップＳ５３における再生位置に継続した位置であってもよく、また、読出した動画像の先頭位置であってもよい。表示制御部１３はステップＳ５６において、動画像（編集前動画）の再生を行う。
In the additional photographing mode, first, in step S55, the reproduction position of the selected moving image is set, and further, a through image for photographing of the insertion image is displayed. The reproduction position in this case may be a position continued to the reproduction position in step S53, or may be the leading position of the read moving image. In step S56, the
図１１はこの状態を示しており、表示部３１の表示画面３１ａの上方には再生動画の表示領域８６が設けられ、下方にはスルー画の表示領域８７が設けられている。また、表示画面３１ａの下端には丸印８８ａで現在の再生時間を示す時間軸表示であるプログレスバー８８が表示されている。
FIG. 11 shows this state, and a
次に、編集制御部１６は、ステップＳ５７において、挿入動画の撮影操作が行われたか否かを判定する。撮影操作が行われていない場合には、編集制御部１６は処理をステップＳ６５に移行して、戻る操作が行われたか否かを判定する。制御部１１は、追加撮影モードにおいて、挿入動画の記録が１回も行われていない場合において戻る操作が行われたものと判定した場合には、処理をステップＳ５１に戻して、サムネイル表示を行う。それ以外の場合には、制御部１１はステップＳ６５から処理をステップＳ５６に戻して、再生状態を継続しながら撮影操作の待機状態となる。
Next, in step S57, the
ここで、ユーザが撮影操作を行うと、編集制御部１６は、処理をステップＳ５７から次のステップＳ５８に移行して、挿入動画の撮影を行う。記録再生制御部１４は、編集制御部１６の指示に従って、挿入動画を記録部３８に記録（録画）する。なお、この場合には、表示部３１の表示画面３１ａの下方の表示領域８７は、録画画像（挿入動画）のスルー画表示用の表示領域となる。編集制御部１６は、次のステップＳ５９において、挿入動画の録画停止及び編集前動画の再生停止の少なくと一方の停止操作が行われたか否かを判定する。編集制御部１６は、これらの停止操作が行われていない場合には、ステップＳ５８において挿入動画の撮影を継続しながら停止操作の待機状態となる。ユーザが撮影の停止操作を行うと、編集制御部１６は、編集前動画の再生及び挿入動画の録画の両方を停止させ、挿入動画を編集前動画に関連づけて記録部３８に記録すると共に、処理を次のステップＳ６０に移行してモード選択表示を行う。
Here, when the user performs a shooting operation, the
図１２はこのモード選択表示を示している。表示部３１の表示画面３１ａ上には、再生動画の表示領域８６及びスルー画表示用の表示領域８９が設けられている。録画や再生の停止操作が行われると、こられの領域８６，８９上にモード選択表示（アフレコ動画モード選択）９０が表示される。このモード選択表示９０中には、挿入動画の撮り直しボタン９０ａ、次の挿入動画の撮影を行うための撮影継続ボタン９０ｂ及び撮影動画の確認のための撮影動画確認ボタン９０ｃが含まれる。なお、表示画面３１ａの下端には、丸印９１ａで現在の再生時間を示す時間軸表示であるプログレスバー９１が表示されている。
FIG. 12 shows this mode selection display. On the
編集制御部１６は、ステップＳ６１〜Ｓ６３において、それぞれこれらのボタン９０ａ〜９０ｃに対する操作が行われたか否かを判定する。ユーザが撮影継続ボタン９０ｂを例えばタッチ操作すると、編集制御部１６は、処理をステップＳ６１からステップＳ５６に戻して、再生を再開する。また、ユーザが撮り直しボタン９０ａを例えばタッチ操作すると、編集制御部１６は、処理をステップＳ６１，Ｓ６２からステップＳ６４に移行して、現在録画中の挿入動画を破棄すると共に、当該挿入動画の録画開始時における編集前動画の再生位置又はその所定時間前の位置に再生位置を戻した後、処理をステップＳ５６に戻して再生を再開する。
In steps S61 to S63, the
図１３は撮り直し及び撮影継続における再生位置を示している。図１３は上段に撮り直しの状態を示し、下段に撮影継続の状態を示している。図１３は水平方向に時間の経過を示し、斜線部は挿入動画が録画されている期間を示している。撮り直しでは、１回の挿入動画の録画開始時点まで再生位置を戻す。撮影継続では、挿入動画の録画停止位置から再生が再開される。 FIG. 13 shows the reproduction position in retaking and continuation of photographing. FIG. 13 shows the state of retaking at the upper stage, and shows the state of continuous shooting at the lower stage. FIG. 13 shows the passage of time in the horizontal direction, and the hatched portion shows the period during which the insertion moving image is recorded. In re-shooting, the playback position is returned to the start of recording of one inserted video. In the shooting continuation, the playback is resumed from the recording stop position of the inserted moving image.
撮り直しボタン９０ａ及び撮影継続ボタン９０ｂが操作された場合には、ステップＳ５６〜Ｓ６２，Ｓ６４が繰り返されることになり、挿入動画の複数回の録画が行われる。即ち、ユーザが撮影継続ボタン９０ｂを操作することによって、編集前動画の各再生位置において各挿入動画を録画することができる。また、ユーザが撮り直しボタン９０ａを操作すると、このボタン操作時点に録画されている挿入動画を破棄して対応する編集前動画の再生位置において挿入動画の撮り直しが可能である。
When the
ユーザが撮影動画確認ボタン９０ｃを例えばタッチ操作すると、編集制御部１６は、処理をステップＳ６１，Ｓ６２，Ｓ６３からステップＳ６５に移行して、記録再生制御部１４に録画されている挿入動画の再生を指示する。表示制御部１３は再生された挿入動画を表示部３１に与えて表示画面３１ａ上に表示させる。なお、この場合には、ステップＳ５８において撮影された全ての挿入動画を再生してもよく、直前に撮影された挿入動画のみを再生するようになっていてもよい。挿入動画の表示が終了すると、編集制御部１６は、表示画面３１ａ上に、録画した挿入動画を採用するか破棄するかの問い合わせのための表示を行う。
When the user touches, for example, the photographed moving
編集制御部１６は、ステップＳ６６において、この問い合わせに対するユーザ操作を判定する。ユーザが録画した挿入動画の破棄を指示する操作を行った場合には、編集制御部１６は、ステップＳ６８において録画した挿入動画を破棄した後処理を終了する。また、ユーザが録画した挿入動画を採用する操作を行った場合には、編集制御部１６は、ステップＳ６６からステップＳ６７に移行して録画した挿入動画と編集前動画の編集処理を実行した後処理を終了する。
In step S66, the
なお、図８では撮影動画確認ボタン９０ｃの操作によって追加撮影モードを終了するようになっているが、追加撮影モードを終了させるための終了ボタンを設けてもよく、第１の実施形態と同様に、可動部３４が非反転状態になることによって、追加撮影モードを終了させてもよい。
Although the additional shooting mode is ended by the operation of the photographed moving
編集制御部１６は、ステップＳ６７の編集処理として、編集制御部１６は図３のステップＳ２０における合成処理と同様の合成処理、即ち、編集前動画の各部分を録画した挿入動画で置き換える合成処理を行ってもよい。また、この場合において、図３のステップＳ１４〜Ｓ１８における同期合わせの処理を行ってもよい。更に、編集制御部１６は編集処理のためのユーザインターフェース表示を行って、録画した挿入動画を取捨選択しながら、編集前動画と挿入動画との編集を行うようになっていてもよい。
As the editing process at step S67, the
このように本実施の形態においては、第１の実施の形態と同様に、撮影した動画を再生しながら、再生画像や再生音声に合わせて挿入する動画の撮影が可能であり、簡単に、撮影済み動画の所定部分に挿入動画を挿入した合成画像を得ることができる。従って、単調になりがちな動画を元にして、簡単な操作で面白味のある動画を作成することができる。 As described above, in the present embodiment, as in the first embodiment, it is possible to shoot a moving image to be inserted according to a playback image or a playback voice while playing back a shot moving image, so that shooting can be easily performed. It is possible to obtain a composite image in which the insertion moving image is inserted into a predetermined portion of the completed moving image. Therefore, based on a moving image that tends to be monotonous, it is possible to create an interesting moving image with a simple operation.
（編集処理）
図１４から図２０は編集処理を説明するための説明図である。なお、以下の編集処理は、上記第１及び第２の実施の形態のいずれにも適用可能である。
(Editing process)
14 to 20 are explanatory diagrams for explaining the editing process. The following editing process is applicable to any of the first and second embodiments.
図３のステップＳ１０及び図８のステップＳ５３の動画再生毎に挿入動画を管理することで、同一の編集前動画に対して複数のテイクを取得することができる。即ち、この場合には、同一の編集前動画の同一の編集位置において、複数の異なる挿入動画を録画することができる。図１４から図２０はこのような複数テイクに対応した編集処理を示している。 By managing the inserted moving image for each moving image reproduction in step S10 in FIG. 3 and step S53 in FIG. 8, it is possible to acquire a plurality of takes for the same unedited moving image. That is, in this case, a plurality of different insertion moving images can be recorded at the same editing position of the same unedited moving image. FIGS. 14 to 20 show editing processing corresponding to such multiple takes.
編集制御部１６は、表示制御部１３に指示を与えて、編集処理のための図１４に示す編集処理表示（アフレコ編集）１００を表示させることができる。また、編集制御部１６は、タッチパネル３２や操作部３５のユーザ操作に応じて表示制御部１３、記録再生制御部１４を制御して、編集処理表示１００の表示を変化させると共に、編集前動画及び挿入動画に対する編集処理を行うことができるようになっている。以下に示す編集処理に係る、表示を含むユーザインターフェース、画像の読出し、合成、編集、書込み処理等は、編集制御部１６によって実現されるものである。
The
図１４に示す編集処理表示１００は、水平方向を時間の経過に対応させて、最上段に編集前動画（オリジナル動画）の各記録時間（再生時間）における各コマを縦線で区画して表した編集前動画コマ表示Ｆｏを示している。また、編集処理表示１００には、１回目、２回目、３回目、…のテイクによる挿入動画コマ表示（ＴＡＫＥ１（アフレコ））Ｆｔ１、挿入動画コマ表示（ＴＡＫＥ２（アフレコ））Ｆｔ２、挿入動画コマ表示（ＴＡＫＥ３（アフレコ））Ｆｔ３、…も表示されている。
The
挿入動画コマ表示Ｆｔ１，Ｆｔ２，Ｆｔ３，…（以下、各テイクを区別する必要がない場合には挿入動画コマ表示Ｆｔという）の無効部分は、挿入画像が録画されていない期間又は録画されていても有効でない期間を示している。図３のステップＳ１４において説明したように、挿入動画の録画は継続的に行われていたとしても、マーキングによって無効部分を指定することで、録画されている挿入動画のうち編集に用いることが可能な有効期間を設定することができる。なお、図８のフローでは、ユーザの撮影操作によって、有効期間の挿入動画のみが録画される。 (The inserted moving picture frame display Ft1, Ft2, Ft3, ... (hereinafter referred to as the inserted moving picture frame display Ft when it is not necessary to distinguish each take) is a period during which the inserted image is not recorded or is recorded Also indicate periods of ineffectiveness. As described in step S14 of FIG. 3, even if the recording of the insertion moving image is continuously performed, it can be used for editing among the insertion moving images being recorded by specifying the invalid portion by the marking. The effective period can be set. In the flow of FIG. 8, only the inserted moving image of the valid period is recorded by the user's shooting operation.
編集処理表示１００には、下端にタイムライン表示１０１が表示されている。タイムライン表示１０１に対する操作によって、編集前動画コマ表示Ｆｏ及び挿入動画コマ表示Ｆｔを水平方向にシフトさせて、表示する時間帯を変化させることが可能である。また、編集処理表示１００には右端にスクロールバー１０２が表示されている。挿入動画コマ表示Ｆｔの表示数が多い場合には、挿入動画コマ表示Ｆｔの一部しか表示させることができない。スクロールバー１０２に対するユーザ操作によって、表示させる挿入動画コマ表示Ｆｔをシフトさせて、全ての挿入動画コマ表示Ｆｔを編集処理表示１００において表示させることができる。
In the
編集制御部１６は、ユーザのスライド操作やカーソル操作等によって、合成する画像の指定を受け付けることができる。図１５はハッチングによってユーザが画像編集に用いるコマ（以下、指定コマという）１０３を選択したことを示している。例えば、ユーザは、編集処理表示１００上に表示されたカーソル１０３ａを破線矢印にて示すようにカーソル１０３ｂの位置までスライドさせることで、指定コマ１０３を指定することができる。また、例えば、ユーザは、指をカーソル１０３ａの位置のコマ部分からカーソル１０３ｂのコマ部分までスライド操作することで、指定コマ１０３を指定することができる。図１５の例では、ユーザによりハッチングにて示す編集前動画コマ表示Ｆｏの３つの指定コマ１０３が指定されたことが分かる。編集制御部１６は、ユーザによる指定コマ１０３の指定操作を受け付ける。なお、編集制御部１６は、指定コマ１０３のコマ部分については他のコマ部分とは異なる表示態様で表示させる。
The
図１６は編集前動画だけでなく挿入動画についても指定コマ１０３の指定操作が行われたことを示している。例えば、ユーザは、指をカーソル１０３ａの位置のコマ部分から破線矢印に示す経路でカーソル１０３ｂのコマ部分までスライド操作することで、編集前動画コマ表示Ｆｏの１つの指定コマ１０３と挿入動画コマ表示Ｆｔ１の４つの指定コマ１０３とを指定することができる。
FIG. 16 shows that the designating operation of the designated
図１７はユーザによる指定コマ１０３の指定操作が終了した状態を示している。図１７に表示された期間では、挿入動画コマ表示Ｆｔ１のコマの次に挿入動画コマ表示Ｆｔ２の３つの指定コマ１０３が指定され、次に挿入動画コマ表示Ｆｔ３の２つの指定コマ１０３が指定され、次に編集前動画コマ表示Ｆｏの１つの指定コマ１０３が指定されたことを示している。指定コマ１０３の指定が終了すると、編集制御部１６は、挿入動画の表示効果を決定するための効果選択表示１０５を表示画面３１ａ上に表示させる。
FIG. 17 shows a state in which the user has finished the designation operation of the designated
図１８はこの効果選択表示１０５の表示例を示している。効果選択表示１０５中には、編集前動画コマ表示Ｆｏ、タイムライン表示１０１の他に、画面全体を示す領域表示１０６が表示されている。編集前動画コマ表示Ｆｏ中の斜線部は、表示効果を設定する対象のコマを示しており、タイムライン表示１０１中の斜線部分は、表示効果が設定されるコマのタイムライン上の位置を示している。
FIG. 18 shows a display example of the
領域表示１０６中には、画面全体を親画面とし、子画面として表示する画像の領域表示１０７が表示されている。初期状態では、領域表示１０６は編集前動画の表示領域に相当し、領域表示１０７は挿入動画の表示領域に相当する。ユーザが例えば領域表示１０６上をタップ操作することで、領域表示１０６及び領域表示１０７に表示させる画像を編集前動画と挿入動画とで入れ替えることが可能である。
In the
また、領域表示１０７の周囲には、領域表示１０７の領域表示１０６に対するサイズ及び位置を変更するための拡縮アイコン１０８Ｕ，１０８Ｄ，１０８Ｒ，１０８Ｌ（以下、これらを区別する必要がない場合には拡縮アイコン１０８という）が表示されている。拡縮アイコン１０８Ｕは領域表示１０７の上辺を上下方向にスライドさせ、拡縮アイコン１０８Ｄは領域表示１０７の底辺を上下方向にスライドさせ、拡縮アイコン１０８Ｒは領域表示１０７の右辺を左右方向にスライドさせ、拡縮アイコン１０８Ｌは領域表示１０７の左辺を左右方向にスライドさせる。
In addition, enlargement /
ユーザが拡縮アイコン１０８を例えばスライド操作させることによって、領域表示１０７の各辺をスライドさせて、領域表示１０７の領域表示１０６に対するサイズ及び位置を変更することができる。図１９は例えば拡縮アイコン１０８を操作することで、領域表示１０７が領域表示１０７’の範囲から矢印に示すように拡大された結果、画面全体に対応する領域表示１０７に変化したことを示している。即ち、図１９の表示効果が指定された対象のコマについては、編集前動画に代えて挿入動画が全画面に表示されることになる。編集制御部１６は、効果選択表示１０５に対するユーザ操作に基づいて、指定コマ１０３毎に、表示効果を設定することができる。
The user can slide each side of the
図２０は最終的な編集処理の結果及び当該編集処理に対するユーザへの確認のための表示を含む編集確認表示１１０を示している。編集確認表示１１０においては、挿入動画コマ表示Ｆｔ中のハッチングを含むコマは、指定コマ１０３を示している。また、図２０では、編集前動画コマ表示Ｆｏは、編集後動画の各コマを示しており、表示効果が設定された指定コマによる編集後コマ１１１〜１１３を示している。
FIG. 20 shows an
編集後コマ１１１は、指定コマ１０３がそのまま使われたものであり、編集前動画のコマが指定コマ１０３として採用された場合と、挿入動画のコマが指定コマ１０３として採用された場合、即ちカットインの場合とがある。また、編集後コマ１１２は、挿入動画中の指定コマ１０３を子画面１１２ｂとして編集前動画の対応するコマを親画面１１２ａとする、所謂ワイプ表示を行うものである。また、編集後コマ１１３は、挿入動画中の指定コマ１０３を親画面１１３ａとして編集前動画の対応するコマを子画面１１３ｂとする、所謂逆ワイプ表示を行うものである。
The
編集確認表示１１０中には、確認表示１１４が表示されている。確認表示１１４中には編集内容に同意して編集後動画を生成するための「はい」表示１１４ａ及び編集内容に同意せず編集作業を継続するか又は編集作業を終了するための「いいえ」表示１１４ｂが表示されている。ユーザが「はい」表示１１４ａを例えばタップ操作することで、編集制御部１６は編集内容を確定して、編集前動画及び挿入動画に対して指定された編集を施して編集後動画を作成し、記録部３８に記録させる。また、ユーザが「いいえ」表示１１４ｂを例えばタップ操作した場合には、編集制御部１６は編集内容を確定せず、再度編集処理に戻るか又は編集を終了する。
In the
このように図１４から図２０に示す編集インターフェース表示を採用することで、簡単な操作で、所望の編集処理を行うことができる。
主に、ここでは音楽会の記録の例で説明したが、音楽のように音の連続感が必要でないシーンにおいても本願は活用でき、運動会の徒競走のゴールシーンの後で、後で撮影した選手の顔のアップ画像を挿入するような応用も可能である。ニュースの報道などでも、試合中の様子に、試合後のインタビュー画像が挿入される表現はよく使われる。この場合、音が連続することは必須ではなく、音を置き換えるような仕様であっても、音を重ねるような仕様であってもよい。画像についても置き換えでなく、合成であっても良い。つまり、元の動画を動画Ａ、アフレコ動画として、またはカットイン動画として、これらの後から追記した動画を動画Ｂとした時、動画Ａ→動画Ｂ→動画Ａという動画を編集動画として得るイメージでもっぱら説明したが、動画Ａ→動画Ａ＋Ｂ→動画Ａという編集があってもよい。動画Ａ＋Ｂの時には、メイン画像に動画ＡまたはＢ、サブ画像に動画ＢまたはＡといった表現もあり得る。サブ、メインの差異がなく並列させて鑑賞可能にしてもよい。また、再生時にこうした表現が出来るように別ファイルで動画を記録してもよい。もちろん、動画Ａ→動画Ｂで終わっても、挿入動画という言葉で表している。よって、追記動画という言葉で、これを表してもよい。
By adopting the editing interface display shown in FIG. 14 to FIG. 20 as described above, desired editing processing can be performed with a simple operation.
Mainly, although the example of the recording of the music meeting was explained here, this application can be used also in the scene where the sense of sound continuity is not necessary like music, and the player photographed later after the goal scene of the race of the athletic meet Applications such as inserting a face up image are also possible. Even in the news coverage, the expression in which the interview image after the game is inserted is often used during the game. In this case, it is not essential for the sound to be continuous, and it may be a specification to replace the sound or a specification to overlap the sound. Images may not be replaced, but may be composited. That is, when an original moving picture is a moving picture A, an after move moving picture, or a cut-in moving picture, and the moving picture added after these is a moving picture B, an image of moving picture A → moving picture B → moving picture A Although it has been exclusively described, there may be editing such as movie A → movie A + B → movie A. In the case of the moving image A + B, expressions such as the moving image A or B in the main image and the moving image B or A in the sub image may be possible. It may be possible to view in parallel without making a difference between sub and main. Also, the moving image may be recorded as another file so that such expression can be made at the time of reproduction. Of course, even if it ends with movie A → movie B, it is expressed by the word "inserted movie". Therefore, this may be expressed by the term "additional animation".
なお、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを採用する例を説明したが、動画の撮影が可能なものであれば、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。 In each embodiment of the present invention, an example in which a digital camera is adopted as an apparatus for photographing has been described, but a lens type camera or a digital single-lens reflex camera can be used as long as it is capable of photographing a moving image. Of course, it may be a compact digital camera, a video camera, a movie camera, or a camera built in a portable information terminal (PDA: Personal Digital Assist) such as a cellular phone or a smartphone. In addition, it may be an industrial or medical optical instrument such as an endoscope or a microscope, and may be a surveillance camera, an on-vehicle camera, or a stationary camera such as a camera attached to a television receiver or a personal computer. It may be.
さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していないが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした装置、あるいはシステムは、ユーザに何らかの働きかけを行ったり、部品の角度を変えたりする等の機能を有しても良く、その機構は、様々なアクチュエータと、必要に応じて連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。 Furthermore, in the embodiment, the part described as a part (section or unit) may be configured by combining a dedicated circuit or a plurality of general-purpose circuits, and the operation is performed according to pre-programmed software as needed. It may be configured by combining a microprocessor and a processor such as a CPU or a sequencer. In addition, it is possible to design such that an external device takes over all or part of the control, and in this case, a wired or wireless communication circuit intervenes. Here, although the communication unit is not particularly described for simplification, an embodiment in which an external device such as a server or a personal computer performs the characteristic processing or the supplementary processing of the present application is also assumed. That is, the present application also covers the case where a plurality of devices cooperate to establish the features of the present invention. Bluetooth (registered trademark), Wi-Fi (registered trademark), a telephone line or the like is used for communication at this time. The communication at this time may be performed by USB or the like. A dedicated circuit, a general-purpose circuit, and a control unit may be integrally configured as an ASIC. Such a device or system may have the function of acting on the user, changing the angle of parts, etc., and the mechanism is configured by various actuators and, if necessary, a coupling mechanism. The driver circuit operates the actuator. The drive circuit is also controlled by a microprocessor microcomputer, an ASIC or the like in accordance with a specific program. Such control may be performed in detail according to information output from various sensors and their peripheral circuits.
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as it is, and at the implementation stage, the constituent elements can be modified and embodied without departing from the scope of the invention. In addition, various inventions can be formed by appropriate combinations of a plurality of components disclosed in the above-described embodiments. For example, some components of all the components shown in the embodiment may be deleted. Furthermore, components in different embodiments may be combined as appropriate.
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。 In addition, with regard to the operation flow in the claims, the specification, and the drawings, it is essential to carry out in this order even if it is described using “first,” “next,” etc. for convenience. It does not mean. Further, it goes without saying that the respective steps constituting the operation flow can be appropriately omitted for portions which do not affect the essence of the invention.
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の撮像装置を実現することができる。 Also, among the techniques described here, many of the controls and functions described in the flowchart can be set by a program, and the computer may read and execute the program to realize the controls and functions described above. it can. The program may be recorded or stored in whole or in part as a computer program product on a portable medium such as a flexible disk, a CD-ROM, a non-volatile memory, etc., or a storage medium such as a hard disk or volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or communication line. The user can easily realize the imaging device of the present embodiment by downloading the program via the communication network and installing it on a computer or installing it from a recording medium to a computer.
１０…撮像装置、１０ａ…筐体、１１…制御部、、１２…画像処理部、１３…表示制御部、１４…記録再生制御部、１６…編集制御部、２１…撮像部、２２…光学系、２３…撮像素子、２４…変倍制御部、２５…ピント制御部、２６…絞り制御部、２７…マイクロホン、３１…表示部、３１ａ…表示画面、３２…タッチパネル、３３…スピーカ、３４…可動部、３５…操作部、３５ｃ…シャッタボタン、３６…時計部、３７…通信部、３８…記録部。
DESCRIPTION OF REFERENCE NUMERALS 10
Claims (9)
被写体の動画像を撮像する撮像部と、
前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示部と、
前記編集前動画データの再生時に前記撮像部に前記動画像を挿入動画として撮像させる追加撮影モードを実行する編集制御部と
を具備したことを特徴とする撮像装置。 A reproduction control unit that reproduces moving image data including image information and audio information as moving image data before editing;
An imaging unit that captures a moving image of a subject;
A presentation unit that outputs at least one of a moving image and a sound that can be output by reproduction of the pre-editing moving image data;
An imaging control unit configured to execute an additional imaging mode for causing the imaging unit to capture the moving image as an inserted moving image when the moving image data before editing is reproduced.
ことを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, wherein the editing control unit generates an edited moving image obtained by editing the moving image in the pre-edit moving image data and the inserted moving image.
前記編集制御部は、前記編集前動画データ中の音声と前記挿入動画データ中の音声との特徴の比較に基づいて、前記編集前動画データ中の動画と前記挿入動画との同期合わせを行う
ことを特徴とする請求項１に記載の撮像装置。 A microphone is provided to pick up surrounding sound in order to obtain insertion moving image data including sound at the time of capturing the insertion moving image,
The editing control unit synchronizes the moving image in the unedited moving image data with the inserted moving image based on comparison of features of the sound in the unedited moving image data and the sound in the inserted moving image data. The imaging device according to claim 1, characterized in that
ことを特徴とする請求項１又は３に記載の撮像装置。 The editing control unit synchronizes the moving image in the unedited moving image data with the inserted moving image based on comparison of features of the moving image obtained by reproduction of the unedited moving image data and the feature of the inserted moving image. The imaging device according to claim 1, wherein the imaging device is characterized.
ことを特徴とする請求項１に記載の撮像装置。 The editing control unit repeats imaging of the inserted video while changing the playback position of the unedited video data in the additional shooting mode, thereby capturing the inserted video at a plurality of locations of the video in the unedited video data. The imaging device according to claim 1, wherein the imaging device is configured to perform.
ことを特徴とする請求項１に記載の撮像装置。 The editing control unit, after discarding the inserted moving image obtained by imaging in the additional shooting mode, reproduces the unedited moving image data from the reproduction position of the unedited moving image data corresponding to the inserted moving image discarded. The imaging apparatus according to claim 1, wherein retaking of the inserted moving image is enabled by capturing the inserted moving image.
前記編集制御部は、前記表示部の変位によって前記追加撮影モードに移行する
ことを特徴とする請求項１に記載の撮像装置。 The display unit is configured to display a moving image output from the presentation unit that reproduces the pre-edited moving image data,
The imaging apparatus according to claim 1, wherein the editing control unit shifts to the additional imaging mode by displacement of the display unit.
前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、
前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行する編集制御ステップと
を具備したことを特徴とする撮像方法。 A reproduction control step of reproducing moving image data including image information and audio information as moving image data before editing;
A presentation step of outputting at least one of a moving image and a sound that can be output by reproduction of the pre-editing moving image data;
An imaging control step of executing an additional imaging mode for causing an imaging unit to capture a moving image of a subject as an inserted moving image at the time of reproduction of the moving image data before editing.
画像情報及び音声情報を含む動画データを編集前動画データとして再生する再生制御ステップと、
前記編集前動画データの再生によって出力可能な動画像及び音声のうちの少なくとも一方を出力する提示ステップと、
前記編集前動画データの再生時に撮像部に被写体の動画像を挿入動画として撮像させる追加撮影モードを実行する編集制御ステップと
を実行させるための撮像プログラム。 On the computer
A reproduction control step of reproducing moving image data including image information and audio information as moving image data before editing;
A presentation step of outputting at least one of a moving image and a sound that can be output by reproduction of the pre-editing moving image data;
An imaging control program for executing an additional imaging mode for causing an imaging unit to capture a moving image of a subject as an inserted moving image at the time of reproduction of the moving image data before editing;
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017222768A JP6952584B2 (en) | 2017-11-20 | 2017-11-20 | Imaging device, imaging method and imaging program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017222768A JP6952584B2 (en) | 2017-11-20 | 2017-11-20 | Imaging device, imaging method and imaging program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019096950A true JP2019096950A (en) | 2019-06-20 |
| JP2019096950A5 JP2019096950A5 (en) | 2020-12-17 |
| JP6952584B2 JP6952584B2 (en) | 2021-10-20 |
Family
ID=66972013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017222768A Active JP6952584B2 (en) | 2017-11-20 | 2017-11-20 | Imaging device, imaging method and imaging program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6952584B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7403711B2 (en) | 2020-07-23 | 2023-12-22 | 北京字節跳動網絡技術有限公司 | Video processing methods, devices, equipment and storage media |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10233963A (en) * | 1997-02-18 | 1998-09-02 | Hoei:Kk | Synthesizer for video signal |
| JP2002290901A (en) * | 2001-03-23 | 2002-10-04 | Sharp Corp | Viewer video recording and reproducing device |
| JP2015504629A (en) * | 2011-11-14 | 2015-02-12 | アップル インコーポレイテッド | Generating multimedia clips |
| US20170076754A1 (en) * | 2015-09-11 | 2017-03-16 | Evergig Music S.A.S.U. | Systems and methods for matching two or more digital multimedia files |
-
2017
- 2017-11-20 JP JP2017222768A patent/JP6952584B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10233963A (en) * | 1997-02-18 | 1998-09-02 | Hoei:Kk | Synthesizer for video signal |
| JP2002290901A (en) * | 2001-03-23 | 2002-10-04 | Sharp Corp | Viewer video recording and reproducing device |
| JP2015504629A (en) * | 2011-11-14 | 2015-02-12 | アップル インコーポレイテッド | Generating multimedia clips |
| US20170076754A1 (en) * | 2015-09-11 | 2017-03-16 | Evergig Music S.A.S.U. | Systems and methods for matching two or more digital multimedia files |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7403711B2 (en) | 2020-07-23 | 2023-12-22 | 北京字節跳動網絡技術有限公司 | Video processing methods, devices, equipment and storage media |
| US11887628B2 (en) | 2020-07-23 | 2024-01-30 | Beijing Bytedance Network Technology Co., Ltd. | Video processing method and apparatus, device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6952584B2 (en) | 2021-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5028225B2 (en) | Image composition apparatus, image composition method, and program | |
| JP2016119600A (en) | Editing device and editing method | |
| JP2011087183A (en) | Imaging apparatus, image processing apparatus, and program | |
| JP2012015830A (en) | Camera | |
| JP5393237B2 (en) | Image display apparatus, control method therefor, program, and storage medium | |
| JP6004475B2 (en) | REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM | |
| JP2009272840A (en) | Image recording/reproducing device, image recording/reproducing method, image processing device, and image processing method | |
| JP5490689B2 (en) | Method for generating sound sequence of a plurality of photographs and device for generating and reproducing the sound sequence | |
| JP2013251724A (en) | Photographing instrument | |
| JP6957131B2 (en) | Information terminal device, image pickup device, image information processing system and image information processing method | |
| JP6952584B2 (en) | Imaging device, imaging method and imaging program | |
| JP6031670B2 (en) | Imaging device | |
| JP2010258917A (en) | Imaging apparatus, program, and imaging method | |
| JP2008258926A (en) | Image reproducing device, image reproduction program, recording medium, and image reproducing method | |
| JP6229356B2 (en) | Imaging apparatus, imaging method, and program | |
| JP5645096B2 (en) | Movie processing apparatus, movie playback method, movie recording method, and program | |
| JP4915978B2 (en) | Movie playback apparatus and program thereof | |
| JP6543147B2 (en) | Image processing apparatus, photographing guide apparatus, imaging apparatus, image processing method and image processing program | |
| JP2008097727A (en) | Animation-reproducing device | |
| JP2019114847A (en) | Image recording control apparatus, image recording method, image recording program, imaging apparatus, and image recording control system | |
| JP5412560B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6146162B2 (en) | Image processing apparatus, imaging apparatus, image processing method, imaging method, and image processing program | |
| JP5589615B2 (en) | Imaging device | |
| JP6020665B2 (en) | REPRODUCTION CONTROL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM | |
| JP2015061129A (en) | Imaging equipment and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201104 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201104 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201104 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6952584 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |