JP2016163335A - Imaging device, control method thereof, and program - Google Patents
Imaging device, control method thereof, and program Download PDFInfo
- Publication number
- JP2016163335A JP2016163335A JP2015043973A JP2015043973A JP2016163335A JP 2016163335 A JP2016163335 A JP 2016163335A JP 2015043973 A JP2015043973 A JP 2015043973A JP 2015043973 A JP2015043973 A JP 2015043973A JP 2016163335 A JP2016163335 A JP 2016163335A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- special effect
- added
- recording
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、その制御方法、及びプログラムに関する。 The present invention relates to an imaging apparatus, a control method thereof, and a program.
デジタルカメラ等の撮像装置の中には、魚眼レンズで撮影したような効果、画像の上下をぼかしたジオラマ風効果、画像を適度にぼかしたソフトフォーカス効果などの特殊効果を画像処理により付加した静止画を撮影する機能を有するものがある。また、このような特殊効果を画像処理により付加した動画を撮影する機能を有する撮像装置が提案されている(特許文献1)。 Some imaging devices, such as digital cameras, use still images with special effects such as effects taken with a fisheye lens, diorama effects that blur the top and bottom of the image, and soft focus effects that moderately blur the image. Some have a function to shoot. In addition, an imaging apparatus having a function of shooting a moving image to which such special effects are added by image processing has been proposed (Patent Document 1).
また、動画撮影では動く被写体を撮影することが多いため、レリーズスイッチによる動画撮影開始指示を受けてから撮影を開始すると、意図した瞬間を撮り逃してしまう可能性がある。このような意図した瞬間の撮り逃しがないよう、動画撮影開始指示前の所定時間(以下、「プリREC期間」とも呼ぶ)の動画も記録する、いわゆるプリREC可能なカメラ装置が提案されている(特許文献2)。 In moving image shooting, a moving subject is often shot. Therefore, if shooting starts after receiving a moving image shooting start instruction by a release switch, there is a possibility that the intended moment will be missed. A so-called pre-REC-capable camera device has been proposed that records a moving image for a predetermined time (hereinafter also referred to as a “pre-REC period”) before a moving image shooting start instruction so as not to miss such an intended moment. (Patent Document 2).
動画の記録期間の開始時に、動画に付加する特殊効果が決まっていない場合がある。例えば、被写体に適した特殊効果を決定するために、被写体が安定していないフレーミング中ではなく、動画撮影開始指示のタイミングで動画に付加する特殊効果を決定することが考えられる。このような決定タイミングとプリRECとを組み合わせた場合、プリREC期間は、動画は記録されるが、特殊効果は決まっていない。従って、プリREC期間に撮影された動画については、少なくともリアルタイムで特殊効果を付加することはできない。しかしながら、従来は、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況を考慮した特段の提案は存在しなかった。 There is a case where a special effect to be added to the moving image is not decided at the start of the moving image recording period. For example, in order to determine a special effect suitable for a subject, it is conceivable to determine a special effect to be added to a moving image at the timing of a moving image shooting start instruction, not during framing where the subject is not stable. When such a determination timing and the pre-REC are combined, a moving image is recorded in the pre-REC period, but a special effect is not determined. Therefore, a special effect cannot be added at least in real time to a moving image shot during the pre-REC period. However, conventionally, there has been no special proposal that takes into consideration the situation in which a special effect cannot be added in real time to a part of a captured moving image.
本発明はこのような状況に鑑みてなされたものであり、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理技術を提供することを目的とする。 The present invention has been made in view of such a situation, and an object thereof is to provide a moving image processing technique adapted to a situation where a special effect cannot be added in real time to a part of a photographed moving image.
上記課題を解決するために、本発明は、動画を撮影する撮影手段と、第1の期間に前記撮影手段で撮影された第1の動画、及び前記第1の期間に続く第2の期間に前記撮影手段で撮影された第2の動画に、特殊効果を付加する画像処理手段と、前記第1の期間に、前記特殊効果が付加される前の前記第1の動画を表示し、前記第2の期間に、前記特殊効果が付加された前記第2の動画を表示する表示手段と、前記特殊効果が付加された、前記第1の動画及び前記第2の動画を記録する記録手段と、を備えることを特徴とする撮像装置を提供する。 In order to solve the above-described problems, the present invention provides a photographing unit for photographing a moving image, a first moving image photographed by the photographing unit in a first period, and a second period following the first period. Image processing means for adding a special effect to the second moving image shot by the shooting means; and displaying the first moving image before the special effect is added in the first period; Display means for displaying the second moving image to which the special effect is added in a period of 2, and recording means for recording the first moving image and the second moving image to which the special effect is added; An imaging device is provided.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the accompanying drawings and the following description of the preferred embodiments.
本発明によれば、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理を行うことが可能となる。 According to the present invention, it is possible to perform moving image processing adapted to a situation where a special effect cannot be added in real time to a part of a captured moving image.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The technical scope of the present invention is determined by the claims, and is not limited by the following individual embodiments. In addition, not all combinations of features described in the embodiments are essential to the present invention.
[第1の実施形態]
図1は、第1の実施形態に係る撮像装置10の外観図であり、図2は、撮像装置10の機能ブロック図である。コネクタ112は、接続ケーブルと撮像装置10とをつなぐ。記録媒体20は、メモリカード、光ディスク、又はハードディスク等のランダムアクセス可能な記録媒体であり、撮像装置10に対して着脱可能である。記録媒体スロット201は、記録媒体20を格納するためのスロットである。記録媒体スロット201に格納された記録媒体20は、撮像装置10との通信が可能となる。蓋203は、記録媒体スロット201の蓋である。
[First Embodiment]
FIG. 1 is an external view of the
CPU(中央演算装置)11は、撮像装置10の各機能ブロックや、機能ブロック間のデータフローなどを制御する。ROM12には、CPU11の処理手順に係るプログラム(ファームウェア)及び各種情報が格納されている。
A CPU (Central Processing Unit) 11 controls each functional block of the
表示部13は、カラー液晶表示器等で構成され、画像を表示し、グラフィカルユーザインタフェースを表示するために用いられる。表示部13は、TV等の外部表示装置に映像信号を出力する端子も備えている。
The
操作部14は、ユーザからの指示を受け付ける、レリーズボタン及び動画記録開始ボタン等の各種ボタンや、十字キー、コントロールホイール、及びダイヤルスイッチなどからなる。
The
DRAM15は、CPU11のワークエリアとして使用され、画像データや表示用データ、画像圧縮後のデータなどを一時記憶するバッファ機能を有する。通常は、DRAM15との間にメモリーコントローラを介してデータの書き込みや読み出しを行うが、ここでは図示していない。また、図示しないが、各機能ブロックとDRAM15との間には、CPU11によるRead/Writeを介さないDMA転送を行うための、DMAコントローラが備えられている。
The
記録媒体インタフェース(I/F)16は、CPU11からの指示に従い、記録媒体20に対する画像データの書き込み及び読み出しを行う。CPU11、DRAM15、及び記録媒体I/F16が、撮影画像である静止画及び動画を記録媒体20に記録する記録手段として機能する。
A recording medium interface (I / F) 16 writes and reads image data to and from the
撮像部17は、レンズ、絞り、シャッタ、及びCCDセンサ又はCMOSセンサ等の撮像素子からなる。
The
画像処理回路18は、撮像部17から読み出される画像データに対し、ホワイトバランス調整、画素補間等の処理を行い、YUVデータに変換する。また、画像処理回路18は、画像データを任意のサイズにリサイズし、表示部13に表示する表示用画像データや画像圧縮伸長回路19で圧縮する圧縮用画像データを生成する。また、画像処理回路18は、画像データに対して、色・階調変換効果、周辺光量上げ/下げ効果、及び残像効果などを付加するために、色・階調フィルタ処理、テンプレート画像合成処理、及び巡回フィルタ処理等の特殊効果処理を行う。
The
画像圧縮伸長回路19は、YUVデータをJPEG又はH.264形式の画像データに圧縮し、また、JPEG又はH.264形式の圧縮された画像データをYUVデータに伸長する。
The image compression /
CPU11、ROM12、表示部13、操作部14、DRAM15、記録媒体I/F16、撮像部17、画像処理回路18、及び画像圧縮伸長回路19は、内部バス30を介して通信する。
The CPU 11,
次に、本実施形態の動画撮影処理について説明する。撮像装置10は、動画を撮影し、色・階調変換効果、及び周辺光量上げ/下げ効果などの特殊な画像処理効果(特殊効果)を付加した動画を記録することができる。撮像装置10は、動画に付加する特殊効果を、動画記録開始指示がなされたタイミングで決定する。
Next, the moving image shooting process of this embodiment will be described. The
また、撮像装置10は、ユーザが意図したタイミングの動画を確実に記録するために、動画記録開始指示直前の所定時間(プリREC期間)に撮影された動画を、動画記録開始指示後に撮影された動画と合わせて記録することができる。この目的のため、撮像装置10は、動画記録開始指示前の動画圧縮用データをバッファに記憶しておく。そして、撮像装置10は、動画記録停止後にバッファから動画圧縮用データを読み出し、特殊効果を付加して記録する。このようにすることで、撮像装置10は、動画記録開始指示のタイミングで被写体に適切な特殊効果を選択できると共に、プリREC期間の動画にも特殊効果を付加して記録することができる。
Further, the
図3を参照して、本実施形態の動画撮影処理の概要を説明する。図3(a)はライブビュー表示の様子を示し、図3(b)はプリREC用データバッファの様子を示し、図3(c)は動画圧縮の様子を示し、図3(d)は動画ファイルの様子を示す。図3において、斜線付きのフレームは特殊効果が付加されたフレームを示し、斜線無しのフレームは特殊効果が付加されていないフレームを示す。 With reference to FIG. 3, the outline of the moving image shooting process of the present embodiment will be described. 3A shows a live view display state, FIG. 3B shows a pre-REC data buffer state, FIG. 3C shows a moving image compression state, and FIG. 3D shows a moving image state. The state of the file is shown. In FIG. 3, the hatched frame indicates a frame to which a special effect is added, and the frame without a hatched line indicates a frame to which no special effect is added.
図3(a)に示すように、動画記録開始指示301の発生前は、プリREC期間以前に撮影された動画303、及びプリREC期間(第1の期間)に撮影された動画304(第1の動画)のいずれについても、特殊効果が付加されていない。従って、動画記録開始指示301の発生前は、特殊効果が付加されていないライブビュー表示が行われる。動画記録開始指示301から動画記録停止指示302までの期間(第2の期間)に撮影された動画305(第2の動画)には、特殊効果が付加されている。従って、動画記録開始指示301から動画記録停止指示302までの期間は、特殊効果が付加されたライブビュー表示が行われる。
As shown in FIG. 3A, before the moving image
図3(b)に示すように、プリREC期間に撮影された動画は、プリREC用データ306として、DRAM15のプリREC用データバッファに記憶される。動画記録開始指示301の発生前は、動画に付加する特殊効果が決定されておらず、プリREC用データ306は特殊効果が付加されていない状態で記憶される。即ち、本実施形態では、プリREC期間に撮影された、特殊効果が付加される前の動画が、揮発性の記録媒体(DRAM15)に保持される。
As shown in FIG. 3B, the moving image shot during the pre-REC period is stored as
動画記録開始指示301の発生時に、動画に付加する特殊効果が決定される。そのため、図3(c)に示すように、動画記録開始指示301から動画記録停止指示302までの期間は、特殊効果が付加された記録用の圧縮動画307が生成される。また、動画記録停止指示302の発生後、プリREC用データバッファに記憶されていたプリREC用データ306から、特殊効果が付加された圧縮動画308が生成される。
When the moving image
図3(d)に示すように、圧縮動画307及び圧縮動画308から動画ファイルが生成される。動画ファイルにおいて、プリREC期間に対応する圧縮動画308は、動画ファイルの先頭(圧縮動画307の前)に結合される。本実施形態では、動画記録開始指示301の発生後に撮影された動画に対応する圧縮動画307が先に記録媒体20(不揮発性の記録媒体)に記録され、その後、プリREC期間に対応する圧縮動画308が記録媒体20に記録される。
As shown in FIG. 3D, a moving image file is generated from the compressed moving
図3(a)及び図3(d)から理解できるように、本実施形態の動画撮影処理によれば、プリREC期間に撮影された動画については、ライブビュー表示の際には特殊効果が付加される前の動画が表示され、記録の際には特殊効果が付加された動画が記録される。また、動画記録開始指示301から動画記録停止指示302までの期間に撮影された動画については、ライブビュー表示の際にも、記録の際にも、特殊効果が付加された動画が用いられる。
As can be understood from FIGS. 3A and 3D, according to the moving image shooting process of the present embodiment, a special effect is added to the moving image shot during the pre-REC period when the live view is displayed. The moving image before being displayed is displayed, and the moving image to which the special effect is added is recorded at the time of recording. In addition, for a moving image shot during a period from the moving image
図4は、第1の実施形態に係る、撮像装置10による動画撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、CPU11がROM12に格納されたプログラムを実行することにより実現される。操作部14の操作により撮像装置10の動作モードが動画撮影モードに設定されると、本フローチャートの処理が開始する。
FIG. 4 is a flowchart of the moving image shooting process performed by the
S101で、CPU11は、撮像部17により撮像される画像を動画フレームとしてキャプチャする。そして、CPU11は、画像処理回路18を用いて、キャプチャされた動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、YUVデータに変換し、DRAM15に書き込む。
In S101, the CPU 11 captures an image captured by the
S102で、CPU11は、画像処理回路18を用いて、表示用画像データサイズへのリサイズ処理等をYUVデータに対して施し、表示部13にライブビュー表示するための電子ファインダー表示用画像データを生成し、DRAM15に書き込む。ここでは、電子ファインダー表示用画像データには、特殊効果は付加されていない。
In S102, the CPU 11 uses the
S103で、CPU11は、表示部13に電子ファインダー表示用画像データを表示させる。これにより、表示部13のライブビュー表示画像が更新される。電子ファインダー表示用画像データには特殊効果が付加されていないため、ここでは、特殊効果が付加されていないライブビュー表示が行われる。
In step S <b> 103, the CPU 11 causes the
S104で、CPU11は、画像処理回路18を用いて、プリREC期間の動画として記録するための動画圧縮用データ(プリREC用データ)を生成する。
In S104, the CPU 11 uses the
S105で、CPU11は、S104において生成したプリREC用データを、DRAM15のプリREC用データバッファに記憶する。この時点では、電子ファインダー表示用画像データと同様、プリREC用データには特殊効果は付加されていない。プリREC用データバッファには、少なくとも、直近の所定時間(プリREC期間の長さに対応する時間)の動画に対応するデータが保持される。所定時間よりも古くなったデータは破棄されてもよい。
In S105, the CPU 11 stores the pre-REC data generated in S104 in the pre-REC data buffer of the
S106で、CPU11は、操作部14の動画記録ボタンの操作により、動画記録開始指示がなされたかどうかを判定する。動画記録開始指示がなされてないと判定された場合、CPU11は、処理をS101に戻し、キャプチャされた次の動画フレームについて同様の処理を行う。動画記録開始指示がなされたと判定された場合、CPU11は、処理をS107に進める。
In S <b> 106, the CPU 11 determines whether or not a moving image recording start instruction has been given by operating the moving image recording button of the
S107で、CPU11は、記録する動画に付加する特殊効果のパターンを決定し、DRAM15に記憶する。具体的には、CPU11は、色・階調変換効果の有無、及び周辺光量上げ/下げ効果の有無を決定する。特殊効果のパターンは、撮像装置10や被写体の動き、被写体が人物かどうか、被写界の明るさや色といった情報に基づき、CPU11が自動で決定する。CPU11は、決定した特殊効果のパターンを、DRAM15に格納する。
In step S <b> 107, the CPU 11 determines a special effect pattern to be added to the moving image to be recorded, and stores it in the
S108で、CPU11は、撮像部17により撮像される画像を動画フレームとしてキャプチャする。そして、CPU11は、画像処理回路18を用いて、キャプチャされた動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、YUVデータに変換し、DRAM15に書き込む。
In S108, the CPU 11 captures an image captured by the
S109で、CPU11は、S107においてDRAM15に格納された特殊効果のパターンを参照して、色・階調変換効果の有無を判定する。色・階調変換効果がない場合、CPU11は、処理をS111に進める。色・階調変換効果がある場合、S110で、CPU11は、画像処理回路18を用いて、YUVデータに色・階調フィルタ処理を施し、色・階調変換効果を付加する。
In step S109, the CPU 11 refers to the special effect pattern stored in the
S111で、CPU11は、S107においてDRAM15に格納された特殊効果のパターンを参照して、周辺光量上げ/下げ効果の有無を判定する。周辺光量上げ/下げ効果がない場合、CPU11は、処理をS113に進める。周辺光量上げ/下げ効果がある場合、S112で、CPU11は、画像処理回路18を用いて、YUVデータにテンプレート画像合成処理を施し、周辺光量上げ/下げ効果を付加する。
In S111, the CPU 11 refers to the special effect pattern stored in the
S113で、CPU11は、画像処理回路18を用いて、表示用画像データサイズへのリサイズ処理等をYUVデータに対して施し、表示部13にライブビュー表示するための電子ファインダー表示用画像データを生成し、DRAM15に書き込む。ここで生成される電子ファインダー表示用画像データには、S102と異なり、特殊効果が付加されている(厳密には、S109及びS111の少なくとも一方において効果があると判定された場合)。
In S113, the CPU 11 uses the
S114で、CPU11は、表示部13に電子ファインダー表示用画像データを表示させる。これにより、表示部13のライブビュー表示画像が更新される。電子ファインダー表示用画像データには特殊効果が付加されているため、ここでは、特殊効果が付加されたライブビュー表示が行われる。
In S <b> 114, the CPU 11 causes the
S115で、CPU11は、画像処理回路18を用いて、S107においてDRAM15に格納された特殊効果のパターンに対応する特殊効果が付加された動画圧縮用データを生成し、DRAM15に書き込む。
In step S <b> 115, the CPU 11 uses the
S116で、CPU11は、画像圧縮伸長回路19を用いて、S115において生成した動画圧縮用データを、MPEG形式やMotionJPEG形式で圧縮する。
In S116, the CPU 11 uses the image compression /
S117で、CPU11は、S116において圧縮された動画を、記録媒体I/F16を介して記録媒体20に記録する。
In S117, the CPU 11 records the moving image compressed in S116 on the
S118で、CPU11は、操作部14の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、CPU11は、処理をS108に戻し、キャプチャされた次の動画フレームについて同様の処理を行う。動画記録停止指示がなされたと判定された場合、CPU11は、処理をS119に進める。
In S <b> 118, the CPU 11 determines whether a moving image recording stop instruction has been issued by operating the moving image recording button of the
S119で、CPU11は、DRAM15のプリREC用データバッファに記憶されているプリREC用データを1フレーム分読み出す。
In S <b> 119, the CPU 11 reads out one frame of pre-REC data stored in the pre-REC data buffer of the
S120乃至S125で、CPU11は、S119において読み出したフレームに対して特殊効果を付加し、動画圧縮用データを生成し、圧縮する。ここでの処理は、処理対象がプリREC用データのフレームであることを除き、S109乃至S112及びS115乃至S116の処理と同様である。 In S120 to S125, the CPU 11 adds a special effect to the frame read in S119 to generate and compress moving image compression data. The processing here is the same as the processing of S109 to S112 and S115 to S116, except that the processing target is a frame of pre-REC data.
S126で、CPU11は、S125において圧縮された動画を、DRAM15のプリREC用動画バッファに記憶する。
In S <b> 126, the CPU 11 stores the moving image compressed in S <b> 125 in the pre-REC moving image buffer of the
S127で、CPU11は、DRAM15のプリREC用データバッファに記憶されているプリREC用データのうち、プリREC期間に対応するフレームの全てに対する処理が完了したかどうかを判定する。未処理のフレームが存在する場合、CPU11は、処理をS119に戻し、DRAM15のプリREC用データバッファから次のフレームを取得し、同様の処理を行う。未処理のフレームが存在しない場合、CPU11は、処理をS128に進める。
In S127, the CPU 11 determines whether or not the processing for all the frames corresponding to the pre-REC period among the pre-REC data stored in the pre-REC data buffer of the
S128で、CPU11は、S126においてDRAM15のプリREC用動画バッファに記憶された動画を、記録媒体I/F16を介して記録媒体20に記録する。その際に、CPU11は、プリREC用動画バッファに記憶された動画を、S117において記録媒体20に記録された動画の先頭に結合する。
In S128, the CPU 11 records the moving image stored in the pre-REC moving image buffer of the
以上説明したように、第1の実施形態によれば、撮像装置10は、動画記録開始指示がなされた際に特殊効果を決定し、動画記録開始指示前のプリREC期間に撮影された動画と、動画記録開始指示後に撮影された動画とを記録する。従って、撮像装置10は、プリREC期間に撮影された動画については、リアルタイムで特殊効果を付加することができない。そこで、撮像装置10は、プリREC期間に撮影された動画については、ライブビュー表示の際には特殊効果が付加される前の動画を表示し、記録の際には特殊効果が付加された動画を記録する。このように、本実施形態によれば、撮像装置10は、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理を行う。
As described above, according to the first embodiment, the
なお、上の説明では、撮像装置10は、動画記録開始指示がなされた際に特殊効果を決定するものとしたが、特殊効果の決定タイミングはこれに限定されない。いかなる決定タイミングであれ、撮像装置10は、決定タイミングまでに撮影された動画については、ライブビュー表示の際には特殊効果が付加される前の動画を表示し、記録の際には特殊効果が付加された動画を記録すればよい。
In the above description, the
また、上の説明では、特殊効果の決定タイミングと、特殊効果が付加されたライブビュー表示が開始するタイミングとが一致していた。即ち、特殊効果が付加されていないライブビュー表示が行われる期間の最後が、特殊効果の決定タイミングであった。しかしながら、両タイミングは一致していなくても構わない。例えば、撮像装置10は、決定タイミングの所定時間後までに撮影された動画については、特殊効果が付加される前の動画によりライブビュー表示を行い、それ以降に撮影された動画については、特殊効果が付加された動画によりライブビュー表示を行ってもよい。
In the above description, the timing for determining the special effect matches the timing for starting the live view display with the special effect added. That is, the end of the period during which the live view display with no special effect is performed is the special effect determination timing. However, both timings do not need to match. For example, the
[第2の実施形態]
第1の実施形態では、プリREC期間に撮影された動画に対して、動画記録停止指示後に特殊効果を付加する構成について説明した。即ち、第1の実施形態においては、動画記録開始指示後に撮影され特殊効果が付加された動画が先に記録媒体20に記録され、その後、プリREC期間に撮影された動画に対して特殊効果が付加され記録媒体20に記録された。これに対し、第2の実施形態では、動画記録開始指示後に撮影され特殊効果が付加された動画を記録媒体20に記録する前に、プリREC期間に撮影された動画に対して特殊効果を付加して記録媒体20に記録する構成について説明する。第2の実施形態において、撮像装置10の基本的な構成は第1の実施形態と同様である(図1及び図2参照)。以下、主に第1の実施形態と異なる点について説明する。
[Second Embodiment]
In the first embodiment, a configuration has been described in which a special effect is added to a moving image shot during the pre-REC period after an instruction to stop moving image recording. In other words, in the first embodiment, a moving image that has been shot after the moving image recording start instruction is added and a special effect is added is first recorded on the
図5を参照して、本実施形態の動画撮影処理の概要を説明する。図5(a)はライブビュー表示の様子を示し、図5(b)はプリREC用データバッファ及び動画圧縮用データバッファの様子を示し、図5(c)は動画圧縮の様子を示し、図5(d)は動画ファイルの様子を示す。図5において、斜線付きのフレームは特殊効果が付加されたフレームを示し、斜線無しのフレームは特殊効果が付加されていないフレームを示す。 With reference to FIG. 5, the outline of the moving image shooting process of the present embodiment will be described. 5A shows a live view display state, FIG. 5B shows a pre-REC data buffer and a moving image compression data buffer, and FIG. 5C shows a moving image compression state. 5 (d) shows the state of the moving image file. In FIG. 5, a hatched frame indicates a frame to which a special effect is added, and a frame without a hatched line indicates a frame to which no special effect is added.
図5(a)に示すように、動画記録開始指示501の発生前は、プリREC期間以前に撮影された動画503、及びプリREC期間(第1の期間)に撮影された動画504(第1の動画)のいずれについても、特殊効果が付加されていない。従って、動画記録開始指示501の発生前は、特殊効果が付加されていないライブビュー表示が行われる。動画記録開始指示501から動画記録停止指示502までの期間(第2の期間)に撮影された動画505(第2の動画)には、特殊効果が付加されている。従って、動画記録開始指示501から動画記録停止指示502までの期間は、特殊効果が付加されたライブビュー表示が行われる。
As shown in FIG. 5A, before the moving image
図5(b)に示すように、プリREC期間に撮影された動画は、プリREC用データ506として、DRAM15のプリREC用データバッファに記憶される。動画記録開始指示501の発生前は、動画に付加する特殊効果が決定されておらず、プリREC用データ506は特殊効果が付加されていない状態で記憶される。また、動画記録開始指示501から動画記録停止指示502までの期間に撮影された動画は、動画圧縮用データ507として、特殊効果が付加された状態で、DRAM15の動画圧縮用データバッファに記憶される。即ち、本実施形態では、プリREC期間に撮影された、特殊効果が付加される前の動画、及び、動画記録開始指示501の発生後に撮影され特殊効果が付加された動画が、揮発性の記録媒体(DRAM15)に保持される。
As shown in FIG. 5B, the moving image shot during the pre-REC period is stored as
動画記録開始指示501の発生時に、動画に付加する特殊効果が決定される。図5(c)及び図5(d)に示すように、本実施形態では、動画記録開始指示501の発生後、プリREC用データ506に対して特殊効果が付加され、圧縮動画508が生成され、動画ファイルとして記録される。その後、動画圧縮用データ507から圧縮動画509が生成され、動画ファイルとして記録される。即ち、動画圧縮用データ507から圧縮動画509を生成して記録する処理は、プリREC期間の長さに応じた分だけ遅延して実行される。
When the moving image
図6は、第2の実施形態に係る、撮像装置10による動画撮影処理のフローチャートである。図6において、図4と同一又は同様の処理が行われるステップには同一の符号を付す。本フローチャートの各ステップの処理は、特に断らない限り、CPU11がROM12に格納されたプログラムを実行することにより実現される。操作部14の操作により撮像装置10の動作モードが動画撮影モードに設定されると、本フローチャートの処理が開始する。
FIG. 6 is a flowchart of the moving image shooting process performed by the
S215で、CPU11は、画像処理回路18を用いて、S107においてDRAM15に格納された特殊効果のパターンに対応する特殊効果が付加された動画圧縮用データを生成する。
In S215, the CPU 11 uses the
S216で、CPU11は、S215で生成した特殊効果が付加された動画圧縮用データを、DRAM15の動画圧縮用データバッファに記憶する。
In S216, the CPU 11 stores the moving image compression data to which the special effect generated in S215 is added in the moving image compression data buffer of the
S217で、CPU11は、DRAM15のプリREC用データバッファに記憶されているプリREC用データのうち、プリREC期間に対応するフレームの全てに対する処理が完了したかどうかを判定する。未処理のフレームが存在する場合、CPU11は、処理をS119に進める。この場合、S119乃至S124において、第1の実施形態と同様、プリREC期間の1フレームに関して、特殊効果の付加や動画圧縮用データの生成などが行われる。未処理のフレームが存在しない場合、CPU11は、処理をS224に進める。
In S217, the CPU 11 determines whether or not the processing for all the frames corresponding to the pre-REC period among the pre-REC data stored in the pre-REC data buffer of the
S224で、CPU11は、S216においてDRAM15の動画圧縮用データバッファに記憶された動画圧縮用データのフレームの全てに対する処理が完了したかどうかを判定する。未処理のフレームが存在しない場合、CPU11は、本フローチャートの処理を終了する。後述のS228において動画記録停止指示がなされたと判定されるまでは、S216において繰り返し新たなフレームが記憶されるため、必ず未処理のフレームが存在する。未処理のフレームが存在する場合、CPU11は、処理をS225に進める。
In S224, the CPU 11 determines whether or not the processing has been completed for all frames of the moving image compression data stored in the moving image compression data buffer of the
S225で、CPU11は、DRAM15の動画圧縮用データバッファに記憶されている動画圧縮用データを1フレーム分読み出す。
In S225, the CPU 11 reads out one frame of moving image compression data stored in the moving image compression data buffer of the
S124又はS225に続くS226で、CPU11は、画像圧縮伸長回路19を用いて、S124において生成した動画圧縮用データ、又はS225において読み出した動画圧縮用データを、MPEG形式やMotionJPEG形式で圧縮する。
In S226 following S124 or S225, the CPU 11 uses the image compression /
S227で、CPU11は、S226において圧縮された動画を、記録媒体I/F16を介して記録媒体20に記録する。
In S227, the CPU 11 records the moving image compressed in S226 on the
S228で、CPU11は、操作部14の動画記録ボタンの操作により、動画記録停止指示がなされたかどうかを判定する。動画記録停止指示がなされてないと判定された場合、CPU11は、処理をS208に戻し、S208乃至S216において、キャプチャされた次の動画フレームについて同様の処理を行い、その後、S217以降の処理を行う。動画記録停止指示がなされたと判定された場合、CPU11は、処理をS217に戻す。この場合、プリREC期間に対応するフレームの全てに対する処理が完了し、動画記録開始指示後に撮影されたフレームの全てに対する処理が完了すると、S217及びS224における判定がいずれも「YES」となり、本フローチャートの処理が終了する。
In S <b> 228, the CPU 11 determines whether a moving image recording stop instruction has been issued by operating the moving image recording button of the
以上説明したように、第2の実施形態によれば、撮像装置10は、動画記録開始指示後に撮影され特殊効果が付加された動画を記録媒体20に記録する前に、プリREC期間に撮影された動画に対して特殊効果を付加して記録媒体20に記録する。このように、本実施形態によれば、撮像装置10は、撮影された動画の一部に対してリアルタイムで特殊効果を付加できない状況に適応した動画処理を行う。
As described above, according to the second embodiment, the
なお、第1の実施形態と同様、特殊効果の決定タイミングは動画記録開始指示のタイミングに限定されない。また、特殊効果の決定タイミングと、特殊効果が付加されたライブビュー表示が開始するタイミングとは、一致していなくても構わない。 As in the first embodiment, the timing for determining the special effect is not limited to the timing for instructing to start moving image recording. The timing for determining the special effect and the timing for starting the live view display with the special effect added may not coincide with each other.
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
10…撮像装置、11…CPU、12…ROM、13…表示部、14…操作部、15…DRAM、16…記録媒体I/F、17…撮像部、18…画像処理回路、19…画像圧縮伸長回路、20…記録媒体
DESCRIPTION OF
Claims (13)
第1の期間に前記撮影手段で撮影された第1の動画、及び前記第1の期間に続く第2の期間に前記撮影手段で撮影された第2の動画に、特殊効果を付加する画像処理手段と、
前記第1の期間に、前記特殊効果が付加される前の前記第1の動画を表示し、前記第2の期間に、前記特殊効果が付加された前記第2の動画を表示する表示手段と、
前記特殊効果が付加された、前記第1の動画及び前記第2の動画を記録する記録手段と、
を備えることを特徴とする撮像装置。 Shooting means for shooting videos,
Image processing for adding a special effect to the first moving image shot by the shooting unit in the first period and the second moving image shot by the shooting unit in the second period following the first period Means,
Display means for displaying the first video before the special effect is added in the first period, and displaying the second video with the special effect added in the second period; ,
Recording means for recording the first moving image and the second moving image to which the special effect is added;
An imaging apparatus comprising:
前記第1の期間は、前記決定手段による前記特殊効果の決定タイミングを含む
ことを特徴とする請求項1に記載の撮像装置。 A decision means for deciding the special effect to be added by the image processing means;
The imaging apparatus according to claim 1, wherein the first period includes a determination timing of the special effect by the determination unit.
ことを特徴とする請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein the end of the first period is a determination timing of the special effect by the determination unit.
ことを特徴とする請求項2又は3に記載の撮像装置。 The imaging apparatus according to claim 2 or 3, wherein the determination unit determines the special effect in response to a recording start instruction.
前記画像処理手段は、前記第2の動画に前記特殊効果を付加した後に、前記保持手段により保持されている前記第1の動画に前記特殊効果を付加し、
前記記録手段は、前記特殊効果が付加された前記第2の動画を記録した後に、前記特殊効果が付加された前記第1の動画を記録する
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 Further comprising holding means for holding the first moving image before the special effect is added;
The image processing unit adds the special effect to the first moving image held by the holding unit after adding the special effect to the second moving image,
5. The recording apparatus according to claim 1, wherein the recording unit records the first moving image to which the special effect is added after recording the second moving image to which the special effect is added. The imaging apparatus according to item 1.
前記記録手段は、前記特殊効果が付加された前記第2の動画を不揮発性の記録媒体に記録し、前記特殊効果が付加された前記第1の動画を前記不揮発性の記録媒体に記録する
ことを特徴とする請求項5に記載の撮像装置。 The holding means holds the first moving image before the special effect is added to a volatile recording medium,
The recording means records the second moving image to which the special effect is added to a non-volatile recording medium, and records the first moving image to which the special effect is added to the non-volatile recording medium. The imaging apparatus according to claim 5.
前記画像処理手段は、前記保持手段により保持されている前記第1の動画に前記特殊効果を付加し、
前記記録手段は、前記特殊効果が付加された前記第1の動画を記録した後に、前記保持手段により保持されている前記特殊効果が付加された前記第2の動画を記録する
ことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 Holding means for holding the first moving image before the special effect is added and the second moving image to which the special effect is added;
The image processing means adds the special effect to the first moving image held by the holding means,
The recording means records the second moving image to which the special effect held by the holding means is added after recording the first moving image to which the special effect is added. The imaging device according to any one of claims 1 to 4.
前記記録手段は、前記特殊効果が付加された前記第1の動画を不揮発性の記録媒体に記録し、前記保持手段により保持されている前記特殊効果が付加された前記第2の動画を前記不揮発性の記録媒体に記録する
ことを特徴とする請求項7に記載の撮像装置。 The holding means holds the first moving image before the special effect is added and the second moving image to which the special effect is added in a volatile recording medium,
The recording means records the first moving image to which the special effect is added on a non-volatile recording medium, and the second moving image to which the special effect that is held by the holding means is added to the non-volatile recording medium. The image pickup apparatus according to claim 7, wherein the image pickup apparatus records the information on a recording medium having a characteristic.
直近の第1の期間に前記撮影手段で撮影された動画を保持する保持手段と、
記録開始指示に応えて特殊効果を決定する決定手段と、
前記記録開始指示の発生時に前記保持手段により保持されている第1の動画、及び前記記録開始指示の発生後の第2の期間に前記撮影手段で撮影された第2の動画に前記特殊効果を付加する画像処理手段と、
前記特殊効果が付加された、前記第1の動画及び前記第2の動画を記録する記録手段と、
を備えることを特徴とする撮像装置。 Shooting means for shooting videos,
Holding means for holding a moving image shot by the shooting means during the most recent first period;
A determination means for determining a special effect in response to a recording start instruction;
The special effect is applied to the first moving image held by the holding unit when the recording start instruction is generated and the second moving image shot by the shooting unit during the second period after the recording start instruction is generated. Image processing means to be added;
Recording means for recording the first moving image and the second moving image to which the special effect is added;
An imaging apparatus comprising:
前記表示手段は、前記特殊効果が決定される前は、前記特殊効果が付加されていない動画を表示し、前記特殊効果が決定された後は、前記特殊効果が付加された動画を表示する
ことを特徴とする請求項9に記載の撮像装置。 And further comprising display means for displaying the moving picture taken by the photographing means in real time,
The display means displays a moving image to which the special effect is not added before the special effect is determined, and displays the moving image to which the special effect is added after the special effect is determined. The imaging apparatus according to claim 9.
第1の期間に前記撮影手段で撮影された第1の動画、及び前記第1の期間に続く第2の期間に前記撮影手段で撮影された第2の動画に、特殊効果を付加する画像処理工程と、
前記第1の期間に、前記特殊効果が付加される前の前記第1の動画を表示し、前記第2の期間に、前記特殊効果が付加された前記第2の動画を表示する表示工程と、
前記特殊効果が付加された、前記第1の動画及び前記第2の動画を記録する記録工程と、
を備えることを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus having a photographing means for photographing a moving image,
Image processing for adding a special effect to the first moving image shot by the shooting unit in the first period and the second moving image shot by the shooting unit in the second period following the first period Process,
A display step of displaying the first moving image before the special effect is added in the first period, and displaying the second moving image with the special effect added in the second period; ,
A recording step of recording the first moving image and the second moving image to which the special effect is added;
An image pickup apparatus control method comprising:
直近の第1の期間に前記撮影手段で撮影された動画を保持する保持工程と、
記録開始指示に応えて特殊効果を決定する決定工程と、
前記記録開始指示の発生時に前記保持工程により保持されている第1の動画、及び前記記録開始指示の発生後の第2の期間に前記撮影手段で撮影された第2の動画に前記特殊効果を付加する画像処理工程と、
前記特殊効果が付加された、前記第1の動画及び前記第2の動画を記録する記録工程と、
を備えることを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus having a photographing means for photographing a moving image,
A holding step of holding a moving image shot by the shooting means during the most recent first period;
A decision process for determining a special effect in response to a recording start instruction;
The special effect is applied to the first moving image held by the holding step when the recording start instruction is generated and the second moving image shot by the shooting unit in the second period after the recording start instruction is generated. Additional image processing steps;
A recording step of recording the first moving image and the second moving image to which the special effect is added;
An image pickup apparatus control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043973A JP6470594B2 (en) | 2015-03-05 | 2015-03-05 | Imaging device, control method thereof, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043973A JP6470594B2 (en) | 2015-03-05 | 2015-03-05 | Imaging device, control method thereof, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016163335A true JP2016163335A (en) | 2016-09-05 |
JP6470594B2 JP6470594B2 (en) | 2019-02-13 |
Family
ID=56845695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015043973A Active JP6470594B2 (en) | 2015-03-05 | 2015-03-05 | Imaging device, control method thereof, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6470594B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011097576A (en) * | 2009-10-02 | 2011-05-12 | Nikon Corp | Imaging apparatus |
JP2012227595A (en) * | 2011-04-15 | 2012-11-15 | Canon Inc | Imaging apparatus |
JP2014116878A (en) * | 2012-12-12 | 2014-06-26 | Olympus Imaging Corp | Imaging device and imaging method |
JP2015103948A (en) * | 2013-11-25 | 2015-06-04 | 株式会社ニコン | Imaging apparatus |
-
2015
- 2015-03-05 JP JP2015043973A patent/JP6470594B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011097576A (en) * | 2009-10-02 | 2011-05-12 | Nikon Corp | Imaging apparatus |
JP2012227595A (en) * | 2011-04-15 | 2012-11-15 | Canon Inc | Imaging apparatus |
JP2014116878A (en) * | 2012-12-12 | 2014-06-26 | Olympus Imaging Corp | Imaging device and imaging method |
JP2015103948A (en) * | 2013-11-25 | 2015-06-04 | 株式会社ニコン | Imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6470594B2 (en) | 2019-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6388673B2 (en) | Mobile terminal and imaging method thereof | |
JP4730402B2 (en) | Imaging apparatus, imaging control method, and program | |
JP5126344B2 (en) | Imaging apparatus, imaging method, and program | |
JP5888348B2 (en) | Imaging apparatus, imaging control method, and program | |
US8525913B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable storage medium | |
US9609167B2 (en) | Imaging device capable of temporarily storing a plurality of image data, and control method for an imaging device | |
JP2003219341A (en) | Movie still camera and operation control method thereof | |
US11622175B2 (en) | Electronic apparatus and control method thereof | |
JP2010199884A (en) | Imaging device | |
JP2013110754A (en) | Camera device, and photographing method and program of the same | |
JP6758950B2 (en) | Imaging device, its control method and program | |
JP6728010B2 (en) | Imaging device and method for controlling imaging device | |
JP6341814B2 (en) | Imaging device, control method thereof, and program | |
US11356603B2 (en) | Image capturing apparatus and control method therefor | |
JP6470594B2 (en) | Imaging device, control method thereof, and program | |
US9955135B2 (en) | Image processing apparatus, image processing method, and program wherein a RAW image to be subjected to special processing is preferentially subjected to development | |
JP5187416B2 (en) | Imaging apparatus, imaging condition setting method and program | |
JP2008048152A (en) | Moving picture processing apparatus, moving picture photographing apparatus and moving picture photographing program | |
JP2011166301A (en) | Imaging apparatus | |
JP2011015043A (en) | Imaging device, control method of the same, and program | |
JP2005204043A (en) | Image display apparatus, information acquisition device thereof, information acquisition/setting method thereof, and content in which setting information thereof is embedded | |
JP6708495B2 (en) | Video processing device, imaging device, and video processing program | |
JP6488570B2 (en) | Imaging apparatus, imaging method, and program | |
JP6486132B2 (en) | Imaging apparatus, control method therefor, and program | |
JP5304833B2 (en) | Imaging apparatus, imaging control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6470594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |