JP2017041802A - Image processing system, control method of the same, and program - Google Patents
Image processing system, control method of the same, and program Download PDFInfo
- Publication number
- JP2017041802A JP2017041802A JP2015163157A JP2015163157A JP2017041802A JP 2017041802 A JP2017041802 A JP 2017041802A JP 2015163157 A JP2015163157 A JP 2015163157A JP 2015163157 A JP2015163157 A JP 2015163157A JP 2017041802 A JP2017041802 A JP 2017041802A
- Authority
- JP
- Japan
- Prior art keywords
- effect
- subject
- image processing
- reverse
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、撮像装置、その制御方法およびプログラムに関する。 The present invention relates to an imaging apparatus, a control method thereof, and a program.
近年、撮影した動画をインターネット上で共有する動画共有サイトが発展し、特殊効果が付加されたクリエイティブで面白味のある動画が動画共有サイトに投稿されている。しかしながら、一般的なユーザにとって特殊効果を付加する編集作業は煩雑であり、特殊効果を簡単に付加して動画を生成することが求められている。 In recent years, video sharing sites for sharing captured videos on the Internet have been developed, and creative and interesting videos with special effects added have been posted on video sharing sites. However, an editing operation for adding a special effect is complicated for a general user, and it is required to easily add a special effect to generate a moving image.
特許文献１には、動画撮影時のカメラ装置の加速度に応じて動画のフレーム数を調整して記録することにより、動画の再生速度を変化させる技術が開示されている。すなわち、特許文献１の技術では、複数のフレーム画像からなる動画を撮影する際に動画撮影時の装置が移動する加速度を取得し、この加速度に応じて動画のフレーム数を調整する。例えば、加速度が一定の場合は動画の再生速度を定速とし、速度が遅くなっていく加速度の場合は動画も次第に再生速度を遅くし、速度が速くなっていく場合は次第に再生速度が速くなるような映像効果を加えて記録することができる。 Patent Document 1 discloses a technique for changing the reproduction speed of a moving image by adjusting and recording the number of frames of the moving image according to the acceleration of the camera device at the time of moving image shooting. That is, in the technique of Patent Document 1, when moving a moving image composed of a plurality of frame images, an acceleration at which the apparatus moves during moving image acquisition is acquired, and the number of frames of the moving image is adjusted according to the acceleration. For example, when the acceleration is constant, the playback speed of the movie is constant, when the acceleration is slow, the playback speed of the movie is gradually decreased, and when the speed is increased, the playback speed is gradually increased. Such a video effect can be added and recorded.
また、特殊効果の一つとして逆再生効果がある。逆再生効果とは、通常再生の動画に対して時系列的に逆の動きで再生させる特殊効果である。しかしながら、特許文献１に開示された技術には、再生フレームレートを変化させる特殊効果を付加できるものの逆再生効果については開示されていない。
本発明は、上述したような問題点に鑑みてなされたものであり、逆再生効果を付加した動画を簡単に生成することを目的とする。
Further, there is a reverse reproduction effect as one of special effects. The reverse reproduction effect is a special effect that reproduces a normal reproduction moving image with a reverse movement in time series. However, although the technique disclosed in Patent Document 1 can add a special effect that changes the reproduction frame rate, it does not disclose the reverse reproduction effect.
The present invention has been made in view of the above-described problems, and an object thereof is to easily generate a moving image to which a reverse reproduction effect is added.
本発明は、動画において被写体の移動を検出する検出手段と、前記動画に対して、逆再生効果を付加する効果付加手段と、前記検出手段により検出された結果に応じて、前記効果付加手段により前記逆再生効果を付加するか否かを決定する決定手段と、を有し、前記効果付加手段は、前記決定手段により逆再生効果を付加すると決定された場合に、前記動画に対して前記逆再生効果を付加することを特徴とする。 The present invention provides a detecting means for detecting movement of a subject in a moving image, an effect adding means for adding a reverse reproduction effect to the moving image, and the effect adding means according to a result detected by the detecting means. Determining means for determining whether or not to add the reverse reproduction effect, and the effect adding means determines that the reverse reproduction effect is added to the moving image when the determination means determines to add the reverse reproduction effect. A reproduction effect is added.
本発明によれば、逆再生効果を付加した動画を簡単に生成することができる。 According to the present invention, it is possible to easily generate a moving image to which a reverse reproduction effect is added.
以下、本発明に係る実施形態について図面を参照して説明する。本実施形態では、画像処理装置をカメラ等の撮像装置に適用する場合について説明する。
図１は、本実施形態に係る撮像装置の構成を示すブロック図である。
撮像装置１００は、光学系１０１、撮像素子１０２、メモリ１０３、画像処理回路１０４、システム制御部１０５、露光量制御部１０６、フォーカスレンズ制御部１０７、焦点距離制御部１０８を有する。また、撮像装置１００は、圧縮伸長回路１０９、記録媒体１１０、表示部１１１、操作部１１２、センサ１１３等を有する。
Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the present embodiment, a case where the image processing apparatus is applied to an imaging apparatus such as a camera will be described.
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to the present embodiment.
The imaging apparatus 100 includes an optical system 101, an imaging element 102, a memory 103, an image processing circuit 104, a system control unit 105, an exposure amount control unit 106, a focus lens control unit 107, and a focal length control unit 108. In addition, the imaging apparatus 100 includes a compression / decompression circuit 109, a recording medium 110, a display unit 111, an operation unit 112, a sensor 113, and the like.
光学系１０１は、絞り機構１０１ａと、フォーカスレンズ１０１ｂおよびズームレンズ１０１ｃを含むレンズ群と、を有する。
撮像素子１０２は、ＣＣＤやＣＭＯＳ等であって、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含んで構成される。撮像素子１０２は、撮像面の前方に例えばベイヤー配列のＲＧＢカラーフィルタが配置されカラー撮影が可能である。撮像素子１０２は、撮像面に被写体像が結像されると画像データ（画像信号）を生成して、メモリ１０３に出力する。
メモリ１０３は、撮像素子１０２から出力された画像信号や、撮像装置１００の処理全般に必要なデータ等を保持する。
The optical system 101 includes a diaphragm mechanism 101a and a lens group including a focus lens 101b and a zoom lens 101c.
The image sensor 102 is a CCD or CMOS, and includes an A / D converter that converts an analog signal into a digital signal. For example, an RGB color filter having a Bayer arrangement is disposed in front of the imaging surface of the imaging element 102, and color imaging is possible. When the subject image is formed on the imaging surface, the image sensor 102 generates image data (image signal) and outputs the image data to the memory 103.
The memory 103 holds an image signal output from the image sensor 102, data necessary for overall processing of the image capturing apparatus 100, and the like.
画像処理回路１０４は、メモリ１０３に保持された画像信号に対して所定の画素補間処理や色変換処理等を行う。画像処理回路１０４は、撮影した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて撮影条件を決定し、システム制御部１０５に撮影条件を通知する。また、画像処理回路１０４は、画像の解析、フィルタ処理、ノイズリダクション処理、合成処理などの各種機能を有している。また、画像処理回路１０４は、後述するアルゴリズムに従って撮影シーンに最適な特殊効果を選択する。 The image processing circuit 104 performs predetermined pixel interpolation processing, color conversion processing, and the like on the image signal held in the memory 103. The image processing circuit 104 performs predetermined calculation processing using the captured image data, determines shooting conditions based on the obtained calculation result, and notifies the system control unit 105 of the shooting conditions. The image processing circuit 104 has various functions such as image analysis, filter processing, noise reduction processing, and composition processing. In addition, the image processing circuit 104 selects a special effect that is optimal for the shooting scene according to an algorithm that will be described later.
システム制御部１０５は、撮像装置１００全体を制御する。システム制御部１０５は、画像処理回路１０４が決定した撮影条件で撮影を行うために、シャッター速度、絞り機構１０１ａ、フォーカスレンズ１０１ｂおよびズームレンズ１０１ｃの制御を統括する。すなわち、システム制御部１０５は、露光量制御部１０６、フォーカスレンズ制御部１０７、および焦点距離制御部１０８に対して指示を行う。 The system control unit 105 controls the entire imaging apparatus 100. The system control unit 105 controls the shutter speed, the aperture mechanism 101a, the focus lens 101b, and the zoom lens 101c in order to perform shooting under the shooting conditions determined by the image processing circuit 104. That is, the system control unit 105 instructs the exposure amount control unit 106, the focus lens control unit 107, and the focal length control unit 108.
露光量制御部１０６は、絞り機構１０１ａ、撮像素子１０２の露光時間、および、撮影感度を調整し、適切な露光量制御を行う。フォーカスレンズ制御部１０７は、フォーカスレンズ１０１ｂを制御する。焦点距離制御部１０８はズームレンズ１０１ｃを制御し、システム制御部１０５の指示に従って焦点距離を変更する。
圧縮伸長回路１０９は、動画をＨ．２６４／ＡＶＣに代表される圧縮アルゴリズムに従って圧縮し、ＭＰＥＧやＭＯＶファイル等に変換する。変換後の動画は、記録媒体１１０に記録される。また、圧縮伸長回路１０９は、記録媒体１１０に記録された動画を伸長してメモリ１０３に記憶したり、表示部１１１により表示させたりする。
The exposure amount control unit 106 adjusts the exposure time and imaging sensitivity of the aperture mechanism 101a and the image sensor 102, and performs appropriate exposure amount control. The focus lens control unit 107 controls the focus lens 101b. The focal length control unit 108 controls the zoom lens 101 c and changes the focal length according to an instruction from the system control unit 105.
The compression / decompression circuit 109 converts the video into H.264 format. It is compressed according to a compression algorithm typified by H.264 / AVC, and converted into an MPEG or MOV file. The converted moving image is recorded on the recording medium 110. Further, the compression / decompression circuit 109 decompresses the moving image recorded on the recording medium 110 and stores it in the memory 103 or displays it on the display unit 111.
表示部１１１は、画像処理回路１０４によって生成された動画をＬＣＤや外部モニタ等に表示する。
操作部１１２は、ユーザの撮影指示などの入力を受け付ける。操作部１１２には、各種ボタン、タッチパネル等が含まれる。システム制御部１０５は、操作部１１２により受け付けたユーザ操作に従って撮像装置１００の動作の決定や変更を行う。
センサ１１３は、撮像装置１００の手振れを主に検知し、ブレ情報を出力する。センサ１１３は検知手段の一例である。センサ１１３には、撮像装置１００の姿勢を検知するジャイロセンサや、撮像装置１００の加速度や角速度を検知する加速度センサ等が用いられる。
The display unit 111 displays the moving image generated by the image processing circuit 104 on an LCD, an external monitor, or the like.
The operation unit 112 receives input such as a user's shooting instruction. The operation unit 112 includes various buttons, a touch panel, and the like. The system control unit 105 determines or changes the operation of the imaging apparatus 100 in accordance with a user operation received by the operation unit 112.
The sensor 113 mainly detects camera shake of the imaging apparatus 100 and outputs shake information. The sensor 113 is an example of a detection unit. As the sensor 113, a gyro sensor that detects the attitude of the imaging device 100, an acceleration sensor that detects acceleration or angular velocity of the imaging device 100, or the like is used.
次に、撮像装置１００による動画撮影処理の概要について図２〜図５を参照して説明する。システム制御部１０５は、撮像素子１０２を介して動画撮影を複数回行い、各撮影により得られた動画データを結合して１つの動画データを生成する。
図２は、結合した動画データの概念を示す図である。図２に示すように、１回の撮影により得られる動画データが「チャプタ」であり、複数のチャプタを結合して得られる１つの動画データが「結合動画ファイル」である。
Next, an outline of the moving image shooting process performed by the imaging apparatus 100 will be described with reference to FIGS. The system control unit 105 performs moving image shooting a plurality of times via the image sensor 102 and combines the moving image data obtained by each shooting to generate one moving image data.
FIG. 2 is a diagram illustrating the concept of combined moving image data. As shown in FIG. 2, moving image data obtained by one shooting is “chapter”, and one moving image data obtained by combining a plurality of chapters is a “combined moving image file”.
画像処理回路１０４は、撮影される各動画（各チャプタ）に対して、例えば以下に列挙するような様々な種類の特殊効果を付加する。
（１）色・階調変換フィルタ効果
（２）テンプレート合成効果
（３）可変フレームレート効果
（４）残像効果
（５）逆再生効果
The image processing circuit 104 adds various types of special effects as listed below, for example, to each moving image (each chapter).
(1) Color / tone conversion filter effect (2) Template synthesis effect (3) Variable frame rate effect (4) Afterimage effect (5) Reverse reproduction effect
「（１）色・階調変換フィルタ効果」は、画像処理回路１０４によって動画の色味やコントラストを変更することにより、被写体や撮影シーンに合った雰囲気を動画に加える特殊効果である。色および階調のうちの少なくとも一方を変換するフィルタの適用制御に対応する。例えば、画像処理回路１０４は、撮影されたカラー動画から、コントラストの高いモノクロ動画を生成することができる。 “(1) Color / gradation conversion filter effect” is a special effect that adds an atmosphere suitable for a subject or a shooting scene to a moving image by changing the color and contrast of the moving image by the image processing circuit 104. This corresponds to application control of a filter that converts at least one of color and gradation. For example, the image processing circuit 104 can generate a monochrome moving image with high contrast from the captured color moving image.
「（２）テンプレート合成効果」は、画像処理回路１０４によって動画の各フレームに所定のテンプレートデータ（以下、単に「テンプレート」という）を合成する処理により得られる特殊効果である。図３は、テンプレート合成効果の一例を示す図である。例えば、画像処理回路１０４により、図３（ａ）に示すようにフレームに飾り枠３００を合成したり、図３（ｂ）に示すように周辺減光効果３０１を加えたりすることができる。 “(2) Template synthesis effect” is a special effect obtained by a process of synthesizing predetermined template data (hereinafter simply referred to as “template”) to each frame of a moving image by the image processing circuit 104. FIG. 3 is a diagram illustrating an example of a template synthesis effect. For example, the image processing circuit 104 can synthesize a decorative frame 300 with the frame as shown in FIG. 3A, or add a peripheral dimming effect 301 as shown in FIG.
「（３）可変フレームレート効果」は、動画の全体または一部をスロー再生、もしくは、早送り再生することによって、被写体の動きに変化を与える特殊効果であり、動画の再生速度の可変制御に対応する。
この特殊効果の実現方法としては、再生フレームレートＦｐｌａｙのＮ倍のフレームレートＦｒｅｃ（＝Ｎ×Ｆｐｌａｙ）で動画を記録して、Ｆｐｌａｙで再生することにより、（１／Ｎ）倍のスロー再生効果を得ることができる。反対に、Ｆｐｌａｙと同じフレームレートＦｒｅｃ（＝Ｆｐｌａｙ）で撮影した動画のフレームを１／Ｎに間引いて、Ｆｐｌａｙで再生することにより、Ｎ倍の早送り再生が可能となる。
“(3) Variable frame rate effect” is a special effect that changes the movement of the subject by slow-playing or fast-forwarding the whole or part of the video, and supports variable control of the video playback speed. To do.
As a method for realizing this special effect, a slow reproduction effect of (1 / N) times is obtained by recording a moving image at a frame rate Frec (= N × Fplay) which is N times the reproduction frame rate Fplay and reproducing it at Fplay. Can be obtained. On the contrary, N times fast-forward playback is possible by thinning out the frames of a moving image shot at the same frame rate Frec (= Fplay) as Fplay to 1 / N and playing it back by Fplay.
「（４）残像効果」は、巡回型フィルタを用いて実現する効果であり、動く被写体に対し残像を付加した動画が得られる特殊効果である。
「（５）逆再生効果」は、通常再生の動画に対し、時系列的に逆の動きをさせた動画を得ることができる特殊効果である。
“(4) Afterimage effect” is an effect realized using a recursive filter, and is a special effect that provides a moving image with an afterimage added to a moving subject.
“(5) Reverse playback effect” is a special effect that can obtain a moving image in which a normal moving image is reversely moved in time series.
ここで、逆再生効果について、図４を参照して説明する。
図４は、再生速度の異なる、２種類の逆再生効果を説明するための模式図である。
図４（ａ）は、撮影時のフレームレートと逆再生効果付加後の動画の再生フレームレートとが同じ場合の各フレームの配列を示す図である。撮影時では、フレームの並びがフレーム１→フレーム２→フレーム３→・・・→フレーム１１８→フレーム１１９→フレーム１２０の動画である。画像処理回路１０４は、フレーム順の動画を、フレーム１２０→フレーム１１９→フレーム１１８→・・・→フレーム３→フレーム２→フレーム１と再生する順番を並び替えてメモリ１０３に記録することで逆再生効果を付加する。ここでは、逆再生効果を付加するフレーム数は撮影で取得したフレーム数と同数であり、再生フレームレートは撮影時のフレームレートと同じものとなる。
Here, the reverse reproduction effect will be described with reference to FIG.
FIG. 4 is a schematic diagram for explaining two types of reverse reproduction effects with different reproduction speeds.
FIG. 4A is a diagram showing an arrangement of each frame when the frame rate at the time of shooting and the playback frame rate of the moving image after adding the reverse playback effect are the same. At the time of shooting, the frame sequence is a moving image of frame 1 → frame 2 → frame 3 →... → frame 118 → frame 119 → frame 120. The image processing circuit 104 reversely reproduces the moving images in the frame order by recording them in the memory 103 by rearranging the order of reproduction in the order of frame 120 → frame 119 → frame 118 → ... → frame 3 → frame 2 → frame 1 Add effects. Here, the number of frames to which the reverse playback effect is added is the same as the number of frames acquired by shooting, and the playback frame rate is the same as the frame rate at the time of shooting.
図４（ｂ）は、早送りで逆再生効果を付加する場合の各フレームの配列を示す図である。撮影時のフレームの並びは、図４（ａ）と同じであり、上述した通りである。画像処理回路１０４は、フレーム順の動画を、フレーム１１９→フレーム１１７→・・・→フレーム３→フレーム１と、偶数番目のフレームを間引きながら再生する順番を並び替えてメモリ１０３に記録することで早送りでの逆再生効果を付与する。すなわち、動画を撮影時と同じフレームレートで再生することにより、逆再生効果と共に早送りの効果が得られる。 FIG. 4B is a diagram showing the arrangement of each frame when the reverse reproduction effect is added by fast-forwarding. The arrangement of frames at the time of shooting is the same as in FIG. 4A and is as described above. The image processing circuit 104 records the moving images in the frame order in the memory 103 by rearranging the reproduction order while thinning out even-numbered frames, such as frame 119 → frame 117 →... → frame 3 → frame 1. Gives reverse playback effect in fast forward. In other words, by reproducing a moving image at the same frame rate as that at the time of shooting, a fast-forwarding effect as well as a reverse reproduction effect can be obtained.
一方、逆再生効果にスロー再生効果を付加した特殊効果を持たせる場合には、画像処理回路１０４は、「（３）可変フレームレート効果」と同様、再生フレームレートのＮ倍のフレームレートで撮影し、撮影画像を図４（ａ）のようにメモリ１０３に記録する。したがって、再生フレームレートで再生すれば、逆再生効果と共にスローの効果が得られる。 On the other hand, when a special effect obtained by adding a slow playback effect to the reverse playback effect is provided, the image processing circuit 104 shoots at a frame rate N times the playback frame rate, as in “(3) Variable frame rate effect”. Then, the photographed image is recorded in the memory 103 as shown in FIG. Therefore, if playback is performed at the playback frame rate, a slow effect as well as a reverse playback effect can be obtained.
以上の種類の特殊効果に関し、画像処理回路１０４は、撮影シーンに基づいて特殊効果の内容を決定する。例えば、撮像装置１００は、「（２）テンプレート合成効果」という種類の特殊効果について、撮影シーンに基づいて、「飾り枠合成」、「周辺減光」または「合成なし」を選択する。決定アルゴリズムの詳細については、後述する。 Regarding the special effects of the above types, the image processing circuit 104 determines the contents of the special effects based on the shooting scene. For example, the imaging apparatus 100 selects “decorative frame composition”, “peripheral dimming”, or “no composition” based on the shooting scene for a special effect of the type “(2) template composition effect”. Details of the determination algorithm will be described later.
また、特殊効果の中には、チャプタ間で特殊効果を統一（共通化）した方が結合動画全体の品位が向上するものと、チャプタ毎に撮影シーンに応じて特殊効果を変えた方が動画の面白味が向上するものとの大きく２種類がある。本実施形態では、前者の種類を「特殊効果処理Ａ群」といい、後者の種類を「特殊効果処理Ｂ群」というものとする。 Also, among special effects, unifying (sharing) special effects among chapters improves the overall quality of the combined video, and changing special effects according to the shooting scene for each chapter There are two types, one that improves the interestingness of In the present embodiment, the former type is referred to as “special effect processing A group”, and the latter type is referred to as “special effect processing B group”.
図５は、特殊効果の分類を示す図である。
図５に示すように、「（１）色・階調変換フィルタ効果」および「（２）テンプレート合成効果」が「特殊効果処理Ａ群」に分類される。一方、「（３）可変フレームレート効果」、「（４）残像効果」および「（５）逆再生効果」が「特殊効果処理Ｂ群」に分類される。
また、図５に示すように、上述の（１）〜（５）の各特殊効果（特殊効果グループ）には、更に細分化された複数種類の特殊効果が含まれる。例えば、「（２）テンプレート合成効果」の特殊効果グループには、図３で示した「飾り枠合成」や「周辺減光」等の特殊効果が含まれる。
FIG. 5 is a diagram illustrating classification of special effects.
As shown in FIG. 5, “(1) color / tone conversion filter effect” and “(2) template synthesis effect” are classified into “special effect processing A group”. On the other hand, “(3) variable frame rate effect”, “(4) afterimage effect”, and “(5) reverse reproduction effect” are classified into “special effect processing group B”.
Further, as shown in FIG. 5, each of the special effects (special effect groups) (1) to (5) includes a plurality of types of special effects that are further subdivided. For example, the special effect group “(2) template composition effect” includes special effects such as “decoration frame composition” and “peripheral light reduction” shown in FIG.
なお、「特殊効果処理Ａ群」と「特殊効果処理Ｂ群」の分類は、図５に示すものに限られない。また、各特殊効果グループや、各特殊効果グループに含まれる選択可能な特殊効果についても、図５に示すものに限られない。本実施形態では、「特殊効果処理Ａ群」に分類される少なくとも１種類の特殊効果と、「特殊効果処理Ｂ群」に分類される少なくとも１種類の特殊効果が用意されていればよい。 The classification of “special effect processing A group” and “special effect processing B group” is not limited to that shown in FIG. Each special effect group and selectable special effects included in each special effect group are not limited to those shown in FIG. In the present embodiment, at least one type of special effect classified as “special effect processing A group” and at least one type of special effect classified as “special effect processing B group” may be prepared.
次に、撮像装置１００による動画撮影処理の動作について図６のフローチャートを参照して説明する。図６は、動画撮影処理を示すフローチャートである。なお、図６を含む後述するフローチャートの各ステップの処理は、システム制御部１０５がメモリ１０３あるいは記録媒体１１０に格納されたプログラムに従って撮像装置１００の各構成要素を制御することにより実現される。 Next, the operation of the moving image shooting process performed by the imaging apparatus 100 will be described with reference to the flowchart of FIG. FIG. 6 is a flowchart showing the moving image shooting process. 6 is realized by the system control unit 105 controlling each component of the imaging apparatus 100 according to a program stored in the memory 103 or the recording medium 110.
まず、Ｓ６０１では、画像処理回路１０４は撮影シーンの解析を行う（第１のシーン解析）。具体的には、画像処理回路１０４は撮影対象シーンの明るさ、色分布情報、被写体が人物あるいは物であるか等の被写体情報、被写体の移動を解析する。この解析は、撮像素子１０２により生成された画像データ、センサ１１３からのブレ情報等に基づいて行われる。画像処理回路１０４により解析された解析結果は、Ｓ６０３での「特殊効果処理Ａ群」の特殊効果決定処理や、Ｓ６０４での撮像制御等で用いられる。 First, in S601, the image processing circuit 104 analyzes a shooting scene (first scene analysis). Specifically, the image processing circuit 104 analyzes the brightness of the shooting target scene, color distribution information, subject information such as whether the subject is a person or an object, and movement of the subject. This analysis is performed based on image data generated by the image sensor 102, blur information from the sensor 113, and the like. The analysis result analyzed by the image processing circuit 104 is used in the special effect determination process of the “special effect process A group” in S603, the imaging control in S604, and the like.
Ｓ６０２では、システム制御部１０５はユーザによる操作部１１２を介した撮影指示が行われたか否かを判定する。システム制御部１０５は撮影指示が行われた場合にはＳ６０３に進み、撮影指示が行われない場合にはＳ６０１において撮影シーンの解析を繰り返す。
Ｓ６０３では、画像処理回路１０４はＳ６０１での解析結果に基づき、撮影した動画に付加する特殊効果を特殊効果処理Ａ群から決定する。Ｓ６０３の詳細は図７において後述する。
In step S <b> 602, the system control unit 105 determines whether a user has issued a shooting instruction via the operation unit 112. The system control unit 105 proceeds to S603 when a shooting instruction is given, and repeats the analysis of the shooting scene at S601 when a shooting instruction is not given.
In S603, the image processing circuit 104 determines a special effect to be added to the captured moving image from the special effect processing A group based on the analysis result in S601. Details of S603 will be described later with reference to FIG.
Ｓ６０４では、システム制御部１０５は動画の撮像制御を行う。このとき、システム制御部１０５は後述するＳ６０７での「特殊効果処理Ｂ群」の特殊効果決定処理において、どのような処理結果にも対応できるようにするために最大のフレームレートで撮影するように制御する。最大のフレームレートで記録した動画を用いることにより、スロー再生効果に対して間引き処理を行うことで対応できる等、その他の再生効果による特殊効果に対しても対応できる。
また、Ｓ６０４では、システム制御部１０５は画像を取得すると共に、画像内の被写体が人物あるいは物であるかの被写体判別結果、被写体の大きさ、被写体の移動速度および被写体の移動距離をフレームごとに検出して、被写体情報として取得する。更に、システム制御部１０５は焦点距離や、センサ１１３から出力されたブレ情報等もフレームごとに検出して、撮影条件として取得する。この処理は、検出手段による処理の一例に対応する。なお、被写体の移動距離は前フレームと現フレームとの間の被写体の重心位置の移動量から検出でき、被写体の移動速度は検出した移動量とフレームレートから算出できる。システム制御部１０５は動画の各フレームと、被写体情報および撮影条件とを関連付けてメモリ１０３に記憶する。記憶した情報は、後述するＳ６０６での第２のシーン解析で用いられる。
In step S604, the system control unit 105 performs moving image capturing control. At this time, the system control unit 105 performs shooting at the maximum frame rate in order to be able to cope with any processing result in the special effect determination processing of “special effect processing B group” in S607 described later. Control. By using a moving image recorded at the maximum frame rate, it is possible to deal with special effects due to other reproduction effects, such as being able to deal with the slow reproduction effect by performing a thinning process.
In step S604, the system control unit 105 acquires an image and determines the subject determination result as to whether the subject in the image is a person or an object, the subject size, the subject moving speed, and the subject moving distance for each frame. Detected and acquired as subject information. Further, the system control unit 105 detects the focal length, blur information output from the sensor 113, and the like for each frame and acquires them as shooting conditions. This process corresponds to an example of a process performed by the detection unit. The moving distance of the subject can be detected from the moving amount of the center of gravity position of the subject between the previous frame and the current frame, and the moving speed of the subject can be calculated from the detected moving amount and the frame rate. The system control unit 105 associates each frame of the moving image with subject information and shooting conditions and stores them in the memory 103. The stored information is used in the second scene analysis in S606 described later.
Ｓ６０５では、システム制御部１０５はユーザによる操作部１１２を介した撮影終了指示が行われたか否かを判定する。システム制御部１０５は撮影終了指示が行われた場合には撮像制御を終了してＳ６０６に進み、撮影指示が行われない場合にはＳ６０４の撮像制御を繰り返し、現在のチャプタの撮影を継続する。なお、システム制御部１０５は動画の撮影が開始されてから所定時間経過した場合にも撮影終了指示が行われたと同様に撮像制御を終了してＳ６０６に進む。
Ｓ６０６では、画像処理回路１０４は２回目の撮影シーンの解析を行う（第２のシーン解析）。ここでの解析結果は、Ｓ６０１での解析結果と共に、後述するＳ６０７での「特殊効果処理Ｂ群」の特殊効果決定処理で用いられる。
なお、「（５）逆再生効果」を動画に付加する候補にするか否かを決定する処理は、Ｓ６０６で行われる。Ｓ６０６の詳細は図１０において後述する。
In step S <b> 605, the system control unit 105 determines whether a user has issued a shooting end instruction via the operation unit 112. The system control unit 105 ends the imaging control when the shooting end instruction is issued, and proceeds to S606. If the shooting instruction is not issued, the system control unit 105 repeats the imaging control of S604 and continues shooting the current chapter. It should be noted that the system control unit 105 ends the imaging control and proceeds to S606 in the same manner as when the shooting end instruction is issued even when a predetermined time has elapsed since the start of the moving image shooting.
In step S606, the image processing circuit 104 analyzes the second shooting scene (second scene analysis). The analysis result here is used in the special effect determination process of “special effect process B group” in S607 described later together with the analysis result in S601.
The process of determining whether or not “(5) reverse playback effect” is a candidate to be added to the moving image is performed in S606. Details of S606 will be described later with reference to FIG.
Ｓ６０７では、画像処理回路１０４はＳ６０１およびＳ６０６での解析結果に基づき、撮影した動画に付加する特殊効果を特殊効果処理Ｂ群から選択して決定する。Ｓ６０７の詳細は図１４において後述する。Ｓ６０３およびＳ６０７により、Ｓ６０４で撮影して取得した動画（ここでは、一つのチャプタとする）に対して付加する特殊効果が決定される。
Ｓ６０８では、画像処理回路１０４はＳ６０３において決定した特殊効果処理Ａ群の特殊効果をＳ６０４にて取得したチャプタの全フレームに付加して、メモリ１０３に記憶する。
Ｓ６０９では、画像処理回路１０４はＳ６０７において決定した特殊効果処理Ｂ群の特殊効果をＳ６０４にて取得したチャプタの全フレームに付加して、メモリ１０３に記憶する。この処理は、効果付加手段による処理の一例に対応する。
In S607, the image processing circuit 104 selects and determines a special effect to be added to the captured moving image from the special effect processing B group based on the analysis results in S601 and S606. Details of S607 will be described later with reference to FIG. Through S603 and S607, a special effect to be added to the moving image (here, one chapter) acquired by shooting in S604 is determined.
In step S <b> 608, the image processing circuit 104 adds the special effects of the special effect processing group A determined in step S <b> 603 to all the chapter frames acquired in step S <b> 604 and stores them in the memory 103.
In step S609, the image processing circuit 104 adds the special effects of the special effect processing group B determined in step S607 to all the frames of the chapter acquired in step S604 and stores them in the memory 103. This process corresponds to an example of the process performed by the effect adding unit.
なお、特殊効果を付加する順序は、図６のフローチャートの順序のみに限定されない。例えば、先に特殊効果処理Ｂ群の特殊効果を付加した後に、特殊効果処理Ａ群の特殊効果を付加してもよい。また、先に特殊効果処理Ａ群の特殊効果の一部を付加した後に、特殊効果処理Ｂ群の特殊効果を付加し、最後に特殊効果処理Ａ群の特殊効果の残りを付加してもよい。 Note that the order of adding the special effects is not limited to the order of the flowchart of FIG. For example, the special effect of the special effect process A group may be added after the special effect of the special effect process B group is added first. Alternatively, after adding a part of the special effects of the special effect processing A group, the special effects of the special effect processing group B may be added, and finally the remainder of the special effects of the special effect processing group A may be added. .
Ｓ６１０では、圧縮伸長回路１０９はメモリ１０３に記憶された、特殊効果が付加されたチャプタを圧縮し、結合動画ファイル（図２参照）の一つのチャプタとして記録媒体１１０に記録する。なお、圧縮伸長回路１０９は任意のタイミングでチャプタの結合を行う。例えば、画像処理回路１０４がチャプタ毎に別個の動画ファイルを生成してメモリ１０３に記憶し、所定数の動画ファイルが生成された後に、圧縮伸長回路１０９が所定数の動画ファイルを結合して結合動画ファイルを生成することができる。また、圧縮伸長回路１０９は新たなチャプタのフレームを直前のチャプタに追記することにより、結合動画ファイルを生成してもよい。 In S610, the compression / decompression circuit 109 compresses the chapter to which the special effect is added, stored in the memory 103, and records it on the recording medium 110 as one chapter of the combined moving image file (see FIG. 2). The compression / decompression circuit 109 combines chapters at an arbitrary timing. For example, the image processing circuit 104 generates a separate moving image file for each chapter and stores it in the memory 103. After a predetermined number of moving image files are generated, the compression / decompression circuit 109 combines and combines the predetermined number of moving image files. A video file can be generated. Further, the compression / decompression circuit 109 may generate a combined moving image file by adding a new chapter frame to the immediately preceding chapter.
Ｓ６１０の圧縮処理が終了した後Ｓ６０１に戻り、画像処理回路１０４は撮影シーンの解析を行う。Ｓ６０２において次の撮影指示が行われた場合には再びＳ６０３以降の処理を実行することにより、次のチャプタの撮影を行う。なお、Ｓ６０３での特殊効果処理Ａ群の決定処理については２番目以降のチャプタの撮影を行う場合には、画像処理回路１０４は最初（先頭）のチャプタと同じ特殊効果を決定する。 After the compression process of S610 is completed, the process returns to S601, and the image processing circuit 104 analyzes the shooting scene. When the next shooting instruction is issued in S602, the next chapter is shot by executing the processing in S603 and subsequent steps again. Note that in the special effect process A group determination process in S603, when shooting the second and subsequent chapters, the image processing circuit 104 determines the same special effect as that of the first (first) chapter.
また、システム制御部１０５は所定数のチャプタを撮影した後に、別の結合動画ファイルの１番目のチャプタを撮影してもよい。例えば４つのチャプタからなる結合動画ファイルを生成するように設定されているものとする。この場合、４番目のチャプタの撮影を終了してＳ６１０からＳ６０１に戻りＳ６０２において撮影指示が行われると、Ｓ６０３では、画像処理回路１０４は次の結合動画ファイルの１番目のチャプタのために、特殊効果処理Ａ群の特殊効果を決定する。 Further, the system control unit 105 may capture the first chapter of another combined moving image file after capturing a predetermined number of chapters. For example, it is assumed that a combined moving image file including four chapters is set to be generated. In this case, when the shooting of the fourth chapter is completed and the process returns from S610 to S601 and a shooting instruction is given in S602, in S603, the image processing circuit 104 performs special processing for the first chapter of the next combined moving image file. The special effect of the effect process A group is determined.
次に、図６のＳ６０３における特殊効果処理Ａ群の決定処理の詳細について図７のフローチャートを参照して説明する。図７は、特殊効果処理Ａ群の決定処理を示すフローチャートである。
まず、Ｓ７０１では、画像処理回路１０４は現在の撮影対象のチャプタが結合動画ファイルにおける最初（先頭）のチャプタであるか否か、すなわちチャプタ１であるか否かを判定する。最初のチャプタの場合にはＳ７０２に進み、画像処理回路１０４は特殊効果処理Ａ群の選択アルゴリズムを実行する。一方、最初のチャプタではない場合にはＳ７０３に進み、画像処理回路１０４は以前にＳ７０２において最初のチャプタで選択した特殊効果と同一の特殊効果を選択する。Ｓ７０３の処理により、特殊効果処理Ａ群については、結合動画ファイル内の各チャプタに付加される特殊効果を統一することができ、より高品位で一体感のある動画を生成できる。
Next, details of the special effect process A group determination process in S603 of FIG. 6 will be described with reference to the flowchart of FIG. FIG. 7 is a flowchart showing the special effect process A group determination process.
First, in step S <b> 701, the image processing circuit 104 determines whether the current shooting target chapter is the first (first) chapter in the combined moving image file, that is, whether it is chapter 1. In the case of the first chapter, the process proceeds to S702, and the image processing circuit 104 executes a selection algorithm for the special effect processing A group. On the other hand, if it is not the first chapter, the process proceeds to S703, and the image processing circuit 104 selects the same special effect as the special effect previously selected in S702 in S702. By the processing of S703, for the special effect processing A group, the special effects added to the chapters in the combined moving image file can be unified, and a moving image having a higher quality and a sense of unity can be generated.
なお、画像処理回路１０４は２番目以降のチャプタであっても、ユーザにより特殊効果の変更指示があった場合には、ユーザの意思（ユーザ指示）を優先して指示された特殊効果を選択することができる。すなわち、画像処理回路１０４はユーザ指示に対応するチャプタに対して、最初のチャプタについてＳ７０２で選択された特殊効果の代わりに、ユーザ指示により選択された特殊効果を付加することができる。 Note that the image processing circuit 104 selects the special effect instructed by giving priority to the user's intention (user instruction) when the user instructs to change the special effect even in the second and subsequent chapters. be able to. That is, the image processing circuit 104 can add the special effect selected by the user instruction to the chapter corresponding to the user instruction instead of the special effect selected in S702 for the first chapter.
次に、図７のＳ７０２における特殊効果処理Ａ群の選択アルゴリズムについて図８のフローチャートを参照して説明する。図８は、選択アルゴリズムの処理を示すフローチャートである。ここでは、特殊効果処理Ａ群に属する特殊効果の一例である「（１）色・階調変換フィルタ効果」について説明するが、他の種類の特殊効果（例えば「（２）テンプレート合成効果」）についても同様のアルゴリズムを用いることができる。
本実施形態では、画像処理回路１０４がＭ種類の色・階調変換フィルタを選択可能なものとする。
Next, the selection algorithm for the special effect process A group in S702 of FIG. 7 will be described with reference to the flowchart of FIG. FIG. 8 is a flowchart showing the processing of the selection algorithm. Here, “(1) color / gradation conversion filter effect”, which is an example of a special effect belonging to the special effect processing group A, will be described, but other types of special effects (for example, “(2) template synthesis effect”). A similar algorithm can be used for.
In this embodiment, it is assumed that the image processing circuit 104 can select M types of color / gradation conversion filters.
Ｓ８０１では、画像処理回路１０４は以下の式（１）に従い、Ｍ個のフィルタの評価値ｘ［ｍ］を一律に初期値Ｐに設定する。
ｘ［ｍ］＝Ｐ（ｍ＝０，１，２，…，Ｍ−１）・・・（１）
Ｓ８０２では、画像処理回路１０４はＳ６０１での解析結果（例えば、被写体情報や撮影画像の色分布情報等）に基づいて評価値演算処理を行い、評価値を更新する。
In step S <b> 801, the image processing circuit 104 uniformly sets the evaluation value x [m] of the M filters to the initial value P according to the following equation (1).
x [m] = P (m = 0, 1, 2,..., M−1) (1)
In S802, the image processing circuit 104 performs an evaluation value calculation process based on the analysis result in S601 (for example, subject information, color distribution information of the captured image, etc.), and updates the evaluation value.
図９は、フィルタの評価値ｘ［ｍ］を演算する演算例を示す図である。図９に示すように、最終評価値を算出するために「人物」、「暗い」、「彩度低い」等の項目に係数が設定されている。例えば、被写体情報に基づき被写体に人物が含んでいる場合には「人物」の項目において人物と相性の良いフィルタの評価値が上がり、人物と相性の悪いフィルタの評価値が下げるように係数が設定されている。具体的には、ｘ［０］のフィルタでは「人物」の項目に関して評価値が上がる係数「×２．０」が設定され、ｘ［１］のフィルタでは「人物」の項目に関して評価値が下がる係数「×１／５」が設定されている。画像処理回路１０４は評価値演算処理を撮影シーンの解析結果に応じて複数回実行する。したがって、図９に示すように、各フィルタの最終的な評価値ｘ［ｍ］は撮影シーンに応じてばらつきを有する。 FIG. 9 is a diagram illustrating a calculation example for calculating the evaluation value x [m] of the filter. As shown in FIG. 9, coefficients are set for items such as “person”, “dark”, and “low saturation” in order to calculate the final evaluation value. For example, if the subject contains a person based on the subject information, the coefficient is set so that the evaluation value of the filter that is compatible with the person is increased and the evaluation value of the filter that is not compatible with the person is decreased in the “person” item Has been. Specifically, in the x [0] filter, a coefficient “× 2.0” that increases the evaluation value for the “person” item is set, and in the x [1] filter, the evaluation value decreases for the “person” item. The coefficient “× 1/5” is set. The image processing circuit 104 executes the evaluation value calculation processing a plurality of times according to the analysis result of the shooting scene. Therefore, as shown in FIG. 9, the final evaluation value x [m] of each filter varies depending on the shooting scene.
Ｓ８０３では、画像処理回路１０４は最も評価値の高いフィルタを選択したり、予め定められた閾値よりも評価値の高いフィルタの中からランダムに１つのフィルタを選択したりする等の方法により、撮影シーンに相性の良いフィルタを選択する。その後、図６のフローチャートに戻る。 In step S <b> 803, the image processing circuit 104 selects a filter with the highest evaluation value or randomly selects one filter from among filters with a higher evaluation value than a predetermined threshold. Select a filter that matches your scene. Thereafter, the process returns to the flowchart of FIG.
次に、図６のＳ６０６において第２のシーン解析の処理の詳細について図１０のフローチャートを参照して説明する。図１０は、第２のシーン解析の処理を示すフローチャートである。
まず、Ｓ１００１では、システム制御部１０５は１フレームごとに焦点距離に応じたジャイロ出力閾値Ｊ0を設定する。ここで、ジャイロ出力閾値Ｊ0とは、逆再生効果を付加するか否かを判定するためのセンサ出力閾値、より具体的には逆再生効果を、付加する特殊効果の候補とするか否かを判定するための閾値である。
ジャイロ出力閾値Ｊ0を設定するために、システム制御部１０５はまず上述したＳ６０４でフレームごとに関連付けて記憶した焦点距離を読み出す。システム制御部１０５は各フレームの焦点距離から、予めメモリ１０３に格納された焦点距離とジャイロ出力閾値Ｊ0とが関連付けられた換算表に基づいて、各フレームにおけるジャイロ出力閾値Ｊ0を設定する。この換算表によれば、焦点距離が長いほどジャイロ出力閾値Ｊ0が小さく設定され、焦点距離が短いほどジャイロ出力閾値Ｊ0が大きく設定される。
Next, details of the second scene analysis process in S606 of FIG. 6 will be described with reference to the flowchart of FIG. FIG. 10 is a flowchart showing the second scene analysis process.
First, in S1001, the system control unit 105 sets the gyro output threshold J 0 in accordance with the focal length for each frame. Here, the gyro output threshold value J 0 is a sensor output threshold value for determining whether or not the reverse reproduction effect is added, more specifically, whether or not the reverse reproduction effect is a candidate for the special effect to be added. This is a threshold value for determining.
In order to set the gyro output threshold value J 0 , the system control unit 105 first reads the focal length stored in association with each frame in S604 described above. The system control unit 105 from the focal length of each frame, based on pre-stored in the memory 103 the focal distance and the conversion table and the gyro output threshold J 0 is associated, for setting the gyro output threshold J 0 in each frame. According to this conversion table, the longer the focal length, the smaller the gyro output threshold J 0 is set, and the shorter the focal length, the larger the gyro output threshold J 0 is set.
Ｓ１００２では、システム制御部１０５は設定したジャイロ出力閾値Ｊ0と、フレームのブレ情報としてのジャイロ出力結果Ｊとをフレームごとに比較する。この処理は、判定手段による処理の一例に対応する。ここで、ジャイロ出力閾値Ｊ0とジャイロ出力結果Ｊとを比較するために、システム制御部１０５は上述したＳ６０４でフレームごとに関連付けて記憶したブレ情報をジャイロ出力結果Ｊとして読み出す。各フレームのジャイロ出力結果Ｊがジャイロ出力閾値Ｊ0よりも小さくない場合にはＳ１００３に進む。
Ｓ１００３では、システム制御部１０５は付加する特殊効果の候補から逆再生効果を外し、別の特殊効果が選択されるように処理する。各フレームのジャイロ出力結果Ｊがジャイロ出力閾値Ｊ0よりも小さくない場合とは、手振れの影響が大きく出力画像への影響も大きいと推測される。したがって、手振れの大きい動画に対し逆再生効果を付加しても、面白味のある動画を生成することができないと判断され、逆再生効果を付加しないことが好ましいためである。ただし、手振れの影響が大きい場合でも、面白味のある動画が取得できるシーンがあるのであれば、これに限るものではない。
In S1002, the system control unit 105 and the gyro output threshold J 0 is set, and compares the gyro output J of the shake information of the frame for each frame. This processing corresponds to an example of processing by the determination unit. Here, in order to compare the gyro output threshold value J 0 and the gyro output result J, the system control unit 105 reads out the shake information stored in association with each frame in S604 described above as the gyro output result J. If the gyro output result J of each frame is not smaller than the gyro output threshold J 0 , the process proceeds to S1003.
In step S1003, the system control unit 105 removes the reverse reproduction effect from the special effect candidates to be added, and performs processing so that another special effect is selected. When the gyro output result J of each frame is not smaller than the gyro output threshold value J 0, it is estimated that the influence of camera shake is large and the influence on the output image is large. Therefore, it is determined that even if a reverse reproduction effect is added to a moving image with large hand shake, it is determined that an interesting moving image cannot be generated, and it is preferable not to add a reverse reproduction effect. However, the present invention is not limited to this as long as there is a scene where an interesting moving image can be acquired even when the influence of camera shake is large.
一方、Ｓ１００２において各フレームのジャイロ出力結果Ｊがジャイロ出力閾値Ｊ0よりも小さい場合にはＳ１００４に進む。Ｓ１００４では、システム制御部１０５は被写体の大きさに応じた速度閾値ｖ0、距離閾値ａ0をフレームごとに設定する。ここで、速度閾値ｖ0および距離閾値ａ0とは、逆再生効果を付加するかを判定するための閾値、より具体的には逆再生効果を、付加する特殊効果の候補とするか否かを判定するための閾値である。
速度閾値ｖ0および距離閾値ａ0を設定するために、システム制御部１０５は上述したＳ６０４でフレームごとに関連付けて記憶した被写体の大きさ情報を読み出す。システム制御部１０５は読み出した被写体の大きさ情報から、予めメモリ１０３に格納された被写体の大きさ情報と速度閾値ｖ0および距離閾値ａ0とが関連付けられた換算表に基づいて、各フレームにおける速度閾値ｖ0および距離閾値ａ0を設定する。
On the other hand, the gyro output J of the frame proceeds to S1004 and if smaller than the gyro output threshold J 0 in S1002. In step S1004, the system control unit 105 sets a speed threshold v 0 and a distance threshold a 0 corresponding to the size of the subject for each frame. Here, the speed threshold value v 0 and the distance threshold value a 0 are threshold values for determining whether to add a reverse reproduction effect, more specifically, whether or not the reverse reproduction effect is a candidate for a special effect to be added. This is a threshold value for determining.
In order to set the speed threshold v 0 and the distance threshold a 0 , the system control unit 105 reads out the subject size information stored in association with each frame in S604 described above. Based on the read subject size information, the system control unit 105 uses the conversion table in which the subject size information stored in advance in the memory 103 is associated with the speed threshold value v 0 and the distance threshold value a 0 . A speed threshold v 0 and a distance threshold a 0 are set.
Ｓ１００５では、システム制御部１０５は設定した速度閾値ｖ0と、フレームの被写体速度ｖとを比較する。この処理は、判定手段による処理の一例に対応する。ここで、速度閾値ｖ0とフレームの被写体速度ｖとを比較するために、システム制御部１０５は上述したＳ６０４でフレームごとに関連付けて記憶した被写体の移動速度を被写体速度ｖとして読み出す。なお、フレームに被写体の移動速度が記憶されていない場合には、システム制御部１０５は連続する２フレーム間にそれぞれ関連付けて記憶された被写体の重心位置の移動量から被写体の被写体速度ｖを求めてもよい。 In step S1005, the system control unit 105 compares the set speed threshold v 0 with the subject speed v of the frame. This processing corresponds to an example of processing by the determination unit. Here, in order to compare the speed threshold value v 0 with the subject speed v of the frame, the system control unit 105 reads out the subject moving speed stored in association with each frame in S604 described above as the subject speed v. When the moving speed of the subject is not stored in the frame, the system control unit 105 obtains the subject speed v of the subject from the moving amount of the center of gravity position of the subject stored in association with each other between two consecutive frames. Also good.
図１１は、被写体速度の一例を示す図である。
図１１（ａ）は連続するフレームのうち、一部のフレームの被写体速度ｖが速度閾値ｖ0よりも大きい場合を示している。このように被写体速度が大きい場合にはフレーム間で移動距離が大きく、逆再生効果を付加した場合に面白味がある動画を生成できる可能性が高い。したがって、被写体速度ｖが速度閾値ｖ0よりも大きい場合には、Ｓ１００６において、システム制御部１０５は逆再生効果を、付加する特殊効果の候補の一つに決定する。この処理は、決定手段による処理の一例に対応する。
図１１（ｂ）は連続するフレームのうち、全てのフレームの被写体速度ｖが速度閾値ｖ0よりも大きくない場合を示している。このように被写体速度ｖが小さい場合にはフレーム間で被写体の移動距離が小さく、被写体速度ｖだけでは逆再生効果を付加するか否かを判定することができないためにＳ１００７に進む。
FIG. 11 is a diagram illustrating an example of the subject speed.
FIG. 11A shows a case where the subject speed v of some of the consecutive frames is greater than the speed threshold v 0 . Thus, when the subject speed is high, the moving distance is large between frames, and there is a high possibility that an interesting moving image can be generated when the reverse reproduction effect is added. Therefore, if the subject speed v is larger than the speed threshold v 0 , the system control unit 105 determines the reverse reproduction effect as one of the special effect candidates to be added in S1006. This processing corresponds to an example of processing by the determination unit.
FIG. 11B shows a case where the subject speed v of all the frames is not greater than the speed threshold v 0 among the consecutive frames. As described above, when the subject speed v is small, the moving distance of the subject is small between frames, and it is not possible to determine whether or not the reverse reproduction effect is added only by the subject speed v.
Ｓ１００７では、システム制御部１０５はチャプタを構成する全フレームに対して被写体速度ｖと速度閾値ｖ0との比較が終了したか否かを判定する。終了していない場合にはＳ１００１に戻り、システム制御部１０５は次のフレームに対して、Ｓ１００１、Ｓ１００２、Ｓ１００４、Ｓ１００５の処理を繰り返す。一方、全てのフレームに対して比較が終了した場合にはＳ１００８に進む。 In S1007, it determines whether the comparison with the object speed v and the speed threshold v 0 is completed the system control unit 105 for all the frames that constitute the chapter. If not completed, the process returns to S1001, and the system control unit 105 repeats the processes of S1001, S1002, S1004, and S1005 for the next frame. On the other hand, if the comparison is completed for all frames, the process proceeds to S1008.
Ｓ１００８では、システム制御部１０５はＳ１００４で設定した距離閾値ａ0と、被写体移動距離ａとを比較する。この処理は、判定手段による処理の一例に対応する。具体的には、システム制御部１０５はチャプタの１枚目（撮影開始時）のフレームにおける被写体の重心位置から、最後（撮影終了時）のフレームにおける被写体の重心位置までの距離を被写体移動距離ａとして算出する。また、距離閾値ａ0は、Ｓ１００４においてフレームごとに設定されているために、ここでは各フレームで設定された距離閾値ａ0の平均値を用いることができる。 In S1008, the system control unit 105 and the distance threshold a 0 set in S1004, and compares the object movement distance a. This processing corresponds to an example of processing by the determination unit. Specifically, the system control unit 105 calculates the distance from the center of gravity of the subject in the first frame (at the start of shooting) to the center of gravity of the subject in the last (at the end of shooting) subject moving distance a. Calculate as Further, since the distance threshold value a 0 is set for each frame in S1004, the average value of the distance threshold values a 0 set for each frame can be used here.
図１２は、被写体移動距離の一例を示す図である。
図１２（ａ）は被写体移動距離ａが距離閾値ａ0よりも大きい場合を示している。このように移動距離が大きい場合には逆再生効果を付加した場合に面白未がある動画を生成できる可能性が高い。したがって、被写体移動距離ａが距離閾値ａ0よりも大きい場合には、動画に逆再生効果を付加するように決定する。具体的には、Ｓ１００６において、システム制御部１０５は逆再生効果を、付加する特殊効果の候補の一つに決定する。この処理は、決定手段による処理の一例に対応する。
図１２（ｂ）は被写体移動距離ａが距離閾値ａ0よりも大きくない場合を示している。このように移動距離が小さい場合には逆再生効果を付加しても面白味がある動画を生成できない可能性が高い。したがって、被写体移動距離ａが距離閾値ａ0よりも大きくない場合には、動画に逆再生効果を付加しないように決定する。具体的には、Ｓ１００３において、システム制御部１０５は付加する特殊効果の候補から逆再生効果を外し、別の特殊効果が選択されるように処理する。
FIG. 12 is a diagram illustrating an example of the subject moving distance.
FIG. 12A shows a case where the subject moving distance a is larger than the distance threshold a 0 . In this way, when the moving distance is long, there is a high possibility that a moving image with interestingness can be generated when the reverse reproduction effect is added. Therefore, when the subject movement distance a is larger than the distance threshold a 0 , it is determined to add the reverse reproduction effect to the moving image. Specifically, in S1006, the system control unit 105 determines the reverse reproduction effect as one of special effect candidates to be added. This processing corresponds to an example of processing by the determination unit.
FIG. 12B shows a case where the subject movement distance a is not larger than the distance threshold a 0 . In this way, when the moving distance is small, there is a high possibility that an interesting moving image cannot be generated even if the reverse reproduction effect is added. Therefore, when the subject movement distance a is not greater than the distance threshold a 0, it is determined not to add the reverse reproduction effect to the moving image. Specifically, in S1003, the system control unit 105 removes the reverse reproduction effect from the special effect candidates to be added and performs processing so that another special effect is selected.
ここで、本実施形態では、速度閾値ｖ0および距離閾値ａ0は、被写体の大きさ情報に応じて値が変更される。より具体的には、被写体の大きさが小さければ、速度閾値ｖ0および距離閾値ａ0も小さく設定され、逆に被写体の大きさが大きければ、速度閾値ｖ0および距離閾値ａ0も大きく設定される。これらの速度閾値ｖ0および距離閾値ａ0は、逆再生効果を付加するか否かを判定するための閾値であり、被写体の大きさにより逆再生効果による影響が変化することを示している。すなわち、被写体の大きさが小さいほど逆再生効果が効果的に作用し、逆に大きいほど逆再生効果の効果が少なくなることを考慮したものである。
したがって、被写体の大きさが小さい場合には、速度閾値ｖ0および距離閾値ａ0がある程度小さくても逆再生効果を付加することで面白味のある動画を生成できる可能性が高い。一方、被写体の大きさが大きい場合には、被写体の大きさが小さい場合に比べ、速度閾値ｖ0および距離閾値ａ0を大きくしないと、逆再生効果を付加しても面白味のある動画が得られにくい。
Here, in the present embodiment, the speed threshold v 0 and the distance threshold a 0 are changed according to the size information of the subject. More specifically, if the size of the subject is small, the speed threshold v 0 and the distance threshold a 0 are also set to be small. Conversely, if the size of the subject is large, the speed threshold v 0 and the distance threshold a 0 are set to be large. Is done. These speed threshold value v 0 and distance threshold value a 0 are threshold values for determining whether or not the reverse reproduction effect is added, and indicate that the influence of the reverse reproduction effect changes depending on the size of the subject. That is, it is considered that the reverse reproduction effect works more effectively as the subject size is smaller, and the reverse reproduction effect is less effective as the subject size is larger.
Therefore, when the size of the subject is small, there is a high possibility that an interesting moving image can be generated by adding the reverse reproduction effect even if the speed threshold value v 0 and the distance threshold value a 0 are small to some extent. On the other hand, when the size of the subject is large, compared to the case where the size of the subject is small, if the speed threshold value v 0 and the distance threshold value a 0 are not increased, an interesting movie can be obtained even if the reverse playback effect is added. It's hard to be done
図１３は、被写体の大きさに応じて変化する速度閾値と距離閾値を説明するための図である。ここでは、被写体の大きさｒ0の場合に距離閾値ａ0あるいは速度閾値ｖ0が設定されているとする。
図１３（ａ−１）に示すように、被写体の大きさｒ1がｒ0よりも大きい場合、被写体移動距離ａが距離閾値ａ0よりも小さいと逆再生効果が特殊効果の候補とならない。一方、図１３（ａ−２）に示すように、被写体の大きさｒ2がｒ0よりも小さい場合、被写体移動距離ａが距離閾値ａ0よりも小さくても逆再生効果が特殊効果の候補となることがある。
また、図１３（ｂ−１）に示すように、被写体の大きさｒ1がｒ0よりも大きい場合、被写体速度ｖが速度閾値ｖ0よりも小さいと逆再生効果が特殊効果の候補とならない。一方、図１３（ｂ−２）に示すように、被写体の大きさｒ2がｒ0よりも小さい場合、被写体速度ｖが速度閾値ｖ0よりも小さくても逆再生効果が特殊効果の候補となることがある。
FIG. 13 is a diagram for explaining a speed threshold and a distance threshold that change according to the size of the subject. Here, it is assumed that the distance threshold a 0 or the speed threshold v 0 is set when the subject size is r 0 .
As shown in FIG. 13 (a-1), when the subject size r 1 is larger than r 0 , the reverse reproduction effect is not a candidate for the special effect if the subject moving distance a is smaller than the distance threshold a 0 . On the other hand, as shown in FIG. 13A-2, when the subject size r 2 is smaller than r 0, the reverse reproduction effect is a special effect candidate even if the subject moving distance a is smaller than the distance threshold a 0. It may become.
Also, as shown in FIG. 13 (b-1), when the subject size r 1 is larger than r 0 , the reverse reproduction effect is not a candidate for the special effect if the subject speed v is smaller than the speed threshold v 0. . On the other hand, as shown in FIG. 13B-2, when the subject size r 2 is smaller than r 0, the reverse reproduction effect is a special effect candidate even if the subject speed v is smaller than the speed threshold v 0. May be.
このように、本実施形態では、被写体の大きさ情報に応じた速度閾値ｖ0および距離閾値ａ0が設定されることから、面白味のある動画を生成できる可能性が高い場合にのみ逆再生効果を特殊効果の候補とすることができる。
なお、本実施形態のＳ１００８では、チャプタの１枚目のフレームにおける被写体の重心位置から、最後のフレームにおける被写体の重心位置までの距離を被写体移動距離ａとしたが、この場合に限られない。例えば、システム制御部１０５はチャプタ内の全フレーム間の移動距離の総和を被写体移動距離ａとして算出してもよい。
As described above, in the present embodiment, the speed threshold v 0 and the distance threshold a 0 corresponding to the subject size information are set, so that the reverse playback effect is effective only when there is a high possibility that an interesting moving image can be generated. Can be candidates for special effects.
In S1008 of the present embodiment, the distance from the center of gravity of the subject in the first frame of the chapter to the center of gravity of the subject in the last frame is set as the subject moving distance a, but this is not a limitation. For example, the system control unit 105 may calculate the total movement distance between all frames in the chapter as the subject movement distance a.
次に、Ｓ６０７の特殊効果処理Ｂ群決定の詳細について説明する。
上述したように、特殊効果処理Ｂ群には、「（３）可変フレームレート効果」、「（４）残像効果」、「（５）逆再生効果」の３種類の特殊効果グループから構成されている。また、各特殊効果グループ内は、更に細分化された特殊効果から構成されている。より具体的には、「（３）可変フレームレート効果」は「ｂ：可変フレームレート効果（以下、スロー再生という）」、「ｃ：可変フレームレート効果（以下、早送り再生という）」から構成される。「（４）残像効果」は、「ｄ：残像効果」のただ１種類から構成される。「（５）逆再生効果」は「ｅ：逆再生効果（通常）」、「ｆ：逆再生効果（スロー）」、「ｇ：逆再生効果（早送り）」から構成される。また、特殊効果を施さない「ａ：通常再生」がある。
したがって、Ｓ６０７の特殊効果処理Ｂ群決定において選択可能な候補として、ａ〜ｇまでの合計最大７種類の特殊効果がある。そして、これらの全ての特殊効果に対し、現在の撮影対象のチャプタ番号や、上述したＳ６０６における逆再生効果を特殊効果の候補にするか否かの決定に基づいた効果発生比率が予め定められ、メモリ１０３に格納されている。
Next, details of the special effect process B group determination in S607 will be described.
As described above, the special effect processing group B includes three types of special effect groups: “(3) variable frame rate effect”, “(4) afterimage effect”, and “(5) reverse reproduction effect”. Yes. Each special effect group is composed of special effects that are further subdivided. More specifically, “(3) variable frame rate effect” is composed of “b: variable frame rate effect (hereinafter referred to as slow playback)” and “c: variable frame rate effect (hereinafter referred to as fast forward playback)”. The “(4) Afterimage effect” is composed of only one of “d: afterimage effect”. “(5) Reverse playback effect” includes “e: reverse playback effect (normal)”, “f: reverse playback effect (slow)”, and “g: reverse playback effect (fast forward)”. In addition, there is “a: normal reproduction” in which no special effect is applied.
Therefore, there are a total of up to seven special effects from a to g as candidates that can be selected in the special effect process B group determination of S607. Then, for all of these special effects, a current shooting target chapter number and an effect generation ratio based on the determination of whether or not the reverse reproduction effect in S606 described above is a candidate for special effects are determined in advance. Stored in the memory 103.
次に、効果発生比率の一例について具体的に説明する。
（Ａ）現在の撮影対象のチャプタが最初のチャプタ１、かつ、Ｓ６０６での解析結果において逆再生効果を候補とした場合、次のように「ａ：通常再生」の比率を少し上げてそれ以外の比率を下げる。
（ａ：ｂ：ｃ：ｄ：ｅ：ｆ：ｇ）＝（40：10：10：10：10：10：10）
このように、「ａ：通常再生」の比率を上げるのは、結合動画ファイルの先頭のチャプタにはなるべく特殊効果を付加しないようにするためである。
Next, an example of the effect generation ratio will be specifically described.
(A) When the current chapter to be photographed is the first chapter 1 and the reverse playback effect is a candidate in the analysis result in S606, the ratio of “a: normal playback” is slightly increased as follows. Reduce the ratio.
(A: b: c: d: e: f: g) = (40: 10: 10: 10: 10: 10: 10)
In this way, the ratio of “a: normal playback” is increased in order to avoid adding special effects as much as possible to the first chapter of the combined moving image file.
（Ｂ）現在の撮影対象のチャプタがチャプタ１、かつ、Ｓ６０６での解析結果において逆再生効果を候補としない場合、次のように逆再生効果に関する「ｅ：逆再生効果（通常）」、「ｆ：逆再生効果（スロー）」、「ｇ：逆再生効果（早送り）」の比率を全て０とする。また、（Ａ）に比べて「ａ：通常再生」以外の比率を少し上げる。
（ａ：ｂ：ｃ：ｄ：ｅ：ｆ：ｇ）＝（40：20：20：20：0：0：0）
このような比率にするのは、結合動画ファイルの先頭のチャプタには逆再生効果は付加せず、他の特殊効果もなるべく付加しないようにするためである。
(B) If the current shooting target chapter is chapter 1 and the reverse playback effect is not a candidate in the analysis result in S606, “e: reverse playback effect (normal)”, “ The ratios of “f: reverse playback effect (slow)” and “g: reverse playback effect (fast forward)” are all 0. Also, the ratio other than “a: normal reproduction” is slightly increased as compared with (A).
(A: b: c: d: e: f: g) = (40: 20: 20: 20: 0: 0: 0)
The reason for this ratio is that the reverse playback effect is not added to the first chapter of the combined moving image file, and other special effects are not added as much as possible.
（Ｃ）現在の撮影対象のチャプタが最終チャプタＮであり、かつ、Ｓ６０６での解析結果において逆再生効果を候補とする場合、次のように（Ａ）に比べ「ｂ：スロー再生」、「ｃ：早送り再生」、「ｄ：残像効果」の比率を少し上げてそれ以外の比率を下げる。
（ａ：ｂ：ｃ：ｄ：ｅ：ｆ：ｇ）＝（25：20：20：20：5：5：5）
このような比率にするのは、結合動画ファイルの最後（末尾）のチャプタにはなるべく、逆再生効果以外の特殊効果を付加する確率を上げるためである。
(C) When the chapter to be photographed is the last chapter N and the reverse reproduction effect is a candidate in the analysis result in S606, “b: slow reproduction”, “ Increase the ratio of “c: fast-forward playback” and “d: afterimage effect” slightly and decrease the other ratios.
(A: b: c: d: e: f: g) = (25: 20: 20: 20: 5: 5: 5)
The reason for this ratio is to increase the probability of adding a special effect other than the reverse playback effect as much as possible to the last (end) chapter of the combined moving image file.
（Ｄ）現在の撮影対象のチャプタが最終チャプタＮであり、かつ、Ｓ６０６での解析結果において逆再生効果を候補としない場合、次のように逆再生効果に関しては全て０とする。また、（Ｃ）に比べ「ｂ：スロー再生」、「ｃ：早送り再生」、「ｄ：残像効果」の比率を少し上げる。
（ａ：ｂ：ｃ：ｄ：ｅ：ｆ：ｇ）＝（25：25：25：25：0：0：0）
このような比率にするのは、結合動画ファイルの最後（末尾）のチャプタには、逆再生効果は付加せず、他の特殊効果をなるべく付加するためである。
(D) If the chapter to be photographed is the last chapter N and the reverse reproduction effect is not a candidate in the analysis result in S606, the reverse reproduction effect is all set to 0 as follows. Compared with (C), the ratios of “b: slow playback”, “c: fast forward playback”, and “d: afterimage effect” are slightly increased.
(A: b: c: d: e: f: g) = (25: 25: 25: 25: 0: 0: 0)
The reason for this ratio is that the reverse playback effect is not added to the last (end) chapter of the combined moving image file, but other special effects are added as much as possible.
（Ｅ）現在の撮影対象のチャプタが最初と最後のチャプタ以外であり、かつ、Ｓ６０６での解析結果において逆再生効果を候補とする場合、次のように（Ａ）に比べ特殊効果の比率を少し上げ、「ａ：通常再生」の比率を下げる。
（ａ：ｂ：ｃ：ｄ：ｅ：ｆ：ｇ＝（10：15：15：15：15：15：15）
このような比率にするのは、結合動画ファイルの中間のチャプタにはなるべく、特殊効果を付加するためである。
(E) When the current shooting target chapter is other than the first and last chapters, and the reverse reproduction effect is a candidate in the analysis result in S606, the ratio of the special effect is set as compared with (A) as follows. Slightly increase and decrease the ratio of “a: normal playback”.
(A: b: c: d: e: f: g = (10: 15: 15: 15: 15: 15: 15)
The reason for this ratio is to add a special effect as much as possible to an intermediate chapter of the combined moving image file.
（Ｆ）現在の撮影対象のチャプタが最初と最後のチャプタ以外であり、かつ、Ｓ６０６での解析結果において逆再生効果を候補としない場合、次のように逆再生効果に関しては全て０とする。また、（Ｅ）に比べ「ｂ：スロー再生」、「ｃ：早送り再生」、「ｄ：残像効果」の比率を上げる。
（ａ：ｂ：ｃ：ｄ：ｅ：ｆ：ｇ）＝（10：30：30：30：0：0：0）
このような比率にするのは、結合動画ファイルの中間のチャプタには、逆再生効果は付加せず、他の特殊効果をなるべく付加する確率を上げるためである。
(F) If the current shooting target chapter is other than the first and last chapters, and the reverse reproduction effect is not a candidate in the analysis result in S606, the reverse reproduction effects are all set to 0 as follows. Further, the ratios of “b: slow playback”, “c: fast forward playback”, and “d: afterimage effect” are increased as compared with (E).
(A: b: c: d: e: f: g) = (10: 30: 30: 30: 30: 0: 0)
The reason for this ratio is to increase the probability of adding other special effects as much as possible without adding the reverse reproduction effect to the middle chapter of the combined moving image file.
次に、図６のＳ６０７において上述した効果発生比率を用いた特殊効果処理Ｂ群決定の処理について図１４のフローチャートを参照して説明する。図１４は、特殊効果処理Ｂ群決定の処理を示すフローチャートである。ここでは、システム制御部１０５は動画に対して最終的に付加する特殊効果を決定する。
まず、Ｓ１４０１では、システム制御部１０５は［１，１００］の正規乱数Ｒを発生させて、正規乱数Ｒ＜Ｔｄであるか否かを判定する。ここで、Ｔｄは「ａ：通常再生」の発生確率である。Ｒ＜Ｔｄの場合にはＳ１４０２に進み、画像処理回路１０４は付加する特殊効果を「ａ：通常再生」に決定する。一方、Ｒ≧Ｔｄの場合にはＳ１４０３に進む。
Next, the special effect process B group determination process using the effect generation ratio described above in S607 of FIG. 6 will be described with reference to the flowchart of FIG. FIG. 14 is a flowchart showing the special effect process B group determination process. Here, the system control unit 105 determines a special effect to be finally added to the moving image.
First, in S1401, the system control unit 105 generates a normal random number R of [1,100] and determines whether or not the normal random number R <Td. Here, Td is an occurrence probability of “a: normal reproduction”. If R <Td, the process advances to step S1402, and the image processing circuit 104 determines “a: normal reproduction” as the special effect to be added. On the other hand, if R ≧ Td, the process proceeds to S1403.
Ｓ１４０３では、システム制御部１０５は正規乱数ＲがＲ＜Ｔｄ＋Ｔｓであるか否かを判定する。ここで、Ｔｓは「ｂ：スロー再生（可変フレームレート）」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓの場合にはＳ１４０４に進み、画像処理回路１０４は付加する特殊効果を「ｂ：スロー再生」に決定する。一方、Ｒ≧Ｔｄ＋Ｔｓの場合にはＳ１４０５に進む。 In S1403, the system control unit 105 determines whether or not the normal random number R is R <Td + Ts. Here, Ts is the occurrence probability of “b: slow playback (variable frame rate)”. If R <Td + Ts, the process advances to step S1404, and the image processing circuit 104 determines that the special effect to be added is “b: slow playback”. On the other hand, if R ≧ Td + Ts, the process proceeds to S1405.
Ｓ１４０５では、システム制御部１０５は正規乱数ＲがＲ＜Ｔｄ＋Ｔｓ＋Ｔｆであるか否かを判定する。ここで、Ｔｆは、「ｃ：早送り再生」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓ＋Ｔｆの場合にはＳ１４０６に進み、画像処理回路１０４は付加する特殊効果を「ｃ：早送り再生」に決定する。一方、Ｒ≧Ｔｄ＋Ｔｓ＋Ｔｆの場合にはＳ１４０７に進む。 In step S1405, the system control unit 105 determines whether the normal random number R is R <Td + Ts + Tf. Here, Tf is an occurrence probability of “c: fast-forward playback”. If R <Td + Ts + Tf, the process advances to step S1406, and the image processing circuit 104 determines that the special effect to be added is “c: fast-forward playback”. On the other hand, if R ≧ Td + Ts + Tf, the process proceeds to S1407.
Ｓ１４０７では、システム制御部１０５は正規乱数ＲがＲ＜Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚであるか否かを判定する。ここで、Ｔｚは、「ｄ：残像効果」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚの場合にはＳ１４０８に進み、画像処理回路１０４は付加する特殊効果を「ｄ：残像効果」に決定する。一方、Ｒ≧Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚの場合にはＳ１４０９に進む。 In step S1407, the system control unit 105 determines whether the normal random number R is R <Td + Ts + Tf + Tz. Here, Tz is the occurrence probability of “d: afterimage effect”. If R <Td + Ts + Tf + Tz, the process advances to step S1408, and the image processing circuit 104 determines that the special effect to be added is “d: afterimage effect”. On the other hand, if R ≧ Td + Ts + Tf + Tz, the process proceeds to S1409.
Ｓ１４０９では、システム制御部１０５は正規乱数ＲがＲ＜Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚ+Ｔｒｄであるか否かを判定する。ここで、Ｔｒｄは、「ｅ：逆再生効果（通常）」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓ＋Ｔｆ＋ＴｚＴｒｄの場合にはＳ１４１０に進み、画像処理回路１０４は付加する特殊効果を「ｅ：逆再生効果（通常）」に決定する。一方、Ｒ≧Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚ+Ｔｒｄの場合にはＳ１４１１に進む。 In S1409, the system control unit 105 determines whether or not the normal random number R is R <Td + Ts + Tf + Tz + Trd. Here, Trd is an occurrence probability of “e: reverse reproduction effect (normal)”. If R <Td + Ts + Tf + TzTrd, the process advances to step S1410, and the image processing circuit 104 determines that the special effect to be added is “e: reverse reproduction effect (normal)”. On the other hand, if R ≧ Td + Ts + Tf + Tz + Trd, the process advances to step S1411.
Ｓ１４１１では、システム制御部１０５は正規乱数ＲがＲ＜Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚ+Ｔｒｄ+Ｔｒｓであるか否かを判定する。ここで、Ｔｒｓは、「ｆ：逆再生効果（スロー）」の発生確率である。Ｒ＜Ｔｄ＋Ｔｓ＋Ｔｆ＋ＴｚＴｒｄ+Ｔｒｓの場合にはＳ１４１２に進み、画像処理回路１０４は付加する特殊効果を「ｆ：逆再生効果（スロー）」に決定する。一方、Ｒ≧Ｔｄ＋Ｔｓ＋Ｔｆ＋Ｔｚ+Ｔｒｄ+Ｔｒｓの場合にはＳ１４１３に進む。 In step S1411, the system control unit 105 determines whether the normal random number R is R <Td + Ts + Tf + Tz + Trd + Trs. Here, Trs is an occurrence probability of “f: reverse reproduction effect (slow)”. If R <Td + Ts + Tf + TzTrd + Trs, the process advances to step S1412, and the image processing circuit 104 determines that the special effect to be added is “f: reverse reproduction effect (slow)”. On the other hand, if R ≧ Td + Ts + Tf + Tz + Trd + Trs, the process proceeds to S1413.
Ｓ１４１３では、システム制御部１０５は付加する特殊効果を「ｇ：逆再生効果（早送り）」に決定する。
その後、図６のフローチャートに戻り、Ｓ６０８からＳ６０９に進み、上述したように決定した特殊効果を全フレームに付加する。したがって、特殊効果として逆再生効果が決定されている場合には、画像処理回路１０４は上述した図４のようにフレームの順番を並び替えて動画を生成することで逆再生効果を付加することができる。
In step S1413, the system control unit 105 determines that the special effect to be added is “g: reverse playback effect (fast forward)”.
Thereafter, returning to the flowchart of FIG. 6, the process proceeds from S608 to S609, and the special effect determined as described above is added to all frames. Therefore, when the reverse playback effect is determined as a special effect, the image processing circuit 104 can add the reverse playback effect by rearranging the frame order as shown in FIG. 4 to generate a moving image. it can.
このように、本実施形態によれば、システム制御部１０５は被写体の移動、具体的には被写体速度や移動距離を検出し、その結果に応じて逆再生効果を、動画に付加する特殊効果の候補にするか否かを決定する。また、システム制御部１０５は複数の特殊効果の候補から、最終的に付加する特殊効果として逆再生効果を決定し、画像処理回路１０４が決定された逆再生効果を動画に対して付加するので、逆再生効果を付加した動画を簡単に生成することができる。
特に、被写体の移動が検出できる場合には面白味がある動画を生成できる可能性が高いので、被写体の移動を検出した結果に応じて逆再生効果を、動画に付加する特殊効果の候補にするか否かを決定することで、容易に面白味がある動画を生成できる。
As described above, according to the present embodiment, the system control unit 105 detects the movement of the subject, specifically, the subject speed and the moving distance, and the reverse playback effect is added to the moving image according to the result. Decide whether to make a candidate. Further, the system control unit 105 determines a reverse playback effect as a special effect to be finally added from a plurality of special effect candidates, and the image processing circuit 104 adds the determined reverse playback effect to the moving image. It is possible to easily generate a moving image with a reverse playback effect.
In particular, if the movement of the subject can be detected, there is a high possibility that an interesting movie can be generated. Therefore, whether the reverse playback effect should be a candidate for a special effect to be added to the movie depending on the result of detecting the movement of the subject. By determining whether or not, an interesting moving image can be easily generated.
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態を適時組み合わせてもよい。 As described above, the present invention has been described together with various embodiments, but the present invention is not limited to these embodiments, and can be modified within the scope of the present invention. May be.
上述した実施形態では、画像処理回路１０４が逆再生効果を付加してメモリ１０３に記録する場合について説明したが、この場合に限られない。すなわち、画像処理回路１０４は逆再生効果を付加することが決定されている場合には、「ａ：通常再生」でメモリ１０３または記録媒体１１０に動画を記録し、再生するときにフレームの順番を並び替えて再生することで、逆再生効果を付加してもよい。したがって、記録時には「ａ：通常再生」で記録した動画であっても、動画再生時に逆再生効果を付加することができる。 In the above-described embodiment, the case where the image processing circuit 104 adds the reverse reproduction effect and records in the memory 103 has been described. However, the present invention is not limited to this case. That is, when it is determined that the reverse reproduction effect is to be added, the image processing circuit 104 records a moving image in the memory 103 or the recording medium 110 by “a: normal reproduction”, and sets the frame order when reproducing. A reverse reproduction effect may be added by rearranging and reproducing. Therefore, a reverse playback effect can be added even when a moving image is recorded with “a: normal playback” during recording.
上述した実施形態では、逆再生効果以外の特殊効果も、動画に付加する特殊効果の候補とする場合について説明したがこの場合に限られない。すなわち、特殊効果は逆再生効果のみであってもよい。
この場合には、上述したＳ１００３では、システム制御部１０５は動画に逆再生効果を付加しないように決定し、上述したＳ１００６では、システム制御部１０５は動画に逆再生効果を付加するように決定する。したがって、Ｓ６０７での特殊効果処理Ｂ群決定の処理は省略される。
In the above-described embodiment, the case where special effects other than the reverse reproduction effect are also candidates for special effects to be added to the moving image has been described. However, the present invention is not limited to this case. That is, the special effect may be only the reverse reproduction effect.
In this case, in S1003 described above, the system control unit 105 determines not to add the reverse reproduction effect to the moving image, and in S1006 described above, the system control unit 105 determines to add the reverse reproduction effect to the moving image. . Therefore, the special effect process B group determination process in S607 is omitted.
また、上述した実施形態においては、本発明を画像処理装置として撮像装置１００を適用する場合について説明したが、動画に対して特殊効果を付加できれば、その他の装置に適用できる。すなわち、本発明は、コンピュータ等の情報処理装置、ＰＤＡ、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム等にも適用できる。 In the above-described embodiment, the case where the imaging apparatus 100 is applied as an image processing apparatus according to the present invention has been described. However, if a special effect can be added to a moving image, the present invention can be applied to other apparatuses. That is, the present invention can be applied to an information processing apparatus such as a computer, a PDA, a mobile phone terminal, a portable image viewer, a digital photo frame, and the like.
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
Claims (12)
前記動画に対して、逆再生効果を付加する効果付加手段と、
前記検出手段により検出された結果に応じて、前記効果付加手段により前記逆再生効果を付加するか否かを決定する決定手段と、を有し、
前記効果付加手段は、前記決定手段により逆再生効果を付加すると決定された場合に、前記動画に対して前記逆再生効果を付加することを特徴とする画像処理装置。 Detection means for detecting movement of the subject in the video;
Effect adding means for adding a reverse reproduction effect to the moving image;
Determining means for deciding whether or not to add the reverse reproduction effect by the effect adding means according to the result detected by the detecting means;
The image processing apparatus according to claim 1, wherein the effect adding unit adds the reverse reproduction effect to the moving image when the determination unit determines to add the reverse reproduction effect.
前記検出手段により検出された被写体の大きさに応じた距離閾値を設定し、前記検出手段により検出される被写体の移動距離が前記設定した距離閾値よりも大きい場合に逆再生効果の付加を決定することを特徴とする請求項２または３に記載の画像処理装置。 The determining means includes
A distance threshold according to the size of the subject detected by the detection means is set, and when the moving distance of the subject detected by the detection means is larger than the set distance threshold, the addition of the reverse reproduction effect is determined. The image processing apparatus according to claim 2, wherein the image processing apparatus is an image processing apparatus.
前記検出手段により検出された被写体の大きさに応じた被写体速度の速度閾値を設定し、前記検出手段により検出される被写体速度が前記設定した速度閾値よりも大きい場合に逆再生効果の付加を決定することを特徴とする請求項５または６に記載の画像処理装置。 The determining means includes
A speed threshold of the subject speed is set according to the size of the subject detected by the detecting means, and the addition of the reverse reproduction effect is determined when the subject speed detected by the detecting means is larger than the set speed threshold. The image processing apparatus according to claim 5, wherein the image processing apparatus is an image processing apparatus.
前記決定手段は、前記検知手段により検知されたブレ情報が閾値よりも小さい場合に逆再生効果の付加を決定することを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。 Having detection means for detecting blur information for the image processing apparatus;
8. The image processing apparatus according to claim 1, wherein the determination unit determines addition of a reverse reproduction effect when blur information detected by the detection unit is smaller than a threshold value. 9. .
前記動画のフレームごとの焦点距離に応じた閾値を設定し、前記検知手段により検知されるブレ情報が前記設定した閾値よりも小さい場合に逆再生効果の付加を決定することを特徴とする請求項８に記載の画像処理装置。 The determining means includes
The threshold value according to the focal length for each frame of the moving image is set, and the addition of the reverse reproduction effect is determined when the blur information detected by the detection unit is smaller than the set threshold value. The image processing apparatus according to 8.
前記決定手段は、前記判定手段により前記逆再生効果を動画に付加する候補にすると判定された場合に、前記逆再生効果を含む複数の特殊効果から、前記動画に付加する特殊効果を決定することを特徴とする請求項１ないし９の何れか１項に記載の画像処理装置。 Determination means for determining whether or not the reverse reproduction effect is a candidate to be added to a moving image according to the result detected by the detection means;
The determining unit determines a special effect to be added to the moving image from a plurality of special effects including the reverse reproducing effect when the determining unit determines that the reverse reproducing effect is a candidate to be added to the moving image. The image processing apparatus according to claim 1, wherein:
前記動画に対して、逆再生効果を付加する効果付加ステップと、
前記検出ステップにより検出された結果に応じて、前記効果付加ステップにより前記逆再生効果を付加するか否かを決定する決定ステップと、を有し、
前記効果付加ステップでは、前記決定ステップにより逆再生効果を付加すると決定された場合に、前記動画に対して前記逆再生効果を付加することを特徴とする画像処理装置の制御方法。 A detection step for detecting movement of the subject in the video;
An effect adding step of adding a reverse playback effect to the video;
Determining whether to add the reverse reproduction effect by the effect adding step according to the result detected by the detecting step;
The method for controlling an image processing apparatus, wherein, in the effect adding step, the reverse playback effect is added to the moving image when it is determined in the determining step that the reverse playback effect is added.
前記動画に対して、逆再生効果を付加する効果付加ステップと、
前記検出ステップにより検出された結果に応じて、前記効果付加ステップにより前記逆再生効果を付加するか否かを決定する決定ステップと、コンピュータに実行させるためのプログラムであって、
前記効果付加ステップでは、前記決定ステップにより逆再生効果を付加すると決定された場合に、前記動画に対して前記逆再生効果を付加することを特徴とするプログラム。 A detection step for detecting movement of the subject in the video;
An effect adding step of adding a reverse playback effect to the video;
A determination step for determining whether or not to add the reverse reproduction effect by the effect addition step according to a result detected by the detection step;
In the effect adding step, the reverse playback effect is added to the moving image when it is determined in the determining step that the reverse playback effect is added.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015163157A JP6555978B2 (en) | 2015-08-20 | 2015-08-20 | Image processing apparatus, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015163157A JP6555978B2 (en) | 2015-08-20 | 2015-08-20 | Image processing apparatus, control method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017041802A true JP2017041802A (en) | 2017-02-23 |
| JP6555978B2 JP6555978B2 (en) | 2019-08-07 |
Family
ID=58206666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015163157A Active JP6555978B2 (en) | 2015-08-20 | 2015-08-20 | Image processing apparatus, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6555978B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087019A (en) * | 2009-10-13 | 2011-04-28 | Nikon Corp | Reproducing device, reproducing method and program |
| JP2012119878A (en) * | 2010-11-30 | 2012-06-21 | Canon Inc | Content reproduction device and content reproduction method |
-
2015
- 2015-08-20 JP JP2015163157A patent/JP6555978B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011087019A (en) * | 2009-10-13 | 2011-04-28 | Nikon Corp | Reproducing device, reproducing method and program |
| JP2012119878A (en) * | 2010-11-30 | 2012-06-21 | Canon Inc | Content reproduction device and content reproduction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6555978B2 (en) | 2019-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8848097B2 (en) | Image processing apparatus, and method, for providing special effect | |
| CN101635797B (en) | Imaging apparatus | |
| US9298356B2 (en) | Method and apparatus for creating or storing resultant image which changes in selected area | |
| KR101871675B1 (en) | Image capturing apparatus and control method therefor | |
| CN103002210A (en) | Image processing device and image processing method | |
| JP2008129554A (en) | Imaging device and automatic focusing control method | |
| JP6460721B2 (en) | Image processing apparatus, image processing method, and program | |
| KR20120034412A (en) | Digital photographing apparatus and control method thereof | |
| JP2018093376A (en) | Imaging apparatus, imaging method and program | |
| JP6261205B2 (en) | Image processing device | |
| KR20150141059A (en) | Apparatus and method for providing thumbnail image of moving picture | |
| JP2017005626A (en) | Image effect processing support device, image effect processing support method, and image effect processing support program | |
| JP4157003B2 (en) | Image processing device | |
| JP2020184669A (en) | Image processing system, imaging apparatus, image processing method, program | |
| JP6555978B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP5931393B2 (en) | Imaging device | |
| JP6346529B2 (en) | Imaging device, control method thereof, and program | |
| JP6378589B2 (en) | Imaging device, control method thereof, and program | |
| JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium | |
| JP4936816B2 (en) | Imaging apparatus and simultaneous display control method | |
| JP6590681B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2015008428A (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6679333B2 (en) | Image processing apparatus, image processing method, and program | |
| KR20100018330A (en) | Digital image processing apparatus, method for controlling the same and medium of recording the method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180807 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190709 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6555978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |