JP2012010133A - Image processing apparatus and image processing program - Google Patents

Image processing apparatus and image processing program Download PDF

Info

Publication number
JP2012010133A
JP2012010133A JP2010144701A JP2010144701A JP2012010133A JP 2012010133 A JP2012010133 A JP 2012010133A JP 2010144701 A JP2010144701 A JP 2010144701A JP 2010144701 A JP2010144701 A JP 2010144701A JP 2012010133 A JP2012010133 A JP 2012010133A
Authority
JP
Japan
Prior art keywords
image
highlight
images
image processing
series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010144701A
Other languages
Japanese (ja)
Inventor
Takashi Nishi
岳志 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2010144701A priority Critical patent/JP2012010133A/en
Publication of JP2012010133A publication Critical patent/JP2012010133A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To properly determine a highlight period and to set it.SOLUTION: When setting a highlight period which indicates an essential point of a series of images into the series of images by processing a series of images consecutively photographed, characteristic quantities per image is extracted (S21), variation quantities per unit time of characteristic quantities per the image is detected (S22), and the highlight period is determined (S23) based on the variation quantities.

Description

本発明は、画像処理装置および画像処理プログラムに関する。   The present invention relates to an image processing apparatus and an image processing program.

デジタルビデオカメラで撮影した動画を再生する際に、短時間で効果的に内容を把握するために、最も目立つシーン、最も精彩のあるシーン、見せ場のシーンなどをハイライトシーンとして検出し、優先的に表示するようにした画像処理装置が知られている(例えば、特許文献1参照)。   When playing back videos taken with a digital video camera, the most prominent scenes, the most brilliant scenes, and scenes that show off are detected as priority scenes in order to grasp the contents effectively in a short time. There is known an image processing apparatus that displays the image (for example, see Patent Document 1).

特開2007−134771号公報JP 2007-134771 A

しかしながら、上述した従来の画像処理装置では、ハイライトシーンとして検出されたシーンが必ずしもユーザーが求めているシーンとは限らず、適切なハイライトシーンの判別がなされていないという問題がある。   However, the above-described conventional image processing apparatus has a problem that a scene detected as a highlight scene is not necessarily a scene requested by the user, and an appropriate highlight scene is not determined.

連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する際に、画像ごとの特徴量を抽出するとともに、画像ごとの特徴量の単位時間当たりの変化量を検出し、変化量に基づいてハイライト期間を判別する。   When setting a highlight period that represents the main points of a series of images by processing a series of consecutively shot images, the feature quantity for each image is extracted and the feature quantity for each image The amount of change per unit time is detected, and the highlight period is determined based on the amount of change.

本発明によれば、ハイライト期間を適切に判別し設定することができる。   According to the present invention, the highlight period can be appropriately determined and set.

一実施の形態の画像処理装置を搭載したデジタルカメラの構成を示す図The figure which shows the structure of the digital camera carrying the image processing apparatus of one embodiment 動画記録時のハイライト期間設定プログラムを示すフローチャートFlow chart showing highlight period setting program during video recording 動画再生時のハイライト期間設定プログラムを示すフローチャートFlow chart showing highlight period setting program during video playback ハイライト判定サブルーチンを示すフローチャートFlowchart showing highlight determination subroutine 徒競争シーンを動画撮影した場合のハイライト判定例を示す図The figure which shows the example of highlight judgment at the time of video shooting 特殊再生処理プログラムを示すフローチャートFlow chart showing special reproduction processing program 特殊再生処理の一例を示す図The figure which shows an example of special reproduction processing 特殊再生処理の他の例を示す図The figure which shows the other example of special reproduction processing 特殊再生処理の他の例を示す図The figure which shows the other example of special reproduction processing

本発明の画像処理装置を動画撮影可能なデジタルカメラに搭載した一実施の形態を説明する。   An embodiment in which the image processing apparatus of the present invention is mounted on a digital camera capable of shooting a moving image will be described.

図1は一実施の形態のデジタルカメラの構成を示す図である。なお、本発明に直接関係のないカメラの機器および装置については図示と説明を省略する。撮影光学系1は撮像素子2の撮像面に被写体像を結像する。この撮影光学系1には撮影レンズと絞りの他に、レンズおよび絞り駆動制御装置や光学系情報を記憶するメモリなどが内蔵されている。撮像素子2はCCDやCMOSなどのイメージセンサーであり、被写体像を画像信号に変換する。A/Dコンバーター3はアナログ画像信号をデジタル画像信号に変換する。信号処理回路4は画像信号に対してクランプ処理、ゲイン処理、画素補間処理、色変換処理などの各種処理を施す。バッファメモリ5は画像を一時的に記憶するメモリである。   FIG. 1 is a diagram illustrating a configuration of a digital camera according to an embodiment. It should be noted that illustration and description of camera devices and apparatuses that are not directly related to the present invention are omitted. The photographing optical system 1 forms a subject image on the image pickup surface of the image pickup device 2. In addition to the photographic lens and the diaphragm, the photographic optical system 1 includes a lens, a diaphragm drive control device, a memory for storing optical system information, and the like. The image sensor 2 is an image sensor such as a CCD or a CMOS, and converts a subject image into an image signal. The A / D converter 3 converts an analog image signal into a digital image signal. The signal processing circuit 4 performs various processes such as a clamp process, a gain process, a pixel interpolation process, and a color conversion process on the image signal. The buffer memory 5 is a memory for temporarily storing images.

圧縮記録回路6は画像信号を所定のフォーマットで圧縮し、メモリカードなどの記録媒体7に記録する。特殊再生処理回路8は動画の中のハイライト期間に特殊な演出効果を付加する。この特殊再生処理については詳細を後述する。読出伸張回路9は記録媒体7に圧縮記録されている画像を読み出して伸張する。表示制御回路10は動画を含む画像をモニター11に表示する。制御装置12はCPU12aを備え、カメラの各種演算とシーケンス制御を行うとともに、動画の中からハイライト期間を判別し、ハイライト期間に対して特殊再生処理を施す。操作部13はカメラを操作するための操作部材であり、レリーズスイッチ、メニュースイッチ、十字キースイッチ、ハイライトスイッチ、再生スイッチなどが含まれる。   The compression recording circuit 6 compresses the image signal in a predetermined format and records it on a recording medium 7 such as a memory card. The special reproduction processing circuit 8 adds a special effect to the highlight period in the moving image. Details of this special reproduction processing will be described later. The read / expand circuit 9 reads and expands an image compressed and recorded on the recording medium 7. The display control circuit 10 displays an image including a moving image on the monitor 11. The control device 12 includes a CPU 12a, performs various calculations and sequence control of the camera, determines a highlight period from the moving image, and performs special reproduction processing on the highlight period. The operation unit 13 is an operation member for operating the camera, and includes a release switch, a menu switch, a cross key switch, a highlight switch, a reproduction switch, and the like.

図2〜図4、図6は一実施の形態の画像処理装置のハイライト期間設定と特殊再生処理の制御プログラムを示すフローチャートである。これらのプログラムは制御装置12のCPU12aにより実行される。これらのフローチャートにより一実施の形態の動作を説明する。   2 to 4 and 6 are flowcharts showing a control program for highlight period setting and special reproduction processing of the image processing apparatus according to the embodiment. These programs are executed by the CPU 12a of the control device 12. The operation of the embodiment will be described with reference to these flowcharts.

図2は動画記録時のハイライト期間設定プログラムを示す。操作部13のレリーズスイッチがオンして動画の撮影と記録動作が行われている間、制御装置12のCPU12aは図2に示すプログラムを繰り返し実行する。ステップ1において、操作部13のハイライトスイッチが操作されたか否かを判別する。操作部13のハイライトスイッチは、撮影者が撮影時にここはハイライトシーンであるとして操作し、撮影者自身がハイライト期間を設定するためのスイッチである。なお、詳細を後述するハイライトモードが設定されていない場合でもハイライトスイッチの操作が優先され、ハイライトスイッチが操作されるとハイライトモードの非設定時でもハイライト期間が設定される。ハイライトスイッチがオンしているときはステップ2へ進み、ハイライトスイッチがオンしているときに撮影された画像にハイライトフラグを設定し、画像データとともに記録媒体7に記録する。   FIG. 2 shows a highlight period setting program at the time of moving image recording. While the release switch of the operation unit 13 is turned on and a moving image is being shot and recorded, the CPU 12a of the control device 12 repeatedly executes the program shown in FIG. In step 1, it is determined whether or not the highlight switch of the operation unit 13 has been operated. The highlight switch of the operation unit 13 is a switch that is operated by the photographer assuming that this is a highlight scene at the time of photographing, and for the photographer himself to set a highlight period. Note that even when the highlight mode, which will be described in detail later, is not set, the operation of the highlight switch has priority, and when the highlight switch is operated, the highlight period is set even when the highlight mode is not set. When the highlight switch is on, the process proceeds to step 2, and a highlight flag is set for the image taken when the highlight switch is on, and the image is recorded on the recording medium 7 together with the image data.

ここで、ハイライト期間は、動画撮影または静止画の連続撮影により撮像された一連の画像の中に、短時間で効果的に一連の画像の内容を把握するために、最も目立つ画像、最も精彩のある画像、見せ場の画像などの、一連の画像の要点を表す画像もしくは画像群として設定される。   Here, the highlight period is the most prominent image, most detailed, in order to grasp the contents of a series of images effectively in a short time in a series of images taken by moving image shooting or continuous shooting of still images. It is set as an image or a group of images representing the main points of a series of images, such as a certain image or an image of a show.

操作部13のハイライトスイッチがオンしていないときはステップ3ヘ進み、ハイライトモードが設定されているか否かを判別する。この一実施の形態の画像処理装置は、動画の撮影記録時に自動的にハイライト期間を判定してハイライトフラグを設定するモード、すなわちハイライトモードを有している。ハイライトモードは、操作部13のメニュースイッチを操作してモニター11にメニュー画面を表示させ、操作部13の十字キーを操作してハイライトモードの設定と解除を行う。ハイライトモードが設定されているときはステップ4へ進み、図4に示すハイライト判定サブルーチンを実行し、ハイライト期間の判定とハイライトフラグの設定を行う。このハイライト判定処理については詳細を後述する。ハイライトモードが設定されていないときはステップ4をスキップする。ステップ5では、操作部13のレリーズスイッチがオンになっているか、つまり動画の撮影と記録動作が継続されているか否かを判別し、継続されているときはステップ1へ戻って上述した処理を繰り返し、継続されていないときは処理を終了する。   When the highlight switch of the operation unit 13 is not turned on, the process proceeds to step 3 to determine whether or not the highlight mode is set. The image processing apparatus according to the embodiment has a mode in which a highlight period is automatically determined and a highlight flag is set, that is, a highlight mode, when a moving image is captured and recorded. In the highlight mode, the menu screen of the operation unit 13 is operated to display a menu screen on the monitor 11, and the cross key of the operation unit 13 is operated to set and cancel the highlight mode. If the highlight mode is set, the process proceeds to step 4 to execute a highlight determination subroutine shown in FIG. 4 to determine a highlight period and set a highlight flag. Details of this highlight determination processing will be described later. When the highlight mode is not set, step 4 is skipped. In step 5, it is determined whether or not the release switch of the operation unit 13 is turned on, that is, whether or not the moving image shooting and recording operation is continued. If it is not repeated, the process is terminated.

図3は動画再生時のハイライト期間設定プログラムを示す。操作部13の再生スイッチがオンして動画の再生動作が行われている間、制御装置12のCPU12aは図3に示すプログラムを繰り返し実行する。ステップ11において、操作部13のハイライトスイッチが操作されたか否かを判別する。操作部13のハイライトスイッチは、上述したように、撮影者自身がハイライト期間を設定するためのスイッチであり、ハイライトモードが設定されていない場合でもハイライトスイッチの操作が優先される。動画の撮影記録時にハイライト期間が設定されていない動画に対しても、モニター11に動画を再生しているときに操作部13のハイライトスイッチを操作することによって、改めてハイライト期間を設定することができる。ハイライトスイッチがオンしているときはステップ12へ進み、ハイライトスイッチがオンしているときに再生された画像にハイライトフラグを設定し、画像データとともに記録媒体7に記録する。   FIG. 3 shows a highlight period setting program at the time of moving image reproduction. While the playback switch of the operation unit 13 is turned on and the moving image playback operation is being performed, the CPU 12a of the control device 12 repeatedly executes the program shown in FIG. In step 11, it is determined whether or not the highlight switch of the operation unit 13 has been operated. As described above, the highlight switch of the operation unit 13 is a switch for the photographer himself to set the highlight period, and priority is given to the operation of the highlight switch even when the highlight mode is not set. Even for a moving image for which a highlight period is not set at the time of recording and recording a moving image, the highlight period is set again by operating the highlight switch of the operation unit 13 while the moving image is being reproduced on the monitor 11. be able to. When the highlight switch is on, the process proceeds to step 12, and a highlight flag is set for the image reproduced when the highlight switch is on, and the image is recorded on the recording medium 7 together with the image data.

操作部13のハイライトスイッチがオンしていないときはステップ13ヘ進み、上述したハイライトモードが設定されているか否かを判別する。この一実施の形態の画像処理装置は、動画の再生時に自動的にハイライト期間を判定してハイライトフラグを設定するモード、すなわちハイライトモードを有している。ハイライトモードは、操作部13のメニュースイッチを操作してモニター11にメニュー画面を表示させ、操作部13の十字キーを操作してハイライトモードの設定と解除を行う。ハイライトモードが設定されているときはステップ14へ進み、図4に示すハイライト判定サブルーチンを実行し、ハイライト期間の判定とハイライトフラグの設定を行う。このハイライト判定処理については詳細を後述する。ハイライトモードが設定されていないときはステップ14をスキップする。ステップ15では、操作部13の再生スイッチがオンになっているか、つまり動画の再生動作が継続されているか否かを判別し、継続されているときはステップ11へ戻って上述した処理を繰り返し、継続されていないときは処理を終了する。   When the highlight switch of the operation unit 13 is not turned on, the process proceeds to step 13 to determine whether or not the above-described highlight mode is set. The image processing apparatus according to the embodiment has a mode in which a highlight period is automatically determined and a highlight flag is set when a moving image is reproduced, that is, a highlight mode. In the highlight mode, the menu screen of the operation unit 13 is operated to display a menu screen on the monitor 11, and the cross key of the operation unit 13 is operated to set and cancel the highlight mode. When the highlight mode is set, the process proceeds to step 14, and the highlight determination subroutine shown in FIG. 4 is executed to determine the highlight period and set the highlight flag. Details of this highlight determination processing will be described later. If the highlight mode is not set, step 14 is skipped. In step 15, it is determined whether or not the playback switch of the operation unit 13 is turned on, that is, whether or not the video playback operation is continued. If so, the process returns to step 11 to repeat the above-described processing. If it is not continued, the process is terminated.

図4はハイライト判定サブルーチンを示す。ステップ21において、動画の中の駒画像ごとに画像の特徴量を抽出する。特徴量としては、例えば、主要被写体の動きを示す画像中の動きベクトル量を検出してもよい。また、主要被写体に対するピント状態を示す画像中の空間周波数を検出してもよい。あるいは、画像中の主要被写体の輝度、形状、色相などを検出し、特徴量としてもよい。なお、画像中の主要被写体としては、例えば、顔認識処理により人物の顔を認識して主要被写体としたり、焦点検出結果の至近のデフォーカス量を示す被写体を主要被写体としてもよい。動画撮影で時系列的に撮影記録される駒画像に対して上述した特徴量を検出し、バッファーメモリ5に順に記憶する。   FIG. 4 shows a highlight determination subroutine. In step 21, the feature amount of the image is extracted for each frame image in the moving image. As the feature amount, for example, a motion vector amount in an image indicating the motion of the main subject may be detected. Further, the spatial frequency in the image indicating the focus state with respect to the main subject may be detected. Alternatively, the luminance, shape, hue, etc. of the main subject in the image may be detected and used as the feature amount. Note that, as the main subject in the image, for example, a person's face may be recognized as a main subject by face recognition processing, or a subject indicating a defocus amount closest to the focus detection result may be used as the main subject. The above-described feature amounts are detected for the frame images that are shot and recorded in time series in moving image shooting, and stored in the buffer memory 5 in order.

続くステップ22では、単位時間当たりの特徴量の変化量を検出する。バッファーメモリ5に記憶されている駒画像ごとの特徴量を読み出し、連続した画像における特徴量の単位時間当たりの変化量を求める。ステップ23で、特徴量の単位時間当たりの変化量が予め設定したしきい値を超えているか否かを判別し、特徴量の変化量がしきい値を越えている場合はステップ24へ進み、現在処理中の画像にハイライトフラグを設定し、画像データとともに記録媒体7に記録する。なお、特徴量の変化量がしきい値以下の場合はステップ24をスキップする。   In the subsequent step 22, the amount of change in the feature amount per unit time is detected. The feature amount for each frame image stored in the buffer memory 5 is read, and the change amount per unit time of the feature amount in the continuous images is obtained. In step 23, it is determined whether or not the amount of change of the feature amount per unit time exceeds a preset threshold value. If the amount of change of the feature amount exceeds the threshold value, the process proceeds to step 24. A highlight flag is set for the image currently being processed, and is recorded on the recording medium 7 together with the image data. If the change amount of the feature amount is equal to or less than the threshold value, step 24 is skipped.

図5は徒競争シーンを動画撮影した場合のハイライト判定例を示す。図5(a)は徒競争におけるスタート時、走行中、ゴール時におけるシーン0〜4を示し、図5(b)は各シーンにおける主要被写体すなわちランナーの動きベクトル量の単位時間当たりの変化量を示す。スタート時のシーン0では、ランナーの動きがほとんどないため、動きベクトル量はほぼ0である。ランナーがスタートした直後のシーン1では、ランナーの動きベクトル量が急激に増加する。走行中のシーン2では、ランナーの動きベクトル量はほぼ一定になり、変化は少ない。ゴール直後のシーン3ではランナーの動きベクトル量は急激に減少する。そして、ゴール後にランナーが所定の場所へ移動するシーン4では、ランナーの動きベクトル量は歩行移動に応じた微小な量になる。   FIG. 5 shows an example of highlight determination in the case where a moving image of a competition scene is taken. FIG. 5 (a) shows scenes 0 to 4 at the start, running and goal in the competition, and FIG. 5 (b) shows the amount of change per unit time of the motion vector amount of the main subject in each scene, that is, the runner. Show. In the scene 0 at the start, since there is almost no movement of the runner, the motion vector amount is almost zero. In scene 1 immediately after the runner starts, the amount of motion vector of the runner increases rapidly. In the running scene 2, the amount of motion vector of the runner is almost constant and changes little. In scene 3 immediately after the goal, the amount of motion vector of the runner decreases rapidly. In the scene 4 in which the runner moves to a predetermined place after the goal, the runner's motion vector amount is a minute amount corresponding to the walking movement.

この一実施の形態では、主要被写体の動きベクトル量の単位時間当たりの変化量が予め設定したしきい値を超えた期間をハイライト期間とする。しかし、動きベクトル量の単位時間当たりの変化量がしきい値を超えた時点ではすでに主要被写体が動き始めており、また、動きベクトル量の単位時間当たりの変化量がしきい値以下になった時点以降も主要被写体はまだ動き続けている。そこで、この一実施の形態では、図5(b)に示すように、主要被写体の動きベクトル量の単位時間当たりの変化量がしきい値を超えた期間の前後の所定期間も含めた期間をハイライト期間に設定する。   In this embodiment, a highlight period is a period in which the amount of change per unit time of the motion vector amount of the main subject exceeds a preset threshold value. However, when the amount of change per unit time of the motion vector amount exceeds the threshold, the main subject has already started moving, and when the amount of change per unit time of the motion vector amount falls below the threshold Since then, the main subject has continued to move. Therefore, in this embodiment, as shown in FIG. 5B, a period including a predetermined period before and after a period in which the amount of change per unit time of the motion vector amount of the main subject exceeds the threshold value is included. Set to highlight period.

図6は特殊再生処理プログラムを示す。操作部13のメニュースイッチが操作され、十字キーにより特殊再生処理が選択されると、制御装置12のCPU12aはこの特殊再生処理プログラムを実行する。ステップ31において、モニター11に動画を再生しながら駒画像ごとにハイライトフラグが設定されているか否かを判別する。ハイライトフラグが設定されている駒画像があるとステップ32へ進み、特殊再生処理を施す。特殊再生処理の詳細については後述する。ステップ33で動画の再生が継続されているか否かを判別し、継続されているときはステップ31へ戻って上述した処理を繰り返し、継続されていないときは処理を終了する。   FIG. 6 shows a special reproduction processing program. When the menu switch of the operation unit 13 is operated and the special reproduction process is selected by the cross key, the CPU 12a of the control device 12 executes the special reproduction process program. In step 31, it is determined whether or not a highlight flag is set for each frame image while reproducing a moving image on the monitor 11. If there is a frame image for which the highlight flag is set, the process proceeds to step 32 to perform special reproduction processing. Details of the special reproduction process will be described later. In step 33, it is determined whether or not the reproduction of the moving image is continued. When the reproduction is continued, the process returns to step 31 to repeat the above-described processing, and when the reproduction is not continued, the processing is terminated.

図7は特殊再生処理の一例を示す。この例では、ハイライト期間内の画像中から上述した方法で主要被写体を抽出し、主要被写体の明度を高くするとともに背景の明度を低くし、主要被写体を際立たせる演出効果を付加する。   FIG. 7 shows an example of special reproduction processing. In this example, the main subject is extracted from the image within the highlight period by the above-described method, the brightness of the main subject is increased, the brightness of the background is decreased, and an effect of making the main subject stand out is added.

図8は特殊再生処理の他の例を示す。この例では、ハイライト期間にスローモーション再生を行うために、撮影された動画のフレーム間にその前後のフレームの画像に基づいて新しいフレームを生成し、滑らかなスローモーション再生を可能にする。図8において、(a)は通常の再生フレーム(1)、(2)、(3)、(4)、・・を示し、(b)は通常の再生フレーム間に前後のフレーム画像に基づいて新しいフレームを生成し追加したものである。また、図8(c)は、(b)に示す再生フレーム間に前後のフレーム画像に基づいて新しいフレームを生成し追加したものであり、(b)に示す1/2再生に比べてさらに滑らかなスローモーション再生が実現できる。   FIG. 8 shows another example of special reproduction processing. In this example, in order to perform slow motion playback during the highlight period, a new frame is generated based on the images of the frames before and after the captured moving image frame, thereby enabling smooth slow motion playback. In FIG. 8, (a) shows normal playback frames (1), (2), (3), (4),..., (B) based on the previous and next frame images between normal playback frames. A new frame is created and added. Further, FIG. 8C is a diagram in which a new frame is generated and added based on the previous and next frame images between the playback frames shown in FIG. 8B, which is smoother than the 1/2 playback shown in FIG. 8B. Slow motion playback can be realized.

図9は特殊再生処理の他の例を示す。この例では、ハイライト期間にスローモーションの再生を行うために、動画の撮影記録時に動画フレーム間において高速シャッタースピードの画像を取得し、これらのすべての画像フレームを用いてスローモーション再生を行う。図9において、動画の画像は通常のシャッター速度、例えば1/60〜1/250[sec]で撮影し、通常の画像フレーム(1)、(2)、(3)、(4)、・・・の間に高速のシャッター速度、例えば1/1000[sec]で複数枚の静止画を撮影する。そして、通常の再生時は通常の画像フレーム(1)、(2)、(3)、(4)、・・・のみを再生し、ハイライト期間のスローモーション再生時には通常の画像フレームと高速シャッター速度で撮影した静止画の両方を再生する。このような高速シャッター速度で撮影した駒画像を用いてスローモーション再生することによって、輪郭のぼやけのないシャープで滑らかなスローモーション再生が可能になる。   FIG. 9 shows another example of special reproduction processing. In this example, in order to perform slow motion playback during the highlight period, images with a high shutter speed are acquired between moving image frames during moving image shooting and recording, and slow motion playback is performed using all these image frames. In FIG. 9, moving images are taken at a normal shutter speed, for example, 1/60 to 1/250 [sec], and normal image frames (1), (2), (3), (4),. In the meantime, a plurality of still images are taken at a high shutter speed, for example, 1/1000 [sec]. During normal playback, only normal image frames (1), (2), (3), (4),... Are played back. During slow motion playback during the highlight period, normal image frames and high-speed shutters are played back. Play back both still images taken at speed. By performing slow motion playback using a frame image shot at such a high shutter speed, it is possible to perform sharp and smooth slow motion playback without blurring of the outline.

なお、上述した一実施の形態では、動画を対象にハイライト期間を自動設定または手動設定する例を示したが、連続撮影(連写)した多くの枚数の静止画像を対象にしてハイライト期間の自動検出または手動設定を行うこともできる。   In the above-described embodiment, an example in which a highlight period is automatically set or manually set for a moving image has been described. However, a highlight period is set for a large number of still images taken continuously (continuous shooting). Automatic detection or manual setting can also be performed.

また、上述した一実施の形態では、本発明の画像処理装置をデジタルカメラに搭載した例を示したが、本発明の画像処理装置をハイライト設定専用器としてもよいし、本発明の画像処理装置をDVDのような動画再生装置に搭載してもよい。あるいは、本発明の画像処理プログラムをパーソナルコンピューター上で実行し、パーソナルコンピューターに取り込んだ動画または連写画像に対してハイライト期間の自動設定または手動設定を行うとともに、ハイライト期間に上述した特殊再生処理を施すようにしてもよい。   In the embodiment described above, an example in which the image processing apparatus of the present invention is mounted on a digital camera has been shown. However, the image processing apparatus of the present invention may be a highlight setting dedicated device, or the image processing of the present invention. The device may be mounted on a moving image playback device such as a DVD. Alternatively, the image processing program of the present invention is executed on a personal computer, and the highlight period is automatically set or manually set for a moving image or continuous shot image captured in the personal computer, and the above-described special reproduction is performed during the highlight period. Processing may be performed.

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。   In the above-described embodiments and their modifications, all combinations of the embodiments and the modifications are possible.

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する際に、画像ごとの特徴量を抽出するとともに、画像ごとの特徴量の単位時間当たりの変化量を検出し、この変化量に基づいてハイライト期間を判別するようにしたので、ハイライト期間を適切に判別し設定することができる。   According to the above-described embodiment and its modifications, the following operational effects can be achieved. First, when processing a series of consecutively captured images and setting a highlight period that represents the main points of the series of images in the series of images, a feature amount for each image is extracted, and for each image, Since the change amount of the feature amount per unit time is detected and the highlight period is determined based on the change amount, the highlight period can be appropriately determined and set.

また、一実施の形態によれば、画像の中から主要被写体を抽出し、主要被写体の動きベクトル量を特徴量として検出するようにしたので、背景の変化に影響を受けることなく適切なハイライト期間を設定することができる。   In addition, according to the embodiment, since the main subject is extracted from the image and the motion vector amount of the main subject is detected as the feature amount, it is possible to appropriately highlight without being affected by the background change. A period can be set.

さらに、一実施の形態によれば、一連の画像の中の任意の期間にハイライト期間を手動で設定するためのハイライトスイッチを備えたので、画像処理装置によるハイライト期間の自動設定がなされない箇所にも、ユーザーが任意にハイライト期間を設定することができる。   Furthermore, according to the embodiment, since the highlight switch for manually setting the highlight period in any period in the series of images is provided, the highlight period is not automatically set by the image processing apparatus. The highlight period can be arbitrarily set by the user even in a place where the highlight is not performed.

一実施の形態によれば、一連の画像を撮影するときはもちろんのこと、一連の画像を再生するときにも、ハイライト期間を設定可能にしたので、撮影済みの一連の画像に対して新たにハイライト期間を設定もしくは追加することができる。   According to one embodiment, the highlight period can be set not only when shooting a series of images but also when playing back a series of images. You can set or add a highlight period.

一実施の形態によれば、連続して撮影された一連の画像を処理して一連の画像の中に一連の画像の要点を表すハイライト期間を設定する処理を実行させるコンピューター・プログラムとして、画像ごとの特徴量を抽出する抽出ステップと、画像ごとの特徴量の単位時間当たりの変化量を検出する検出ステップと、変化量に基づいてハイライト期間を判別する判別ステップとを有するようにしたので、画像再生装置やコンピューター上などでハイライト期間を適切に判別し設定することができる。   According to an embodiment, as a computer program that executes a process of processing a series of consecutively shot images and setting a highlight period that represents a point of the series of images in the series of images, Since there is an extraction step for extracting the feature amount for each image, a detection step for detecting the change amount per unit time of the feature amount for each image, and a determination step for determining the highlight period based on the change amount. The highlight period can be appropriately determined and set on an image reproduction device or a computer.

2;撮像素子、11;モニター、12;制御装置、12a;CPU、13;操作部 2; Image sensor, 11; Monitor, 12; Control device, 12a; CPU, 13;

Claims (6)

連続して撮影された一連の画像を処理して前記一連の画像の中に前記一連の画像の要点を表すハイライト期間を設定する画像処理装置であって、
前記画像ごとの特徴量を抽出する抽出手段と、
前記画像ごとの特徴量の単位時間当たりの変化量を検出する検出手段と、
前記変化量に基づいて前記ハイライト期間を判別する判別手段とを備えることを特徴とする画像処理装置。
An image processing apparatus that processes a series of images taken continuously and sets a highlight period that represents a main point of the series of images in the series of images,
Extracting means for extracting a feature amount for each image;
Detecting means for detecting a change amount per unit time of the feature amount for each image;
An image processing apparatus comprising: a determination unit that determines the highlight period based on the change amount.
請求項1に記載の画像処理装置において、
前記抽出手段は、前記画像の中から主要被写体を抽出し、前記主要被写体の動きベクトル量を前記特徴量として検出することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
The image processing apparatus, wherein the extraction unit extracts a main subject from the image and detects a motion vector amount of the main subject as the feature amount.
請求項1または請求項2に記載の画像処理装置において、
前記一連の画像の中の任意の期間に前記ハイライト期間を手動で設定するための操作部材を備えることを特徴とする画像処理装置。
The image processing apparatus according to claim 1 or 2,
An image processing apparatus comprising: an operation member for manually setting the highlight period in an arbitrary period in the series of images.
請求項1〜3のいずれか一項に記載の画像処理装置において、
動画撮影または静止画の連続撮影により前記一連の画像を撮像する撮像手段を備え、
前記一連の画像を撮影するときに前記ハイライト期間を設定することを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 3,
An imaging means for capturing the series of images by moving image shooting or continuous shooting of still images,
An image processing apparatus, wherein the highlight period is set when the series of images is captured.
請求項1〜4のいずれか一項に記載の画像処理装置において、
前記画像を表示する表示手段を備え、
前記一連の画像を前記表示手段で再生するときに前記ハイライト期間を設定することを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 4,
Display means for displaying the image;
An image processing apparatus, wherein the highlight period is set when the display unit reproduces the series of images.
連続して撮影された一連の画像を処理して前記一連の画像の中に前記一連の画像の要点を表すハイライト期間を設定する処理をコンピューターに実行させる画像処理プログラムであって、
前記画像ごとの特徴量を抽出する抽出ステップと、
前記画像ごとの特徴量の単位時間当たりの変化量を検出する検出ステップと、
前記変化量に基づいて前記ハイライト期間を判別する判別ステップとをコンピューターに実行させることを特徴とする画像処理プログラム。
An image processing program that causes a computer to execute a process of processing a series of images that are continuously captured and setting a highlight period in the series of images that represents key points of the series of images,
An extraction step of extracting a feature amount for each image;
A detection step of detecting a change amount per unit time of the feature amount for each image;
An image processing program causing a computer to execute a determination step of determining the highlight period based on the amount of change.
JP2010144701A 2010-06-25 2010-06-25 Image processing apparatus and image processing program Pending JP2012010133A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010144701A JP2012010133A (en) 2010-06-25 2010-06-25 Image processing apparatus and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010144701A JP2012010133A (en) 2010-06-25 2010-06-25 Image processing apparatus and image processing program

Publications (1)

Publication Number Publication Date
JP2012010133A true JP2012010133A (en) 2012-01-12

Family

ID=45540169

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010144701A Pending JP2012010133A (en) 2010-06-25 2010-06-25 Image processing apparatus and image processing program

Country Status (1)

Country Link
JP (1) JP2012010133A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013124923A1 (en) * 2012-02-23 2013-08-29 パナソニック株式会社 Region-of-interest specification device, region-of-interest specification method, and region-of-interest specification program
CN105744116A (en) * 2016-02-25 2016-07-06 广东欧珀移动通信有限公司 Detection method, control method, detection device, control device and electronic device
WO2016175003A1 (en) * 2015-04-28 2016-11-03 シャープ株式会社 Imaging device, control method for imaging device, and control program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0390968A (en) * 1989-09-01 1991-04-16 Nippon Telegr & Teleph Corp <Ntt> Automatic production system for animation image digest
JPH09298739A (en) * 1996-04-30 1997-11-18 Matsushita Electric Ind Co Ltd Image extraction device
JP2006094183A (en) * 2004-09-24 2006-04-06 Matsushita Electric Ind Co Ltd Signal processing apparatus, and signal processing method
JP2006303746A (en) * 2005-04-19 2006-11-02 Hitachi Ltd Moving picture processor
JP2007184668A (en) * 2005-12-29 2007-07-19 Sharp Corp Video recording apparatus
JP2009218719A (en) * 2008-03-07 2009-09-24 Panasonic Corp Imaging device and imaging method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0390968A (en) * 1989-09-01 1991-04-16 Nippon Telegr & Teleph Corp <Ntt> Automatic production system for animation image digest
JPH09298739A (en) * 1996-04-30 1997-11-18 Matsushita Electric Ind Co Ltd Image extraction device
JP2006094183A (en) * 2004-09-24 2006-04-06 Matsushita Electric Ind Co Ltd Signal processing apparatus, and signal processing method
JP2006303746A (en) * 2005-04-19 2006-11-02 Hitachi Ltd Moving picture processor
JP2007184668A (en) * 2005-12-29 2007-07-19 Sharp Corp Video recording apparatus
JP2009218719A (en) * 2008-03-07 2009-09-24 Panasonic Corp Imaging device and imaging method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013124923A1 (en) * 2012-02-23 2013-08-29 パナソニック株式会社 Region-of-interest specification device, region-of-interest specification method, and region-of-interest specification program
CN103404130A (en) * 2012-02-23 2013-11-20 松下电器产业株式会社 Region-of-interest specification device, region-of-interest specification method, and region-of-interest specification program
JPWO2013124923A1 (en) * 2012-02-23 2015-05-21 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America Interest section identification device, interest section identification method, interest section identification program
US9288463B2 (en) 2012-02-23 2016-03-15 Panasonic Intellectual Property Corporation Of America Interesting section identification device, interesting section identification method, and interesting section identification program
CN103404130B (en) * 2012-02-23 2017-06-27 松下电器(美国)知识产权公司 Interest interval determining device, interest interval determination method
WO2016175003A1 (en) * 2015-04-28 2016-11-03 シャープ株式会社 Imaging device, control method for imaging device, and control program
CN105744116A (en) * 2016-02-25 2016-07-06 广东欧珀移动通信有限公司 Detection method, control method, detection device, control device and electronic device

Similar Documents

Publication Publication Date Title
JP5234119B2 (en) Imaging apparatus, imaging processing method, and program
JP4499693B2 (en) Image processing apparatus, image processing method, and program
CN102611865B (en) Apparatus and method for processing moving image data
JP4548493B2 (en) Imaging apparatus, moving image generation method, and program
US20130114938A1 (en) Image-capturing apparatus
JP4849174B2 (en) Imaging apparatus, moving image generation method, and program
JP2006303961A (en) Imaging apparatus
JP2009194770A (en) Imaging device, moving image reproducing apparatus, and program thereof
JP2007266659A (en) Imaging reproducing apparatus
JP2012010133A (en) Image processing apparatus and image processing program
JP2010213052A (en) Imaging apparatus, imaging method, and imaging program
JP4998439B2 (en) Image processing apparatus, image processing method, and program
JP2007006385A (en) Imaging apparatus, image recording apparatus, control method and program
JP2008301357A (en) Photographing apparatus and method for controlling same
JP2013110562A (en) Imaging apparatus
JP4797847B2 (en) Image processing apparatus, image processing procedure and program
JP2014120926A (en) Imaging apparatus
JP6341814B2 (en) Imaging device, control method thereof, and program
JP5593652B2 (en) Camera and movie playback program
JP2012156750A (en) System for automatic setting of preference degree
JP5560744B2 (en) Imaging apparatus, moving image imaging method, and program
JP2011223399A (en) Camera
JP2009141882A (en) Imaging apparatus and its image automatic selection method
JP2015192336A (en) Image processing device and digital camera
JP2013183220A (en) Camera and image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140422

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140812