JP2010212966A - Image processing unit and program - Google Patents

Image processing unit and program Download PDF

Info

Publication number
JP2010212966A
JP2010212966A JP2009056503A JP2009056503A JP2010212966A JP 2010212966 A JP2010212966 A JP 2010212966A JP 2009056503 A JP2009056503 A JP 2009056503A JP 2009056503 A JP2009056503 A JP 2009056503A JP 2010212966 A JP2010212966 A JP 2010212966A
Authority
JP
Japan
Prior art keywords
image
frame
focus
evaluation value
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009056503A
Other languages
Japanese (ja)
Inventor
Takeshi Iwamoto
健士 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009056503A priority Critical patent/JP2010212966A/en
Publication of JP2010212966A publication Critical patent/JP2010212966A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To enable a user to easily obtain frame images having the highest degree of focusing in all of frame images for composing moving images. <P>SOLUTION: A focus curve, which indicates a focus evaluation value for each of all frame images for composing the moving image, is displayed along with the frame image in the reproduction of the moving image, thus enabling the user to easily obtain a position (frame number) on the time series of the frame image where an AF evaluation value is maximized on the focus curve, and hence enabling the user to display the frame image where the AF evaluation value is maximized on the focus curve on a liquid crystal display 26a by operating a cross button 27a to display the frame image by frame advance, while checking the transition of the AF evaluation value successively indicated by an arrow on the focus curve. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像処理装置に関し、特に、画像の焦点に関する情報を用いた技術に関する。   The present invention relates to an image processing apparatus, and more particularly to a technique using information related to the focus of an image.

この種の技術としては、例えば、特許文献1に、動画を構成する全フレーム画像において、ユーザにより指定されたフレーム画像に対し時間的に連続する複数のフレーム画像から、合焦度合い(ピントが合っている度合い)が最も高いフレーム画像を特定し、この特定したフレーム画像に対し時間的に前後する他のフレーム画像を表示する技術が提案されている。特許文献1に記載の技術によれば、ユーザは、自身が指定したフレーム画像に連続する複数のフレーム画像のうち、最もピントが合っているフレーム画像を把握できるとともに、より適切な構図を持つ可能性がある他のフレーム画像をも把握することができる。   As this type of technology, for example, in Patent Document 1, in all frame images constituting a moving image, a degree of focus (in focus) is determined from a plurality of frame images that are temporally continuous with respect to frame images specified by the user. A technique has been proposed in which a frame image having the highest degree of image quality is identified and another frame image that is temporally preceded or followed by the identified frame image is displayed. According to the technique described in Patent Document 1, the user can grasp a frame image that is most in focus among a plurality of frame images continuous to a frame image designated by the user, and can have a more appropriate composition. It is possible to grasp other frame images that have characteristics.

また、特許文献2には、撮影された動画を構成する各フレーム画像を表示する際に、各フレーム画像のボケの度合いに応じて、ボケの度合いが大きいフレーム画像には×印を重畳表示させ、ボケの度合いが小さいフレーム画像には△印を重畳表示させる技術が提案されている。特許文献2に記載の技術によれば、ユーザは、ボケの度合いに応じて表示される印を、動画の中からフレーム画像を選択する際の目安として利用できる。   Also, in Patent Document 2, when displaying each frame image constituting a captured moving image, a cross mark is superimposed on a frame image having a large degree of blur according to the degree of blur of each frame image. A technique for superimposing and displaying a Δ mark on a frame image with a low degree of blur has been proposed. According to the technique described in Patent Literature 2, a user can use a mark displayed according to the degree of blur as a guideline when selecting a frame image from a moving image.

特開2008−154047号公報JP 2008-154047 A 特開2003−304492号公報JP 2003-304492 A

ここで、動画を構成する全フレーム画像においては、ユーザが指定したフレーム画像から時間的に大きく離れた他のフレーム画像が、ユーザが指定したフレーム画像やその付近のフレーム画像よりも高い合焦度合いを持つ場合がある。   Here, in all the frame images constituting the moving image, the degree of focus is higher in the other frame images far apart from the frame image specified by the user than in the frame image specified by the user or in the vicinity thereof. May have.

しかしながら、特許文献1に記載の技術では、ユーザにより指定されたフレーム画像に連続する所定範囲(例えば30フレーム分)に含まれる画像フレーム群のみからしか、合焦度合いが最も高いフレーム画像を特定していない。このため、ユーザは、動画を構成する全てのフレーム画像の中において、合焦度合いが最も高いフレーム画像を把握することが困難であるという問題がある。   However, in the technique described in Patent Document 1, a frame image with the highest degree of focus is specified only from a group of image frames included in a predetermined range (for example, 30 frames) continuous to a frame image designated by the user. Not. For this reason, there is a problem that it is difficult for the user to grasp the frame image having the highest degree of focus among all the frame images constituting the moving image.

一方、特許文献2に記載の技術でも、フレーム画像のボケの度合いを3段階(印なし、△印、×印)で表示するだけであるため、特許文献1に記載の技術と同様に、ユーザは、動画を構成する全てのフレーム画像の中において、合焦度合いが最も高いフレーム画像を把握することが困難であるという問題がある。   On the other hand, the technique described in Patent Document 2 only displays the degree of blurring of the frame image in three stages (no mark, Δ mark, × mark). However, there is a problem that it is difficult to grasp a frame image having the highest degree of focus among all the frame images constituting the moving image.

そこで、本発明の目的は、動画を構成する全てのフレーム画像のうち、合焦度合いが最も高いフレーム画像を、ユーザが容易に把握できるようにすることにある。   Therefore, an object of the present invention is to enable a user to easily grasp a frame image having the highest degree of focus among all frame images constituting a moving image.

上記目的を達成するために、本発明は、
動画像を構成する全てのフレーム画像を表示可能な表示手段と、
前記全てのフレーム画像と前記全てのフレーム画像のそれぞれの焦点評価値との対応関係を示すフォーカスカーブを生成するAFカーブ生成手段と、
前記全てのフレーム画像のうち特定のフレーム画像を指定する指定手段と、
前記指定手段により指定されている特定のフレーム画像と、前記フォーカスカーブと、前記指定手段により指定されている特定のフレーム画像に対応する焦点評価値を前記フォーカスカーブにおいて示す指標と、を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする。
In order to achieve the above object, the present invention provides:
Display means capable of displaying all the frame images constituting the moving image;
An AF curve generating means for generating a focus curve indicating a correspondence relationship between all the frame images and the focus evaluation values of all the frame images;
Designation means for designating a specific frame image among all the frame images;
The display unit includes a specific frame image designated by the designation unit, the focus curve, and an index indicating a focus evaluation value corresponding to the specific frame image designated by the designation unit in the focus curve. Display control means to be displayed on,
It is characterized by providing.

本発明によれば、動画を構成する全てのフレーム画像のうち、合焦度合いが最も高いフレーム画像を、ユーザが容易に把握できる。   According to the present invention, the user can easily grasp the frame image having the highest degree of focus among all the frame images constituting the moving image.

本発明の一実施形態に係る画像処理装置の外観を示す図である。1 is a diagram illustrating an appearance of an image processing apparatus according to an embodiment of the present invention. 本発明の一実施形態に係る画像処理装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the image processing apparatus which concerns on one Embodiment of this invention. 本発明の一実施形態に係る動画撮影処理の流れを示す図である。It is a figure which shows the flow of the video recording process concerning one Embodiment of this invention. 本発明の一実施形態に係る画像処理装置が生成するフレーム番号とAF評価値との対応情報を示す図である。It is a figure which shows the correspondence information of the frame number and AF evaluation value which the image processing apparatus which concerns on one Embodiment of this invention produces | generates. フレーム番号とAF評価値との対応情報が記憶される場所を説明するための図である。It is a figure for demonstrating the place where the correspondence information of a frame number and AF evaluation value is stored. 本発明の一実施形態に係る動画再生処理の流れを示す図である。It is a figure which shows the flow of the moving image reproduction process which concerns on one Embodiment of this invention. 本発明の一実施形態に係る画像処理装置が生成するフォーカスカーブの一例を示す図である。It is a figure which shows an example of the focus curve which the image processing apparatus which concerns on one Embodiment of this invention produces | generates. 本発明の一実施形態に係る画像処理装置が生成するフレーム画像にフォーカスカーブが重畳表示される様子を示す図である。It is a figure which shows a mode that a focus curve is superimposed and displayed on the frame image which the image processing apparatus which concerns on one Embodiment of this invention produces | generates. 本発明の一実施形態に係る画像処理装置が生成するフレーム画像にフォーカスカーブが重畳表示される様子を示す図である。It is a figure which shows a mode that a focus curve is superimposed and displayed on the frame image which the image processing apparatus which concerns on one Embodiment of this invention produces | generates.

以下、図面に基づき、本発明の一実施形態に係る画像処理装置100について説明する。画像処理装置100は、デジタルカメラなどにより構成することができる。   Hereinafter, an image processing apparatus 100 according to an embodiment of the present disclosure will be described with reference to the drawings. The image processing apparatus 100 can be configured by a digital camera or the like.

図1は、本実施形態に係る画像処理装置100の外観を示す図である。図1に示されるように、画像処理装置100の背面には、十字ボタン27a、決定ボタン27b、メニューボタン27c、液晶ディスプレイ26aが設けられている。   FIG. 1 is a diagram illustrating an appearance of an image processing apparatus 100 according to the present embodiment. As shown in FIG. 1, a cross button 27a, an enter button 27b, a menu button 27c, and a liquid crystal display 26a are provided on the back of the image processing apparatus 100.

液晶ディスプレイ26aは、動画撮影モードではライブビュー画像を表示する電子ビューファインダとして使用され、動画再生モードでは記録されている動画が表示される。十字ボタン27aは、十字配列されている4つのボタンである左ボタン、下ボタン、右ボタン、上ボタンで構成されている。十字ボタン27aは、液晶ディスプレイ26aに表示させるフレーム画像を指定するためや、メニュー画面などに表示される各種項目を選択するためのカーソルの移動などために、ユーザにより操作される。決定ボタン27bは、ユーザの十字キー27bの操作により選択された各種項目を決定するために、ユーザにより操作される。メニューボタン27cは、メニュー画面を液晶ディスプレイ26aに表示させる際に、ユーザにより操作される。   The liquid crystal display 26a is used as an electronic viewfinder that displays a live view image in the moving image shooting mode, and displays a recorded moving image in the moving image playback mode. The cross button 27a is composed of four buttons arranged in a cross pattern, that is, a left button, a lower button, a right button, and an upper button. The cross button 27a is operated by the user to designate a frame image to be displayed on the liquid crystal display 26a, or to move a cursor for selecting various items displayed on a menu screen or the like. The decision button 27b is operated by the user in order to determine various items selected by the user's operation of the cross key 27b. The menu button 27c is operated by the user when displaying the menu screen on the liquid crystal display 26a.

また、画像処理装置100の上面には、シャッタボタン27dが設けられている。シャッタボタン27dは、撮影準備(AF処理など)を指示するための半押し操作と、撮影を指示するための全押し操作とをユーザから受け付けることが可能な構成である。   A shutter button 27d is provided on the upper surface of the image processing apparatus 100. The shutter button 27d is configured to be able to accept from the user a half-press operation for instructing shooting preparation (AF processing or the like) and a full-press operation for instructing shooting.

図2は、本実施形態に係る画像処理装置100の機能的構成を示すブロック図である。図2を用いて、本実施形態に係る画像処理装置100の構成を説明する。   FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 100 according to the present embodiment. The configuration of the image processing apparatus 100 according to the present embodiment will be described with reference to FIG.

画像処理装置100は、制御部10と、RAM11と、ROM12と、光学レンズ装置13と、光学系制御部14と、光学系駆動部15と、シャッタ装置16と、撮像素子17と、TG18と、撮像素子駆動部19と、前処理部20と、画像入力コントローラ21と、画像メモリ22と、画像処理部23と、記録媒体24と、表示駆動部25と、表示部26と、操作部27と、AF評価部28と、を備える。   The image processing apparatus 100 includes a control unit 10, a RAM 11, a ROM 12, an optical lens device 13, an optical system control unit 14, an optical system driving unit 15, a shutter device 16, an image sensor 17, a TG 18, Image sensor drive unit 19, preprocessing unit 20, image input controller 21, image memory 22, image processing unit 23, recording medium 24, display drive unit 25, display unit 26, and operation unit 27 And an AF evaluation unit 28.

制御部10は、画像処理装置100全体の動作を制御する。制御部10は、撮影制御部10aと、表示制御部10bと、AFカーブ生成部10cと、静止画取得部10dと、を備える。制御部10は、CPU(Central Processing Unit)や、時間を計時する計時回路などにより構成される。制御部10が備える各部は、後述する画像処理を実行する。   The control unit 10 controls the operation of the entire image processing apparatus 100. The control unit 10 includes an imaging control unit 10a, a display control unit 10b, an AF curve generation unit 10c, and a still image acquisition unit 10d. The control unit 10 includes a CPU (Central Processing Unit), a time measuring circuit that measures time, and the like. Each unit included in the control unit 10 executes image processing to be described later.

RAM(Random Access Memory)11は、制御部10が各処理を実行する際にワーキングエリアとして機能する。ROM(Read Only Memory)12は、画像処理装置100が各処理を実行するのに必要なプログラムやデータを記憶する。制御部10は、RAM11をワーキングエリアとして、ROM12に記憶されているプログラムとの協働により各処理を実行する。   A RAM (Random Access Memory) 11 functions as a working area when the control unit 10 executes each process. A ROM (Read Only Memory) 12 stores programs and data necessary for the image processing apparatus 100 to execute each process. The control unit 10 uses the RAM 11 as a working area to execute each process in cooperation with a program stored in the ROM 12.

光学レンズ装置13は、フォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、被写体像を撮像素子17の受光面に結像させるためレンズである。   The optical lens device 13 includes a focus lens, a zoom lens, and the like. The focus lens is a lens for forming a subject image on the light receiving surface of the image sensor 17.

光学系制御部14は、制御部10による制御に従って光学系駆動部15を制御することにより、光学系駆動部15に、光学レンズ装置13のフォーカスレンズを光軸方向に進退させる。これにより、フォーカスレンズの位置が変化して焦点が調節される。光学系駆動部13は、ステッピングモータなどで構成される。光学系制御部14は、光学系駆動部15を制御する制御回路などで構成される。   The optical system control unit 14 controls the optical system driving unit 15 according to the control by the control unit 10 to cause the optical system driving unit 15 to advance and retract the focus lens of the optical lens device 13 in the optical axis direction. Thereby, the position of the focus lens changes to adjust the focus. The optical system driving unit 13 is configured by a stepping motor or the like. The optical system control unit 14 includes a control circuit that controls the optical system driving unit 15.

シャッタ装置16は、撮像素子17の露光時間を調節するシャッタとして機能するとともに、撮像素子17へ入射する光束の光量を調節する絞りとしても機能する。シャッタ装置16は、シャッタ羽根や駆動回路などから構成される。この駆動回路は、制御部10から供給される制御信号に従ってシャッタ装置16のシャッタ羽根を開閉させる。   The shutter device 16 functions as a shutter that adjusts the exposure time of the image sensor 17 and also functions as a diaphragm that adjusts the amount of light flux incident on the image sensor 17. The shutter device 16 includes shutter blades and a drive circuit. This drive circuit opens and closes the shutter blades of the shutter device 16 in accordance with a control signal supplied from the control unit 10.

撮像素子17は、光学レンズ装置13から入射されて受光面に結像した被写体像を光電変換(撮影)する素子である。撮像素子17の受光面には、光電変換素子であるフォトダイオードが行列状に配置されている。これらフォトダイオードが撮像素子17の各画素を構成している。各フォトダイオード上には、ベイヤ方式の配列に従って、R(赤)、G(緑)B(青)の色フィルタが配置されている。撮像素子17は、撮像素子駆動部19による制御に従って、所定時間毎に被写体像を光電変換して画像信号を蓄積し、蓄積した画像信号を順次出力する。撮像素子17は、CCD(Charge Coupled Device)型のイメージセンサなどから構成される。   The imaging element 17 is an element that photoelectrically converts (photographs) a subject image that is incident from the optical lens device 13 and formed on the light receiving surface. On the light receiving surface of the image sensor 17, photodiodes that are photoelectric conversion elements are arranged in a matrix. These photodiodes constitute each pixel of the image sensor 17. On each photodiode, color filters of R (red), G (green), and B (blue) are arranged according to the Bayer arrangement. The image sensor 17 photoelectrically converts the subject image at predetermined time intervals to store image signals according to control by the image sensor drive unit 19 and sequentially outputs the stored image signals. The image sensor 17 is composed of a CCD (Charge Coupled Device) type image sensor or the like.

TG(Timing Generator)18は、制御部10による制御に従って、クロックパルスを撮像素子駆動部19と前処理部20とにそれぞれ供給する。   A TG (Timing Generator) 18 supplies clock pulses to the image sensor driving unit 19 and the preprocessing unit 20 according to control by the control unit 10.

撮像素子駆動部19は、一定時間毎に撮像素子17から画像信号を読み出す駆動回路である。撮像素子駆動部19が撮像素子17から画像信号を読み出すは、TG18から供給されるクロックパルスにより制御される。   The image sensor drive unit 19 is a drive circuit that reads an image signal from the image sensor 17 at regular intervals. Reading of the image signal from the image sensor 17 by the image sensor driving unit 19 is controlled by a clock pulse supplied from the TG 18.

前処理部20は、撮像素子17から供給された画像信号に対し、相関二重サンプリング処理、利得制御処理、A/D(Analog/Digital)変換処理などの各種信号処理を施すことによりディジタル信号を生成して出力する。TG18から供給されるクロックパルスによって、前処理部20による信号処理のタイミングと、撮像素子17から画像信号が読み出されるタイミングとは、同期するように制御される。前処理部20は、A/D変換器などにより構成される。   The pre-processing unit 20 performs various signal processing such as correlated double sampling processing, gain control processing, and A / D (Analog / Digital) conversion processing on the image signal supplied from the image sensor 17, thereby converting the digital signal. Generate and output. The timing of the signal processing by the preprocessing unit 20 and the timing of reading the image signal from the image sensor 17 are controlled so as to be synchronized by the clock pulse supplied from the TG 18. The preprocessing unit 20 is configured by an A / D converter or the like.

画像入力コントローラ21は、制御部10による制御に従って、前処理部20から出力されたディジタル信号を画像メモリ22に記憶させる。   The image input controller 21 stores the digital signal output from the preprocessing unit 20 in the image memory 22 under the control of the control unit 10.

画像メモリ22は、前処理部20により生成されたディジタル信号や、画像処理部23により生成される画像データを一時的に記憶する。画像メモリ22は、DRAM(Dynamic Random Access Memory)などから構成される。   The image memory 22 temporarily stores the digital signal generated by the preprocessing unit 20 and the image data generated by the image processing unit 23. The image memory 22 includes a DRAM (Dynamic Random Access Memory) or the like.

画像処理部23は、画像メモリ22に記憶されたディジタル信号に対し、ホワイトバランス補正処理、γ補正処理、YC変換処理などの各種画像処理を施すことにより、輝度信号と色差信号とが重畳した画像データを生成する。この画像データにより被写体が表現される。画像処理部23は、例えば、DSP(Digital Signal Processor)などから構成される。   The image processing unit 23 performs various image processing such as white balance correction processing, γ correction processing, and YC conversion processing on the digital signal stored in the image memory 22, thereby superimposing the luminance signal and the color difference signal. Generate data. A subject is expressed by this image data. The image processing unit 23 is configured by, for example, a DSP (Digital Signal Processor).

記録媒体24は、画像処理部23により生成された画像データにより構成される動画データなどを記録する。記録媒体24は、画像処理装置100に着脱可能な半導体メモリカードなどから構成される。   The recording medium 24 records moving image data composed of image data generated by the image processing unit 23. The recording medium 24 includes a semiconductor memory card that can be attached to and detached from the image processing apparatus 100.

表示駆動部25は、制御部10による制御に従って、画像メモリ22や記録媒体24に記憶されている画像データをアナログ信号に変換して出力する。表示制御部25は、VRAM(Video Random Access Memory)などから構成される。   The display drive unit 25 converts the image data stored in the image memory 22 or the recording medium 24 into an analog signal and outputs it under the control of the control unit 10. The display control unit 25 is configured by a VRAM (Video Random Access Memory) or the like.

表示部26は、表示駆動部25から供給されたアナログ信号により表現される画像などを表示する。表示部26は、画像処理装置100の筐体の背面に設けられた液晶ディスプレイ26aなどから構成される。   The display unit 26 displays an image represented by an analog signal supplied from the display driving unit 25. The display unit 26 includes a liquid crystal display 26 a provided on the back surface of the housing of the image processing apparatus 100.

操作部27は、ユーザから各種ボタンの操作を受け付ける。操作部23は、電源ボタン、十字ボタン27a、決定ボタン27b、メニューボタン27c、シャッタボタン27dなどを備える。操作部27は、ユーザから受け付けた各種ボタンの操作に対応する信号を制御部10に供給する。制御部10は、操作部27からこれらの信号を受信すると、受信した信号に基づいた処理を実行する。   The operation unit 27 receives various button operations from the user. The operation unit 23 includes a power button, a cross button 27a, an enter button 27b, a menu button 27c, a shutter button 27d, and the like. The operation unit 27 supplies signals corresponding to the operation of various buttons received from the user to the control unit 10. When these signals are received from the operation unit 27, the control unit 10 executes processing based on the received signals.

AF評価部28は、画像メモリ22に記憶されている画像データから、当該画像データにより表現される画像内に規定されたフォーカスエリアに対応する輝度信号のみを抽出する。そして、AF評価部28は、その内部に設けられたハイパスフィルタ(図示せず)により抽出された輝度信号から所定の高周波数成分を抽出し、抽出した高周波数成分を出力する。そして、AF評価部28は、出力された高周波数成分の絶対値を積算し、この積算した値をAF評価値として算出する。   The AF evaluation unit 28 extracts from the image data stored in the image memory 22 only the luminance signal corresponding to the focus area defined in the image represented by the image data. Then, the AF evaluation unit 28 extracts a predetermined high frequency component from the luminance signal extracted by a high pass filter (not shown) provided therein, and outputs the extracted high frequency component. Then, the AF evaluation unit 28 integrates the absolute values of the output high frequency components, and calculates the integrated value as an AF evaluation value.

AF評価部28は、以上のようにして画像データからAF評価値を算出して、算出したAF評価値を制御部10に供給する。制御部10は、AF処理時に、光学系制御部14を介して光学系駆動部15を制御することにより、光学系駆動部15にフォーカスレンズを光軸方向に進退させる。そして、制御部10は、AF評価部28に、フォーカスレンズが各レンズ位置にあるときに得られた画像データからAF評価値を算出させる。そして、制御部10は、AF評価部28から供給されるAF評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。これにより、画像内に規定されたフォーカスエリアに含まれる被写体像に焦点が合うこととなる。   The AF evaluation unit 28 calculates the AF evaluation value from the image data as described above, and supplies the calculated AF evaluation value to the control unit 10. The control unit 10 controls the optical system driving unit 15 via the optical system control unit 14 during the AF process, thereby causing the optical system driving unit 15 to advance and retract the focus lens in the optical axis direction. Then, the control unit 10 causes the AF evaluation unit 28 to calculate an AF evaluation value from image data obtained when the focus lens is at each lens position. Then, the control unit 10 stops the focus lens at the lens position where the AF evaluation value supplied from the AF evaluation unit 28 is the highest. As a result, the subject image included in the focus area defined in the image is focused.

図3は、本実施形態に係る画像処理装置100が実行する画像処理のうちの動画撮影処理の流れを示すフローチャートである。図3を用いて、画像処理装置100が実行する動画撮影モードにおける処理を説明する。この動画撮影処理は制御部10が行うが、以下の説明では、制御部10が備える撮影制御部10aが動画撮影処理を行うものとする。   FIG. 3 is a flowchart showing the flow of the moving image shooting process among the image processes executed by the image processing apparatus 100 according to the present embodiment. With reference to FIG. 3, processing in the moving image shooting mode executed by the image processing apparatus 100 will be described. Although the moving image shooting process is performed by the control unit 10, in the following description, the shooting control unit 10a included in the control unit 10 performs the moving image shooting process.

ユーザの操作部27に対する所定の操作により動画撮影モードが設定されると、制御部10は、ROM12に記憶されているプログラムを読み出して、このプログラムとの協働により動画撮影処理を開始する。   When the moving image shooting mode is set by a predetermined operation on the operation unit 27 by the user, the control unit 10 reads a program stored in the ROM 12 and starts moving image shooting processing in cooperation with this program.

まずステップSA1において、撮影制御部10aは、ライブビュー表示を開始する。具体的には、撮影制御部10aは、TG18を介して撮像素子駆動部19を制御することにより、撮像素子17に、所定の撮影フレームレート(例えば、30fps)で被写体の動画の撮影処理を開始させる。そして、撮影制御部10aは、画像処理部23により順次生成されるフレーム画像を表示駆動部25に順次供給することにより、表示駆動部25に、フレーム画像をライブビュー画像として表示部26に表示させる。   First, in step SA1, the imaging control unit 10a starts live view display. Specifically, the shooting control unit 10a controls the image sensor driving unit 19 via the TG 18 to start shooting a moving image of the subject at a predetermined shooting frame rate (for example, 30 fps). Let Then, the imaging control unit 10a sequentially supplies the frame images sequentially generated by the image processing unit 23 to the display driving unit 25, thereby causing the display driving unit 25 to display the frame image on the display unit 26 as a live view image. .

次にステップSA2において、撮影制御部10aは、ユーザによりシャッタボタン27dが半押し操作されているか否かを判断する。具体的には、撮影制御部10aは、操作部27からのシャッタボタン27dの半押し操作に応じた信号を監視することにより、ユーザによりシャッタボタン27dが半押し操作されているか否かを判断する。撮影制御部10aは、シャッタボタン27dが半押し操作されていないと判断した場合(ステップSA2;NO)、シャッタボタン27dの半押し操作に応じた信号を検知するまでライブビュー表示を継続させる。一方、撮影制御部10aは、シャッタボタン27dが半押し操作されていると判断した場合(ステップSA2;YES)、ステップSA3に処理を進める。   Next, in step SA2, the imaging control unit 10a determines whether or not the user has pressed the shutter button 27d halfway. Specifically, the imaging control unit 10a determines whether the shutter button 27d is half-pressed by the user by monitoring a signal corresponding to the half-press operation of the shutter button 27d from the operation unit 27. . When it is determined that the shutter button 27d is not half-pressed (step SA2; NO), the imaging control unit 10a continues the live view display until a signal corresponding to the half-press operation of the shutter button 27d is detected. On the other hand, if the photographing control unit 10a determines that the shutter button 27d is half-pressed (step SA2; YES), the process proceeds to step SA3.

次にステップSA3において、撮影制御部10aは、AF処理を行う。具体的には、撮影制御部10aは、AF評価部28に、ライブビュー画像からAF評価値を算出させる。そして、制御部10は、光学系制御部14を介して光学系駆動部15を制御することによりフォーカスレンズを光軸方向に進退させて、AF評価部28から供給されるAF評価値が最も高くなるレンズ位置でフォーカスレンズを停止させる。これにより、画像内に規定されたフォーカスエリアに含まれる被写体像に焦点が合うこととなる。   Next, in step SA3, the imaging control unit 10a performs AF processing. Specifically, the imaging control unit 10a causes the AF evaluation unit 28 to calculate an AF evaluation value from the live view image. Then, the control unit 10 controls the optical system drive unit 15 via the optical system control unit 14 to advance and retract the focus lens in the optical axis direction, and the AF evaluation value supplied from the AF evaluation unit 28 is the highest. The focus lens is stopped at the lens position. As a result, the subject image included in the focus area defined in the image is focused.

次にステップSA4において、撮影制御部10aは、ユーザによりシャッタボタン27dが全押し操作されているか否かを判断する。具体的には、撮影制御部10aは、操作部27からのシャッタボタン27dの全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタン27dが全押し操作されているか否かを判断する。撮影制御部10aは、シャッタボタン27dが全押し操作されていないと判断した場合(ステップSA4;NO)、ステップSA2に処理を戻す。一方、撮影制御部10aは、シャッタボタン27dが全押し操作されていると判断した場合(ステップSA4;YES)、ステップSA5に処理を進める。   Next, in step SA4, the imaging control unit 10a determines whether or not the shutter button 27d is fully pressed by the user. Specifically, the imaging control unit 10a determines whether or not the shutter button 27d is fully pressed by the user by monitoring a signal corresponding to the full-pressing operation of the shutter button 27d from the operation unit 27. . If the photographing control unit 10a determines that the shutter button 27d has not been fully pressed (step SA4; NO), the process returns to step SA2. On the other hand, if the photographing control unit 10a determines that the shutter button 27d is fully pressed (step SA4; YES), the process proceeds to step SA5.

次にステップSA5において、撮影制御部10aは、フレーム番号としてn=0を設定し、設定したフレーム番号(n)をRAM11に記憶させる。   Next, in step SA5, the imaging control unit 10a sets n = 0 as the frame number, and stores the set frame number (n) in the RAM 11.

次にステップSA6において、撮影制御部10aは、前回のAF処理が実行された時点から3秒が経過した否かを判断する。この3秒の計測は、制御部10内に設けられた計時回路によりなされる。撮影制御部10aは、3秒が経過していないと判断した場合(ステップSA6;NO)、ステップSA8に処理を進める。一方、撮影制御部10aは、3秒が経過していると判断した場合(ステップSA6;YES)、ステップSA7に処理を進める。   Next, in step SA6, the imaging control unit 10a determines whether 3 seconds have elapsed since the previous AF process was executed. The measurement for 3 seconds is performed by a timing circuit provided in the control unit 10. If the imaging control unit 10a determines that 3 seconds have not elapsed (step SA6; NO), the process proceeds to step SA8. On the other hand, if the imaging control unit 10a determines that 3 seconds have elapsed (step SA6; YES), the process proceeds to step SA7.

ステップSA7において、撮影制御部10aは、AF処理を行う。ステップSA7におけるAF処理の内容は、ステップSA3におけるAF処理と同じ内容であるので、その説明を省略する。   In step SA7, the imaging control unit 10a performs AF processing. The contents of the AF process in step SA7 are the same as the AF process in step SA3, and thus the description thereof is omitted.

ここで、フレーム周期が経過するごとに、第1、第2、第3、・・・、第n、・・・第(m−1)及び第mフレームがこの順番で訪れるものとする。第1、第2、第3、・・・、第n、・・・第(m−1)及び第mフレームの撮影にて得られた画像データにより表現される画像を、それぞれ、第1、第2、第3、・・・、第n、・・・第(m−1)及び第mフレーム画像と呼ぶこととする。時系列で並ぶ複数のフレーム画像は、画像処理装置100により撮影された動画を構成する。   Here, every time the frame period elapses, the first, second, third,..., Nth,..., (M−1) th and mth frames are visited in this order. The first, second, third,..., Nth,..., (M−1) th and mth frames are represented by image data obtained by shooting the first, , N,..., (M−1) th and mth frame images. A plurality of frame images arranged in time series constitute a moving image shot by the image processing apparatus 100.

次にステップSA8において、撮影制御部10aは、第nフレーム画像を撮影する。具体的には、TG18が、撮影制御部10aによる制御に従ってクロックパルスを生成することにより、撮像素子駆動部19に、撮像素子17から1フレーム分の画像信号を出力させる。前処理部20がこの画像信号からディジタル信号を生成して、画像入力コントローラ21がこのディジタル信号を画像メモリ22に記憶させる。そして、画像処理部24は、このディジタル信号から1フレーム分の画像データ(第nフレーム画像を表現する画像データ)を生成する。   Next, in step SA8, the imaging control unit 10a captures the nth frame image. Specifically, the TG 18 generates a clock pulse in accordance with the control by the imaging control unit 10 a, thereby causing the image sensor driving unit 19 to output an image signal for one frame from the image sensor 17. The preprocessing unit 20 generates a digital signal from the image signal, and the image input controller 21 stores the digital signal in the image memory 22. The image processing unit 24 then generates image data for one frame (image data representing the nth frame image) from the digital signal.

次にステップSA9において、撮影制御部10aは、フレーム番号nをインクリメント(nを1だけ増加)させる。   Next, in step SA9, the imaging control unit 10a increments the frame number n (n is increased by 1).

ステップSA10において、撮影制御部10aは、現在のフレーム番号nに対応するAF評価値を算出する。具体的には、撮影制御部10aは、AF評価部28に、ステップSA8の処理により撮影された第nフレーム画像からAF評価値を算出させる。AF評価部28は、算出されたAF評価値を撮影制御部10aに供給する。   In step SA10, the imaging control unit 10a calculates an AF evaluation value corresponding to the current frame number n. Specifically, the shooting control unit 10a causes the AF evaluation unit 28 to calculate an AF evaluation value from the nth frame image shot by the process of step SA8. The AF evaluation unit 28 supplies the calculated AF evaluation value to the imaging control unit 10a.

ステップSA11において、撮影制御部10aは、現在のフレーム番号nに対応するAF評価値を記憶させる。具体的には、撮影制御部10aは、ステップSA8の処理においてAF評価部28から供給されたAF評価値をRAM11に一時的に記憶させる。このとき、撮影制御部10aは、AF評価値とフレーム番号nとを対応させてRAM11に記憶させる。これにより、1フレーム分の画像データが生成される度に、RAM11上に、現時点におけるフレーム番号nとAF評価値との対応関係を示す対応情報が生成されていく。   In step SA11, the imaging control unit 10a stores an AF evaluation value corresponding to the current frame number n. Specifically, the imaging control unit 10a temporarily stores the AF evaluation value supplied from the AF evaluation unit 28 in the process of step SA8 in the RAM 11. At this time, the imaging control unit 10a stores the AF evaluation value and the frame number n in the RAM 11 in association with each other. As a result, each time image data for one frame is generated, correspondence information indicating the correspondence between the current frame number n and the AF evaluation value is generated on the RAM 11.

図4は、RAM11上に記憶されるフレーム番号とAF評価値との対応情報の一例を示す図である。図4に示される例では、例えば、第1フレームに対応するAF評価値が「1919」であることが示されている。これは、第1フレーム画像から算出されたAF評価値が「1919」であることが示している。同様に、第2フレーム画像から算出されたAF評価値が「1976」、第3フレーム画像から算出されたAF評価値が「2011」、第(m−2)フレーム画像から算出されたAF評価値が「2009」、第(m−1)フレーム画像から算出されたAF評価値が「1916」、第mフレーム画像から算出されたAF評価値が「1908」、であることがそれぞれ示されている。   FIG. 4 is a diagram illustrating an example of correspondence information between frame numbers and AF evaluation values stored on the RAM 11. In the example illustrated in FIG. 4, for example, the AF evaluation value corresponding to the first frame is “1919”. This indicates that the AF evaluation value calculated from the first frame image is “1919”. Similarly, the AF evaluation value calculated from the second frame image is “1976”, the AF evaluation value calculated from the third frame image is “2011”, and the AF evaluation value calculated from the (m−2) th frame image. Is “2009”, the AF evaluation value calculated from the (m−1) -th frame image is “1916”, and the AF evaluation value calculated from the m-th frame image is “1908”. .

AF評価値は、その値が大きいほど合焦度合い(ピントが合っている度合い)が高いことを示し、その値が小さいほど合焦度合いが低いことを示す。つまり、AF評価値の値が比較的高いフレーム画像には被写体が明瞭に写っているが、AF評価値の値が比較的低いフレーム画像には被写体がボケて写っている。   The AF evaluation value indicates that the greater the value, the higher the degree of focus (the degree of focus), and the smaller the value, the lower the degree of focus. That is, the subject is clearly shown in the frame image having a relatively high AF evaluation value, but the subject is blurred in the frame image having a relatively low AF evaluation value.

図3に戻り、次にステップSA12において、撮影制御部10aは、シャッタボタン27dが全押し操作されたと判断してから30秒が経過したか否かを判断する。この30秒の計測は、制御部10内に設けられた計時回路によりなされる。撮影制御部10aは、30秒が経過していないと判断した場合(ステップSA12;NO)、ステップSA5に処理を戻す。一方、撮影制御部10aは、30秒が経過していると判断した場合(ステップSA12;YES)、ステップSA13に処理を進める。   Returning to FIG. 3, in step SA12, the imaging control unit 10a determines whether 30 seconds have elapsed since it was determined that the shutter button 27d was fully pressed. The measurement for 30 seconds is performed by a time measuring circuit provided in the control unit 10. If the photographing control unit 10a determines that 30 seconds have not elapsed (step SA12; NO), the process returns to step SA5. On the other hand, when it is determined that 30 seconds have elapsed (step SA12; YES), the imaging control unit 10a advances the process to step SA13.

次にステップSA13において、撮影制御部10aは、動画ファイルとAF評価値とを対応させて記録する。具体的には、撮影制御部10aは、画像メモリ22に記憶されている各画像データからなる動画データを生成する。また、撮影制御部10aは、ヘッダデータを生成する。撮影制御部10aは、圧縮された動画データにヘッダデータを付帯させたデータを、動画ファイルとして記録媒体24に記録させる。このとき、撮影制御部10aは、RAM11に記憶されているフレーム番号とAF評価値との対応情報を、動画ファイルのヘッダデータに記録させる。   In step SA13, the imaging control unit 10a records the moving image file and the AF evaluation value in association with each other. Specifically, the imaging control unit 10 a generates moving image data composed of each image data stored in the image memory 22. In addition, the imaging control unit 10a generates header data. The imaging control unit 10a records data obtained by adding header data to the compressed moving image data on the recording medium 24 as a moving image file. At this time, the imaging control unit 10a records the correspondence information between the frame number and the AF evaluation value stored in the RAM 11 in the header data of the moving image file.

図5は、フレーム番号とAF評価値との対応情報が記憶される場所を説明するための図であって、本実施形態において生成される動画ファイル401の概略的なデータ構造を示す図である。動画ファイル401は、Exif(Exchangeable Image File Format)形式に準拠したデータ構造を有している。動画ファイル401は、主に、動画データ402と、ヘッダデータ403とから構成される。ヘッダデータ403は、主に、画像関連情報411と、サムネイル画像データ412と、撮影情報413とから構成される。撮影情報413は、動画データの画素数などを示す撮影条件情報421と、撮影日時情報422と、メーカ独自の情報が記述されるメーカノート部423とから構成される。本実施形態では、このメーカノート部423に、フレーム番号とAF評価値との対応情報が記録される。   FIG. 5 is a diagram for explaining a location where the correspondence information between the frame number and the AF evaluation value is stored, and is a diagram illustrating a schematic data structure of the moving image file 401 generated in the present embodiment. . The moving image file 401 has a data structure conforming to the Exif (Exchangeable Image File Format) format. The moving image file 401 mainly includes moving image data 402 and header data 403. The header data 403 mainly includes image-related information 411, thumbnail image data 412, and shooting information 413. The shooting information 413 includes shooting condition information 421 indicating the number of pixels of moving image data, shooting date / time information 422, and a manufacturer note section 423 in which information unique to the manufacturer is described. In the present embodiment, correspondence information between the frame number and the AF evaluation value is recorded in the maker note section 423.

撮影制御部10aは、ステップSA13の処理の後、動画撮影処理を終了させる。   The shooting control unit 10a ends the moving image shooting process after the process of step SA13.

図6は、本実施形態に係る画像処理装置100が実行する画像処理のうちの動画再生処理の流れを示すフローチャートである。図6を用いて、画像処理装置100が実行する動画再生処理を説明する。この動画再生処理は制御部10が行うが、以下の説明では、制御部10が備える、表示制御部10bと、AFカーブ生成部10cと、静止画取得部10dと、が動画再生処理を行うものとする。   FIG. 6 is a flowchart showing the flow of the moving image reproduction process among the image processes executed by the image processing apparatus 100 according to the present embodiment. The moving image reproduction process executed by the image processing apparatus 100 will be described with reference to FIG. This moving image reproduction process is performed by the control unit 10, but in the following description, the display control unit 10b, the AF curve generation unit 10c, and the still image acquisition unit 10d included in the control unit 10 perform the moving image reproduction process. And

ユーザの操作部27に対する所定の操作により、動画再生モードが設定されて、さらに再生される動画ファイルが選択されると、制御部10は、ROM12に記憶されているプログラムを読み出して、このプログラムとの協働により動画再生処理を開始する。   When the moving image playback mode is set and a moving image file to be played is selected by a predetermined operation on the operation unit 27 by the user, the control unit 10 reads out the program stored in the ROM 12 and The video playback process is started in cooperation with

まずステップSB1において、表示制御部10bは、第1フレーム画像を表示する。具体的には、制御部10は、ユーザの操作により選択された動画ファイルの動画データを構成する第1フレーム画像を記録媒体24から読み出す。そして、表示制御部10bは、読み出された第1フレーム画像を表示部26の液晶ディスプレイ26aに表示させる。   First, in step SB1, the display control unit 10b displays the first frame image. Specifically, the control unit 10 reads out the first frame image constituting the moving image data of the moving image file selected by the user operation from the recording medium 24. Then, the display control unit 10b displays the read first frame image on the liquid crystal display 26a of the display unit 26.

次にステップSB2において、AFカーブ生成部10cは、フォーカスカーブを生成する。具体的には、AFカーブ生成部10cは、再生対象となっている動画ファイルのヘッダデータに記録されている、フレーム番号とAF評価値との対応情報(例えば、図4に示される対応情報)を読み出してRAM11に記憶させる。そして、AFカーブ生成部10cは、この対応情報に従って、フォーカスカーブを生成する。このフォーカスカーブは、フレーム番号とAF評価値との対応関係を示すものである。   Next, in step SB2, the AF curve generation unit 10c generates a focus curve. Specifically, the AF curve generation unit 10c associates information about the frame number and the AF evaluation value recorded in the header data of the moving image file to be reproduced (for example, correspondence information shown in FIG. 4). Is stored in the RAM 11. Then, the AF curve generation unit 10c generates a focus curve according to the correspondence information. This focus curve indicates the correspondence between the frame number and the AF evaluation value.

図7に、AFカーブ生成部10cがRAM11上に生成したフォーカスカーブの一例が示されている。図中、横軸はフレーム番号を示し、縦軸はAF評価値を示す。符号51がフォーカスカーブを示す。また、図中の各黒い点は、各フレーム番号に対応するAF評価値を示す。フォーカスカーブの生成に際して、AFカーブ生成部10cは、まず各フレーム番号に対応するAF評価値を示す各点(図中の各黒い点)を、RAM11上に定義した座標平面上にプロットする。そして、このAF評価値を示す各点を直線で結ぶことによりフォーカスカーブを生成する。   FIG. 7 shows an example of a focus curve generated on the RAM 11 by the AF curve generation unit 10c. In the figure, the horizontal axis indicates the frame number, and the vertical axis indicates the AF evaluation value. Reference numeral 51 denotes a focus curve. Each black dot in the figure indicates an AF evaluation value corresponding to each frame number. When generating the focus curve, the AF curve generation unit 10 c first plots each point (each black point in the figure) indicating the AF evaluation value corresponding to each frame number on a coordinate plane defined on the RAM 11. Then, a focus curve is generated by connecting each point indicating the AF evaluation value with a straight line.

次にステップSB3において、表示制御部10bは、フォーカスカーブを表示する。具体的には、ステップSB2の処理により生成されたフォーカスカーブを、液晶ディスプレイ26aに表示されている第1フレーム画像に重畳させて表示させる。   Next, in step SB3, the display control unit 10b displays a focus curve. Specifically, the focus curve generated by the process of step SB2 is displayed superimposed on the first frame image displayed on the liquid crystal display 26a.

図8に、第1フレーム画像にフォーカスカーブが重畳表示されている液晶ディスプレイ26aの様子が示されている。図中、符号P1は第1フレーム画像を示す。符号61は、第1フレーム画像に重畳表示されるフォーカスカーブを示す。矢印62は、液晶ディスプレイ26aに現在表示されているフレーム画像から算出されたAF評価値を指し示す指標である。   FIG. 8 shows a state of the liquid crystal display 26a in which the focus curve is superimposed on the first frame image. In the figure, reference symbol P1 indicates a first frame image. Reference numeral 61 denotes a focus curve that is superimposed on the first frame image. An arrow 62 is an index indicating the AF evaluation value calculated from the frame image currently displayed on the liquid crystal display 26a.

ユーザが十字ボタン27aの右ボタンまたは左ボタンを押下げ操作すると、操作部27はこの操作を受け付け、受け付けた操作に応じた指示を示す信号を表示制御部10bに供給する。   When the user depresses the right button or the left button of the cross button 27a, the operation unit 27 receives this operation and supplies a signal indicating an instruction corresponding to the received operation to the display control unit 10b.

表示制御部10bは、操作部27から供給された信号が示す指示に応じて、記録媒体24に記録されている動画データを構成する各フレーム画像をコマ送り表示する。ユーザが十字ボタン27aの右ボタンを押下げ操作し続ける限り、表示制御部10bは、各フレーム画像を、各フレーム画像が撮影された順番でコマ送り表示させ続ける。一方、ユーザが十字ボタン27aの左ボタンを押下げ操作し続ける限り、表示制御部10bは、各フレーム画像を、各フレーム画像が撮影された順番と逆の順番でコマ送り表示させ続ける。ユーザが十字ボタン27aの操作を解除している状態(ユーザが十字ボタン27aを操作していない状態)では、表示制御部10bは、フレーム画像のコマ送り処理を停止させて、ユーザが十字ボタン27aを操作を解除する直前に液晶ディスプレイ26aに表示されていたフレーム画像を表示させ続ける。なお、本実施形態においては、フレーム画像のコマ送り処理の再生速度(表示フレームレート)は、動画の撮影フレームレートの3倍であり、早送りの再生速度である。   The display control unit 10b frame-displays each frame image constituting the moving image data recorded on the recording medium 24 in accordance with an instruction indicated by the signal supplied from the operation unit 27. As long as the user keeps pressing the right button of the cross button 27a, the display control unit 10b continues to display the frame images in the order in which the frame images are captured. On the other hand, as long as the user continues to push down the left button of the cross button 27a, the display control unit 10b continues to display the frame images in the frame reverse order in which the frame images were taken. In a state in which the user has released the operation of the cross button 27a (a state in which the user has not operated the cross button 27a), the display control unit 10b stops the frame image frame advance processing and the user presses the cross button 27a. The frame image displayed on the liquid crystal display 26a immediately before canceling the operation is continuously displayed. In this embodiment, the frame image frame advance processing playback speed (display frame rate) is three times the moving image shooting frame rate, which is a fast-forward playback speed.

このように、本実施形態においては、操作部27(十字ボタン27a)が、液晶ディスプレイ26aに表示させる特定のフレーム画像を指定する指定手段として機能する。   Thus, in the present embodiment, the operation unit 27 (cross button 27a) functions as a designation unit that designates a specific frame image to be displayed on the liquid crystal display 26a.

また、表示制御部10bは、操作部27から供給された信号が示す指示に応じて、矢印62が液晶ディスプレイ26aに現在表示されているフレーム画像(つまり、操作部27に操作により指定されたフレーム画像)のフレーム番号に対応するAF評価値を指し示すように、矢印62をフォーカスカーブ61上で左右方向に移動させる。ユーザが十字ボタン27aの右ボタンを押下げ操作し続ける限り、表示制御部10bは、矢印62をフォーカスカーブ61上で右方向に移動させ続ける。一方、ユーザが十字ボタン27aの左ボタンを押下げ操作し続ける限り、表示制御部10bは、矢印62をフォーカスカーブ61上で左方向に移動させ続ける。   In addition, the display control unit 10b determines that the arrow 62 is the frame image currently displayed on the liquid crystal display 26a (that is, the frame designated by the operation on the operation unit 27) according to the instruction indicated by the signal supplied from the operation unit 27. The arrow 62 is moved in the horizontal direction on the focus curve 61 so as to indicate the AF evaluation value corresponding to the frame number of (image). As long as the user continues to push down the right button of the cross button 27a, the display control unit 10b continues to move the arrow 62 to the right on the focus curve 61. On the other hand, as long as the user continues to push down the left button of the cross button 27a, the display control unit 10b continues to move the arrow 62 in the left direction on the focus curve 61.

次にステップSB4において、表示制御部10bは、ユーザの操作に基づき、記録媒体24に記録されている動画データを構成するフレーム画像を表示する。つまり、表示制御部10bは、ユーザによる上述の十字ボタン27aの操作に従って、記録媒体24に記録されている動画ファイルに含まれる動画データを構成するフレーム画像を、コマ送り表示させる。   Next, in step SB4, the display control unit 10b displays frame images constituting the moving image data recorded on the recording medium 24 based on the user's operation. That is, the display control unit 10b displays the frame images constituting the moving image data included in the moving image file recorded on the recording medium 24 in a frame-by-frame manner according to the operation of the cross button 27a by the user.

次にステップSB5において、表示制御部10bは、フォーカスカーブ上の矢印を移動させる。つまり、表示制御部10bは、ユーザによる上述の十字ボタン27aの操作に従って、フォーカスカーブ上で、液晶ディスプレイ26aに現在表示されているフレーム画像(操作部27に操作により指定されたフレーム画像)のフレーム番号に対応するAF評価値を示す箇所まで、矢印を移動させる。このとき、表示制御部10bは、矢印の下端をフォーカスカーブ61に沿って移動させる。   Next, in step SB5, the display control unit 10b moves the arrow on the focus curve. That is, the display control unit 10b displays the frame image (the frame image specified by the operation on the operation unit 27) currently displayed on the liquid crystal display 26a on the focus curve in accordance with the operation of the cross button 27a by the user. The arrow is moved to a position indicating the AF evaluation value corresponding to the number. At this time, the display control unit 10 b moves the lower end of the arrow along the focus curve 61.

図9に、フォーカスカーブにおけるAF評価値が最大となるフレーム画像P2が、液晶ディスプレイ26aに表示されている様子が示されている。図9に示される被写体やフォーカスカーブ61は図8に示されるものと同じである。ユーザは、フレーム画像P2が液晶ディスプレイ26aに表示されているときに、十字ボタン27aの操作を解除してフレーム画像のコマ送り処理を停止させることにより、動画を構成する全てのフレーム画像の中において合焦度合いが最も高いフレーム画像であるフレーム画像P2をじっくりと観賞することができる。   FIG. 9 shows a state where the frame image P2 having the maximum AF evaluation value in the focus curve is displayed on the liquid crystal display 26a. The subject and focus curve 61 shown in FIG. 9 are the same as those shown in FIG. When the frame image P2 is being displayed on the liquid crystal display 26a, the user cancels the operation of the cross button 27a and stops the frame image frame advance processing, so that the frame image P2 is displayed in all the frame images constituting the moving image. The frame image P2, which is the frame image with the highest degree of focus, can be watched carefully.

次にステップSB6において、静止画取得部10dは、ユーザによりシャッタボタン27dが全押し操作されているか否かを判断する。具体的には、静止画取得部10dは、操作部27からのシャッタボタン27dの全押し操作に応じた信号を監視することにより、ユーザによりシャッタボタン27dが全押し操作されているか否かを判断する。静止画取得部10dは、シャッタボタン27dが全押し操作されていないと判断した場合(ステップSB6;NO)、ステップSB8に処理を進める。一方、静止画取得部10dは、シャッタボタン27dが全押し操作されていると判断した場合(ステップSB6;YES)、ステップSB7に処理を進める。   Next, in step SB6, the still image acquisition unit 10d determines whether or not the shutter button 27d is fully pressed by the user. Specifically, the still image acquisition unit 10d determines whether or not the shutter button 27d is fully pressed by the user by monitoring a signal corresponding to the full-pressing operation of the shutter button 27d from the operation unit 27. To do. If the still image acquisition unit 10d determines that the shutter button 27d has not been fully pressed (step SB6; NO), the process proceeds to step SB8. On the other hand, if the still image acquisition unit 10d determines that the shutter button 27d is fully pressed (step SB6; YES), the process proceeds to step SB7.

次にステップSB7において、静止画取得部10dは、静止画データを記録する。具体的には、静止画取得部10dは、シャッタボタン27dの全押し操作に応じた信号を受信した時点で液晶ディスプレイ26aに表示されていたフレーム画像を表現する画像データを、動画データから抽出する。そして、静止画取得部10dは、抽出したフレーム画像を表現する画像データを、静止画データとして、既に記録されている動画ファイルとは独立させて記録媒体24に記録する。   Next, in step SB7, the still image acquisition unit 10d records still image data. Specifically, the still image acquisition unit 10d extracts, from the moving image data, image data representing the frame image displayed on the liquid crystal display 26a at the time of receiving a signal corresponding to the full pressing operation of the shutter button 27d. . Then, the still image acquisition unit 10d records the image data representing the extracted frame image on the recording medium 24 as still image data independently of the already recorded moving image file.

次にステップSB8において、表示制御部10bは、動画再生処理を終了させるか否かを判断する。具体的には、表示制御部10bは、操作部27からの動画再生処理を終了させる操作に応じた信号を受信したか否かや、動画の再生時間が満了したか否かを判断ことにより、動画再生処理を終了させるか否かを判断する。表示制御部10bは、動画再生処理を終了させないと判断した場合(ステップSB8;NO)、ステップSB4に処理を戻す。一方、表示制御部10bは、動画再生処理を終了させると判断した場合(ステップSB8;YES)、動画再生処理を終了させる。   Next, in step SB8, the display control unit 10b determines whether or not to end the moving image reproduction process. Specifically, the display control unit 10b determines whether or not a signal corresponding to the operation for ending the moving image reproduction process from the operation unit 27 is received, and whether or not the reproduction time of the moving image has expired. It is determined whether or not to end the video playback process. If the display control unit 10b determines not to end the moving image playback process (step SB8; NO), the process returns to step SB4. On the other hand, when the display control unit 10b determines to end the moving image reproduction process (step SB8; YES), the display control unit 10b ends the moving image reproduction process.

以上説明したように、本実施形態に係る画像処理装置100は、動画の再生時に、動画を構成する全てのフレーム画像ごとのAF評価値を示すフォーカスカーブを、フレーム画像とともに表示する。これにより、ユーザは、フォーカスカーブ上でAF評価値が最大となるフレーム画像の時系列上での位置(フレーム番号)を容易に把握することができる。   As described above, the image processing apparatus 100 according to the present embodiment displays the focus curve indicating the AF evaluation values for all the frame images constituting the moving image together with the frame image at the time of reproducing the moving image. As a result, the user can easily grasp the position (frame number) in the time series of the frame image having the maximum AF evaluation value on the focus curve.

このため、ユーザは、十字ボタン27aを操作して、フォーカスカーブ上で矢印が順次指し示すAF評価値の遷移を確認しながらフレーム画像をコマ送り表示させて、AF評価値が最大となるフレーム画像を液晶ディスプレイ26aに表示させた状態でコマ送り処理を停止させることができる。つまり、ユーザは、フォーカスカーブが最大となる箇所を見れば、後はその箇所に矢印が移動するようにコマ送り処理の操作を行うだけで、動画の各フレーム画像の合焦度合い(明瞭さ)を1枚ずつ確認するという面倒な作業をすることなく、合焦度合いが最も高いフレーム画像を観賞ことができる。すなわち、本実施形態に係る画像処理装置100によれば、ユーザは、動画を構成する全てのフレーム画像の中で合焦度合いが最も高いフレーム画像を容易に把握することができる。   For this reason, the user operates the cross button 27a to display the frame image by frame-by-frame while confirming the transition of the AF evaluation value sequentially indicated by the arrows on the focus curve, so that the frame image having the maximum AF evaluation value is displayed. The frame advance process can be stopped while being displayed on the liquid crystal display 26a. In other words, when the user sees a location where the focus curve is maximized, the user simply performs the frame advance processing so that the arrow moves to that location, and the degree of focus (clarity) of each frame image of the moving image. The frame image with the highest degree of focus can be viewed without the troublesome task of checking the images one by one. That is, according to the image processing apparatus 100 according to the present embodiment, the user can easily grasp the frame image having the highest degree of focus among all the frame images constituting the moving image.

また、ユーザは、AF評価値が最大となるフレーム画像が液晶ディスプレイ26aに表示されているときにシャッタボタン27dを操作することにより、動画を構成する全てのフレーム画像の中において合焦度合いが最も高いフレーム画像を静止画として別個に記録することができる。これにより、ユーザは、記録された静止画を再生すれば、動画を構成する全てのフレーム画像の中において合焦度合いが最も高いフレーム画像を、静止画としてじっくりと観賞できる。   Further, the user operates the shutter button 27d when the frame image having the maximum AF evaluation value is displayed on the liquid crystal display 26a, so that the degree of focus is the highest among all the frame images constituting the moving image. High frame images can be recorded separately as still images. As a result, when the recorded still image is reproduced, the user can carefully appreciate the frame image having the highest focus degree among all the frame images constituting the moving image as the still image.

また、本実施形態に係る画像処理装置100は、動画の再生時に、動画を構成する全てのフレーム画像と全てのフレーム画像ごとの焦点評価値との対応関係を、フォーカスカーブという図形によって表示するので、ユーザは、全てのフレーム画像における相対的な合焦度合いの高さを一目で把握できる。また、フレーム画像ごとの焦点評価値がフォーカスカーブという図形によって表示されるので、ユーザは全てのフレーム画像における相対的な合焦度合いの高さを直感的に把握できる。   Further, the image processing apparatus 100 according to the present embodiment displays the correspondence relationship between all the frame images constituting the moving image and the focus evaluation value for every frame image by a graphic called a focus curve at the time of reproducing the moving image. The user can grasp at a glance the height of the relative focus degree in all the frame images. In addition, since the focus evaluation value for each frame image is displayed by a graphic called a focus curve, the user can intuitively grasp the height of the relative focus level in all the frame images.

なお、本実施形態に係る画像処理装置100は、ユーザの操作部27(十字ボタン27a)の操作に基づき、動画のフレーム画像をコマ送り表示させるようにした。しかし、液晶ディスプレイ26aの全面にタッチパネルを配置することにより、このタッチパネルがユーザからフォーカスカーブ上におけるAF評価値を示す任意の点に対するタッチ(指定)を受け付け、表示制御部10bが、受け付けたタッチの位置に対応するAF評価値に対応するフレーム画像を表示するようにしてもよい。この場合、タッチパネルが、液晶ディスプレイ26aに表示させるフレーム画像を指定する指定手段として機能する。   Note that the image processing apparatus 100 according to the present embodiment displays a frame image of a moving picture frame-by-frame based on the operation of the operation unit 27 (cross button 27a) by the user. However, by disposing the touch panel on the entire surface of the liquid crystal display 26a, the touch panel accepts a touch (designation) on an arbitrary point indicating the AF evaluation value on the focus curve from the user, and the display control unit 10b receives the touch of the accepted touch. A frame image corresponding to the AF evaluation value corresponding to the position may be displayed. In this case, the touch panel functions as a designation unit that designates a frame image to be displayed on the liquid crystal display 26a.

また、表示制御部10bは、動画再生処理の開始直後に、全てのフレーム画像においてAF評価値が最大となるフレーム画像を自動的に指定し、指定したフレーム画像を液晶ディスプレイ26aに表示するようにしてもよい。これによっても、ユーザは十字ボタン27aの操作を何らすることなく、動画を構成する全てのフレーム画像の中で合焦度合いが最も高いフレーム画像を容易に把握することができる。この場合、表示制御部10bが、液晶ディスプレイ26aに表示させる特定のフレーム画像を指定する指定手段として機能する。   Further, immediately after the start of the moving image reproduction process, the display control unit 10b automatically designates a frame image having the maximum AF evaluation value in all the frame images, and displays the designated frame image on the liquid crystal display 26a. May be. Also by this, the user can easily grasp the frame image having the highest degree of focus among all the frame images constituting the moving image without any operation of the cross button 27a. In this case, the display control unit 10b functions as a designation unit that designates a specific frame image to be displayed on the liquid crystal display 26a.

また、本実施形態に係る画像処理装置100は、フォーカスカーブの生成に際して、各フレーム番号に対応するAF評価値を示す各点をRAM11上に定義した座標平面上にプロットした各点を直線で結ぶことによりフォーカスカーブを生成するようにした。しかし、各フレーム番号に対応するAF評価値を示す各点を座標平面上にプロットした各点のみを、フォーカスカーブとしてフレーム画像として表示するようにしてもよい。   Further, when generating the focus curve, the image processing apparatus 100 according to the present embodiment connects each point obtained by plotting each point indicating the AF evaluation value corresponding to each frame number on the coordinate plane defined on the RAM 11 with a straight line. The focus curve is generated. However, only each point obtained by plotting each point indicating the AF evaluation value corresponding to each frame number on the coordinate plane may be displayed as a focus curve as a frame image.

上記の実施形態は本発明の単なる例に過ぎず、本発明を限定する趣旨のものではない。したがって、本実施形態に対してなされ得る変形はすべて本発明に含まれるものである。例えば、本発明は、撮影手段を備えていないパーソナルコンピュータやデジタルフォトフレーム(デジタル写真立て)などにも適用し得る。   The above-described embodiments are merely examples of the present invention and are not intended to limit the present invention. Accordingly, all modifications that can be made to the present embodiment are included in the present invention. For example, the present invention can be applied to a personal computer or a digital photo frame (digital photo frame) that is not provided with a photographing unit.

100・・・画像処理装置、10・・・制御部、11・・・RAM、12・・・ROM、13・・・光学レンズ装置、14・・・光学系制御部、15・・・光学系駆動部、16・・・シャッタ装置、17・・・撮像素子、18・・・TG、19・・・撮像素子駆動部、20・・・前処理部、21・・・画像入力コントローラ、22・・・画像メモリ、23・・・画像処理部、24・・・記録媒体、25・・・表示駆動部、26・・・表示部、27・・・操作部、28・・・AF評価部   DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus, 10 ... Control part, 11 ... RAM, 12 ... ROM, 13 ... Optical lens apparatus, 14 ... Optical system control part, 15 ... Optical system Drive unit, 16 ... shutter device, 17 ... image sensor, 18 ... TG, 19 ... image sensor drive unit, 20 ... pre-processing unit, 21 ... image input controller, 22. ..Image memory, 23 ... Image processing unit, 24 ... Recording medium, 25 ... Display drive unit, 26 ... Display unit, 27 ... Operating unit, 28 ... AF evaluation unit

Claims (6)

動画像を構成する全てのフレーム画像を表示可能な表示手段と、
前記全てのフレーム画像と前記全てのフレーム画像のそれぞれの焦点評価値との対応関係を示すフォーカスカーブを生成するAFカーブ生成手段と、
前記全てのフレーム画像のうち特定のフレーム画像を指定する指定手段と、
前記指定手段により指定されている特定のフレーム画像と、前記フォーカスカーブと、前記指定手段により指定されている特定のフレーム画像に対応する焦点評価値を前記フォーカスカーブにおいて示す指標と、を前記表示手段に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
Display means capable of displaying all the frame images constituting the moving image;
An AF curve generating means for generating a focus curve indicating a correspondence relationship between all the frame images and the focus evaluation values of all the frame images;
Designation means for designating a specific frame image among all the frame images;
The display unit includes a specific frame image designated by the designation unit, the focus curve, and an index indicating a focus evaluation value corresponding to the specific frame image designated by the designation unit in the focus curve. Display control means to be displayed on,
An image processing apparatus comprising:
前記指定手段は、
ユーザの操作に基づき、前記全てのフレーム画像のうち特定のフレーム画像を指定する
ことを特徴とする請求項1に記載の画像処理装置。
The designation means is:
The image processing apparatus according to claim 1, wherein a specific frame image is designated among all the frame images based on a user operation.
前記指定手段は、
前記全てのフレーム画像のうち、焦点評価値が最も高いフレーム画像を自動的に指定する
ことを特徴とする請求項1に記載の画像処理装置。
The designation means is:
The image processing apparatus according to claim 1, wherein a frame image having the highest focus evaluation value among all the frame images is automatically designated.
前記表示手段に表示されているフレーム画像の記録を指示する記録指示手段と、
前記記録指示手段により記録が指示されたフレーム画像を、前記動画データとは独立させて記録媒体に記録させる静止画取得手段と、
さらに備えることを特徴とする請求項1に記載の画像処理装置。
Recording instruction means for instructing recording of a frame image displayed on the display means;
A still image acquisition means for recording a frame image instructed to be recorded by the recording instruction means on a recording medium independently of the moving image data;
The image processing apparatus according to claim 1, further comprising:
動画像を撮影して当該動画像を表現する動画データを生成する撮影手段と、
前記動画像を構成する全てのフレーム画像と焦点評価値との対応情報を取得し、取得された対応情報を、前記動画データに付帯させて前記記録媒体に記録させる撮影制御手段と、をさらに備え、
前記表示制御手段は、
前記記録媒体に記録された動画データにより表現される動画像を構成するフレーム画像を、前記表示手段に表示させ、
前記AFカーブ生成手段は、
前記記録媒体に記録された対応情報から前記フォーカスカーブを生成する
ことを特徴とする請求項1または2に記載の画像処理装置。
Photographing means for photographing moving images and generating moving image data representing the moving images;
And a photographing control means for acquiring correspondence information between all frame images constituting the moving image and the focus evaluation value, and appending the acquired correspondence information to the moving image data and recording the information on the recording medium. ,
The display control means includes
Displaying on the display means a frame image constituting a moving image represented by the moving image data recorded on the recording medium;
The AF curve generating means includes
The image processing apparatus according to claim 1, wherein the focus curve is generated from correspondence information recorded on the recording medium.
動画像を構成する全てのフレーム画像を表示する表示手段と、を備える画像処理装置のコンピュータを、
前記複数のフレーム画像と前記全てのフレーム画像のそれぞれの焦点評価値との対応関係を示すフォーカスカーブを生成するAFカーブ生成手段、
ユーザの操作に基づき、前記全てのフレーム画像のうち特定のフレーム画像を順次指定する指定手段、
前記指定手段により指定されている特定のフレーム画像と、前記フォーカスカーブと、前記指定手段により指定されている特定のフレーム画像に対応する焦点評価値を前記フォーカスカーブにおいて示す指標と、を前記表示手段に表示させる表示制御手段、
として機能させるプログラム。
A computer of an image processing apparatus comprising: display means for displaying all frame images constituting a moving image;
An AF curve generating means for generating a focus curve indicating a correspondence relationship between the plurality of frame images and the focus evaluation values of all the frame images;
A designation means for sequentially designating a specific frame image among all the frame images based on a user operation;
The display unit includes a specific frame image designated by the designation unit, the focus curve, and an index indicating a focus evaluation value corresponding to the specific frame image designated by the designation unit in the focus curve. Display control means for displaying on
Program to function as.
JP2009056503A 2009-03-10 2009-03-10 Image processing unit and program Pending JP2010212966A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009056503A JP2010212966A (en) 2009-03-10 2009-03-10 Image processing unit and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009056503A JP2010212966A (en) 2009-03-10 2009-03-10 Image processing unit and program

Publications (1)

Publication Number Publication Date
JP2010212966A true JP2010212966A (en) 2010-09-24

Family

ID=42972701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009056503A Pending JP2010212966A (en) 2009-03-10 2009-03-10 Image processing unit and program

Country Status (1)

Country Link
JP (1) JP2010212966A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012099973A (en) * 2010-10-29 2012-05-24 Keyence Corp Image processing apparatus, image processing method and image processing program
JP2020108054A (en) * 2018-12-28 2020-07-09 株式会社東芝 Broadcast system, encoder, multiplexing device, multiplexing method, system switching device, and synchronization control device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012099973A (en) * 2010-10-29 2012-05-24 Keyence Corp Image processing apparatus, image processing method and image processing program
US8793603B2 (en) 2010-10-29 2014-07-29 Keyence Corporation Image processing device, image processing method, and image processing program
JP2020108054A (en) * 2018-12-28 2020-07-09 株式会社東芝 Broadcast system, encoder, multiplexing device, multiplexing method, system switching device, and synchronization control device
JP7210272B2 (en) 2018-12-28 2023-01-23 株式会社東芝 Broadcast system, encoder, multiplexing device, multiplexing method, system switching device, and synchronization control device
JP7447319B2 (en) 2018-12-28 2024-03-11 株式会社東芝 Multiplexing device and multiplexing method

Similar Documents

Publication Publication Date Title
JP5893713B1 (en) Imaging apparatus, imaging method, and processing program
JP4654887B2 (en) Imaging device
JP2009147730A (en) Moving image generating apparatus, moving image shooting apparatus, moving image generating method, and program
JP2009017078A (en) Digital still camera and its operation controlling method
JP2008182485A (en) Photographing device and photographing method
JP2006303961A (en) Imaging apparatus
JP2013008004A (en) Imaging apparatus
JP2006261929A (en) Image pickup device
JP2013236298A (en) Imaging apparatus
JP5282530B2 (en) Digital camera
JP4792929B2 (en) Digital camera
JP2008079193A (en) Digital camera
JP2007299339A (en) Image reproducing device, method and program
JP2008199271A (en) Imaging apparatus for animation and still image
JP2004023747A (en) Electronic camera
JP2008160620A (en) Image processing apparatus and imaging apparatus
JP2010212966A (en) Image processing unit and program
JP4761039B2 (en) Imaging device
JP2014007454A (en) Image pickup device and image pickup method
JP2004221650A (en) Electronic camera
JP5163333B2 (en) CAMERA DEVICE, IMAGE DISPLAY METHOD, AND IMAGE DISPLAY PROGRAM
JP2007110221A (en) Imaging apparatus
JP2006148273A (en) Imaging apparatus
JP2005012403A (en) Digital camera and picture information acquisition method
JP2011205406A (en) Compound eye camera