JP2013243440A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2013243440A
JP2013243440A JP2012114047A JP2012114047A JP2013243440A JP 2013243440 A JP2013243440 A JP 2013243440A JP 2012114047 A JP2012114047 A JP 2012114047A JP 2012114047 A JP2012114047 A JP 2012114047A JP 2013243440 A JP2013243440 A JP 2013243440A
Authority
JP
Japan
Prior art keywords
subject
frame
image
display
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012114047A
Other languages
Japanese (ja)
Inventor
Takafumi Toyoda
隆文 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012114047A priority Critical patent/JP2013243440A/en
Publication of JP2013243440A publication Critical patent/JP2013243440A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique capable of suppressing the flicker of an AF frame with high accuracy.SOLUTION: An imaging apparatus comprises: an imaging unit which generates plural images by consecutively imaging a subject in time series; a subject detection unit which detects the subject from a display-target image; a display unit which displays the display-target image; and a control unit which controls the display unit to perform superimposed display, on the display-target image, of a subject frame representing the subject detected by the subject detection unit. The control unit controls the display unit to display a subject frame in each of plural preceding images imaged by the imaging unit before the display-target image, with the subject frame of the display-target image while adjusting luminance.

Description

本発明は、撮像装置に関する。   The present invention relates to an imaging apparatus.

従来、デジタルカメラなどは、構図確認用の低解像度画像（スルー画像）を動画表示するとともに、スルー画像から撮像された被写体である人物の顔領域を検出し、検出された顔領域でありオートフォーカス（ＡＦ）検出領域を示すＡＦ枠を重畳表示する。   Conventionally, a digital camera or the like displays a moving image of a low-resolution image (through image) for composition confirmation, detects a face area of a person as a subject imaged from the through image, and detects the detected face area and autofocus. (AF) An AF frame indicating a detection area is superimposed and displayed.

しかしながら、撮影者であるユーザの手ぶれや被写体などの動きにより、表示されるＡＦ枠がその動きに追随して小刻みに動くために、人間の目には、残像効果によりＡＦ枠がちらついているように感じる。そこで、ＡＦ枠のちらつきを抑制する様々な技術が提案されている。   However, the AF frame displayed flickers following the movement due to camera shake or subject movement of the user who is a photographer, and the AF frame flickers due to the afterimage effect in human eyes. To feel. Therefore, various techniques for suppressing the flickering of the AF frame have been proposed.

例えば、デジタルカメラが、被写体の動きを検出して動きベクトルを求め、その動きベクトルの積算値が予め設定された閾値を上回った場合、ＡＦ枠の位置を変更し表示品位の低下を抑える技術がある（特許文献１など参照）。   For example, a technique in which a digital camera detects a motion of a subject to obtain a motion vector, and when the integrated value of the motion vector exceeds a preset threshold value, a technique for changing the position of the AF frame to suppress a deterioration in display quality is available. Yes (see Patent Document 1).

特開２０１０−２０４５８５号公報JP 2010-204585 A

しかしながら、従来技術では、動きベクトルの積算値が閾値付近で分布するほどの被写体の動きが大きい場合、依然としてＡＦ枠のちらつきが発生してしまう。   However, in the related art, when the motion of the subject is so large that the integrated value of the motion vectors is distributed near the threshold value, the AF frame still flickers.

上記従来技術が有する問題に鑑み、本発明の目的は、確度高くＡＦ枠のちらつきを抑制することができる技術を提供することにある。   In view of the above-described problems of the conventional technology, an object of the present invention is to provide a technology capable of suppressing the flickering of the AF frame with high accuracy.

上記課題を解決するために、本発明を例示する撮像装置の一態様は、被写体を時系列に連続して撮像し複数の画像を生成する撮像部と、表示対象の画像から被写体を検出する被写体検出部と、表示対象の画像を表示する表示部と、被写体検出部により検出された被写体を示す被写体枠を表示対象の画像に重畳させて表示部に表示させる制御部と、を備え、制御部は、表示対象の画像より前に撮像部により撮像された複数の先行画像それぞれにおける被写体枠を、輝度を調整しつつ表示対象の画像の被写体枠とともに表示部に表示する。   In order to solve the above-described problem, an aspect of an imaging apparatus illustrating the present invention includes an imaging unit that continuously captures a subject in time series and generates a plurality of images, and a subject that detects the subject from an image to be displayed A control unit that includes a detection unit, a display unit that displays an image to be displayed, and a control unit that superimposes a subject frame indicating the subject detected by the subject detection unit on the display target image. Displays the subject frame in each of a plurality of preceding images captured by the imaging unit before the display target image together with the subject frame of the display target image while adjusting the luminance.

また、制御部は、先行画像の被写体枠の輝度を、表示対象の画像と先行画像との撮像された時間差に応じて調整してもよい。   Further, the control unit may adjust the luminance of the subject frame of the preceding image according to the time difference between the images to be displayed and the preceding image.

また、表示対象の画像および先行画像における被写体枠の位置の変位に基づいて、被写体の動きを検出する動き検出部を備え、制御部は、検出された被写体の動きに応じて先行画像の被写体枠の輝度を調整してもよい。   Further, the image processing apparatus includes a motion detection unit that detects the movement of the subject based on the displacement of the position of the subject frame in the display target image and the preceding image, and the control unit subjects the subject frame of the preceding image according to the detected subject movement. The brightness may be adjusted.

また、動き検出部は、表示対象の画像および先行画像の被写体枠の位置の変位に基づいて、被写体の動きが規則性のある動きかランダムな動きかを検出し、制御部は、検出結果に応じて、先行画像の被写体枠の輝度を調整してもよい。   The motion detection unit detects whether the subject motion is a regular motion or a random motion based on the displacement of the subject frame position of the display target image and the preceding image. Accordingly, the brightness of the subject frame of the preceding image may be adjusted.

また、規則性のある動きは、直線運動または円周運動であってもよい。   Further, the regular movement may be linear movement or circumferential movement.

また、制御部は、動き検出部により検出された被写体の動きがランダムな動きの場合、複数の先行画像の数を減らしてもよい。   In addition, when the movement of the subject detected by the motion detection unit is a random motion, the control unit may reduce the number of a plurality of preceding images.

本発明によれば、確度高くＡＦ枠のちらつきを抑制することができる。   According to the present invention, the flickering of the AF frame can be suppressed with high accuracy.

本発明の一の実施形態に係るデジタルカメラの構成を示す図The figure which shows the structure of the digital camera which concerns on one Embodiment of this invention. 一の実施形態に係るデジタルカメラによるＡＦ枠の表示処理を示すフローチャート6 is a flowchart showing AF frame display processing by the digital camera according to the embodiment. ＡＦ枠の重畳表示の一例を示す図The figure which shows an example of the superimposition display of AF frame 本発明の他の実施形態に係るデジタルカメラの構成を示す図The figure which shows the structure of the digital camera which concerns on other embodiment of this invention. 他の実施形態に係るデジタルカメラによるＡＦ枠の表示処理を示すフローチャート8 is a flowchart showing AF frame display processing by a digital camera according to another embodiment.

《一の実施形態》
図１は、本発明の一の実施形態に係るデジタルカメラ１００の構成を示すブロック図である。 << One Embodiment >>
FIG. 1 is a block diagram showing a configuration of a digital camera 100 according to an embodiment of the present invention.

本実施形態のデジタルカメラ１００は、撮像光学系１１、撮像素子１２、ＡＦＥ１３、バッファメモリ１４、モニタ１５、記憶部１６、記録Ｉ／Ｆ１７、ＣＰＵ１９、操作部材２１、バス２２から構成される。バッファメモリ１４、モニタ１５、記憶部１６、記録Ｉ／Ｆ１７、ＣＰＵ１９は、バス２２を介して情報伝達可能にそれぞれ接続される。また、操作部材２１は、ＣＰＵ１９に接続される。   The digital camera 100 according to this embodiment includes an imaging optical system 11, an imaging device 12, an AFE 13, a buffer memory 14, a monitor 15, a storage unit 16, a recording I / F 17, a CPU 19, an operation member 21, and a bus 22. The buffer memory 14, the monitor 15, the storage unit 16, the recording I / F 17, and the CPU 19 are connected via a bus 22 so that information can be transmitted. The operation member 21 is connected to the CPU 19.

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成されている。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。   The imaging optical system 11 includes a plurality of lens groups including a zoom lens and a focusing lens. The lens position of the imaging optical system 11 is adjusted in the optical axis direction by a lens driving unit (not shown). For simplicity, the imaging optical system 11 is illustrated as a single lens in FIG.

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。   The image pickup device 12 is a device that picks up an image of a subject imaged by a light beam that has passed through the image pickup optical system 11. The output of the image sensor 12 is input to the AFE 13. Note that the image sensor 12 of the present embodiment may be a progressive scan type solid-state image sensor (CCD or the like) or an XY address type solid-state image sensor (CMOS or the like).

撮像素子１２は、デジタルカメラの撮影モードにおいて、操作部材２１のレリーズ釦の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔でスルー画像を撮像する。このスルー画像のデータは、モニタ１５に動画表示されたり、ＣＰＵ１９による各種演算処理などに使用されたりする。なお、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。また、撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列に従って配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーのスルー画像や本画像を取得できる。   The image pickup device 12 picks up a recorded image (main image) in response to a full pressing operation of the release button of the operation member 21 in the shooting mode of the digital camera. Further, the imaging element 12 in the shooting mode captures a through image at a predetermined time interval even during standby for shooting. The through image data is displayed as a moving image on the monitor 15 or used for various arithmetic processes by the CPU 19. A plurality of light receiving elements are arranged in a matrix on the light receiving surface of the image sensor 12. In addition, red (R), green (G), and blue (B) color filters are arranged in each light receiving element of the imaging element 12 according to a known Bayer array. Therefore, each light receiving element of the imaging element 12 outputs an image signal corresponding to each color by color separation in the color filter. Thereby, the image sensor 12 can acquire a color through image and a main image.

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、バッファメモリ１４に一時的に記録される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。また、バッファメモリ１４は、一般的な揮発性の半導体メモリ等を適宜選択して用いることができる。   The AFE 13 is an analog front end circuit that performs analog signal processing on the output of the image sensor 12. The AFE 13 performs correlated double sampling, image signal gain adjustment, and image signal A / D conversion. The output of the AFE 13 is temporarily recorded in the buffer memory 14. In the present embodiment, the imaging device 12 and the AFE 13 constitute an imaging unit. As the buffer memory 14, a general volatile semiconductor memory or the like can be appropriately selected and used.

モニタ１５は、液晶モニタなどであり、ＣＰＵ１９の指示に応じて各種画像を表示する。つまり、モニタ１５は、ＣＰＵ１９の指示に基づいて、撮像されたスルー画像や本画像を表示するとともに、撮像に必要となる各種情報や各種設定項目の入力を可能とするＧＵＩ(Graphical User Interface)形式の釦を重畳表示する。   The monitor 15 is a liquid crystal monitor or the like, and displays various images according to instructions from the CPU 19. In other words, the monitor 15 displays a captured through image and a main image based on an instruction from the CPU 19 and also has a GUI (Graphical User Interface) format that enables input of various information and various setting items necessary for imaging. Button is superimposed and displayed.

記憶部１６は、ＣＰＵ１９によって実行される制御プログラムなどとともに、デジタルカメラ１００によって撮像された本画像のファイルを記憶する。記憶部１６には、不揮発性の半導体メモリなどを用いることができる。   The storage unit 16 stores a file of a main image captured by the digital camera 100 together with a control program executed by the CPU 19 and the like. As the storage unit 16, a nonvolatile semiconductor memory or the like can be used.

記録Ｉ／Ｆ１７には、記憶媒体１８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１８に対してデータの書き込み／読み込みを実行する。上記記憶媒体１８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８の一例としてメモリカードを示す。   A connector for connecting the storage medium 18 is formed in the recording I / F 17. The recording I / F 17 executes data writing / reading with respect to the storage medium 18 connected to the connector. The storage medium 18 is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is shown as an example of the storage medium 18.

ＣＰＵ１９は、制御部として、デジタルカメラ１００の各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、撮像素子１２に撮像されたスルー画像に基づいて、公知のコントラスト検出によるＡＦ制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１９は、ＡＦＥ１３から出力される画像データに対して、デジタル処理を施す。本実施形態のデジタル処理には、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などが含まれる。さらに、本実施形態のＣＰＵ１９は、顔検出部２０として動作する。   The CPU 19 is a processor that comprehensively controls each unit of the digital camera 100 as a control unit. For example, the CPU 19 executes AF control by known contrast detection, known automatic exposure (AE) calculation, and the like based on the through image captured by the image sensor 12. In addition, the CPU 19 performs digital processing on the image data output from the AFE 13. The digital processing of the present embodiment includes interpolation processing, white balance processing, gradation conversion processing, contour enhancement processing, color conversion processing, and the like. Furthermore, the CPU 19 of this embodiment operates as the face detection unit 20.

顔検出部２０は、被写体検出部として、スルー画像に対して顔検出処理を施し、被写体である人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。一例として、顔検出部２０は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点を画像から抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔検出部２０は、予め記憶部１６に記憶された顔画像とスルー画像との相関係数を求め、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。   As the subject detection unit, the face detection unit 20 performs face detection processing on the through image, and detects the face area of the person who is the subject. This face detection process is performed by a known algorithm. As an example, the face detection unit 20 extracts feature points such as eyebrow, eye, nose, and lip end points from an image by a known feature point extraction process, and determines whether or not a face region is based on these feature points. judge. Alternatively, the face detection unit 20 may obtain a correlation coefficient between a face image and a through image stored in the storage unit 16 in advance, and may determine a face region when the correlation coefficient exceeds a certain threshold.

そして、ＣＰＵ１９は、モニタ１５にスルー画像（以下、現在のフレームと称す）を表示対象として表示するとともに、顔検出部２０により検出された現在のフレームにおける顔領域の位置や大きさなどの顔領域の情報に基づいて、ＡＦ枠を被写体枠としてモニタ１５に重畳表示する。また、本実施形態のＣＰＵ１９は、後述するように、現在のフレームのＡＦ枠とともに、現在のフレームより前に撮像された所定のフレーム数前までのスルー画像（以下、先行フレームと称す）におけるＡＦ枠を、表示輝度を調整しつつ現在のフレームに重畳してモニタ１５に表示する。なお、本実施形態における表示される所定のフレーム数は３とする。しかしながら、このフレーム数に限定されることなく、人物の数や撮影シーンなどに応じて３〜５など適宜設定することが好ましい。   Then, the CPU 19 displays a through image (hereinafter referred to as the current frame) on the monitor 15 as a display target, and a face area such as the position and size of the face area in the current frame detected by the face detection unit 20. Based on the information, the AF frame is superimposed on the monitor 15 as the subject frame. Further, as will be described later, the CPU 19 of the present embodiment performs AF in a through image up to a predetermined number of frames before the current frame (hereinafter referred to as a preceding frame) together with the AF frame of the current frame. The frame is displayed on the monitor 15 while being superimposed on the current frame while adjusting the display luminance. Note that the predetermined number of frames displayed in the present embodiment is three. However, the number of frames is not limited, and it is preferable to set 3 to 5 as appropriate according to the number of people, the shooting scene, and the like.

操作部材２１は、例えば、レリーズ釦、電源釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部材２１はデジタルカメラ１００の各種入力をユーザから受け付ける。例えば、操作部材２１は、レリーズ釦の半押し操作による撮像前のＡＥ動作開始の指示入力、および全押し操作による撮像モードに応じた撮像開始の指示入力、あるいはデジタルカメラ１００の動作モードの切替操作や、設定画面での入力操作などをユーザから受け付ける。また、本実施形態では、モニタ１５と同形状の透明のパネルで構成されモニタ１５の表面全体に積層配置されるタッチパネルを、操作部材２１として用いてもよい。すなわち、タッチパネルが、パネル表面に接触したスタイラス（または指先など）の位置を検出し、検出した位置情報をＣＰＵ１９に出力することでユーザからの指示入力を受け付けるようにしてもよい。   The operation member 21 includes, for example, a release button, a power button, a command dial, a cross-shaped cursor key, a determination button, and the like. The operation member 21 receives various inputs of the digital camera 100 from the user. For example, the operation member 21 is an instruction input for starting AE operation before imaging by half-pressing the release button, an instruction input for starting imaging according to the imaging mode by full-pressing operation, or an operation for switching the operation mode of the digital camera 100. In addition, an input operation on the setting screen is received from the user. In the present embodiment, a touch panel that is configured by a transparent panel having the same shape as the monitor 15 and is stacked on the entire surface of the monitor 15 may be used as the operation member 21. That is, the touch panel may detect the position of a stylus (or fingertip or the like) in contact with the panel surface and output the detected position information to the CPU 19 to accept an instruction input from the user.

次に、図２のフローチャートを参照しつつ、本実施形態のデジタルカメラ１００によるＡＦ枠の表示処理動作について説明する。なお、本実施形態でいう「被写体の動き」とは、被写体自身の動きとともに、手ぶれなどに伴う動き（手ぶれ補正機能を有するデジタルカメラの場合には補正しきれない動き）も含む。   Next, an AF frame display processing operation by the digital camera 100 of the present embodiment will be described with reference to the flowchart of FIG. The “subject movement” as used in the present embodiment includes not only the movement of the subject itself but also movement caused by camera shake (movement that cannot be corrected in the case of a digital camera having a camera shake correction function).

ＣＰＵ１９は、ユーザによる操作部材２１の電源釦操作により、電源投入指示を受け付け、デジタルカメラ１００の電源を投入する。ＣＰＵ１９は、記憶部１６より制御プログラムを読み込んで実行し、デジタルカメラ１００を初期化する。ＣＰＵ１９は、撮像素子１２に被写体のスルー画像を所定のフレームレートで撮像させ、ステップＳ１０１からの処理を開始する。   The CPU 19 receives a power-on instruction by turning on the power button on the operation member 21 by the user, and turns on the digital camera 100. The CPU 19 reads and executes a control program from the storage unit 16 to initialize the digital camera 100. The CPU 19 causes the image sensor 12 to capture a through image of the subject at a predetermined frame rate, and starts processing from step S101.

ステップＳ１０１：ＣＰＵ１９は、撮像素子１２により撮像された現在のフレームを読み込み、顔検出部２０は、被写体である人物の顔領域を検出する。ＣＰＵ１９は、検出された顔領域の情報を、現在のフレームに対応付けて不図示の内部メモリやバッファメモリ１４に記録する。   Step S101: The CPU 19 reads the current frame imaged by the image sensor 12, and the face detection unit 20 detects the face area of the person who is the subject. The CPU 19 records the detected face area information in an internal memory (not shown) or the buffer memory 14 in association with the current frame.

ステップＳ１０２：ＣＰＵ１９は、不図示の内部メモリやバッファメモリ１４より、現在のフレームおよび３フレーム前までの先行フレームにおける顔領域の情報を読み込む。ＣＰＵ１９は、それら顔領域の情報に基づいて、現在のフレームおよび３つの先行フレームにおけるＡＦ枠の中心位置および枠サイズを算出するとともに、各フレームのＡＦ枠の表示輝度を調整する。例えば、ＣＰＵ１９は、現在のフレームのＡＦ枠の表示輝度をＳ０と設定する場合、現在のフレームとＮフレーム前の先行フレームとの撮像された時間差である、現在のフレームに対して先行するフレーム数に応じて、Ｎフレーム前の先行フレームのＡＦ枠の表示輝度ＳＮをＳ０／（Ｎ＋１）と調整する。なお、Ｎは自然数で、本実施形態ではＮ＝１〜３である。 Step S102: The CPU 19 reads information on the face area in the current frame and the preceding frame up to three frames before from the internal memory and the buffer memory 14 (not shown). The CPU 19 calculates the center position and frame size of the AF frame in the current frame and the three preceding frames based on the information on the face area, and adjusts the display brightness of the AF frame in each frame. For example, when the display luminance of the AF frame of the current frame is set to S 0 , the CPU 19 is a frame preceding the current frame, which is the time difference between the current frame and the preceding frame N frames before. According to the number, the display brightness S N of the AF frame of the preceding frame N frames before is adjusted to S 0 / (N + 1). Note that N is a natural number, and N = 1 to 3 in the present embodiment.

ステップＳ１０３：ＣＰＵ１９は、モニタ１５に現在のフレームを表示するとともに、ステップＳ１０２において求めた現在のフレームおよび３つの先行フレームにおけるＡＦ枠を、表示輝度Ｓ０，Ｓ１〜Ｓ３に調整してモニタ１５に重畳表示する。図３は、表示輝度の変化を線幅および線種で表したＡＦ枠の重畳表示の一例を示す。すなわち、図３に示すように、モニタ１５に表示された現在のフレームに、現在のフレームのＡＦ枠３０および３つの先行フレームのＡＦ枠３１〜３３が、調整された表示輝度で重畳表示される。 Step S103: The CPU 19 displays the current frame on the monitor 15, and adjusts the AF frame in the current frame and the three preceding frames obtained in step S102 to display luminances S 0 and S 1 to S 3 and monitors them. 15 is superimposed and displayed. FIG. 3 shows an example of superimposed display of AF frames in which changes in display luminance are represented by line widths and line types. That is, as shown in FIG. 3, the AF frame 30 of the current frame and the AF frames 31 to 33 of the three preceding frames are superimposed on the current frame displayed on the monitor 15 with the adjusted display luminance. .

ステップＳ１０４：ＣＰＵ１９は、ユーザによる操作部材２１のレリーズ釦操作により、本画像の撮像指示を受け付けたか否かを判定する。ＣＰＵ１９は、本画像の撮像指示を受け付けた場合（ＹＥＳ側）、ＡＦ枠の重畳表示を終了して、本画像の撮像指令を撮像素子１２に出力し本画像を撮像させる。   Step S104: The CPU 19 determines whether or not an instruction for capturing the main image has been received by a release button operation of the operation member 21 by the user. When the CPU 19 accepts an instruction to capture the main image (YES side), the CPU 19 ends the superimposed display of the AF frame, and outputs an image capturing command for the main image to the image sensor 12 to capture the main image.

一方、ＣＰＵ１９は、本画像の撮像指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１９は、現在のフレームを１フレーム前の先行フレームとし、次に撮像されたスルー画像を現在のフレームとして、ステップＳ１０１〜ステップＳ１０３の処理を行う。なお、ＣＰＵ１９は、３フレーム前の先行フレームは、４フレーム前となることから、その顔領域の情報を内部メモリ（不図示）またはバッファメモリ１４から消去するのが好ましい。   On the other hand, when the CPU 19 has not received an instruction to capture the main image, the CPU 19 proceeds to step S101 (NO side). The CPU 19 performs the processing from step S101 to step S103 with the current frame as the preceding frame one frame before and the next captured through image as the current frame. Note that the CPU 19 preferably deletes the information of the face area from the internal memory (not shown) or the buffer memory 14 because the preceding frame three frames before is four frames before.

このように、本実施形態では、現在のフレームにおける被写体を示すＡＦ枠を現在のフレームとモニタ１５に表示するとともに、所定のフレーム数前までの先行フレームにおけるＡＦ枠を、先行するフレーム数に応じた表示輝度に調整しつつモニタ１５に重畳表示することにより、確度高くＡＦ枠のちらつきを抑制することができる。
《他の実施形態》
図４は、本発明の他の実施形態に係るデジタルカメラ２００の構成を示すブロック図である。なお、図４に示す本実施形態のデジタルカメラ２００の構成要素において、一の実施形態に係るデジタルカメラ１００と同じものについては同じ符号を付し、詳細な説明は省略する。 Thus, in the present embodiment, the AF frame indicating the subject in the current frame is displayed on the current frame and the monitor 15, and the AF frame in the preceding frame up to a predetermined number of frames is set according to the number of preceding frames. By superimposing and displaying on the monitor 15 while adjusting the display brightness, the flickering of the AF frame can be suppressed with high accuracy.
<< Other embodiments >>
FIG. 4 is a block diagram showing a configuration of a digital camera 200 according to another embodiment of the present invention. In addition, in the component of the digital camera 200 of this embodiment shown in FIG. 4, the same code | symbol is attached | subjected about the same thing as the digital camera 100 which concerns on one Embodiment, and detailed description is abbreviate | omitted.

本実施形態のデジタルカメラ２００と一の実施形態のデジタルカメラ１００との相違点は、ＣＰＵ１９が、制御プログラムの実行により、顔検出部２０とともに、現在のフレームおよび３フレーム前までの先行フレームのＡＦ枠に基づいて、被写体の動きを検出する動き検出部４０として動作する。ＣＰＵ１９は、動き検出部４０の検出結果に応じて、現在のフレームおよび各先行フレームにおけるＡＦ枠の表示輝度を調整する。なお、動き検出部４０の動作については後ほど説明する。   The difference between the digital camera 200 of the present embodiment and the digital camera 100 of the one embodiment is that the CPU 19 performs AF of the current frame and the preceding frame up to three frames before the face detection unit 20 by executing the control program. Based on the frame, it operates as a motion detector 40 that detects the motion of the subject. The CPU 19 adjusts the display brightness of the AF frame in the current frame and each preceding frame according to the detection result of the motion detection unit 40. The operation of the motion detection unit 40 will be described later.

図５は、本実施形態のデジタルカメラ２００によるＡＦ枠の表示処理動作のフローチャートを示す。図５において、図２に示す一の実施形態における処理と同じ処理については、同じステップ番号を付し詳細な説明は省略する。   FIG. 5 shows a flowchart of an AF frame display processing operation by the digital camera 200 of the present embodiment. In FIG. 5, the same steps as those in the embodiment shown in FIG. 2 are denoted by the same step numbers, and detailed description thereof is omitted.

本実施形態に係るデジタルカメラ２００と一の実施形態に係るデジタルカメラ１００との処理動作の相違点は、ステップＳ１０２の代わりに、ステップＳ２０１〜ステップＳ２０３に変更される。   The difference in processing operation between the digital camera 200 according to the present embodiment and the digital camera 100 according to one embodiment is changed to step S201 to step S203 instead of step S102.

まず、ステップＳ２０１において、ＣＰＵ１９は、３フレーム前までの先行フレームの顔領域の情報を取得したか否かを判定する。ＣＰＵ１９は、３フレーム前までの先行フレームの顔領域の情報を取得した場合、ステップＳ２０２（ＹＥＳ側）へ移行する。一方、ＣＰＵ１９は、３フレーム前までの先行フレームの顔領域の情報を取得していない場合、ステップＳ１０１（ＮＯ側）へ移行して、現在のフレームを１フレーム前の先行フレームとし、次に撮像されるスルー画像を現在のフレームとして処理する。つまり、本実施形態のデジタルカメラ２００は、３フレーム前までの先行フレームの顔領域の情報が取得されるまで、モニタ１５に現在のフレームとともに、現在のフレームおよび３つの先行フレームのＡＦ枠を表示しない。   First, in step S201, the CPU 19 determines whether or not information on the face area of the preceding frame up to three frames before has been acquired. When the CPU 19 has acquired information on the face area of the preceding frame up to three frames before, the CPU 19 proceeds to step S202 (YES side). On the other hand, if the CPU 19 has not acquired information on the face area of the preceding frame up to three frames before, the CPU 19 proceeds to step S101 (NO side), sets the current frame as the preceding frame one frame before, and then captures an image. The through image to be processed is processed as the current frame. That is, the digital camera 200 according to the present embodiment displays the current frame and the AF frames of the three preceding frames together with the current frame on the monitor 15 until information on the face area of the preceding frame up to three frames before is acquired. do not do.

次に、ステップＳ２０２において、ＣＰＵ１９は、不図示の内部メモリやバッファメモリ１４より、現在のフレームおよび３フレーム前までの先行フレームにおける顔領域の情報を読み込み、現在のフレームおよび３つの先行フレームにおけるＡＦ枠の中心位置および枠サイズを算出する。また、動き検出部４０は、現在のフレームおよび３つの先行フレームのＡＦ枠の中心位置の変位に基づいて、被写体の動きを検出する。   Next, in step S202, the CPU 19 reads information on the face area in the current frame and the preceding frame up to 3 frames before from the internal memory and the buffer memory 14 (not shown), and AF in the current frame and the 3 preceding frames. The center position and frame size of the frame are calculated. Further, the motion detection unit 40 detects the motion of the subject based on the displacement of the center position of the AF frame of the current frame and the three preceding frames.

例えば、動き検出部４０は、各フレームのＡＦ枠の中心位置が直線に沿って変位する場合、被写体の動きは直線運動である検出する。また、動き検出部４０は、各フレームのＡＦ枠の中心位置が所定の位置を中心とする円周上を変位する場合、被写体の動きは円周運動であると検出する。一方、動き検出部４０は、上記のような規則性が見られない場合、被写体の動きはランダムな運動であると検出する。ただし、ランダム運動であってもＡＦ枠の中心位置が所定の位置を中心とする円周上に分布する場合があり、動き検出部４０は、被写体の動きは円周運動と検出しまう。そこで、本実施形態の動き検出部４０は、そのような誤検出を回避するために、例えば、円の半径が所定の大きさ以上の場合、被写体の動きは円周運動と検出し、所定の大きさより小さい場合、ランダムな動き検出するなどと設定するのが好ましい。あるいは、円周運動の場合のＡＦ枠の移動量は、ランダム運動の場合の移動量に比べて大きい傾向があることから、動き検出部４０は、円の半径と移動量とに基づいて、円周運動かランダム運動かを検出してもよい。   For example, when the center position of the AF frame of each frame is displaced along a straight line, the motion detection unit 40 detects the movement of the subject as a linear motion. In addition, when the center position of the AF frame of each frame displaces on the circumference around the predetermined position, the motion detection unit 40 detects that the movement of the subject is a circumferential motion. On the other hand, when the regularity as described above is not found, the motion detection unit 40 detects that the motion of the subject is a random motion. However, even in the case of random motion, the center position of the AF frame may be distributed on a circumference centered on a predetermined position, and the motion detection unit 40 detects the motion of the subject as a circumferential motion. Therefore, in order to avoid such erroneous detection, for example, when the radius of the circle is equal to or larger than a predetermined size, the motion detection unit 40 of the present embodiment detects the movement of the subject as a circumferential motion, If it is smaller than the size, it is preferable to set to detect a random motion. Alternatively, since the movement amount of the AF frame in the case of the circumferential movement tends to be larger than the movement amount in the case of the random movement, the motion detection unit 40 determines the circle based on the radius and the movement amount of the circle. It may be detected whether it is a circumferential motion or a random motion.

ステップＳ２０３において、ＣＰＵ１９は、ステップＳ２０２の検出結果に基づいて、現在のフレームおよび３つの先行フレームの表示輝度を調整する。例えば、ＣＰＵ１９は、被写体の動きが直線運動や円周運動などの規則性のある場合、一の実施形態と同様に、現在のフレームのＡＦ枠の表示輝度をＳ０、Ｎフレーム前の先行フレームのＡＦ枠の表示輝度ＳＮをＳ０／（Ｎ＋１）と調整する。一方、ＣＰＵ１９は、被写体の動きが規則性のないランダムな動きの場合、ＡＦ枠が重なり合うことによる表示品質の劣化を回避するために、各先行フレームの表示輝度をより大きな減衰率で調整する。例えば、ＣＰＵ１９は、Ｎフレーム前の先行フレームのＡＦ枠の表示輝度ＳＮをＳ０／２Ｎと調整する。 In step S203, the CPU 19 adjusts the display brightness of the current frame and the three preceding frames based on the detection result of step S202. For example, if the movement of the subject has regularity such as linear motion or circumferential motion, the CPU 19 sets the display brightness of the AF frame of the current frame to S 0 and the preceding frame N frames before, as in the first embodiment. The display brightness S N of the AF frame is adjusted to S 0 / (N + 1). On the other hand, when the subject motion is random with no regularity, the CPU 19 adjusts the display luminance of each preceding frame with a larger attenuation rate in order to avoid deterioration in display quality due to overlapping AF frames. For example, the CPU 19 adjusts the display brightness S N of the AF frame of the preceding frame N frames before as S 0 / 2N .

このように、本実施形態では、現在のフレームにおける被写体を示すＡＦ枠を現在のフレームとモニタ１５に表示するとともに、所定のフレーム数前までの先行フレームにおけるＡＦ枠を、先行するフレーム数に応じた表示輝度に調整しつつモニタ１５に重畳表示することにより、確度高くＡＦ枠のちらつきを抑制することができる。   Thus, in the present embodiment, the AF frame indicating the subject in the current frame is displayed on the current frame and the monitor 15, and the AF frame in the preceding frame up to a predetermined number of frames is set according to the number of preceding frames. By superimposing and displaying on the monitor 15 while adjusting the display brightness, the flickering of the AF frame can be suppressed with high accuracy.

また、被写体の動きに応じて、各フレームのＡＦ枠の表示輝度の減衰率を変えることにより、ちらつきを抑制し表示品質の劣化を回避することができる。
《実施形態の補足事項》
（１）上記実施形態では、顔検出部２０、動き検出部４０の処理を、ＣＰＵ１９がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてハードウエア的に実現してもよい。 In addition, by changing the attenuation factor of the display brightness of the AF frame of each frame according to the movement of the subject, it is possible to suppress flickering and avoid display quality deterioration.
<< Additional items of embodiment >>
(1) In the above-described embodiment, an example has been described in which the CPU 19 realizes the processing of the face detection unit 20 and the motion detection unit 40 in software, but the processing may be realized in hardware using an ASIC.

（２）上記実施形態では、顔検出部２０が、撮像素子１２により撮像されたスルー画像全てについて顔検出を行ったが、本発明はこれに限定されず、顔検出部２０は、スルー画像を間引きして顔検出を行ってもよい。   (2) In the above-described embodiment, the face detection unit 20 performs face detection on all the through images captured by the image sensor 12, but the present invention is not limited to this, and the face detection unit 20 displays the through images. Face detection may be performed by thinning.

（３）上記実施形態では、図３に示すように被写体である人物を１人としたが、本発明はこれに限定されず、複数の人物に対しても適用可能である。その場合、ＣＰＵ１９は、人物ごとにＡＦ枠の色を変えてもよい。   (3) In the above embodiment, one person is a subject as shown in FIG. 3, but the present invention is not limited to this and can be applied to a plurality of persons. In that case, the CPU 19 may change the color of the AF frame for each person.

（４）上記他の実施形態では、ＣＰＵ１９が、現在のフレームのＡＦ枠の表示輝度をＳ０とし、Ｎフレーム前の先行フレームのＡＦ枠の表示輝度ＳＮを、被写体の動きが規則性のある場合、Ｓ０／（Ｎ＋１）とし、ランダムな動きの場合、Ｓ０／２Ｎとしたが、本発明はこれに限定されない。ＣＰＵ１９は、先行フレームのＡＦ枠の表示輝度ＳＮを、ランダムな動きの場合の減衰率が規則的な動きの場合よりも大きいのであれば、どのように調整してもよい。また、ＣＰＵ１９は、各フレームの表示輝度だけでなく色も変更してもよい。 (4) In the other embodiment described above, the CPU 19 sets the display brightness of the AF frame of the current frame as S 0, and sets the display brightness S N of the AF frame of the preceding frame N frames before, and the movement of the subject is regular. In some cases, S 0 / (N + 1) is set, and in the case of random motion, S 0/2 N is set, but the present invention is not limited to this. The CPU 19 may adjust the display brightness SN of the AF frame of the preceding frame in any way as long as the attenuation rate in the case of random movement is larger than that in the case of regular movement. Further, the CPU 19 may change not only the display brightness of each frame but also the color.

また、ＣＰＵ１９は、被写体の動きがランダムの場合、減衰率を変えることなく、重畳表示される先行フレームのフレーム数Ｎを減らしたり間引いたりしてもよい。あるいは、ＣＰＵ１９は、現在のフレームのＡＦ枠の表示輝度Ｓ０および先行フレームのＡＦ枠の表示輝度ＳＮを、全体の輝度を１／２などに落とすようにしてもよい。 Further, when the movement of the subject is random, the CPU 19 may reduce or thin out the number N of the preceding frames displayed in a superimposed manner without changing the attenuation rate. Alternatively, the CPU 19 may reduce the overall brightness of the display brightness S 0 of the AF frame of the current frame and the display brightness S N of the AF frame of the preceding frame to 1/2 or the like.

（５）上記他の実施形態では、ステップＳ２０１において、ＣＰＵ１９が、３フレーム前までの先行フレームの顔領域の情報が取得されるまで、モニタ１５に現在のフレームとともに、現在のフレームおよび３つの先行フレームにおけるＡＦ枠を表示しないとしたが、本発明はこれに限定されない。例えば、ＣＰＵ１９は、３つの先行フレームの顔領域の情報をするまで、モニタ１５に現在のフレームのみを表示してもよい。また、ＣＰＵ１９は、モニタ１５に現在のフレームと現在のフレームのＡＦ枠とを表示したり、現在のフレームと現在のフレームのＡＦ枠とともに、顔領域の情報が取得できた先行フレームのＡＦ枠を表示したりしてもよい。   (5) In the other embodiment described above, in step S201, the CPU 19 acquires the current frame and the three preceding frames together with the current frame on the monitor 15 until the face area information of the preceding frame up to three frames before is acquired. Although the AF frame is not displayed in the frame, the present invention is not limited to this. For example, the CPU 19 may display only the current frame on the monitor 15 until the face area information of three preceding frames is obtained. Further, the CPU 19 displays the current frame and the AF frame of the current frame on the monitor 15, or displays the AF frame of the preceding frame from which information of the face area can be acquired together with the AF frame of the current frame and the current frame. Or may be displayed.

（６）上記他の実施形態では、動き検出部４０が、各フレームのＡＦ枠の中心位置に基づいて、被写体の動きを検出するとしたが、本発明はこれに限定されず、顔領域の重心位置などに基づいて検出してもよい。   (6) In the other embodiments described above, the motion detection unit 40 detects the motion of the subject based on the center position of the AF frame of each frame, but the present invention is not limited to this, and the center of gravity of the face region You may detect based on a position etc.

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。   From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.

１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…バッファメモリ、１５…モニタ、１６…記憶部、１７…記録Ｉ／Ｆ、１８…記憶媒体、１９…ＣＰＵ、２０…顔検出部、２１…操作部材、２２…バス、４０…動き検出部、１００、２００…デジタルカメラ DESCRIPTION OF SYMBOLS 11 ... Imaging optical system, 12 ... Imaging element, 13 ... AFE, 14 ... Buffer memory, 15 ... Monitor, 16 ... Memory | storage part, 17 ... Recording I / F, 18 ... Storage medium, 19 ... CPU, 20 ... Face detection part , 21 ... operation member, 22 ... bus, 40 ... motion detector, 100, 200 ... digital camera

Claims (6)

被写体を時系列に連続して撮像し複数の画像を生成する撮像部と、
表示対象の前記画像から前記被写体を検出する被写体検出部と、
前記表示対象の画像を表示する表示部と、
前記被写体検出部により検出された前記被写体を示す被写体枠を前記表示対象の画像に重畳させて前記表示部に表示させる制御部と、を備え、
前記制御部は、前記表示対象の画像より前に前記撮像部により撮像された複数の先行画像それぞれにおける前記被写体枠を、輝度を調整しつつ前記表示対象の画像の前記被写体枠とともに前記表示部に表示する
ことを特徴とする撮像装置。 An imaging unit that continuously images a subject in time series and generates a plurality of images;
A subject detection unit for detecting the subject from the image to be displayed;
A display unit for displaying the image to be displayed;
A control unit that superimposes a subject frame indicating the subject detected by the subject detection unit on the display target image and displays the frame on the display unit,
The control unit adjusts the subject frame in each of a plurality of preceding images captured by the imaging unit before the display target image to the display unit together with the subject frame of the display target image while adjusting luminance. An imaging device characterized by displaying. 請求項１に記載の撮像装置において、
前記制御部は、前記先行画像の前記被写体枠の前記輝度を、前記表示対象の画像と前記先行画像との撮像された時間差に応じて調整することを特徴とする撮像装置。 The imaging device according to claim 1,
The control unit adjusts the luminance of the subject frame of the preceding image according to a time difference between the display target image and the preceding image. 請求項１または請求項２に記載の撮像装置において、
前記表示対象の画像および前記先行画像における前記被写体枠の位置の変位に基づいて、前記被写体の動きを検出する動き検出部を備え、
前記制御部は、検出された前記被写体の動きに応じて前記先行画像の前記被写体枠の輝度を調整する
ことを特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
A motion detection unit configured to detect a motion of the subject based on a displacement of a position of the subject frame in the display target image and the preceding image;
The control unit adjusts the luminance of the subject frame of the preceding image in accordance with the detected movement of the subject. 請求項３に記載の撮像装置において、
前記動き検出部は、前記表示対象の画像および前記先行画像の前記被写体枠の位置の変位に基づいて、前記被写体の動きが規則性のある動きかランダムな動きかを検出し、
前記制御部は、前記検出結果に応じて、前記先行画像の前記被写体枠の輝度を調整する
ことを特徴とする撮像装置。 The imaging device according to claim 3.
The motion detection unit detects whether the motion of the subject is a regular motion or a random motion based on the displacement of the position of the subject frame of the display target image and the preceding image,
The control unit adjusts brightness of the subject frame of the preceding image according to the detection result. 請求項４に記載の撮像装置において、
前記規則性のある動きは、直線運動または円周運動であることを特徴とする撮像装置。 The imaging apparatus according to claim 4,
The imaging apparatus according to claim 1, wherein the regular motion is a linear motion or a circumferential motion. 請求項４または請求項５に記載の撮像装置において、
前記制御部は、前記動き検出部により検出された前記被写体の動きが前記ランダムな動きの場合、前記複数の先行画像の数を減らすことを特徴とする撮像装置。 In the imaging device according to claim 4 or 5,
The controller is configured to reduce the number of the plurality of preceding images when the movement of the subject detected by the motion detector is the random movement.
JP2012114047A 2012-05-18 2012-05-18 Imaging apparatus Pending JP2013243440A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012114047A JP2013243440A (en) 2012-05-18 2012-05-18 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012114047A JP2013243440A (en) 2012-05-18 2012-05-18 Imaging apparatus

Publications (1)

Publication Number Publication Date
JP2013243440A true JP2013243440A (en) 2013-12-05

Family

ID=49843956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012114047A Pending JP2013243440A (en) 2012-05-18 2012-05-18 Imaging apparatus

Country Status (1)

Country Link
JP (1) JP2013243440A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438512B2 (en) 2020-03-11 2022-09-06 Canon Kabushiki Kaisha Electronic apparatus and control method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438512B2 (en) 2020-03-11 2022-09-06 Canon Kabushiki Kaisha Electronic apparatus and control method thereof

Similar Documents

Publication Publication Date Title
JP5136669B2 (en) Image processing apparatus, image processing method, and program
US9723208B2 (en) Image processing apparatus, method for controlling the same, and storage medium
JP5029137B2 (en) Imaging apparatus and program
JP6720881B2 (en) Image processing apparatus and image processing method
US9706131B2 (en) Image combining apparatus for generating a combined image from a plurality of images, image combining system, and image combining method
JP2014053664A (en) Imaging apparatus, imaging method, and program
JP5370555B2 (en) Imaging apparatus, imaging method, and program
JP5387341B2 (en) Imaging device
JPWO2014125837A1 (en) Foreign matter information detection device and foreign matter information detection method for imaging apparatus
JP2006287814A (en) Imaging apparatus and method of determining motion vector
JP2011049988A (en) Image processing apparatus and camera
JP2013225779A (en) Image processing device, imaging device, and image processing program
US20110279649A1 (en) Digital photographing apparatus, method of controlling the same, and computer-readable storage medium
JP6060552B2 (en) Image processing apparatus, imaging apparatus, and image processing program
US11356611B2 (en) Image capture apparatus and control method thereof
JP2013243440A (en) Imaging apparatus
JP2013207634A (en) Imaging apparatus
JP2018132748A (en) Imaging device and focus adjusting method
JP6225463B2 (en) Imaging apparatus, imaging method, and recording medium
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP2011155420A (en) Camera shake correction device, imaging processing method and program
JP2018106763A (en) Imaging apparatus
CN106464783B (en) Image pickup control apparatus, image pickup apparatus, and image pickup control method
JP6318535B2 (en) Imaging device
JP2013146110A (en) Imaging device, method and program