JP2009182880A - Imaging apparatus and its program - Google Patents

Imaging apparatus and its program Download PDF

Info

Publication number
JP2009182880A
JP2009182880A JP2008021954A JP2008021954A JP2009182880A JP 2009182880 A JP2009182880 A JP 2009182880A JP 2008021954 A JP2008021954 A JP 2008021954A JP 2008021954 A JP2008021954 A JP 2008021954A JP 2009182880 A JP2009182880 A JP 2009182880A
Authority
JP
Japan
Prior art keywords
threshold value
value
image
imaging
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008021954A
Other languages
Japanese (ja)
Other versions
JP2009182880A5 (en
Inventor
Shigeru Kafuku
滋 加福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008021954A priority Critical patent/JP2009182880A/en
Publication of JP2009182880A publication Critical patent/JP2009182880A/en
Publication of JP2009182880A5 publication Critical patent/JP2009182880A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To attain an imaging apparatus and its program capable of automatically performing photography and recording by deciding a smiling person as a smiling face. <P>SOLUTION: When a smiling face automatic photography mode is set, through image display is started (S1), and a threshold is set to a predetermined value (S2). Then, a shutter button is half-depressed, face detection processing is performed (S6), and a smiling face evaluation value indicating the degree of the smiling face of a detected face is calculated (S7). Then, when it is decided that the calculated smiling face evaluation value does not become equal to or more than the threshold (N in S8), whether or not fixed time has elapsed is decided (S9), and when the fixed time elapses, and the threshold is not the lowest value (N in S10), the threshold is lowered (S11). Thus, the threshold is lowered with lapse of time until the smiling face evaluation value becomes equal to or more than the threshold, and when the smiling face evaluation value becomes equal to or more than the threshold, automatic photography recording is performed (S12). <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像装置及びそのプログラムに係り、自動的に撮影や記録を行う機能を有した撮像装置及びそのプログラムに関する。   The present invention relates to an imaging apparatus and a program thereof, and more particularly to an imaging apparatus having a function of automatically capturing and recording and a program thereof.

近年、笑顔を検出したときに自動撮影を行うという技術がある(特許文献1)。   In recent years, there is a technique of performing automatic shooting when a smile is detected (Patent Document 1).

公開特許公報 特開2006−237803JP Patent Publication No. 2006-237803

この特許文献1の技術は、笑顔の検出レベル(笑顔評価値)が閾値以上となったときに自動撮影を行うものであるが、笑顔には個人差があり、ある人は、いくら笑っても笑顔の検出レベルが閾値以上とはならずに自動撮影が行われないといった問題が発生するが、閾値を下げればこのような問題は解決することができる。
しかしながら、単純に閾値を下げてしまうと、前述のある人以外の人については、笑ってもいないのに笑顔の検出レベルが閾値以上になって自動撮影が行われてしまうといった新たな問題が発生してしまう。
The technique disclosed in Patent Document 1 performs automatic shooting when a smile detection level (smile evaluation value) is equal to or greater than a threshold value. However, there are individual differences in smiles. There is a problem that the automatic detection is not performed because the smile detection level does not exceed the threshold value, but such a problem can be solved by lowering the threshold value.
However, if the threshold value is simply lowered, a new problem arises for people other than the above-mentioned person who are not laughing but have a smile detection level that exceeds the threshold value and will automatically shoot. Resulting in.

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、笑っている人を、笑顔と判断して自動的に撮影や記録を行うことができる撮像装置及びそのプログラムを提供することを目的とする。   Therefore, the present invention has been made in view of such conventional problems, and provides an imaging apparatus and a program thereof that can automatically shoot and record a person who is smiling as a smile. With the goal.

上記目的達成のため、請求項1記載の発明による撮像装置は、撮像素子と、
前記撮像素子を用いて周期的に被写体を撮像する撮像制御手段と、
所定のタイミングからの経過時間に応じて閾値を変更する第1の閾値変更手段と、
前記撮像制御手段により撮像された画像データに基づいて画像評価値を算出する算出する算出手段と、
前記算出手段により算出された画像評価値が前記閾値以上又は閾値以下となったときに前記撮像素子により撮像された画像データを自動的に記録する自動記録制御手段と、
を備えたことを特徴とする。
In order to achieve the above object, an image pickup apparatus according to claim 1 includes an image pickup element,
Imaging control means for periodically imaging a subject using the imaging element;
First threshold value changing means for changing the threshold value according to an elapsed time from a predetermined timing;
A calculating unit that calculates an image evaluation value based on image data captured by the imaging control unit;
Automatic recording control means for automatically recording image data picked up by the image pickup device when the image evaluation value calculated by the calculating means is equal to or higher than the threshold value or lower than the threshold value;
It is provided with.

また、例えば、請求項2に記載されているように、前記画像評価値は、
笑顔評価値であるようにしてもよい。
For example, as described in claim 2, the image evaluation value is:
You may make it be a smile evaluation value.

また、例えば、請求項3に記載されているように、前記第1の閾値変更手段は、
自動撮影モード設定時、又は、シャッタ半押し時からの経過時間に応じて前記閾値を変更するようにしてもよい。
Further, for example, as described in claim 3, the first threshold value changing means includes:
The threshold value may be changed according to the elapsed time from when the automatic shooting mode is set or when the shutter is half pressed.

また、例えば、請求項4に記載されているように、前記第1の閾値変更手段は、
前記算出手段により算出された画像評価値が、現在の閾値に対して所定の範囲内にある状態の経過時間に応じて、前記閾値を変更するようにしてもよい。
For example, as described in claim 4, the first threshold value changing unit includes:
You may make it change the said threshold value according to the elapsed time of the state in which the image evaluation value calculated by the said calculation means exists in the predetermined range with respect to the present threshold value.

また、例えば、請求項5に記載されているように、前記第1の閾値変更手段は、
所定のタイミングからの経過時間に応じて前記閾値を下げる又は上げるようにしてもよい。
For example, as described in claim 5, the first threshold value changing unit includes:
The threshold value may be lowered or raised according to the elapsed time from a predetermined timing.

また、例えば、請求項6に記載されているように、前記自動記録制御手段による記録に応答して、前記閾値を変更する第2の閾値変更手段を備えるようにしてもよい。   Further, for example, as described in claim 6, a second threshold value changing unit that changes the threshold value in response to recording by the automatic recording control unit may be provided.

また、例えば、請求項7に記載されているように、前記第2の閾値変更手段は、
前記自動記録制御手段による記録に応答して、前記閾値を、前記第1の閾値変更手段による変更前の閾値である初期値に変更するようにしてもよい。
For example, as described in claim 7, the second threshold value changing unit includes:
In response to recording by the automatic recording control means, the threshold value may be changed to an initial value which is a threshold value before being changed by the first threshold value changing means.

また、例えば、請求項8に記載されているように、前記第2の閾値変更手段は、
前記自動記録制御手段による記録に応答して、前記閾値を一定値分だけ変更するようにしてもよい。
Further, for example, as described in claim 8, the second threshold value changing means includes:
In response to the recording by the automatic recording control means, the threshold value may be changed by a certain value.

また、例えば、請求項9に記載されているように、前記自動記録制御手段は、
前記算出手段により算出された画像評価値が前記閾値以上又は閾値以下となったときに、前記撮像素子を用いて静止画撮像を行う手段を含み、該静止画撮像にされた画像データを記録するようにしてもよい。
Further, for example, as described in claim 9, the automatic recording control means includes:
When the image evaluation value calculated by the calculation unit is equal to or greater than the threshold value or less than the threshold value, the image sensor includes a unit that captures a still image using the imaging element, and records the image data that has been captured. You may do it.

上記目的達成のため、請求項10記載の発明によるプログラムは、撮像素子を備えたコンピュータを、
前記撮像素子を用いて周期的に被写体を撮像する撮像制御手段、
所定のタイミングからの経過時間に応じて閾値を変更する第1の閾値変更手段、
前記撮像制御手段により撮像された画像データに基づいて画像評価値を算出する算出する算出手段、
前記算出手段により算出された画像評価値が前記閾値以上又は閾値以下となったときに前記撮像素子により撮像された画像データを自動的に記録する自動記録制御手段、
として機能させることを特徴とする。
In order to achieve the above object, a program according to a tenth aspect of the present invention provides a computer including an image sensor.
Imaging control means for periodically imaging a subject using the imaging element;
First threshold value changing means for changing the threshold value according to an elapsed time from a predetermined timing;
A calculating unit that calculates an image evaluation value based on image data captured by the imaging control unit;
Automatic recording control means for automatically recording image data picked up by the image pickup device when the image evaluation value calculated by the calculating means is equal to or higher than the threshold value or lower than the threshold value;
It is made to function as.

本発明によれば、笑っている人を、笑顔と判断して自動的に撮影や記録を行うことができる。   According to the present invention, it is possible to automatically shoot and record a person who is smiling as a smile.

以下、本発明の撮像装置を、デジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
A.デジタルカメラの構成
図1は、本発明の撮像装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮影レンズ2、レンズ駆動ブロック3、絞り4、CCD5、ドライバ6、TG(timing generator)7、ユニット回路8、画像生成部9、CPU10、キー入力部11、メモリ12、DRAM13、フラッシュメモリ14、画像表示部15、バス16を備えている。
Hereinafter, an imaging apparatus of the present invention will be described in detail with reference to the drawings as an example of application to a digital camera.
[Embodiment]
A. Configuration of Digital Camera FIG. 1 is a block diagram showing a schematic electrical configuration of a digital camera 1 that implements the imaging apparatus of the present invention.
The digital camera 1 includes a photographing lens 2, a lens driving block 3, an aperture 4, a CCD 5, a driver 6, a TG (timing generator) 7, a unit circuit 8, an image generation unit 9, a CPU 10, a key input unit 11, a memory 12, a DRAM 13, A flash memory 14, an image display unit 15, and a bus 16 are provided.

撮影レンズ2は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮影レンズ2には、レンズ駆動ブロック3が接続されている。レンズ駆動ブロック3は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に移動させるフォーカスモーター、ズームモーター(図示略)と、CPU10から送られてくる制御信号に従って、フォーカスレンズ、ズームレンズを光軸方向に移動させるためにフォーカスモーター、ズームモーターを駆動させるフォーカスモータードライバ、ズームモータードライバ(図示略)から構成されている。   The photographic lens 2 includes a focus lens and a zoom lens that are composed of a plurality of lens groups (not shown). A lens driving block 3 is connected to the photographing lens 2. The lens driving block 3 moves the focus lens and the zoom lens in the optical axis direction in accordance with a focus motor and a zoom motor (not shown) that move the focus lens and the zoom lens in the optical axis direction and a control signal sent from the CPU 10, respectively. A focus motor, a focus motor driver for driving the zoom motor, and a zoom motor driver (not shown) for moving the zoom motor are included.

絞り4は、図示しない駆動回路を含み、該駆動回路はCPU10から送られてくる制御信号に従って絞り4を動作させる。絞りとは、CCD5に入射される光の量を制御する機構のことをいう。なお、露出量は、絞り4による絞りの度合(絞り値)とシャッタ速度によって定められる。   The diaphragm 4 includes a drive circuit (not shown), and the drive circuit operates the diaphragm 4 in accordance with a control signal sent from the CPU 10. The diaphragm is a mechanism that controls the amount of light incident on the CCD 5. The exposure amount is determined by the degree of aperture (aperture value) by the aperture 4 and the shutter speed.

CCD5は、ドライバ6によって走査駆動され、一定周期毎に被写体像のRGB値の各色の光の強さを光電変換して撮像信号としてユニット回路8に出力する。このドライバ6、ユニット回路8の動作タイミングはTG7を介してCPU10により制御される。また、CCD5は、電子シャッタとしての機能を有し、この電子シャッタは、ドライバ6、TG7を介してCPU10によって制御される。この電子シャッタのシャッタ速度によって露光時間が変わる。   The CCD 5 is scanned and driven by the driver 6, photoelectrically converts the intensity of light of each color of the RGB value of the subject image at a constant period, and outputs it to the unit circuit 8 as an imaging signal. The operation timing of the driver 6 and the unit circuit 8 is controlled by the CPU 10 via the TG 7. Further, the CCD 5 has a function as an electronic shutter, and this electronic shutter is controlled by the CPU 10 via a driver 6 and a TG 7. The exposure time varies depending on the shutter speed of the electronic shutter.

ユニット回路8にはTG7が接続されており、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行うAGC(Automatic Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されており、CCD5の撮像信号は、ユニット回路8を経てデジタル信号として画像生成部9に送られる。   A TG 7 is connected to the unit circuit 8, a CDS (Correlated Double Sampling) circuit that holds the imaging signal output from the CCD 5 by correlated double sampling, and an AGC (Automatic Gain Adjustment of the imaging signal after the sampling) An automatic gain control) circuit, and an A / D converter that converts the analog image pickup signal after the automatic gain adjustment into a digital signal. The image pickup signal of the CCD 5 passes through the unit circuit 8 and becomes an image generation unit as a digital signal. Sent to 9.

画像生成部9は、ユニット回路8から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号(YUVデータ)を生成し、該生成された輝度色差信号の画像データはDRAM13(バッファメモリ)に記憶される。つまり、画像生成部9は、CCD5から出力された画像データに対して画像処理を施す。   The image generation unit 9 performs processing such as γ correction processing and white balance processing on the image data sent from the unit circuit 8, generates a luminance color difference signal (YUV data), and generates the generated luminance color difference. The image data of the signal is stored in the DRAM 13 (buffer memory). That is, the image generation unit 9 performs image processing on the image data output from the CCD 5.

CPU10は、CCD5への撮像制御、バッファメモリに記憶された画像データを圧縮してフラッシュメモリ14に記録する記録処理、バッファメモリに記憶された画像データの表示処理を行う機能を有するとともに、デジタルカメラ1の各部を制御するワンチップマイコンである。また、CPU10はクロック回路を含み、時刻を計時する機能を有する。   The CPU 10 has functions of performing imaging control on the CCD 5, recording processing for compressing image data stored in the buffer memory and recording it in the flash memory 14, and display processing for the image data stored in the buffer memory. 1 is a one-chip microcomputer for controlling each part of 1. The CPU 10 includes a clock circuit and has a function of measuring time.

特に、本実施の形態では、CPU10は、閾値を設定変更する閾値変更部101、画像データ内にある顔を検出する顔検出処理を行う顔検出部102、該検出された顔の笑顔の度合を示す笑顔評価値を算出する笑顔評価値算出部103、該算出された笑顔評価値が閾値以上になると自動撮影記録を行う自動撮影記録部104を有する。   In particular, in the present embodiment, the CPU 10 sets the threshold value changing unit 101 that changes the threshold value, the face detecting unit 102 that performs face detection processing for detecting a face in the image data, and the degree of smile of the detected face. A smile evaluation value calculation unit 103 that calculates a smile evaluation value to be shown, and an automatic shooting recording unit 104 that performs automatic shooting recording when the calculated smile evaluation value exceeds a threshold value.

この顔検出部102による顔検出処理は、周知技術なので詳しく説明しないが、例えば、予めメモリ12に記録されている一般的な人の顔の特徴データ(目、眉毛、鼻、口、耳等の特徴データ)と撮像された画像データとを比較照合することにより、撮像された該画像データの中に人の顔の画像データがあるか否かを検出する方法であってもよいし、他の方法であってもよい。   The face detection processing performed by the face detection unit 102 is a well-known technique and will not be described in detail. For example, general human face feature data (such as eyes, eyebrows, nose, mouth, ears) recorded in the memory 12 in advance is not described. (Feature data) and captured image data may be compared and collated to detect whether there is human face image data in the captured image data. It may be a method.

また、笑顔評価値算出部103は、顔検出部102により検出された顔と、予めメモリ12に記録されている複数の目、複数の眉、複数の口等の特徴データとを比較照合し、該検出された顔が、該記録されている複数の目、眉、口のうちどの目、眉、口と一致するかを判断し、一致すると判断された夫々の目、眉、口に対応する評価ポイントに基づいて該検出された顔の笑顔評価値を算出する。   The smile evaluation value calculation unit 103 compares and collates the face detected by the face detection unit 102 with feature data such as a plurality of eyes, a plurality of eyebrows, and a plurality of mouths recorded in advance in the memory 12, It is determined which of the plurality of recorded eyes, eyebrows, and mouths the detected face matches with each eye, eyebrow, and mouth that are determined to match. A smile evaluation value of the detected face is calculated based on the evaluation point.

ここで、メモリ12には、目、眉、口等の顔の構成要素毎に、複数の特徴データ及びそれに対応する評価ポイントが設定された笑顔テーブルが記録されている。つまり、複数の目の特徴データ、及び、各目の特徴データに対応する評価ポイント、複数の眉の特徴データ、及び、各眉の特徴データに対応する評価ポイント、複数の口の特徴データ、及び、各口の特徴データに対応する評価ポイントというように、目、眉、口等の顔の構成要素毎に、複数の特徴データ及びそれに対応する評価ポイントが記録されている。   Here, the memory 12 stores a smile table in which a plurality of feature data and evaluation points corresponding thereto are set for each face component such as eyes, eyebrows, and mouth. That is, a plurality of eye feature data, an evaluation point corresponding to each eye feature data, a plurality of eyebrow feature data, an evaluation point corresponding to each eyebrow feature data, a plurality of mouth feature data, and A plurality of feature data and corresponding evaluation points are recorded for each facial component such as eyes, eyebrows, and mouths, such as evaluation points corresponding to the feature data of each mouth.

ここで、各構成要素毎(目、眉、口毎)に、複数の特徴データが記録されているのは、大笑いしたときの顔の(笑い度合が高いときの顔の)、目、眉、口等の特徴データから、笑っていない顔の(笑い度合が一番低いときの顔の)、目、眉、口等の特徴データまで複数記録されているからである。
そして、大笑いしたときの顔の、目、眉、口等の特徴データに対応する評価ポイントが一番高く、笑い度合が低くなるにつれて、目、眉、口等の特徴データに対応する評価ポイントが下がり、笑っていないときの顔の目、眉、口等の特徴データに対応する評価ポイントが一番低い。
Here, a plurality of feature data is recorded for each component (for each eye, eyebrow, and mouth). The features of the face when laughing (the face when the degree of laughter is high), eyes, eyebrows, This is because a plurality of feature data such as the feature data of the mouth and the like, the feature data of the face not laughing (the face when the degree of laughter is the lowest), eyes, eyebrows, and mouth are recorded.
Then, the evaluation point corresponding to the feature data of the face, such as eyes, eyebrows, and mouths when the face laughs is the highest, and the evaluation point corresponding to the feature data of eyes, eyebrows, mouth, etc., as the degree of laughter decreases. The evaluation point corresponding to the feature data such as the eyes, eyebrows, and mouth of the face when not falling and laughing is the lowest.

図2は、メモリ12に記録されている笑顔テーブルの様子の一例を示す図である。ここでは、笑顔テーブルの中の、眉(左眉)と、口に関するものを示しているが、これ以外の構成要素(たとえば、目)も笑顔テーブルの中に設定されていることは言うまでもない。
図2を見ると、左眉の構成要素に、複数の眉の特徴データ、及びその評価ポイントが記録されており、口の構成要素に、複数の口の特徴データ、及びその評価ポイントが記録されているのがわかる。なお、言うまでもないが、評価ポイントが高いほど、笑顔の度合が高い特徴データである。
FIG. 2 is a diagram illustrating an example of a smile table recorded in the memory 12. Here, the eyebrow (left eyebrow) and the mouth in the smile table are shown, but it goes without saying that other components (for example, eyes) are also set in the smile table.
Referring to FIG. 2, a plurality of eyebrow feature data and evaluation points are recorded in the left eyebrow component, and a plurality of mouth feature data and evaluation points are recorded in the mouth component. I can see that Needless to say, the higher the evaluation point, the higher the degree of smile.

そして、検出された顔の領域の画像データと、該笑顔テーブルに設定されている目、眉、口等の各構成要件の複数の特徴データとを比較照合し、該検出された顔の各構成要件が、該設定されている各構成要件の特徴データのうち、どの目、どの眉、どの口等の特徴データと一致するかを判断し、該一致すると判断された目、眉、口等の特徴データにそれぞれ対応する評価ポイントに基づいて、笑顔評価値を算出する。   Then, the image data of the detected face area is compared with a plurality of feature data of each component such as eyes, eyebrows, and mouths set in the smile table, and each component of the detected face is compared. Judgment is made as to which feature data of which eye, eyebrow, which mouth, etc., among the feature data of each set component requirement, and the eye, eyebrow, mouth, etc. judged to match A smile evaluation value is calculated based on the evaluation points corresponding to the feature data.

この笑顔評価値の算出は、一致すると判断された目、眉、口等の各構成要件の特徴データに対応する評価ポイントを単に合算することにより算出するようにしてもよいし、各構成要件毎に係数を設け、一致すると判断された各構成要件の特徴データに対応する評価ポイントと、各構成要件の係数を乗算し、乗算後の各構成要件の特徴データに対応する評価ポイントを合算することにより算出するようにしてもよい。したがって、笑顔評価値は、笑いの度合が大きいほど(笑いが大きいほど)高くなり、笑いの度合が小さいほど(笑いが小さいほど)小さくなる。   The smile evaluation value may be calculated by simply adding the evaluation points corresponding to the feature data of each component such as eyes, eyebrows, and mouth that are determined to match, or for each component Is provided with a coefficient, and the evaluation point corresponding to the feature data of each component requirement determined to be matched is multiplied by the coefficient of each component requirement, and the evaluation point corresponding to the feature data of each component requirement after multiplication is added. You may make it calculate by. Accordingly, the smile evaluation value increases as the degree of laughter increases (the laughter increases), and decreases as the degree of laughter decreases (the laughter decreases).

また、自動撮影記録部104は、笑顔評価値算出部103により算出された笑顔評価値と現在設定されている閾値とを比較し、該笑顔評価値が該閾値以上である場合には笑顔であると判定し、静止画撮影処理を行い、該得られた静止画像データを圧縮して、フラッシュメモリ14に記録する。   In addition, the automatic photographing / recording unit 104 compares the smile evaluation value calculated by the smile evaluation value calculation unit 103 with the currently set threshold value, and when the smile evaluation value is equal to or greater than the threshold value, it is a smile. The still image shooting process is performed, and the obtained still image data is compressed and recorded in the flash memory 14.

キー入力部11は、半押し操作、全押し操作の2段階操作が可能なシャッタボタン、モード切替キー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU10に出力する。   The key input unit 11 includes a plurality of operation keys such as a shutter button that can be operated in two steps, a half-press operation and a full-press operation, and a mode switching key, and outputs an operation signal corresponding to the user's key operation to the CPU 10.

メモリ12には、CPU10の各部の制御に必要な制御プログラム、及び必要なデータ(顔検出処理に必要な顔の特徴データ、笑顔テーブル)が格納されており、CPU10は、該プログラムに従って動作する。   The memory 12 stores a control program necessary for controlling each part of the CPU 10 and necessary data (face feature data necessary for face detection processing, a smile table), and the CPU 10 operates according to the program.

DRAM13は、CCD5によってそれぞれ撮像された後、CPU10に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU10のワーキングメモリとして使用される。
フラッシュメモリ14は、CCD5によって撮像された画像データなどを保存しておく記録媒体である。
画像表示部15は、カラーLCDとその駆動回路を含み、撮影待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ14から読み出され、伸張された記録画像を表示させる。
The DRAM 13 is used as a buffer memory for temporarily storing image data sent to the CPU 10 after being imaged by the CCD 5 and also as a working memory for the CPU 10.
The flash memory 14 is a recording medium that stores image data captured by the CCD 5.
The image display unit 15 includes a color LCD and its driving circuit, and displays the subject imaged by the CCD 5 as a through image when in a shooting standby state, and is read out from the flash memory 14 and decompressed when a recorded image is reproduced. The recorded image is displayed.

B.デジタルカメラ1の動作
実施の形態におけるデジタルカメラ1の動作を図3のフローチャートにしたがって説明する。
ユーザのキー入力部11のモード切替キーの操作により笑顔自動撮影モードに設定されると、CPU10は、CCD5に所定のフレームレートで撮像させる処理を開始させ、CCD5により順次撮像され、DRAM13(バッファメモリ)に順次記憶された画像生成部9によって生成された輝度色差信号のフレーム画像データを、画像表示部15に表示させていくという、いわゆるスルー画像表示を開始させる(ステップS1)。
B. Operation of Digital Camera 1 The operation of the digital camera 1 in the embodiment will be described with reference to the flowchart of FIG.
When the smiling face automatic shooting mode is set by operating the mode switching key of the user's key input unit 11, the CPU 10 starts the process of causing the CCD 5 to take an image at a predetermined frame rate. The frame image data of the luminance / color difference signals generated by the image generation unit 9 sequentially stored in () is displayed on the image display unit 15 so-called through image display is started (step S1).

次いで、CPU10の閾値変更部101は、初期の閾値として所定値を設定する(ステップS2)。この所定値(初期値)とは、一般的、平均的な人、若しくは大多数の人が笑ったときに算出される笑顔評価値より高い値である。
次いで、CPU10は、ユーザによってシャッタボタンが半押しされたか否かを判断する(ステップS3)。この判断は、シャッタボタンの半押し操作に対応する操作信号がキー入力部11から送られてきたか否かにより判断する。
Next, the threshold value changing unit 101 of the CPU 10 sets a predetermined value as an initial threshold value (step S2). This predetermined value (initial value) is a value higher than a smile evaluation value calculated when a general, average person, or most people laugh.
Next, the CPU 10 determines whether or not the shutter button is half-pressed by the user (step S3). This determination is made based on whether or not an operation signal corresponding to a half-press operation of the shutter button is sent from the key input unit 11.

ステップ3で、シャッタボタンが半押しされていないと判断すると、半押しされるまでステップS3に留まり、シャッタボタンが半押しされたと判断すると、CPU10は、ユーザがシャッタボタンの半押しを解除したか否かを判断する(ステップS4)。この判断は、キー入力部11からシャッタボタンの操作に対応する操作信号が送られてこなくなったか否かにより判断する。   If it is determined in step 3 that the shutter button is not half-pressed, it remains in step S3 until it is half-pressed. If it is determined that the shutter button is half-pressed, the CPU 10 determines whether the user has released the shutter button half-press. It is determined whether or not (step S4). This determination is made based on whether or not an operation signal corresponding to the operation of the shutter button is not sent from the key input unit 11.

ステップS4で、半押しが解除されたと判断されると、CPU10は、現在設定されている閾値が初期値であるか否かを判断する(ステップS5)。
ステップS5で、現在設定されている閾値が初期値であると判断するとステップS3に戻り、ステップS5で、現在設定されている閾値が初期値でないと判断するとステップS2に戻る。
一方、ステップS4で、シャッタボタンの半押しが解除されていないと判断すると、CPU10の顔検出部102は、直近に撮像されたフレーム画像データ内にある顔を検出する顔検出処理を行う(ステップS6)。
If it is determined in step S4 that the half-press has been released, the CPU 10 determines whether or not the currently set threshold value is an initial value (step S5).
If it is determined in step S5 that the currently set threshold is an initial value, the process returns to step S3. If it is determined in step S5 that the currently set threshold is not an initial value, the process returns to step S2.
On the other hand, if it is determined in step S4 that the half-press of the shutter button has not been released, the face detection unit 102 of the CPU 10 performs face detection processing for detecting a face in the most recently captured frame image data (step S4). S6).

次いで、CPU10の笑顔評価値算出部103は、該顔検出処理により検出された顔の領域の画像データと笑顔テーブルとを用いて、該検出された顔の笑顔評価値を算出する(ステップS7)。
次いで、CPU10は、該算出された笑顔評価値と現在設定されている閾値を比較し、該笑顔評価値が閾値以上であるか否かを判断する(ステップS8)。この笑顔評価値が閾値以上になると笑顔と判定することになる。
Next, the smile evaluation value calculation unit 103 of the CPU 10 calculates the smile evaluation value of the detected face by using the image data of the face area detected by the face detection process and the smile table (step S7). .
Next, the CPU 10 compares the calculated smile evaluation value with the currently set threshold value, and determines whether or not the smile evaluation value is equal to or greater than the threshold value (step S8). When this smile evaluation value is equal to or greater than the threshold value, it is determined that the face is a smile.

ステップS8で、笑顔評価値が閾値以上でないと判断すると、CPU10は、一定時間が経過したか否かを判断する(ステップS9)。この一定時間が経過したとは、後述する自動撮影が行われていない場合は、直近のシャッタボタン半押し時からの経過時間のことをいい、後述する自動撮影が行われた場合は、直近の自動撮影記録の終了時からの経過時間のことをいう。   If it is determined in step S8 that the smile evaluation value is not equal to or greater than the threshold value, the CPU 10 determines whether or not a predetermined time has elapsed (step S9). When the automatic shooting described later is not performed, this fixed time has elapsed since the most recent halfway pressing of the shutter button, and when the automatic shooting described later is performed, This is the elapsed time from the end of automatic shooting recording.

ステップS9で、一定時間が経過していないと判断すると、ステップS4に戻り、ステップS9で、一定時間が経過したと判断すると、CPU10は、現在設定されている閾値が最低値であるか否かを判断する(ステップS10)。
ステップS10で、現在設定されている閾値が最低値であると判断するとステップS4に戻り、ステップS10で現在設定されている閾値が最低値でないと判断すると、CPU10の閾値変更部101は、現在設定されている閾値の値を下げて(ステップS11)、ステップS4に戻る。
このように、シャッタボタンが半押し状態が一定時間経過した後の経過時間に応じて、設定される閾値が徐々に下がっていき、最終的に閾値は、最低値まで下がることになる。
If it is determined in step S9 that the predetermined time has not elapsed, the process returns to step S4. If it is determined in step S9 that the predetermined time has elapsed, the CPU 10 determines whether or not the currently set threshold value is the minimum value. Is determined (step S10).
If it is determined in step S10 that the currently set threshold value is the lowest value, the process returns to step S4. If it is determined in step S10 that the currently set threshold value is not the lowest value, the threshold value changing unit 101 of the CPU 10 The threshold value that has been set is lowered (step S11), and the process returns to step S4.
As described above, the set threshold value gradually decreases according to the elapsed time after the shutter button has been half-pressed for a certain period of time, and finally the threshold value decreases to the lowest value.

図4(A)は、経過時間に応じて設定変更される閾値の様子の一例を示す図である。
図4(A)を見ると、自動撮影記録が終了時(自動撮影記録が行われていない場合はシャッタボタン半押し時)から一定時間が経過するまでは閾値は所定値(初期値)となっており、一定時間が経過すると閾値は下がっていき、最終的に閾値は最低値となる。この所定値、最低値は、予め決められている値であってもよいし、ユーザが任意に設定することができるようにしてもよい。
FIG. 4A is a diagram illustrating an example of a state of a threshold that is changed according to elapsed time.
As shown in FIG. 4A, the threshold value is a predetermined value (initial value) until a predetermined time elapses after the automatic shooting / recording ends (when the shutter button is half-pressed when automatic shooting / recording is not performed). The threshold value decreases after a certain period of time, and finally the threshold value becomes the lowest value. The predetermined value and the minimum value may be predetermined values or may be arbitrarily set by the user.

このように、自動撮影が行われるまで(笑顔と判定されるまで)、閾値を下げていくので、いくら笑っても笑顔評価値が低い人であっても、笑顔であると判定して自動撮影を行うことができる。また、笑顔自動撮影モードに設定されているのだから、被写体は笑おうとしているのが通常であるが、なかなか笑顔と判定できずに自動撮影が行われないといった不具合を是正することができる。
また、頑張って笑ってもその笑い度合が低い人に対しても笑顔と判定することができ、該人も自分の笑顔に安心し、また、笑顔自動撮影モードで笑うことができるとともに、苛めの対象となることもない。
In this way, the threshold value is lowered until automatic shooting is performed (until it is determined to be a smile), so even if a person has a low smile evaluation value, no matter how much they laugh, it is determined that they are smiling It can be performed. In addition, since the automatic smile shooting mode is set, it is possible to correct the problem that the subject is usually trying to laugh, but it is difficult to determine that the subject is smiling and automatic shooting is not performed.
In addition, even if you try hard and laugh, you can determine that a person with a low level of laughter is also smiling, and that person can rest assured of her smile and laugh in the automatic smile shooting mode. There is no target.

また、いくら笑ってもその笑い度合が低い人でも笑っていると判断できるような値を所定値にしないので、一般的、平均的な人、若しくは大多数の人が笑ってもいないのに笑っていると判断されることもない。
また、人によっては、普通にしたときの顔が笑い顔の人もいるが、最初は閾値を所定値(高めの値)に設定しておくので、該笑い顔の人が笑っていないのに自動撮影が行われるという弊害を防止することができ、該笑い顔の人が笑ったときの顔を自動撮影することができる。
Also, no matter how much you laugh, people who are low in laughter do not set a value that can be judged as laughing, so even if the average, average, or the majority of people do not laugh It is not judged to be.
Also, some people have a laughing face when they are normal, but initially the threshold is set to a predetermined value (a higher value), so the person with the laughing face is not laughing. It is possible to prevent the adverse effect of automatic photographing, and it is possible to automatically photograph the face when the person with the laughing face laughs.

なお、このステップS4〜ステップS11の動作は、次のフレーム画像データが撮像されてバッファメモリに記憶されるまでの間に行うものとする。つまり、撮像されたフレーム画像データ毎に、顔検出、笑顔評価値を算出し、自動撮影を行うか否かの判断、閾値の変更等を行う。   The operations in steps S4 to S11 are performed until the next frame image data is captured and stored in the buffer memory. In other words, face detection and smile evaluation values are calculated for each captured frame image data, and it is determined whether or not automatic shooting is performed, a threshold value is changed, and the like.

図3のフローチャートに戻り、ステップS8で、該算出された笑顔評価値が現在設定されている閾値以上であると判断すると、CPU10の自動撮影記録部104は、スルー画像表示を停止して静止画撮影処理を行い、該撮影処理により得られた静止画像データを圧縮してフラッシュメモリ14に記録する(ステップS12)。   Returning to the flowchart of FIG. 3, if it is determined in step S8 that the calculated smile evaluation value is greater than or equal to the currently set threshold value, the automatic shooting / recording unit 104 of the CPU 10 stops displaying the through image and displays a still image. A shooting process is performed, and still image data obtained by the shooting process is compressed and recorded in the flash memory 14 (step S12).

次いで、CPU10、スルー画像表示を開始(再開)し(ステップS13)、CPU10は、現在設定されている閾値が初期値であるか否かを判断する(ステップS14)。
ステップS14で、現在設定されている閾値が初期値であると判断するとそのままステップS4に戻り、ステップS14で、現在設定されている閾値が初期値でないと判断すると、CPU10の閾値変更部101は、現在設定されている閾値を初期値(所定値)に設定変更して(ステップS15)、ステップS4に戻る。勿論、ステップS9で一定時間が経過したと判断される前にステップS8で笑顔評価値が現在設定されている閾値以上であると判断された場合は、ステップS4に戻ることになる。
このように、自動撮影を行うと、閾値を初期値に変更するので、一度自動撮影が行われると、該撮影された顔が次々と連続して自動撮影されてしまうという不具合を是正することができる。
Next, the CPU 10 starts (restarts) the through image display (step S13), and the CPU 10 determines whether or not the currently set threshold value is an initial value (step S14).
If it is determined in step S14 that the currently set threshold is the initial value, the process directly returns to step S4. If it is determined in step S14 that the currently set threshold is not the initial value, the threshold changing unit 101 of the CPU 10 The threshold value currently set is changed to the initial value (predetermined value) (step S15), and the process returns to step S4. Of course, if it is determined in step S8 that the smile evaluation value is greater than or equal to the currently set threshold value before it is determined in step S9 that the predetermined time has elapsed, the process returns to step S4.
In this way, when automatic shooting is performed, the threshold value is changed to the initial value, so that once the automatic shooting is performed, it is possible to correct a problem that the shot face is automatically shot one after another. it can.

以上のように、実施の形態においては、自動撮影が行われるまで(笑顔と判定されるまで)、閾値を下げていくので、いくら笑っても笑顔の評価値が低い人であっても、笑顔であると判定して自動撮影を行うことができ、顔が笑っている画像を撮影することができる。また、笑顔自動撮影モードに設定されているのだから、被写体は笑おうとしているのが通常であるが、なかなか笑顔と判定できずに自動撮影が行われないといった不具合を是正することができる。   As described above, in the embodiment, the threshold value is lowered until automatic shooting is performed (until it is determined that a smile is made). Therefore, it is possible to perform automatic shooting and to shoot an image with a smiling face. Further, since the automatic smile shooting mode is set, it is possible to correct a problem that the subject is usually trying to laugh, but it is difficult to determine that the subject is smiling and automatic shooting is not performed.

また、いくら笑ってもその笑い度合が低い人でも笑っていると判断できるような値を最初の閾値(所定値)にしないので、一般的、平均的な人、若しくは大多数の人が笑ってもいないのに笑っていると判断されることもない。
また、人によっては、普通にしたときの顔が笑い顔の人もいるが、最初は閾値を所定値(高めの値)に設定しておくので、該笑い顔の人が笑っていないのに自動撮影が行われるという弊害を防止することができ、該笑い顔の人が笑ったときの顔を自動撮影することができる。
また、オートシャッタボタンが半押しされた状態(自動撮影記録が行われた場合は、自動撮影記録終了時)からの経過時間に応じて閾値を下げるようにしたので、これから自動撮影を行なうという準備状態になってから、なかなか笑顔と判定できずに自動撮影が行われないといった不具合を是正することができる。
In addition, since the threshold value (predetermined value) that can be judged that even a person with a low laughter level is laughing is not set as the initial threshold (predetermined value), the average person or the majority of people laugh It is not judged that it is laughing though it is not.
Also, some people have a laughing face when they are normal, but initially the threshold is set to a predetermined value (a higher value), so the person with the laughing face is not laughing. It is possible to prevent the adverse effect of automatic photographing, and it is possible to automatically photograph the face when the person with the laughing face laughs.
In addition, since the threshold value is lowered according to the elapsed time from the state where the auto shutter button is pressed halfway (when automatic shooting recording is performed, at the end of automatic shooting recording), preparations for automatic shooting from now on are made. After entering the state, it is possible to correct such a problem that it is difficult to determine that it is a smile and automatic shooting is not performed.

[変形例]
C.上記実施の形態は、以下のような変形例も可能である。
(01)上記実施の形態においては、笑顔テーブルに、目、眉、口等の各構成要素毎に複数の特徴データとそれに対応付けた評価ポイントを設定き、該設定された特徴データと検出された顔の領域の画像データと比較して笑顔評価値を算出するようにしたが、大笑いしたときの顔の目、眉、口等の各構成要素の特徴データのみを設定しておき、検出された顔の目、眉等の各構成要素と、設定されている各構成要素の特徴データとを比較して、各構成要素毎にその一致度を求めて笑顔評価値を算出するようにしてもよいし、単純に白い歯が多く見えていればいるほど笑顔評価値を高くするようにしてもよいし、他の方法よって笑顔評価値を算出するようにしてもよい。
[Modification]
C. The above-described embodiment can be modified as follows.
(01) In the above embodiment, a plurality of feature data and evaluation points associated with each component such as eyes, eyebrows, and mouth are set in the smile table, and the set feature data is detected. The smile evaluation value is calculated by comparing with the image data of the face area, but only the feature data of each component such as the eyes, eyebrows, and mouth of the face when laughing is set and detected. Compare each component such as eyes and eyebrows with the feature data of each configured component, and calculate the smile evaluation value by calculating the degree of coincidence for each component The smile evaluation value may be simply increased as more white teeth are visible, or the smile evaluation value may be calculated by another method.

(02)また、上記実施の形態においては、図3のステップS9での一定時間が経過したとは、自動撮影が行われていない場合は、シャッタボタン半押し時からの経過時間のことを指したが、自動撮影が行われていない場合は、笑顔自動撮影モードの設定時からの経過時間であってもよい。   (02) In the above embodiment, the fact that the fixed time has elapsed in step S9 in FIG. 3 indicates the elapsed time from when the shutter button is half-pressed when automatic shooting is not performed. However, when automatic shooting is not performed, the elapsed time from the setting of the smile automatic shooting mode may be used.

(03)また、上記実施の形態においては、図3のステップS9で、一定時間が経過したか否かの判断を行うようにしたが、ステップS9の動作を無くすようにしてもよい。つまり、ステップS8で、笑顔評価値が閾値以上でないと判断すると、そのままステップS10に進むことになる。この場合は、一定時間の経過にかかわらず、時間の経過とともに閾値が下がっていくことになる。   (03) In the above embodiment, it is determined in step S9 in FIG. 3 whether or not a predetermined time has elapsed. However, the operation in step S9 may be eliminated. That is, if it is determined in step S8 that the smile evaluation value is not equal to or greater than the threshold value, the process proceeds directly to step S10. In this case, the threshold value decreases with the passage of time regardless of the passage of a fixed time.

(04)また、上記実施の形態においては、閾値が所定値から最低値に下がるまでの時間について特に触れていなかったが、ユーザがこの時間を任意に変えられるようにしてもよい。   (04) In the above embodiment, the time until the threshold value is lowered from the predetermined value to the minimum value is not particularly mentioned. However, the user may arbitrarily change this time.

(05)また、上記実施の形態においては、閾値が所定値から一定の角度(減少率)で所定値まで下がるようにしたが、つまり、所定値と最低値との2つの値と経過時間に応じて、閾値が下がっていくようにしたが、段階的に下がるようにしてもよい。
図4(B)は、本変形例における経過時間に応じて設定変更される閾値の様子の一例を示す図である。
図を見るとわかるように、一定時間が経過すると、一定の値だけ閾値が下がり、また、所定の時間が経過すると、一定の値だけ、下がるというように、段階的に閾値を変更していくようにしてもよい。
なお、閾値の下がり方は、これらに限られず、要は時間とともに閾値が下がるものであればよい。
(05) In the above embodiment, the threshold value is lowered from the predetermined value to the predetermined value at a constant angle (decrease rate). That is, the two values of the predetermined value and the minimum value and the elapsed time are used. Accordingly, the threshold value is lowered, but may be lowered step by step.
FIG. 4B is a diagram illustrating an example of the state of the threshold value that is changed according to the elapsed time in the present modification.
As can be seen from the figure, the threshold value is changed step by step so that the threshold value decreases by a certain value when a certain time elapses, and decreases by a certain value after a predetermined time has elapsed. You may do it.
Note that the method for lowering the threshold value is not limited to these, and it is sufficient that the threshold value decreases with time.

(06)また、上記実施の形態においては、所定値を、一般的、平均的な人、若しくは大多数の人が笑ったときの笑顔評価値より高い値であるようにしたが、所定値を、一般的、平均的な人、若しくは大多数の人が笑ったときの笑顔評価値以下の値であるようにしてもよい。これにより、笑顔と判定して自動撮影を行うタイムラグを少なくすることができる。
この場合は、もともと笑い顔の人は笑ってもいないのに笑顔と判定された自動撮影が行われてしまう可能性もありうるが、そのような人は少ないので、一般的、平均的な人、若しくは大多数の人が笑った時に直ちに笑顔と判定することができ、自動撮影を行うことができる。また、笑っても笑顔の度合が小さい人も少ないタイムラグで笑った顔と判定して自動撮影を行うことができることは言うまでもない。
(06) In the above embodiment, the predetermined value is set to be higher than the smile evaluation value when a general, average person, or most people laugh. It may be set to a value equal to or lower than the smile evaluation value when a general, average person, or most people laugh. As a result, it is possible to reduce the time lag for performing automatic shooting based on a smile.
In this case, there is a possibility that a person with a laughing face does not laugh but an automatic shooting that is determined to be a smile may be performed, but there are few such people, so a general, average person Or, when the majority of people laugh, it can be immediately determined that they are smiling, and automatic shooting can be performed. In addition, it goes without saying that even if a person laughs, a person with a small smile level can determine that the face is a laughed face with a small time lag and perform automatic shooting.

(07)また、上記実施の形態においては、図3のステップS15で、閾値を所定値に設定する(初期値に戻す)ようにしたが、現在設定されている閾値を一定の値分だけ高くした閾値に設定変更するようにしてもよい。これによっても、一度自動撮影が行われると、該撮影された顔が次々と連続して自動撮影してしまうという不具合を是正することができる。なお、本変形例は、上記変形例(6)のような場合に特に有効なものとなる。   (07) In the above embodiment, the threshold value is set to a predetermined value (returned to the initial value) in step S15 of FIG. 3, but the currently set threshold value is increased by a certain value. The setting may be changed to the threshold value. Also by this, once automatic photographing is performed, it is possible to correct a problem that the photographed face is continuously automatically photographed one after another. This modification is particularly effective in the case of the modification (6).

(08)また、上記実施の形態においては、所定値を、一般的、平均的な人、若しくは大多数の人が笑ったときの笑顔評価値より高い値であるようにしたが、所定値を、一般的、平均的な人、若しくは大多数の人が笑ったときの笑顔評価値とし、算出された笑顔評価値が該所定値よりは小さいが、該所定値と一定の範囲内にある状態が一定の時間続いた場合に、一度だけ閾値を一定量だけ一気に下げるようにしてもよい。つまり、時間の経過とともに閾値を下げるのではなく、一度だけ閾値を一定量だけ一気に下げる。
ここで、閾値を一気に下げる一定量とは、該所定値と一定の範囲内にあると判断された笑顔評価値が閾値以上となるような量である。つまり、所定値と一定範囲内にある笑顔評価値は、閾値の下げによって笑顔と判定されることになる。
これによっても、いくら笑っても笑顔の評価値が低い人であっても、笑顔であると判定して自動撮影を行うことができる。また、笑顔自動撮影モードに設定されているのだから、被写体は笑おうとしているのが通常であるが、なかなか笑顔と判定できずに自動撮影が行われないといった不具合を是正することができる。
(08) In the above embodiment, the predetermined value is higher than the smile evaluation value when a general, average person, or most people laugh, but the predetermined value is A smile evaluation value when a general, average person, or a majority of people laugh, and the calculated smile evaluation value is smaller than the predetermined value but within a predetermined range with the predetermined value If the threshold value continues for a certain period of time, the threshold value may be lowered once by a certain amount. In other words, the threshold value is not lowered as time passes, but the threshold value is lowered once by a certain amount.
Here, the fixed amount that lowers the threshold value at a stroke is an amount such that the smile evaluation value determined to be within a predetermined range from the predetermined value is equal to or greater than the threshold value. That is, a smile evaluation value within a certain range with a predetermined value is determined to be a smile by lowering the threshold value.
In this way, even if a person laughs no matter how much he / she laughs, he / she can determine that he / she is smiling and perform automatic shooting. Further, since the automatic smile shooting mode is set, it is possible to correct a problem that the subject is usually trying to laugh, but it is difficult to determine that the subject is smiling and automatic shooting is not performed.

なお、算出された笑顔評価値が、該所定値と一定範囲内にある状態が一定時間続いた場合は、経過時間とともに閾値を下げていくようにしてもよい。これによっても、いくら笑っても笑顔の評価値が低い人であっても、笑顔であると判定して自動撮影を行うことができる。また、笑顔自動撮影モードに設定されているのだから、被写体は笑おうとしているのが通常であるが、なかなか笑顔と判定できずに自動撮影が行われないといった不具合を是正することができる。   Note that when the calculated smile evaluation value is within a certain range with the predetermined value, the threshold value may be lowered along with the elapsed time. In this way, even if a person laughs no matter how much he / she laughs, he / she can determine that he / she is smiling and perform automatic shooting. Further, since the automatic smile shooting mode is set, it is possible to correct a problem that the subject is usually trying to laugh, but it is difficult to determine that the subject is smiling and automatic shooting is not performed.

(09)また、上記実施の形態においては、図3のステップS8で、笑顔評価値が閾値以上であると判断されると、ステップS12で静止画撮影記録処理を行うようにしたが、笑顔評価値が閾値以上であると判断されると、直近に撮像されたフレーム画像データを静止画像データとして記録するようにしてもよい。
これによっても、笑っている人を、笑顔と判断して自動的に記録を行うことができ、顔が笑っている画像データを記録することができる。
(09) In the above embodiment, when it is determined in step S8 in FIG. 3 that the smile evaluation value is greater than or equal to the threshold value, still image shooting and recording processing is performed in step S12. If it is determined that the value is greater than or equal to the threshold value, the most recently captured frame image data may be recorded as still image data.
This also makes it possible to automatically record a person who is smiling as a smile, and to record image data with a smiling face.

(10)また、上記実施の形態においては、笑顔評価値が閾値以上になると自動撮影記録を行う場合を例にして説明したが、他の条件によって自動撮影記録を行う場合についても適用可能である。
他の条件によって自動撮影記録を行う場合としては、例えば、画像のブレを検出し、画像のブレの小ささ、又は画像のブレの大きさを示すブレ評価値が閾値以上になると自動撮影記録を行う場合や、顔を検出し、顔評価値が閾値以上になると自動撮影記録を行う場合等がある。ここで、画像のブレの小ささを示すブレ評価値は、ブレが小さいほど高くなり、画像のブレの大きさを示すブレ評価値は画像のブレが大きいほどが高くなり、顔評価値が高いほど顔である確率が高くなる。
そして、一定時間経過しても評価値が閾値以上とならない場合は、該閾値を下るようにする。
要は、自動撮影を行うか否かの条件となる笑顔評価値やブレ評価値、顔評価値等の評価値が閾値以上になると自動撮影記録を行うというものにおいて、時間の経過とともに閾値を変更するものであればよい。
これにより、画像のブレが少なくなったら、又は、ブレが大きくなったら、又は顔が検出されたら自動撮影記録を行うものにおいても、なかなか自動撮影記録が行われないといった不具合を是正することができる。
(10) In the above embodiment, the case where automatic shooting recording is performed when the smile evaluation value is equal to or greater than the threshold value has been described as an example. However, the present invention is also applicable to the case where automatic shooting recording is performed under other conditions. .
For example, when automatic shooting and recording is performed under other conditions, automatic shooting and recording is performed when blurring of an image is detected and the blur evaluation value indicating the blurring of the image or the blurring of the image is equal to or greater than a threshold value. In some cases, a face is detected, and when a face evaluation value exceeds a threshold value, automatic shooting and recording are performed. Here, the blur evaluation value indicating the blur of the image is higher as the blur is smaller, and the blur evaluation value indicating the magnitude of the blur of the image is higher as the blur of the image is higher, and the face evaluation value is higher. The probability of being a face increases.
If the evaluation value does not exceed the threshold value even after a certain period of time has elapsed, the threshold value is lowered.
In short, automatic shooting recording is performed when the evaluation value such as smile evaluation value, blur evaluation value, face evaluation value, etc., which is the condition for whether or not to perform automatic shooting, exceeds the threshold, and the threshold is changed over time Anything to do.
As a result, it is possible to correct the problem that automatic shooting / recording is not performed easily even when the image blurring is reduced, or when the blurring is increased, or when automatic shooting / recording is performed when a face is detected. .

(11)また、上記実施の形態においては、閾値を初期値に設定し、笑顔評価値が閾値以上とならない間は、時間の経過とともに閾値を下げるようにしたが、逆に時間の経過とともに閾値を上げていくようにしてもよい。この場合、笑顔評価値が閾値以下になると自動撮影を行うようにする。つまり、笑顔評価値が閾値以下となるまで時間の経過とともに閾値を上げていき、笑顔評価値が閾値以下となると自動撮影記録を行う。
また、算出された笑顔評価値が該所定値よりは大きいが、該所定値と一定の範囲内にある状態が一定の時間続いた場合に、一度だけ閾値を一定量だけ一気に上げるようにしてもよい。つまり、時間の経過とともに閾値を上げるのではなく、一度だけ閾値を一定量だけ一気に上げる。ここで、閾値を一気に上げる一定量とは、該所定値と一定の範囲内にあると判断された笑顔評価値が閾値以下となるような量である。つまり、所定値と一定範囲内にある笑顔評価値は、閾値の上げによって笑顔でないと判定されることになる。
このように、閾値を上げる場合は、特に、証明写真等の笑っていない顔を撮影する場合に特に有効である。
なお、本変形例の場合は、所定値は予め低い値である必要がある。
(11) In the above embodiment, the threshold value is set to an initial value, and the threshold value is lowered as time passes while the smile evaluation value is not equal to or greater than the threshold value. You may make it raise. In this case, automatic shooting is performed when the smile evaluation value is less than or equal to the threshold value. In other words, the threshold value is raised with the lapse of time until the smile evaluation value becomes equal to or less than the threshold value, and automatic shooting and recording is performed when the smile evaluation value becomes equal to or less than the threshold value.
In addition, when the calculated smile evaluation value is larger than the predetermined value but stays within the predetermined range with the predetermined value for a certain period of time, the threshold value may be increased only once by a certain amount. Good. That is, the threshold value is not increased as time passes, but the threshold value is increased only once by a certain amount. Here, the certain amount that raises the threshold value at a stroke is an amount such that the smile evaluation value determined to be within a certain range from the predetermined value is equal to or less than the threshold value. That is, a smile evaluation value within a certain range with a predetermined value is determined not to be a smile by raising the threshold value.
Thus, raising the threshold value is particularly effective when photographing a face that is not laughing, such as an ID photo.
In the case of this modification, the predetermined value needs to be a low value in advance.

(12)また、上記(01)〜(11)を任意に組み合わせた実施の形態に変更するようにしてもよい。   (12) Moreover, you may make it change into embodiment which combined said (01)-(11) arbitrarily.

(13)また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
(13) The above embodiments of the present invention are merely examples as the best embodiments, and are described in order to better understand the principle and structure of the present invention. And is not intended to limit the scope of the appended claims.
Therefore, it should be understood that all the various variations and modifications that can be made to the above-described embodiments of the present invention are included in the scope of the present invention and protected by the appended claims.

最後に、上記実施の形態においては、本発明の撮像装置をデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、自動撮像することができる機器であれば適用可能である。   Finally, in the above embodiment, the case where the imaging apparatus of the present invention is applied to the digital camera 1 has been described. However, the present invention is not limited to the above embodiment, and in short, automatic imaging can be performed. Any device can be applied.

本発明の実施の形態のデジタルカメラ1のブロック図である。1 is a block diagram of a digital camera 1 according to an embodiment of the present invention. メモリ12に記録されている笑顔テーブルの様子の一例を示す図である。It is a figure which shows an example of the mode of the smile table recorded on the memory. 実施の形態のデジタルカメラ1の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the digital camera 1 of embodiment. 経過時間に応じて設定変更される閾値の様子の一例を示す図である。It is a figure which shows an example of the mode of the threshold value changed according to elapsed time.

符号の説明Explanation of symbols

1 デジタルカメラ
2 撮影レンズ
3 レンズ駆動ブロック
5 CCD
6 ドライバ
7 TG
8 ユニット回路
9 画像生成部
10 CPU
11 キー入力部
12 メモリ
13 DRAM
14 フラッシュメモリ
15 画像表示部
16 バス
1 Digital Camera 2 Photo Lens 3 Lens Drive Block 5 CCD
6 Driver 7 TG
8 Unit circuit 9 Image generator 10 CPU
11 Key input section 12 Memory 13 DRAM
14 Flash memory 15 Image display unit 16 Bus

Claims (10)

撮像素子と、
前記撮像素子を用いて周期的に被写体を撮像する撮像制御手段と、
所定のタイミングからの経過時間に応じて閾値を変更する第1の閾値変更手段と、
前記撮像制御手段により撮像された画像データに基づいて画像評価値を算出する算出する算出手段と、
前記算出手段により算出された画像評価値が前記閾値以上又は閾値以下となったときに前記撮像素子により撮像された画像データを自動的に記録する自動記録制御手段と、
を備えたことを特徴とする撮像装置。
An image sensor;
Imaging control means for periodically imaging a subject using the imaging element;
First threshold value changing means for changing the threshold value according to an elapsed time from a predetermined timing;
A calculating unit that calculates an image evaluation value based on image data captured by the imaging control unit;
Automatic recording control means for automatically recording image data picked up by the image pickup device when the image evaluation value calculated by the calculating means is equal to or higher than the threshold value or lower than the threshold value;
An imaging apparatus comprising:
前記画像評価値は、
笑顔評価値であることを特徴とする請求項1記載の撮像装置。
The image evaluation value is
The imaging apparatus according to claim 1, wherein the imaging apparatus is a smile evaluation value.
前記第1の閾値変更手段は、
自動撮影モード設定時、又は、シャッタ半押し時からの経過時間に応じて前記閾値を変更することを特徴とする請求項1又は2記載の撮像装置。
The first threshold value changing means includes
The imaging apparatus according to claim 1, wherein the threshold value is changed according to an elapsed time from when the automatic photographing mode is set or when the shutter is half-pressed.
前記第1の閾値変更手段は、
前記算出手段により算出された画像評価値が、現在の閾値に対して所定の範囲内にある状態の経過時間に応じて、前記閾値を変更することを特徴とする請求項1又は2記載の撮像装置。
The first threshold value changing means includes
3. The imaging according to claim 1, wherein the threshold value is changed according to an elapsed time of a state in which the image evaluation value calculated by the calculation unit is within a predetermined range with respect to a current threshold value. apparatus.
前記第1の閾値変更手段は、
所定のタイミングからの経過時間に応じて前記閾値を下げる又は上げることを特徴とする請求項1乃至4の何れかに記載の撮像装置。
The first threshold value changing means includes
The imaging apparatus according to claim 1, wherein the threshold value is lowered or raised according to an elapsed time from a predetermined timing.
前記自動記録制御手段による記録に応答して、前記閾値を変更する第2の閾値変更手段を備えたことを特徴とする請求項1乃至5の何れかに記載の撮像装置。 6. The imaging apparatus according to claim 1, further comprising second threshold value changing means for changing the threshold value in response to recording by the automatic recording control means. 前記第2の閾値変更手段は、
前記自動記録制御手段による記録に応答して、前記閾値を、前記第1の閾値変更手段による変更前の閾値である初期値に変更することを特徴とする請求項6記載の撮像装置。
The second threshold value changing means includes
The imaging apparatus according to claim 6, wherein the threshold value is changed to an initial value that is a threshold value before being changed by the first threshold value changing unit in response to recording by the automatic recording control unit.
前記第2の閾値変更手段は、
前記自動記録制御手段による記録に応答して、前記閾値を一定値分だけ変更することを特徴とする請求項6記載の撮像装置。
The second threshold value changing means includes
The imaging apparatus according to claim 6, wherein the threshold value is changed by a predetermined value in response to recording by the automatic recording control unit.
前記自動記録制御手段は、
前記算出手段により算出された画像評価値が前記閾値以上又は閾値以下となったときに、前記撮像素子を用いて静止画撮像を行う手段を含み、該静止画撮像にされた画像データを記録することを特徴とすることを特徴とする請求項1乃至8の何れかに記載の撮像装置。
The automatic recording control means includes
When the image evaluation value calculated by the calculation unit is equal to or greater than the threshold value or less than the threshold value, the image sensor includes a unit that captures a still image using the imaging element, and records the image data that has been captured. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized in that
撮像素子を備えたコンピュータを、
前記撮像素子を用いて周期的に被写体を撮像する撮像制御手段、
所定のタイミングからの経過時間に応じて閾値を変更する第1の閾値変更手段、
前記撮像制御手段により撮像された画像データに基づいて画像評価値を算出する算出する算出手段、
前記算出手段により算出された画像評価値が前記閾値以上又は閾値以下となったときに前記撮像素子により撮像された画像データを自動的に記録する自動記録制御手段、
として機能させることを特徴とするプログラム。
A computer equipped with an image sensor
Imaging control means for periodically imaging a subject using the imaging element;
First threshold value changing means for changing the threshold value according to an elapsed time from a predetermined timing;
A calculating unit that calculates an image evaluation value based on image data captured by the imaging control unit;
Automatic recording control means for automatically recording image data picked up by the image pickup device when the image evaluation value calculated by the calculating means is equal to or higher than the threshold value or lower than the threshold value;
A program characterized by functioning as
JP2008021954A 2008-01-31 2008-01-31 Imaging apparatus and its program Pending JP2009182880A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008021954A JP2009182880A (en) 2008-01-31 2008-01-31 Imaging apparatus and its program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008021954A JP2009182880A (en) 2008-01-31 2008-01-31 Imaging apparatus and its program

Publications (2)

Publication Number Publication Date
JP2009182880A true JP2009182880A (en) 2009-08-13
JP2009182880A5 JP2009182880A5 (en) 2011-03-10

Family

ID=41036461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008021954A Pending JP2009182880A (en) 2008-01-31 2008-01-31 Imaging apparatus and its program

Country Status (1)

Country Link
JP (1) JP2009182880A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011039964A1 (en) * 2009-09-30 2011-04-07 パナソニック株式会社 Photography device, photography method, and program
JP2014039241A (en) * 2012-08-15 2014-02-27 Fuji Xerox Co Ltd Device, method, and program for analyzing preliminary image
US9014475B2 (en) 2012-04-10 2015-04-21 Olympus Imaging Corp. Image pickup apparatus and photographing method of image pickup apparatus
WO2019171542A1 (en) * 2018-03-08 2019-09-12 三菱電機株式会社 Face image generation device and face image generation program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294498A (en) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd Automatic photographing system
JP2005208454A (en) * 2004-01-26 2005-08-04 Konica Minolta Photo Imaging Inc Photographing system, photographing method and program
JP2006237803A (en) * 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc Imaging system, photographic studio, and control method of imaging system
JP2007165947A (en) * 2005-12-09 2007-06-28 Fujifilm Corp Imaging device, backlight correcting device for object image, target image detecting device, and control method of these

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004294498A (en) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd Automatic photographing system
JP2005208454A (en) * 2004-01-26 2005-08-04 Konica Minolta Photo Imaging Inc Photographing system, photographing method and program
JP2006237803A (en) * 2005-02-23 2006-09-07 Konica Minolta Photo Imaging Inc Imaging system, photographic studio, and control method of imaging system
JP2007165947A (en) * 2005-12-09 2007-06-28 Fujifilm Corp Imaging device, backlight correcting device for object image, target image detecting device, and control method of these

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011039964A1 (en) * 2009-09-30 2011-04-07 パナソニック株式会社 Photography device, photography method, and program
US9014475B2 (en) 2012-04-10 2015-04-21 Olympus Imaging Corp. Image pickup apparatus and photographing method of image pickup apparatus
JP2014039241A (en) * 2012-08-15 2014-02-27 Fuji Xerox Co Ltd Device, method, and program for analyzing preliminary image
WO2019171542A1 (en) * 2018-03-08 2019-09-12 三菱電機株式会社 Face image generation device and face image generation program

Similar Documents

Publication Publication Date Title
KR100738492B1 (en) Image capture apparatus and control method therefor
JP5144422B2 (en) Imaging apparatus and imaging method
JP4254873B2 (en) Image processing apparatus, image processing method, imaging apparatus, and computer program
JP4341613B2 (en) Control apparatus, photographing apparatus, photographing apparatus control method, and control program
TWI393434B (en) Image capture device and program storage medium
KR101044033B1 (en) Image capturing apparatus, face area detecting method and program recording medium
US8350918B2 (en) Image capturing apparatus and control method therefor
JP5681871B2 (en) Imaging apparatus, imaging method, and program
JP5030022B2 (en) Imaging apparatus and program thereof
US8035729B2 (en) Imaging apparatus and program thereof
JP4998122B2 (en) Imaging apparatus and program thereof
JP5073602B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2009182880A (en) Imaging apparatus and its program
JP2008301355A (en) Imaging apparatus and program therefor
JP2006163496A (en) Apparatus, method and program for image recording
JP4560805B2 (en) Imaging apparatus and program thereof
JP2009017427A (en) Imaging device
EP1953679B1 (en) Imaging apparatus and photographic subject detection method thereof
JP4306399B2 (en) Digital camera
JP5387645B2 (en) Imaging apparatus and program thereof
JP2011018989A (en) Imaging device, image selection method, and program
JP4789776B2 (en) Imaging apparatus and imaging method
JP2010016469A (en) Electronic camera
JP4305119B2 (en) Digital camera
JP4915272B2 (en) Imaging apparatus and program thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120305

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120402