JP2010034685A - Digital camera - Google Patents

Digital camera Download PDF

Info

Publication number
JP2010034685A
JP2010034685A JP2008192450A JP2008192450A JP2010034685A JP 2010034685 A JP2010034685 A JP 2010034685A JP 2008192450 A JP2008192450 A JP 2008192450A JP 2008192450 A JP2008192450 A JP 2008192450A JP 2010034685 A JP2010034685 A JP 2010034685A
Authority
JP
Japan
Prior art keywords
facial expression
image
unit
digital camera
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008192450A
Other languages
Japanese (ja)
Other versions
JP5195120B2 (en
Inventor
Masanaga Nakamura
正永 中村
Tadashi Fujimura
正 藤村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008192450A priority Critical patent/JP5195120B2/en
Publication of JP2010034685A publication Critical patent/JP2010034685A/en
Application granted granted Critical
Publication of JP5195120B2 publication Critical patent/JP5195120B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To eliminate time and labor to set or select kinds of face expressions and gestures desirably captured according to a subject person. <P>SOLUTION: A digital camera is provided with: an age/sex inferring unit 22 which infers at least one of the age and sex of a person about a person image in a subject image; a face expression detection unit 23 which detects whether the face image of the subject corresponds to the predetermined face expression determined on the basis of the inferring results of the age/sex inferring unit 22; and an automatic image capturing unit 24 which automatically capturing an image, once the face expression detection unit 23 detects the predetermined face expression. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、被写体の顔の表情又はジェスチャーを認識して自動的に撮影を行う機能を有するデジタルカメラに関する。   The present invention relates to a digital camera having a function of automatically photographing by recognizing facial expressions or gestures of a subject.

従来、被写体の顔を検出し、その顔が所定の表情、例えば、喜び、悲しみ、怒り、驚きといった特徴的な表情となった時に自動的に撮影を行うカメラが知られている（例えば、特許文献１参照）。例えば、乳幼児の笑顔を撮影したい場合、いつ笑顔になるかは予測し難い。特許文献１のカメラでは、予め撮影したい所定の表情を決めておき、その表情を検出した時に自動的に撮影するので、シャッタチャンスを逃さないという利点がある。   Conventionally, there has been known a camera that detects a subject's face and automatically shoots when the face becomes a predetermined expression, for example, a characteristic expression such as joy, sadness, anger, and surprise (for example, patents). Reference 1). For example, when taking a picture of an infant's smile, it is difficult to predict when it will be a smile. The camera of Patent Document 1 has an advantage that a predetermined facial expression to be photographed is determined in advance and is automatically photographed when the facial expression is detected, so that a photo opportunity is not missed.

特開２００１−５１３３８号公報JP 2001-51338 A

しかしながら、被写体人物に応じて撮影者が撮影したいと思う表情は様々であり、被写体人物に相応しい表情を撮影するためには、被写体人物毎に、その表情を設定または選択しなければならないという煩わしさがあった。   However, there are various facial expressions that the photographer wants to shoot according to the subject person, and in order to shoot a facial expression suitable for the subject person, it is troublesome that the facial expression must be set or selected for each subject person. was there.

（１）請求項１の発明によるデジタルカメラは、被写体を撮像し、被写体画像を出力する撮像手段と、被写体画像の中の人物画像に基づきその人物の年代と性別との少なくとも一方を推論する推論手段と、人物画像が推論結果により決定される所定の顔表情又は所定のジェスチャーに対応するか否かを検出する検出手段と、検出手段が所定の顔表情又は所定のジェスチャーを検出した時に、自動撮影を行う自動撮影手段とを備えたことを特徴とする。 (1) The digital camera according to the first aspect of the present invention is an inference means for inferring at least one of a person's age and gender based on a person image in the subject image and an image pickup means for picking up a subject and outputting the subject image. Means for detecting whether the human image corresponds to a predetermined facial expression or a predetermined gesture determined by the inference result; and when the detecting means detects a predetermined facial expression or a predetermined gesture, And automatic photographing means for photographing.

本発明のデジタルカメラによれば、被写体人物の年代／性別に関する推論結果によって決定される顔表情又はジェスチャーを検出した時に自動撮影を行うので、ユーザーが被写体人物に応じて撮影したい顔表情又はジェスチャーを設定または選択する手間を省くことができる。   According to the digital camera of the present invention, since automatic photographing is performed when a facial expression or gesture determined by the inference result regarding the age / gender of the subject person is detected, the facial expression or gesture that the user wants to photograph according to the subject person is selected. It is possible to save time for setting or selecting.

以下、本発明の実施の形態による電子スチルカメラについて、図１〜５を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の第１の実施の形態によるデジタルカメラの構成を示すブロック図である。 Hereinafter, an electronic still camera according to an embodiment of the present invention will be described with reference to FIGS.
-First embodiment-
FIG. 1 is a block diagram showing a configuration of a digital camera according to the first embodiment of the present invention.

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、メモリーカードなどの画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、年代／性別推論部２２、顔表情検出部２３、自動撮影部２４および液晶ディスプレイ２５を備える。さらに、デジタルカメラは、顔データ記憶部３１、年代／性別データ記憶部３２、顔表情データ記憶部３３、顔表情レベルデータ記憶部３４、顔登録データ記憶部３５、顔認識部３６、音声記録部３７、顔表情撮影モード設定部４０、顔表情設定部４１、顔表情レベル設定部４２、優先度設定部４３および画像検索部４４を備える。   As shown in FIG. 1, the digital camera includes a photographing lens 11, an aperture 12, an image sensor 13, a buffer memory 14, an image processing unit 15, an image recording unit 16 such as a memory card, and a control unit 20. The digital camera also includes a face detection unit 21, age / gender reasoning unit 22, facial expression detection unit 23, automatic photographing unit 24, and liquid crystal display 25. Further, the digital camera includes a face data storage unit 31, an age / sex data storage unit 32, a facial expression data storage unit 33, a facial expression level data storage unit 34, a face registration data storage unit 35, a face recognition unit 36, and a voice recording unit. 37, a facial expression shooting mode setting unit 40, a facial expression setting unit 41, a facial expression level setting unit 42, a priority setting unit 43, and an image search unit 44.

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。   The photographing lens 11 includes a plurality of lenses including a zoom lens and a focus lens, and forms a subject image on the image sensor 13. In FIG. 1, for the sake of simplicity, the taking lens 11 is shown as a single lens. The imaging element 13 generates an image signal by photoelectrically converting the subject light L1 from the photographing lens 11.

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２５に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。画像記録部１６は、画像情報にテキストまたは記号などの付加情報を付加して記録する。   The image signal output from the image pickup device 13 is sent to the image processing unit 15 via the buffer memory 14, where predetermined various image processing is performed. At the stage before the start of shooting, the image signal from the image sensor 13 is sent to the liquid crystal display 25 via the buffer memory 14, the image processing unit 15, and the control unit 20, and displayed as a through image. At the photographing stage, the image signal from the image sensor 13 is recorded in the image recording unit 16 via the buffer memory 14 and the image processing unit 15. The image recording unit 16 adds and records additional information such as text or symbols to the image information.

顔検出部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部３１に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部３１は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。   The face detection unit 21 inputs through image data sent from the image sensor 13 via the buffer memory 14, the image processing unit 15, and the control unit 20, and the through image data is stored in the face data storage unit 31 in advance. The face of the subject person in the through image is detected by comparing with the existing face data. The detected face area image is sent from the face detection unit 21 to the control unit 20. The face data storage unit 31 stores, for example, feature point data relating to the shape of eyebrows, eyes, nose, and lips.

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。   For the face detection, for example, a detection method disclosed in Japanese Patent Laid-Open No. 2001-16573 can be used. In this detection method, feature points are extracted from an input image to detect the face area, face size, etc. of the subject. The feature points include end points of eyebrows, eyes, nose, lips, and face contour points, such as the head vertex and the lower end point of the chin.

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。   As other face detection, for example, a detection method disclosed in JP-A-2005-157679 can be used. In this detection method, first, a luminance difference between two pixels in an input image is learned as a feature amount, and an estimated value indicating whether or not a face exists in a predetermined region in the input image based on the feature amount. And when the estimated value is 1 or more, it is determined that a face exists in the predetermined area.

年代／性別推論部２２は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、顔検出部２１により検出された顔領域の画像に基づき被写体人物の年代／性別を推論する。すなわち、年代／性別推論部２２は、その顔領域の画像中の各特徴点と、年代／性別データ記憶部３２に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代／性別を推論する。そして、年代／性別推論部２２は、推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データを制御部２０へ出力する。年代／性別データ記憶部３２は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データを記憶している。   The age / gender reasoning unit 22 inputs an image of the face area detected by the face detection unit 21 via the control unit 20, and based on the image of the face area detected by the face detection unit 21, the age / sex of the subject person To infer. That is, the age / gender reasoning unit 22 uses the feature amount of each feature point for each feature point in the image of the face region and each feature point of the face stored in advance in the age / sex data storage unit 32. The age / gender of the subject person is inferred by comparing color and color data. Then, the age / sex reasoning unit 22 outputs to the control unit 20 reasoning results, for example, reasoning data that the subject person's age is in their 20s and the sex is female. The age / gender data storage unit 32 stores, for example, feature data and color data possessed by feature points such as eyebrows, eyes, nose, and lips for each age of each gender.

年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。   As a method for inferring age / sex, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-222118 is used, and the above-described feature amount is input to a system called a support vector machine.

顔表情検出部２３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の表情を顔表情データ記憶部３３に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。顔表情には、笑顔、泣き顔、怒り顔、驚き顔、くしゃみ顔、あくび顔、寝顔などの様々な種類があり、これらの各データが顔表情データ記憶部３３に記憶されている。   The facial expression detection unit 23 inputs an image of the face area detected by the face detection unit 21 via the control unit 20, and the facial expression image stored in the facial expression data storage unit 33 is stored in advance in the facial expression data storage unit 33. By comparing with the facial expression data of the face, it is detected that the facial expression of the subject person in the face area image corresponds to the predetermined facial expression data. There are various types of facial expressions such as a smiling face, a crying face, an angry face, a surprised face, a sneezing face, a yawning face, and a sleeping face, and these data are stored in the facial expression data storage unit 33.

顔表情検出部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。   When the facial expression detection unit 23 detects a facial expression of an image in the face area, a detection method disclosed in Japanese Patent Application Laid-Open No. 2008-42319 can be used. In this detection method, for example, in order to detect a smile, the type of facial expression is determined based on whether the face of the detected image is close to the two facial expressions of a smile and a normal face. .

また、顔表情検出部２３は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像の表情の度合い（表情レベル）を顔表情レベルデータ記憶部３４に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情データに対応することを検出することもできる。顔表情レベルデータ記憶部３４は、例えば、笑顔の度合い（笑顔レベル）が１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、９０％、１００％であるときの各笑顔の特徴を表す笑顔レベルデータ（例えば、特徴点同士の間隔）を笑顔レベル毎に記憶している。笑顔レベルの数値が高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。   The facial expression detection unit 23 receives an image of the face area detected by the face detection unit 21 from the control unit 20, and the expression level (expression level) of the facial area image is stored in the facial expression level data storage unit 34. It is also possible to detect that the facial expression level of the subject person in the face area image corresponds to the predetermined facial expression data by comparing with predetermined facial expression level data stored in advance. In the facial expression level data storage unit 34, for example, the degree of smile (smile level) is 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%, 100%. Smile level data (for example, intervals between feature points) representing the characteristics of each smile at that time is stored for each smile level. As the smile level increases, the smile level increases from smile level to big smile level.

顔表情検出部２３は、さらに、顔領域の画像の顔が笑顔であることを検出した後で、笑顔の度合いを判定する。笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。   The facial expression detection unit 23 further determines the degree of smile after detecting that the face in the face area image is a smile. As a method for determining the degree of smile, for example, a method disclosed in Japanese Patent Application Laid-Open No. 2004-46591 can be used. This determination method evaluates the degree of smile for the smile of the input partial image, and calculates a smile evaluation value. When evaluating smiles, calculate the evaluation points for the shape of each element of the eyebrows, pupils, and lips by referring to the smile data stored in advance. Value.

液晶ディスプレイ２５は、デジタルカメラの背面に設けられ、スルー画像の表示や記録画像の再生などに使用される。液晶ディスプレイ２５は、画面の角度や方向が可変となっており、画面を被写体側へ向けることも可能である。液晶ディスプレイ２５には、画像だけではなく、上述した表情レベル値などを表示してもよい。   The liquid crystal display 25 is provided on the back side of the digital camera, and is used for displaying a through image and reproducing a recorded image. The liquid crystal display 25 has a variable screen angle and direction, and the screen can be directed toward the subject. The liquid crystal display 25 may display not only images but also the expression level values described above.

顔登録データ記憶部３５は、特定の人物の顔画像に人物の名前などのインデックスを付してデータとして登録する。登録データとしては、その人物の通常時の顔画像1枚でもよいし、顔表情や顔表情レベルの異なる複数枚の画像でもよい。   The face registration data storage unit 35 adds an index such as the name of a person to a face image of a specific person and registers it as data. The registered data may be one normal face image of the person or a plurality of images with different facial expressions and facial expression levels.

顔認識部３６は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像を顔登録データ記憶部３５に登録されている顔登録データと照合することにより、顔領域の画像中の被写体人物の顔が登録済みの特定の人物の顔であるか否かを判定し、その判定結果を制御部２０へ送出する。   The face recognition unit 36 inputs an image of the face area detected by the face detection unit 21 from the control unit 20, and collates the image of the face area with face registration data registered in the face registration data storage unit 35. Thus, it is determined whether or not the face of the subject person in the image of the face area is the face of the registered specific person, and the determination result is sent to the control unit 20.

音声記録部３７は、外部の音声を録音する装置であり、音声の入力を行うマイクを有する。顔表情検出部２３は、被写体人物の顔表情や顔表情レベルを検出する際に、音声記録部３７に録音された被写体人物の声を入力し、声の大きさや声紋などを分析し、笑い声や泣き声を検出する。被写体人物の声を分析することにより顔表情検出の精度を高めることができる。また、年代／性別推論部２２による被写体人物の年代／性別を推論する際にも、被写体人物の声を分析することは、より正確な推論データを得るのに役立つ。   The audio recording unit 37 is a device that records external audio and includes a microphone that inputs audio. When detecting the facial expression and facial expression level of the subject person, the facial expression detection unit 23 inputs the voice of the subject person recorded in the voice recording unit 37, analyzes the loudness, voiceprint, etc. Detect crying. By analyzing the voice of the subject person, the accuracy of facial expression detection can be improved. Also, when the age / sex of the subject person is inferred by the age / sex reasoning unit 22, analyzing the voice of the subject person helps to obtain more accurate inference data.

顔表情設定部４１は、被写体人物の顔表情の種類、例えば笑顔や泣き顔や怒り顔などの顔表情を外部から設定する操作部である。この顔表情の設定は、被写体人物の年代又は性別と関連付けて行われる。例えば、笑顔や泣き顔は、乳幼児に関連付けて設定する。これにより、年代／性別推論部２２が被写体人物を乳幼児と推論した場合、顔表情検出部２３がその乳幼児の笑顔あるいは泣き顔を検出したときに自動撮影が行われる。   The facial expression setting unit 41 is an operation unit that externally sets the facial expression type of the subject person, such as a facial expression such as a smile, a crying face, or an angry face. This facial expression is set in association with the age or sex of the subject person. For example, a smile or a crying face is set in association with an infant. Thus, when the age / sex reasoning unit 22 infers the subject person as an infant, automatic photographing is performed when the facial expression detection unit 23 detects the infant's smile or crying face.

顔表情レベル設定部４２は、顔の表情レベル（例えば、笑顔レベル値が４０％）を外部から設定する操作部であり、顔表情設定部４１と同様に、顔表情レベルの設定は、被写体人物の年代又は性別と関連付けて行われる。顔表情レベル設定部４２が例えば乳幼児に対して所定の笑顔レベルや所定の泣き顔レベルを設定すると、年代／性別推論部２２が被写体人物を乳幼児と推論した場合、顔表情検出部２３がその乳幼児の笑顔あるいは泣き顔などが所定のレベルに達したことを検出したときに自動撮影が行われる。   The facial expression level setting unit 42 is an operation unit for setting a facial expression level (for example, a smile level value of 40%) from the outside. Like the facial expression setting unit 41, the facial expression level is set by the subject person. In association with age or gender. When the facial expression level setting unit 42 sets a predetermined smile level or a predetermined crying face level for an infant, for example, when the age / gender inference unit 22 infers the subject person as an infant, the facial expression detection unit 23 detects the infant's infant. Automatic photographing is performed when it is detected that a smile or a crying face has reached a predetermined level.

次に、年代／性別推論部２２と、顔表情検出部２３と、顔表情設定部４１又は顔表情レベル設定部４２との関係を説明する。
顔表情設定部４１又は顔表情レベル設定部４２は、被写体人物の年代／性別と関連付けて顔表情の種類又は顔表情レベルを設定する。年代／性別推論部２２が被写体人物の画像から年代、性別を推論すると、顔表情検出部２３は、被写体人物の顔画像がその推論された年代、性別に関連付けられた顔表情又は顔表情レベルに対応又は一致することを検出し、検出信号を出力する。制御部２０は、検出信号を受けると、自動撮影部２４へ指令信号を出力する。 Next, the relationship among the age / gender reasoning unit 22, the facial expression detection unit 23, and the facial expression setting unit 41 or the facial expression level setting unit 42 will be described.
The facial expression setting unit 41 or the facial expression level setting unit 42 sets the type of facial expression or the facial expression level in association with the age / sex of the subject person. When the age / gender reasoning unit 22 infers the age and sex from the image of the subject person, the facial expression detection unit 23 sets the face image of the subject person to the face expression level or the facial expression level associated with the sex. A correspondence or coincidence is detected, and a detection signal is output. When receiving the detection signal, the control unit 20 outputs a command signal to the automatic photographing unit 24.

自動撮影部２４は、制御部２０から発せられる指令信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の撮影を行う。   The automatic photographing unit 24 shoots a subject by outputting operation signals to the photographing lens 11, the diaphragm 12, and the image sensor 13 in accordance with a command signal issued from the control unit 20.

顔表情撮影モード設定部４０は、被写体人物の顔表情の種類あるいは顔表情レベルが推論データにより決定される顔表情の種類あるいは顔表情レベルにそれぞれ相当したときに自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。   The facial expression shooting mode setting unit 40 turns on / off a mode for executing automatic shooting when the facial expression type or facial expression level of the subject person corresponds to the facial expression type or facial expression level determined by the inference data. This is an operation unit for setting OFF.

優先度設定部４３は、自動撮影を行うべき顔表情の種類が顔表情設定部４１によって複数設定されている場合に、外部操作によって顔表情の種類に優先順位付けを行う操作部である。優先度を設けることにより、優先順位の高い表情を優先順位の低い表情よりも高い頻度で撮影することができる。   The priority setting unit 43 is an operation unit that prioritizes the types of facial expressions by an external operation when a plurality of types of facial expressions to be automatically photographed are set by the facial expression setting unit 41. By providing priority, facial expressions with high priority can be photographed more frequently than facial expressions with low priority.

画像記録部１６は、撮像された画像と、年代／性別の推論結果や顔表情の種類又は顔表情レベルなどの付加情報とを互いに関連付けて記録している。   The image recording unit 16 records the captured image and additional information such as age / gender inference result, facial expression type, or facial expression level in association with each other.

画像検索部４４は、画像記録部１６に記録されている画像情報を外部から検索する操作部であって、顔表情などの付加情報を検索キーワードとして容易に所望の画像を検索して抽出することができる。液晶ディスプレイ２５は、検索手順や抽出された画像を表示する。また、液晶ディスプレイ２５は、画像だけではなく、付加情報も併せて表示してもよい。   The image retrieval unit 44 is an operation unit that retrieves image information recorded in the image recording unit 16 from the outside, and easily retrieves and extracts a desired image using additional information such as facial expression as a search keyword. Can do. The liquid crystal display 25 displays search procedures and extracted images. The liquid crystal display 25 may display not only images but also additional information.

以上のように構成されたデジタルカメラは、顔表情撮影モードを設定した場合、図２に示すフローチャートに沿って動作する。   The digital camera configured as described above operates according to the flowchart shown in FIG. 2 when the facial expression photographing mode is set.

図２を参照すると、ステップＳ１１では、ユーザーが顔表情撮影モード設定部４０の操作によって顔表情撮影モードのＯＮ設定を行う。ステップＳ１２では、顔表情設定部４１の操作によって顔表情の種類、すなわち笑顔や泣き顔や怒り顔などを被写体人物の年代／性別に関連付けて設定する。例えば、被写体人物が乳幼児であれば笑顔と泣き顔を設定し、２０代の女性であれば泣き顔を設定し、５０代の男性であれば笑顔と泣き顔を設定する。   Referring to FIG. 2, in step S <b> 11, the user sets the facial expression photographing mode to ON by operating the facial expression photographing mode setting unit 40. In step S12, the type of facial expression, that is, a smile, a crying face, an angry face, or the like is set in association with the age / sex of the subject person by operating the facial expression setting unit 41. For example, a smiling face and a crying face are set if the subject person is an infant, a crying face is set if the female is in her 20s, and a smiling face and a crying face are set if the male is in her 50s.

ステップＳ１３では、顔検出部２１によって被写体人物の顔が検出され、その顔画像データが制御部２０を介して年代／性別推論部２２に入力される。ステップＳ１４では、年代／性別推論部２２は、顔検出部２１により検出された顔領域の画像データと、年代／性別データ記憶部３２の記憶データとに基づき被写体人物の年代／性別を推論する。   In step S <b> 13, the face detection unit 21 detects the face of the subject person, and the face image data is input to the age / gender inference unit 22 via the control unit 20. In step S14, the age / sex reasoning unit 22 infers the age / sex of the subject person based on the image data of the face area detected by the face detection unit 21 and the data stored in the age / sex data storage unit 32.

ステップＳ１５では、年代／性別推論部２２は、その推論した年代／性別に基づき、ステップＳ１２でその年代／性別に関連付けられて設定された顔表情を選定する。このステップＳ１５では、検出すべき表情として笑顔が選定されたものとする。   In step S15, the age / sex reasoning unit 22 selects the facial expression set in association with the age / sex in step S12 based on the inferred age / sex. In step S15, it is assumed that smile is selected as the facial expression to be detected.

ステップＳ１６では、顔表情検出部２３は、年代／性別推論部２２によって年代／性別が推論された被写体人物の顔画像と顔表情データ記憶部３３に予め記憶されている笑顔データとを比較することにより、被写体人物の顔表情が笑顔であることを検出する。この検出信号は顔表情検出部２３から制御部２０へ入力される。   In step S <b> 16, the facial expression detection unit 23 compares the face image of the subject person inferred by the age / sex inference unit 22 with the smile data stored in advance in the facial expression data storage unit 33. Thus, it is detected that the facial expression of the subject person is a smile. This detection signal is input from the facial expression detection unit 23 to the control unit 20.

ステップＳ１７では、制御部２０は、顔表情検出部２３からの検出信号に基づき自動撮影部２４に指令信号を送出し、自動撮影部２４は、制御部２０から発せられた指令信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の撮影を行う。ステップＳ１８では、撮影画像と、推論された年代／性別や顔表情の種類（ここでは、笑顔）などの付加情報とが互いに関連付けられて、画像記録部１６へ保存される。   In step S <b> 17, the control unit 20 sends a command signal to the automatic photographing unit 24 based on the detection signal from the facial expression detecting unit 23, and the automatic photographing unit 24 responds to the command signal issued from the control unit 20. An operation signal is output to the photographing lens 11, the diaphragm 12, and the image sensor 13, and the subject is photographed. In step S18, the captured image and additional information such as the inferred age / sex and facial expression type (smile in this case) are associated with each other and stored in the image recording unit 16.

上述のフローチャートにおいて、ステップＳ１２では、顔表情設定部４１の操作によって顔表情の種類が設定された。この顔表情設定部４１の操作の代りに、ステップＳ１２で、顔表情レベル設定部４２の操作によって顔表情レベル、例えば笑顔レベル値４０％を設定した場合には、その後の動作は以下の通りである。   In the above flowchart, in step S12, the facial expression type is set by operating the facial expression setting unit 41. When the facial expression level, for example, the smile level value of 40% is set by the operation of the facial expression level setting unit 42 in step S12 instead of the operation of the facial expression setting unit 41, the subsequent operation is as follows. is there.

ステップＳ１４では、被写体人物の年代／性別を推論し、ステップＳ１５では、この推論結果に基づき、検出すべき顔表情レベル、すなわち笑顔レベル値４０％が決定される。そして、ステップＳ１６では、顔表情検出部２３は、年代／性別が推論された被写体人物の顔画像と、顔表情レベルデータ記憶部３４に予め記憶されている笑顔レベルデータとを比較することにより、被写体人物の顔表情が笑顔レベル値４０％であることを検出する。ステップＳ１７では、笑顔レベル値４０％の被写体人物の自動撮影を行う。ステップＳ１８では、撮影画像と、推論された年代／性別や笑顔レベル値４０％などの付加情報とが互いに関連付けられて、画像記録部１６へ自動保存される。   In step S14, the age / gender of the subject person is inferred. In step S15, the facial expression level to be detected, that is, the smile level value 40%, is determined based on the inference result. In step S16, the facial expression detection unit 23 compares the face image of the subject person whose age / sex is inferred with the smile level data stored in advance in the facial expression level data storage unit 34. It is detected that the facial expression of the subject person has a smile level value of 40%. In step S17, a subject person with a smile level value of 40% is automatically photographed. In step S18, the captured image and the inferred additional information such as age / sex and smile level value 40% are associated with each other and automatically stored in the image recording unit 16.

上述の実施の形態によると、年代／性別推論部２２は、被写体人物の年代／性別を推論するために、被写体人物の顔画像を使用している。同様に、顔表情検出部２３は、被写体人物の顔表情や顔表情レベルを検出するために、被写体人物の顔画像を使用している。このような年代／性別の推論と顔表情や顔表情レベルの検出のためには、上述の被写体人物の顔画像に加えて被写体人物の音声（例えば、笑い声など）を補助的に使用することもできる。この音声を使用する場合には、図２において、ステップＳ１１３で、音声記録部３７は、被写体人物の音声を録音する。ステップＳ１４で、年代／性別推論部２２は、被写体人物の顔画像に加えて、録音された笑い声などの音声を参照して、被写体人物の年代／性別を推論する。   According to the above-described embodiment, the age / gender reasoning unit 22 uses the face image of the subject person in order to infer the age / sex of the subject person. Similarly, the facial expression detection unit 23 uses the facial image of the subject person in order to detect the facial expression and the facial expression level of the subject person. For such age / sex reasoning and detection of facial expression and facial expression level, the voice of the subject person (for example, laughter) may be used in addition to the face image of the subject person. it can. When using this sound, in FIG. 2, in step S113, the sound recording unit 37 records the sound of the subject person. In step S14, the age / gender reasoning unit 22 infers the age / sex of the subject person with reference to the recorded voice such as laughter in addition to the face image of the subject person.

同様に、ステップＳ１１５で、音声記録部３７は被写体人物の笑い声を録音する。ステップＳ１６で顔表情検出部２３は、被写体人物の顔画像に加えて、録音された笑い声などの音声を参照して、被写体人物の顔表情が笑顔であると判定する。   Similarly, in step S115, the voice recording unit 37 records the laughing voice of the subject person. In step S <b> 16, the facial expression detection unit 23 determines that the facial expression of the subject person is a smile by referring to the recorded voice such as a laughing voice in addition to the face image of the subject person.

なお、顔登録データ記憶部３５に、特定の人物の顔画像データが登録されている場合には、ユーザーは、顔表情設定部４１又は顔表情レベル設定部４２によってその登録された人物に対する顔表情の種類又は顔表情レベルを設定する。これにより、顔表情撮影モード設定部４０によって顔表情撮影モードがＯＮ設定されると、最初に、顔認識部３６は、被写体人物の顔画像が顔登録データ記憶部３５に登録されている顔登録データに対応するか否かを判定する。   When face image data of a specific person is registered in the face registration data storage unit 35, the user can use the facial expression setting unit 41 or the facial expression level setting unit 42 to perform facial expressions on the registered person. Type or facial expression level. Thereby, when the facial expression photographing mode is set to ON by the facial expression photographing mode setting unit 40, first, the face recognition unit 36 registers the face image of the subject person registered in the face registration data storage unit 35. It is determined whether or not it corresponds to data.

顔認識部３６が被写体人物が登録人物であると判定すると、顔表情検出部２３は、被写体人物の顔画像がその登録人物について顔表情設定部４１又は顔表情レベル設定部４２によって設定した顔表情の種類又は顔表情レベルに対応又は一致したことを検出し、自動撮影部２４がこの検出に基づき自動撮影を行う。   When the face recognition unit 36 determines that the subject person is a registered person, the facial expression detection unit 23 sets the facial expression of the subject person for the registered person by the facial expression setting unit 41 or the facial expression level setting unit 42. The automatic photographing unit 24 performs automatic photographing based on this detection.

他方、顔認識部３６が被写体人物の顔画像は顔登録データに対応しないと判定した場合には、上述したように、年代／性別推論部２２が被写体人物の年代／性別を推論した推論結果に基づき、顔表情検出部２３が被写体人物の顔表情又は顔表情レベルを検出し、自動撮影部２４が自動撮影を行う。   On the other hand, when the face recognition unit 36 determines that the face image of the subject person does not correspond to the face registration data, as described above, the age / sex reasoning unit 22 uses the reasoning result obtained by inferring the age / sex of the subject person. Based on this, the facial expression detection unit 23 detects the facial expression or facial expression level of the subject person, and the automatic photographing unit 24 performs automatic photographing.

顔表情設定部４１によって、被写体人物、例えば乳幼児に対して２種類以上の顔表情、例えば笑顔と泣き顔を設定した場合には、顔表情検出部２３が乳幼児の笑顔と泣き顔のいずれかを検出したときに自動撮影が行われる。   When the facial expression setting unit 41 sets two or more types of facial expressions, such as a smile and a crying face, for a subject person, such as an infant, the facial expression detection unit 23 detects either the infant's smile or a crying face. Sometimes automatic shooting is performed.

優先度設定部４３は、上述のように、顔表情設定部４１によって複数の顔表情を設定した場合に、それらの複数の顔表情の中で優先順位を付与するものである。第１の顔表情（例えば、笑顔）と第２の顔表情（例えば、泣き顔）を設定した場合に、優先度設定部４３により、例えば第１の顔表情を第１優先とし、第２の顔表情を第２優先とするように優先度を付与する。ここで、第１優先とは、顔表情検出部２３が第１の顔表情を１回検出すると直ちに自動撮影を行い、第２優先とは、顔表情検出部２３が第２の顔表情を例えば２回又は３回検出したときに自動撮影を行うように定められる。   As described above, the priority setting unit 43 assigns a priority among the plurality of facial expressions when the facial expression setting unit 41 sets a plurality of facial expressions. When a first facial expression (for example, a smile) and a second facial expression (for example, a crying face) are set, the priority setting unit 43 sets, for example, the first facial expression as the first priority and the second face Priorities are assigned so that facial expressions are given second priority. Here, the first priority is that automatic shooting is performed immediately after the facial expression detection unit 23 detects the first facial expression once, and the second priority is that the facial expression detection unit 23 determines the second facial expression, for example. It is determined that automatic photographing is performed when two or three times are detected.

なお、顔表情データ記憶部３３は、例えば、乳幼児の笑顔データ、泣き顔データや２０代女性の泣き顔データのように、年代又は性別毎に顔表情データを記憶するようにしてもよい。例えば、笑顔でも老人と乳幼児では特徴が異なるように、年代／性別によって違いがあるが、年代又は性別毎の顔表情データを用いることにより、顔表情検出部２３は高精度の検出が可能になる。同様に、顔表情レベルデータ記憶部３４も年代又は性別毎に顔表情データを記憶するようにしてもよい。   The facial expression data storage unit 33 may store facial expression data for each age or gender, such as infant smile data, crying face data, and crying face data of women in their 20s. For example, there is a difference depending on the age / sex so that the characteristics of the elderly and infants are different even with a smile, but by using facial expression data for each age or gender, the facial expression detection unit 23 can detect with high accuracy. . Similarly, the facial expression level data storage unit 34 may store facial expression data for each age or gender.

図３は、顔表情設定部４１又は顔表情レベル設定部４２によって設定する顔表情の種類又は顔表情レベルと、被写体人物の年代／性別との関係を示す表である。表中、顔表情を設定した場合は○印、設定しない場合は×印で示す。また、顔表情レベルの場合はパーセンテージで示す。   FIG. 3 is a table showing the relationship between the facial expression type or facial expression level set by the facial expression setting unit 41 or the facial expression level setting unit 42 and the age / gender of the subject person. In the table, when a facial expression is set, it is indicated by a circle. In the case of the facial expression level, it is expressed as a percentage.

図３の表において、横欄（ａ）は、乳幼児の男性／女性に対して○印で示したように、顔表情設定部４１により顔表情として笑顔と泣き顔を設定し、顔表情レベル設定部４２により顔表情レベルとして笑顔レベル値４０％を設定したことを示している。このように乳幼児に対しては笑顔と泣き顔を設定しておき、顔表情検出部２３が、年代／性別推論部２２によって乳幼児と推論された被写体人物の笑顔または泣き顔を検出すると、その乳幼児の笑顔または泣き顔を自動撮影する。   In the table of FIG. 3, the horizontal column (a) indicates that a facial expression setting unit 41 sets a smiling face and a crying face as a facial expression level setting unit for a male / female infant. 42 indicates that a smile level value of 40% is set as the facial expression level. In this way, a smile and a crying face are set for the infant, and when the facial expression detection unit 23 detects the smile or crying face of the subject person inferred by the age / gender reasoning unit 22, the infant's smile Or shoot a crying face automatically.

同様に、乳幼児に対して笑顔レベル値４０％を設定すると、顔表情検出部２３が、先ず乳幼児と推論された被写体人物の笑顔を検出し、その後、笑顔レベル値４０％を検出すると、その笑顔レベル値４０％の乳幼児の笑顔を自動撮影する。このように乳幼児の例では、赤ん坊の典型的な表情である笑顔と泣き顔を設定しておき、笑顔レベル値を中笑い程度の４０％に設定しておくことにより、ユーザーが撮影したい顔表情を確実に撮影することができる。   Similarly, when a smile level value of 40% is set for an infant, the facial expression detection unit 23 first detects the smile of the subject person inferred as an infant, and then detects the smile level value of 40%, the smile. Automatically captures the smile of an infant whose level is 40%. In this way, in the case of infants, by setting smiles and crying faces, which are typical facial expressions of babies, and setting the smile level value to 40% of the level of laughter, the facial expression that the user wants to shoot is set. You can shoot reliably.

図３の表において、横欄（ｂ）は、２０代／女性に対して顔表情として泣き顔を設定したことを示している。このような２０代／女性の泣き顔設定は、例えば卒業式における女学生の泣き顔撮影に好都合である。横欄（ｃ）は、５０代／男性に対して顔表情として笑顔と泣き顔を設定し、笑顔レベル値は設定していないことを示している。したがって、笑顔の程度によらず笑顔が検出されれば自動撮影を行う。   In the table of FIG. 3, the horizontal column (b) indicates that a crying face is set as a facial expression for a woman in her twenties. Such a 20's / women's crying face setting is convenient for photographing a crying face of a female student at a graduation ceremony, for example. The horizontal column (c) shows that a smile and a crying face are set as facial expressions for the 50s / male, and no smile level value is set. Therefore, automatic shooting is performed when a smile is detected regardless of the smile level.

図３の表において、横欄（ｄ）は、顔登録データ記憶部３５に人物Ａが登録されており、怒り顔および驚き顔を設定したことを示している。同様に、横欄（ｅ）は登録人物Ｂであり、顔表情として笑顔と驚き顔を設定し、さらに笑顔レベル値として６０％を設定したことを示している。   In the table of FIG. 3, the horizontal column (d) indicates that the person A is registered in the face registration data storage unit 35 and an angry face and a surprised face are set. Similarly, the horizontal column (e) indicates that the registered person B has a smile and a surprised face set as facial expressions, and a smile level value of 60%.

顔表情設定部４１による顔表情の種類の設定と、顔表情レベル設定部４２による顔表情レベルの設定との関係を説明する。図３の横欄（ａ）に示したように、顔表情設定部４１によって笑顔と泣き顔を設定し、顔表情レベル設定部４２によって笑顔レベル値４０％を設定した場合には、顔表情検出部２３が泣き顔を検出すると直ちに自動撮影が行われる。一方、顔表情検出部２３が微笑のような笑顔レベルの低い笑顔を検出しても自動撮影は行われず、笑顔レベル値４０％の笑顔を検出したときに自動撮影が行われる。   The relationship between the setting of the facial expression type by the facial expression setting unit 41 and the setting of the facial expression level by the facial expression level setting unit 42 will be described. As shown in the horizontal column (a) of FIG. 3, when a smile and a crying face are set by the facial expression setting unit 41 and a smile level value of 40% is set by the facial expression level setting unit 42, the facial expression detection unit As soon as 23 detects a crying face, automatic shooting is performed. On the other hand, even if the facial expression detection unit 23 detects a smile with a low smile level such as a smile, automatic shooting is not performed, and automatic shooting is performed when a smile with a smile level value of 40% is detected.

また、横欄（ｅ）の登録人物Ｂが非登録人物とともにスルー画像中に存在する場合、顔認識部３６がその登録人物Ｂを認識したときは、非登録人物に優先して顔表情を検出する。そして、その登録人物Ｂの顔表情が笑顔レベル値６０％であるか驚き顔の場合に自動撮影を行う。なお、スルー画像中に登録人物が複数存在する場合は、例えば画面中央により近い人物を優先、あるいは男性より女性を優先、あるいは年配より若年を優先するように優先度を決めておいてもよい。   Further, when the registered person B in the horizontal column (e) is present in the through image together with the non-registered person, when the face recognition unit 36 recognizes the registered person B, the facial expression is detected in preference to the non-registered person. To do. Then, when the facial expression of the registered person B is a smile level value of 60% or a surprised face, automatic shooting is performed. When there are a plurality of registered persons in the through image, the priority may be determined so that, for example, a person closer to the center of the screen is given priority, a woman is given priority over a man, or a younger person is given priority over an elderly person.

第１の実施の形態によるデジタルカメラは、以下の作用効果を奏する。
（１）被写体人物の年代／性別に関する推論結果によって所定の顔表情が決定され、顔表情検出部２３がその所定の顔表情を検出した時に自動撮影を行うので、ユーザーが被写体人物毎に撮影したい顔表情を設定または選択する手間を省くことができる。
（２）例えば、結婚披露宴の席で、新郎新婦の両親が嬉し泣きした決定的な瞬間を撮影したい場合では、５０代、６０代の男性女性に対して泣き顔を顔表情設定部４１によって設定すれば、極めて簡単に両親の嬉し泣き顔を自動撮影することができる。
（３）被写体人物の年代／性別に関する推論結果から顔表情の度合いを決定して自動撮影を行うので、撮影したい表情をよりきめ細かく選ぶことができる。 The digital camera according to the first embodiment has the following operational effects.
(1) A predetermined facial expression is determined based on the inference result regarding the age / gender of the subject person, and automatic photographing is performed when the facial expression detection unit 23 detects the predetermined facial expression. The trouble of setting or selecting a facial expression can be saved.
(2) For example, at the wedding reception, if you want to take a picture of the decisive moment when the bride and groom's parents were happily crying, set the crying face for men and women in their 50s and 60s using the facial expression setting unit 41. It is extremely easy to automatically shoot the happy and crying faces of parents.
(3) Since the degree of the facial expression is determined from the inference result regarding the age / gender of the subject person and the automatic photographing is performed, the facial expression to be photographed can be selected more finely.

（４）顔表情検出部２３が顔表情あるいは顔表情レベルを検出するときに、画像データに加えて、音声記録部３７に録音された被写体人物の声のデータも利用することができるので、顔表情検出の精度を高めることができる。
（５）年代／性別推論部２２が被写体人物の年代／性別を推論する際にも、被写体人物の声のデータも利用することができるので、より正確な推論データを得ることができる。 (4) Since the facial expression detection unit 23 detects the facial expression or the facial expression level, in addition to the image data, the voice data of the subject person recorded in the voice recording unit 37 can be used. The accuracy of facial expression detection can be increased.
(5) When the age / sex reasoning unit 22 infers the age / sex of the subject person, the voice data of the subject person can also be used, so that more accurate inference data can be obtained.

（６）複数の顔表情を検出するように設定した場合に、これらの顔表情に優先度を設けておくことにより、被写体人物の最も撮影したい表情を多数撮影することができる。
（７）登録人物と非登録人物がスルー画像中に存在する場合、登録人物を非登録人物に優先して顔表情あるいは顔表情レベルを検出するので、被写体が複数人の場合に登録人物主体の映像が得られる。 (6) When a setting is made to detect a plurality of facial expressions, it is possible to photograph a number of facial expressions that the subject person wants to photograph most by setting priorities for these facial expressions.
(7) When a registered person and a non-registered person exist in the through image, the facial expression or the facial expression level is detected with priority given to the registered person over the non-registered person. Video is obtained.

−第２の実施の形態−
図４は、本発明の第２の実施の形態によるデジタルカメラの構成を示すブロック図である。本実施の形態では、第１の実施の形態で説明した構成要素に対応するものには同一符号を付し、説明を省略する。 -Second Embodiment-
FIG. 4 is a block diagram showing the configuration of a digital camera according to the second embodiment of the present invention. In the present embodiment, components corresponding to those described in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

図４に示される第２の実施の形態によるデジタルカメラは、顔表情や顔表情レベルの代わりに被写体人物のジェスチャーを利用する点で第１の実施の形態と異なり、年代／性別を推論された被写体人物の所定のジェスチャーを検出して自動撮影を行う。本実施の形態では、第１の実施の形態と異なる点を中心に説明する。   Unlike the first embodiment, the digital camera according to the second embodiment shown in FIG. 4 uses the gesture of the subject person instead of the facial expression and the facial expression level. Automatic shooting is performed by detecting a predetermined gesture of the subject person. In the present embodiment, a description will be given focusing on differences from the first embodiment.

図４に示されるように、第２の実施の形態によるデジタルカメラは、ジェスチャー検出部１２３、ジェスチャーデータ記憶部１３３、ジェスチャー撮影モード設定部１４０、ジェスチャー設定部１４１およびジェスチャー優先度設定部１４３を備える。   As shown in FIG. 4, the digital camera according to the second embodiment includes a gesture detection unit 123, a gesture data storage unit 133, a gesture shooting mode setting unit 140, a gesture setting unit 141, and a gesture priority setting unit 143. .

ジェスチャー検出部１２３は、スルー画像中の被写体人物のジェスチャーをジェスチャーデータ記憶部１３３に予め記憶されている所定のジェスチャーデータと比較することにより、被写体人物のジェスチャー（ポーズ）がジェスチャー設定部１４１によって設定したジェスチャーに対応又は一致することを検出する。ジェスチャーには多数の種類があるが、典型的なものとして、人指し指と中指でＶ字形を作ったり、両腕でＶ字形を作るＶサイン、拍手、万歳、両手を頭上に上げて輪を作る所作などがあり、これらの各データがジェスチャーデータ記憶部１３３に記憶されている。   The gesture detection unit 123 sets the gesture (pose) of the subject person by the gesture setting unit 141 by comparing the gesture of the subject person in the through image with predetermined gesture data stored in advance in the gesture data storage unit 133. It is detected that it corresponds to or matches the gesture made. There are many types of gestures, but typical ones are V-shaped with the forefinger and middle finger, V-sign that makes V-shaped with both arms, applause, ten thousand years, making both hands above the head to make a ring These pieces of data are stored in the gesture data storage unit 133.

ジェスチャー検出部１２３が画像中の被写体人物のジェスチャーを検出する場合には、特開２００４−２９４４９８号公報に開示されている検出手法を用いることができる。この検出手法は、スルー画像中の被写体人物の体の輪郭線形状を、ジェスチャーデータ記憶部１３３の形状データと比較して一致度が所定の値を超えた時に被写体人物のジェスチャーを検出するものである。   When the gesture detection unit 123 detects the gesture of the subject person in the image, a detection method disclosed in Japanese Patent Application Laid-Open No. 2004-294498 can be used. This detection method detects the gesture of the subject person when the degree of coincidence exceeds a predetermined value by comparing the contour shape of the body of the subject person in the through image with the shape data of the gesture data storage unit 133. is there.

ジェスチャー設定部１４１は、被写体人物の年代／性別と関連付けてジェスチャーの種類を外部から設定する操作部である。ジェスチャー検出部１２３は、年代／性別推論部２２によって推論された被写体人物の年代／性別に関連付けて設定された所定のジェスチャーを検出し、検出出力を制御部２０へ送る。制御部２０はこの検出出力に基づき自動撮影部２４へ指令信号を出力し、これにより、自動撮影部２４はその所定のジェスチャーの被写体を自動撮影する。   The gesture setting unit 141 is an operation unit that sets the type of gesture from the outside in association with the age / sex of the subject person. The gesture detection unit 123 detects a predetermined gesture set in association with the age / sex of the subject person inferred by the age / sex reasoning unit 22, and sends a detection output to the control unit 20. Based on this detection output, the control unit 20 outputs a command signal to the automatic photographing unit 24, whereby the automatic photographing unit 24 automatically photographs the subject of the predetermined gesture.

ジェスチャー撮影モード設定部１４０は、被写体人物のジェスチャーの種類が推論結果によって決定されるジェスチャーの種類に相当したときに自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。
ジェスチャー優先度設定部１４３は、自動撮影を行うべきジェスチャーの種類が複数設定されている場合に、外部操作によってジェスチャーの種類に優先順位付け行う操作部である。優先度を設けることにより、優先順位の高いジェスチャーを優先順位の低いジェスチャーよりも高い頻度で撮影することができる。 The gesture shooting mode setting unit 140 is an operation unit that sets ON / OFF a mode in which automatic shooting is performed when the type of gesture of the subject person corresponds to the type of gesture determined by the inference result.
The gesture priority setting unit 143 is an operation unit that prioritizes gesture types by an external operation when a plurality of gesture types to be automatically shot are set. By providing the priority, it is possible to photograph a gesture with a higher priority at a higher frequency than a gesture with a lower priority.

以上のように構成されたデジタルカメラは、ジェスチャー撮影モードを設定した場合、図５に示すフローチャートに沿って動作する。   The digital camera configured as described above operates according to the flowchart shown in FIG. 5 when the gesture shooting mode is set.

図５を参照すると、ステップＳ２１では、ユーザーがジェスチャー撮影モード設定部１４０の操作によってジェスチャー撮影モードのＯＮ設定を行う。ステップＳ２２では、ジェスチャー設定部１４１の操作によって、被写体人物の年代／性別に関連付けてジェスチャーの種類を１つ以上設定する。ここでは、例えば１０代の男性／女性に対してＶサインが設定される。ステップＳ２３では、顔検出部２１は、被写体人物の顔を検出する。同時に、ステップＳ１２３では、音声記録部３７が被写体人物の声を録音する。ステップＳ２４では、年代／性別推論部２２は、顔検出部２１によって検出された顔領域の画像と録音された被写体人物の声のデータとに基づき、被写体人物の年代／性別を１０代の男性／女性と推論する。このとき、音声が録音されなかった場合には、年代／性別推論部２２は、顔検出部２１によって検出された顔画像に基づいて年代／性別を推論する。   Referring to FIG. 5, in step S <b> 21, the user sets the gesture shooting mode to ON by operating the gesture shooting mode setting unit 140. In step S22, one or more types of gestures are set in association with the age / sex of the subject person by operating the gesture setting unit 141. Here, for example, a V sign is set for a male / female teenager. In step S23, the face detection unit 21 detects the face of the subject person. At the same time, in step S123, the voice recording unit 37 records the voice of the subject person. In step S24, the age / sex reasoning unit 22 determines the age / sex of the subject person based on the image of the face area detected by the face detection unit 21 and the recorded voice data of the subject person. Inferring a woman. At this time, if no voice is recorded, the age / sex reasoning unit 22 infers age / sex based on the face image detected by the face detection unit 21.

ステップＳ２５では、年代／性別推論部２２の推論結果に基づき、ステップＳ２２において設定されたＶサインのジェスチャーが決定または選定される。同時に、ステップＳ１２５では、音声記録部３７が被写体人物の声を録音する。ステップＳ２６では、ジェスチャー検出部１２３は、被写体人物のジェスチャー画像とジェスチャーデータ記憶部１３３に予め記憶されているＶサインデータとを比較することにより、被写体人物のジェスチャーがＶサインであることを検出する。また、録音された被写体人物の声、例えば「ピース」の発声からも被写体人物のジェスチャーがＶサインであることを検出する。もし、音声が録音されなかった場合には、ジェスチャー検出部１２３は、ジェスチャー画像に基づいてＶサインであることを検出する。   In step S25, the V-sign gesture set in step S22 is determined or selected based on the inference result of the age / sex inference unit 22. At the same time, in step S125, the voice recording unit 37 records the voice of the subject person. In step S26, the gesture detection unit 123 detects that the gesture of the subject person is a V-sign by comparing the gesture image of the subject person with the V-sign data stored in advance in the gesture data storage unit 133. . Further, it is detected from the recorded voice of the subject person, for example, the utterance of “piece”, that the gesture of the subject person is a V-sign. If no voice is recorded, the gesture detection unit 123 detects a V sign based on the gesture image.

ステップＳ２７では、ジェスチャー検出部１２３からの検出信号に基づき、自動撮影部２４は、撮影レンズ１１、絞り１２および撮像素子１３へ動作信号を出力して自動撮影を行い、Ｖサインポーズの被写体を撮像する。撮影画像は、画像記録部１６へ自動保存される。   In step S27, based on the detection signal from the gesture detection unit 123, the automatic photographing unit 24 outputs an operation signal to the photographing lens 11, the diaphragm 12, and the image pickup device 13 to perform automatic photographing, and picks up a subject in a V-sine pose. To do. The captured image is automatically saved in the image recording unit 16.

ジェスチャーを検出して自動撮影を行う第２の実施の形態のデジタルカメラも、第１の実施の形態のデジタルカメラと同様の作用効果を奏する。   The digital camera according to the second embodiment that performs automatic shooting by detecting a gesture also exhibits the same effects as the digital camera according to the first embodiment.

本発明のデジタルカメラの変形例は以下の通りである。
（１）顔表情や顔表情レベルを検出して自動撮影を行う第１の実施の形態のデジタルカメラと、ジェスチャーを検出して自動撮影を行う第２の実施の形態のデジタルカメラとの両方の機能を併せ持つデジタルカメラも本発明に含まれるものである。
（２）第１および第２の実施の形態では、年代／性別推論部２２は、年代／性別の両方を推論するものであったが、年代／性別のいずれか一方を推論するように構成してもよい。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。 Modifications of the digital camera of the present invention are as follows.
(1) Both the digital camera according to the first embodiment that performs automatic photographing by detecting a facial expression and a facial expression level, and the digital camera according to the second embodiment that performs automatic photographing by detecting a gesture. A digital camera having both functions is also included in the present invention.
(2) In the first and second embodiments, the age / sex reasoning unit 22 infers both age / sex, but is configured to infer either age / sex. May be.
The present invention is not limited to the embodiments described above as long as the characteristics are not impaired.

本発明の第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera which concerns on the 1st Embodiment of this invention. 第１の実施の形態に係るデジタルカメラにおいて、顔表情撮影モードによる動作を示すフローチャートである。6 is a flowchart showing an operation in a facial expression photographing mode in the digital camera according to the first embodiment. 顔表情の種類又は顔表情レベルと、被写体人物の年代／性別との関係の具体例を示す表である。It is a table | surface which shows the specific example of the relationship between the kind or face expression level of a facial expression, and the age / gender of a to-be-photographed person. 本発明の第２の実施の形態に係るデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera which concerns on the 2nd Embodiment of this invention. 第２の実施の形態に係るデジタルカメラにおいて、ジェスチャー撮影モードによる動作を示すフローチャートである。It is a flowchart which shows the operation | movement by gesture imaging | photography mode in the digital camera which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

１３：撮像素子 １６：画像記録部
２１：顔検出部 ２２：年代／性別推論部
２３：顔表情検出部 ２４：自動撮影部
３１：顔データ記憶部 ３２：年代／性別データ記憶部
３３：顔表情データ記憶部 ３４：顔表情レベルデータ記憶部
３５：顔登録データ記憶部 ３６；顔認識部
３７：音声記録部 ４０：顔表情撮影モード設定部
４１：顔表情設定部 ４２：顔表情レベル設定部
４３：優先度設定部 ４４：画像検索部
１２３：ジェスチャー検出部 １３３：ジェスチャーデータ記憶部
１４０：ジェスチャー撮影モード設定部 １４１：ジェスチャー設定部
１４３ジェスチャー優先度設定部 13: Image sensor 16: Image recording unit 21: Face detection unit 22: Age / gender reasoning unit 23: Facial expression detection unit 24: Automatic photographing unit 31: Face data storage unit 32: Age / gender data storage unit 33: Facial expression Data storage unit 34: facial expression level data storage unit 35: face registration data storage unit 36; face recognition unit 37: voice recording unit 40: facial expression shooting mode setting unit 41: facial expression setting unit 42: facial expression level setting unit 43 : Priority setting unit 44: Image search unit 123: Gesture detection unit 133: Gesture data storage unit 140: Gesture shooting mode setting unit 141: Gesture setting unit 143 Gesture priority setting unit

Claims (9)

被写体を撮像し、被写体画像を出力する撮像手段と、
前記被写体画像の中の人物画像に基づきその人物の年代と性別との少なくとも一方を推論する推論手段と、
前記人物画像が前記推論結果により決定される所定の顔表情又は所定のジェスチャーに対応するか否かを検出する検出手段と、
前記検出手段が前記所定の顔表情又は所定のジェスチャーを検出した時に、自動撮影を行う自動撮影手段とを備えたことを特徴とするデジタルカメラ。 Imaging means for imaging a subject and outputting a subject image;
An inference means for inferring at least one of the age and sex of the person based on the person image in the subject image;
Detecting means for detecting whether or not the person image corresponds to a predetermined facial expression or a predetermined gesture determined by the inference result;
A digital camera comprising: automatic photographing means for performing automatic photographing when the detecting means detects the predetermined facial expression or a predetermined gesture. 請求項１に記載のデジタルカメラにおいて、
前記検出手段は、前記人物画像が前記推論結果により決定される所定の表情レベルに達したことを検出し、
前記自動撮影手段は、前記検出手段が前記所定の表情レベルを検出した時に、前記自動撮影を行うことを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
The detection means detects that the person image has reached a predetermined facial expression level determined by the inference result,
The digital camera according to claim 1, wherein the automatic photographing means performs the automatic photographing when the detecting means detects the predetermined expression level. 請求項１に記載のデジタルカメラにおいて、
所定の人物の顔情報を顔登録データとして記憶する顔登録データ記憶手段と、
前記被写体画像の中の人物画像が前記顔登録データ記憶手段に記憶された前記顔登録データに対応することを認識する顔認識手段とを更に備え、
前記検出手段は、前記顔認識手段が前記被写体画像の中の人物画像が前記顔登録データ記憶手段に記憶された前記顔登録データに対応することを認識した場合に、前記認識した人物画像について他の人物画像に優先して前記所定の顔表情又は所定のジェスチャーを検出することを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
Face registration data storage means for storing face information of a predetermined person as face registration data;
Face recognition means for recognizing that a person image in the subject image corresponds to the face registration data stored in the face registration data storage means;
When the face recognizing unit recognizes that the person image in the subject image corresponds to the face registration data stored in the face registration data storage unit, the detecting unit performs other processing on the recognized person image. A digital camera that detects the predetermined facial expression or the predetermined gesture in preference to the human image. 請求項１に記載のデジタルカメラにおいて、
前記推論結果により決定される所定の顔表情又はジェスチャーを外部操作によって設定する設定手段を更に備えることを特徴とするデジタルカメラ。 The digital camera according to claim 1, wherein
A digital camera further comprising setting means for setting a predetermined facial expression or gesture determined by the inference result by an external operation. 請求項４に記載のデジタルカメラにおいて、
前記設定手段は、前記被写体人物の顔表情又は所定のジェスチャーについて複数の顔表情又は複数のジェスチャーを外部操作によって設定可能であり、
前記設定手段が前記複数の顔表情又は複数のジェスチャーを設定した場合に、前記自動撮影手段が前記複数の顔表情又は複数のジェスチャーのいずれを優先して自動撮影を行うかを外部操作によって設定する優先度設定手段を更に備えることを特徴とするデジタルカメラ。 The digital camera according to claim 4, wherein
The setting means can set a plurality of facial expressions or a plurality of gestures by an external operation for the facial expression or a predetermined gesture of the subject person,
When the setting means sets the plurality of facial expressions or the plurality of gestures, the automatic photographing means sets which of the plurality of facial expressions or the plurality of gestures is prioritized for automatic photographing by an external operation. A digital camera further comprising priority setting means. 請求項１に記載のデジタルカメラにおいて、
前記自動撮影手段によって自動撮影された被写体画像と、前記検出手段が検出した顔表情又はジェスチャーを示す付加情報とを関連付けて記録する画像記録手段を更に備えることを特徴とするデジタカメラ。 The digital camera according to claim 1, wherein
A digital camera, further comprising: an image recording unit that records the subject image automatically captured by the automatic capturing unit and the additional information indicating the facial expression or gesture detected by the detection unit in association with each other. 請求項６に記載のデジタルカメラにおいて、
前記付加情報を検索キーワードとして前記被写体画像を検索する検索手段と、
前記検索手段により検索された被写体画像を表示する表示手段とを更に備えることを特徴とするデジタカメラ。 The digital camera according to claim 6, wherein
Search means for searching for the subject image using the additional information as a search keyword;
A digital camera further comprising display means for displaying a subject image searched by the search means. 請求項１に記載のデジタルカメラにおいて、
被写体人物の音声を記録する音声記録手段を更に備え、
前記検出手段は、前記被写体画像の中の人物画像と前記音声記録手段に記録された音声とに基づき、前記顔表情又はジェスチャーの検出を行うことを特徴とするデジタカメラ。 The digital camera according to claim 1, wherein
Voice recording means for recording the voice of the subject person,
The digital camera according to claim 1, wherein the detection means detects the facial expression or gesture based on a person image in the subject image and sound recorded in the sound recording means. 請求項１に記載のデジタルカメラにおいて、
被写体人物の音声を記録する音声記録手段を更に備え、
前記推論手段は、前記被写体画像の中の人物画像と前記音声記録手段に記録された音声とに基づき、その人物の年代と性別との少なくとも一方を推論することを特徴とするデジタカメラ。
The digital camera according to claim 1, wherein
Voice recording means for recording the voice of the subject person,
The digital camera according to claim 1, wherein the inference means infers at least one of the age and gender of the person based on the person image in the subject image and the sound recorded in the sound recording means.
JP2008192450A 2008-07-25 2008-07-25 Digital camera Expired - Fee Related JP5195120B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008192450A JP5195120B2 (en) 2008-07-25 2008-07-25 Digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008192450A JP5195120B2 (en) 2008-07-25 2008-07-25 Digital camera

Publications (2)

Publication Number Publication Date
JP2010034685A true JP2010034685A (en) 2010-02-12
JP5195120B2 JP5195120B2 (en) 2013-05-08

Family

ID=41738704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008192450A Expired - Fee Related JP5195120B2 (en) 2008-07-25 2008-07-25 Digital camera

Country Status (1)

Country Link
JP (1) JP5195120B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199883A (en) * 2009-02-24 2010-09-09 Nikon Corp Digital camera
CN102208014A (en) * 2010-03-29 2011-10-05 索尼公司 Information processing apparatus, information processing method, and program
JP2011194073A (en) * 2010-03-19 2011-10-06 Konami Digital Entertainment Co Ltd Game device, control method for the game device, and program
JP2012044369A (en) * 2010-08-17 2012-03-01 Canon Inc Imaging apparatus, imaging method, image processing apparatus, and image processing method
JP2012060292A (en) * 2010-09-07 2012-03-22 Casio Comput Co Ltd Image processor, image selection method, and program
JP2012156647A (en) * 2011-01-24 2012-08-16 Nikon Corp Digital camera and electronic apparatus with camera
WO2014054342A1 (en) * 2012-10-05 2014-04-10 ソニー株式会社 Content acquisition device, portable device, server, information processing device and storage medium
JP6239796B1 (en) * 2017-04-05 2017-11-29 京セラ株式会社 Electronics
JP2018018549A (en) * 2017-11-01 2018-02-01 京セラ株式会社 Electronic device
US10613638B2 (en) 2016-07-27 2020-04-07 Kyocera Corporation Electronic device
CN112752016A (en) * 2020-02-14 2021-05-04 腾讯科技（深圳）有限公司 Shooting method, shooting device, computer equipment and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9631261B2 (en) 2010-08-05 2017-04-25 Titanium Metals Corporation Low-cost alpha-beta titanium alloy with good ballistic and mechanical properties

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222118A (en) * 2003-01-17 2004-08-05 Omron Corp Photographing equipment
JP2004294498A (en) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd Automatic photographing system
JP2007020105A (en) * 2005-07-11 2007-01-25 Fujifilm Holdings Corp Imaging apparatus, imaging method, and imaging program
JP2007280291A (en) * 2006-04-11 2007-10-25 Nikon Corp Electronic camera
JP2008042319A (en) * 2006-08-02 2008-02-21 Sony Corp Imaging apparatus and method, and facial expression evaluating device and program
JP2009253848A (en) * 2008-04-09 2009-10-29 Canon Inc Face expression recognizing device, imaging device, method, and program face expression recognizing device, imaging device, method, and program
JP2010016796A (en) * 2008-06-06 2010-01-21 Sony Corp Image capturing apparatus, image capturing method, and computer program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004222118A (en) * 2003-01-17 2004-08-05 Omron Corp Photographing equipment
JP2004294498A (en) * 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd Automatic photographing system
JP2007020105A (en) * 2005-07-11 2007-01-25 Fujifilm Holdings Corp Imaging apparatus, imaging method, and imaging program
JP2007280291A (en) * 2006-04-11 2007-10-25 Nikon Corp Electronic camera
JP2008042319A (en) * 2006-08-02 2008-02-21 Sony Corp Imaging apparatus and method, and facial expression evaluating device and program
JP2009253848A (en) * 2008-04-09 2009-10-29 Canon Inc Face expression recognizing device, imaging device, method, and program face expression recognizing device, imaging device, method, and program
JP2010016796A (en) * 2008-06-06 2010-01-21 Sony Corp Image capturing apparatus, image capturing method, and computer program

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199883A (en) * 2009-02-24 2010-09-09 Nikon Corp Digital camera
JP2011194073A (en) * 2010-03-19 2011-10-06 Konami Digital Entertainment Co Ltd Game device, control method for the game device, and program
CN102208014A (en) * 2010-03-29 2011-10-05 索尼公司 Information processing apparatus, information processing method, and program
JP2011211438A (en) * 2010-03-29 2011-10-20 Sony Corp Information processing apparatus and method, and program
US9560266B2 (en) 2010-03-29 2017-01-31 Sony Corporation Information processing apparatus and method for extracting and categorizing postures of human figures
JP2012044369A (en) * 2010-08-17 2012-03-01 Canon Inc Imaging apparatus, imaging method, image processing apparatus, and image processing method
JP2012060292A (en) * 2010-09-07 2012-03-22 Casio Comput Co Ltd Image processor, image selection method, and program
JP2012156647A (en) * 2011-01-24 2012-08-16 Nikon Corp Digital camera and electronic apparatus with camera
CN104685861A (en) * 2012-10-05 2015-06-03 索尼公司 Content acquisition device, portable device, server, information processing device and storage medium
EP2905953A4 (en) * 2012-10-05 2016-06-08 Sony Corp Content acquisition device, portable device, server, information processing device and storage medium
WO2014054342A1 (en) * 2012-10-05 2014-04-10 ソニー株式会社 Content acquisition device, portable device, server, information processing device and storage medium
CN104685861B (en) * 2012-10-05 2018-08-21 索尼公司 Content acquisition unit, portable unit, server, information processing unit and storage medium
US10613638B2 (en) 2016-07-27 2020-04-07 Kyocera Corporation Electronic device
JP6239796B1 (en) * 2017-04-05 2017-11-29 京セラ株式会社 Electronics
JP2018018503A (en) * 2017-04-05 2018-02-01 京セラ株式会社 Electronic device
JP2018018549A (en) * 2017-11-01 2018-02-01 京セラ株式会社 Electronic device
CN112752016A (en) * 2020-02-14 2021-05-04 腾讯科技（深圳）有限公司 Shooting method, shooting device, computer equipment and storage medium

Also Published As

Publication number Publication date
JP5195120B2 (en) 2013-05-08

Similar Documents

Publication Publication Date Title
JP5195120B2 (en) Digital camera
JP4274233B2 (en) Imaging apparatus, image processing apparatus, image processing method therefor, and program causing computer to execute the method
KR101539043B1 (en) Image photography apparatus and method for proposing composition based person
JP5128880B2 (en) Image handling device
KR20090098505A (en) Media signal generating method and apparatus using state information
KR20090045870A (en) Imaging apparatus, method for controlling the same, and program
JP2008131204A (en) Imaging apparatus and its control method and program and storage medium
JP2008219449A (en) Imaging device and control method thereof
JP4895205B2 (en) Image processing apparatus and program thereof
JP5304294B2 (en) Electronic still camera
JP2010273280A (en) Imaging apparatus
JP4885792B2 (en) Guide device and guide method
JP5272797B2 (en) Digital camera
JP2010178259A (en) Digital camera
JP5157704B2 (en) Electronic still camera
JP5096610B2 (en) Guide device and guide method
JP2008219451A (en) Imaging device and control method thereof
JP2019047234A (en) Information processing device, information processing method, and program
JP5540051B2 (en) Camera with guide device and method of shooting with guide
JP5157761B2 (en) Electronic still camera
JP2008167028A (en) Imaging apparatus
JP6006841B2 (en) Image handling apparatus, image handling method, and program
JP2010034686A (en) Digital camera
JP5778314B2 (en) Server and image handling method
JP5434096B2 (en) Digital camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5195120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees