JP2008311920A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2008311920A
JP2008311920A JP2007157532A JP2007157532A JP2008311920A JP 2008311920 A JP2008311920 A JP 2008311920A JP 2007157532 A JP2007157532 A JP 2007157532A JP 2007157532 A JP2007157532 A JP 2007157532A JP 2008311920 A JP2008311920 A JP 2008311920A
Authority
JP
Japan
Prior art keywords
detection
detection condition
face
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007157532A
Other languages
English (en)
Other versions
JP4908321B2 (ja
Inventor
Masahiko Sugimoto
雅彦 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007157532A priority Critical patent/JP4908321B2/ja
Priority to US12/138,232 priority patent/US20080309785A1/en
Priority to EP08252030.5A priority patent/EP2015568B1/en
Priority to EP18205519.4A priority patent/EP3462727B1/en
Priority to KR1020080056021A priority patent/KR20080110545A/ko
Priority to TW097122033A priority patent/TW200908711A/zh
Priority to CN2008101302361A priority patent/CN101325662B/zh
Priority to CN201110423201.9A priority patent/CN102438099B/zh
Priority to CN2011104231995A priority patent/CN102438105A/zh
Publication of JP2008311920A publication Critical patent/JP2008311920A/ja
Priority to US13/153,192 priority patent/US9131138B2/en
Priority to US13/153,164 priority patent/US20110234851A1/en
Priority to US13/304,225 priority patent/US9065998B2/en
Application granted granted Critical
Publication of JP4908321B2 publication Critical patent/JP4908321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】撮像装置において、ユーザが所望する検出率と検出速度のバランスで対象物の検出を行うことができるようにする。
【解決手段】撮像装置は、被写体を撮像して取得した画像データを取得する撮像手段と、画像データから所定の対象物を検出する対象物検出手段と、対象物検出手段の検出条件をユーザが任意に設定可能な検出条件設定手段とを備える。
【選択図】図4

Description

本発明はデジタルカメラ等の撮像装置に関し、特に対象物検出機能を備えた撮像装置に関するものである。
近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、撮影画像から顔等の対象物を検出する対象物検出機能を備えた撮像装置が提案されている。このような撮像装置では、対象物検出機能による対象物の検出結果に基づいて自動露出制御や自動合焦制御等を行って被写体を撮像する撮像方法や、顔検出機能によって検出された顔の向いている方向を判定し、この判定結果に応じて被写体記録動作を行うことにより、正面を向いた顔を確実に撮影できるようにしたもの(特許文献1)等が提案されている。
また撮影画像から顔の向きを自動的に検出し、その顔の向きから正面を向いた顔画像を選別して照合用の正面顔画像と照合することにより特定の個人の認証を行う認証装置が開示されている(特許文献2)。
また顔検出機能においては、顔の検出時に撮影環境によっては顔が検出できなかったり、検出精度が悪かったり等の問題が生じる場合がある。そこで人物を含む撮影シーンを想定した撮影モードが設定されたときにのみに顔検出を行うようにした撮像装置が開示されている(特許文献3)。
特開2001−51338号公報 特開2002−288670号公報 特開2006−229367号公報
顔検出機能を使用するときに、様々な向きや大きさ等、複数の異なる状態の顔を検出するように検出対象の範囲を広げる場合には、様々な状態の顔が検出可能になるが、同時に誤検出が増えてしまう虞がある。また検出対象の範囲が広がることにより、検出にかかる時間が長くなってしまうため、追従性が悪くなってしまう場合がある。ここで言う検出対象の範囲とは、空間的な検出範囲(位置)だけでなく、検出すべき対象物の状態(大きさ、向き、傾き、など)のバリエーションの意味も含む。
一方、顔検出機能を使用して撮影を行う際、顔検出の速度を重視したい場合や顔検出率を重視したい場合等、撮影シーンによってユーザの要求が変化する場合があり、このような場合に、上記従来の顔検出機能では顔検出の条件を設定や変更することが困難である。
本発明はかかる事情に鑑みてなされたものであり、ユーザが所望する検出率と検出速度のバランスで対象物の検出を行うことができる撮像装置を提供することを目的とするものである。
本発明の撮像装置は、被写体を撮像して画像データを取得する撮像手段と、
画像データから所定の対象物を検出する対象物検出手段と、
対象物検出手段の検出条件をユーザが任意に設定可能な検出条件設定手段とを備えてなることを特徴とするものである。
なお本発明において「設定」は「変更」を含むものとする。
本発明の撮像装置は、検出条件が、対象物の向き、大きさ、傾き、検出領域の少なくとも1つを制限するものであることが好ましい。
また本発明の撮像装置は、検出条件設定手段により設定された検出条件を表示する検出条件表示手段を備えることができる。
この場合、検出条件表示手段は、検出条件を図示表示することができる。
また検出条件表示手段が、撮像手段による前記撮像中に、前記表示することができる。
また本発明の撮像装置は、画像データから生成された画像ファイルを外部記録メディア又は内部メモリに記録する記録手段を備え、
記録時に、検出条件を画像ファイルのタグ情報に記載するタグ情報記載手段をさらに備えてもよい。
この場合、外部記録メディア又は内部メモリに記録された画像ファイルを表示手段に表示する表示制御手段を備え、
表示手段に画像ファイルを表示するときに、該画像ファイルのタグ情報に記載された検出条件を表示手段に表示するタグ情報表示制御手段をさらに備えてもよい。
また検出条件設定手段が、画像ファイルのタグ情報に記載された検出条件とは異なる検出条件を再設定可能なものであり、
対象物検出手段が、外部記録メディア又は内部メモリに記録された画像ファイルの画像データに対して、検出条件設定手段により再設定された検出条件に基づいて検出を行うことができる。
また異なる検出条件が、画像ファイルのタグ情報に記載された検出条件よりも検出対象の範囲が広いものであってもよいし、狭いものであってもよい。
また本発明の撮像装置は、検出条件設定手段が、画像ファイルのタグ情報に記載された検出条件を取得し、該取得した検出条件を保持可能なものであり、
対象物検出手段が、保持された検出条件に基づいて検出を行うことができる。
この場合、保持された検出条件に基づく検出は、撮像手段により取得された画像データに対して行ってもよいし、外部記録メディア又は内部メモリに記録された画像ファイルの画像データに対して行ってもよい。
本発明の撮像装置は、撮像手段に本撮影を指示する撮影指示手段と、
撮影指示手段より本撮影が指示されてから所定時間経過後に本撮影を行わせるセルフタイマー撮影手段及び/又は所定のタイミングで撮影指示手段に本撮影を行わせる自動撮影手段とをさらに備え、
セルフタイマー撮影手段又は自動撮影手段を使用して本撮影を行うときにのみ、
対象物検出手段が、検出条件設定手段によって設定された検出条件で検出を行うことができる。
本発明の撮像装置によれば、対象物検出手段の検出条件をユーザが任意に設定可能なので、ユーザが自分自身で対象物検出手段の検出条件を設定し、対象物検出手段にユーザが意図する検出対象物を検出させることができるので、対象物の検出においてユーザが所望するように検出率と高速性とのバランスをとることが可能となる。これにより例えば対象物を顔として検出を行うときに、予め大きい顔のみを撮影することが分かっている場合には、小さい顔まで検出しないように検出条件を設定することにより、不要な検出を行わないようにすることができるので、誤検出を防止すると共に処理時間を短縮することができる。
以下、本発明の撮像装置の実施の形態を図面を参照して詳細に説明する。尚、以下の実施の形態では、本発明における撮像装置としてデジタルカメラを例に説明するが、本発明の適用範囲はこれに限定されず、例えば、カメラ付き携帯電話、カメラ付きPDA等、電子撮像機能を備えた他の電子機器に対しても適用可能である。
図1及び図2は、デジタルカメラの一例を示すものであり、それぞれ背面側及び前面側から見た外観図である。デジタルカメラ1の本体10の背面には、図1に示す如く、撮影者による操作のためのインターフェースとして、動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下レバー13、左右ボタン14、Back(戻る)ボタン15、表示切替ボタン16が設けられ、更に撮影のためのファインダ17、撮影並びに再生のためのモニタ18及びレリーズボタン(撮影指示手段)19、顔検出ボタン27が設けられている。
動作モードスイッチ11は、静止画撮影モード、動画撮影モード、再生モードの各動作モードを切り替えるためのスライドスイッチである。メニュー/OKボタン12は、押下される毎に撮影モード、フラッシュ発光モード、セルフタイマーON/OFF、記録画素数や感度等の設定を行うための各種メニューをモニタ18に表示させたり、モニタ18に表示されたメニューに基づく選択・設定を決定したりするためのボタンである。
ズーム/上下レバー13は、上下方向に倒すことによって、撮影時には望遠/広角の調整が行われ、各種設定時にはモニタ18に表示されるメニュー画面中のカーソルが上下に移動して表示される。左右ボタン14は、各種設定時にモニタ18に表示されるメニュー画面中のカーソルを左右に移動して表示させるためのボタンである。
Back(戻る)ボタン15は、押下されることによって各種設定操作を中止し、モニタ18に1つ前の画面を表示するためのボタンである。表示切替ボタン16は、押下することによってモニタ18の表示のON/OFF、各種ガイド表示、文字表示のON/OFF等を切り替えるためのボタンである。ファインダ17は、ユーザが被写体を撮影する際に構図やピントを合わせるために覗くためのものである。ファインダ17から見える被写体像は、本体10の前面にあるファインダ窓23を介して映し出される。顔検出ボタン27は、後述の顔検出部65による顔検出のON/OFFを切り替えるためのボタンである。
以上説明した各ボタン及びレバーの操作によって設定された内容は、モニタ18中の表示や、ファインダ17内のランプ、スライドレバーの位置等によって確認可能となっている。また、モニタ18には、撮影の際に被写体確認用のスルー画像が表示される。これにより、モニタ18は電子ビューファインダとして機能する他、撮影後の静止画や動画の再生表示、各種設定メニューの表示を行う。ユーザによってレリーズボタン19が半押し操作されると、後述するAE処理及びAF処理が行われ、レリーズボタン19が全押し操作されると、AE処理及びAF処理によって出力されたデータに基づいて撮影が行われ、モニタ18に表示された画像が撮影画像として記録される。
更に、本体10の前面には、図2に示す如く、撮影レンズ20、レンズカバー21、電源スイッチ22、ファインダ窓23、フラッシュライト24、セルフタイマーランプ25及びAF補助光28が設けられ、側面にはメディアスロット26が設けられている。
撮影レンズ20は、被写体像を所定の結像面上(本体10内部にあるCCD等)に結像させるためのものであり、フォーカスレンズやズームレンズ等によって構成される。レンズカバー21は、デジタルカメラ1の電源がオフ状態のとき、再生モードであるとき等に撮影レンズ20の表面を覆い、汚れやゴミ等から撮影レンズ20を保護するものである。
電源スイッチ22は、デジタルカメラ1の電源のオン/オフを切り替えるためのスイッチである。フラッシュライト24は、レリーズボタン19が押下され、本体10の内部にあるシャッタが開いている間に、撮影に必要な光を被写体に対して瞬間的に照射するためのものである。セルフタイマーランプ25は、セルフタイマーによって撮影する際に、シャッタの開閉タイミングすなわち露光の開始及び終了を被写体に知らせるためものである。
AF補助光28は、例えばLEDで構成され、被写体に狭い範囲の光すなわち絞った光を長時間照射することのよって後述のAF処理をし易くするためのものである。メディアスロット26は、メモリカード等の外部記録メディア70が充填されるための充填口であり、外部記録メディア70が充填されると、データの読み取り/書き込みが行われる。
図3にデジタルカメラ1の機能構成を示すブロック図を示す。図3に示す如く、デジタルカメラ1の操作系として、前述の動作モードスイッチ11、メニュー/OKボタン12、ズーム/上下レバー13、左右ボタン14、Back(戻り)ボタン15、表示切替ボタン16、レリーズボタン19、電源スイッチ22と、これらのスイッチ、ボタン、レバー類の操作内容をCPU75に伝えるためのインターフェースである操作系制御部74が設けられている。
また、撮影レンズ20を構成するものとして、フォーカスレンズ20a及びズームレンズ20bが設けられている。これらの各レンズは、モータとモータドライバからなるフォーカスレンズ駆動部51、ズームレンズ駆動部52によってステップ駆動され、光軸方向に移動可能な構成となっている。フォーカスレンズ駆動部51は、AF処理部62から出力されるフォーカス駆動量データに基づいてフォーカスレンズ20aをステップ駆動する。ズームレンズ駆動部52は、ズーム/上下レバー13の操作量データに基づいてズームレンズ20bのステップ駆動を制御する。
絞り54は、モータとモータドライバとからなる絞り駆動部55によって駆動される。この絞り駆動部55は、AE(自動露出)処理部63Aから出力される絞り値データに基づいて絞り54の絞り径の調整を行う。
シャッタ56は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部57によって駆動される。シャッタ駆動部57は、レリーズボタン19の押下信号と、AE処理部63Aから出力されるシャッタ速度データとに応じてシャッタ56の開閉の制御を行う。
上記光学系の後方には、撮影素子であるCCD(撮像手段)58を有している。CCD58は、多数の受光素子がマトリクス状に配置されてなる光電面を有しており、光学系を通過した被写体像が光電面に結像され、光電変換される。光電面の前方には、各画素に光を集光させるためのマイクロレンズアレイ(不図示)と、RGB各色のフィルタが規則的に配列されてなるカラーフィルタアレイ(不図示)とが配置されている。CCD58は、CCD制御部59から供給される垂直転送クロック信号及び水平転送クロック信号に同期して、画素毎に蓄積された電荷を1ラインずつ読み出して画像信号として出力する。各画素における電荷の蓄積時間(即ち露出時間)は、CCD制御部59から与えられる電子シャッタ駆動信号によって決定される。
CCD58が出力する画像像信号は、アナログ信号処理部60に入力される。このアナログ信号処理部60は、画像信号のノイズ除去を行う相関2重サンプリング回路(CDS)と、画像信号のゲイン調整を行うオートゲインコントローラ(AGC)と、画像信号をデジタル画像データに変換するA/Dコンバータ(ADC)とからなる。そしてデジタル画像データは、画素毎にRGBの濃度値を持つCCD−RAWデータである。
タイミングジェネレータ72は、タイミング信号を発生させるものであり、このタイミング信号がシャッタ駆動部57、CCD制御部59、アナログ信号処理部60に入力されて、レリーズボタン19の操作と、シャッタ56の開閉、CCD58の電荷取り込み、アナログ信号処理60の処理の同期が取られる。フラッシュ制御部73は、フラッシュライト24の発光動作を制御する。
画像入力コントローラ61は、上記アナログ信号処理部60から入力されたCCD−RAWデータをフレームメモリ68に書き込む。このフレームメモリ68は、画像データに対して後述の各種デジタル画像処理(信号処理)を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うSDRAM(Synchronous Dynamic Random Access Memory)から構成されている。
表示制御部(表示制御手段)71は、フレームメモリ68に格納された画像データをスルー画像としてモニタ18に表示させるためのものであり、例えば、輝度(Y)信号と色(C)信号を一緒にして1つの信号としたコンポジット信号に変換して、モニタ18に出力する。スルー画像は、撮影モードが選択されている間、所定時間間隔で取得されてモニタ18に表示される。また、表示制御部71は、外部記録メディア70に記憶され、メディア制御部69によって読み出された画像ファイルに含まれる画像データに基づいた画像をモニタ18に表示させる。
顔検出部(対象物検出手段)65は、フレームメモリ68に格納された画像データつまりスルー画像から人物の顔を検出する。具体的には、顔に含まれる顔の特徴を有する領域(例えば肌色を有する、目を有する、顔の形状を有する等)を顔領域として検出するが、これに限定されるものではない。そして顔検出ボタン27がONに設定された場合には常時スルー画像から顔の検出処理を行う。
なお本実施形態ではスルー画像から顔を検出するが、プレ画像、又は外部記録メディア70や図示しない内部メモリ等に記録された画像データから顔を検出するようにしてもよい。なおプレ画像とは、レリーズボタン19が半押しされることによって発生する半押し信号を検出したCPU75がCCD58にプレ撮影を実行させた結果、フレームメモリ68に格納された画像データに基づいた画像である。また本発明において顔検出部65は、ソフトウェアにより構成されたものであっても単独でIC化されたものであってもよい。
検出条件設定部(検出条件設定手段)66は、上記顔検出部65の検出条件をユーザが任意に設定可能にする。なお検出条件設定部66については後で詳細に説明する。
AF処理部62は、顔検出部65によって画像データから検出された顔検出結果に応じて焦点位置を検出し、フォーカスレンズ駆動量データを出力する(AF処理)。本実施の形態においては、焦点位置の検出方法としては、例えば、ピントが合った状態では画像の合焦評価値(コントラスト値)が高くなるという特徴を利用して、合焦位置を検出するパッシブ方式が適用される。
AE処理部63Aは、顔検出部65によって画像データから検出された顔検出結果に応じて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値やシャッタ速度等を決定し、絞り値データやシャッタ速度データを出力する。
AWB処理部63Bは、撮影された画像に対してホワイトバランスを自動調整する。
画像処理部64は、本画像の画像データに対してガンマ補正、シャープネス補正、コントラスト補正等の画質補正処理を施すと共に、CCD−RAWデータを輝度信号であるYデータと、青色色差信号であるCbデータ及び赤色色差信号であるCrデータとからなるYCデータに変換するYC処理を行う。この本画像とは、本撮影により得られた画像データつまりレリーズボタン19が全押しされることによってCCD58から画像信号が出力され、アナログ信号処理部60、画像入力コントローラ61経由でフレームメモリ68に格納された画像データに基づいた画像である。
本画像の画素数の上限はCCD58の画素数によって決定されるが、例えば、ユーザが設定可能な画質設定(ファイン、ノーマル等の設定)により、記録画素数を変更することができる。一方、スルー画像やプレ画像の画素数は本画像より少なくてもよく、例えば、本画像の1/16程度の画素数で取り込まれてもよい。
圧縮/伸長処理部67は、画像処理部64によって画質補正等の処理が行われた画像データに対して、例えばJPEG等の圧縮形式で圧縮処理を行って、画像ファイルを生成する。この画像ファイルには、各種データ形式に基づいて付帯情報が付加される。またこの圧縮/伸長処理部67は、再生モードにおいては外部記録メディア70から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データは表示制御部71に出力され、表示制御部71は画像データに基づいた画像をモニタ18に表示する。
メディア制御部69は、図2におけるメディアスロット26に相当し、外部記録メディア70に記憶された画像ファイル等の読み出し、又は画像ファイルの書き込みを行う。
CPU75は、各種ボタン、レバー、スイッチの操作や各機能ブロックからの信号に応じて、デジタルカメラ1の本体各部を制御する。またデータバス76は、画像入力コントローラ61、各種処理部62〜64、67、顔検出部65、検出条件設定部66、フレームメモリ68、各種制御部69、71、及びCPU75に接続されており、このデータバス76を介して各種信号、データの送受信が行われる。
なお外部記録メディア70に画像ファイルを記録するときには、メディア制御部69が記録手段として機能し、不図示の内部メモリに画像ファイルを記録するときには、CPU75が記録手段として機能する。
次に以上の構成のデジタルカメラ1の検出条件設定部66について図面を参照して詳細に説明する。図4は検出条件として顔の向きを設定するときのメニュー画面の表示例、図5は検出条件として顔の大きさを設定するときのメニュー画面の表示例、図6は検出条件として顔の傾きを設定するときのメニュー画面の表示例、図7は検出条件として検出領域を設定するときのメニュー画面の表示例である。
検出条件設定部66は、顔の検出条件として、検出する顔の向き、大きさ、傾き、検出領域等を設定するものであり、顔の向きを設定する場合には例えば図4(a)に示す如く、メニュー画面91で顔検出設定92の向き93が選択されたときに、ユーザが全ての向きの顔を検出する「全向き対応」か、又は検出する顔の向きを個別に指定する「個別指定」を選択94し、「個別指定」を選択したときにはユーザが正面、横向き、上向き、下向き等の顔の向きを個別にON/OFF95で選択することができる。
ここで図8に、図4(a)の顔検出設定処理のフローチャートを示す。図8に示す如く、CPU75は個別指定がONに設定されているか否かを判別し(ステップS1)、個別指定がONに設定されている場合(ステップS1;YES)には検出条件設定部66がユーザによる設定の確認を行う(ステップS2)。
そして検出条件設定部66は、先ず正面がONにされているか否かを判別し(ステップS3)、ONにされている場合(ステップS3;YES)には、正面顔を検出対象とし(ステップS4)、ONにされていない場合(ステップS3;NO)には、正面顔は検出対象外とする(ステップS5)。
次に検出条件設定部66は、横向きがONにされているか否かを判別し(ステップS6)、ONにされている場合(ステップS6;YES)には、横向き顔を検出対象とし(ステップS7)、ONにされていない場合(ステップS6;NO)には、横向き顔は検出対象外とする(ステップS8)。
次に検出条件設定部66は、上向きがONにされているか否かを判別し(ステップS9)、ONにされている場合(ステップS9;YES)には、上向き顔を検出対象とし(ステップS10)、ONにされていない場合(ステップS9;NO)には、上向き顔は検出対象外とする(ステップS11)。
次に検出条件設定部66は、下向きがONにされているか否かを判別し(ステップS12)、ONにされている場合(ステップS12;YES)には、下向き顔を検出対象とし(ステップS13)、ONにされていない場合(ステップS12;NO)には、下向き顔は検出対象外とする(ステップS14)。
そしてさらに検出条件設定部66は、図4(a)のON/OFF95が全てOFFすなわち全ての顔が検出対象外にされているか否かを判別し(ステップS15)、全てが検出対象外にされている場合(ステップS15;YES)には、どれかをONにするように例えばモニタ18に警告表示して(ステップS16)、CPU75はユーザが再設定できるように図4(a)に示すメニュー画面91を表示し、ステップS2へ処理を移行する。一方、全てが検出対象外にされていない場合(ステップS15;NO)には、ステップS3〜ステップS4の処理により決定された検出対象を顔検出条件として設定する。
またステップS1にて個別指定がONにされていない場合(ステップS1;NO)には、全ての顔を検出対象として顔検出条件を設定する(ステップS17)。このように検出条件設定部66は、ユーザの手動によって任意に顔検出条件を設定する。
なお本実施形態で顔の状態として、正面、横向き、上向き、下向き等の向きを設定しているが、図4(b)に示す如く、向き93が選択されたときに、ユーザが検出する顔の向きとして例えば横顔のみをON/OFF96で選択するようにしてもよい。
また顔の検出条件として、顔の大きさを設定する場合には、図5(a)に示す如く、メニュー画面91で顔検出設定92の大きさ97が選択されたときに、検出対象となる顔の大きさの上限及び下限、具体的には撮像画像短辺に対する割合の上限及び下限98をユーザが例えばズーム/上下レバー13や左右ボタン14等を操作することにより任意に設定する。なおこのように大きさの上限及び下限をユーザが任意に設定可能にしてもよいが、図5(b)に示す如く、大きさ97が選択されたときに、顔の大きさの上限から下限の値の範囲の候補を複数表示99し、ユーザが例えばズーム/上下レバー13を操作することにより前記候補から任意に選択可能にしてもよい。
また顔の検出条件として、顔の傾きを設定する場合には、図6(a)に示す如く、メニュー画面91で顔検出設定92の傾き100が選択されたときに、ユーザが全ての傾き角度の顔を検出する「全角度対応」か、又は検出する顔の傾きを指定する「傾き指定」を選択101し、「傾き指定」を選択したときには、図6(b)に示す如く、検出対象となる顔の傾きの角度の範囲すなわち上限及び下限102をユーザが例えばズーム/上下レバー13や左右ボタン14を操作することにより任意に指定する。なおこのように傾きの上限及び下限をユーザが任意に指定可能にしてもよいが、上記顔の大きさを設定する場合と同様に、上限から下限の値の範囲の候補を複数表示し、ユーザが任意に選択可能にしてもよい。
また顔の検出条件として検出領域を設定する場合には、図7(a)、(b)に示す如く、メニュー画面91で顔検出設定92のエリア103が選択されたときに、ユーザが顔を検出する検出領域を、全ての画像領域を検出する「全エリア対応」か、または検出する領域を指定する「エリア指定」を選択104し、例えば「エリア指定」を選択したときには、予め候補に挙げられたエリアから検出領域を指定する「選択タイプ」か、又は検出するエリアの画像における座標を任意に指定する「フリータイプ」を選択する105。
「選択タイプ」が選択105されたときには、図7(a)に示す如く、例えば撮像画像において長さ比が中央の50%の内側等、長さ比の数値や、内側か外側かの選択106を、ユーザが例えばズーム/上下レバー13や左右ボタン14等を操作することにより変更して設定することができる。
また「フリータイプ」が選択105されたときには、図7(b)に示す如く、検索領域を指定するときの座標を、例えば左上(x1、y1)及び右下(x2、y2)のx1、x2、y1、y2の値を、ユーザが例えばズーム/上下レバー13や左右ボタン14等を操作することにより変更して設定することができる。このとき座標の原点は画面中央に設定してもよい。
なお上述の検出条件として顔の大きさ、傾き、検出領域を設定する場合にも、顔の向きを設定する場合の顔検出条件設定処理と概略同様にして検出条件設定部66により検出条件の設定が行われる。
次に上述のように顔検出条件が設定されたデジタルカメラ1の一連の処理を説明する。ここで図9にデジタルカメラ1の一連の処理のフローチャートを示す。
まず図9に示す如く、CPU75が動作モードスイッチ11の設定に従って、動作モードが撮影モードであるか再生モードであるか判別する(ステップS20)。再生モードの場合(ステップS20;再生)、再生処理が行われる(ステップS33)。この再生処理は、メディア制御部69が外部記録メディア70に記憶された画像ファイルを読み出し、画像ファイルに含まれる画像データに基づいた画像をモニタ18に表示させるための処理である。再生処理が終了したら、CPU75はデジタルカメラ1の電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS32)、オフ操作がなされていなかったら(ステップS32;NO)、CPU75はステップS20へ処理を移行し、オフ操作がなされていたら(ステップS32;YES)、デジタルカメラ1の電源をオフし、処理を終了する。
一方、ステップS20において動作モードが撮影モードであると判別された場合(ステップS20;撮影)、CPU75はスルー画像の表示制御を行う(ステップS21)。そして次にCPU75は、顔検出ボタン27がONに設定されているか否かを判別する(ステップS22)。ONに設定されている場合(ステップS22;YES)には、顔検出部65が検出条件設定部66により上述のように設定された検出条件に基づいて常時スルー画像から顔の検出処理を行い(ステップS23)、ONに設定されていない場合(ステップS22;NO)には、CPU75は処理をステップS24へ移行する。
そして次にCPU75は、レリーズボタン19が半押しされたか否かを判別し(ステップS24)、半押しがされていない場合(ステップS24;NO)には、CPU75はステップS21へ処理を移行して、以降の処理を繰り返す。
またレリーズボタン19が半押しされた場合(ステップS24;YES)には、AE処理部63AがAE処理を行い(ステップS25)、AF処理部62がAF処理を行う(ステップS26)。なおこのときAWB処理部63BによりAWB処理が行われてもよい。
そして次にCPU75は、レリーズボタン19が全押しされたか否かを判別し(ステップS27)、全押しされていない場合(ステップS27;NO)には、レリーズボタン19が半押し解除されたか否かを判別する(ステップS28)。そして半押し解除されていない場合は(ステップ28;NO)CPU75はステップS27へ処理を移行し、半押し解除されている場合は(ステップS28;YES)CPU75はステップS21へ処理を移行する。
一方、レリーズボタン19が全押しされた場合(ステップS27;YES)には、本撮影を行う(ステップS29)。そして本撮影が行われる(ステップS29)と、本撮影により取得された本画像に対して画像処理部64が画像処理を施す(ステップS30)。なおこのとき画像処理が施された本画像データに対してさらに圧縮/伸長処理部67によって圧縮処理が施されて画像ファイルが生成されてもよい。
次にCPU75は、画像処理が施された本画像を、表示制御部71を介してモニタ18に表示する処理を行うともにメディア制御部69を介して外部記録メディア70に記録する(ステップ31)。そしてCPU75は電源スイッチ22によってオフ操作がなされたか否かを判別し(ステップS32)、オフ操作がなされていたら(ステップS32;YES)、デジタルカメラ1の電源をオフし、処理を終了する。オフ操作がなされていなかったら(ステップS32;NO)、ステップS20へ処理を移行し、ステップS20以降の処理を繰り返す。このようにしてデジタルカメラ1による撮影は行われる。
以上のようにして、本実施形態のデジタルカメラ1は、ユーザが自分自身で顔の検出条件を個別に設定し、顔検出部65にユーザが意図する状態の顔を検出させることができるので、顔の検出においてユーザが所望するように検出率と高速性とのバランスをとることが可能となる。これにより顔の検出を行うときに、例えば予め大きい顔のみを撮影することが分かっている場合には、小さい顔まで検出しないように検出条件を設定することにより、不要な検出を行わないようにすることができるので、誤検出を防止すると共に処理時間を短縮することができる。
次に本発明にかかる第二の実施形態のデジタルカメラ1−2について図面を参照して詳細に説明する。図10はデジタルカメラ1−2の機能構成を示すブロック図、図11は検出条件として顔の傾きを設定するときの(a)メニュー画面の表示例及び(b)図示表示例である。
本実施形態のデジタルカメラ1−2は、図10に示す如く、上記実施形態のデジタルカメラ1の構成に検出条件表示部(検出条件表示手段)77をさらに備えたものである。なお本実施形態のデジタルカメラ1−2は上述した実施形態のデジタルカメラ1と同じ箇所は同符号で示して説明を省略する。
検出条件表示部77は、検出条件設定部66により設定された検出条件を表示するものであり、例えば検出条件として顔の傾きを設定する場合には、図11(a)に示す如く、設定確認図示を「する」か、又は「しない」を選択する選択項目110をモニタ18に表示し、ユーザが例えば左右ボタン14を操作することにより「する」を選択した場合には、図11(b)に示す如く、画面左側に傾き設定111を表示し、画面右側に傾きの設定結果すなわち顔の検出条件を図示表示する。
この図示表示は、図11(b)に示す如く、例えば画面右側の略中央を中心Cとして、中央から上方に略垂直に延びた直線d1を傾き0°の線として、直線d1上に顔F1の中心軸が位置するように顔F1を表示し、さらに図11(a)の102で設定した顔の傾き角度の上限値及び下限値(本実施形態では−120°及び+120°)に基づいて、中心Cを中心に直線d1から左回りに120°回転させた直線d2及び右回りに120°回転させた直線d3を表示し、上記と同様に直線d2上に顔F2、直線d3上に顔F3を表示する。そして顔F1、顔F2、顔F3の近傍にそれぞれ検出対象となる顔の傾き角度の範囲内であるとして丸印を表示すると共に、顔F2及び顔F3からそれぞれ顔F1に向かう矢印を表示し、さらに顔F1とは反対側すなわち±180°付近の顔F2と顔F3の間に、検出対象となる顔の傾き角度の範囲外であるとしてバツ印を表示する。
そして、例えば画面下方に図示表示された検出条件で設定してよいか否かを選択する項目113を表示し、ユーザが例えば左右ボタン14を操作することにより「OK」又は「NG」を選択可能にする。
こうすることにより、検出条件設定部66により設定された検出条件に基づく検出対象の傾きの範囲が、ユーザの意図するものであるか否かを視覚的に確認することができるので、ユーザが意図しない検出条件が設定されるのを防止することができる。
ここで図12に、図11(a)、図11(b)の顔検出傾き設定処理のフローチャートを示す。先ずCPU75は、図11(a)において「傾き指定」が選択101されたか否かを判別し(ステップS40)、「傾き指定」が選択101されている場合(ステップS40;YES)には、CPU75はユーザによる設定の確認を行って(ステップS41)、傾き角度の上限値が下限値より大きい値であるか否かを判別する(ステップS42)。
そして傾き角度の上限値が下限値よりも大きい値である場合(ステップS42;YES)、CPU75は、図11(a)において設定確認図示を「する」が選択110されたか否かを判別し(ステップS43)、「する」が選択されていない場合(ステップS43;NO)には、設定された検出条件の範囲102を図示せずに検出対象として設定する(ステップS44)。
一方、「する」が選択されている場合(ステップS43;YES)には、検出条件表示部77が、検出条件設定部66により設定された検出条件の範囲102に基づく検出対象を、図11(b)に示すように図示表示し(ステップS45)、CPU75は設定「OK」が選択されたか否かを判別する(ステップS46)。
そして設定「OK」が選択されている場合(ステップS46;YES)には、CPU75は処理をステップS44へ移行し、設定された検出条件の範囲を検出対象として設定し(ステップS44)、設定「OK」が選択されていない場合には、CPU75は検出対象の範囲が、ユーザが所望するものではないと判断し、ユーザが検出条件を再設定可能なようにモニタ18の表示を図11(a)の設定画面へ戻し(ステップS47)、ステップS41へ処理を移行する。
またステップS42にて、傾き角度の上限値が下限値よりも小さい値である場合(ステップS42;NO)、CPU75は傾き角度の上限値が下限値よりも大きい値になるように例えば表示制御部71を介してモニタ18に警告表示させ(ステップS48)、ユーザに再度設定を行わせるようにして、ステップS41へ処理を移行する。
またステップS40にて「傾き指定」が選択されていない場合(ステップS40;NO)には、全ての顔を検出対象として顔検出条件を設定する(ステップS49)。このようにして顔検出傾き設定の処理を行う。
なお上記では検出条件として顔の傾きを設定する場合について説明したが、検出条件として顔の検出領域を設定してもよい。ここで図13に検出条件として検出領域を設定するときの(a)メニュー画面の表示例及び(b)図示表示例を示す。
検出条件として顔の検出領域を設定する場合は、図13(a)に示す如く、上記と同様にして設定確認図示を「する」か、又は「しない」を選択する選択項目110を表示し、ユーザが「する」を選択した場合には、図13(b)に示す如く、画面左側にエリア設定114を表示し、画面右側にエリアの設定結果すなわち顔の検出条件を図示表示する。
この図示表示は、図13(b)に示す如く、モニタ18に、モニタ18の画面全体18’と、画面全体18’において検索領域となる検出対象エリアSを表示し、例えば画面全体18’の上方に、図13(a)の項目106で設定した長さ比の値(本実施形態では50%)に基づいて「中央50%の内側」を表示し、下方右側に「斜線が対象エリア」を表示する。
そして、上記と同様に図示表示された検出条件で設定してよいか否かを選択する項目113を設定画面の下方に表示し、ユーザが例えば左右ボタン14を操作することにより「OK」又は「NG」を選択可能にする。こうすることにより、検出条件設定部66により設定された検出条件に基づく検出領域の範囲が、ユーザの意図するものであるか否かを視覚的に確認することができるので、ユーザが意図しない検出条件が設定されるのを防止することができる。
以上にように検出条件設定部77によりユーザが任意に設定した検出条件を図示表示することにより、設定されている検出対象範囲が、ユーザが意図するものであるか否かを視覚的に確認することができるので、検出条件の誤設定を防止できて、ユーザが意図しない向きや大きさ等の顔が検出されるのを防止することができる。
なお本実施形態のデジタルカメラ1−2では、顔の検出条件を図示表示するものとしたが、本発明はこれに限られるものではなく、例えば文字等によって表示するものであってもよい。このとき例えば検出対象とする顔に制限がある場合とない場合とで、区別した表示を行うようにしてもよい。ここで図14に検出条件として顔の大きさを設定したときの表示例を示す。
図5に示して説明したように検出条件として顔の大きさを設定する場合には、検出対象とする顔に制限がない、すなわち全ての大きさの顔を検出するように検出条件が設定されたときには図14(a)に示す如く、例えば画面左上方に「FULL」の文字を表示し、撮像画像短辺に対する割合が1/8から1/2の大きさの顔のみを検出するように検出条件が設定されたときには図14(b)に示す如く、例えば画面上方に「LIMIDED(SIZE:1/8〜1/2 OK)」を表示する。なお「LIMITED」のみを表示させてもよい。
ここで図15に検出条件として顔の大きさを設定したときの設定処理のフローチャートを示す。先ず図15に示す如く、CPU75は「大きさ指定」が選択(図5(a)、図5(b)の97参照)されたか否かを判別し(ステップS50)、「大きさ指定」が選択されていない場合(ステップS50;NO)には、全ての顔を検出対象として顔検出条件を設定し(ステップS51)、モニタ18画面上に図14(a)に示す如く「FULL」を表示する(ステップS52)。
一方「大きさ指定」が選択されている場合(ステップS50;YES)には、CPU75はユーザによる設定の確認を行って(ステップS53)、検出対象となる顔の大きさの上限値が下限値より大きい値であるか否かを判別する(ステップS54)。
そして大きさの上限値が下限値よりも大きい値である場合(ステップS54;YES)、CPU75は、設定された検出対象の範囲(図5(a)の98又は図5(b)の99参照:1/8〜1/2)を検出条件として設定し(ステップS55)、モニタ18画面上に図14(b)に示す如く「LIMIDED(SIZE:1/8〜1/2 OK)」を表示する(ステップS56)。
またステップS54にて、大きさの上限値が下限値よりも小さい値である場合(ステップS54;NO)、CPU75は大きさの上限値が下限値よりも大きい値になるように例えば表示制御部71を介してモニタ18に警告表示させ(ステップS57)、ユーザに再度設定を行わせるようにして、ステップS53へ処理を移行する。このようにして設定処理を行う。
なお検出対象とする顔に制限がある場合とない場合とで区別した表示は、顔検出部65による顔検出が開始される前に行い、例えば上記と同様に、表示された検出条件で設定してもよいか否かをユーザによって選択可能としてもよい。この場合には、検出条件設定部66により設定された検出対象となる顔の大きさの範囲が、ユーザの意図するものであるか否かを視覚的に確認することができるので、ユーザが意図しない検出条件が設定されるのを防止することができる。
また検出対象とする顔に制限がある場合とない場合とで区別した表示は、図14(a)、図14(b)に示す如く、顔検出部65による顔検出結果である顔検出枠Fと共にスルー画像に表示させてもよい。この場合には、ユーザが設定した検出条件が撮像画面上に表示されることにより、ユーザが意図しない検出条件での顔検出結果が例えばAF処理等に利用されるのを防止することが可能となる。
次に本発明にかかる第三の実施形態のデジタルカメラ1−3について図面を参照して詳細に説明する。図16はデジタルカメラ1−3の機能構成を示すブロック図、図17は画像ファイルに記載されるタグ情報の一例、図18は画像ファイル再生時の表示例である。
本実施形態のデジタルカメラ1−3は、図16に示す如く、上記実施形態のデジタルカメラ1−2の構成にタグ情報記載部78及びタグ情報表示制御部79をさらに備えたものである。なお本実施形態のデジタルカメラ1−3は上述した実施形態のデジタルカメラ1−2と同じ箇所は同符号で示して説明を省略する。
タグ情報記載部78は、圧縮/伸長処理部67等によって生成された画像ファイルを外部記録メディア70又は図示しない内部メモリに記録するときに、この画像ファイルのタグ情報に検出条件を記載する。記載されるタグ情報は、例えば図17に示す如く、顔検出設定120についての設定項目を顔検出ON/OFF121、向き122、傾き123、大きさ124、エリア125とし、設定結果を例えば顔検出ON/OFF121はON、向き122は正面、傾き123は全方向、大きさ124は1/8〜1/2、エリア125は中央50%の内側とする。このようにタグ情報に検出条件を記載することにより、顔検出結果を利用する、例えば明るさ補正や色補正等のアプリケーションと連携するときに、アプリケーションとの親和性を強化することが可能となる。
タグ情報表示制御部79は、上述のようにタグ情報記載部78によってタグ情報が記載された画像ファイルをモニタ18に表示するときに、タグ情報に記載された検出条件をモニタ18に表示する。ここで図19に画像再生処理のフローチャートを示す。
画像再生処理は、デジタルカメラ1−3において動作モードが再生モードに設定されたときに行う処理(図9中ステップS33参照)であり、先ず図19に示す如く、メディア制御部69が外部記録メディア70に記憶された画像ファイルを読み出し(ステップS60)、CPU75はタグの情報表示がONに設定されているか否かを判別する(ステップS61)。このとき情報表示のON/OFFはユーザが各種ボタンやレバー等を操作することにより設定可能としてもよいし、タグに情報が記載されている場合に自動的にONに設定されるようにしてもよい。
そしてONに設定されている場合(ステップS61;YES)には、タグ情報表示制御部79がファイル名、日時、絞り、シャッタスピードを表示項目A1として設定する(ステップS63)。
次にCPU75は、顔検出部65がONに設定されているか否かを判別し(ステップS64)、ONに設定されていない場合(ステップS64;NO)には、タグ情報表示制御部79が、顔検出がOFFに設定されていることを表示項目A2として表示項目に追加設定して(ステップS65)、画像とタグ情報に記載された表示項目A1、A2をモニタ18に表示する(ステップS69)。
このときの表示は、例えば図18(d)に示す如く、モニタ18に画像データを表示し、画像データが表示された画面下側に、表示項目A1としてタグ情報に記載された内容「DSCFXXXX、20XX.XX.XX、F5、1/180」を表示する。また画面上側に、表示項目A2-dとしてタグ情報に記載された内容「FACE DETECTION OFF」すなわち顔検出がOFFに設定されている旨を表示する。
一方、ステップS64にて顔検出がONに設定されている場合(ステップS64;YES)には、タグ情報表示制御部79が、検出条件設定部66により設定された顔の検出条件を表示項目A2として表示項目に追加設定し(ステップS66)、CPU75は顔が見つかっているか否かを判別して(ステップS67)、顔が見つかっていない場合(ステップS67;NO)には、画像とタグ情報に記載された表示項目A1、A2をモニタ18に表示する(ステップS69)。
このときの表示は、例えば図18(c)に示す如く、モニタ18に画像データを表示し、画像データが表示された画面下側に、表示項目A1としてタグ情報に記載された内容「DSCFXXXX、20XX.XX.XX、F5、1/180」を表示する。また画面上側に、表示項目A2-cとしてタグ情報に記載された検出条件として、例えば「LIMIDED(SIZE:1/8〜1/2 OK)(AREA:center 50% (inside)OK)」すなわち顔の大きさは撮像画像短辺に対する割合が1/8〜1/2の範囲を検出対象とし、検出領域は撮像画像において長さ比が中央の50%の内側として検出条件を制限する旨を表示する。
またステップS67にて顔が見つかっている場合(ステップS67;YES)には、タグ情報表示制御部79が、さらに顔の検出枠Fを表示項目に追加して(ステップS68)、画像、タグ情報に記載された表示項目A1、A2及び表示項目である検出枠Fを表示する(ステップS69)。
このときの表示は、例えば図18(b)に示す如く、モニタ18に画像データを表示し、画像データが表示された画面下側に、表示項目A1としてタグ情報に記載された内容「DSCFXXXX、20XX.XX.XX、F5、1/180」を表示する。また画面上側に、表示項目A2-bとしてタグ情報に記載された検出条件、例えば「LIMIDED(SIZE:1/8〜1/2 OK)(AREA:center 50% (inside)OK)」すなわち顔の大きさは撮像画像短辺に対する割合が1/8〜1/2の範囲を検出対象とし、検出領域は撮像画像において長さ比が中央の50%の内側として検出条件を制限する旨を表示する。そしてさらに検出された顔を囲む検出枠Fを表示する。
なおタグ情報に記載された検出条件が全ての顔を検出対象とするものである場合には、図18(a)に示す如く、表示項目A2−aとして「FULL」すなわち全ての顔を検出対象とする旨を表示する。
またステップS61にて情報表示がONに設定されていない場合(ステップS61;NO)には、表示制御部71が画像のみをモニタ18に表示する(ステップS62)。このようにして画像再生処理を行う。
検出条件設定部66により検出条件が変更可能である場合に、外部記録メディア70又は図示しない内部メモリに記録された画像データがどのような検出条件の設定で撮影したものなのか分からなくなってしまう可能性があるが、上記のように検出条件を画像ファイルのタグ情報に記載しておくことにより、画像再生時にこの記載された検出条件を読み出すことで、顔検出結果と共に、撮影時に設定されていた検出条件を表示することができる。
これにより、例えば顔が検出されていなかった場合に、なぜ検出されなかったのかユーザが把握し易くなり、今後似たようなシーンの撮影を行う場合の検出条件の設定に役立てることが可能となるので、将来の撮影に対して適切な検出条件を設定することができる。
次に本発明にかかる第四の実施形態のデジタルカメラ1−4について詳細に説明する。本実施形態のデジタルカメラ1−4は、上記実施形態のデジタルカメラ1−3の機能構成(図16参照)と概略同様の構成であるため、図示は省略する。
本実施形態のデジタルカメラ1−4では、検出条件設定部66が、画像ファイルのタグ情報に記載された検出条件とは異なる検出条件を再設定可能なものであり、顔検出部65が、外部記録メディア70又は図示しない内部メモリに記録された画像ファイルの画像データに対して、検出条件設定部66により再設定された検出条件に基づいて顔の検出を行う。
ここで図20(a)に撮影時の検出条件設定での顔検出結果の表示例、図20(b)に記録後の顔検出結果の表示例を示す。通常、画像ファイルの記録後に行う画像再生処理時には、撮影時と比較して時間に余裕がある場合が多い。そこで検出条件設定部66によって、画像再生処理を行う画像ファイルのタグ情報に記載された撮影時の検出条件とは異なる、例えば検出対象の範囲を広くした検出条件に再設定することにより、再設定前すなわち撮影時の検出条件に基づく顔検出では、図20(a)に示す如く、顔F1のみが検出されていても、記録後すなわち検出条件を再設定後には、図20(b)に示す如く、再生時に検出されなかった顔F2を検出させることが可能となる。
図21は記録後の画像データに対する顔検出処理のフローチャートである。記録後の顔検出は、図21に示す如く、メディア制御部69が外部記録メディア70に記憶された画像ファイルを読み出す(ステップS70)。
そして次に検出条件設定部66がタグ情報に記載された撮影時の顔の検出条件を取得し(ステップS71)、検出対象に制限があるか否かを判別する(ステップS72)。検出対象に制限がない場合(ステップS72;YES)には、撮影時に全ての顔が検出対象とされた検出条件で顔の検出が行われているので、タグ情報に記載する追加情報はなしとする(ステップS73)。
一方検出対象に制限がある場合(ステップS72;NO)には、撮影時に検出対象が制限された検出条件で顔の検出が行われているので、検出条件設定部66が検出対象を制限しない、つまり全ての顔を検出対象として検出条件を再設定し、顔検出部65はこの再設定された検出条件に基づいて画像再生されている画像データから顔の検出を行う(ステップS74)。
そしてタグ情報記載部78が、再設定された今回の検出条件及び検出結果をタグ情報に追加記載する(ステップS75)。
ここで図22に、追加記載されたタグ情報の一例を示す。タグ情報は、例えば図22に示す如く、顔検出130について、撮影時131の設定132の項目を顔検出ON/OFF133、向き134、傾き135、大きさ136、エリア137とし、設定結果を例えば顔検出ON/OFF133はON、向き134は正面、傾き135は全方向、大きさ136は1/8〜1/2、エリア137は中央50%の内側として記載し、さらに顔検出の結果138の項目を検出顔数139、位置140、大きさ141とし、例えば図20(a)に示す結果として、検出顔数139は1、位置140は例えば画面中央を原点としたときの座標を用いたときには、顔F1[左下(XL、YL)右上(XR、YR)](図示せず)とし、大きさ141は顔F1[1/3](図示せず)として記載する。
そして記録後142の設定143を検出対象制限なし144とし、顔検出の結果145を、上記と同様に、検出顔数146は2、位置147は顔F1[左下(XL1、YL1)右上(XR1、YR1)]、顔F2[左下(XL2、YL2)右上(XR2、YR2)](図示せず)とし、大きさ141は顔F1[1/3]、顔F2[1/4](図示せず)として追加記載する。以上のようにして顔の検出を行う。
なお本実施形態ではタグ情報は、図22に示す如く、撮影時の設定及び結果すなわち顔検出情報に記録後の顔検出情報を追加して記載する形式としたが、例えば記録後つまり最新の顔検出情報が残るように上書きで記載する形式としてもよい。
また図23に記録後の画像データに対する顔検出処理の別のフローチャートを示す。なお図23において図21のフローチャートと同じ処理は、同じステップ番号で示して説明は省略する。
記録後の顔検出は、図23に示す如く、ステップS72にて検出対象に制限があると判別された場合(ステップS72;NO)には、撮影時に検出対象が制限された検出条件で顔の検出が行われているので、検出条件設定部66は撮影時に検出対象外であった顔を検出対象とするように検出条件を再設定して、顔検出部65はこの再設定された検出条件に基づいて画像再生されている画像データから顔の検出を行う(ステップS74’)。
これにより、撮影時に検出された顔F1(図20(a)参照)以外の顔F2(図20(b)参照)を検出することが可能となり、タグ情報に顔検出結果145(図22参照)として顔F2の情報を追加して記載することが可能となる。
以上のように、検出条件を再設定して記録後の画像データにおいて顔検出を行うことにより、撮影時には検出されなかった顔を、記録後の画像データから検出することが可能となるので、顔検出結果を利用する、例えば明るさ補正や色補正等のアプリケーションにおいて、より適切な処理を施すことが可能となる。
なお本実施形態では検出条件設定部66が、検出条件を画像ファイルのタグ情報に記載された検出条件よりも検出対象の範囲が広くなるように再設定しているが、本発明はこれに限られるものではなく、検出対象の範囲が狭くなるように再設定してもよい。この場合、記録後に誤検出が見つかったときに、誤検出された顔を排除することができる可能性がある。
次に図24に記録後の画像データに対する顔検出処理のさらに別のフローチャートを示す。なお図24において図21のフローチャートと同じ処理は、同じステップ番号で示して説明は省略する。
記録後の顔検出は、図24に示す如く、ステップS72にて検出対象に制限があるとされて(ステップS72;NO)、検出条件設定部66が検出対象を制限しないで検出条件を再設定し、顔検出部65がこの再設定された検出条件に基づいて画像再生されている画像データから顔の検出を行った後(ステップS74)に、CPU75は表示制御部71を介して、この顔検出の結果をモニタ18に表示する(ステップS76)。
次にCPU75は、ユーザによってタグ情報の更新が許可されたか否かを判別する(ステップS77)。このときユーザによる許可は、例えばモニタ18に前記更新を許可するか否かを表示し、ユーザが各種ボタンやレバー等を操作することにより選択するようにしてもよい。
そしてCPU75が、タグ情報の更新が許可されたと判別した場合(ステップS77;YES)には、タグ情報記載部78が、再設定された今回の検出条件及び検出結果をタグ情報に追加記載する(ステップS75)。
一方、タグ情報の更新が許可されていないと判別した場合(ステップS77;NO)には、タグ情報に記載する追加情報はなしとする(ステップS73)。
これにより、ユーザが顔検出結果を確認後にタグ情報を追加記載するので、記録後の画像データに対する顔検出処理の結果が、例えば撮影時の顔検出では生じていなかった誤検出がある等、ユーザが所望する結果とは異なるものであった場合に、タグ情報の追加記載を行わないようにすることが可能となる。
以上により、画像ファイルの記録後にその画像ファイルの撮影時とは異なる検出条件を再設定し、再生された前記画像ファイルの画像データに対して再設定された検出条件に基づいて顔の検出を行うことにより、その画像データにおいてより適切な顔検出の結果を得ることが可能となる。
次に本発明にかかる第五の実施形態のデジタルカメラ1−5について詳細に説明する。本実施形態のデジタルカメラ1−5は、上記実施形態のデジタルカメラ1−4の機能構成と概略同様の構成であるため、図示は省略する。
本実施形態のデジタルカメラ1−5では、検出条件設定部66が、前記画像ファイルのタグ情報に記載された検出条件を取得し、取得した検出条件を保持可能なものであり、顔検出部65が、保持された検出条件に基づいて顔の検出を行う。ここで図25に画像ファイル再生時の表示例、図26に画像再生処理のフローチャートを示す。なお図26において図19のフローチャートと同じ処理は、同じステップ番号で示して説明は省略する。
デジタルカメラ1−5における画像再生処理は、図26に示す如く、ステップS64にて顔検出がONに設定されていた場合(ステップS64;YES)に、ステップS69にてタグ情報表示制御部79が、図25に示す如く、画像とタグ情報に記載された検出条件を含む表示項目A1、A2-b、顔が検出された場合には表示項目として検出枠Fをモニタ18に表示し(ステップS69)、さらにタグ情報に記載された検出条件での設定を保持するか否かをユーザに選択させる項目A3をモニタ18に表示させる。
そしてCPU75は、ユーザが検出条件の保持を選択したか否かを判別し(ステップS90)、検出条件の保持が選択されている場合(ステップS90;YES)には、検出条件設定部66が、タグ情報に記載された検出条件を読み出して取得し、取得した検出条件を保持し、以後の顔検出条件として設定する(ステップS91)。
一方、検出条件の保持が選択されていない場合(ステップS90;NO)には、検出条件を例えばデフォルトに設定して処理を終了する。
上記のように、画像ファイルの再生処理を行うときに、その画像ファイルの撮影時における検出条件及び顔検出結果として検出枠Fがモニタ18に表示され、モニタ18に表示された検出条件で所望する顔検出結果が得られているか否かをユーザが確認し、所望する顔検出結果が得られている場合にはその検出条件を保持して、保持された検出条件を以後の顔検出に適用することができるので、顔検出部65はユーザが所望する顔検出処理を安定して行うことが可能となる。
なお、保持された検出条件は、次回の撮影時に、スルー画像等のCCD58により取得された画像データに対して顔検出部65が行う顔検出処理に使用してもよいし、外部記録メディア70又は図示しない内部メモリに記録後に画像再生処理が行われた画像データに対して使用してもよい。
このように、検出条件設定部66によりユーザが個別に検出条件を設定可能な場合に、ユーザが所望する顔検出結果を得られたことが確認された検出条件を保持することにより、顔検出部65はユーザが所望する顔検出処理を安定して行うことが可能となる。
次に本発明にかかる第六の実施形態のデジタルカメラ1−6について図面を参照して詳細に説明する。図27はデジタルカメラ1−6の機能構成を示すブロック図、図28は顔検出処理のフローチャート、図29は顔検出結果の表示例である。
本実施形態のデジタルカメラ1−6は、図27に示す如く、上述の第一の実施形態のデジタルカメラ1の構成(図3参照)にセルフタイマー撮影部80をさらに備えたものである。なお本実施形態のデジタルカメラ1−6は、第一の実施形態のデジタルカメラ1と同じ箇所は同符号で示して説明を省略する。
セルフタイマー撮影部(セルフタイマー撮影手段)80は、レリーズボタン19の全押しから本露光撮影が開始するまでの予め設定された所定の待機時間(例えばレリーズボタン19の全押しから5秒間)の経過を計時するタイマー部(図示せず)を備えるものであり、待機時間の0を計時したときにレリーズボタン19の押下信号がシャッタ駆動部57に出力されるように、タイミングジェネレータ72を介して制御している。また前記待機時間の間、上述のセルフタイマーランプ25を点滅させて本露光撮影の開始のタイミングを撮影者等に知らせる。
なおセルフタイマー撮影部66によるセルフタイマーのON/OFFは、モニタ18に表示させて選択するものであってもよいし、デジタルカメラ1−6の本体10の背面に図示しないセルフタイマーボタンを配設してON/OFFを設定しても良い。
以下、上記構成のデジタルカメラ1−6において、顔検出部65による顔検出処理について説明する。
例えば顔検出部65により複数の顔が検出されたときに中央よりの顔領域にAFエリアを設定するように制御されたデジタルカメラ1−6で、セルフタイマー撮影によって撮影者自身を被写体とした撮影を行う場合に、通常、撮影者はレリーズボタン19を全押ししてから撮影レンズ20の前に立つので、撮影者は自分の顔が写っている正確な位置がわからない、つまり自分の顔が中央付近にあるのか否かがわからないため、自分の顔領域がAFエリアに設定されているか否かを確認することができない。そこで自分以外にも顔が存在する撮影環境でセルフタイマー撮影を行う際には、自分に確実にAF等の撮影条件が照準されるようにすることが必要となる。
一般的にセルフタイマー撮影時には主要被写体となる人物の顔は撮影レンズ20に対して正面を向いている場合が多い。しかしながら顔検出部65が、例えばデフォルト設定により横顔と正面顔とを検出する場合には、図29(a)に示す如く、撮影視野の中央付近に撮影者が意図しない被写体である横顔F1が存在する撮影環境下で、撮影者が意図する主要被写体(例えば撮影者自身等)を撮影するとき、顔検出部65は横顔F1と主要被写体である正面顔F2を検出するが、横顔F1の方が中央よりに位置しているために横顔F1の顔領域がAFエリアに設定されてしまう。
そこで本実施形態のデジタルカメラ1−6では、顔検出部65が、セルフタイマー撮影時には正面顔のみを検出するように検出条件設定部66によって設定された検出条件に基づいて顔の検出を行うようにする。
顔検出処理は、図28に示す如く、先ずCPU75はセルフタイマーがONに設定されているか否かを判別する(ステップS100)。セルフタイマーがONに設定されていない場合(ステップS60;NO)には、顔検出部65は、正面顔と横顔の両方を検出するようにデフォルトで設定されている検出条件に基づいて顔の検出を行う(ステップS101)。
一方、セルフタイマーがONに設定されている場合(ステップS100;YES)には、ユーザが予め検出条件設定部66によって、正面顔のみを検出し、横顔を検出しないように設定した検出条件に基づいて顔検出部65が顔の検出を行う(ステップS102)。
このようにセルフタイマー撮影がONにされているときのみに、検出条件設定部66によりユーザが予め顔の向きを制限して設定した検出条件に基づいて顔検出部65が正面顔のみを検出するように顔検出を行うことができるので、上述した図29(a)と同様の撮影環境下であっても、顔検出部65は、図29(b)に示す如く、主要被写体の正面顔F2’のみを検出するので、例えば撮影者自身等の主要被写体の正面顔に、確実にAF等の撮影条件を照準させることが可能となる。
なお本実施形態ではユーザが検出条件設定部66によって横顔を検出しないように検出条件を設定したが、本発明はこれに限られるものではなく、例えば上向き顔、下向き顔、傾き顔等を検出しないように設定してもよい。
なお本発明の撮像装置は、上述した実施形態のデジタルカメラに限られるものではなく、本発明の趣旨を逸脱しない範囲において適宜設計変更可能である。
デジタルカメラの背面斜視図 デジタルカメラの前面斜視図 デジタルカメラの機能ブロック図 検出条件として顔の向きを設定するときのメニュー画面の表示例 検出条件として顔の大きさを設定するときのメニュー画面の表示例 検出条件として顔の傾きを設定するときのメニュー画面の表示例 検出条件として検出領域を設定するときのメニュー画面の表示例 検出条件として顔の向きを設定するときの顔検出設定処理のフローチャート デジタルカメラの一連の処理のフローチャート 第二の実施形態のデジタルカメラの機能ブロック図 図10のデジタルカメラにおいて検出条件として顔の傾きを設定するときの(a)メニュー画面の表示例及び(b)図示表示例 図11の顔検出傾き設定処理のフローチャート 図10のデジタルカメラにおいて検出条件として検出領域を設定するときの(a)メニューの表示例及び(b)図示表示例 検出条件として顔の大きさを設定したときの表示例 図14の顔検出条件設定処理のフローチャート 第三の実施形態のデジタルカメラの機能ブロック図 タグ情報の一例 画像ファイル再生時の表示例 画像再生処理のフローチャート (a)撮影時の検出条件設定での顔検出結果の表示例、(b)記録後の顔検出結果の表示例 記録後の画像データに対する顔検出処理のフローチャート 追加記載されたタグ情報の一例 記録後の画像データに対する顔検出処理の第二のフローチャート 記録後の画像データに対する顔検出処理の第三のフローチャート 画像ファイル再生時の表示例 画像再生処理の第二のフローチャート 第六の実施形態のデジタルカメラの機能ブロック図 図27のデジタルカメラにおける顔検出処理のフローチャート 図28の顔検出結果の表示例
符号の説明
1 デジタルカメラ(撮像装置)
18 モニタ
19 レリーズボタン(撮影指示手段)
58 CCD(撮像手段)
65 顔検出部(対象物検出手段)
66 検出条件設定部(検出条件設定手段)
69 メディア制御部(記録手段)
77 検出条件表示部(検出条件表示手段)
78 タグ情報記載部(タグ情報記載手段)
79 タグ情報表示制御部(タグ情報表示制御手段)

Claims (14)

  1. 被写体を撮像して画像データを取得する撮像手段と、
    前記画像データから所定の対象物を検出する対象物検出手段と、
    前記対象物検出手段の検出条件をユーザが任意に設定可能な検出条件設定手段とを備えてなることを特徴とする撮像装置。
  2. 前記検出条件が、前記対象物の向き、大きさ、傾き、検出領域の少なくとも1つを制限するものであることを特徴とする請求項1に記載の撮像装置。
  3. 前記検出条件設定手段により設定された前記検出条件を表示する検出条件表示手段を備えてなることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記検出条件表示手段が、前記検出条件を図示表示することを特徴とする請求項3に記載の撮像装置。
  5. 前記検出条件表示手段が、前記撮像手段による前記撮像中に、前記表示することを特徴とする請求項3に記載の撮像装置。
  6. 前記画像データから生成された画像ファイルを外部記録メディア又は内部メモリに記録する記録手段を備え、
    前記記録時に、前記検出条件を前記画像ファイルのタグ情報に記載するタグ情報記載手段をさらに備えてなることを特徴とする請求項1〜5のいずれか1項に記載の撮像装置。
  7. 前記外部記録メディア又は前記内部メモリに記録された画像ファイルを表示手段に表示する表示制御手段を備え、
    前記表示手段に前記画像ファイルを表示するときに、該画像ファイルのタグ情報に記載された前記検出条件を前記表示手段に表示するタグ情報表示制御手段をさらに備えてなること特徴とする請求項6に記載の撮像装置。
  8. 前記検出条件設定手段が、前記画像ファイルのタグ情報に記載された前記検出条件とは異なる検出条件を再設定可能なものであり、
    前記対象物検出手段が、前記外部記録メディア又は前記内部メモリに記録された画像ファイルの画像データに対して、前記検出条件設定手段により再設定された検出条件に基づいて前記検出を行うことを特徴とする請求項6に記載の撮像装置。
  9. 前記異なる検出条件が、前記画像ファイルのタグ情報に記載された前記検出条件よりも検出対象の範囲が広いものであることを特徴とする請求項8に記載の撮像装置。
  10. 前記異なる検出条件が、前記画像ファイルのタグ情報に記載された前記検出条件よりも検出対象の範囲が狭いものであることを特徴とする請求項8に記載の撮像装置。
  11. 前記検出条件設定手段が、前記画像ファイルのタグ情報に記載された前記検出条件を取得し、該取得した検出条件を保持可能なものであり、
    前記対象物検出手段が、前記保持された検出条件に基づいて前記検出を行うことを特徴とする請求項6に記載の撮像装置。
  12. 前記保持された検出条件に基づく前記検出が、前記撮像手段により取得された画像データに対して行われることを特徴とする請求項11に記載の撮像装置。
  13. 前記保持された検出条件に基づく前記検出が、前記外部記録メディア又は前記内部メモリに記録された画像ファイルの画像データに対して行われることを特徴とする請求項11に記載の撮像装置。
  14. 前記撮像手段に本撮影を指示する撮影指示手段と、
    該撮影指示手段より前記本撮影が指示されてから所定時間経過後に前記本撮影を行わせるセルフタイマー撮影手段及び/又は所定のタイミングで前記撮影指示手段に前記本撮影を行わせる自動撮影手段とをさらに備え、
    前記セルフタイマー撮影手段又は前記自動撮影手段を使用して前記本撮影を行うときにのみ、
    前記対象物検出手段が、前記検出条件設定手段によって設定された検出条件で前記検出を行うことを特徴とする請求項1〜13のいずれか1項に記載の撮像装置。
JP2007157532A 2007-06-14 2007-06-14 撮像装置 Active JP4908321B2 (ja)

Priority Applications (12)

Application Number Priority Date Filing Date Title
JP2007157532A JP4908321B2 (ja) 2007-06-14 2007-06-14 撮像装置
US12/138,232 US20080309785A1 (en) 2007-06-14 2008-06-12 Photographing apparatus
EP08252030.5A EP2015568B1 (en) 2007-06-14 2008-06-12 Digital image pickup apparatus
EP18205519.4A EP3462727B1 (en) 2007-06-14 2008-06-12 Photographing apparatus
TW097122033A TW200908711A (en) 2007-06-14 2008-06-13 Photographing apparatus
KR1020080056021A KR20080110545A (ko) 2007-06-14 2008-06-13 촬상 장치
CN2008101302361A CN101325662B (zh) 2007-06-14 2008-06-16 摄影设备
CN201110423201.9A CN102438099B (zh) 2007-06-14 2008-06-16 摄影设备
CN2011104231995A CN102438105A (zh) 2007-06-14 2008-06-16 摄影设备
US13/153,192 US9131138B2 (en) 2007-06-14 2011-06-03 Photographing apparatus
US13/153,164 US20110234851A1 (en) 2007-06-14 2011-06-03 Photographing apparatus
US13/304,225 US9065998B2 (en) 2007-06-14 2011-11-23 Photographing apparatus provided with an object detection function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007157532A JP4908321B2 (ja) 2007-06-14 2007-06-14 撮像装置

Publications (2)

Publication Number Publication Date
JP2008311920A true JP2008311920A (ja) 2008-12-25
JP4908321B2 JP4908321B2 (ja) 2012-04-04

Family

ID=40188960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007157532A Active JP4908321B2 (ja) 2007-06-14 2007-06-14 撮像装置

Country Status (2)

Country Link
JP (1) JP4908321B2 (ja)
CN (1) CN101325662B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157969A (ja) * 2009-01-05 2010-07-15 Canon Inc 撮像装置、対象物検出方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5495930B2 (ja) 2010-05-10 2014-05-21 キヤノン株式会社 画像処理装置、方法、およびプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051338A (ja) * 1999-08-12 2001-02-23 Canon Inc カメラ
JP2001257933A (ja) * 2000-03-09 2001-09-21 Olympus Optical Co Ltd 電子カメラ
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP2004336265A (ja) * 2003-05-06 2004-11-25 Fuji Photo Film Co Ltd 撮像装置
JP2004349750A (ja) * 2003-05-20 2004-12-09 Fuji Photo Film Co Ltd ディジタル・カメラおよびその制御方法
JP2006148557A (ja) * 2004-11-19 2006-06-08 Samsung Techwin Co Ltd 自動撮像装置および自動撮像装置の制御用プログラム
JP2006211139A (ja) * 2005-01-26 2006-08-10 Sanyo Electric Co Ltd 撮像装置
JP2006261914A (ja) * 2005-03-16 2006-09-28 Fuji Photo Film Co Ltd 画像表示方法
JP2006295646A (ja) * 2005-04-12 2006-10-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2007036603A (ja) * 2005-07-26 2007-02-08 Noritsu Koki Co Ltd プリント作成装置
JP2007068149A (ja) * 2005-08-02 2007-03-15 Canon Inc 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体
JP2007128127A (ja) * 2005-11-01 2007-05-24 Fujifilm Corp 顔検出方法および装置並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234228A (ja) * 2003-01-29 2004-08-19 Seiko Epson Corp 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051338A (ja) * 1999-08-12 2001-02-23 Canon Inc カメラ
JP2001257933A (ja) * 2000-03-09 2001-09-21 Olympus Optical Co Ltd 電子カメラ
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
JP2004336265A (ja) * 2003-05-06 2004-11-25 Fuji Photo Film Co Ltd 撮像装置
JP2004349750A (ja) * 2003-05-20 2004-12-09 Fuji Photo Film Co Ltd ディジタル・カメラおよびその制御方法
JP2006148557A (ja) * 2004-11-19 2006-06-08 Samsung Techwin Co Ltd 自動撮像装置および自動撮像装置の制御用プログラム
JP2006211139A (ja) * 2005-01-26 2006-08-10 Sanyo Electric Co Ltd 撮像装置
JP2006261914A (ja) * 2005-03-16 2006-09-28 Fuji Photo Film Co Ltd 画像表示方法
JP2006295646A (ja) * 2005-04-12 2006-10-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2007036603A (ja) * 2005-07-26 2007-02-08 Noritsu Koki Co Ltd プリント作成装置
JP2007068149A (ja) * 2005-08-02 2007-03-15 Canon Inc 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体
JP2007128127A (ja) * 2005-11-01 2007-05-24 Fujifilm Corp 顔検出方法および装置並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157969A (ja) * 2009-01-05 2010-07-15 Canon Inc 撮像装置、対象物検出方法及びプログラム

Also Published As

Publication number Publication date
CN101325662B (zh) 2012-05-16
JP4908321B2 (ja) 2012-04-04
CN101325662A (zh) 2008-12-17

Similar Documents

Publication Publication Date Title
JP4338047B2 (ja) 撮像装置
JP4291408B2 (ja) 撮像装置
US7706674B2 (en) Device and method for controlling flash
US7432973B2 (en) Digital camera for capturing an image with a predetermined composition
US9065998B2 (en) Photographing apparatus provided with an object detection function
JP2005128437A (ja) 撮影装置
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
JP2007311861A (ja) 撮影装置及び方法
JP2007232793A (ja) 撮像装置
JP2009094946A (ja) 撮像装置及び撮像装置における肖像権保護方法
JP2007233113A (ja) 測距装置及び方法
JP2008278354A (ja) 撮像装置
JP2007235640A (ja) 撮影装置及び方法
US20070195190A1 (en) Apparatus and method for determining in-focus position
JP4949717B2 (ja) 合焦位置決定装置及び方法
JP2010141609A (ja) 撮像装置
JP4879127B2 (ja) デジタルカメラ、及びデジタルカメラのフォーカスエリア選択方法
JP4908321B2 (ja) 撮像装置
JP4767904B2 (ja) 撮像装置及び撮像方法
JP2009077143A (ja) 自動撮影装置
JP2008187590A (ja) 撮影装置及び撮影方法
JP2008219367A (ja) 撮像装置及び撮像方法
JP5406958B2 (ja) 画像処理装置、方法及びプログラム
JP2008311921A (ja) 撮像装置
JP2007226141A (ja) 撮影装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120112

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4908321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250