JP2010063085A - 撮像装置及び撮影方法、プログラム - Google Patents

撮像装置及び撮影方法、プログラム Download PDF

Info

Publication number
JP2010063085A
JP2010063085A JP2009134301A JP2009134301A JP2010063085A JP 2010063085 A JP2010063085 A JP 2010063085A JP 2009134301 A JP2009134301 A JP 2009134301A JP 2009134301 A JP2009134301 A JP 2009134301A JP 2010063085 A JP2010063085 A JP 2010063085A
Authority
JP
Japan
Prior art keywords
facial expression
determination
imaging
determining
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009134301A
Other languages
English (en)
Other versions
JP5361547B2 (ja
Inventor
Yoshinari Kawaguchi
善也 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009134301A priority Critical patent/JP5361547B2/ja
Priority to US12/510,873 priority patent/US8208035B2/en
Priority to CN2009101621272A priority patent/CN101646019B/zh
Publication of JP2010063085A publication Critical patent/JP2010063085A/ja
Application granted granted Critical
Publication of JP5361547B2 publication Critical patent/JP5361547B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】複数の表情を同時に判定する際の誤判定を低減し、好適なシャッターチャンスに確実に撮影を行うことができる技術を実現する。
【解決手段】撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段により生成された画像データに含まれる人物の顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域について、複数の表情を判定する表情判定手段と、を有し、前記表情判定手段は、第1の表情の判定を行い、かつ、第2の表情の判定を行う場合には、当該第2の表情の判定条件を判定が成立し難くなる方向に補正する。
【選択図】図1

Description

本発明は、被写体の表情を判定して撮影を行う技術に関する。
デジタルスチルカメラ等の撮像装置により人物を撮影する場合、主被写体である人物の表情が笑顔であることや目瞑りがないことなど、被写体となった人物が満足する画像を撮影することが望まれる。そこで、従来は撮影した画像の適否を判定し、その判定結果に応じて画像を記録する技術が知られている。例えば、特許文献1には、被写体が瞬きした瞬間や視線の向きなどの目の変化を検出し、所定の撮影条件を満たしたときに撮影を実行する技術が記載されている。
また、特許文献2には、被写体が望ましい表情やポーズになったときにカメラが自動的にシャッターチャンスを判定して撮影を実行する技術が記載されている。さらに、特許文献3には、ユーザがカメラのシャッターボタンを押したときに、被写体が目を瞑ってしまっているか否かを判断し、被写体が目を瞑っている場合には撮影を行わずに警告表示を行う技術が記載されている。
特開2000−347277号公報 特開2004−294498号公報 特開2007−049631号公報
しかしながら、例えば、人物の表情が笑顔であることが検知された際に自動的に撮影を行う機能と、人物が目を瞑ってしまったときには撮影を禁止する機能を併用すると、不具合が生じることがある。具体的には、一般的に表情が笑顔になると人物の目は細くなるので、せっかくの笑顔が目瞑りと誤判定される可能性が高くなり、被写体が笑顔であるにも関わらず、シャッターチャンスを逸してしまうことが想定される。また、上記特許文献1,2では、上述のように複数の表情を同時に判定する場合について考慮されていない。
本発明は、上記課題に鑑みてなされ、複数の表情を同時に判定する際の誤判定を低減し、好適なシャッターチャンスに確実に撮影を行うことができる技術を実現する。
上記課題を解決するために、本発明の撮像装置は、被写体を撮像して画像データを生成する撮像手段と、前記撮像手段により生成された画像データに含まれる人物の顔領域を検出する顔検出手段と、前記顔検出手段により検出された顔領域について、複数の表情を判定する表情判定手段と、を有し、前記表情判定手段は、第1の表情の判定を行い、かつ、第2の表情の判定を行う場合には、当該第2の表情の判定条件を判定が成立し難くなる方向に補正する。
本発明によれば、複数の表情を同時に判定する際の誤判定を低減し、好適なシャッターチャンスに確実に撮影を行うことができる。
第1の実施形態における撮像装置のブロック図。 第1の実施形態における撮像装置の動作を示すフローチャート。 第1の実施形態における表情判定モードの設定方法を示すフローチャート。 第1の実施形態におけるシャッタースイッチを押下げたときの撮像装置の動作を示すフローチャート。 第2の実施形態における表情判定モードの設定方法を示すフローチャート。 第3の実施形態におけるシャッタースイッチを押下げたときの撮像装置の動作を示すフローチャート。
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
[第1の実施形態]図1は、本発明に係る第1の実施形態の撮像装置の概略構成を示すブロック図である。図1において、10はレンズや絞り等からなる結像光学部であり、フォーカス調節や露出調節を行う。11は光学像を電気信号に変換するCCDやCMOSセンサ等の撮像素子である。12は撮像素子11の出力信号であるアナログ画像信号をデジタル画像信号に変換するA/D変換部である。13はA/D変換部12の出力信号にガンマ処理、補間処理、マトリクス変換等を施して画像信号を生成する信号処理部である。15は画像信号等を一時的に記憶可能なDRAM等のメモリである。
14はメモリ15との間で画像信号や各種制御信号の書き込みや読み出しを行うメモリI/Fである。16は画像データをLCDパネルなどに表示する表示部である。17は画像データをメモリカードなどの記録媒体に圧縮して記録する記録部である。18は画像信号から顔領域を検出する顔領域検出部である。19は画像信号から第1の表情としての笑顔や第2の表情としての目瞑りを判定する表情判定部である。20は操作部であり、シャッタースイッチや後述するユーザ操作にかかわる十字キーなどを含む。21は各種制御を司るCPUであり、操作部20に対するユーザ操作に応じて撮像装置の表情判定モードを決定し、表情判定部19での判定結果に応じて画像の撮影を制御する。
以下、図1の各ブロックでの動作について、図2のフローを参照して説明する。なお、撮像装置は、撮影者が撮影前に表示部16によって、これから撮影しようとする画像をモニタリングできるように、撮像素子11からの画像信号から生成される画像を表示部16に表示する。本実施形態では、撮影者が表示部16においてモニタリング可能な期間に、顔領域の位置や表情を判定するものとする。
図2において、ステップS101では、結像光学部10に入射した光線が撮像素子11の受光面に結像され、撮像素子11からアナログ画像信号として出力される。アナログ画像信号はA/D変換部12でデジタル画像信号に変換され、信号処理部13に入力される。ステップS102では、信号処理部13は、入力された画像信号にガンマ処理、補間処理、マトリクス変換等を施して画像信号を生成する。
ステップS103では、ステップS102で生成された画像信号をメモリI/F14を介してメモリ15に記憶し、また、メモリ15に記憶された表示用の画像信号をメモリI/F14を介して読み出し、表示部16に表示する。ステップS104では、顔領域検出部18は、メモリ15に記憶された画像信号を用いて顔領域を検出する。
顔検出方法としては、主成分分析による固有顔(EIGENFACE)を用いた方法(M.A.TURK AND A.P.PENTLAND, "FACE RECOGNITION USING EIGENFACES", PROC. OF IEEE CONF. ON COMPUTER VISION AND PATTERN RECOGNITION, PP.586−591, 1991.)が挙げられる。
その他に、特開平09−251534号公報に記載のように目、鼻、口等の特徴点を利用した方法等を適用することもできる。これらの方法は、入力画像信号と複数の標準パターンとのパターンマッチング法により入力画像信号が顔領域であるか判定している。
本実施形態では、顔領域検出部18は、予めメモリ15に記憶されている顔領域の標準パターンと、画像信号との間でパターンマッチングを行う。なお、本実施形態の顔検出においてはパターンマッチングに基づいた検出手法を用いているが、検出手法はこれに限られるわけではなく、既に公知となっている様々な検出方法を適用することができる。
なお、後述するように、撮像装置の表情判定モードに応じて、メモリ15に記憶された画像信号の解像度が複数あり、解像度が高くなるとパターンマッチングの探索範囲が広がってしまい、顔検出に要する処理時間が増大することになる。よって、ステップS104では、メモリI/F14を介してメモリ15から読み出した画像信号を一定の解像度に変換してから、顔領域検出部18が顔領域を検出する。
ステップS105では、表情判定部19は、顔領域検出部18で人物の顔と判定された領域に対して、例えば笑顔や目瞑りなどの表情判定を行う。なお、この表情判定を人物の顔と判定された領域に対してのみ行うことにより、表情判定に要する処理時間を低減することが可能である。
笑顔の判定方法としては、上記特許文献2のように、顔の輪郭の形状、目の形状、口の形状等を抽出し、それらの相対位置や形状と予め規格化された形状とのパターンマッチングにより、笑顔であるか否かを判定する方法を適用することができる。一般に、表情が笑顔になると、口の両端部は顔の上方に移動し、目は細くなる。従って、例えば、表情判定部19は、パターンマッチングによって、口の形状において両端部が上がっていることを検知し、かつ、目の開閉度がある閾値以下であることを検知した場合に、表情が笑顔であると判定することが可能である。なお、目の開閉度は目が開いているほど、その値が大きくなるものとする。
また、目瞑りの判定方法としては、特開平06−032154号公報に記載のように、顔の輪郭の内側での黒色領域より目を抽出し、抽出した目領域での連続領域である黒色画素の最大数を用いて目の開閉を判定する方法を適用することができる。連続領域である黒色画素の最大数は、完全に目が閉じている状態ではゼロとなり、目が開いている状態では正の値となる。従って、表情判定部19は、例えば、連続領域である黒色画素の最大数を目の開閉度として利用し、この値がある閾値以下である場合には、目瞑りであると判定することが可能である。ここで、笑顔の判定方法において、目の開閉度がある閾値以下の時に笑顔と判定しているので、表情を笑顔と判定すると同時に目瞑りであると判定される可能性がある。
なお、本発明は、判定する表情は笑顔と目瞑りに限られるわけではなく、喜怒哀楽などの表情を判定しても良い。なお、表情判定方法は、これらの方法に限られるわけではなく、既に公知となっている様々な方法を適用することができる。
以下、被写体の複数の表情を判定して自動撮影する場合の表情判定モードの設定方法について、図3のフローを参照して説明する。なお、本実施形態では、表情判定モードとして、笑顔判定モードと目瞑り判定モードの2種類が用意されている場合について説明する。本実施形態における笑顔判定モードは、ユーザによってシャッタースイッチが押されて撮影が指示されると、人物の表情が笑顔であることが検出されるまで撮影を待機し、笑顔が検出さたことに応じて撮影を行うモードである。また、目瞑り判定モードは、ユーザによってシャッタースイッチが押されて撮影が指示されると、人物が目を瞑っていると判定されている間は撮影を禁止し、目を瞑っていないと判定されると撮影を行うモードである。この撮像装置はデフォルトの設定状態では、笑顔判定モードも目瞑り判定モードも設定されておらず、ユーザが操作部20を操作することで、それぞれの表情判定モードモードのオンとオフを任意に設定することができる。
図3において、ステップS201では、CPU21は操作部20の状態を検出し、撮影者が十字キーなどを押下げて表情判定モードを変更する操作を行ったか判定する。そして、表情判定モードを変更する操作が行われた場合(ステップS201でYES)、ステップS202では撮影者が笑顔判定モードをオンしたか判定する。笑顔判定モードがオンされた場合(ステップS202でYES)、ステップS203では撮影者が目瞑り判定モードをオンしたか判定する。目瞑り判定モードがオンされた場合(ステップS203でYES)、ステップS204ではCPU21は撮像装置の表情判定モードを「笑顔+目瞑り判定モード」に設定する。
ステップS205では、笑顔と目瞑りの両方を判定する「笑顔+目瞑り判定モード」であるので、目瞑りと判定する判定条件としての閾値を、目瞑りのみを判定する「目瞑り判定モード」の閾値よりも判定が成立し難くなる方向に補正する。表情判定部19は、目瞑りの判定方法において、目の開閉度がある閾値以下であるかどうかを検出している。そこで、「笑顔+目瞑り判定モード」の場合には「目瞑り判定モード」よりも、この目の開閉度の閾値を小さい値とする。これにより、表情判定部19は、目瞑りと判定するための目の開閉度の閾値を、笑顔と判定するための目の開閉度の閾値よりも、十分に小さくなるように設定している。すなわち、笑顔で目が細くなっても、目瞑りと判定しないようにしている。
また、目瞑り判定モードがオンされなかった場合(ステップS203でNO)、ステップS206にて、CPU21は撮像装置の表情判定モードを「笑顔判定モード」に設定する。さらに、笑顔判定モードがオンされなかった場合(ステップS202でNO)、ステップS207にて、撮影者が目瞑り判定モードをオンしたか判定する。そして、目瞑り判定モードがオンされた場合(ステップS207でYES)、ステップS208では、CPU21は撮像装置の表情判定モードを「目瞑り判定モード」に設定する。
ステップS209では、目瞑りと判定する閾値を、ステップS205で設定した閾値よりも判定が成立し易い方向に補正、つまり目瞑りのみを判定する「目瞑り判定モード」の閾値に戻す。また、目瞑り判定モードがオンされなかった場合(ステップS207でNO)、ステップS210にて、CPU21は撮像装置の表情判定モードを「ノーマルモード」に設定する。ここで、「ノーマルモード」とは、撮影者がシャッタースイッチを押下げたら、被写体の表情によらずに即時に静止画撮影を行うモードである。
次に、撮影者がシャッタースイッチを押下げたときの撮像装置の動作について、図4のフローチャートを用いて説明する。CPU21は、操作部20に含まれるシャッタースイッチが押されたことを検知すると、図4のフローチャートを開始する。ステップS301では、CPU21は、笑顔判定モードと目瞑り判定モードのいずれかがオンされているか否かを判定し、オンされていればステップS302へ進む。CPU21は、笑顔判定モードと目瞑り判定モードのいずれもオンされていなければ、ステップS309へ進み、静止画撮影を行う。
ステップS302では、CPU21は、撮像素子11で生成され、A/D変換部12でデジタル化された新たな画像信号を読み込む。ステップS303では、CPU21は、笑顔判定モードがオンされているか否かを判定し、笑顔判定モードがオンされていればステップS304に進む。CPU21は、笑顔判定モードがオンされていなければ、目瞑り判定を行うためステップS307に進む。
ステップS304では、CPU21は、顔領域検出部18および表情判定部1は、ステップS302にて読み込んだ画像信号に人物の顔が存在し、かつ、その人物の表情が笑顔であることが検出されたか否かを判定する。ステップS305では、CPU21は、画像信号から人物の笑顔が検出された場合にはステップS306に進み、検出されなければ再びステップS302に戻って新たな画像信号を読み込む。
ステップS306では、CPU21は、目瞑り判定モードがオンされているか否かを判定する。CPU21は、目瞑り判定モードがオンされていればステップS307に進む。目瞑り判定モードがオンされていなければステップS309に進んで静止画撮影を行う。ステップS307では、CPU21は、顔領域検出部18および表情判定部19によって、ステップS302にて読み込んだ画像信号に人物の顔が存在し、かつ、その人物の表情が目瞑りであることが検出されたか否かを判定する。ここでは、図3に示すフローチャートで決定された閾値が反映されており、笑顔判定モードがオンされているか否かに応じて、目瞑りと判定されるための閾値が変更されている。
ステップS308では、CPU21は、画像信号から人物の笑顔が検出された場合にはステップS309に進み、検出されなければ再びステップS302に戻って新たな画像信号を読み込む。ステップS309では、CPU21は、撮像素子11で生成され、A/D変換部12でデジタル化された新たな画像信号を読み込み、信号処理部13に必要な処理を行わせる。そして、CPU21は、記録部17に、生成された静止画としての画像信号を記録媒体に記録させる。
このように、CPU21は、笑顔判定モードと目瞑り判定モードのいずれもオンされていなければ、操作部20のシャッターボタンが押されることによって、被写体の表情によらずにただちに静止画撮影を行う。また、CPU21は、目瞑り判定モードがオンされずに、笑顔判定モードがオンされていれば、人物の表情が笑顔であることが検出されたときに、静止画撮影を行う。また、CPU21は、笑顔判定モードがオンされずに、目瞑り判定モードがオンされていれば、人物の表情が目瞑りでないことが検出されたときに、静止画撮影を行う。さらに、CPU21は、笑顔判定モードと目瞑り判定モードがオンされていれば、人物の表情が笑顔であって、かつ、目瞑りでないことの両方が検出されたときに、静止画撮影を行う。
さらに、本実施形態によれば、笑顔と目瞑りの両方を判定する「笑顔+目瞑り判定モード」の場合、目瞑りと判定する閾値を目瞑りのみを判定する「目瞑り判定モード」の閾値よりも判定が成立し難くなる方向に補正する。これにより、被写体が笑顔で目を細めている状態を目瞑りと誤判定する可能性が低減し、笑顔の好適なシャッターチャンスにおいて確実に撮影を行うことができる。
[第2の実施形態]次に、第2の実施形態として、笑顔判定モードがオンされているときには目瞑り判定モードをオフに設定する場合について説明する。図5は、第2の実施形態の撮像装置による表情判定モードの設定方法を示すフローチャートである。なお、以下では、図2と同様の処理には同一のステップ番号を付して説明を省略する。即ち、図5において、笑顔判定モードがオンされている場合(ステップS202でYES)、ステップS211では、CPU21は目瞑り判定モードをオフに設定し、撮像装置の表情判定モードを「笑顔判定モード」に設定する(ステップS206)。
第2の実施形態によれば、「笑顔判定モード」がオンされているときには「目瞑り判定モード」がオフされる。これにより、被写体が笑顔で目を細めている状態であっても目瞑りと判定されることがなくなくなり、笑顔の好適なシャッターチャンスにおいて確実に撮影を行うことができる。
[第3の実施形態]次に、第3の実施形態として、目瞑り判定を静止画撮影後に行い、撮影した静止画により被写体の目瞑りが判定されたら、目瞑りを判定した旨を伝える警告メッセージを表示部16に表示する場合について説明する。図6は、第3の実施形態の撮影者がシャッタースイッチを押下げた時の撮像装置の動作を示すフローチャートである。なお、以下では、図4と同様の処理には同一のステップ番号を付して説明を省略する。
即ち、図6において、笑顔判定モードと目瞑り判定モードのいずれかがオンされていれば(ステップS301でYES)、ステップS302へ進む。一方、笑顔判定モードと目瞑り判定モードのいずれもオンされていなければ(ステップS301でNO)、ステップS406へ進み、静止画撮影を行う。そしてステップS310に進み、CPU21は、記録部17に、静止画としての画像信号を記録媒体に記録させる。また、ステップS305で、画像信号から人物の笑顔が検出された場合(ステップS305でYES)には、ステップS309で静止画撮影を行い、検出されなければ再びステップS302に戻って新たな画像信号を読み込む。
ステップS401では、CPU21は目瞑り判定モードがオンされているか否かを判定する。そして、目瞑り判定モードがオンされている場合(ステップS401でYES)、ステップS402に進む。ステップS402では、CPU21は撮影した静止画に対して図2のフローに従って顔領域検出(ステップS104)および表情判定(ステップS105)を行い、ステップS403で被写体が目瞑りをしていないか判定する。そして、被写体が目瞑りをしていると判定された場合(ステップS403でNO)、ステップS404に進み、CPU21は目瞑りを判定した旨を伝える警告メッセージを表示部16に表示する。ステップS405では、警告メッセージの表示とともに撮影した静止画を消去するか否かを撮影者に選択させる表示を行う。ここで、撮影者が操作部20を操作することによって撮影した画像の消去を指示した場合(ステップS405でNO)には、CPU21は、記録部17に撮影した静止画を記録媒体に記録させることなくこのフローチャートを終了する。反対に、撮影した画像の記録の許可が指示された場合(ステップS405でYES)には、ステップS310に進み、CPU21は、記録部17に静止画としての画像信号を記録媒体に記録させる。
なお、ステップS401で目瞑り判定がオンされていない場合(ステップS401でNO)、ステップS403で被写体が目瞑りをしていないと判定された場合(ステップS403でYES)、ステップS310に進む。ステップS310で、CPU21は、記録部17に、ステップS309で生成された静止画としての画像信号を記録媒体に記録させる。
第3の実施形態によれば、目瞑り判定を静止画撮影後に行うので、被写体が笑顔で目を細めている状態であっても、笑顔のシャッターチャンスを逸することがなくなる。
なお、本実施形態の警告メッセージの表示を図4の第1の実施形態に適用した場合、「笑顔+目瞑り判定モード」の場合、ステップS205にて目瞑りと判定する閾値を「目瞑り判定モード」よりも判定が成立し難くなる方向に補正する。これにより、被写体が笑顔で目を細めている状態であっても目瞑りを判定した旨を伝える警告メッセージを表示する機会が低減するので、撮影者に煩わしさを感じさせることが減る。
[他の実施形態]
本発明は、前述した実施形態の機能を実現するコンピュータプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該コンピュータプログラムを読み出して実行することになる。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるコンピュータプログラム自体も本発明を実現するものである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。プログラムを供給するための記録媒体(記憶媒体)としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するコンピュータプログラムを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。

Claims (10)

  1. 被写体を撮像して画像データを生成する撮像手段と、
    前記撮像手段により生成された画像データに含まれる人物の顔領域を検出する顔検出手段と、
    前記顔検出手段により検出された顔領域について、複数の表情を判定する表情判定手段と、を有し、
    前記表情判定手段は、第1の表情の判定を行い、かつ、第2の表情の判定を行う場合には、当該第2の表情の判定条件を判定が成立し難くなる方向に補正することを特徴とする撮像装置。
  2. 前記表情判定手段は、前記第1の表情の判定を行わない場合に、前記第2の表情の判定条件を判定が成立し易くなる方向に補正することを特徴とする請求項1に記載の撮像装置。
  3. 前記表情判定手段は、前記第1の表情を判定する場合、前記第2の表情の判定を行わないことを特徴とする請求項1に記載の撮像装置。
  4. 前記表情判定手段により前記第1の表情と判定された場合に、前記撮像手段により画像の撮影を実行することを特徴とする請求項1に記載の撮像装置。
  5. 前記画像を撮影した後、当該撮影された画像について前記表情判定手段により第2の表情と判定された場合、その判定結果を警告する警告手段をさらに有することを特徴とする請求項1に記載の撮像装置。
  6. 前記表情判定手段は、前記第1の表情を判定するモード、前記第2の表情を判定するモード、前記第1の表情とともに第2の表情を判定するモードを有することを特徴とする請求項1に記載の撮像装置。
  7. 前記第1の表情は笑顔であり、前記第2の表情は目瞑りであることを特徴とする請求項1に記載の撮像装置。
  8. 前記表情判定手段は、前記第1の表情を判定する場合も、前記第2の表情を判定する場合も、ともに目の開閉度に基づいて判定を行うことを特徴とする請求項7に記載の撮像装置。
  9. 被写体を撮像して画像データを生成する撮像装置における撮影方法であって、
    前記生成された画像データに含まれる人物の顔領域を検出する顔検出工程と、
    前記顔検出工程により検出された顔領域について、複数の表情を判定する表情判定工程と、
    前記表情判定工程での判定結果に応じて画像の撮影を制御する制御工程と、を有し、
    前記表情判定工程では、第1の表情の判定を行い、かつ、第2の表情の判定を行う場合には、当該第2の表情の判定条件を判定が成立し難くなる方向に補正することを特徴とする撮影方法。
  10. 請求項9に記載の撮影方法を撮像装置のコンピュータに実行させるためのプログラム。
JP2009134301A 2008-08-07 2009-06-03 撮像装置及び撮影方法、プログラム Expired - Fee Related JP5361547B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009134301A JP5361547B2 (ja) 2008-08-07 2009-06-03 撮像装置及び撮影方法、プログラム
US12/510,873 US8208035B2 (en) 2008-08-07 2009-07-28 Image sensing apparatus, image capturing method, and program related to face detection
CN2009101621272A CN101646019B (zh) 2008-08-07 2009-08-04 摄像装置及图像捕获方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008204769 2008-08-07
JP2008204769 2008-08-07
JP2009134301A JP5361547B2 (ja) 2008-08-07 2009-06-03 撮像装置及び撮影方法、プログラム

Publications (2)

Publication Number Publication Date
JP2010063085A true JP2010063085A (ja) 2010-03-18
JP5361547B2 JP5361547B2 (ja) 2013-12-04

Family

ID=41652549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009134301A Expired - Fee Related JP5361547B2 (ja) 2008-08-07 2009-06-03 撮像装置及び撮影方法、プログラム

Country Status (3)

Country Link
US (1) US8208035B2 (ja)
JP (1) JP5361547B2 (ja)
CN (1) CN101646019B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234002A (ja) * 2010-04-26 2011-11-17 Kyocera Corp 撮像装置及び端末装置
JP5631106B2 (ja) 2010-08-18 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
JP2012169777A (ja) * 2011-02-10 2012-09-06 Sony Corp 情報処理装置、情報処理方法、およびプログラム
KR101762769B1 (ko) * 2011-04-18 2017-08-07 삼성전자주식회사 촬영 장치에서 피사체를 촬영하기 위한 장치 및 방법
CN103269415A (zh) * 2013-04-16 2013-08-28 广东欧珀移动通信有限公司 一种脸部识别的自动拍照方法及移动终端
WO2016205979A1 (en) * 2015-06-26 2016-12-29 Intel Corporation Flaw detection and correction in digital images
CN105472240B (zh) * 2015-11-18 2019-02-15 努比亚技术有限公司 图像采集方法及装置
JP2020149304A (ja) 2019-03-13 2020-09-17 ソニー株式会社 撮像装置および表情検出方法
CN113315904B (zh) * 2020-02-26 2023-09-26 北京小米移动软件有限公司 拍摄方法、拍摄装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051338A (ja) * 1999-08-12 2001-02-23 Canon Inc カメラ
JP2005124160A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 会議支援システム、情報表示装置、プログラム、及び制御方法
JP2007020105A (ja) * 2005-07-11 2007-01-25 Fujifilm Holdings Corp 撮像装置、撮像方法及び撮像プログラム
JP2010142345A (ja) * 2008-12-17 2010-07-01 Aisin Seiki Co Ltd 眼開閉判別装置及びプログラム
JP2010239467A (ja) * 2009-03-31 2010-10-21 Casio Computer Co Ltd 画像選択装置、画像選択方法及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2822799B2 (ja) 1992-07-18 1998-11-11 日産自動車株式会社 運転者の状態検出装置
JP3279913B2 (ja) 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
US7248300B1 (en) * 1999-06-03 2007-07-24 Fujifilm Corporation Camera and method of photographing good image
JP2000347277A (ja) 1999-06-03 2000-12-15 Fuji Photo Film Co Ltd カメラ及び撮影方法
JP2004294498A (ja) 2003-03-25 2004-10-21 Fuji Photo Film Co Ltd 自動撮影システム
WO2006040761A2 (en) * 2004-10-15 2006-04-20 Oren Halpern A system and a method for improving the captured images of digital still cameras
CN100358340C (zh) * 2005-01-05 2007-12-26 张健 可选择最佳拍照时机的数码相机
JP2006287749A (ja) * 2005-04-01 2006-10-19 Canon Inc 撮像装置、及びその制御方法
JP2007049631A (ja) 2005-08-12 2007-02-22 Fujifilm Holdings Corp 撮像装置
US7804983B2 (en) * 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
JP2007318725A (ja) * 2006-04-27 2007-12-06 Olympus Imaging Corp カメラ、カメラの撮影制御方法、プログラム、記録媒体
JP4757173B2 (ja) * 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4789825B2 (ja) * 2007-02-20 2011-10-12 キヤノン株式会社 撮像装置及びその制御方法
JP4898532B2 (ja) * 2007-04-13 2012-03-14 富士フイルム株式会社 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体
JP4600435B2 (ja) * 2007-06-13 2010-12-15 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP4513843B2 (ja) * 2007-09-10 2010-07-28 カシオ計算機株式会社 撮像装置及びプログラム
JP5055166B2 (ja) * 2008-02-29 2012-10-24 キヤノン株式会社 眼の開閉度判定装置、方法及びプログラム、撮像装置
KR101444103B1 (ko) * 2008-03-14 2014-09-26 삼성전자주식회사 상태 정보를 이용하여 미디어 신호를 생성하는 방법 및장치
JP4914398B2 (ja) * 2008-04-09 2012-04-11 キヤノン株式会社 表情認識装置、撮像装置、方法及びプログラム
US20090324098A1 (en) * 2008-06-27 2009-12-31 Sony Ericsson Mobile Communications Ab Mobile phone with selective photographic system and method
JP5129683B2 (ja) * 2008-08-05 2013-01-30 キヤノン株式会社 撮像装置及びその制御方法
US8743269B2 (en) * 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
JP2011234002A (ja) * 2010-04-26 2011-11-17 Kyocera Corp 撮像装置及び端末装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001051338A (ja) * 1999-08-12 2001-02-23 Canon Inc カメラ
JP2005124160A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 会議支援システム、情報表示装置、プログラム、及び制御方法
JP2007020105A (ja) * 2005-07-11 2007-01-25 Fujifilm Holdings Corp 撮像装置、撮像方法及び撮像プログラム
JP2010142345A (ja) * 2008-12-17 2010-07-01 Aisin Seiki Co Ltd 眼開閉判別装置及びプログラム
JP2010239467A (ja) * 2009-03-31 2010-10-21 Casio Computer Co Ltd 画像選択装置、画像選択方法及びプログラム

Also Published As

Publication number Publication date
CN101646019A (zh) 2010-02-10
US8208035B2 (en) 2012-06-26
CN101646019B (zh) 2011-08-17
JP5361547B2 (ja) 2013-12-04
US20100033590A1 (en) 2010-02-11

Similar Documents

Publication Publication Date Title
JP5361547B2 (ja) 撮像装置及び撮影方法、プログラム
JP5206494B2 (ja) 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
JP4645685B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
JP4869270B2 (ja) 撮像装置及び画像再生装置
JP5129683B2 (ja) 撮像装置及びその制御方法
JP4732303B2 (ja) 撮像装置
JP4364464B2 (ja) デジタルカメラ撮像装置
US20070242149A1 (en) Image display control apparatus, method of controlling the same, and control program therefor
JP5228354B2 (ja) ディジタルカメラ
JP4364465B2 (ja) 撮像装置
JP4635739B2 (ja) 撮像装置
JP2007148691A (ja) 画像処理装置
JP5310076B2 (ja) 画像処理装置、および画像処理プログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2007208355A (ja) 撮影装置および方法並びにプログラム
KR20110060299A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP5332668B2 (ja) 撮像装置および被写体検出プログラム
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2010068297A (ja) デジタルカメラ
JP2004208281A (ja) 画像修正装置および撮像装置
JP5293223B2 (ja) デジタルカメラ
JP2008228073A (ja) 撮像装置、画像転送方法及びコンピュータプログラム
JP2006253761A (ja) 撮像装置およびプログラム
JP2009124350A (ja) 撮像装置及びその制御方法及びプログラム
JP4862260B2 (ja) カメラ装置、撮影制御プログラム及び撮影制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130903

R151 Written notification of patent or utility model registration

Ref document number: 5361547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees