JP2008022300A - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2008022300A
JP2008022300A JP2006192417A JP2006192417A JP2008022300A JP 2008022300 A JP2008022300 A JP 2008022300A JP 2006192417 A JP2006192417 A JP 2006192417A JP 2006192417 A JP2006192417 A JP 2006192417A JP 2008022300 A JP2008022300 A JP 2008022300A
Authority
JP
Japan
Prior art keywords
subject
imaging apparatus
face
size
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006192417A
Other languages
English (en)
Other versions
JP4172507B2 (ja
Inventor
Hiroshi Ishiwatari
央 石渡
Yoshito Terajima
義人 寺島
Tetsuo Mise
哲夫 三瀬
Ryuji Shibata
龍二 柴田
Masakazu Koyanagi
正和 小柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006192417A priority Critical patent/JP4172507B2/ja
Priority to US11/773,247 priority patent/US8068639B2/en
Priority to CN2007101291451A priority patent/CN101106647B/zh
Publication of JP2008022300A publication Critical patent/JP2008022300A/ja
Application granted granted Critical
Publication of JP4172507B2 publication Critical patent/JP4172507B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被写体の動きに起因する被写体ぶれの発生を検出し、ぶれの発生した画像の撮影を未然に防止する構成を実現する。
【解決手段】撮像装置の取得画像データから顔領域を検出し、顔領域の大きさの変化または移動速度を算出して、これらの算出情報とシャッタースピードとを考慮して被写体の動きに起因して発生する被写体ぶれの発生可能性を検証し、検証結果に基づいて、被写体ぶれの発生する可能性があると判定した場合は、例えばモニタに対する警告アイコンの表示、または撮影禁止とする制御、またはシャッタースピードの自動調整、またはISO感度の調整処理などを実行する。
【選択図】図10

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、被写体の動きに基づく「ぶれ」の発生を検出して、ぶれのある画像の撮影を未然に防止することを可能とした構成を持つ撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。
デジタルカメラなどの撮像装置において、撮影した写真がぶれてしまうことがある。昨今のカメラには、ぶれた写真の撮影を未然に防ぐための様々な機能が搭載されたものがある。例えば、シャッタースピードが一定の値よりも遅いスローシャッターとする撮影モードに設定された場合に、カメラのディスプレイに「ぶれ警告アイコン」を表示する機能がある。これは、シャッタースピードが遅い場合は、手ぶれの発生可能性が高くなり、このことをユーザ(撮影者)に知らせる構成としたものである。
また、カメラにジャイロセンサを内蔵して、ユーザ(撮影者)の持つカメラ本体のゆれなどの動きを検出し、検出情報に基づいて、カメラのディスプレイに「ぶれ警告アイコン」を表示する機能を持つものもある。このような、いわゆるカメラ本体側に起因する「ぶれ」に対する様々な検知機能、警告機能については、すでに多くの技術が開発され、また利用されている。
しかしながら、カメラにおいて撮影した写真に「ぶれ」が発生する要因は、大きく分けて2種類ある。1つは上述したカメラ側の動きに起因する「手ぶれ」、もう1つは「被写体ぶれ」である。「手ぶれ」は、露光中にカメラ本体が動いてしまうことによるぶれで、「被写体ぶれ」は露光中に被写体が動いてしまうことによるぶれである。カメラ本体側の動きに起因する「手ぶれ」を検出し警告を行なう構成については、これまでに多数提案されている。
一方、被写体が動いてしまうことによる「被写体ぶれ」を検出して、ユーザ(撮影者)に警告を行なう構成については、これまでに開示された技術は見当たらない。類似する技術としては、例えば特許文献1(特開2003−323621号公報)に、被写体として設定した人物が撮影画像のフィールドからはみ出したことを検出して警告する構成が開示されている。さらに、特許文献2(特開2005−20196号公報)には、撮影済みの画像の解析を実行して、顔の重なりや顔が切れている画像を抽出して、これらを失敗写真であると判定して削除する構成を開示している。
しかし、いずれの従来技術も、被写体自身の動きを検出してぶれの発生をユーザに警告するという構成を有するものではない。
特開2003−323621号公報 特開2005−20196号公報
本発明は、このような状況に鑑みてなされたものであり、目的とする被写体の動きに起因する撮影画像のぶれの可能性を判定して、ぶれの発生する可能性がある場合は、ユーザに警告することを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
撮像装置における入力画像から顔領域の検出を実行する顔検出部と、
前記顔検出部の検出した顔領域の大きさの変化量、または顔領域の移動速度の少なくともいずれかを検出し、該検出情報に基づいて被写体に起因する撮影画像のぶれである被写体ぶれの発生可能性の有無を判定し、被写体ぶれの発生可能性が有るとの判定に基づいて警告の出力処理を実行する制御部と、
を有することを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部の検出情報を継続的に受領し、継続受領する情報に基づいて、顔領域の大きさ、または顔領域の位置の少なくともいずれかの検出情報に基づく履歴情報を生成して記憶部に記録する処理を実行する被写体履歴情報取得部と、前記履歴情報に基づく顔領域の大きさの変化量を算出する被写体大きさ変化量算出部と、前記履歴情報に基づく顔領域の移動速度を算出する被写体移動速度算出部を有し、前記被写体大きさ変化量算出部の算出した顔領域の大きさの変化量、または、被写体移動速度算出部の算出した顔領域の移動速度の少なくともいずれかに基づいて被写体ぶれの発生可能性の有無を判定する処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部の検出した顔領域の大きさの変化量[ΔF]と撮像装置に設定されたシャッタースピード[S]との乗算値[ΔF・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[ΔF・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、前記顔検出部の検出した顔領域の移動速度[V]と、撮像装置に設定されたシャッタースピード[S]との乗算値[V・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[V・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の表示部に警告アイコンの出力処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部の出力する警告アイコンは、手ぶれに起因する手ぶれアイコンと異なる表示情報によって構成される被写体ぶれ警告アイコンであることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影を禁止する制御を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置のシャッタースピードを高速設定に変更する制御を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影時のISO感度を増感させる制御を実行する構成であることを特徴とする。
さらに、本発明の第2の側面は、
撮像装置におけるぶれ検出処理を実行する撮像装置制御方法であり、
顔検出部において、撮像装置における入力画像から顔領域の検出を実行する顔検出ステップと、
制御部において、前記顔検出部の検出した顔領域の大きさの変化量、または顔領域の移動速度の少なくともいずれかを検出し、該検出情報に基づいて被写体に起因する撮影画像のぶれである被写体ぶれの発生可能性の有無を判定し、被写体ぶれの発生可能性が有るとの判定に基づいて警告の出力処理を実行する制御ステップと、
を有することを特徴とする撮像装置制御方法にある。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部の検出情報を継続的に受領し、継続受領する情報に基づいて、顔領域の大きさ、または顔領域の位置の少なくともいずれかの検出情報に基づく履歴情報を生成して記憶部に記録する処理を実行する被写体履歴情報取得ステップと、前記履歴情報に基づく顔領域の大きさの変化量を算出する被写体大きさ変化量算出ステップと、前記履歴情報に基づく顔領域の移動速度を算出する被写体移動速度算出部を有し、前記被写体大きさ変化量算出部の算出した顔領域の大きさの変化量、または、被写体移動速度算出部の算出した顔領域の移動速度の少なくともいずれかに基づいて被写体ぶれの発生可能性の有無を判定する処理を実行するステップとを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部の検出した顔領域の大きさの変化量[ΔF]と撮像装置に設定されたシャッタースピード[S]との乗算値[ΔF・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[ΔF・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行することを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、前記顔検出部の検出した顔領域の移動速度[V]と、撮像装置に設定されたシャッタースピード[S]との乗算値[V・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[V・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の表示部に警告アイコンの出力処理を実行するステップを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記警告アイコンは、手ぶれに起因する手ぶれアイコンと異なる表示情報によって構成される被写体ぶれ警告アイコンであることを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影を禁止する制御を実行するステップを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置のシャッタースピードを高速設定に変更する制御を実行するステップを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御ステップは、被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影時のISO感度を増感させる制御を実行するステップを含むことを特徴とする。
さらに、本発明の第3の側面は、
撮像装置におけるぶれ検出処理を実行させるコンピュータ・プログラムであり、
顔検出部において、撮像装置における入力画像から顔領域の検出を実行させる顔検出ステップと、
制御部において、前記顔検出部の検出した顔領域の大きさの変化量、または顔領域の移動速度の少なくともいずれかを検出し、該検出情報に基づいて被写体に起因する撮影画像のぶれである被写体ぶれの発生可能性の有無を判定し、被写体ぶれの発生可能性が有るとの判定に基づいて警告の出力処理を実行させる制御ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成では、撮像装置において取得される画像データから顔領域を検出し、顔領域の大きさの変化または移動速度を算出して、これらの算出情報とシャッタースピードとを考慮して被写体の動きに起因して発生する被写体ぶれの発生可能性を検証する構成とした。さらに、この検証結果に基づいて、被写体ぶれの発生する可能性があると判定した場合は、例えばモニタに対する警告アイコンの表示、または撮影禁止とする制御、またはシャッタースピードの自動調整、またはISO感度の調整処理などを実行する構成とした。本構成によって、ぶれの発生した画像が撮影されることを未然に防止してユーザ(撮影者)に適切な処置を行なわせたり、ぶれの軽減された画像の撮影を行なわせたりすることが可能となる。
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。
本発明は、目的とする被写体の動きに起因して撮影画像にぶれが発生する可能性があるか否かを判定して、ぶれの発生する可能性があると判定した場合は、ユーザに対する警告を行なう構成を持つ。なお、本明細書では、被写体に起因して撮影画像に発生する可能性のあるぶれを「被写体ぶれ」とし、カメラ側の動きに基づいて撮影画像に発生するぶれを「手ぶれ」とする。
本発明の撮像装置は、「被写体ぶれ」の検出および検出に基づく警告を行ない、ぶれの発生した画像の撮影を未然に防止することを可能とするものである。本発明の一実施例にかかる撮像装置では、目的被写体としての人物の顔に基づいて「被写体ぶれ」の検出を行なう。
本発明の処理の概要について説明する。本発明の撮像装置では、まず、撮影予定の画像データ、例えばデジタルカメラにおいて継続的に取得されるスルー画を解析して被写体としての顔領域の識別を実行する。さらに、識別された顔領域の大きさや位置の変化の発生状況を検出する。次に、この検出情報に基づいて被写体ぶれの発生する可能性を判断して、被写体ぶれが発生する可能性がある場合には撮像装置のディスプレイ、例えば、スルー画を表示しているディスプレイに警告アイコン(被写体ぶれ警告アイコン)を表示して、ユーザに通知する処理を行なう。
本発明の撮像装置における「被写体ぶれ」の検出および検出に基づく警告処理は、独立した処理として行なうことも可能であるが、例えば、撮像装置において実行されるオートフォーカス処理に際して行なう構成とすることができる。すなわち、「被写体ぶれ」の検出においては被写体としての顔領域の検出が行われるが、検出された顔領域までの距離の算出を行い、これをオートフォーカスにおける制御情報として適用することが可能となる。なお、このようなオートフォーカス制御構成については、本出願人において、すでに特許出願ずみである。
多くの撮像装置には、オートフォーカス機能が備えられている。撮影予定の画像に対する自動的にフォーカス制御を行うものであり、代表的なフォーカス制御構成としては、取得画像のコントラスト判定を適用した手法が知られている。この手法は、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる手法である。
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すAF評価値を得る。このとき、あるフォーカス位置でピントが合った被写体が存在する場合、フォーカスレンズ位置に対するAF評価値は図1のような曲線を描く。この曲線のピーク位置P1、すなわち画像のコントラスト値が最大となる位置が合焦位置である。この方式では、デジタルカメラの撮像素子であるイメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。
このコントラストの高低を判断するオートフォーカス制御において、被写体として検出される顔領域までの距離の算出を行い、この距離情報を適用することで、より正確なフォーカス制御が可能となる。
本発明の撮像装置では、さらに取得画像に基づいて識別された顔の大きさや位置の変化に基づいて「被写体ぶれ」の可能性を判定する。「被写体ぶれ」の可能性が高いと判定した場合は、警告を行なう。例えば、スルー画を表示しているディスプレイに警告アイコン(被写体ぶれ警告アイコン)を表示して、ユーザに通知する処理を行なう。この警告によって、ユーザは適切な対処を行なうことが可能となり、ぶれの発生した画像の撮影を未然に防止することができる。
図2以下を参照して、本発明の撮像装置の構成について説明する。図2は、本発明の撮像装置10の外観を示す図である。図2(a)は、撮像装置10の上面図、(b)は正面図、(c)は背面図である。(a)上面図のレンズ部分は断面図として示してある。撮像装置10は、電源スイッチ11、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ12、撮像装置によって撮影される画像(スルー画像)や操作情報などを表示するモニタ13、撮像素子(CCD)としてのイメージャ14、ズーム制御を行うためのズームボタン15、各種の操作情報を入力する操作ボタン16、撮像装置によって撮影される画像(スルー画像)を確認するためのビューファインダ17、フォーカス調整において駆動されるフォーカスレンズ18、ズーム調整に際して駆動されるズームレンズ19、撮影モードを設定するためのモードダイアル20、フォーカスレンズ18を駆動するためのフォーカスレンズモータ(M1)21、ズームレンズ19を駆動するためのズームレンズモータ(M2)22を有する。
なお、本発明の撮像装置において設定可能なモードの1つに、顔認識撮影モードがある。モードダイアル20を顔認識撮影モードの設定位置にすることで、撮像装置は、顔認識撮影モードに移行する。顔認識撮影モードに設定することで、撮像装置によって撮影される画像(スルー画像)から被写体としての顔認識処理が開始される。
さらに、認識された顔の大きさや位置の変化の検出が実行されて、この検出情報に基づいて「被写体ぶれ」の発生可能性を判定し、「被写体ぶれ」の発生可能性があると判定した場合は、「被写体ぶれ」の発生可能性があることをユーザ(撮影者)に対して通知する処理を行なう。具体的には、モニタ13やビューファインダ17に「被写体ぶれ」の発生可能性があることを示す警告アイコンを表示する。あるいはブザーなどによる警告音を出力する。
被写体画像は、ビューファインダ17およびモニタ13に表示される。ビューファインダ17およびモニタ13は例えばLCDによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ17またはモニタ13を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ12を押すことで画像の記録処理が実行されることになる。
図3を参照して本発明の撮像装置100の内部構成について説明する。フォーカスレンズ101、ズームレンズ102を介する入射光は、例えばCCD(Charge Coupled Device)などの撮像素子103に入力し、撮像素子103において光電変換される。光電変換データは、アナログ信号処理部104に入力され、アナログ信号処理部104においてノイズ除去等の処理がなされ、A/D変換部105においてデジタル信号に変換される。A/D変換部105においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス115に記録される。さらに、モニタ117、ビューファインダ(EVF)116に表示される。モニタ117、ビューファインダ(EVF)116には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
操作部118は、図2を参照して説明したカメラ本体にあるレリーズスイッチ12、ズームボタン15、各種の操作情報を入力する操作ボタン16、撮影モードを設定するためのモードダイアル20等を含む操作部である。制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。メモリ(EEPROM)119は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ(ROM)120は、制御部(CPU)110が使用するプログラムや演算パラメータ等を格納する。メモリ(RAM)121は、制御部(CPU)110において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ111は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部(CPU)110に入力され手ぶれ防止などの処理が実行される。
モータドライバ112は、フォーカスレンズ101に対応して設定されたフォーカスレンズ駆動モータ113、ズームレンズ102に対応して設定されたズームレンズ駆動モータ114を駆動する。垂直ドラバ107は、撮像素子(CCD)103を駆動する。タイミングジェネレータ106は、撮像素子103およびアナログ信号処理部104の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
顔検出部130は、レンズを介して入力される画像データをデジタル信号処理部108から入力して、入力画像の解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部110に送られる。
制御部110では、検出された顔情報に基づいて、目的被写体としての人物の顔の大きさや位置の変動状態を検出する。制御部110では、さらに、この検出情報に基づいて「被写体ぶれ」の発生可能性を判定し、「被写体ぶれ」の発生可能性があると判定した場合は、「被写体ぶれ」の発生可能性があることをユーザ(撮影者)に対して通知する処理を行なう。具体的には、モニタ117や、ビューファインダ(EVF)116に「被写体ぶれ」の発生可能性があることを示す警告アイコンを表示する。あるいは警告音を出力する。
以下、本発明の撮像装置において実行される個々の処理の詳細について説明する。本発明の撮像装置では、撮像装置によって撮影される画像データから目的被写体の人物の顔領域を特定し、顔画像に基づいて「被写体ぶれ」の有無を判定し、「被写体ぶれ」があると判定した場合に警告を出力する。すなわち、顔検出部130において、顔領域検出がなされ、その顔領域情報に基づいて制御部110において、「被写体ぶれ」の発生可能性の判定処理および警告出力処理が実行される。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
(1)顔識別処理および距離算出処理
(2)「被写体ぶれ」の判定処理および警告出力
(1)顔識別処理および距離算出処理
まず、顔検出部130の実行する処理、すなわち撮像装置によって取得される画像データから人物の顔領域を特定する手法、および検出した顔領域に基づく距離算出処理について説明する。
顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開2004−133637に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔3次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交3軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離を算出する。
なお、このようにして取得画像から識別された顔の大きさは、顔までの距離、すなわち被写体距離と相関があり、前述したように、識別された顔の大きさに基づいて被写体距離を算出してオートフォーカス制御を行なうことが可能となる。以下、具体的な顔までの距離の算出方法について図4を参照して説明する。図4には、被写体位置301、フォーカスレンズ302、撮像素子303を示している。被写体位置301には人物の顔が存在する。顔の大きさ(顔の幅)はWfである。
顔の実際の大きさ(Wf)が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離(Df)、すなわち、フォーカスレンズ302から被写体位置301までの被写体距離(Df)は以下の式で求めることができる。 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
人間の顔の大きさ基準値(Wref)は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値(Wref)を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。
(2)「被写体ぶれ」の判定処理および警告出力
次に、本発明の撮像装置において実行する「被写体ぶれ」の判定処理および警告出力処理の詳細について説明する。本発明の撮像装置では、前述したように、図3に示す顔検出部130において、撮像装置によって撮影される画像に含まれる顔領域を識別し、この検出情報が制御部110に入力され、制御部110では、識別された顔領域の大きさまたは位置の変動に基づいて、「被写体ぶれ」の発生可能性の判定を実行する。
本発明における制御部の持つ機能、および実行する処理について、図5を参照して説明する。図3を参照して説明したように、制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。図5に示す制御部110の構成は、制御部のハードウェアを示すものではなく、制御部の実行する機能を説明するための機能ブロック図である。
制御部110は、実行機能として、図5に示すように、主被写体判定部401、被写体履歴情報取得部402、被写体移動速度情報取得部403、被写体大きさ変化情報取得部404、被写体ぶれ判定部405、警告出力制御部406を有する。
前述したように、撮像装置のモードダイアル20(図2参照)を所定の位置に合わせると、撮像装置は顔認識撮影モードに切り替わる。この際、表示部としてのモニタ13、ビューファインダ17には、スルー画に併せて、カメラが顔認識モードで動作していることを示すアイコンが表示され、同時に顔検出部130(図3参照)によるカメラ取得画像に対する解析に基づく顔領域の識別処理が開始される。
図5を参照して、この後の処理について説明する。顔検出部130は、周期的に、取得画像350から人物の顔が写っている領域、すなわち顔領域を検出する。検出情報は、制御部の主被写体判定部401、被写体履歴情報取得部402に入力される。主被写体判定部401は、例えば複数の顔が検出されている場合に、1つの主被写体とする顔を選択する。この選択処理は、予め設定されたアルゴリズムに従って実行され、例えば、最も大きい顔、あるいは最も画面の中央に近い顔を選択する。1つの顔のみが検出されている場合は、その1つの顔を主被写体とする。
制御部110は、この主被写体情報に基づいて、顔領域を囲むような測距枠を液晶パネルに表示する。例えば図6に示すように、主被写体450の顔領域を囲む測距枠451を表示部としてのモニタやビューファインダに表示する。
顔検出部130の顔領域検出情報は、図5に示すように、制御部110の被写体履歴情報取得部402にも入力される。被写体履歴情報取得部402には、さらに、主被写体判定部401から主被写体情報が入力される。被写体履歴情報取得部402は、これらの入力情報に基づいて、顔検出部130の検出した主被写体の顔領域の位置[P]および大きさ[F]の履歴情報を取得して、記憶部351に記録する処理を実行する。
被写体履歴情報取得部402の取得する履歴情報について、図6、図7を参照して説明する。被写体履歴情報取得部402の取得する履歴情報は、顔検出部130の検出した顔領域の位置[P]および大きさ[F]である。顔領域の位置[P]は、例えば、図6に示すように、主被写体450の顔領域を囲む測距枠451の中心位置の座標(x,y)情報である。これは、例えば表示部としてのモニタのピクセル位置情報が適用可能である。また、顔領域の大きさ[F]は、図6に示すように、主被写体450の顔領域を囲む測距枠451の幅(X)と高さ(Y)からなる情報である。これも、例えば表示部としてのモニタのピクセル数が適用可能である。
被写体履歴情報取得部402は、顔検出部130から入力する顔検出情報に基づいて、顔領域に対する測距枠の設定、表示を実行するとともに、顔領域の位置[P]および大きさ[F]の履歴情報を取得し、記憶部351に記録する。記憶部351に記録する履歴情報の例を図7に示す。
図7に示すように、被写体履歴情報取得部402は、予め設定した所定時間間隔ごと、図に示すように、時間(t0,t1,t2,・・・)ごとに、顔領域の位置[P]および大きさ[F]の情報を取得し、記憶部351に記録する。例えば、図7に示す履歴情報の例は、以下の履歴情報から構成される。
時間t0:位置[P]=(235,325),大きさ[F]=185×210
時間t1:位置[P]=(233,324),大きさ[F]=184×208
時間t2:位置[P]=(220,320),大きさ[F]=180×205
・・・
時間tn:位置[P]=(180,280),大きさ[F]=150×180
履歴情報中の位置[P]は画像データのピクセル位置を示す座標(x,y)であり、大きさ[F]は幅と高さのピクセル数[X×Y]である。
図5に示す被写体移動速度算出部403は、記憶部350に格納されたこの被写体履歴情報を取得して、被写体の位置[P]の時間的変化量、すなわち被写体移動速度[V]を算出する。被写体移動速度[V]は、例えば出力画像の画素移動速度[Pixel/sec]で示される。また、図5に示す被写体大きさ変化量算出部404は、記憶部350に格納されたこの被写体履歴情報を取得して、予め定めた計測時間としての一定時間(例えばサンプリング時間)における被写体の大きさ[F]の変化量[ΔF]を算出する。この被写体大きさ変化量[ΔF]も、例えば出力画像の画素の変化量[Pixel]で示される。なお、サンプリング時間が一定でない場合などには、被写体の大きさ[F]の変化速度[ΔF']を算出して変化速度[ΔF']を適用した処理としてもよい。変化速度[ΔF']は、出力画像の画素の変化速度[Pixel/sec]で示される。
以下では、被写体移動速度[V]と、被写体の大きさ[F]の変化量[ΔF]を適用した被写体ぶれ判定処理例について説明する。被写体ぶれ判定部405は、被写体移動速度算出部403から、被写体移動速度算出部403の算出した被写体移動速度[V]を入力し、さらに、被写体大きさ変化量算出部404から、被写体大きさ変化量算出部404の算出した被写体の大きさ[F]の変化量[ΔF]を入力し、これらの入力情報に基づいて、被写体ぶれの判定処理を実行する。
被写体ぶれ判定部405は、
(1)被写体移動速度[V]に基づく被写体ぶれの判定処理、
(2)被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれの判定処理、
これらの2種類の判定処理を実行し、少なくともいずれかの判定処理において被写体ぶれありと判定した場合は、警告出力制御部406を介して被写体ぶれの発生を示す警告を出力させる。
被写体ぶれ判定部405は、撮像装置において設定されたシャッタースピード[S]を適用して上記(1),(2)の2つの被写体ぶれ判定処理を実行する。すなわち、露光時間が短い(高速シャッター)場合には、被写体ぶれの発生可能性は少なく、露光時間が長い(低速シャッター)場合には、被写体ぶれの発生可能性が高くなる傾向があるため、上記の被写体ぶれ判定処理(1),(2)に際しては、撮像装置のシャッタースピード設定情報[S]を考慮した判定処理を実行する。
具体的な判定処理について説明する。
(1)被写体移動速度[V]に基づく被写体ぶれの判定処理、
被写体移動速度[V]に基づく被写体ぶれの判定処理は、以下の処理によって実行する。
被写体移動速度[V]と、シャッタースピード[S]との乗算結果V・Sと、予め定めた閾値[Thr1]とを比較し、
V・S>Thr1・・・(式1)
上記式(式1)が成立するか否かを判定する。
上記式(式1)が成立する場合は、被写体ぶれの発生可能性が高いと判定し、警告出力制御部406を介して被写体ぶれの発生を示す警告を出力させる。上記式(式1)が成立しない場合は、被写体ぶれの発生可能性が低いと判定し、警告出力は行わない。なお、この被写体移動速度[V]に基づく被写体ぶれ判定処理は、被写体の移動が、カメラに対して並進方向に移動した場合、すなわち、カメラに対する距離の変化量は少ないが、カメラの撮影画面の横や縦方向に移動した場合に特に有効な判定処理である。
(2)被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれの判定処理、
被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれの判定処理は、以下の処理によって実行する。
被写体の大きさ[F]の変化量[ΔF]と、シャッタースピード[S]との乗算結果ΔF・Sと、予め定めた閾値[Thr2]とを比較し、
ΔF・S>Thr2・・・(式2)
上記式(式2)が成立するか否かを判定する。
上記式(式2)が成立する場合は、被写体ぶれの発生可能性が高いと判定し、警告出力制御部406を介して被写体ぶれの発生を示す警告を出力させる。上記式(式2)が成立しない場合は、被写体ぶれの発生可能性が低いと判定し、警告出力は行わない。なお、この被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれ判定処理は、被写体の移動が、カメラに対して奥行き方向、すなわち、カメラに対する距離の変化が発生した場合に特に有効な判定処理である。
このように、
(1)被写体移動速度[V]に基づく被写体ぶれの判定処理、
(2)被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれの判定処理、
これらの2種類の判定処理を実行することで、被写体の様々な移動に対応した被写体ぶれの判定を行なうことができる。
被写体ぶれ判定部405において、上記(1),(2)の2つの被写体ぶれ判定処理を実行して、少なくともいずれかの判定処理において被写体ぶれありと判定した場合は、警告出力制御部406を介して被写体ぶれの発生を示す警告を出力させる。この警告出力は、例えば、撮像装置のモニタやビューファインダに対するアイコン表示によって実行される。
表示アイアコンの例を図8に示す。図8は、撮像装置のモニタ画面の表示例を示している。モニタ画面には、撮像装置によって取得されている画像に併せて、被写体ぶれが検出された場合、被写体ぶれ警告アイコン501が表示される。被写体ぶれが解消した場合は、制御部の警告出力制御部406は、被写体ぶれ警告アイコン501を、画面から消す処理を行なう。
なお、先に説明したように、「ぶれ」の要因としては、カメラ本体側のゆれによる、いわゆる「手ぶれ」と、上述した被写体側の動きに起因する「被写体ぶれ」の2つの種類があり、これらの要因を区別しない警告アイコンを表示しても、ユーザ(撮影者)は、対処に迷うことになる。そこで、警告表示として出力するアイコンは、
[被写体ぶれ警告アイコン]と、
[手ぶれ警告アイコン]、
これらのアイコンを異なるアイコンとして設定する。
具体的には、図9に示すように、被写体ぶれが検出された場合、被写体ぶれ警告アイコン501を表示し、手ぶれが検出された場合、手ぶれ警告アイコン502を表示する。このように、ぶれの原因を区別した警告アイコンを表示することで、ユーザ(撮影者)は、迷うことなく最適な対処を行なうことができる。
例えば、ユーザの対処により、被写体ぶれが解消した場合は、被写体ぶれ警告アイコン501が画面から消され、手ぶれが解消した場合は、手ぶれ警告アイコン502が画面から消され、いずれの警告アイコンも出力されていない状態で撮影を実行することでぶれのない撮影画像を取得することができる。
次に、図10に示すフローチャートを参照して、本発明の撮像装置において実行する処理シーケンスについて説明する。図10に示すフローは、図3に示す撮像装置の構成中、主に制御部110および顔検出部130の処理によって実行される処理である。
ステップS101において、制御部は、顔認識モードに設定されたか否かを判定する。前述したように、撮像装置のモードダイアル20(図2参照)を所定の位置にあわせると、撮像装置は顔認識撮影モードに切り替わる。制御部は、このモードダイアル操作情報を入力して、顔認識モードに設定されたか否かを判定する。顔認識モードに設定されていない場合は、図10に示すステップS102以下の処理は実行されない。
顔認識モードに設定された場合は、ステップS102以下の処理を実行する。ステップS102では、顔検出部130(図3参照)によるカメラ取得画像に対する解析に基づく顔領域の識別処理が実行される。この顔の識別処理は、先に説明したように、例えば、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現される。
ステップS103は、図5を参照して説明した制御部の主被写体判定部401の処理である。主被写体判定部401は、顔検出部130において、1つの画像から複数の顔が検出されたか否かを判定し、複数の顔が検出されている場合は、ステップS104に進み、複数の顔画像から1つの主被写体とする顔を選択する。例えば、最も大きい顔、あるいは最も画面の中央に近い顔を選択する。1つの顔のみが検出されている場合は、ステップS104の処理は実行されず、その1つの顔を主被写体とする。
次に、ステップS105において、主被写体の顔領域の大きさ[F]および位置[P]の履歴情報を取得して、記憶部に記録する処理を実行する。この処理は、図5を参照して説明した被写体履歴情報取得部402の処理であり、図6に示すように、主被写体450の顔領域を囲む測距枠451の幅(X)と高さ(Y)を主被写体の顔領域の大きさ[F]として取得し、主被写体450の顔領域を囲む測距枠451の中心位置の座標(x,y)情報を被写体位置[P]として取得する。これらの情報を定期的に取得して、図7を参照して説明したような履歴情報を記憶部に記録する。
次に、ステップS106において、
被写体の位置[P]の時間的変化量、すなわち被写体移動速度[V]、
被写体の大きさ[F]の変化量[ΔF]、
これらの値を算出する。
これらの処理は、図5に示す被写体移動速度算出部403と、被写体大きさ変化量算出部404の処理として実行される。被写体移動速度算出部403は、記憶部350に格納されたこの被写体履歴情報を取得して、被写体の位置[P]の時間的変化量、すなわち被写体移動速度[V]を算出する。また、被写体大きさ変化量算出部404は、記憶部350に格納されたこの被写体履歴情報を取得して、被写体の大きさ[F]の変化量[ΔF]を算出する。
次に、ステップS107、ステップS108において被写体ぶれ判定処理が実行される。これらの処理は、図5に示す被写体ぶれ判定部405において実行される。前述したように、これらのぶれ判定処理は、撮像装置において設定されたシャッタースピード[S]を適用して実行される。すなわち、シャッタースピードが短い(高速シャッター)場合には、被写体ぶれの発生可能性は少なく、シャッタースピードが長い(低速シャッター)場合には、被写体ぶれの発生可能性が高くなる傾向があるため、撮像装置のシャッタースピード設定情報[S]を考慮した判定処理を実行する。
まず、ステップS107において、被写体移動速度[V]に基づく被写体ぶれの判定処理を、被写体移動速度[V]と、シャッタースピード[S]との乗算結果V・Sと、予め定めた閾値[Thr1]とを比較する処理として実行する。すなわち、
V・S>Thr1・・・(式1)
上記式(式1)が成立するか否かを判定する。
上記式(式1)が成立する場合は、被写体ぶれの発生可能性が高いと判定し、ステップS109に進み、警告出力制御部406を介して被写体ぶれの発生を示す警告を出力させる。警告表示は、例えば、図8、図9を参照して説明した被写体ぶれ警告表示アイコンの表示部に対する出力処理として実行される。
上記式(式1)が成立しない場合は、ステップS108に進む、ステップS108では、被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれの判定処理を、被写体の大きさ[F]の変化量[ΔF]と、シャッタースピード[S]との乗算結果ΔF・Sと、予め定めた閾値[Thr2]とを比較する処理として実行する。すなわち、
ΔF・S>Thr2・・・(式2)
上記式(式2)が成立するか否かを判定する。
上記式(式2)が成立する場合は、被写体ぶれの発生可能性が高いと判定し、ステップS109に進み、警告出力制御部406を介して被写体ぶれの発生を示す警告を出力させる。
上記式(式1)が成立しない場合は、被写体ぶれの発生可能性がないと判断し、処理を終了する。なお、図10に示す処理は、撮像装置の電源が入力され、スルー画が取得されている期間において継続的に繰り返し実行される。
上述したように、本発明の撮像装置では、手ぶれとは異なる要因で発生するぶれである被写体の動きに基づきぶれの発生可能性を判定して、ユーザ(撮影者)に警告する構成としたので、ユーザ(撮影者)は、被写体の動きによるぶれの発生可能性を撮影を実行する以前に知ることが可能となり、あらかじめ適切な対処を行なうことによりぶれの発生した画像の撮影を行なうことを未然に防止することが可能となる。
また、本発明の撮像装置では、
(1)被写体移動速度[V]に基づく被写体ぶれの判定処理、
(2)被写体の大きさ[F]の変化量[ΔF]に基づく被写体ぶれの判定処理、
これらの2種類の判定処理を実行する構成としたので、被写体の様々な移動に対応した被写体ぶれの判定を行なうことができる。
なお、上述した処理例では、1枚の画像中から複数の顔領域が検出された場合、その中の1つを主被写体として選択し、選択した主被写体に対する解析による被写体ぶれの判定を行なう構成としたが、複数の顔の被写体移動速度[V]の平均値、複数の顔の大きさ[F]の変化量[ΔF]の平均値を算出して、この平均値に基づく被写体ぶれの判定処理を実行する構成としてもよい。すなわち、例えば、検出した各顔領域の大きさの平均値と平均速度の絶対値を算出して、これらの算出値に基づく処理を実行してもよい。
また、上述の処理例では、被写体ぶれの危険性があると判断した場合に、警告アイコンを出力する処理例を説明したが、警告アイコンの出力のみならず、ブザーなどの警告音を出力する構成としてもよい。また、被写体ぶれの危険がある間は撮影を禁止する処理を行なう構成としてもよい。
さらに、被写体ぶれの危険性があると判断した場合に、シャッタースピードを速く設定する制御を行なう構成としてもよい。あるいは、被写体ぶれの危険を軽減できるよう自動的にイメージャ感度を増感する制御を行なう構成としてもよい。これらの制御を実行することで、撮影画像に発生する被写体ぶれを軽減することが可能となる。
これらの制御は、制御部によって実行される。すなわち、制御部は、被写体ぶれの発生可能性が有るとの判定に基づいて、警告アイコンや警告音の出力制御、または撮像装置の撮影を禁止する制御、または撮像装置のシャッタースピードを高速設定に変更する制御、または撮像装置の撮影時のISO感度を増感させる制御のいずれか、またはこれらの組み合わせた制御を実行する。
なお、上述した実施例では、撮像装置としてデジタルスチルカメラを想定して説明したが、人物の撮影を行う機器であれば、ビデオカメラやカメラつき携帯電話など形態の異なる機器にも本発明は適用可能である。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成では、撮像装置において取得される画像データから顔領域を検出し、顔領域の大きさの変化または移動速度を算出して、これらの算出情報とシャッタースピードとを考慮して被写体の動きに起因して発生する被写体ぶれの発生可能性を検証する構成とした。さらに、この検証結果に基づいて、被写体ぶれの発生する可能性があると判定した場合は、例えばモニタに対する警告アイコンの表示、または撮影禁止とする制御、またはシャッタースピードの自動調整、またはISO感度の調整処理などを実行する構成とした。本構成によって、ぶれの発生した画像が撮影されることを未然に防止してユーザ(撮影者)に適切な処置を行なわせたり、ぶれの軽減された画像の撮影を行なわせたりすることが可能となる。
フォーカス制御における合焦動作として実行されるレンズ駆動、AF評価値取得処理例について説明する図である。 本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 本発明の撮像装置の制御部の機能構成について説明する図である。 測距枠、および被写体の大きさ、位置の各情報について説明する図である。 被写体履歴情報のデータ例について説明する図である。 被写体ぶれ警告アイコンの表示例について説明する図である。 被写体ぶれ警告アイコンおよび手ぶれ警告アイコンの表示例について説明する図である。 本発明の撮像装置において実行する処理のシーケンスの一例について説明するフローチャートを示す図である。
符号の説明
10 撮像装置
11 電源スイッチ
12 レリーズスイッチ
13 モニタ
14 イメージャ
15 ズームボタン
16 操作ボタン
17 ビューファインダ
18 フォーカスレンズ
19 ズームレンズ
20 モードダイアル
21 フォーカスレンズモータ(M1)
22 ズームレンズモータ(M2)
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレータ(TA)
107 垂直ドライバ
108 デジタル信号処理部
110 制御部
111 ジャイロ
112 モータドライバ
113,114 モータ
115 記録デバイス
116 ビューファインダ(EVF)
117 モニタ
118 操作部
119 メモリ(EEPROM)
120 メモリ(ROM)
121 メモリ(RAM)
130 顔検出部
301 被写体位置
302 フォーカスレンズ
303 撮像素子
350 画像
351 記憶部
401 主被写体判定部
402 被写体履歴情報取得部
403 被写体移動速度情報取得部
404 被写体大きさ変化情報取得部
405 被写体ぶれ判定部
406 警告出力制御部
450 被写体
451 測距枠
501 被写体ぶれ警告アイコン
502 手ぶれ警告アイコン

Claims (19)

  1. 撮像装置における入力画像から顔領域の検出を実行する顔検出部と、
    前記顔検出部の検出した顔領域の大きさの変化量、または顔領域の移動速度の少なくともいずれかを検出し、該検出情報に基づいて被写体に起因する撮影画像のぶれである被写体ぶれの発生可能性の有無を判定し、被写体ぶれの発生可能性が有るとの判定に基づいて警告の出力処理を実行する制御部と、
    を有することを特徴とする撮像装置。
  2. 前記制御部は、
    前記顔検出部の検出情報を継続的に受領し、継続受領する情報に基づいて、顔領域の大きさ、または顔領域の位置の少なくともいずれかの検出情報に基づく履歴情報を生成して記憶部に記録する処理を実行する被写体履歴情報取得部と、
    前記履歴情報に基づく顔領域の大きさの変化量を算出する被写体大きさ変化量算出部と、
    前記履歴情報に基づく顔領域の移動速度を算出する被写体移動速度算出部を有し、
    前記被写体大きさ変化量算出部の算出した顔領域の大きさの変化量、または、被写体移動速度算出部の算出した顔領域の移動速度の少なくともいずれかに基づいて被写体ぶれの発生可能性の有無を判定する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  3. 前記制御部は、
    前記顔検出部の検出した顔領域の大きさの変化量[ΔF]と撮像装置に設定されたシャッタースピード[S]との乗算値[ΔF・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[ΔF・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  4. 前記制御部は、
    前記顔検出部の検出した顔領域の移動速度[V]と、撮像装置に設定されたシャッタースピード[S]との乗算値[V・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[V・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  5. 前記制御部は、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の表示部に警告アイコンの出力処理を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  6. 前記制御部の出力する警告アイコンは、手ぶれに起因する手ぶれアイコンと異なる表示情報によって構成される被写体ぶれ警告アイコンであることを特徴とする請求項5に記載の撮像装置。
  7. 前記制御部は、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影を禁止する制御を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  8. 前記制御部は、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置のシャッタースピードを高速設定に変更する制御を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  9. 前記制御部は、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影時のISO感度を増感させる制御を実行する構成であることを特徴とする請求項1に記載の撮像装置。
  10. 撮像装置におけるぶれ検出処理を実行する撮像装置制御方法であり、
    顔検出部において、撮像装置における入力画像から顔領域の検出を実行する顔検出ステップと、
    制御部において、前記顔検出部の検出した顔領域の大きさの変化量、または顔領域の移動速度の少なくともいずれかを検出し、該検出情報に基づいて被写体に起因する撮影画像のぶれである被写体ぶれの発生可能性の有無を判定し、被写体ぶれの発生可能性が有るとの判定に基づいて警告の出力処理を実行する制御ステップと、
    を有することを特徴とする撮像装置制御方法。
  11. 前記制御ステップは、
    前記顔検出部の検出情報を継続的に受領し、継続受領する情報に基づいて、顔領域の大きさ、または顔領域の位置の少なくともいずれかの検出情報に基づく履歴情報を生成して記憶部に記録する処理を実行する被写体履歴情報取得ステップと、
    前記履歴情報に基づく顔領域の大きさの変化量を算出する被写体大きさ変化量算出ステップと、
    前記履歴情報に基づく顔領域の移動速度を算出する被写体移動速度算出部を有し、
    前記被写体大きさ変化量算出部の算出した顔領域の大きさの変化量、または、被写体移動速度算出部の算出した顔領域の移動速度の少なくともいずれかに基づいて被写体ぶれの発生可能性の有無を判定する処理を実行するステップとを含むことを特徴とする請求項10に記載の撮像装置制御方法。
  12. 前記制御ステップは、
    前記顔検出部の検出した顔領域の大きさの変化量[ΔF]と撮像装置に設定されたシャッタースピード[S]との乗算値[ΔF・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[ΔF・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行することを特徴とする請求項10に記載の撮像装置制御方法。
  13. 前記制御ステップは、
    前記顔検出部の検出した顔領域の移動速度[V]と、撮像装置に設定されたシャッタースピード[S]との乗算値[V・S]と、予め定めた閾値との比較処理を実行して、前記乗算値[V・S]が閾値より大である場合に、被写体ぶれの発生可能性が有ると判定する処理を実行する構成であることを特徴とする請求項10に記載の撮像装置制御方法。
  14. 前記制御ステップは、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の表示部に警告アイコンの出力処理を実行するステップを含むことを特徴とする請求項10に記載の撮像装置制御方法。
  15. 前記警告アイコンは、手ぶれに起因する手ぶれアイコンと異なる表示情報によって構成される被写体ぶれ警告アイコンであることを特徴とする請求項14に記載の撮像装置制御方法。
  16. 前記制御ステップは、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影を禁止する制御を実行するステップを含むことを特徴とする請求項10に記載の撮像装置制御方法。
  17. 前記制御ステップは、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置のシャッタースピードを高速設定に変更する制御を実行するステップを含むことを特徴とする請求項10に記載の撮像装置制御方法。
  18. 前記制御ステップは、
    被写体ぶれの発生可能性が有るとの判定に基づいて、撮像装置の撮影時のISO感度を増感させる制御を実行するステップを含むことを特徴とする請求項10に記載の撮像装置制御方法。
  19. 撮像装置におけるぶれ検出処理を実行させるコンピュータ・プログラムであり、
    顔検出部において、撮像装置における入力画像から顔領域の検出を実行させる顔検出ステップと、
    制御部において、前記顔検出部の検出した顔領域の大きさの変化量、または顔領域の移動速度の少なくともいずれかを検出し、該検出情報に基づいて被写体に起因する撮影画像のぶれである被写体ぶれの発生可能性の有無を判定し、被写体ぶれの発生可能性が有るとの判定に基づいて警告の出力処理を実行させる制御ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。
JP2006192417A 2006-07-13 2006-07-13 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Expired - Fee Related JP4172507B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006192417A JP4172507B2 (ja) 2006-07-13 2006-07-13 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US11/773,247 US8068639B2 (en) 2006-07-13 2007-07-03 Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area
CN2007101291451A CN101106647B (zh) 2006-07-13 2007-07-13 图像拾取装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006192417A JP4172507B2 (ja) 2006-07-13 2006-07-13 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2008022300A true JP2008022300A (ja) 2008-01-31
JP4172507B2 JP4172507B2 (ja) 2008-10-29

Family

ID=38949325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006192417A Expired - Fee Related JP4172507B2 (ja) 2006-07-13 2006-07-13 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Country Status (3)

Country Link
US (1) US8068639B2 (ja)
JP (1) JP4172507B2 (ja)
CN (1) CN101106647B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177972A (ja) * 2007-01-22 2008-07-31 Matsushita Electric Ind Co Ltd 撮像装置
JP2009246962A (ja) * 2008-03-28 2009-10-22 Fuji Xerox Co Ltd カメラシステム、カメラシステムによって実行される方法、及び、プログラム
JP2010011189A (ja) * 2008-06-27 2010-01-14 Olympus Corp 画像処理装置および画像処理プログラム
JP2010015023A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、自動焦点検出方法及びプログラム
US8416332B2 (en) 2009-01-20 2013-04-09 Sony Corporation Information processing apparatus, information processing method, and program
WO2013084450A2 (en) 2011-12-06 2013-06-13 Sony Corporation Information processing terminal, information processing method, and program
US8465415B2 (en) 2009-07-23 2013-06-18 Olympus Corporation Endoscope apparatus and measurement method
JP2020088646A (ja) * 2018-11-27 2020-06-04 凸版印刷株式会社 三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラム
JP2020145660A (ja) * 2019-03-08 2020-09-10 キヤノン株式会社 情報処理装置およびその制御方法ならびにプログラム
JP2020150448A (ja) * 2019-03-14 2020-09-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5060233B2 (ja) * 2007-09-25 2012-10-31 富士フイルム株式会社 撮像装置およびその自動撮影方法
JP4843002B2 (ja) 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4760947B2 (ja) * 2008-08-05 2011-08-31 カシオ計算機株式会社 画像処理装置、プログラム
JP5410887B2 (ja) * 2008-09-11 2014-02-05 パナソニック株式会社 表示装置および撮像装置
US8385638B2 (en) 2009-01-05 2013-02-26 Apple Inc. Detecting skin tone in images
US8320636B2 (en) 2009-01-05 2012-11-27 Apple Inc. Detecting image detail level
US8548257B2 (en) * 2009-01-05 2013-10-01 Apple Inc. Distinguishing between faces and non-faces
US20100253797A1 (en) * 2009-04-01 2010-10-07 Samsung Electronics Co., Ltd. Smart flash viewer
TWI409576B (zh) 2009-10-30 2013-09-21 Htc Corp 影像擷取方法與可攜式通訊裝置
US8860875B2 (en) * 2009-12-01 2014-10-14 Panasonic Intellectual Property Corporation Of America Imaging device for recognition and method of controlling the same
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
TWI407388B (zh) * 2010-04-21 2013-09-01 Hon Hai Prec Ind Co Ltd 嬰兒睡眠偵測系統及方法
JP5780418B2 (ja) * 2011-05-30 2015-09-16 ソニー株式会社 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体
KR101913336B1 (ko) * 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
EP2890112A1 (en) * 2013-12-30 2015-07-01 Nxp B.V. Method for video recording and editing assistant
US10194074B2 (en) * 2014-01-17 2019-01-29 Sony Corporation Imaging system, warning generation device and method, imaging device and method, and program
JP6032252B2 (ja) * 2014-09-09 2016-11-24 カシオ計算機株式会社 画像補正装置、画像補正方法及びプログラム
US9628720B2 (en) * 2015-08-12 2017-04-18 Qualcomm Incorporated System and method to control an imaging process
US10015400B2 (en) * 2015-12-17 2018-07-03 Lg Electronics Inc. Mobile terminal for capturing an image and associated image capturing method
JP6664488B2 (ja) * 2016-07-29 2020-03-13 富士フイルム株式会社 カメラ、カメラの設定方法、及び、カメラの設定プログラム
CN106303217A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种辅助成像方法及具有辅助成像系统的移动终端
CN107870666B (zh) * 2016-09-28 2020-12-29 腾讯科技(深圳)有限公司 一种终端控制方法及终端
CN107295252B (zh) * 2017-06-16 2020-06-05 Oppo广东移动通信有限公司 对焦区域显示方法、装置及终端设备
US10878824B2 (en) * 2018-02-21 2020-12-29 Valyant Al, Inc. Speech-to-text generation using video-speech matching from a primary speaker
CN110392211B (zh) * 2019-07-22 2021-04-23 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN113435400B (zh) * 2021-07-14 2022-08-30 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298616A (ja) * 1995-04-19 1996-11-12 Samsung Electron Co Ltd 写真カメラ一体化ビデオカメラ
JP2003158646A (ja) * 2001-11-21 2003-05-30 Canon Inc 撮像装置及び制御システム
JP2006087083A (ja) * 2004-08-16 2006-03-30 Canon Inc 撮像装置及び撮像装置の制御方法
JP2006157428A (ja) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd 撮影装置及び撮影方法
JP2007281536A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 被写体ぶれ検出装置、撮影装置、これらの制御方法、制御プログラム及び記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE35583E (en) * 1989-11-29 1997-08-12 Minolta Camera Kabushiki Kaisha Camera capable of correcting blurring
US6603508B1 (en) * 1997-11-19 2003-08-05 Ricoh Company, Ltd. Method, system, and computer readable medium for controlling a digital camera to avoid blurring of a photograph
US6298145B1 (en) * 1999-01-19 2001-10-02 Hewlett-Packard Company Extracting image frames suitable for printing and visual presentation from the compressed image data
JP3894038B2 (ja) 2002-05-08 2007-03-14 日本電気株式会社 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム
JP2004128584A (ja) * 2002-09-30 2004-04-22 Minolta Co Ltd 撮像装置
KR100455294B1 (ko) * 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
JP2005020196A (ja) 2003-06-24 2005-01-20 Casio Comput Co Ltd 画像撮影装置、及び画像整理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08298616A (ja) * 1995-04-19 1996-11-12 Samsung Electron Co Ltd 写真カメラ一体化ビデオカメラ
JP2003158646A (ja) * 2001-11-21 2003-05-30 Canon Inc 撮像装置及び制御システム
JP2006087083A (ja) * 2004-08-16 2006-03-30 Canon Inc 撮像装置及び撮像装置の制御方法
JP2006157428A (ja) * 2004-11-29 2006-06-15 Fuji Photo Film Co Ltd 撮影装置及び撮影方法
JP2007281536A (ja) * 2006-04-03 2007-10-25 Seiko Epson Corp 被写体ぶれ検出装置、撮影装置、これらの制御方法、制御プログラム及び記録媒体

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177972A (ja) * 2007-01-22 2008-07-31 Matsushita Electric Ind Co Ltd 撮像装置
JP2009246962A (ja) * 2008-03-28 2009-10-22 Fuji Xerox Co Ltd カメラシステム、カメラシステムによって実行される方法、及び、プログラム
JP2010011189A (ja) * 2008-06-27 2010-01-14 Olympus Corp 画像処理装置および画像処理プログラム
JP2010015023A (ja) * 2008-07-04 2010-01-21 Canon Inc 撮像装置、自動焦点検出方法及びプログラム
US8259214B2 (en) 2008-07-04 2012-09-04 Canon Kabushiki Kaisha Image pickup apparatus and auto-focus detection method
US8416332B2 (en) 2009-01-20 2013-04-09 Sony Corporation Information processing apparatus, information processing method, and program
US8465415B2 (en) 2009-07-23 2013-06-18 Olympus Corporation Endoscope apparatus and measurement method
WO2013084450A2 (en) 2011-12-06 2013-06-13 Sony Corporation Information processing terminal, information processing method, and program
US9357128B2 (en) 2011-12-06 2016-05-31 Sony Corporation Information processing terminal, information processing method, and program
JP2020088646A (ja) * 2018-11-27 2020-06-04 凸版印刷株式会社 三次元形状モデル生成支援装置、三次元形状モデル生成支援方法、及びプログラム
JP2020145660A (ja) * 2019-03-08 2020-09-10 キヤノン株式会社 情報処理装置およびその制御方法ならびにプログラム
JP7389558B2 (ja) 2019-03-08 2023-11-30 キヤノン株式会社 情報処理装置およびその制御方法ならびにプログラム
JP2020150448A (ja) * 2019-03-14 2020-09-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7296750B2 (ja) 2019-03-14 2023-06-23 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20080013851A1 (en) 2008-01-17
CN101106647A (zh) 2008-01-16
US8068639B2 (en) 2011-11-29
JP4172507B2 (ja) 2008-10-29
CN101106647B (zh) 2010-06-02

Similar Documents

Publication Publication Date Title
JP4172507B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127297B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4264660B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
TWI353465B (ja)
JP4127296B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5589548B2 (ja) 撮像装置、画像処理方法、及びプログラム記憶媒体
JP4582152B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4907740B2 (ja) 撮像装置
JP4730478B2 (ja) 撮像装置、および撮像装置制御方法、並びにプログラム
JP2008282031A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4866317B2 (ja) 撮像装置及び撮像装置の制御方法
JP4506779B2 (ja) 撮像装置及びプログラム
JP5326809B2 (ja) 撮像装置
JP2009290255A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2006332809A (ja) 撮像装置
JP2007328213A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4730044B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP7346076B2 (ja) 制御装置、レンズ装置、撮像装置、制御方法、および、プログラム
JP2019083580A (ja) 画像処理装置、画像処理方法、プログラム
JP2014023054A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP5938269B2 (ja) 撮像装置およびその制御方法
JP5326799B2 (ja) 撮像装置
JP2008092083A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080804

R151 Written notification of patent or utility model registration

Ref document number: 4172507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees