JP2010141847A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2010141847A
JP2010141847A JP2008318935A JP2008318935A JP2010141847A JP 2010141847 A JP2010141847 A JP 2010141847A JP 2008318935 A JP2008318935 A JP 2008318935A JP 2008318935 A JP2008318935 A JP 2008318935A JP 2010141847 A JP2010141847 A JP 2010141847A
Authority
JP
Japan
Prior art keywords
subject
face
area
detected
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008318935A
Other languages
English (en)
Other versions
JP2010141847A5 (ja
JP5147670B2 (ja
Inventor
Ryosuke Tsuji
良介 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008318935A priority Critical patent/JP5147670B2/ja
Publication of JP2010141847A publication Critical patent/JP2010141847A/ja
Publication of JP2010141847A5 publication Critical patent/JP2010141847A5/ja
Application granted granted Critical
Publication of JP5147670B2 publication Critical patent/JP5147670B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】 画像から被写体検出を行うための画像処理装置及び画像処理方法において、演算量を抑制しながら、簡便な方法によって被写体検出精度を向上させる。
【解決手段】 予め定めた被写体の画像領域として検出された画像領域のうち、同一被写体の画像領域を特定する。そして、同一被写体の画像領域と特定された画像領域について、検出された信頼度の履歴を記録する。そして、同一被写体の画像領域と特定された画像領域のうち、信頼度のレベルに応じて定められた判定基準を満たすものを、前記予め定めた被写体の画像領域と判定する。
【選択図】 図5

Description

本発明は、画像処理装置および画像処理方法に関し、特には動画像中に含まれる被写体を検出するための画像処理装置及び画像処理方法に関する。
画像から特定の被写体(人物、動物、特定の物体など)を検出する画像処理技術は非常に有用である。例えば被写体として人間の顔を検出する画像処理技術は、テレビ会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮など多くの分野で使用することができる。
既にデジタルカメラやデジタルビデオカメラでは、撮影画像から人物の顔を検出し、顔検出結果に基づく露出制御や焦点検出制御を実現させている。
このような、画像中から特定の被写体を検出するための画像処理技術としては、様々な手法が提案されているが、その大半はパターンマッチングに基づく手法である。例えば、画像上の複数の異なる位置で部分画像を切り出し、その部分画像が顔領域の画像であるか否かを判別して、画像上の顔領域を検出する方法が挙げられる。部分画像が顔領域であるか否かは、テンプレートマッチングによる手法や、ニューラル・ネットワークなどの学習手法により顔の特徴を学習させた識別器を用いる手法により判別できる。
いずれの手法においても、部分画像の画像パターンに基づいてその部分画像が被写体領域の画像である確からしさを示す信頼度を算出し、信頼度が所定の閾値を超えた部分画像を被写体領域の画像として検出するのが一般的である。
例えば、特許文献1では、複数の異なる解像度パターンの部分画像から信頼度を算出し、部分画像ごとの信頼度の和に基づいて被写体領域の画像を検出(被写体検出)している。
特許文献2では、被写体として人物の顔を検出し、検出結果に基づいて画像中の顔の位置を検出し、顔に焦点を合わるとともに、顔が最適な露出で撮影されるように自動焦点検出及び自動露出する撮影装置を開示している。
特開2008−033424号公報 特開2005−318554号公報
パターンマッチングによる被写体検出は、画像中に被写体が含まれる可能性の程度に基づくものであり、検出すべき被写体のみが検出されるわけではない。例えば、被写体として人物の顔を検出する場合、パターンマッチングに基づく、顔らしさの信頼度が、所定の閾値を満たす領域であれば、顔でない領域であっても顔として検出される。
このような誤検出(検出過多)を減少させるため、被写体領域と見なすための信頼度の閾値を厳しく設定すると、被写体領域にもかかわらず閾値を満たさない領域が発生し、被写体の検出率が低下する(検出もれ)。また、閾値を緩く設定すれば、検出すべき被写体とは異なる領域を被写体として検出する誤検出が多発する。つまり、検出もれと誤検出にはトレードオフの関係があり、最適な検出条件を設定することは容易でない。
パターンマッチングの演算量を増やし、検出の信頼性を高めることも考えられるが、デジタルビデオカメラやデジタルカメラなど、演算リソースが限られ、さらに検出のリアルタイム性が求められる装置においては現実的でない。
本発明はこのような従来技術の課題に鑑みなされたものであり、画像から被写体検出を行うための画像処理装置及び画像処理方法において、演算量を抑制しながら、簡便な方法によって被写体検出精度を向上させることを目的とする。
上述の目的は、時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出手段と、異なる画像から被写体検出手段が検出した領域のうち、同一被写体の領域を特定する特定手段と、特定手段が同一被写体の領域と特定した領域について、被写体検出手段が検出した信頼度の履歴を含む被写体データを記録する記録手段と、特定手段が同一被写体の領域と特定した領域のうち、記録手段が記録した信頼度の履歴が、信頼度のレベルに応じて定められた判定基準を満たす領域を、予め定めた被写体の領域と判定する判定手段とを有することを特徴とする画像処理装置によって達成される。
また、上述の目的は、被写体光学像を結像するためのレンズと、レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、本発明に係る画像処理装置と、判定手段が予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有することを特徴とする撮像装置によっても達成される。
また、上述の目的は、撮像装置であって、被写体光学像を結像するためのレンズと、レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、時系列的に隣接する画像の変化量を算出するとともに、変化量が予め定めた変化量を超える場合には、記録手段が記録する被写体データを全て削除する変化検出手段を有する本発明に係る画像処理装置と、判定手段が予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有し、画像処理装置が、撮像装置の動きまたはレンズの画角変化に関する情報を取得するとともに、これら情報の少なくとも1つが予め定めた閾値を超える場合には、撮像手段が出力する画像が大きく変化するものとして記録手段が記録する被写体データを全て削除する変化検出手段を有することを特徴とする撮像装置によっても達成される。
また、上述の目的は、時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出ステップと、異なる画像から被写体検出ステップで検出された領域のうち、同一被写体の領域を特定する特定ステップと、特定ステップで同一被写体の領域と特定された領域について、被写体検出ステップで検出された信頼度の履歴を含む被写体データを記録手段に記録する記録ステップと、特定ステップで同一被写体の領域と特定された領域のうち、記録手段に記録された信頼度の履歴が、信頼度のレベルに応じて定められた判定基準を満たす領域を、予め定めた被写体の領域と判定する判定ステップとを有することを特徴とする画像処理方法によっても達成される。
このような構成により、本発明によれば、画像から被写体検出を行うための画像処理装置及び画像処理方法において、演算量を抑制しながら、簡便な方法によって被写体検出精度を向上させることができる。
以下、図面を参照して本発明の好適かつ例示的な実施形態について詳細に説明する。
図1は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。
レンズ101により、被写体光学像がCCDイメージセンサやCMOSイメージセンサのような撮像素子102の撮像面上に結像される。撮像素子102は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子102から出力された映像信号は、アナログ信号処理部103において相関二重サンプリング(CDS)等のアナログ信号処理が行われる。
アナログ信号処理部103から出力された映像信号は、A/D変換部104においてデジタルデータの形式に変換され、撮影制御部105および画像処理部106に入力する。画像処理部106では、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。画像処理部106は、これら通常の画像処理に加え、後述するように、顔検出部109から供給される、画像中に検出された顔領域に関する情報を用いた画像処理も行う。
画像処理部106から出力された映像信号は、表示部107に送られる。表示部107は、例えばLCDや有機ELディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次表示部107に表示することで、表示部107を電子ビューファインダ(EVF)として機能させることができる。また、映像信号は記録媒体108、例えば着脱可能なメモリカードに記録される。記録先はカメラの内蔵メモリであっても、通信可能な接続された外部装置であっても良い。
画像処理部106から出力された映像信号は、顔検出部109にも供給される。顔検出部109は画像中の人物の顔を検出し、被写体の人数と顔領域を特定する。検出方法は公知の顔検出方法を用いる。例えば、顔に関する知識(肌色情報、目・鼻・口などのパーツ)を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。認識率向上のために複数の方法を組み合わせて顔認識を行なうのが一般的である。具体的には特開2002−251380号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
顔検出部109が検出結果として出力する顔領域の情報としては、検出した人数分の顔領域の位置、大きさ、傾き、信頼度などが挙げられる。ここで、信頼度とは顔検出結果の確からしさを表す値であり、顔検出の処理過程で決定される。
信頼度の算出法はさまざまなものがある。例えば、予め記憶された顔画像の特徴と、顔検出部109により検出した顔領域の画像の特徴とを比較して、検出した顔領域の画像が被写体の画像である確率を求め、この確率から信頼度を算出する方法がある。また、予め記憶された顔画像の特徴と、顔検出部109によって検出した顔領域の画像の特徴との差を算出し、その差の大きさから信頼度を算出する方法もある。どのような方法で算出された信頼度であっても、信頼度が高ければ誤検出の可能性が少なく、低ければ誤検出の可能性が高いことを示す。
顔検出部109の検出結果である顔領域の情報は被写体特定部110に送られる。被写体特定部110は、時系列的に連続した顔検出結果から、同一の被写体を特定し、被写体情報を顔判定部111に送る。顔判定部111は、顔検出部109から供給される時系列的な顔検出結果に基づいて、信頼性が高い顔領域を顔と判定する。顔として判定された検出結果の情報(撮像画像中の顔領域の位置、大きさなど)は、画像処理部106及び撮影制御部105に供給される。そして、顔領域の情報を用いた自動焦点検出制御や自動露出制御といった、撮像条件の制御に用いることができる。
撮影制御部105は、A/D変換部104から出力された映像信号に基づいて、撮像レンズの図示しない焦点制御機構や露出制御機構を制御する。撮影制御部105は、この焦点制御機構や露出制御機構の制御に、顔判定部111から供給された検出結果の情報を用いることができる。従って、本実施形態の撮像装置は、撮像画像中の顔領域の情報を考慮した撮影処理を行なう機能を実現できる。具体的には、顔領域を基準とした露出制御、焦点検出制御、フラッシュ制御などを実現することができる。撮影制御部105は、撮像素子102の出力タイミングや出力画素などの制御を行なう。
(被写体特定処理)
被写体特定部110には、顔検出部109から顔検出結果として顔領域の情報(撮像画像中の位置や大きさ、信頼度など)が供給される。顔検出部109では、過去の顔検出結果を保持したり、利用したりせずに顔検出処理を行う。そのため、被写体特定部110は、顔検出部109の顔検出結果を時系列的に保持し、時系列的な顔検出結果に基づいて、同一被写体の顔領域を特定する。これにより、被写体追尾が可能になる。
顔領域の位置と大きさを用いて同一被写体を特定する処理について、図2を参照して説明する。
図2は逐次撮像される時系列的に連続する2フレームを示しており、(b)が現在の撮像画像、(a)が(b)より1フレーム前の画像を示している。なお、ここではフレーム毎に顔検出を行うものとしているが、数フレームおきに顔検出を行ってもよい。顔検出部109によって各フレームで検出された顔領域201、202、203は、顔領域を示す表示(顔枠)によって示されている。
図2(a)に示す前フレームで検出された顔領域について、位置を、画像中の座標を用いて(xt-1 (i), yt-1 (i))、大きさをst-1 (i)と表す。また、現フレームで検出された顔領域については、位置を(xt (j), yt (j))、 大きさをst (j)と表す。ここで、i、jの値は1からnの値を取る整数であり、同一フレーム内で検出された顔領域ごとに値が割り振られる。nは検出された顔領域の総数を示す。
被写体特定部110は、時系列的に連続する顔検出結果において、位置と大きさが、以下の式1の値が0以上となる顔領域を、同一被写体として判定する。
Figure 2010141847
つまり、連続するフレーム間で大きさが同一の顔領域については、前フレームの顔領域の周囲に顔領域と等しい大きさの領域が隣接する範囲に現フレームの顔領域が含まれれば、両者を同一被写体の顔領域と判定する。
また、連続するフレーム間で大きさが異なる顔領域については、2つの顔領域の座標差が、大きさの小さい方の顔を基準として設定した隣接範囲に含まれれば、同一人物と判定する。現フレームの結果を基準として、式1の値が0以上となる前フレームの検出結果が複数個あった場合は、式の値の小さいほうが同一人物として判定される。また、現フレームの結果を基準として、前フレームの検出結果が式1の値で0以上となる結果がなければ、その結果の被写体は新規の被写体としてみなされる。つまり、図2において、フレームt−1おける顔領域201とフレームtにおける顔領域202は同一の被写体として判定され、フレームtにおける顔領域203は新規に出現した被写体と判定される。
ここで説明した被写体特定方法は一例であり、他の方法を用いて同一の被写体を特定してもよい。例えば、顔検出部109から顔の傾きや向きに関する情報が得られるならば、それらを被写体特定部110での被写体特定の条件として利用しても良い。また、レンズ101のズーム率(焦点距離)、ビデオカメラの移動量、手ぶれ補正のON/OFFといった撮像装置の情報を取得し、それらを被写体特定の条件として利用することもできる。
被写体特定部110は、図6に示すような被写体リスト112を保持し、顔検出部109から検出結果を受け取るごとに被写体リスト112を更新する。被写体リスト112の詳細については後述するが、個々の顔領域について、位置及び大きさの情報と、信頼度レベルの履歴などが記憶される。
(顔判定処理)
顔判定部111では、顔検出部109により出力される顔検出結果から、画像処理部106及び撮影制御部105で有効に利用できる情報を判定し、画像処理部106及び撮影制御部105へ供給する。つまり、顔判定部111は、顔検出部109により出力される顔検出結果の中から、信頼性の高い検出結果を取り出し、画像処理部106及び撮影制御部105へ供給する。
具体的には、顔判定部111は、信頼度のレベル(高さ)に応じた継続検出回数または継続検出時間を判定基準として予め保持しておく。そして、被写体特定部110が同一被写体と判定した顔領域について、判定基準を満たす顔領域を最終的に顔としての信頼性の高い顔領域と判定する。
つまり、顔判定部111は、同一の被写体と判定された顔領域のうち、顔検出部109が算出した信頼度のレベルに応じた回数または時間継続して検出されている顔領域を、信頼性の高い顔領域と判定する。ここで、信頼度のレベルは、顔検出部109から供給される信頼度そのものであっても、顔検出部109から得られる信頼度に対して正規化処理など所定の処理を施した値であってもよい。実際には、顔判定部111は、被写体特定部110が保持、管理する被写体リスト112(図6)を参照し、信頼度レベルの履歴から判定基準を満たす顔領域を顔と判定する。そして、顔判定部111は、顔と判定した顔領域の位置や大きさの情報を被写体リスト112から読み出して、画像処理部106及び撮影制御部105へ供給する。
図3に顔検出部109により検出された顔領域と、対応する信頼度レベルの例を示す。
本実施形態では、信頼度レベルは1から5の5段階あり、5が最も信頼性が高いものとする。図3に示した例では、顔を正しく検出している顔領域(401,403,404,406,408,410)には信頼度レベルの高いものが多く、顔以外の領域を誤検出した顔領域(402,405,407,409)は信頼度レベルの低い結果が多い。しかし、正しく検出されている顔領域でも信頼度レベルの低いもの(顔領域403,408)や、誤検出された顔領域でも信頼度レベルの高いもの(顔領域402,407)が含まれている。
従って、1フレームのみから得られる信頼度レベルによって、正しい検出と誤検出を精度良く区別することは難しい。
そこで、本実施形態では、同一被写体の顔領域についての信頼度レベルを経時的に追跡し、個々の被写体の顔領域が真に顔領域であるかどうかを判定する。具体的には上述したように、同一被写体の顔領域と判定された顔領域について、信頼度レベルに応じた判定基準を設け、判定基準を満たした顔領域について真の顔領域であると判定する。判定基準は例えば、ある信頼度レベルが継続して検出された回数や時間であってよい。本実施形態では、顔領域ごとの信頼度レベルの追跡、記録は被写体特定部110が行い、判定基準に基づく判定を顔判定部111が行う。
図4は、図3において判定基準を適用した例を模式的に示した図である。
図4において、顔枠が実線で示されている顔領域は顔判定部111により顔と判定されていることを、顔枠が点線で示されている顔領域は顔判定部111により顔と判定されていないことを示している。
図4では、理解及び説明を簡単にするため、信頼度レベル4以上が2フレーム継続したら顔と判定され、それ以外は顔と判定しないという判定基準が設定されているものとする。
フレームt−2(図4(a))の段階では、どの顔領域も判定基準を満たしていないため、顔領域401〜403はいずれも顔と判定されておらず、顔枠は点線で示されている。
次の、フレームt−1(図4(b))では、顔領域404が、同一被写体と判定されている前フレームの顔領域401から継続して信頼度レベル5を有していることから顔と判定される。誤検出された顔領域405は、前フレームで対応する顔領域402では信頼度レベル4であったが、現フレームで信頼度レベルが1に下がったため、顔と判定されていない。また、正しく検出された顔領域406は、前フレームで対応する顔領域403が信頼度レベル2であったため、この時点では顔と判定されていない。
フレームt(図4(c))では、顔領域408の信頼度レベルが2に低下したが、既に顔と判定されているため、この時点では依然として顔と判定される。顔領域410は、同一被写体と判定されている前フレームの顔領域406から継続して信頼度レベル4を有していることからこの時点で顔と判定される。誤検出された顔領域409は、信頼度レベル3であるため依然として顔と判定されていない。フレームt−1で誤検出された顔領域407は、フレームtにおいて同一被写体と判別される顔領域が存在しないため、顔とは判定されない。
本実施形態の撮像装置における顔判定処理について、図5に示したフローチャートを用いてさらに説明する。
まず、顔検出部109が、画像中から人物の顔を検出し、検出した顔領域の各々について、画像中における位置(座標)、大きさ、信頼度などを求める(S601)。本実施形態では、時系列的に連続して得られる画像ごとに顔検出部109で顔検出するものとする。
次に、検出された顔領域の1つについて、被写体特定部110において、上述した被写体特定法により、現フレームの検出結果を前フレームの検出結果と比較し、同一被写体の顔領域を特定する(S602)。
この判定に基づき、被写体特定部110は、図6に示したような被写体リスト112の更新もしくは登録を行なう。すなわち、被写体特定部110は、現フレームで検出された顔領域のうち、前フレームで検出された顔領域と同一被写体のものと判定されるものについて、被写体リスト112に登録済みのデータを更新する(S603)。また、被写体特定部110は、前フレームで検出されていたにもかかわらず、現フレームで検出されなかった被写体に関する被写体データは被写体リスト112から削除する。
被写体特定部110は、被写体データのうち、顔領域の位置、大きさについては、現フレームでの検出結果で書き換えて更新する。また、信頼度レベルの継続検出回数については、現フレームでの信頼度レベルと、判定基準に応じた方法で書き換えて更新する。
例えば、判定基準がある特定の信頼度レベルの継続検出回数であれば、現フレームでの信頼度レベルが前フレームでの信頼度レベルと等しい場合のみ、対応する信頼度レベルの継続検出回数を1増加させる。そして、現フレームでの信頼度レベルが前フレームでの信頼度レベルと異なる場合には、現フレームでの信頼度レベルの継続検出回数を「1」とし、他の信頼度レベルの継続検出回数を「0」とする。
一方、判定基準が、ある信頼度レベル以上の継続検出回数である場合、現フレームでの信頼度レベルと、それ以下の信頼度レベルの継続検出回数を増加させ、現フレームでの信頼度レベルよりも高い信頼性レベルの継続検出回数は全て0とする。
例えば、現フレームでの信頼度レベルが5であれば、全ての信頼度レベルの継続検出回数を増加させる。また、現フレームでの信頼度レベルが3であれば、信頼度レベル1〜3の継続検出回数を増加させ、信頼度レベル4〜5の継続検出回数は0とする。このような更新方法により、個々の信頼度レベル以上の信頼度レベルが継続して検出されている回数を記録することができる。
一方で、被写体特定部110は、現フレームで検出された顔領域のうち、前フレームで検出された顔領域と異なる被写体のものについては、新たな被写体IDを付与して被写体リスト112に新規の被写体データとして登録する(S604)。
被写体特定部110は、顔検出部109から供給される、顔領域の位置・大きさ、信頼度レベルと、被写体特定結果とに基づいて、図6の被写体リスト112のデータを更新、および登録する。
被写体リスト112には、被写体(顔領域)を識別するための被写体IDごとに、顔領域の位置、大きさ、信頼度レベルごとの継続検出回数、顔と判定されたか否かを示す顔判定フラグ、現フレームで登録または更新されたことを示す更新フラグが関連付けられる。
更新フラグはフレーム毎に0にクリアされ、S603の更新もしくはS604の登録により、更新フラグは1になる。
初期フレームにおける処理時は、被写体リスト112のデータがないため、被写体特定部110は、検出された顔領域の情報を全て新規の被写体データとして被写体リスト112に登録される。2フレーム以降、被写体特定部110は被写体リスト112中の被写体データと、現フレームの顔検出結果の情報を用いて、被写体判定処理を行う。
顔判定部111では、被写体リスト112に記録された、各被写体の顔領域の信頼度レベルの履歴、具体的には信頼度レベルに応じた継続検出回数または継続検出時間に基づいて、各被写体の顔領域のうち、顔である可能性の高い顔領域を判定する。
また、本実施形態では、顔判定部111で顔として判定された被写体については、その後の検出結果における信頼度がレベルとは無関係に、同一被写体と特定される顔領域が検出されていれば、顔であると判定する。
そのため、顔判定部111はまず、現フレームで検出された顔領域が、既に顔と判定されたものかどうかを判定する(S605)。顔判定部111は、図6に示した被写体リスト112中の顔判定フラグが1であれば、既に顔と判定されており、0であれば顔と判定されていないと判定する。なお、被写体データの登録時における顔判定フラグの値は0とする。
そして、顔判定部111は、顔判定フラグが0である顔領域に関して、信頼度レベルの履歴を参照し、予め定めた判定基準を満たすか否かを判定する(S606)。ここでは、信頼度レベルLに応じた継続検出回数の基準値f(L)が判定基準として定められており、この判定基準を満たすか否かを判定するものとする。
図7に、信頼度レベルに応じて設定される、顔と判定するのに必要な継続検出回数の基準値f(L)の例を示す。図7において、横軸は信頼度レベルL、縦軸は継続検出回数の基準値f(L)を示しており、信頼度レベルが高いほど基準値f(L)が低くなるように設定されている。継続検出回数の代わりに継続検出時間とする場合には、信頼度レベルが高いほど基準値f(L)が短くなるように設定される。
信頼度レベルLと継続検出回数の基準値f(L)とは、線形関係であっても非線形関係であっても良い。また、継続検出回数の基準値f(L)は、信頼度レベル毎の回数であっても、各信頼度レベル以上の回数であっても良い。
顔判定部111は、図6に示した被写体リスト112に含まれる顔領域のうち、信頼度レベルに応じた継続検出回数が図7に示した基準値を満たすものを顔として判定し、被写体リスト112中の顔判定フラグの値を1にする(S607)。そして、顔判定部111は、顔と判定した顔領域の情報を、被写体リスト112から読み出して画像処理部106や撮影制御部105に供給する。
一方、顔判定部111は、継続検出回数が基準値を満たしていない顔領域については顔とは判定せず、顔判定フラグは0のままとする。そして、顔判定部111は、顔と判定しなかった顔領域の情報は、画像処理部106や撮影制御部105には供給しない。
上述したS602からS607までの処理を、S601における顔検出により検出された各顔領域に対して行なうため、顔判定部111は、現フレームで検出された全ての顔領域に対して処理したか否かを判定する(S608)。
そして、顔判定部111は、未処理の顔領域が残っている場合、その1つを処理対象としてS602に処理を戻す。一方、現フレームで検出された全ての顔領域について処理した場合には、顔判定部111は処理をS609に移す。
そして、顔判定部111は、被写体リスト112中の被写体データに未更新のデータがあれば、前フレームでは検出されたが、現フレームでは検出されなかった被写体のデータであるため、被写体リスト112から削除する(S609)。
このように、本実施形態によれば、顔検出処理によって検出された顔領域が顔かどうかを判定する際に、検出されたフレームでの信頼度だけからでなく、信頼度の履歴に基づいた判定を行なうことにより、簡便な方法で顔検出の精度を高めることができる。
(変形例1)
なお、本実施形態においては、前フレームでは検出されたが、現フレームでは検出されなかった被写体のデータは、S609で被写体リスト112から削除するものとして説明した。
しかし、実際にはその被写体が存在しているにも係わらず、顔検出部109の問題で検出されなかった可能性もある。このような検出漏れによって検出精度が低下することを防ぐため、一度顔として判定された被写体については、所定数のフレームにわたり連続して検出されないことが確認されるまでは被写体データを保持するように構成してもよい。
このような構成を採用した場合の撮像装置における顔判定処理について、図8に示したフローチャートを用いてさらに説明する。
図8のS901からS908は上述した図5のS601からS608と同様である。S901からS908の処理により、現フレームで顔検出部109に検出された顔領域について、被写体の特定処理及び顔判定処理が行なわれる。
図9に、本変形例で用いる被写体リスト112’の例を示す。
図9の被写体リスト112’は、図6の被写体リスト112の情報に加え、検出されなかった被写体データを保持するフレーム数と、検出されなかった状態で現在までに保持したフレーム数の情報を持つ。保持したフレーム数は、被写体特定部110により、同一の被写体が顔検出部109で検出されたと判定された場合には、0にクリアされる。
現フレームで検出された全ての顔領域についての顔判定処理が終了すると、顔判定部111は、顔判定フラグが1(顔と判定済み)で、未更新の被写体データが存在するか否かを判定する(S909)。
顔判定フラグが1で、未更新の被写体データが存在する場合、顔判定部111は対応する「保持したフレーム数」を参照し、「保持するフレーム数」以下かどうか判定する(S910)。
「保持したフレーム数」が「保持するフレーム数」以下であれば、顔判定部111は未更新の被写体データを削除せずに、対応する「保持したフレーム数」を増加させることによって更新する(S911)。
一方、「保持したフレーム数」が「保持するフレーム数」を超えている未更新の被写体データについては、顔判定部111は更新しない。顔判定部111は、顔と判定済みで、かつ未更新の被写体データ全てについて「保持したフレーム数」が「保持するフレーム数」以下か否かの判定処理を行ったことがS909において確認されるまで、S909〜S911の処理を繰り返し実行する。
その後、顔判定部111は、未更新の被写体データを被写体リスト112’から削除する(S912)。従って、S912で削除される被写体データは、顔と判定済みの被写体データであって、所定フレーム数連続して検出されなかった顔領域についての被写体データと、顔と判定されておらず、現フレームで検出されなかった顔領域についての被写体データである。
本変形例において保持される、現フレームで検出されなかった顔領域に対する被写体データにおける位置、大きさなどの値は、顔領域が検出されなくなる直前の値であっても、検出されなくなる以前の数フレームでの値からの推定値であってもよい。
また、「保持するフレーム数」の値は、顔領域が検出されなくなる直前に継続して検出されていた信頼度レベルとその継続検出回数に応じて決定することができる。例えば、高い信頼度レベルが多数回継続して検出されていれば、「保持するフレーム数」の値を大きく設定することができる。また、高い信頼度レベルが少数回継続して検出されていた場合や、低い信頼度レベルが検出されていた場合には、「保持するフレーム数」の値を小さく設定することができる。
また、保持するフレーム数の値は、信頼度レベルと継続検出回数に加えて、あるいはそれに代えて、他の条件に基づいて決定することができる。他の条件としては、例えば、被写体リスト中の顔領域の位置や大きさなどであってよい。例えば、顔の位置が画像の端であれば、検出されなくなった要因として顔が画角からはみ出した可能性が高い。そこで、顔の位置が画像の中央付近であれば、保持するフレーム数を多くし、画像の端付近であれば、保持するフレーム数を少なくすることができる。
(変形例2)
本実施形態では、顔判定部111において顔判定に用いる判定基準として、信頼度のレベルに応じて設定された継続検出回数または継続検出時間を用いる場合について説明した。しかし、継続検出回数または継続検出時間を、検出された顔領域(被写体)数や、顔領域の移動量などに応じて変化させても良い。
継続検出回数または継続検出時間を、検出された顔領域(被写体)数に応じて変化させる場合の撮像装置における顔判定処理について、図10に示したフローチャートを用いてさらに説明する。
まず、顔検出部109で画像の中から人物の顔を検出する(S1101)。そして、顔検出部109は、検出人数をカウントする(S1102)。なお、検出人数のカウントは、各フレームの検出人数でなく、ある一定期間内に含まれる各フレームにおける検出人数の累積値としてもよい。例えば、一度に複数人が通り過ぎるようなことがあると、一時的に検出人数が増加し、判定基準が大きく変動してしまうことになる。そのため、それまで継続して検出された人物の顔が、検出されなくなってしまうという問題が生じる可能性がある。また、顔検出部109の検出漏れのたびに、判定基準が変動してしまう可能性がある。そこで、検出人数のカウントを一定期間による検出人数の累積値とすることで、判定基準の変動を抑制することができる。
次に、被写体特定部110において、現フレームの検出結果を基準として、前フレームの検出結果を比較し、同一被写体の顔領域を判定する(S1103)。そして、現フレームで前フレームと同一の被写体の顔領域が検出されていれば、被写体特定部110は、被写体リスト中の対応する被写体データを更新する(S1104)。
一方で、現フレームにおいて、前フレームで検出されていない被写体の顔領域が検出された場合、被写体特定部110は、その顔領域についての情報を新規の被写体データとして被写体リストに登録する(S1105)。
図11は、本変形例で用いる被写体リスト112”を示す。本変形例における被写体リスト112”は、図6の被写体リスト112の情報に加え、検出人数の情報を持つ。検出人数は、顔検出部109から被写体特定部110に供給され、被写体データを登録する際に被写体特定部110が被写体リスト112”に登録する。
顔判定部111は、現フレームで検出された顔領域が、既に顔と判定された被写体の顔領域か否かを判定する(S1106)。そして、顔判定部111は、顔として判定されていない顔領域に関して、継続検出回数が信頼度レベルLと検出人数nに応じた基準値f(L,n)を満たすか否かを判定する(S1107)。
顔判定部111は、継続検出回数が基準値を満たす顔領域について顔として判定し、被写体リストを更新する(S1108)。
ここで、本変形例においては、S1102でカウントされた検出人数が少なければ、検出頻度を上げるべきであるため、継続検出回数の基準値を少なくなくして、顔の判定基準を緩くする。一方、検出人数が多い場合には、検出頻度を増加させるよりも誤検出の抑制が望まれるため、継続検出回数の基準値を多くし、判定基準を厳しくする。
信頼度レベルと検出人数に応じた継続検出回数の基準値の設定例を図12に示す。
図12では、横軸に信頼度レベル、奥行き軸に検出人数のレベルを示し、それらに応じた継続検出回数の基準値を縦軸に示す。図12の例では、検出人数を所定の閾値によって多い、少ないの2つに分類しているが、より細かく分類してもよい。また、信頼度レベルおよび検出人数と継続検出回数との関係は、線形関係であっても非線形関係であっても良い。
顔判定部111は、上述したS1103からS1108までの処理をS1101における顔検出で検出された顔領域の各々に対して実行したか判定する(S1109)。
未処理の顔領域があれば、その1つを対象としてS1103からの処理を繰り返し実行する。全ての顔領域の処理が終わっていれば、顔判定部111は、S1110で、被写体リスト中の被写体データのうち、未更新のデータを削除する。
なお、顔検出部109で検出された人数の代わりに、顔判定部111で顔として判定された顔領域の数を判定基準に反映させてもよい。また、継続検出回数の代わりに継続検出時間としてもよいことは言うまでもない。
次に、判定基準として用いる継続検出回数または継続検出時間を、検出された顔領域(被写体)数に応じて変化させる場合の撮像装置における顔判定処理について、図13に示したフローチャートを用いてさらに説明する。
まず、顔検出部109により、画像の中から人物の顔を検出する(S1401)。次に、被写体特定部110において、現フレームの検出結果を基準として、前フレームの検出結果を比較し、同一被写体の顔領域を判定する(S1402)。
被写体特定部110は、現フレームにおいて前フレームと同一被写体と判断される顔領域が検出された場合、その顔領域の検出位置の差から、その被写体の移動量を算出する(S1403)。なお、被写体の移動量は、隣接する2フレーム間の移動量ではなく、隣接する2フレーム間での移動量をある一定期間内に含まれる複数のフレームについて加算した累積値としてもよい。累積値とすることで、同一被写体の誤判定によって一時的にその被写体の移動量が増加したとしても、判定基準が大きく変動してしまうことを抑制することができる。そして、被写体特定部110は、被写体リスト中の対応する被写体データを、移動量を含めて更新する(S1404)。
一方で、現フレームにおいて、前フレームで検出されていない被写体の顔領域が検出された場合、被写体特定部110は、その顔領域についての情報を新規の被写体データとして被写体リストに登録する(S1405)。新規に登録した際の移動量は0とする。
図14は、本変形例で用いる被写体リスト113を示す。本変形例における被写体リスト113は、図6の被写体リスト112の情報に加え、移動量の情報を持つ。移動量は、例えば、被写体特定部110が、同一被写体と判定した顔領域に対応する被写体データついて登録(更新)する。
顔判定部111は、現フレームで検出された顔領域が、既に顔と判定された被写体の顔領域か否かを判定する(S1406)。そして、顔判定部111は、顔として判定されていない顔領域に関して、継続検出回数が信頼度レベルLと各被写体の移動量wに応じた基準値f(L,w)を満たすか否かを判定する(S1407)。
顔判定部111は、継続検出回数が基準値を満たす顔領域について顔として判定し、被写体リストを更新する(S1408)。
通常の写真撮影では、移動量が大きい被写体は主被写体である可能性が少なく、移動量が小さい被写体が主被写体である可能性が大きい。そのため、本変形例では、移動量が少ない顔領域については継続検出回数の基準値を少なくして、顔の判定基準を緩くする。一方、移動量が多い顔領域については継続検出回数の基準値を多くして、顔の判定基準を厳しくする。
信頼度レベルと被写体の移動量に応じた継続検出回数の基準値の設定例を図15に示す。
図15では、横軸に信頼度レベル、奥行き軸に移動量の大きさを示し、それらに応じた継続検出回数の基準値を縦軸に示す。図15の例では、移動量を所定の閾値によって大小2つに分類しているが、より細かく分類してもよい。また、信頼度レベルおよび移動量と継続検出回数との関係は、線形関係であっても非線形関係であっても良い。
顔判定部111は、上述したS1402からS1408までの処理をS1401における顔検出で検出された顔領域の各々に対して実行したか判定する(S1409)。
未処理の顔領域があれば、その1つを対象としてS1402からの処理を繰り返し実行する。全ての顔領域の処理が終わっていれば、顔判定部111は、S1410で、被写体リスト中の被写体データのうち、未更新のデータを削除する。
なお、被写体の移動量を判定基準に反映する方法としては、連続するフレーム間での移動量もしくは一定期間内における各被写体の移動量の加算値に応じて継続検出回数を変化させる方法に限定されない。例えば、連続するフレーム間での移動量がある閾値を超えた場合に、継続検出回数の基準値を変化させるようにしても良い。
(変形例3)
本実施形態では、未更新の被写体データと判定されるまでは、どの被写体データも被写体リストに保持され続ける。そのため、連続するフレーム間において、撮像モードの変化により画角が大きく変化した場合や、カメラの移動量が大きい場合、被写体特定部110が異なる被写体の顔領域を同一被写体の顔領域として特定してしまう恐れがある。被写体の特定を誤ると、最終的な顔判定結果の信頼性が大きく低下する。
これに対応するため、本変形例では、画角や撮影方向の大きな変化など、画像全体が大きく変化した(する)と検出される場合には、被写体リスト内の被写体データを全て削除し、次フレーム以降、新規に被写体データを登録する。
図16は、本変形例における顔判定処理を説明するためのフローチャートである。
まず、例えば、変化検出手段としての画像処理部106において、連続するフレーム間での画像の変化量を算出し、画像全体に大きな変化があったか否かを検出する(S1701)。この変化量は、連続するフレーム間の輝度成分、色成分、またはエッジ成分から算出することができる。そして、画像処理部106は、変化量が予め定めた変化量を超える場合には、画像が大きく変化したものと判別する。また、実施形態に係る画像処理装置が撮像装置に適用される場合は、撮影モード(例えばズーム倍率)の変化を検出したり、撮像装置が例えば手ぶれ補正用に有するジャイロセンサーなどから情報を取得したりして、画像全体が大きく変化したかどうか判別してもよい。
画像全体の大きな変化があれば、画像処理部106が、被写体リスト内の全ての被写体データを削除する(S1702)。
そして、S1703で顔検出部109が顔検出処理を行なう。この時、全ての顔検出結果は、新規の被写体データとして被写体リストに登録される。一方、画像全体の大きな変化がなければ、S1703に移る。図16のS1703からS1711は図5のS601からS609と同様であるため説明を省略する。
なお、画像処理部106の代わりに、顔検出部109で顔検出を行わずに被写体特定部110に画像データを供給し、被写体特定部110が画像全体の大きな変化を検出するように構成してもよい。
なお、本変形例において、「画像全体の大きな変化」とは、例えばシーンの半分以上が変わるようなカメラの移動や画角変化であったり、一般的なシーンチェンジ検出技術においてシーンチェンジと判別できるような変化であってよい。
(他の実施形態)
上述した実施形態およびその変形例は、本発明に係る画像処理装置を撮像装置に適用し、かつ撮像時の顔判定処理に着目して説明した。しかし、顔判定に用いる画像はリアルタイムに撮影される画像に限定されず、記録済みの画像であっても良いことは理解されよう。従って、上述した実施形態およびその変形例は、動画像の再生時の顔判定処理にも同様に適用可能である。また、上述の変形例は複数を組み合わせて実施することも可能である。
また、被写体検出及び被写体判定の一例として顔検出及び顔判定を説明したが、被写体は人物の顔に限定されず、公知の画像認識技術を適用して画像中から検出可能な任意の物体、生物などであってよいこともまた理解されよう。
さらに、上述の実施形態(変形例を含む。以下同様)は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。
本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。 本発明の実施形態に係る撮像装置における、顔領域の位置と大きさを用いて同一被写体を特定する処理について説明する図である。 本発明の実施形態に係る撮像装置において、顔検出部により検出された顔領域と、対応する信頼度レベルの例を示す図である。 図3に示す画像に判定基準を適用した例を模式的に示した図である。 本発明の実施形態に係る撮像装置における顔判定処理を説明するためのフローチャートである。 本発明の実施形態に係る撮像装置における被写体リストの例を示す図である。。 本発明の実施形態に係る撮像装置における、信頼度レベルと継続検出回数の基準値の設定例を示す図である。 本発明の実施形態の変形例1に係る撮像装置における顔判定処理を説明するためのフローチャートである。 本発明の実施形態の変形例1に係る撮像装置における被写体リストの例を示す図である。 本発明の実施形態の変形例2に係る撮像装置における顔判定処理を説明するためのフローチャートである。 本発明の実施形態の変形例2に係る撮像装置における被写体リストの例を示す図である。 本発明の実施形態の変形例2に係る撮像装置における、信頼度レベルと検出人数に応じた継続検出回数の基準値の設定例を示す図である。 本発明の実施形態の変形例2に係る撮像装置における別の顔判定処理を説明するためのフローチャートである。 本発明の実施形態の変形例2に係る撮像装置における別の被写体リストの例を示す図である。 本発明の実施形態の変形例2に係る撮像装置における、信頼度レベルと被写体移動量に応じた継続検出回数の基準値の設定例を示す図である。 本発明の実施形態の変形例3に係る撮像装置における顔判定処理を説明するためのフローチャートである。

Claims (11)

  1. 時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出手段と、
    異なる画像から前記被写体検出手段が検出した領域のうち、同一被写体の領域を特定する特定手段と、
    前記特定手段が同一被写体の領域と特定した領域について、前記被写体検出手段が検出した信頼度の履歴を含む被写体データを記録する記録手段と、
    前記特定手段が同一被写体の領域と特定した領域のうち、前記記録手段が記録した前記信頼度の履歴が、前記信頼度のレベルに応じて定められた判定基準を満たす領域を、前記予め定めた被写体の領域と判定する判定手段とを有することを特徴とする画像処理装置。
  2. 前記判定基準が、前記信頼度のレベルに応じた、前記被写体検出手段で継続して前記信頼度が検出された回数または時間であり、信頼度のレベルが高いほど少ない回数または短い時間であることを特徴とする請求項1記載の画像処理装置。
  3. 前記判定手段は、前記予め定めた被写体の領域と判定した領域については、当該領域が前記被写体検出手段で検出されている限りは、前記信頼度が低下しても前記予め定めた被写体の領域であると判定することを特徴とする請求項1又は請求項2記載の画像処理装置。
  4. 前記特定手段は、前記記録手段に前記信頼度の履歴が記録されている領域のうち、前記被写体検出手段において検出されなかった領域に対応する前記被写体データを削除することを特徴とする請求項1乃至請求項3のいずれか1項に記載の画像処理装置。
  5. 前記特定手段は、前記記録手段に前記信頼度の履歴が記録されている領域のうち、前記被写体検出手段において予め定めた画像の数もしくは時間、継続して検出されなかった領域に対応する前記被写体データを削除することを特徴する請求項4記載の画像処理装置。
  6. 前記判定基準が、前記信頼度のレベルおよび、前記被写体検出手段において検出された前記領域の数に応じて定められ、前記領域の数が多い場合よりも前記領域の数が少ない場合の方が、前記予め定めた被写体の領域と判定されやすくなるように定められることを特徴とする請求項1乃至請求項5のいずれか1項に記載の画像処理装置。
  7. 前記判定基準が、前記信頼度のレベルおよび、前記特定手段が同一被写体の領域と特定した領域の移動量に応じて定められ、前記移動量が大きい領域よりも前記移動量の小さな領域の方が、前記予め定めた被写体の領域と判定されやすくなるように定められることを特徴とする請求項1乃至請求項6のいずれか1項に記載の画像処理装置。
  8. 時系列的に隣接する前記画像の変化量を算出するとともに、前記変化量が予め定めた変化量を超える場合には、前記記録手段が記録する前記被写体データを全て削除する変化検出手段をさらに有することを特徴とする請求項1乃至請求項7のいずれか1項に記載の画像処理装置。
  9. 被写体光学像を結像するためのレンズと、
    前記レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、
    請求項1乃至請求項8のいずれか1項に記載の画像処理装置と、
    前記判定手段が前記予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有することを特徴とする撮像装置。
  10. 撮像装置であって、
    被写体光学像を結像するためのレンズと、
    前記レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、
    請求項8記載の画像処理装置と、
    前記判定手段が前記予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有し、
    前記画像処理装置が、
    前記撮像装置の動きまたは前記レンズの画角変化に関する情報を取得するとともに、これら情報の少なくとも1つが予め定めた閾値を超える場合には、前記撮像手段が出力する前記画像が大きく変化するものとして前記記録手段が記録する前記被写体データを全て削除する変化検出手段を有することを特徴とする撮像装置。
  11. 時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出ステップと、
    異なる画像から前記被写体検出ステップで検出された領域のうち、同一被写体の領域を特定する特定ステップと、
    前記特定ステップで同一被写体の領域と特定された領域について、前記被写体検出ステップで検出された前記信頼度の履歴を含む被写体データを記録手段に記録する記録ステップと、
    前記特定ステップで同一被写体の領域と特定された領域のうち、前記記録手段に記録された前記信頼度の履歴が、前記信頼度のレベルに応じて定められた判定基準を満たす領域を、前記予め定めた被写体の領域と判定する判定ステップとを有することを特徴とする画像処理方法。
JP2008318935A 2008-12-15 2008-12-15 画像処理装置及び画像処理方法、撮像装置 Active JP5147670B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008318935A JP5147670B2 (ja) 2008-12-15 2008-12-15 画像処理装置及び画像処理方法、撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008318935A JP5147670B2 (ja) 2008-12-15 2008-12-15 画像処理装置及び画像処理方法、撮像装置

Publications (3)

Publication Number Publication Date
JP2010141847A true JP2010141847A (ja) 2010-06-24
JP2010141847A5 JP2010141847A5 (ja) 2012-02-09
JP5147670B2 JP5147670B2 (ja) 2013-02-20

Family

ID=42351527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008318935A Active JP5147670B2 (ja) 2008-12-15 2008-12-15 画像処理装置及び画像処理方法、撮像装置

Country Status (1)

Country Link
JP (1) JP5147670B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120024A (ja) * 2010-12-02 2012-06-21 Seiko Epson Corp 画像処理装置および画像処理方法
JP2014033358A (ja) * 2012-08-03 2014-02-20 Nikon Corp 撮像装置、画像処理装置、画像処理方法、画像処理プログラム
JP2017121092A (ja) * 2017-04-10 2017-07-06 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
US9823331B2 (en) 2013-11-26 2017-11-21 Canon Kabushiki Kaisha Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
JP2019041414A (ja) * 2018-11-29 2019-03-14 株式会社ニコン 電子機器、撮像装置、およびプログラム
WO2019064755A1 (ja) * 2017-09-29 2019-04-04 富士通株式会社 処理プログラム、処理方法、及び処理装置
WO2021206170A1 (ja) * 2020-04-10 2021-10-14 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012120024A (ja) * 2010-12-02 2012-06-21 Seiko Epson Corp 画像処理装置および画像処理方法
JP2014033358A (ja) * 2012-08-03 2014-02-20 Nikon Corp 撮像装置、画像処理装置、画像処理方法、画像処理プログラム
US9823331B2 (en) 2013-11-26 2017-11-21 Canon Kabushiki Kaisha Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
JP2017121092A (ja) * 2017-04-10 2017-07-06 株式会社ニコン 画像処理装置、撮像装置、および画像処理プログラム
WO2019064755A1 (ja) * 2017-09-29 2019-04-04 富士通株式会社 処理プログラム、処理方法、及び処理装置
JP2019068234A (ja) * 2017-09-29 2019-04-25 富士通株式会社 処理プログラム、処理方法、及び処理装置
JP2019041414A (ja) * 2018-11-29 2019-03-14 株式会社ニコン 電子機器、撮像装置、およびプログラム
WO2021206170A1 (ja) * 2020-04-10 2021-10-14 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル

Also Published As

Publication number Publication date
JP5147670B2 (ja) 2013-02-20

Similar Documents

Publication Publication Date Title
CN110536068B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP5159515B2 (ja) 画像処理装置およびその制御方法
US9823331B2 (en) Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
JP4577113B2 (ja) 対象決定装置、撮像装置および監視装置
JP5567853B2 (ja) 画像認識装置および方法
JP5147670B2 (ja) 画像処理装置及び画像処理方法、撮像装置
JP5219795B2 (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP5959923B2 (ja) 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置
JP5279635B2 (ja) 画像処理装置、画像処理方法、および、プログラム
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP5167236B2 (ja) 被写体追跡装置及びその制御方法
JP5329940B2 (ja) 画像処理装置、その制御方法、及び撮像装置
JP5451364B2 (ja) 被写体追跡装置及びその制御方法
JP5111293B2 (ja) 撮像装置及びその制御方法
JP2009009206A (ja) 画像中の輪郭抽出方法及びその画像処理装置
JP5247419B2 (ja) 撮像装置および被写体追跡方法
JP5995610B2 (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP5222429B2 (ja) 被写体追跡装置及びその制御方法
JP2017005582A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008160280A (ja) 撮像装置および自動撮像方法
JP2020126434A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111215

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121127

R151 Written notification of patent or utility model registration

Ref document number: 5147670

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3