JP2004062565A - 画像処理装置及び方法並びにプログラム記憶媒体 - Google Patents
画像処理装置及び方法並びにプログラム記憶媒体 Download PDFInfo
- Publication number
- JP2004062565A JP2004062565A JP2002220764A JP2002220764A JP2004062565A JP 2004062565 A JP2004062565 A JP 2004062565A JP 2002220764 A JP2002220764 A JP 2002220764A JP 2002220764 A JP2002220764 A JP 2002220764A JP 2004062565 A JP2004062565 A JP 2004062565A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face detection
- input
- face
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Abstract
【課題】人の顔を迅速に検出できるようにする。
【解決手段】画像入力手段20より処理対象画像を入力すると共に、撮影向き情報入力手段50により処理対象画像に付随する撮影向き情報を入力する。角度範囲情報設定手段60は、撮影向き情報入力手段50から得られた情報に基き、処理対象画像から顔検出をすべき角度範囲情報を定める。その角度範囲情報に基づき処理制御手段70により制御される顔検出手段30が、画像入力手段20からの処理対象画像から各種の角度で顔検出を実行する。検出顔統合手段33は、基本角度内顔検出手段で検出された全検出情報を統合して出力する。
【選択図】 図1
【解決手段】画像入力手段20より処理対象画像を入力すると共に、撮影向き情報入力手段50により処理対象画像に付随する撮影向き情報を入力する。角度範囲情報設定手段60は、撮影向き情報入力手段50から得られた情報に基き、処理対象画像から顔検出をすべき角度範囲情報を定める。その角度範囲情報に基づき処理制御手段70により制御される顔検出手段30が、画像入力手段20からの処理対象画像から各種の角度で顔検出を実行する。検出顔統合手段33は、基本角度内顔検出手段で検出された全検出情報を統合して出力する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、主として、処理対象とする画像が人物を主被写体として撮像されたものか否かを判別すること等に利用される、撮像装置等の画像入力機器で読み取られた画像中に含まれる人物の顔を検出する画像処理装置及び方法に関する。
【0002】
【従来の技術】
撮像装置、とりわけ、昨今、特に普及の進んでいるデジタルスチルカメラ(以降、デジタルカメラ)では、CCDやCMOS等のセンサで構成される撮像デバイスで撮像される画像信号をもとに、被写体の輝度域を撮像デバイスのダイナミックレンジに当てはめるためのAGC(Auto Gain Control)と呼ばれる露光量の調整機構、被写体の色味を適切な色合いに補正するAWB(Auto White Balance)と呼ばれる色味調整機構、階調変化の具合及びコントラストを調整するためのガンマ変換機構、並びに、ノイズ除去や輪郭強調の機能等の各種の画像処理機能を有している。
【0003】
最近では、例えば、特開2000−123164号公報及び特開2000−123165号公報等に見られるように、このような撮像画像信号に対する処理のインテリジェント化が志向されてきている。
【0004】
特開2000−123164号公報では、画像特徴を考慮することなく一定の処理をするよりも、画像内の特徴に応じて処理や変換の度合いを変更することが望ましいことを述べており、また、特開2000−123165号公報では、画像内の主オブジェクトに重きをおいた補正、即ち、主オブジェクトを対象としての適切な画像補正を開示している。なかでも、人物が主オブジェクトである人物画の場合に、撮像された画像を、ディスプレイ画面に表示したり、カラープリンタで出力してハードコピーすることにより再生画像を得るときには、肌色等の色再現やコントラストのとり方等の各種の画像強調処理又は画像補正処理を、それ以外の画像の場合とは異なるようにした方が、再生画像の観察者に好印象を与えることがあることが知られてきている。
【0005】
一方、撮像された画像からこれに含まれる人物の顔を抽出する方法に関しては、いくつかの方法が開示されている。例えば、特開2001−309225号公報には、色及び形状に基いて肌を含む可能性が高いと思われる中央部と、やはり色及び形状に基いて毛髪を含む可能性が高いと思われる周辺領域を探すことによって、顔を含む可能性の高い領域を探すパターン認識オペレータを用いる第一の顔候補検出アルゴリズムと、パターンマッチにより、第一のアルゴリズムで求められた顔候補領域中の顔の存在を確かめる第二のアルゴリズムとを併用して顔を検出することが開示されている。
【0006】
特開平8−63595号公報には、色に基いて肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法や、更に目候補領域を求めて目テンプレートとのマッチング度を用いて顔検出する方法や、顔の輪郭テンプレートで求まる顔候補領域の2次元フーリエ変換結果と、目、鼻、口及び髪等を含む予め用意した顔テンプレート画像の2次元フーリエ変換結果とから定義される特徴量を求め、この特徴量を閾値処理して顔検出を行なう方法等が開示されている。
【0007】
また、特願2001−282283号明細書には、目の候補領域を求め、複数の目の候補が見つかった場合に、任意の1対の目の候補のそれぞれに対して近傍に環状領域を定め、この領域内の各画素の近傍画素との画素値の勾配と予め定める基準勾配との方向差をもとに顔検出を行なう方法が開示されている。
【0008】
ところで、最近のデジタルカメラには、カメラ自体に角度センサを内蔵し、撮像した各画像が、カメラがどの方向に(縦向き、横向き、又は、基準の向きに対してどの程度回転して)構えられた状態で撮影されたものかを、それぞれの画像への付帯情報として画像とセットで出力する機能をもつものが市場に提供されるようになってきた。
【0009】
【発明が解決しようとする課題】
人物の顔を抽出する上述の方法を含め、一般に、顔の検出方法自体は、検出対象とする顔が画像のフレーム枠に対して基本的には直立正面向きに写っていることを前提としており、検出できる顔の向きには制限がある。
【0010】
しかし、撮像された画像、とりわけ、デジタルカメラにより撮像された画像は、撮影者がカメラの向きを縦、横、あるいは、場合により斜めに構えて撮影する自由度があり得、かつ、被写体である人物も必ずしも証明写真の如くに正面成立で写されるばかりでなく、やや顔を傾けていたり、寝そべっていたり等、さまざまな場合がある。
【0011】
このため、画像のフレーム枠に対して顔がどのような角度で写っているかには自由度があり、基本的には360度の角度範囲がありえる。従って、全ての角度の顔に対応するには、顔の検出方法が対応可能な角度範囲を基準とする角度刻みで、何度も各角度で原画を回転して得られる画像からの顔の検出処理を繰り返すか、もしくは、検出に用いるパターンマッチ用のテンプレートや各種特徴量を所要の全ての角度分を用意して、これらの全ての角度分の検出処理を実行する必要があった。これらの方法では、デジタルカメラにより撮像されたスナップ写真等から顔を検出するのに、所要の角度刻みで繰り返される検出処理の回数に比例した検出時間を要していた。
【0012】
本発明は、上述した従来例の欠点に鑑みなされたものであり、その目的とするところは、撮像された画像中の人物の顔をより高速に検出する画像処理装置及び方法並びにプログラム記憶媒体を提示することを目的とする。
【0013】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段から入力された画像に附随する情報を入力する画像附随情報入力手段と、前記画像入力手段から入力された画像から顔を検出する顔検出手段と、前記画像附随情報入力手段で入力された画像に附随する情報に基づき入力画像から顔検出処理をする際の角度範囲を定める顔検出角度範囲設定手段と、前記角度範囲情報設定手段により定められた角度範囲情報に基いて顔検出処理の実行を制御するモードを有する処理制御手段とを有することを特徴とする。
【0014】
本発明に係る画像処理方法は、画像を入力する画像入力工程と、前記画像入力工程で入力された画像に附随する情報を入力する画像附随情報入力工程と、前記画像入力工程から入力された画像から顔を検出する顔検出工程と、前記画像附随情報入力工程で入力された画像に附随する情報に基づき入力画像から顔検出処理をする際の角度範囲を定める顔検出角度範囲設定工程と、前記角度範囲情報設定工程により定められた角度範囲情報に基いて顔検出処理の実行を制御するモードを有する処理制御工程とを有することを特徴とする。
【0015】
【実施例】
以下、添付図面を参照して、本発明の好適な実施例を詳細に説明する。
【0016】
<第1実施例>
図1は、本発明の第1実施例の機能ブロック図を示す。画像入力手段20は、公知のデジタルカメラ等で撮影された画像データを取り込むインターフェース回路等である画像獲得手段21と、取り込まれた画像データを保持する画像メモリ7とで構成され、主被写体を含む撮影シーンを撮影して得られた画像データを取得する。画像入力手段20により取得された画像データは、デジタル画像データとして顔検出手段30に出力される。
【0017】
撮影向き情報入力手段50は、画像入力手段20より入力される画像に付随する属性データを、画像データと同様にインターフェース回路等を通して取り込み、画像に付随する属性データの中に撮像向き情報が存在する場合にはこれを抽出して、角度範囲情報設定手段60に出力する。角度範囲情報設定手段60は、撮影向き情報入力手段50から得られた情報に基き、処理対象画像から顔検出をすべき角度範囲情報を定めて処理制御手段70にこの情報を出力する。処理制御手段70は、角度範囲情報設定手段60により定められた角度範囲情報に基いて顔検出を実行するように、顔検出手段30を制御する。
【0018】
顔検出手段30は、画像入力手段20中の画像メモリ7より画像を入力し、処理制御手段70の制御の下、画像回転手段31により所要の回転角だけ回転させた画像を生成して画像メモリ9に保持する。基本角度内顔検出手段32は、画像メモリ9に保持される画像から基本角度内(例えば、特願2001−282283号明細書の方式の場合には、垂直方向に正立する向きを挟んで約±5度程度であり、本実施例では、この10度の角度範囲を基本角度内として以降の説明を続ける。)での顔の検出を実行し、検出された顔がある場合にはこれを検出顔統合手段33に出力する。
【0019】
画像回転手段31と基本角度内顔検出手段32は、処理制御手段70の制御の下、角度範囲情報に基き所要回数だけ基本角度内顔検出手段32のもつ顔検出可能角度に基く角度刻み単位(例えば、特願2001−282283号明細書の方式の場合には、約10度程度であり、本実施例では、以降、10度刻みとして説明を続ける。)に回転角を変えながら、それぞれの角度だけ回転された画像からの顔検出処理を繰り返し、それぞれの回転画像から検出された画像を検出顔統合手段33に出力する。これらそれぞれの回転画像から検出された顔情報は、検出顔統合手段33において統合され、入力手段20で入力された画像内に検出された全ての顔の情報として一括して出力される。
【0020】
図2は、図1に示す実施例を実現する機器構成の概略構成ブロック図を示す。1は、図2で示される系のバスを示す。2は、図1の画像入力手段20の画像獲得手段21及び撮像向き情報入力手段50を構成する入力I/F(インターフェース)である。3は、顔検出処理を応用した結果として得られる高画質な画像をプリンタ等に出力する際の出力インターフェースである。5は、ネットワーク等を経由して、図2で示されるシステムの外部と通信する通信I/Fである。7,9は、顔を検出する対象画像を保持する画像メモリであり、メモリ7が画像入力手段20に対応し、入力された画像データを保持し、画像メモリ9は、画像回転手段31により回転処理された画像を保持する。
【0021】
6はCPU、8はRAM、10はROM、4はハードディスク装置11とのI/O(入出力回路)である。12は画像入力手段20に対して画像データやこの画像データに付属するデータを供給するデジタルカメラ等の撮像装置である。13は出力された画像をプリントするプリンタである。
【0022】
1〜11はコンピュータシステムを構成しており、このコンピュータシステムは、画像入力手段20内の画像獲得手段21、顔検出手段40内の画像回転手段31、基本角度内顔検出手段32及び検出顔統合手段33、撮像向き情報入力手段50、角度範囲情報設定手段60並びに処理制御手段70の機能ブロックを実現する構成例となっている。
【0023】
図3に示すフローチャートを参照して、本実施例の動作を説明する。先ず、ステップS10において、入力I/F2を介してデジタルカメラ等の撮像装置12より処理対象画像を画像メモリ7上に読み込み、ステップS20に進む。
【0024】
ステップS20では、入力I/F2を介してデジタルカメラ等の撮像装置12より処理対象画像に附随するデータ(以降、画像付帯情報とも称する)を、RAM8上の図示しない所定領域に読み込み、ステップS30に進む。
【0025】
ステップS30では、ステップS20においてRAM8上の図示しない所定領域に読み込まれた画像付帯情報中に有意な撮影向き情報が含まれているか否かを判定し、有意な撮像向き情報があった場合にはステップS40に進み、そうではない場合にはステップS80に進む。
【0026】
尚、画像付帯情報中に有意な撮影向き情報が含まれているか否かは、画像付帯情報中の予め定められた領域に書き込まれている情報を調べることで判定できる。ここでは、0が書き込まれていると有意な撮影向き情報が含まれていないものとし、1〜360の値が書き込まれていると有意な撮影向き情報が含まれているものとする。
【0027】
図6〜図8を参照して、付帯情報の例を詳述する。図6は、撮影者が撮影時にカメラを通常の状態に構えて(すなわち、カメラを回転させずに保持して)撮影した時に得られる画像の例を示す。即ち、図6は、直立した人物の被写体を撮影した時に得られる画像の様子を示す。この時、付帯情報中の予め定められた撮影向き情報を格納すべき領域には、直立方向をそのまま直立の方向と見れば良いことを示す値が書き込まれている。ここでは、360が書き込まれているものとする。
【0028】
図7は、撮影者が撮影時にカメラを左回りに90度回転させ縦長に構えて(すなわち、被写体側からこのカメラを見ると時計方向に90度回転させて)撮影した時に得られる画像の例を示す。図7(a)は、直立した人物の被写体を撮影した時に得られる画像を示しており、得られた画像を、カメラを回転させずに構えて撮影したものと見立てて見た場合の画像の様子を図7(b)に示す。この時、付帯情報中の予め定められた撮影向き情報を格納すべき領域には、水平右向きを直立の方向と見れば良いことを示す値が書き込まれている。ここでは、270が書き込まれているものとする。
【0029】
図8は、撮影者が撮影時にカメラを右回りに90度回転させ縦長に構えて(すなわち、被写体側からこのカメラを見ると反時計方向に90度回転させて)撮影した時に得られる画像の例を示す。図8(a)は、直立した人物の被写体を撮影した時に得られる画像を示し、得られた画像を、カメラを回転させずに構えて撮影したものと見立てて見た場合の画像の様子を図8(b)に示す。この時、付帯情報中の予め定められた撮影向き情報を格納すべき領域には、水平左向きを直立の方向と見れば良いことを示す値が書き込まれている。ここでは、90が書き込まれているものとする。
【0030】
ステップS40では、ステップS30で得られた撮影向き情報から顔検出をすべき角度範囲を定め、角度範囲情報として、RAM8上の予め定めた領域にセットする。より具体的には、ステップS30で得られた撮影向き情報の値に±90して得られる値のセットを格納する。図7の場合には、270±90だから、180と360がセットされ、図8の場合には、90±90であるから、0と180がセットされる。図6の場合には、360±90なので、270と450がセットされる。ステップS40を終えると、ステップS50に進む。
【0031】
ステップS80では、角度範囲情報として、RAM8上の予め定めた領域に0から360とセットする。ステップS80の処理を終えると、ステップS50に進む。
【0032】
ステップS50では、ステップS40又はステップS80でセットされる角度範囲情報を用いて、この角度範囲を基本角度内顔検出手段32のもつ顔検出可能角度に基く角度刻み単位(例えば、特願2001−282283号明細書の方式の場合には、約10度程度であり、本実施例では、以降10度刻みとして説明を続ける。)に回転角を変えながら、それぞれの角度だけ回転された画像からの顔検出処理を繰り返し、それぞれの回転画像から検出された顔情報のすべてを、RAM8上の予め定めた他の領域に出力する。角度範囲内の顔検出処理を終えると、ステップS60に進む。ステップS50のより詳細な処理は、追って説明する。
【0033】
ステップS60では、ステップS50において、角度範囲内の角度毎の処理において検出された顔データから、重複した顔データがあればこの重複分を除き、かつ異なる複数の顔データが残る場合にもこれらを一枚の入力画像から検出された一体化したデータとして統合化したものとして、RAM8上の所定領域に格納してステップS70に進む。
【0034】
ステップS70では、ステップS60でRAM8上に格納された顔データを、I/O4を経由して、ハードディスク装置に入力画像データと共にその新たな付帯情報として書き込んだり、通信I/F5を経由して撮像装置12と連動する他の外部システムに出力したり、あるいは、図2で示されるコンピュータシステム上で実行される他の処理プロセスに送出したりした後、その一連の処理を終える。
【0035】
次に、図9に示すフローチャートを用いてステップS50の処理を詳述する。ステップS50の処理を開始すると、まずステップS510では、ステップS40又はステップS80で、RAM8上の所定領域にセットされた角度範囲情報のうち、高角度側の値を一時バッファに取り込み、ステップS520に進む。
【0036】
ステップS520では、一時バッファに保持されている値が、ステップS40又はステップS80においてRAM8上の所定領域にセットされた角度範囲情報のうちの低角度側の値よりも小さくなっているか否かを判定し、小さくなっていればすべての角度範囲にわたって顔検出処理を終えたものと判断してステップS50の処理を終了し、そうでなければ、ステップS530に進む。
【0037】
ステップS530では、一時バッファの値から180を減じた値を求め、RAM8上の予め定めた他の領域に回転角の値としてセットして、ステップS540に進む。
【0038】
ステップS540では、ステップS530でセットされた回転角の値を、画像メモリ7に保持される入力画像の回転処理に用いる角度として、公知の画像回転処理方法(入力画像の中心を回転の中心位置としたアフィン変換)を用いて、入力画像を左回りに(反時計回り方向に)回転角度分だけ回転した画像を生成し、画像メモリ9に格納して、ステップS550に進む。
【0039】
ステップS550では、画像メモリ9に保持される画像に対して公知の顔検出処理を施し、その検出結果をRAM8上の予め定めた他の領域に出力してステップS560に進む。公知の顔検出方法としては、ここでは、特願2001−282283号明細書に開示される方法を想定して説明を続けるが、もちろん、先に述べたその他の方法又は各種の顔検出方法を用いることができる。
【0040】
ステップS560では、用いている顔検出法に固有の顔検出可能角度範囲(例えば、特願2001−282283号明細書の方式の場合には、約10度程度であり、本実施例でも10度とする。)を角度刻みの値として、一時バッファに保持される値から角度刻みの値を減じて得られる値を、この一時バッファの保持する新たな値としてセットし直し、ステップS520に戻る。
【0041】
このようにして、有意な角度範囲情報が存在する場合には、存在しない場合に比し、顔検出処理の繰り返し回数を激減させることができる。
【0042】
<第2実施例>
前記第1実施例では、ステップS50において、入力画像自体を回転させた画像を生成して顔検出をくり返すことにより、顔検出角度範囲内のすべての角度範囲にわたって、顔検出を実行した。しかし、本発明は、これに限らない。
【0043】
すなわち、顔検出方法として、基本的に予め用意されたテンプレートを用いてマッチングをとっていくパターン認識的な方法を用いることにより、この各種のテンプレートを基準データとしてとらえ、入力画像を回転させるのではなく、この基準データとしてのテンプレートの方を角度刻みに対応して、回転角に相当するテンプレートに変換しながら顔検出処理を行うように構成しても良い。
【0044】
図4は、このような動作又は機能を有する実施例の機能ブロック図を示す。第1実施例を示す図1との違いは、顔検出手段30内で回転されるのが、入力画像ではなく、パターンマッチング用の基準データであることである。この結果として、画像メモリ9がなくなり、代わりにパターンマッチングに用いる基準データとしてのテンプレートデータ等を保持する基本角用基準データ保持手段35と、基準データを回転処理して回転処理された基準データを生成し、これを基準角度内顔検出手段に提供する基準データ供給手段36が構成要素として加わっている。
【0045】
図2に示される機器構成例で、図4に示す機能ブロックの画像処理装置を実現するには、基本的には、図3に示す処理フローと全く同様の動作で可能であるが、差異としては、図9を示すフローチャートで、ステップS540の部分が変わってくる。すなわち、第1実施例においては、ステップS540では、入力画像自体を回転処理して、回転された画像を生成していたが、第2実施例では、このステップS540においては、パターンマッチングに用いる基準データとしてのテンプレートデータ等を回転処理して、回転処理された基準データを生成し、以降のステップS550に提供するようになる。
【0046】
入力画像データに比べ、基準データの方が回転処理に要する負荷が少ないことが多く、より一層の高速処理を期待できる。
【0047】
<第3実施例>
第1及び第2実施例の変型として、顔検出処理を二重に実行する実施例を説明する。すなわち、一つの処理の流れでは入力画像を回転した画像で処理をおこない、もう一つの処理の流れとして、回転されていない入力画像に対して、回転処理されたテンプレートパターンでマッチング処理をとるような、二つの流れを併用する構成をとることも可能である。
【0048】
図5は、第3実施例の機能ブロック図を示す。第1及び第2実施例との違いは、顔検出手段30内で回転されるのが、入力画像とパターンマッチング用基準データの両方であることから、画像メモリ9と、パターンマッチングに用いる基準データとしてのテンプレートデータ等を保持する基本角用基準データ保持手段39と、基準データを回転処理して、回転処理された基準データを生成し、これを基準角度内顔検出手段に提供する基準データ供給手段40とがともに構成要素に含まれている点である。さらに、基本角度内顔検出手段には、入力画像そのものと、回転処理された画像の両方が入力される。
【0049】
図2に示される機器構成例で、図4に示す機能ブロックの画像処理装置を実現するには、基本的には、図3に示す処理フローと全く同様の動作で可能であるが、差異としては、図9を示すフローチャートで、ステップS540の部分が変わってくる。すなわち、第1実施例においては、ステップS540では、入力画像自体を回転処理して、回転された画像を生成するのと、パターンマッチングに用いる基準データとしてのテンプレートデータ等を回転処理して、回転処理された基準データを生成することの両方を行い、その双方を以降のステップS550に提供するようになる点と、ステップS550では、入力画像を回転した画像での顔検出処理と、回転されていない入力画像に対して、回転処理されたテンプレートパターンでマッチング処理をとるような、二つの処理の両方を行う点が異なる。
【0050】
第3実施例では、一つの顔検出処理手法のみの場合に比して、より正確な顔検出処理結果が得られる。
【0051】
<その他>
本発明の目的は、上述した第1〜第3の各実施例のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が上記各実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【0052】
プログラムコードを供給するための記憶媒体としては、ROM、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ及び不揮発性メモリカード等を用いることができる。
【0053】
また、コンピュータが読みだしたプログラムコードを実行することにより、各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって上記各実施例の機能が実現される場合も含まれることは言うまでもない。
【0054】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって上記各実施例の機能が実現される場合も含まれることは言うまでもない。
【0055】
【発明の効果】
以上、説明したように、本発明によれば、入力画像に付随する撮影向き情報をも入力し、この撮影向き情報を有効に利用して、顔検出処理対象とするこの入力画像から顔検出をすべき角度範囲情報を定めて限定することにより、従来に比し、その画像中に含まれている各種の角度についての顔の検出をより高速に実行することが可能となる。
【図面の簡単な説明】
【図1】本発明の課題を解決するための機能手段の構成を示す図。
【図2】本発明を実施する装置の構成の一例を示す図。
【図3】本発明を実施する装置の動作手順を示すフローチャート。
【図4】第2の実施例における装置の構成の一例を示す図。
【図5】第3の実施例における装置の構成の一例を示す図。
【図6】カメラを通常の状態に構えて撮影した時に得られる画像の例を示す図。
【図7】カメラを左回りに90度回転させて構えて撮影した時に得られる画像の例を示す図。
【図8】カメラを右回りに90度回転させて構えて撮影した時に得られる画像の例を示す図。
【図9】ステップS50の詳細な処理手順を示すフローチャート。
【符号の説明】
1:バス
2:入力I/F
3:出力I/F
4:I/O
5:通信I/F
6:CPU
7:画像メモリ
8:RAM
9:画像メモリ
10:ROM
20:画像入力手段
30:顔検出手段
50:撮影向き情報入力手段
60 :角度範囲情報設定手段
【発明の属する技術分野】
本発明は、主として、処理対象とする画像が人物を主被写体として撮像されたものか否かを判別すること等に利用される、撮像装置等の画像入力機器で読み取られた画像中に含まれる人物の顔を検出する画像処理装置及び方法に関する。
【0002】
【従来の技術】
撮像装置、とりわけ、昨今、特に普及の進んでいるデジタルスチルカメラ(以降、デジタルカメラ)では、CCDやCMOS等のセンサで構成される撮像デバイスで撮像される画像信号をもとに、被写体の輝度域を撮像デバイスのダイナミックレンジに当てはめるためのAGC(Auto Gain Control)と呼ばれる露光量の調整機構、被写体の色味を適切な色合いに補正するAWB(Auto White Balance)と呼ばれる色味調整機構、階調変化の具合及びコントラストを調整するためのガンマ変換機構、並びに、ノイズ除去や輪郭強調の機能等の各種の画像処理機能を有している。
【0003】
最近では、例えば、特開2000−123164号公報及び特開2000−123165号公報等に見られるように、このような撮像画像信号に対する処理のインテリジェント化が志向されてきている。
【0004】
特開2000−123164号公報では、画像特徴を考慮することなく一定の処理をするよりも、画像内の特徴に応じて処理や変換の度合いを変更することが望ましいことを述べており、また、特開2000−123165号公報では、画像内の主オブジェクトに重きをおいた補正、即ち、主オブジェクトを対象としての適切な画像補正を開示している。なかでも、人物が主オブジェクトである人物画の場合に、撮像された画像を、ディスプレイ画面に表示したり、カラープリンタで出力してハードコピーすることにより再生画像を得るときには、肌色等の色再現やコントラストのとり方等の各種の画像強調処理又は画像補正処理を、それ以外の画像の場合とは異なるようにした方が、再生画像の観察者に好印象を与えることがあることが知られてきている。
【0005】
一方、撮像された画像からこれに含まれる人物の顔を抽出する方法に関しては、いくつかの方法が開示されている。例えば、特開2001−309225号公報には、色及び形状に基いて肌を含む可能性が高いと思われる中央部と、やはり色及び形状に基いて毛髪を含む可能性が高いと思われる周辺領域を探すことによって、顔を含む可能性の高い領域を探すパターン認識オペレータを用いる第一の顔候補検出アルゴリズムと、パターンマッチにより、第一のアルゴリズムで求められた顔候補領域中の顔の存在を確かめる第二のアルゴリズムとを併用して顔を検出することが開示されている。
【0006】
特開平8−63595号公報には、色に基いて肌色領域の輪郭を抽出し、予め用意する顔の輪郭テンプレートとのマッチング度で顔を検出する方法や、更に目候補領域を求めて目テンプレートとのマッチング度を用いて顔検出する方法や、顔の輪郭テンプレートで求まる顔候補領域の2次元フーリエ変換結果と、目、鼻、口及び髪等を含む予め用意した顔テンプレート画像の2次元フーリエ変換結果とから定義される特徴量を求め、この特徴量を閾値処理して顔検出を行なう方法等が開示されている。
【0007】
また、特願2001−282283号明細書には、目の候補領域を求め、複数の目の候補が見つかった場合に、任意の1対の目の候補のそれぞれに対して近傍に環状領域を定め、この領域内の各画素の近傍画素との画素値の勾配と予め定める基準勾配との方向差をもとに顔検出を行なう方法が開示されている。
【0008】
ところで、最近のデジタルカメラには、カメラ自体に角度センサを内蔵し、撮像した各画像が、カメラがどの方向に(縦向き、横向き、又は、基準の向きに対してどの程度回転して)構えられた状態で撮影されたものかを、それぞれの画像への付帯情報として画像とセットで出力する機能をもつものが市場に提供されるようになってきた。
【0009】
【発明が解決しようとする課題】
人物の顔を抽出する上述の方法を含め、一般に、顔の検出方法自体は、検出対象とする顔が画像のフレーム枠に対して基本的には直立正面向きに写っていることを前提としており、検出できる顔の向きには制限がある。
【0010】
しかし、撮像された画像、とりわけ、デジタルカメラにより撮像された画像は、撮影者がカメラの向きを縦、横、あるいは、場合により斜めに構えて撮影する自由度があり得、かつ、被写体である人物も必ずしも証明写真の如くに正面成立で写されるばかりでなく、やや顔を傾けていたり、寝そべっていたり等、さまざまな場合がある。
【0011】
このため、画像のフレーム枠に対して顔がどのような角度で写っているかには自由度があり、基本的には360度の角度範囲がありえる。従って、全ての角度の顔に対応するには、顔の検出方法が対応可能な角度範囲を基準とする角度刻みで、何度も各角度で原画を回転して得られる画像からの顔の検出処理を繰り返すか、もしくは、検出に用いるパターンマッチ用のテンプレートや各種特徴量を所要の全ての角度分を用意して、これらの全ての角度分の検出処理を実行する必要があった。これらの方法では、デジタルカメラにより撮像されたスナップ写真等から顔を検出するのに、所要の角度刻みで繰り返される検出処理の回数に比例した検出時間を要していた。
【0012】
本発明は、上述した従来例の欠点に鑑みなされたものであり、その目的とするところは、撮像された画像中の人物の顔をより高速に検出する画像処理装置及び方法並びにプログラム記憶媒体を提示することを目的とする。
【0013】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段から入力された画像に附随する情報を入力する画像附随情報入力手段と、前記画像入力手段から入力された画像から顔を検出する顔検出手段と、前記画像附随情報入力手段で入力された画像に附随する情報に基づき入力画像から顔検出処理をする際の角度範囲を定める顔検出角度範囲設定手段と、前記角度範囲情報設定手段により定められた角度範囲情報に基いて顔検出処理の実行を制御するモードを有する処理制御手段とを有することを特徴とする。
【0014】
本発明に係る画像処理方法は、画像を入力する画像入力工程と、前記画像入力工程で入力された画像に附随する情報を入力する画像附随情報入力工程と、前記画像入力工程から入力された画像から顔を検出する顔検出工程と、前記画像附随情報入力工程で入力された画像に附随する情報に基づき入力画像から顔検出処理をする際の角度範囲を定める顔検出角度範囲設定工程と、前記角度範囲情報設定工程により定められた角度範囲情報に基いて顔検出処理の実行を制御するモードを有する処理制御工程とを有することを特徴とする。
【0015】
【実施例】
以下、添付図面を参照して、本発明の好適な実施例を詳細に説明する。
【0016】
<第1実施例>
図1は、本発明の第1実施例の機能ブロック図を示す。画像入力手段20は、公知のデジタルカメラ等で撮影された画像データを取り込むインターフェース回路等である画像獲得手段21と、取り込まれた画像データを保持する画像メモリ7とで構成され、主被写体を含む撮影シーンを撮影して得られた画像データを取得する。画像入力手段20により取得された画像データは、デジタル画像データとして顔検出手段30に出力される。
【0017】
撮影向き情報入力手段50は、画像入力手段20より入力される画像に付随する属性データを、画像データと同様にインターフェース回路等を通して取り込み、画像に付随する属性データの中に撮像向き情報が存在する場合にはこれを抽出して、角度範囲情報設定手段60に出力する。角度範囲情報設定手段60は、撮影向き情報入力手段50から得られた情報に基き、処理対象画像から顔検出をすべき角度範囲情報を定めて処理制御手段70にこの情報を出力する。処理制御手段70は、角度範囲情報設定手段60により定められた角度範囲情報に基いて顔検出を実行するように、顔検出手段30を制御する。
【0018】
顔検出手段30は、画像入力手段20中の画像メモリ7より画像を入力し、処理制御手段70の制御の下、画像回転手段31により所要の回転角だけ回転させた画像を生成して画像メモリ9に保持する。基本角度内顔検出手段32は、画像メモリ9に保持される画像から基本角度内(例えば、特願2001−282283号明細書の方式の場合には、垂直方向に正立する向きを挟んで約±5度程度であり、本実施例では、この10度の角度範囲を基本角度内として以降の説明を続ける。)での顔の検出を実行し、検出された顔がある場合にはこれを検出顔統合手段33に出力する。
【0019】
画像回転手段31と基本角度内顔検出手段32は、処理制御手段70の制御の下、角度範囲情報に基き所要回数だけ基本角度内顔検出手段32のもつ顔検出可能角度に基く角度刻み単位(例えば、特願2001−282283号明細書の方式の場合には、約10度程度であり、本実施例では、以降、10度刻みとして説明を続ける。)に回転角を変えながら、それぞれの角度だけ回転された画像からの顔検出処理を繰り返し、それぞれの回転画像から検出された画像を検出顔統合手段33に出力する。これらそれぞれの回転画像から検出された顔情報は、検出顔統合手段33において統合され、入力手段20で入力された画像内に検出された全ての顔の情報として一括して出力される。
【0020】
図2は、図1に示す実施例を実現する機器構成の概略構成ブロック図を示す。1は、図2で示される系のバスを示す。2は、図1の画像入力手段20の画像獲得手段21及び撮像向き情報入力手段50を構成する入力I/F(インターフェース)である。3は、顔検出処理を応用した結果として得られる高画質な画像をプリンタ等に出力する際の出力インターフェースである。5は、ネットワーク等を経由して、図2で示されるシステムの外部と通信する通信I/Fである。7,9は、顔を検出する対象画像を保持する画像メモリであり、メモリ7が画像入力手段20に対応し、入力された画像データを保持し、画像メモリ9は、画像回転手段31により回転処理された画像を保持する。
【0021】
6はCPU、8はRAM、10はROM、4はハードディスク装置11とのI/O(入出力回路)である。12は画像入力手段20に対して画像データやこの画像データに付属するデータを供給するデジタルカメラ等の撮像装置である。13は出力された画像をプリントするプリンタである。
【0022】
1〜11はコンピュータシステムを構成しており、このコンピュータシステムは、画像入力手段20内の画像獲得手段21、顔検出手段40内の画像回転手段31、基本角度内顔検出手段32及び検出顔統合手段33、撮像向き情報入力手段50、角度範囲情報設定手段60並びに処理制御手段70の機能ブロックを実現する構成例となっている。
【0023】
図3に示すフローチャートを参照して、本実施例の動作を説明する。先ず、ステップS10において、入力I/F2を介してデジタルカメラ等の撮像装置12より処理対象画像を画像メモリ7上に読み込み、ステップS20に進む。
【0024】
ステップS20では、入力I/F2を介してデジタルカメラ等の撮像装置12より処理対象画像に附随するデータ(以降、画像付帯情報とも称する)を、RAM8上の図示しない所定領域に読み込み、ステップS30に進む。
【0025】
ステップS30では、ステップS20においてRAM8上の図示しない所定領域に読み込まれた画像付帯情報中に有意な撮影向き情報が含まれているか否かを判定し、有意な撮像向き情報があった場合にはステップS40に進み、そうではない場合にはステップS80に進む。
【0026】
尚、画像付帯情報中に有意な撮影向き情報が含まれているか否かは、画像付帯情報中の予め定められた領域に書き込まれている情報を調べることで判定できる。ここでは、0が書き込まれていると有意な撮影向き情報が含まれていないものとし、1〜360の値が書き込まれていると有意な撮影向き情報が含まれているものとする。
【0027】
図6〜図8を参照して、付帯情報の例を詳述する。図6は、撮影者が撮影時にカメラを通常の状態に構えて(すなわち、カメラを回転させずに保持して)撮影した時に得られる画像の例を示す。即ち、図6は、直立した人物の被写体を撮影した時に得られる画像の様子を示す。この時、付帯情報中の予め定められた撮影向き情報を格納すべき領域には、直立方向をそのまま直立の方向と見れば良いことを示す値が書き込まれている。ここでは、360が書き込まれているものとする。
【0028】
図7は、撮影者が撮影時にカメラを左回りに90度回転させ縦長に構えて(すなわち、被写体側からこのカメラを見ると時計方向に90度回転させて)撮影した時に得られる画像の例を示す。図7(a)は、直立した人物の被写体を撮影した時に得られる画像を示しており、得られた画像を、カメラを回転させずに構えて撮影したものと見立てて見た場合の画像の様子を図7(b)に示す。この時、付帯情報中の予め定められた撮影向き情報を格納すべき領域には、水平右向きを直立の方向と見れば良いことを示す値が書き込まれている。ここでは、270が書き込まれているものとする。
【0029】
図8は、撮影者が撮影時にカメラを右回りに90度回転させ縦長に構えて(すなわち、被写体側からこのカメラを見ると反時計方向に90度回転させて)撮影した時に得られる画像の例を示す。図8(a)は、直立した人物の被写体を撮影した時に得られる画像を示し、得られた画像を、カメラを回転させずに構えて撮影したものと見立てて見た場合の画像の様子を図8(b)に示す。この時、付帯情報中の予め定められた撮影向き情報を格納すべき領域には、水平左向きを直立の方向と見れば良いことを示す値が書き込まれている。ここでは、90が書き込まれているものとする。
【0030】
ステップS40では、ステップS30で得られた撮影向き情報から顔検出をすべき角度範囲を定め、角度範囲情報として、RAM8上の予め定めた領域にセットする。より具体的には、ステップS30で得られた撮影向き情報の値に±90して得られる値のセットを格納する。図7の場合には、270±90だから、180と360がセットされ、図8の場合には、90±90であるから、0と180がセットされる。図6の場合には、360±90なので、270と450がセットされる。ステップS40を終えると、ステップS50に進む。
【0031】
ステップS80では、角度範囲情報として、RAM8上の予め定めた領域に0から360とセットする。ステップS80の処理を終えると、ステップS50に進む。
【0032】
ステップS50では、ステップS40又はステップS80でセットされる角度範囲情報を用いて、この角度範囲を基本角度内顔検出手段32のもつ顔検出可能角度に基く角度刻み単位(例えば、特願2001−282283号明細書の方式の場合には、約10度程度であり、本実施例では、以降10度刻みとして説明を続ける。)に回転角を変えながら、それぞれの角度だけ回転された画像からの顔検出処理を繰り返し、それぞれの回転画像から検出された顔情報のすべてを、RAM8上の予め定めた他の領域に出力する。角度範囲内の顔検出処理を終えると、ステップS60に進む。ステップS50のより詳細な処理は、追って説明する。
【0033】
ステップS60では、ステップS50において、角度範囲内の角度毎の処理において検出された顔データから、重複した顔データがあればこの重複分を除き、かつ異なる複数の顔データが残る場合にもこれらを一枚の入力画像から検出された一体化したデータとして統合化したものとして、RAM8上の所定領域に格納してステップS70に進む。
【0034】
ステップS70では、ステップS60でRAM8上に格納された顔データを、I/O4を経由して、ハードディスク装置に入力画像データと共にその新たな付帯情報として書き込んだり、通信I/F5を経由して撮像装置12と連動する他の外部システムに出力したり、あるいは、図2で示されるコンピュータシステム上で実行される他の処理プロセスに送出したりした後、その一連の処理を終える。
【0035】
次に、図9に示すフローチャートを用いてステップS50の処理を詳述する。ステップS50の処理を開始すると、まずステップS510では、ステップS40又はステップS80で、RAM8上の所定領域にセットされた角度範囲情報のうち、高角度側の値を一時バッファに取り込み、ステップS520に進む。
【0036】
ステップS520では、一時バッファに保持されている値が、ステップS40又はステップS80においてRAM8上の所定領域にセットされた角度範囲情報のうちの低角度側の値よりも小さくなっているか否かを判定し、小さくなっていればすべての角度範囲にわたって顔検出処理を終えたものと判断してステップS50の処理を終了し、そうでなければ、ステップS530に進む。
【0037】
ステップS530では、一時バッファの値から180を減じた値を求め、RAM8上の予め定めた他の領域に回転角の値としてセットして、ステップS540に進む。
【0038】
ステップS540では、ステップS530でセットされた回転角の値を、画像メモリ7に保持される入力画像の回転処理に用いる角度として、公知の画像回転処理方法(入力画像の中心を回転の中心位置としたアフィン変換)を用いて、入力画像を左回りに(反時計回り方向に)回転角度分だけ回転した画像を生成し、画像メモリ9に格納して、ステップS550に進む。
【0039】
ステップS550では、画像メモリ9に保持される画像に対して公知の顔検出処理を施し、その検出結果をRAM8上の予め定めた他の領域に出力してステップS560に進む。公知の顔検出方法としては、ここでは、特願2001−282283号明細書に開示される方法を想定して説明を続けるが、もちろん、先に述べたその他の方法又は各種の顔検出方法を用いることができる。
【0040】
ステップS560では、用いている顔検出法に固有の顔検出可能角度範囲(例えば、特願2001−282283号明細書の方式の場合には、約10度程度であり、本実施例でも10度とする。)を角度刻みの値として、一時バッファに保持される値から角度刻みの値を減じて得られる値を、この一時バッファの保持する新たな値としてセットし直し、ステップS520に戻る。
【0041】
このようにして、有意な角度範囲情報が存在する場合には、存在しない場合に比し、顔検出処理の繰り返し回数を激減させることができる。
【0042】
<第2実施例>
前記第1実施例では、ステップS50において、入力画像自体を回転させた画像を生成して顔検出をくり返すことにより、顔検出角度範囲内のすべての角度範囲にわたって、顔検出を実行した。しかし、本発明は、これに限らない。
【0043】
すなわち、顔検出方法として、基本的に予め用意されたテンプレートを用いてマッチングをとっていくパターン認識的な方法を用いることにより、この各種のテンプレートを基準データとしてとらえ、入力画像を回転させるのではなく、この基準データとしてのテンプレートの方を角度刻みに対応して、回転角に相当するテンプレートに変換しながら顔検出処理を行うように構成しても良い。
【0044】
図4は、このような動作又は機能を有する実施例の機能ブロック図を示す。第1実施例を示す図1との違いは、顔検出手段30内で回転されるのが、入力画像ではなく、パターンマッチング用の基準データであることである。この結果として、画像メモリ9がなくなり、代わりにパターンマッチングに用いる基準データとしてのテンプレートデータ等を保持する基本角用基準データ保持手段35と、基準データを回転処理して回転処理された基準データを生成し、これを基準角度内顔検出手段に提供する基準データ供給手段36が構成要素として加わっている。
【0045】
図2に示される機器構成例で、図4に示す機能ブロックの画像処理装置を実現するには、基本的には、図3に示す処理フローと全く同様の動作で可能であるが、差異としては、図9を示すフローチャートで、ステップS540の部分が変わってくる。すなわち、第1実施例においては、ステップS540では、入力画像自体を回転処理して、回転された画像を生成していたが、第2実施例では、このステップS540においては、パターンマッチングに用いる基準データとしてのテンプレートデータ等を回転処理して、回転処理された基準データを生成し、以降のステップS550に提供するようになる。
【0046】
入力画像データに比べ、基準データの方が回転処理に要する負荷が少ないことが多く、より一層の高速処理を期待できる。
【0047】
<第3実施例>
第1及び第2実施例の変型として、顔検出処理を二重に実行する実施例を説明する。すなわち、一つの処理の流れでは入力画像を回転した画像で処理をおこない、もう一つの処理の流れとして、回転されていない入力画像に対して、回転処理されたテンプレートパターンでマッチング処理をとるような、二つの流れを併用する構成をとることも可能である。
【0048】
図5は、第3実施例の機能ブロック図を示す。第1及び第2実施例との違いは、顔検出手段30内で回転されるのが、入力画像とパターンマッチング用基準データの両方であることから、画像メモリ9と、パターンマッチングに用いる基準データとしてのテンプレートデータ等を保持する基本角用基準データ保持手段39と、基準データを回転処理して、回転処理された基準データを生成し、これを基準角度内顔検出手段に提供する基準データ供給手段40とがともに構成要素に含まれている点である。さらに、基本角度内顔検出手段には、入力画像そのものと、回転処理された画像の両方が入力される。
【0049】
図2に示される機器構成例で、図4に示す機能ブロックの画像処理装置を実現するには、基本的には、図3に示す処理フローと全く同様の動作で可能であるが、差異としては、図9を示すフローチャートで、ステップS540の部分が変わってくる。すなわち、第1実施例においては、ステップS540では、入力画像自体を回転処理して、回転された画像を生成するのと、パターンマッチングに用いる基準データとしてのテンプレートデータ等を回転処理して、回転処理された基準データを生成することの両方を行い、その双方を以降のステップS550に提供するようになる点と、ステップS550では、入力画像を回転した画像での顔検出処理と、回転されていない入力画像に対して、回転処理されたテンプレートパターンでマッチング処理をとるような、二つの処理の両方を行う点が異なる。
【0050】
第3実施例では、一つの顔検出処理手法のみの場合に比して、より正確な顔検出処理結果が得られる。
【0051】
<その他>
本発明の目的は、上述した第1〜第3の各実施例のホスト及び端末の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が上記各実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【0052】
プログラムコードを供給するための記憶媒体としては、ROM、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ及び不揮発性メモリカード等を用いることができる。
【0053】
また、コンピュータが読みだしたプログラムコードを実行することにより、各実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって上記各実施例の機能が実現される場合も含まれることは言うまでもない。
【0054】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって上記各実施例の機能が実現される場合も含まれることは言うまでもない。
【0055】
【発明の効果】
以上、説明したように、本発明によれば、入力画像に付随する撮影向き情報をも入力し、この撮影向き情報を有効に利用して、顔検出処理対象とするこの入力画像から顔検出をすべき角度範囲情報を定めて限定することにより、従来に比し、その画像中に含まれている各種の角度についての顔の検出をより高速に実行することが可能となる。
【図面の簡単な説明】
【図1】本発明の課題を解決するための機能手段の構成を示す図。
【図2】本発明を実施する装置の構成の一例を示す図。
【図3】本発明を実施する装置の動作手順を示すフローチャート。
【図4】第2の実施例における装置の構成の一例を示す図。
【図5】第3の実施例における装置の構成の一例を示す図。
【図6】カメラを通常の状態に構えて撮影した時に得られる画像の例を示す図。
【図7】カメラを左回りに90度回転させて構えて撮影した時に得られる画像の例を示す図。
【図8】カメラを右回りに90度回転させて構えて撮影した時に得られる画像の例を示す図。
【図9】ステップS50の詳細な処理手順を示すフローチャート。
【符号の説明】
1:バス
2:入力I/F
3:出力I/F
4:I/O
5:通信I/F
6:CPU
7:画像メモリ
8:RAM
9:画像メモリ
10:ROM
20:画像入力手段
30:顔検出手段
50:撮影向き情報入力手段
60 :角度範囲情報設定手段
Claims (11)
- 画像を入力する画像入力手段と、
前記画像入力手段から入力された画像に附随する情報を入力する画像附随情報入力手段と、
前記画像入力手段から入力された画像から顔を検出する顔検出手段と、
前記画像附随情報入力手段で入力された画像に附随する情報に基づき入力画像から顔検出処理をする際の角度範囲を定める顔検出角度範囲設定手段と、
前記角度範囲情報設定手段により定められた角度範囲情報に基いて顔検出処理の実行を制御するモードを有する処理制御手段
とを有することを特徴とする画像処理装置。 - 前記処理制御手段は、予め定められる角度刻みに顔検出処理の実行を制御することを特徴とする請求項1に記載の画像処理装置。
- さらに画像を回転する手段を有し、前記処理制御手段は、入力画像を予め定められる角度刻みに前記回転手段により入力画像を回転した画像を生成して、これらの画像に顔検出を実行することを特徴とする請求項1又は2に記載の画像処理装置。
- さらに顔を検出する際に用いる顔検出用の基準データを傾いた顔に対する基準データにする手段を有し、前記処理制御手段は、予め定められる角度刻みに、当該顔検出用の基準データを傾いた顔に対する基準データを生成して、これらをもちいて入力画像に顔検出を実行することを特徴とする請求項1又は2に記載の画像処理装置。
- 画像を入力する画像入力工程と、
前記画像入力工程で入力された画像に附随する情報を入力する画像附随情報入力工程と、
前記画像入力工程から入力された画像から顔を検出する顔検出工程と、
前記画像附随情報入力工程で入力された画像に附随する情報に基づき入力画像から顔検出処理をする際の角度範囲を定める顔検出角度範囲設定工程と、
前記角度範囲情報設定工程により定められた角度範囲情報に基いて顔検出処理の実行を制御するモードを有する処理制御工程
とを有することを特徴とする画像処理方法。 - 前記処理制御工程は、予め定められる角度刻みに顔検出処理の実行を制御することを特徴とする請求項5に記載の画像処理方法。
- さらに画像を回転する工程を有し、前記処理制御工程は、入力画像を予め定められる角度刻みに前記回転工程により入力画像を回転した画像を生成して、これらの画像に顔検出を実行することを特徴とする請求項5又は6に記載の画像処理方法。
- さらに顔を検出する際に用いる顔検出用の基準データを傾いた顔に対する基準データにする工程を有し、前記処理制御工程は、予め定められる角度刻みに、当該顔検出用の基準データを傾いた顔に対する基準データを生成して、これらをもちいて入力画像に顔検出を実行することを特徴とする請求項5又は6に記載の画像処理方法。
- コンピュータ装置が実行可能なプログラムであって、前記プログラムを実行するコンピュータ装置を請求項1乃至4のいずれか1項に記載の画像処理装置として機能させることを特徴とするプログラム。
- 請求項5乃至8のいずれか1項に記される画像処理方法を実現する、前記各工程における動作手順を示したコンピュータプログラムを記憶することを特徴とするコンピュータプログラム記憶媒体。
- 請求項5乃至8のいずれか1項に記される画像処理方法を実現する、前記各工程における動作手順を示すコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002220764A JP2004062565A (ja) | 2002-07-30 | 2002-07-30 | 画像処理装置及び方法並びにプログラム記憶媒体 |
US10/617,042 US7502493B2 (en) | 2002-07-30 | 2003-07-11 | Image processing apparatus and method and program storage medium |
US12/349,139 US7940965B2 (en) | 2002-07-30 | 2009-01-06 | Image processing apparatus and method and program storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002220764A JP2004062565A (ja) | 2002-07-30 | 2002-07-30 | 画像処理装置及び方法並びにプログラム記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004062565A true JP2004062565A (ja) | 2004-02-26 |
Family
ID=31184822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002220764A Withdrawn JP2004062565A (ja) | 2002-07-30 | 2002-07-30 | 画像処理装置及び方法並びにプログラム記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7502493B2 (ja) |
JP (1) | JP2004062565A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277275A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像処理装置、印刷装置、画像処理方法、および、画像処理プログラム |
KR100643303B1 (ko) | 2004-12-07 | 2006-11-10 | 삼성전자주식회사 | 다면 얼굴을 검출하는 방법 및 장치 |
JP2007193404A (ja) * | 2006-01-17 | 2007-08-02 | Fujifilm Corp | 顔検出方法および装置並びにプログラム |
JP2007213182A (ja) * | 2006-02-08 | 2007-08-23 | Fujifilm Corp | 対象物状態認識方法および装置並びにプログラム |
WO2009078155A1 (ja) | 2007-12-14 | 2009-06-25 | Panasonic Corporation | 画像判定装置 |
US7796838B2 (en) | 2005-06-21 | 2010-09-14 | Sony Corporation | Imaging apparatus, processing method of the apparatus making computer execute the methods of selecting face search directions specific to a display mode and capture mode of operation |
US7869630B2 (en) | 2005-03-29 | 2011-01-11 | Seiko Epson Corporation | Apparatus and method for processing image |
US7986808B2 (en) | 2004-09-30 | 2011-07-26 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8989453B2 (en) * | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7362368B2 (en) * | 2003-06-26 | 2008-04-22 | Fotonation Vision Limited | Perfecting the optics within a digital image acquisition device using face detection |
US7792970B2 (en) * | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US9129381B2 (en) * | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US8682097B2 (en) * | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7616233B2 (en) * | 2003-06-26 | 2009-11-10 | Fotonation Vision Limited | Perfecting of digital image capture parameters within acquisition devices using face detection |
US7620218B2 (en) * | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8498452B2 (en) * | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US7471846B2 (en) * | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US8330831B2 (en) * | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US8593542B2 (en) * | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US7440593B1 (en) * | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US8948468B2 (en) * | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
JP4307301B2 (ja) * | 2003-07-31 | 2009-08-05 | キヤノン株式会社 | 画像処理装置およびその方法 |
US7426296B2 (en) * | 2004-03-18 | 2008-09-16 | Sony Corporation | Human skin tone detection in YCbCr space |
JP4622301B2 (ja) * | 2004-05-07 | 2011-02-02 | オムロン株式会社 | 監視システム、および監視カメラ |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US8503800B2 (en) * | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7315631B1 (en) * | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
JP4605458B2 (ja) * | 2005-04-12 | 2011-01-05 | 富士フイルム株式会社 | 画像処理装置及び画像処理プログラム |
JP5111794B2 (ja) * | 2005-08-08 | 2013-01-09 | 株式会社東芝 | 紙葉類識別装置、紙葉類識別方法、及び辞書作成方法 |
JP4619927B2 (ja) * | 2005-11-01 | 2011-01-26 | 富士フイルム株式会社 | 顔検出方法および装置並びにプログラム |
JP2007316849A (ja) * | 2006-05-24 | 2007-12-06 | Canon Inc | 情報処理装置、情報処理システム、及びその制御方法、プログラム、記憶媒体 |
EP2033142B1 (en) * | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
US7916897B2 (en) * | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US7403643B2 (en) * | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US7778487B2 (en) * | 2006-11-19 | 2010-08-17 | Microsoft Corp. | Region selection for image compositing |
US8411896B2 (en) * | 2006-12-21 | 2013-04-02 | Cypress Envirosystems, Inc. | Gauge reading device and system |
US8055067B2 (en) * | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
EP2115662B1 (en) | 2007-02-28 | 2010-06-23 | Fotonation Vision Limited | Separating directional lighting variability in statistical face modelling based on texture space decomposition |
JP4970557B2 (ja) * | 2007-03-05 | 2012-07-11 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | デジタル画像取込装置における顔検索及び検出 |
US8064655B2 (en) * | 2007-04-20 | 2011-11-22 | Panasonic Corporation | Face image detection device, face image detection method and imaging apparatus |
JP2008283573A (ja) * | 2007-05-11 | 2008-11-20 | Olympus Corp | 画像処理装置 |
US7916971B2 (en) * | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
TW200910147A (en) * | 2007-08-24 | 2009-03-01 | Univ Nat Chiao Tung | Control apparatus and method |
US8594365B2 (en) * | 2008-01-30 | 2013-11-26 | Cypress Envirosystems, Inc. | Gauge monitoring methods, devices and systems |
US20090202180A1 (en) * | 2008-02-11 | 2009-08-13 | Sony Ericsson Mobile Communications Ab | Rotation independent face detection |
JP4655235B2 (ja) * | 2008-03-14 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US7855737B2 (en) * | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
WO2010012448A2 (en) * | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
JP5795847B2 (ja) * | 2010-09-15 | 2015-10-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US9236024B2 (en) | 2011-12-06 | 2016-01-12 | Glasses.Com Inc. | Systems and methods for obtaining a pupillary distance measurement using a mobile computing device |
US9311746B2 (en) * | 2012-05-23 | 2016-04-12 | Glasses.Com Inc. | Systems and methods for generating a 3-D model of a virtual try-on product |
US9483853B2 (en) | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
KR102032347B1 (ko) | 2013-02-26 | 2019-10-15 | 삼성전자 주식회사 | 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법 |
US9807316B2 (en) * | 2014-09-04 | 2017-10-31 | Htc Corporation | Method for image segmentation |
CN107818305B (zh) | 2017-10-31 | 2020-09-22 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN110324528A (zh) * | 2018-03-28 | 2019-10-11 | 富泰华工业(深圳)有限公司 | 摄像装置、影像处理系统及方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0863595A (ja) | 1994-08-22 | 1996-03-08 | Omron Corp | 画像の回転処理方法およびその装置 |
US6144755A (en) * | 1996-10-11 | 2000-11-07 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Method and apparatus for determining poses |
US6597817B1 (en) * | 1997-07-15 | 2003-07-22 | Silverbrook Research Pty Ltd | Orientation detection for digital cameras |
JP2000123165A (ja) | 1998-10-19 | 2000-04-28 | Canon Inc | 画像処理装置及びその方法 |
JP4428742B2 (ja) | 1998-10-19 | 2010-03-10 | キヤノン株式会社 | 画像処理装置及びその方法 |
US6940545B1 (en) | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
JP4526639B2 (ja) * | 2000-03-02 | 2010-08-18 | 本田技研工業株式会社 | 顔認識装置およびその方法 |
JP3814459B2 (ja) | 2000-03-31 | 2006-08-30 | キヤノン株式会社 | 音声認識方法及び装置と記憶媒体 |
JP3655824B2 (ja) * | 2000-12-07 | 2005-06-02 | 日本電気株式会社 | 携帯情報端末装置及びその表示方法 |
US7375755B2 (en) * | 2001-08-30 | 2008-05-20 | Canon Kabushiki Kaisha | Image processing apparatus and method for displaying an image and posture information |
CA2359269A1 (en) * | 2001-10-17 | 2003-04-17 | Biodentity Systems Corporation | Face imaging system for recordal and automated identity confirmation |
US7050607B2 (en) * | 2001-12-08 | 2006-05-23 | Microsoft Corp. | System and method for multi-view face detection |
US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
-
2002
- 2002-07-30 JP JP2002220764A patent/JP2004062565A/ja not_active Withdrawn
-
2003
- 2003-07-11 US US10/617,042 patent/US7502493B2/en not_active Expired - Fee Related
-
2009
- 2009-01-06 US US12/349,139 patent/US7940965B2/en not_active Expired - Fee Related
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7986808B2 (en) | 2004-09-30 | 2011-07-26 | Canon Kabushiki Kaisha | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method |
KR100643303B1 (ko) | 2004-12-07 | 2006-11-10 | 삼성전자주식회사 | 다면 얼굴을 검출하는 방법 및 장치 |
JP2006277275A (ja) * | 2005-03-29 | 2006-10-12 | Seiko Epson Corp | 画像処理装置、印刷装置、画像処理方法、および、画像処理プログラム |
US7869630B2 (en) | 2005-03-29 | 2011-01-11 | Seiko Epson Corporation | Apparatus and method for processing image |
US7796838B2 (en) | 2005-06-21 | 2010-09-14 | Sony Corporation | Imaging apparatus, processing method of the apparatus making computer execute the methods of selecting face search directions specific to a display mode and capture mode of operation |
JP2007193404A (ja) * | 2006-01-17 | 2007-08-02 | Fujifilm Corp | 顔検出方法および装置並びにプログラム |
JP4657930B2 (ja) * | 2006-01-17 | 2011-03-23 | 富士フイルム株式会社 | 顔検出方法および装置並びにプログラム |
JP2007213182A (ja) * | 2006-02-08 | 2007-08-23 | Fujifilm Corp | 対象物状態認識方法および装置並びにプログラム |
US8331631B2 (en) | 2006-02-08 | 2012-12-11 | Fujifilm Corporation | Method, apparatus, and program for discriminating the states of subjects |
WO2009078155A1 (ja) | 2007-12-14 | 2009-06-25 | Panasonic Corporation | 画像判定装置 |
US8503721B2 (en) | 2007-12-14 | 2013-08-06 | Panasonic Corporation | Image judgment device |
Also Published As
Publication number | Publication date |
---|---|
US7502493B2 (en) | 2009-03-10 |
US20040022435A1 (en) | 2004-02-05 |
US7940965B2 (en) | 2011-05-10 |
US20090123037A1 (en) | 2009-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004062565A (ja) | 画像処理装置及び方法並びにプログラム記憶媒体 | |
TWI380232B (ja) | ||
TWI380231B (ja) | ||
JP4760973B2 (ja) | 撮像装置及び画像処理方法 | |
US8106999B2 (en) | Focus adjustment apparatus, method, and program | |
US8274572B2 (en) | Electronic camera capturing a group of a plurality of specific objects | |
US20050179780A1 (en) | Face detecting apparatus and method | |
US7868915B2 (en) | Photographing apparatus, method and computer program product | |
TW201102938A (en) | Image capturing apparatus, face area detecting method and program recording medium | |
CN102289785B (zh) | 图像处理装置以及图像处理方法 | |
JP2007336411A (ja) | 撮像装置、オートブラケティング撮影方法、およびプログラム | |
JP2009089220A (ja) | 撮像装置 | |
JP4871315B2 (ja) | 複眼撮影装置およびその制御方法並びにプログラム | |
JP2005065265A (ja) | フレーム調節装置、撮像装置および印刷装置 | |
JP2007259004A (ja) | デジタルカメラ、画像処理装置及び画像処理プログラム | |
JPH07303250A (ja) | 証明写真用画像撮影装置 | |
JP2008258830A (ja) | 画像処理装置、撮像装置およびプログラム | |
JP2002058046A (ja) | 撮像システムおよび3次元カメラ | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5354059B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
JP2017130890A (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2004201132A (ja) | 撮像装置 | |
JP2008084236A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN117043827A (zh) | 图像处理方法、记录介质、图像处理装置以及摄像装置 | |
JP5539098B2 (ja) | 画像処理装置及びその制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051004 |