JP2008004123A - 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法 - Google Patents

特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法 Download PDF

Info

Publication number
JP2008004123A
JP2008004123A JP2007211837A JP2007211837A JP2008004123A JP 2008004123 A JP2008004123 A JP 2008004123A JP 2007211837 A JP2007211837 A JP 2007211837A JP 2007211837 A JP2007211837 A JP 2007211837A JP 2008004123 A JP2008004123 A JP 2008004123A
Authority
JP
Japan
Prior art keywords
region
image
search
reference point
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007211837A
Other languages
English (en)
Inventor
Naoto Kaneshiro
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007211837A priority Critical patent/JP2008004123A/ja
Publication of JP2008004123A publication Critical patent/JP2008004123A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】画像中に存在する抽出すべき領域を高速かつ精度良く抽出する。
【解決手段】画像を測光し、微分フィルタを用いて各画素毎にエッジ強度及びエッジ方向を求める。次にエッジの追跡を開始する追跡開始点(基準点)を求め、抽出すべき領域の輪郭としての人物に相当する領域の輪郭に特有の丸みを帯びた形状の輪郭線のみが抽出されるように基準点に対するエッジの探索範囲を設定し((A)参照)、基準点におけるエッジ方向に基づいて探索すべきエッジ方向のパターンを設定し((B)参照)、探索範囲内に存在し前記パターンに合致するエッジ方向を有しかつ所定値以上のエッジ強度のエッジを探索し、前記条件に合致する複数のエッジ((C)にハッチングで示す)のうちエッジ強度が最大のエッジを次の基準点として選択する((D)参照)。上記処理を繰り返すことにより人物の輪郭に相当すると推定される輪郭線を抽出する。
【選択図】図7

Description

本発明は特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法に係り、特に、特定の輪郭形状の領域を画像から抽出する特定形状領域の抽出装置、該特定形状領域の抽出装置に適用可能な特定形状領域の抽出方法、所定の特徴を備えた特定領域を画像から抽出する特定領域の抽出装置、該特定領域の抽出装置に適用可能な特定領域の抽出方法、前記抽出方法を適用して複写条件を決定する複写条件決定装置、及び、該複写条件決定装置に適用可能な複写条件決定方法に関する。
人物写真を観賞するときに最も注目される部位は人物の顔であり、例えばフィルム等に記録された原画像を印画紙等の複写材料に焼付ける場合には、人物の顔の色が適正な色に焼付けされるように露光量を決定する必要がある。
このため、人物写真では人物が画像の略中央部に位置している確率が高いとの経験則に基づいて、フィルム画像を予め固定的に定められた複数の領域に分割すると共に、画像の略中央部に位置している領域の重みが重くなるように各領域を重み付けし、各領域の3色の透過濃度の加重平均値を求め、該加重平均値に基づいて露光量を決定することが従来より行われている。
しかし、上記では人物が実際に画像の略中央部付近に位置していれば、該人物が適正に焼付される露光量を得ることができるが、人物が画像の中央部から大きく外れた位置に位置している場合には適正な露光量を得ることができないという問題があった。また上記では、ストロボを使用して撮影した画像や逆光のシーンを撮影した画像等のように、濃度フェリアやカラーフェリアが発生し易い画像についても、適正な露光量を得ることが難しいという問題があった。
また本出願人は、カラー原画像を多数画素に分割し各画素毎にR、G、Bの3色に分解して測光し、測光データに基づいて色相値(及び彩度値)についてのヒストグラムを求め、求めたヒストグラムを山毎に分割し、各画素が分割した山の何れに属するかを判断して各画素を分割した山に対応する群に分け、各群毎にカラー原画像を複数の領域に分割し(所謂クラスタリング)、該複数の領域のうち人物の顔に相当する領域を推定し、推定した領域の測光データに基づいて露光量を決定することを提案している(特許文献1参照)。
また、特許文献2には、人物の顔に相当する領域を抽出する確度を向上させるために、画像の外縁に接している領域を背景領域と判断して除去したり、抽出した領域を線図形化し、抽出した領域の周辺に位置している近傍領域の形状及び抽出した領域の形状に基づいて、抽出した領域が人物の顔に相当する領域であるか否かを判断することも記載されている。
特開平4−346332号公報 特開平6−160993号公報
しかしながら、上記では、原画像に例えば地面や木の幹等の肌色領域が存在しており、該肌色領域の色相及び彩度が原画像中の人物の顔に相当する領域の色相及び彩度と近似していた場合、この領域を人物の顔に相当する領域と誤判定する可能性がある。また、この肌色領域が人物の顔に相当する領域と隣接していた場合、肌色領域と人物の顔に相当する領域とを分離できず、原画像を適正な範囲の領域に分割できないことがあった。上記従来技術では、分割した領域の何れかが人物の顔に相当する領域であることを前提として処理を行っているため、原画像を適正な範囲の領域に分割できなかった場合には、人物の顔に相当する領域を誤判定し、人物の顔が適正に焼付けできる露光量を得ることができない、という問題があった。
隣接する領域の色等の影響を受けることなく所定領域を画像から適正に抽出する1つの方法として、画像中のエッジ(濃度又は輝度の変化が大きい点)を検出し、検出した各エッジに対し周囲に他のエッジが存在しているか否かを判定することを繰り返してエッジの連なりから成る輪郭線を多数抽出し、抽出した多数の輪郭線の各々に対し前記所定領域の輪郭形状とのパターンマッチング等を行って前記所定領域の輪郭に相当する輪郭線を判断し、所定領域を抽出することが考えられる。人物の顔に相当する領域の輪郭は略楕円形状であるので、上記方法において、抽出した多数の輪郭線の中から略楕円形状の領域の輪郭に相当する輪郭線を判断することにより、人物の顔に相当すると推定される領域を抽出することは可能である。
しかしながら、画像中から多数の輪郭線を抽出する処理、及び抽出した多数の輪郭線の中から抽出すべき所定領域の輪郭に相当する輪郭線を判断する処理は非常に煩雑であり、上記方法を適用して人物の顔に相当する領域等を画像から抽出しようとすると、処理に非常に時間がかかるという問題があった。
本発明は上記事実を考慮して成されたもので、画像中に存在する抽出すべき領域を高速かつ精度良く抽出することができる特定形状領域の抽出方法及び特定領域の抽出方法を得ることが目的である。
また本発明は、画像中に存在する人物の顔に相当する領域を高速で抽出し、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる複写条件決定方法を得ることが目的である。
画像から抽出すべき領域の輪郭形状が既知であり、かつ該領域の輪郭線を構成する多数の点のうち或る点の位置が既知である場合、前記輪郭線を構成する次の点のおおよその位置、及びこの点における輪郭線の延びる方向は、前記領域の輪郭形状に基づいて推定できる。
上記に基づき請求項1記載の発明に係る特定形状領域の抽出装置は、画像中の多数箇所における濃度又は輝度を各々測定する測定手段と、前記測定手段による濃度又は輝度の測定結果に基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に求める演算手段と、画像中の所定方向に沿った濃度又は輝度の変化量が所定値以上の箇所を基準点として設定する基準点設定手段と、前記基準点との距離が所定範囲内で、かつ前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし画像中に存在する特定の輪郭形状の領域の前記輪郭形状に応じて定めた前記基準点に対する角度範囲内の範囲を探索範囲として設定すると共に、前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし前記領域の輪郭形状に応じて、前記探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合には検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて前記基準点に対する角度範囲を切り替えることで、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記領域の輪郭を表す輪郭線として抽出する抽出手段と、を含んで構成されている。
請求項1の発明では、基準点設定手段により、画像中の所定方向に沿った濃度又は輝度の変化量が所定値以上の箇所が基準点として設定され、抽出手段は、探索範囲として、抽出すべき領域の輪郭線に対応する次の基準点が存在していると推定される範囲、すなわち基準点との距離が所定範囲内で、かつ基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし抽出すべき領域の輪郭形状に応じて定めた基準点に対する角度範囲内の範囲を設定する。
また抽出手段は、探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを、基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし前記領域の輪郭形状に応じて設定する。この探索方向パターンは、前記探索範囲内の各箇所を次の基準点であると各々仮定したときに、各箇所における輪郭線の延びる方向と推定される方向を表している(但し、輪郭線の延びる方向は濃度又は輝度の変化方向と略直交する方向である)。
そして請求項1の発明に係る抽出手段は、設定した探索範囲内に存在しかつ設定した探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索するので、探索範囲が従来に比して狭く、次の基準点として設定すべき箇所を短時間で探索することができる。また、探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所のみを探索するので、抽出すべき領域の輪郭線に対応している可能性が高い箇所のみが探索されることになり、基準点として設定する箇所が前記輪郭線に対応している箇所である確率が向上する。
また、請求項1の発明に係る抽出手段は、抽出すべき領域の輪郭線に対応する次の基準点が存在していると推定される範囲内に存在し、探索方向パターンが表す方向(輪郭線の延びる方向と推定される方向に対応する方向)に沿った濃度又は輝度の変化量が所定値以上の箇所のみを探索するので、前記探索条件を満たす箇所が検出されなかった場合には、現在設定している基準点より先には抽出すべき領域の輪郭線に対応する箇所は存在していないとみなし、探索を中止することができる。これにより、特定の輪郭形状の領域の輪郭線に対応すると推定される箇所のみを高速で検出できる。
また、請求項1の発明に係る抽出手段は、探索範囲及び探索方向パターンを設定し、探索条件を満足している箇所を探索し、検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて前記基準点に対する角度範囲を切り替えるので、抽出すべき領域の輪郭形状が、例えば凹凸があったり、直線や曲線や種々の角度の屈曲部が組み合わされた複雑な形状であった場合にも、該領域の輪郭線を抽出することが可能となる。そして、請求項1の発明に係る抽出手段は、基準点として順に設定した画像中の複数箇所を結んで成る線を、前記領域の輪郭を表す輪郭線として抽出するので、画像中に存在する抽出すべき領域を高速に抽出することができると共に、前記領域の周囲に存在する領域の色等の影響を受けにくくなるので、前記領域を精度良く抽出することができる。
ところで、請求項1の発明における探索において、前記探索条件を満足する箇所として複数の箇所が検出される可能性がある。このような場合、抽出手段は、請求項2に記載したように、前記複数の箇所のうち探索方向パターンが表す方向に沿った濃度又は輝度の変化が最も大きい箇所を次の基準点として設定するか、又は、予め定めた現在の基準点に対する次の基準点の位置の優先順位に従って、前記複数の箇所のうち優先順位の最も高い位置に位置している箇所を次の基準点として設定することが好ましい。
これにより、探索方向パターンが表す方向に沿った濃度又は輝度の変化が最も大きい箇所を次の基準点として設定するようにした場合には、検出された複数箇所のうち抽出すべき領域の輪郭に対応する箇所である可能性が比較的高いと推定される箇所が選択されるので、抽出すべき領域の輪郭線に対する抽出精度が向上する。また、予め定めた現在の基準点に対する次の基準点の位置の優先順位に従って、優先順位の最も高い位置に位置している箇所を次の基準点として設定するようにした場合には、例えば前記領域の輪郭線の一部の箇所において周囲の部分に対する濃度又は輝度の変化が小さいときにも、前記領域の輪郭形状に対応する輪郭線を抽出することが可能となり、上記と同様に、抽出すべき領域の輪郭線に対する抽出精度が向上する。
請求項3記載の発明に係る複写条件決定装置は、前記角度範囲として人物の輪郭形状に応じた角度範囲を設定する前記抽出手段を備えた請求項1又は請求項2記載の特定形状領域の抽出装置と、前記特定形状領域の抽出装置によって画像から抽出された輪郭線により区画された画像中の領域が人物の顔に相当する領域か否か判定する判定手段と、前記判定手段によって人物の顔に相当する領域であると判定された領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定する決定手段と、を含んで構成されている。
請求項3の発明では、人物の輪郭形状に応じた角度範囲を設定する抽出手段を備えた請求項1又は請求項2記載の特定形状領域の抽出装置により輪郭線を抽出するので、前述のように、人物の輪郭に相当すると推定される領域の輪郭線を高速で抽出することができる。そして請求項3の発明では、抽出した輪郭線により囲まれた画像中の領域が人物の顔に相当する領域か否かが判定手段によって判定されるので、人物の顔に相当する領域を精度良く抽出できると共に、人物の顔に相当する領域であると判定された領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件が決定手段によって決定されるので、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる。
なお、前述の人物の顔に相当する領域か否かの判定は、例えば、抽出した輪郭線によって区画された領域(人物の顔に相当すると推定される領域)に対し、人物の顔と人物の特定の部分(例えば人物の頭部、胴体及び顔の内部構造として眼部、鼻、口等)との位置関係に対応する位置に、前記領域に対応する大きさ及び向きで、前記特定の部分に対応すると推定される形状パターンが存在しているか否かを判断することによって行うことができる。
また、請求項4に記載したように、角度範囲として、輪郭形状が人物の輪郭と異なる所定領域の前記輪郭形状に応じた角度範囲も設定し、判定手段が、角度範囲として輪郭形状が人物の輪郭と異なる所定領域の前記輪郭形状に応じた角度範囲を用いて特定形状領域の抽出装置により画像から抽出された輪郭線の配置も考慮して、前記人物の顔に相当する領域か否かの判定を行うようにしてもよい。なお、前記所定領域としては、人物の各部分の輪郭形状と明らかに異なる輪郭形状の領域、例えば家具や窓等の人工物に対応する領域を適用することができる。
これにより、上記で抽出された輪郭線の配置に基づいて、請求項3の発明により抽出された人物の顔に相当する領域の輪郭と推定される輪郭線が、誤抽出された輪郭線か否かを容易に判断することができ、人物の顔に相当する領域の抽出精度が更に向上し、人物の顔に相当する領域を適正に焼付けできる複写条件をより高い得率で得ることができる。
なお、請求項1又は請求項2に記載の発明は、濃度又は輝度の変化が大きな箇所が、濃度又は輝度の変化方向に略直交する方向に沿って連続して成るラインによって全周が区画されている領域(前記ラインはこの領域の輪郭線に相当する)を抽出することを前提としており、濃度又は輝度の変化量及び変化方向に基づいて前記領域の輪郭に相当する箇所を抽出していたが、抽出すべき領域の輪郭線が途切れている場合や、輪郭の形状が不定又は複雑な領域から略一定の外縁形状の部分領域を抽出する等の場合には、上記方法を適用したとしても前記領域を適正に抽出することは困難である。
上記を考慮し、請求項5記載の発明に係る特定領域の抽出装置は、画像中の抽出すべき特定領域の外縁上に複数の特徴点が定められ、前記特定領域の各特徴点の間に相当する部分の特徴に応じて各特徴点間毎に各々設定された、前記特定領域の各特徴点間の外縁に相当する箇所を所定の画像特徴量に基づいて探索する探索条件を記憶する記憶手段と、前記特定領域の外縁に相当すると推定される箇所を探索し、探索した箇所を基準点として設定する基準点設定手段と、前記基準点が前記複数の特徴点又は前記各特徴点間のうちの何れに対応しているかを判定し、探索に用いる探索条件として、前記記憶手段に記憶されている探索条件のうち、前記基準点が対応している特徴点と、前記特定領域の外縁上における次の特徴点と、の間の外縁に相当する箇所を探索する探索条件を用い、画像中の前記基準点を基準とする所定範囲内に存在し、かつ前記探索条件を満足する箇所を探索し、前記探索条件を満足する箇所を検出した場合には、検出した箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記特定領域の外縁を表す線として抽出する抽出手段と、を含んで構成されている。
請求項5の発明では、抽出すべき特定領域の外縁上に複数の特徴点が定められ、画像中から抽出すべき特定領域の各特徴点の間に相当する部分の特徴(例えば特定領域の外縁の形状やその他の画像特徴量)に応じて、特定領域の外縁に相当する箇所を所定の画像特徴量に基づいて探索する探索条件が各特徴点間毎に各々設定され、当該探索条件が記憶手段に記憶されている。この探索条件としては、例えば請求項7に記載したように、抽出すべき特定領域の外縁に相当する箇所を、各箇所(画像を構成する最小単位である画素であっても、複数画素から成るブロックであってもよい)における、濃度又は輝度の変化量、濃度又は輝度の変化方向、濃度値又は輝度値、色味の何れかに基づいて探索する探索条件を用いることができる。
例えば特定領域として、画像中の濃度又は輝度の変化が大きい輪郭線を外縁とする領域を抽出する場合には、画像中の画素毎の濃度又は輝度の変化量や変化方向に基づいて特定領域の外縁に相当する箇所を探索する探索条件を用いることができる。また、例えば特定領域として画像中の輪郭線を外縁とする領域を抽出するものの、前記輪郭線における濃度又は輝度の変化が比較的小さい場合には、複数画素から成るブロック単位での濃度又は輝度値の変化量や変化方向に基づいて特定領域の外縁に相当する箇所を探索する探索条件を用いることができる。更に、例えば特定領域として、濃度又は輝度が所定範囲内である箇所の集まりから成る領域、或いは所定の色味の箇所の集まりから成る領域を抽出する場合には、画像中の各箇所における濃度値又は輝度値、或いは色味に基づいて特定領域の外縁に相当する箇所を探索する探索条件等を用いることができる。
また請求項5の発明では、基準点設定手段が、特定領域の外縁に相当すると推定される箇所を探索し、探索した箇所を基準点として設定する。そして、請求項5の発明に係る抽出手段は、基準点が複数の特徴点又は各特徴点間のうちの何れに対応しているかを判定し、探索に用いる探索条件として、前記基準点が対応している特徴点と、特定領域の外縁上における次の特徴点と、の間の外縁に相当する箇所を探索する探索条件を設定し、画像中の前記基準点を基準とする所定範囲内に存在し、かつ前記探索条件を満足する箇所を探索し、前記探索条件を満足する箇所を検出した場合には、検出した箇所を次の基準点として設定することを繰り返す。従って探索範囲が従来に比して狭く、次の基準点として設定すべき箇所を短時間で探索することができる。また、探索条件を満足する箇所のみを探索するので、抽出すべき特定領域の外縁である可能性が高い箇所のみが探索されることになり、基準点として設定した箇所が前記特定領域の外縁に相当する箇所である確率が向上する。
また、請求項5の発明に係る抽出手段は、前記探索条件を満たす箇所が検出されなかった場合には、現在設定している基準点より先には抽出すべき領域の外縁に相当する箇所は存在していないとみなし、探索を中止することができる。これにより、特定領域の外縁に相当すると推定される箇所のみを高速で検出できる。更に、請求項5の発明に係る抽出手段は、特定領域の外縁上に複数定めた各特徴点の間に相当する箇所を、各特徴点間に相当する部分(特定領域の一部分)の特徴に応じて各特徴点間毎に設定した探索条件のうちの対応する探索条件を用いて探索するので、例えば抽出すべき特定領域の特徴が部分的に大きく異なっている(例えば外縁の形状が複雑)等の理由により、一定の探索条件を用いたとすると、前記特定領域の外縁の全周のうちの一部の範囲において外縁に相当する箇所の検出が困難となる場合にも、画像中の特定領域を確実に抽出することができる。そして、基準点として順に設定した画像中の複数箇所を結んで成る線を、前記特定領域の外縁を表す線として抽出するので、請求項1の発明と同様に、画像中の特定領域を高速に抽出することができる。
請求項6記載の発明は、請求項5の発明において、前記記憶手段には、前記探索条件として、前記特定領域の外縁に相当する箇所を互いに異なる画像特徴量に基づいて探索する複数種類の探索条件が各々記憶されていると共に、各探索条件に対して優先度が定められており、前記抽出手段は、優先度の高い探索条件を満足する箇所が検出されなかった場合には、優先度の低い探索条件を満足する箇所を探索し、該優先度の低い探索条件を満足する箇所を検出した場合には、該検出した箇所を次の基準点として設定することを特徴としている。
請求項6の発明では、互いに異なる画像特徴量に基づいて探索を行う複数種類の探索条件が記憶手段に各々記憶されていると共に、各探索条件に対して優先度を定められており、抽出手段は、優先度の高い探索条件を満足する箇所が検出されなかった場合には、優先度の低い探索条件を満足する箇所を探索し、該優先度の低い探索条件を満足する箇所を検出した場合には、該検出した箇所を次の基準点として設定する。
これにより、例えば抽出すべき特定領域の特徴が部分的に大きく異なっている等の理由により、単一の画像特徴量に基づく探索では、前記特定領域の外縁の全周のうちの一部の範囲において外縁に相当する箇所の検出が困難となる場合にも、請求項6の発明によれば、別の画像特徴量に基づく探索も行うことで、特定領域の外縁に相当する箇所の探索を継続することが可能となり、画像中の抽出すべき特定領域を確実に抽出することができる。
請求項8記載の発明に係る複写条件決定装置は、前記探索条件として、人物の顔に相当する領域の特徴に応じた第1の探索条件を記憶する前記記憶手段を備えた請求項5乃至請求項7の何れか1項記載の特定領域の抽出装置と、前記特定領域の抽出装置により前記第1の探索条件を用いて画像から抽出された線により区画される画像中の領域が人物の顔に相当する領域か否か判定する判定手段と、前記判定手段によって人物の顔に相当する領域であると判定された領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定する決定手段と、を含んで構成されている。
請求項8の発明では、人物の顔に相当する領域の特徴に応じた第1の探索条件を用い、請求項5乃至請求項7の何れかに記載の特定領域の抽出装置により人物の顔に相当すると推定される特定領域の外縁を表す線を抽出するので、前述のように、人物の顔に相当すると推定される特定領域の外縁を高速で抽出できる。そして請求項8の発明では、抽出された線により囲まれた画像中の領域が人物の顔に相当する領域か否かが判定手段によって判定されるので、請求項3の発明と同様に、人物の顔に相当する領域を精度良く抽出できると共に、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定するので、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる。
請求項9記載の発明は、請求項8の発明において、前記記憶手段には、前記探索条件として、人物の顔に相当する領域と異なる領域の特徴に応じた第2の探索条件も記憶されており、前記判定手段は、前記特定領域の抽出装置により前記第2の探索条件を用いて画像から抽出された線の配置も考慮して前記人物の顔に相当する領域か否かの判定を行うことを特徴としている。
請求項9の発明では、人物の顔に相当する領域と異なる領域の特徴に応じた第2の探索条件を用いて探索を行うので、上記で抽出された線の配置に基づいて、請求項8の発明により抽出された人物の顔に相当する領域の外縁を表すと推定される線が、誤抽出された線か否かを容易に判断することができ、請求項4の発明と同様に、人物の顔に相当する領域の抽出精度を更に向上させることができ、人物の顔に相当する領域を適正に焼付けできる複写条件をより高い得率で得ることができる。
請求項10記載の発明に係る特定形状領域の抽出方法は、測定手段により、画像中の多数箇所における濃度又は輝度を各々測定させ、演算手段により、前記測定手段による濃度又は輝度の測定結果に基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に演算させ、基準点設定手段により、画像中の所定方向に沿った濃度又は輝度の変化量が所定値以上の箇所を基準点として設定させ、抽出手段により、前記基準点との距離が所定範囲内で、かつ前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし画像中に存在する特定の輪郭形状の領域の前記輪郭形状に応じて定めた前記基準点に対する角度範囲内の範囲を探索範囲として設定すると共に、前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし前記領域の輪郭形状に応じて、前記探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合には検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて前記基準点に対する角度範囲を切り替えることで、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記領域の輪郭を表す輪郭線として抽出させるので、請求項1記載の発明と同様に、画像中に存在する抽出すべき領域を高速かつ精度良く抽出することができる。
請求項11記載の発明に係る複写条件決定方法は、前記角度範囲として人物の輪郭形状に応じた角度範囲を設定して請求項10記載の特定形状領域の抽出方法により画像から輪郭線を抽出し、判定手段により、前記抽出した輪郭線により区画された画像中の領域が人物の顔に相当する領域か否か判定させ、決定手段により、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定させることを特徴としているので、請求項3記載の発明と同様に、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる。
請求項12記載の発明に係る特定領域の抽出方法は、画像中の抽出すべき特定領域の外縁上に複数の特徴点を定め、前記特定領域の各特徴点の間に相当する部分の特徴に応じて、前記特定領域の各特徴点間の外縁に相当する箇所を所定の画像特徴量に基づいて探索する探索条件を各特徴点間毎に各々設定し、設定した探索条件を記憶手段に記憶しておき、基準点設定手段により、前記特定領域の外縁に相当すると推定される箇所を探索し、探索した箇所を基準点として設定させ、抽出手段により、前記基準点が前記複数の特徴点又は前記各特徴点間のうちの何れに対応しているかを判定し、探索に用いる探索条件として、前記記憶手段に記憶されている探索条件のうち、前記基準点が対応している特徴点と、前記特定領域の外縁上における次の特徴点と、の間の外縁に相当する箇所を探索する探索条件を用い、画像中の前記基準点を基準とする所定範囲内に存在し、かつ前記探索条件を満足する箇所を探索し、前記探索条件を満足する箇所を検出した場合には、検出した箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記特定領域の外縁を表す線として抽出させるので、請求項5記載の発明と同様に、画像中に存在する抽出すべき領域を高速かつ精度良く抽出することができる。
請求項13記載の発明に係る複写条件決定方法は、前記探索条件として、人物の顔に相当する領域の特徴に応じた第1の探索条件を用い、請求項12記載の特定領域の抽出方法により画像から領域の外縁を表す線を抽出し、判定手段により、前記抽出した線により区画される画像中の領域が人物の顔に相当する領域か否か判定させ、決定手段により、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定させることを特徴としているので、請求項8記載の発明と同様に、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる。
以上説明したように本発明は、基準点を設定し、基準点との距離が所定範囲内で、かつ基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし抽出すべき領域の輪郭形状に応じて定めた基準点に対する角度範囲内の範囲を探索範囲として設定すると共に、基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし前記領域の輪郭形状に応じて探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを設定し、探索範囲内に存在しかつ探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合には検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて基準点に対する角度範囲を切り替えることで、基準点として順に設定した画像中の複数箇所を結んで成る線を、前記領域の輪郭を表す輪郭線として抽出するようにしたので、画像中に存在する抽出すべき領域を高速かつ精度良く抽出することができる、という優れた効果を有する。
また本発明は、角度範囲として人物の輪郭形状に応じた角度範囲を設定して上記の特定形状領域の抽出を行って輪郭線を抽出し、抽出した輪郭線により区画された画像中の領域が人物の顔に相当する領域か否か判定し、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて複写条件を決定するようにしたので、画像中に存在する人物の顔に相当する領域を高速で検出し、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる、という優れた効果を有する。
また本発明は、抽出すべき特定領域の外縁上に複数の特徴点を定め、特定領域の各特徴点の間に相当する部分の特徴に応じて、特定領域の各特徴点間の外縁に相当する箇所を所定の画像特徴量に基づいて探索する探索条件を各特徴点間毎に各々設定し、特定領域の外縁に相当すると推定される箇所を探索して基準点として設定し、基準点が複数の特徴点又は各特徴点間のうちの何れに対応しているかを判定し、探索に用いる探索条件として、設定した基準点が対応している特徴点と、特定領域の外縁上における次の特徴点と、の間の外縁に相当する箇所を探索する探索条件を設定し、画像中の基準点を基準とする所定範囲内に存在し、かつ前記探索条件を満足する箇所を探索し、前記探索条件を満足する箇所を検出した場合には、検出した箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を特定領域の外縁を表す線として抽出するので、画像中の特定領域を高速かつ精度良く抽出することができる、という優れた効果を有する。
また本発明は、人物の顔に相当する領域の特徴に応じた第1の探索条件を用いて上記の特定領域の抽出を行って画像から領域の外縁を表す線を抽出し、抽出した線により区画される画像中の領域が人物の顔に相当する領域か否か判定し、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて、複写材料への画像の複写条件を決定するので、画像中に存在する人物の顔に相当する領域を高速で検出し、人物の顔に相当する領域を適正に焼付けできる複写条件を短時間で得ることができる、という優れた効果を有する。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下では本発明の実施形態の説明に先立ち、まず本発明の比較例を説明する。
〔第1比較例〕
図1には本発明を適用可能な写真焼付装置10が示されている。写真焼付装置10は、ネガフィルム12に記録された画像を焼付けるための露光光を射出する光源16を備えている。光源16の光射出側には、調光フィルタ等の色補正フィルタ18、拡散ボックス20、分配用プリズム22が順に配列されている。
写真フィルムとしてのネガフィルム12の搬送路は拡散ボックス20と分配用プリズム22との間に形成されており、分配用プリズム22はネガフィルム12を透過した光を2方向に分配する。光源16の光軸を挟んで両側には、ネガフィルム12の搬送路に沿って搬送ローラ対14A、14Bが設けられている。搬送ローラ対14A、14Bは各々モータ52A、52Bの駆動軸に連結されており、モータ52A、52Bの駆動力が伝達されることにより回転し、ネガフィルム12を搬送する。
分配用プリズム22によって2方向に分配された光の一方の光路上には、投影光学系24、ブラックシャッタ26、及び複写材料としてのカラーペーパ(印画紙)28が順に配置されており、他方の光路上には投影光学系30、CCDイメージセンサ32が順に配置されている。CCDイメージセンサ32はネガフィルム12に記録された画像(1コマ)全体を多数の画素(例えば256×256画素)に分割し、各画素をR(赤)、G(緑)、B(青)の3色に分解して測光する。
CCDイメージセンサ32の信号出力端には、CCDイメージセンサ32から出力された信号を増幅する増幅器34、アナログ−デジタル(A/D)変換器36、CCDイメージセンサ32の感度補正用の3×3マトリクス回路38が順に接続されている。3×3マトリクス回路38は、マイクロコンピュータ及びその周辺機器で構成された制御部40の入出力ポート40Dに接続されている。制御部40は、CPU40A、ROM40B、RAM40C及び入出力ポート40Dを備えており、これらがバスを介して互いに接続されている。
制御部40の入出力ポート40Dには、色補正フィルタ18を駆動するドライバ46を介して色補正フィルタ18が接続されており、ドライバ50A、50Bを介してモータ52A、52Bが各々接続されている。また入出力ポート40Dには、LCD又はCRTから成る表示手段としてのディスプレイ42と、オペレータが各種情報を入力するためのテンキー等のキーボード44と、光源16の光軸を挟んで両側に配置されネガフィルム12の透過光量を検出する画面検出センサ48が接続されている。
次に図2のフローチャートを参照し、本第1比較例の作用を説明する。なお図2のフローチャートは、写真焼付装置10にセットされたネガフィルム12を所定方向に搬送すると共に画面検出センサ48からの出力信号を監視して、ネガフィルム12に記録された画像を露光位置に位置決めする毎に実行される。
ステップ100では露光位置に位置決めした画像をCCDイメージセンサ32によって測光し、CCDイメージセンサ32から増幅器34、A/D変換器36、3×3マトリクス回路38を介して出力される一定の解像度のR、G、B毎の画像データを取込み、更に取込んだ画像データをRAM40C等のメモリに一旦記憶する。ステップ102では、メモリに格納された画像データを取り込み、各画素毎に、周囲に存在する8個の画素(所謂8近傍の画素)へ各々向かう方向(合計8方向:図4に45°刻みで互いに方向の異なる8本の矢印として示す)に沿った濃度変化値(エッジ強度)をSobel 等の微分フィルタを用いて各々演算する。前記8方向に沿ったエッジ強度を各々演算するための8個の微分フィルタの一例を図4に示す。
例えば所定方向に沿ったエッジ強度を演算する場合には、図4に示す8本の矢印のうち前記所定方向を向いた矢印が指し示す微分フィルタを用い、演算対象の画素の濃度値及び演算対象の画素の周囲に存在する8個の画素の濃度値に対し、前記微分フィルタの数値を係数として各々乗じそれらの総和を演算することで前記所定方向に沿ったエッジ強度を求めることができる。上記演算を各方向に対応する8個の微分フィルタを用いて行うことで、単一の画素における各方向に沿ったエッジ強度を求めることができる。
なお、上記により求まるエッジ強度は、各画素の周囲の各方向に沿ったエッジ強度を、8個の方向成分に量子化したものである。エッジ強度を演算する方向成分の数は上記に限定されるものではなく、エッジ強度を演算する方向成分の数を多く(例えば16個)してもよいが、方向成分数を多くするとアルゴリズムが複雑となり、処理に時間がかかる。また、方向成分数を少なく(例えば4個)した場合には、アルゴリズムは更に簡単になるが後述する輪郭線の抽出精度は低下する。
またステップ102では、各画素毎に、上記各方向に沿ったエッジ強度を比較し、エッジ強度の絶対値の最大値を処理対象画素のエッジ強度として記憶すると共に、エッジ強度の絶対値が最大となる方向に直交する方向(すなわち処理対象の画素が或る領域の輪郭線上に存在していたとすると前記輪郭線の延びる方向)を、各画素のエッジ方向として記憶する。なお、本比較例においてエッジ方向は、図4に示すように上述した8方向のうち互いに180°異なる方向を同一方向とし、各方向に0〜3の符号を付して区別している。従って、例えばエッジ強度の絶対値が最大となる方向が図4に符号「1」に示す方向であったとすると、この方向に直交する方向を表す情報(図4に示す符号「3」)がエッジ方向として記憶される。上記処理により、各画素毎のエッジ強度及びエッジ方向がメモリにエッジデータとして記憶されることになる。
次のステップ104では、人物の輪郭を抽出するエッジ追跡処理を行う。このエッジ追跡処理について図3のフローチャートを参照して説明する。ステップ130では、先のステップ102でメモリに記憶されたエッジデータに基づき、追跡開始点としてのエッジを探索する。なお、この探索は各画素のエッジデータを図5(A)に破線の矢印で示すようにラスタ方向にスキャンしながら、所定値以上のエッジ強度をもつ画素(エッジ)か否かを判断することを繰り返すことにより行われる。所定値以上のエッジ強度をもつエッジを検出すると、上記探索を中止してステップ132へ移行し、検出したエッジを追跡開始点として設定し、メモリに記憶する。
ステップ133では、追跡開始点として設定したエッジのエッジ方向に対応する2つの方向のうちの一方をエッジ追跡方向として選択する。例えばエッジ方向が図4に符号「0」で示す方向であった場合、該エッジ方向を構成する2つの方向成分、すなわち画像の右側へ向かう方向、及び画像の左側へ向かう方向の何れかを、エッジ追跡方向として選択する。
次のステップ134では追跡開始点を基準点とし、次の基準点とすべきエッジを探索するための探索範囲を設定する。探索範囲は、図6(A)に示すように、基準点P0を中心として探索距離rを半径とする円の内部で、かつ基準点P0におけるエッジ方向V0(このときはステップ133で設定したエッジ追跡方向)を基準として反時計回りに角度θ1、時計回りに角度θ2の角度範囲内として定義されている。なお、探索距離r、角度θ1、θ2は変数であり、ステップ134では、人物の輪郭を抽出するために予め設定された探索距離r、角度θ1、θ2の値を取込み、画素の中心が上記探索範囲内に位置している画素を、探索範囲内の画素であると判断する。
一例として、角度θ1、θ2が図6(A)に示す角度であった場合に探索範囲内の画素であると判断される画素を図6(B)にハッチングで示す。なお、人物の輪郭を抽出するエッジ追跡処理では、追跡開始点におけるエッジ方向(エッジ追跡方向)が画像の右側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で右に屈曲しながら時計回りに延びる丸みを帯びた輪郭線のみを抽出するように角度θ1、θ2の値が設定され(例えば角度θ1=0°、θ2=45°)、追跡開始点におけるエッジ方向(エッジ追跡方向)が画像の左側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で左に屈曲しながら反時計回りに延びる丸みを帯びた輪郭線のみを抽出するように角度θ1、θ2の値が設定される(例えば角度θ1=45°、θ2=0°)。例として角度θ1=0°、θ2=45°の場合に探索範囲内の画素であると判断される画素を図7(A)にハッチングで示す。
ステップ136では基準点の画素のエッジ方向(V0)に基づいて、探索範囲内の各画素に対する探索エッジ方向パターン(本発明の探索方向パターンに対応している)を設定する。探索エッジ方向パターンは、探索範囲内の各画素のエッジ方向が、基準点の画素のエッジ方向(エッジ追跡方向)V0と整合しているか否かを判定するためのパターンであり、探索範囲内の各画素をPijとしたときに、各画素Pijに対し(V0+ψij1)〜(V0+ψij2)の角度範囲内にあるエッジ方向を探索エッジ方向として設定することにより得られる。
なお、人物の輪郭を抽出するエッジ追跡処理では、上記の角度偏差ψij1,ψij2 についても、追跡開始点におけるエッジ方向(エッジ追跡方向)が画像の右側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で右に屈曲しながら時計回りに延びる丸みを帯びた輪郭線に対応するエッジのエッジ方向のみが探索エッジ方向に合致し、追跡開始点におけるエッジ方向(エッジ追跡方向)が画像の左側へ向かう方向であった場合には、追跡開始点から所定値以下の屈曲度で左に屈曲しながら反時計回りに延びる丸みを帯びた輪郭線に対応するエッジのエッジ方向のみが探索エッジ方向に合致するように、角度θ1、θ2と同様の値が設定される。一例として、図7(A)に示す探索範囲内の各画素に対しψij1 =0°、ψij2 =45°として探索エッジ方向を設定した場合の探索エッジ方向パターンを図7(B)に示す。
次のステップ138では、探索範囲内の各画素のエッジデータ(エッジ方向及びエッジ強度)を取込み、上記で設定された探索エッジ方向パターンに合致するエッジ方向でかつエッジ強度が下限値以上の画素(エッジ)が有るか否か探索する。この探索では、現在設定されている基準点が人物の輪郭に対応する輪郭線上に位置している点であると仮定して、前記輪郭線上に位置している次の点が位置していると推定される探索範囲内のみを探索するので、短時間で探索処理が終了することになる。
ステップ140では、ステップ138の探索によって上記探索条件に該当するエッジが有ったか否か判定する。判定が肯定された場合はステップ142へ移行し、該当するエッジを複数検出したか否か判定する。上記判定が否定された場合は、探索条件に合致するエッジとして単一のエッジが検出された場合であるのでステップ144へ移行し、上記で検出したエッジを基準点として設定し、メモリに記憶した後にステップ150へ移行する。
一方、ステップ142の判定が肯定された場合には、探索条件に合致するエッジとして検出された複数のエッジから、所定の基準に従って単一のエッジを次の基準点として選択する。なお、所定の基準としては例えばエッジ強度が挙げられ、一例として図7(A)に示す探索範囲内の画素(エッジ)のうち、エッジ方向パターンに合致するエッジ方向を有するエッジが、図7(C)にハッチングで示す3画素(図7(C)では各画素のエッジ強度を各々数値で示している)であった場合、上記3画素のうち最もエッジ強度の強いエッジ(図7(C)ではエッジ強度が「15」のエッジ:図7(D)を参照)が選択される。なお、上記処理は請求項2の発明に対応している。次のステップ148では、選択したエッジを基準点として設定し、メモリに記憶した後にステップ150へ移行する。
ステップ150では、上記で設定した基準点が、先のステップ132で設定した追跡開始点に一致しているか否か判定する。判定が否定された場合にはステップ134に戻り、図7(E)、(F)にも示すように上記処理が再び行われ、ステップ140の判定が否定されるか、又はステップ150の判定が肯定される迄上記処理が繰り返される。
上記処理において基準点として設定したエッジの連なりは、後述する処理において輪郭線として扱われるが、前述のように人物の輪郭を抽出するエッジ追跡処理では、追跡開始点から所定値以下の屈曲度で屈曲しながら延びる丸みを帯びた輪郭線に対応するエッジのみが抽出されるように探索条件のパラメータとしての角度θ1、θ2、角度偏差ψij1,ψij2 の値を設定しており、上記のパラメータにより定まる探索条件に合致したエッジが検出されなかった場合にはステップ140の判定が否定されるので、上記処理により、所定値以下の屈曲度で緩やかに屈曲している丸みを帯びた輪郭線、すなわち人物の輪郭に対応すると推定される輪郭線のみが抽出されることになる。
一方、ステップ140の判定が否定されるとステップ152へ移行し、現在設定されている追跡開始点のエッジ方向に対応する2つの方向に沿って各々追跡を行ったか、すなわち前記2つの方向をエッジ追跡方向として各々追跡を行ったか否か判定する。ステップ152の判定が否定された場合にはステップ154へ移行し、現在設定されている追跡開始点を基準点として再設定すると共に、前記2つの方向のうち追跡未実行の方向をエッジ追跡方向として設定した後に、ステップ134へ戻る。これにより、図5(B)に追跡開始点A、追跡開始点Bとして示すように、追跡開始点におけるエッジ方向に対応する2つの方向を各々エッジ追跡方向として、エッジ追跡が行われることになる。
また、ステップ152の判定が肯定された場合、又は基準点として設定したエッジが追跡開始点に一致したことによりステップ150の判定が肯定された場合(すなわち画像中の閉領域の輪郭上に位置している点を前記閉領域の全周に亘って基準点として検出できた場合)には、単一の輪郭線に対応するエッジの追跡処理を終了してステップ155へ移行し、上記処理によって設定した基準点の数が所定数以上であった場合には、各基準点を設定順に結んで成る線を人物の輪郭を表す輪郭線として登録する。
次のステップ156では、新たな追跡開始点としてのエッジを先のステップ152と同様にして探索し、ステップ158では該当するエッジが検出されたか否か判定する。判定が肯定された場合にはステップ132へ戻り、新たに検出されたエッジを追跡開始点としてエッジ追跡処理を行う。そして、ステップ158の判定が否定されると、上述した人物の輪郭を抽出するエッジ追跡処理を終了し、図2のフローチャートのステップ106へ移行する。
ステップ106では、上述した人物の輪郭を抽出するエッジ追跡処理によって抽出された複数の輪郭線から、人物の顔に相当すると推定される顔候補領域の輪郭を判定する。この判定は、請求項3に記載の人物の顔に相当する領域か否かの判定に対応している。なお上記判定は、一例として図5(C)に示す各輪郭線を構成する方向成分の数や縦横比(図のL2/L1)等のように輪郭線の形状を表す特徴量に基づいて行うことができる。例えば、人物の顔に相当すると推定される領域の輪郭形状は、縦横比が所定範囲内の円又は楕円であることが一般的であるので、所定数以上(例えば「5」以上)の方向成分から構成され、縦横比が所定範囲内に収まっている輪郭線(図では輪郭線A)を人物の顔に相当すると推定される領域の輪郭であると判断することができ、方向成分数が所定数未満の輪郭線や縦横比が所定範囲外の輪郭線(図では輪郭線B)については、顔候補領域の輪郭ではないと判断することができる。
次のステップ108では、人物領域でない領域(非人物領域)の輪郭を抽出するエッジ追跡処理を行う。この非人物領域の輪郭を抽出するエッジ追跡処理は、請求項4に記載の輪郭線の抽出に対応しており、先に説明した人物の輪郭を抽出するエッジ追跡処理(図3参照)と殆ど同じであるが、図8(A)にも示すように、次の基準点とすべきエッジを探索するための探索範囲の定義が異なっており、基準点P0を中心として探索距離rを半径とする円の内部で、かつ基準点P0におけるエッジ方向(エッジ追跡方向)V0を中心として角度θの角度範囲内、及びエッジ方向V0に直交する方向V1を中心として角度θの範囲内(図8(A)にハッチングで示す範囲内)とされている。上記の探索範囲により探索範囲内の画素であると判断される画素を図8(B)にハッチングで示す。
上記のように探索範囲を設定することにより、略直線的に続いている輪郭線や所定部分で略直角に折れ曲がっている輪郭線、すなわち人物の輪郭線でない可能性が高い輪郭線(例えば窓や家具等のように人工物の輪郭線である可能性が高い輪郭線)のみが抽出されることになる。上記の処理は請求項4に記載した所定領域の輪郭を表す輪郭線を抽出する処理に対応している。
次のステップ110では、ステップ106で顔候補領域の輪郭線である確度が高いと判定された輪郭線から、人物の顔に相当する領域の輪郭線でない可能性のある輪郭線をステップ108の処理結果に基づいて除去し、人物の顔に相当する領域である確度が高い領域(顔領域)の輪郭線を判定する。この判定は請求項3及び請求項4に記載の人物の顔に相当する領域か否かの判定に対応している。
上記判定は、ステップ106で顔候補領域の輪郭線であると判定された輪郭線が、ステップ108で抽出された非人物領域の輪郭線と例えば交差しているか否かに基づいて判断することができ、非人物領域の輪郭線と交差していた場合には、人物の顔に相当する領域の輪郭線でない可能性が高いと判断して除去する。またステップ110では、上記判定により除去されなかった輪郭線に基づいて、例えば図5(D)に示すように前記輪郭線に囲まれた円又は楕円形状の領域、或いは前記輪郭線に外接する矩形状の領域を顔領域として設定する。
ステップ112では、ステップ102〜110の処理を所定回実行したか否か判定する。判定が肯定された場合にはステップ114へ移行し、ステップ100で取り込んで記憶した画像データに対し、各画素のデータを所定間隔で間引きするか、各々m×n個の画素から成る画素のブロック毎に、各ブロックを構成する全画素の各々の濃度又は色の平均を各ブロックの代表値とすることにより、画像データの解像度を変換し(解像度を低下させ)た後にステップ102へ戻る。これにより、ステップ112の判定が肯定される迄の間、画像データの解像度を毎回低下させながらステップ102〜110の処理(エッジ検出、エッジ追跡、顔領域判定等)が繰り返し行われることになる。
なお、上記のように画像データの解像度を毎回変化させながら、エッジ追跡、顔領域判定等の処理を繰り返し行う理由は、画像中の人物に相当する領域のサイズの大小によって、人物の輪郭を抽出するための適切な解像度が異なっているためである。
すなわち、人物に相当する領域のサイズが大きい場合は、図9(A)に示すように解像度が粗ければ、人物の輪郭線を抽出するエッジ追跡処理で丸みを帯びた輪郭線を抽出できるが、図9(C)に示すように解像度が細かいと、大雑把には丸みを帯びた形状である輪郭線に凹凸等の僅かな変動が生じ、この変動の影響を受けて人物の輪郭線を適正に抽出することができない。また人物に相当する領域のサイズが小さい場合は、図9(D)に示すように解像度が細かければ丸みを帯びた輪郭線を抽出できるが、図9(B)に示すように解像度が粗い場合は、人物領域のサイズに比して画素の間隔が大き過ぎ、画像データ上において人物の輪郭線の屈曲度が部分的に大きくなることによって人物の輪郭線を適正に抽出することができない。
従って、前述のように画像データの解像度を毎回変化させながらエッジ追跡や顔領域判定等の処理を繰り返し行うことにより、画像中の人物に相当する領域のサイズに拘わらず、人物の顔に相当する領域を確実に抽出することができる。
ステップ102〜110の処理が所定回実行されてステップ112の判定が肯定されるとステップ116へ移行し、ステップ116において人物の顔に相当する領域である確度が最も高い領域を判定する顔領域最終判定を行う。この顔領域最終判定は、上記処理によって抽出された複数の顔候補領域の各々に対し、人物の所定部分に特有の形状パターンが、人物の顔と前記所定部分との位置関係に応じた位置に、顔候補領域に対応する大きさ、向きで存在しているか否かに基づいて、人物の顔に相当する領域としての整合性を判断して行うことができる。
上記特有の形状パターンとしては、例えば人物の頭部の輪郭を表す形状パターン、人物の胴体の輪郭を表す形状パターン、人物の顔の内部構造を表す形状パターン等を適用することができるが、以下では一例として、人物の胴体の輪郭を表す形状パターンに基づいて、顔候補領域の各々の整合性を判断する処理について、図10のフローチャートを参照して説明する。
ステップ230では顔候補領域の1つを取り出し、ステップ232では前記取り出した顔候補領域の大きさ、向き及び人物の顔と胴体の輪郭との位置関係に応じて、胴体輪郭を表す形状パターンの探索範囲を設定する。一例として、取り出した顔候補領域が図11(A)に破線で囲んだ範囲であった場合には、この顔候補領域に対し胴体の輪郭(人物の首から肩、肩から腕部分又は胴体下部にかけて連続する輪郭)を表す形状パターンが存在すると推定される、図11(A)にハッチングで示す範囲を探索範囲として設定する。
次のステップ234では、人物の輪郭を抽出するエッジ追跡処理によって抽出された輪郭線のうち前記探索範囲内に存在する輪郭線(ライン)を抽出する。これにより、図11(A)に示す探索範囲内に存在するラインとして、例えば図11(B)に(5)〜(8)として示すラインを含む、多数のラインが抽出されることになる。
ステップ236では、ステップ234で抽出したライン(輪郭線)から、胴体輪郭の片側候補となり得るラインの組を全て抽出する。具体的には、双方のラインの端点の距離が近く、かつ双方のラインの交差する角度が所定範囲内のラインの対を探索し、上記条件に合致するラインの組を胴体輪郭の片側候補となり得るラインの組として全て抽出する。例えば図11(B)に示すようなラインが抽出されていた場合、図11(C)に示すように、交差する角度が各々所定範囲内(θ1及びθ2)のライン(5)と(7)の組、ライン(6)と(8)の組が各々抽出されることになる。また抽出したラインの組に対しては、双方のラインを延長して連結し、胴体輪郭の片側候補を生成する。
ステップ238では、胴体輪郭の片側候補となり得るラインの組が抽出されたか否か判定する。ステップ238の判定が肯定された場合にはステップ240へ移行し、上記で生成した胴体輪郭の片側候補に対し、双方の胴体輪郭の片側候補の凹部が互いに向き合っている対を探索し、上記条件に合致する片側候補の対を胴体輪郭候補になり得る胴体輪郭の片側候補の対として全て抽出する。また、上記ではライン(5)と(7)の組が予め連結している形状の輪郭線も抽出する。
ステップ242では胴体輪郭の候補となり得る片側候補の対が有ったか否か判定する。ステップ242の判定が肯定された場合にはステップ244へ移行し、ステップ240で抽出された全ての胴体輪郭の片側候補の対(胴体輪郭候補)に対し、図11(C)に示すように線対称軸を各々設定し、次のステップ246で胴体輪郭候補の線対称性類似度を判定する。また、人物の首から肩にかけての輪郭に相当すると推定されるライン(例えば図11(B)のライン(5)、(6))について、線対称軸となす角度(例えば図11(B)のライン(5)の場合のψ1)が所定範囲内か否か判定する。
ステップ248では線対称性類似度の判定結果に基づいて、各胴体輪郭候補が人物の胴体の輪郭を表すライン対である確度を判定し、ステップ240で抽出した各胴体輪郭候補のうち、胴体の輪郭に対応するライン対と判断できる胴体輪郭候補が有るか否か判定する。ステップ248の判定が肯定された場合には、人物の胴体の輪郭を表すライン対である確度が最も高いと判定された胴体輪郭候補を人物の胴体の輪郭に対応するラインであるとみなし、次のステップ250で、ステップ230で取り出した顔候補領域に対し符号が正の重み係数を付与する。この重み係数は、人物の胴体の輪郭を表すライン対である確度が最も高いと判定されたライン対(胴体輪郭候補)に基づき、その胴体輪郭候補の線対称性類似度が高くなるに従って値が高くなように設定することができる。ステップ250の処理を実行するとステップ254に移行する。
一方、ステップ238或いはステップ242或いはステップ248の判定が否定された場合には、ステップ230で取り出した顔候補領域に対し、人物の胴体の輪郭を表すライン対である確度が高いライン対が検出されなかった場合であるので、ステップ252で前記顔候補領域に対して符号が負の重み係数を付与し、ステップ254へ移行する。
ステップ254では、全ての顔候補領域に対して上記処理を行ったか否か判定する。顔候補領域が複数設定されていればステップ254の判定が否定され、ステップ254の判定が否定される迄ステップ230〜254を繰り返し、全ての顔候補領域に対し、人物の胴体の輪郭を表すライン対である確度が高いライン対の検出の有無に応じて、符号が正又は負の重み係数を付与し、処理を終了する。ステップ116における顔領域最終判定として上記処理を行った場合は、人物の顔に相当する領域である確度が最も高い顔候補領域(顔領域)として、上記処理により最も高い重み係数が付与された顔候補領域を選択することができる。
次のステップ118では、上記で決定された顔領域の画像データと、画像の画面全体の平均濃度Dj とに基づいて露光量Ej を演算する。なお、露光量Ej は以下の(1)式で求めることができる。
logEj =LMj ・CSj ・(DNj −Dj )+PBj +LBj +MBj
+NBj +K+K …(1)
但し、各記号の意味は次の通りである。
LM:倍率スロープ係数。ネガフィルムの種類とプリントサイズとで定まる引き伸ばし倍率に応じて予め設定されている。
CS:カラースロープ係数。ネガフィルムの種類毎に用意されており、アンダ露光用とオーバ露光用とがある。プリントすべき画像コマの平均濃度が標準ネガ濃度値に対してアンダかオーバかを判定してアンダ露光用とオーバ露光用の何れかを選択する。
DN:標準ネガ濃度値。
D :プリントすべき画像コマの濃度値。
PB:標準カラーペーパに対する補正バランス値。カラーペーパの種類に応じて決定される。
LB:標準焼付レンズに対する補正バランス値。焼付けに用いるレンズの種類に応じて決定される。
MB:光源光量の変動やペーパ現像性能の変化に対する補正値(マスタバランス値)。
NB:ネガフィルムの特性によって定まるネガバランス(カラーバランス)値。
:カラー補正量。
:以下の式で表される濃度補正量。
Figure 2008004123
ここで、Ka、Kbは定数であり、FDは顔領域平均濃度である。これにより顔領域を適正に焼付できる露光量Ej が得られる。
また、上記(1)式の濃度補正量Kをフィルム検定装置によって求められた補正値とし、カラー補正量Kを次のように顔領域平均濃度を用いて表してもよい。
Figure 2008004123
但し、Kcは定数である。
更に、上記(1)式の濃度補正量K、カラー補正量Kをフィルム検定装置によって求められた補正量とし、(1)式のプリントコマの平均濃度Dj を顔領域の平均濃度FDj に置き換えて露光量を求めてもよい。また、上記では請求項3に記載の特徴量として、顔領域の3色平均濃度を用いていたが、これに代えて顔領域の濃度ヒストグラム、最大濃度、最小濃度、濃度の分散等の各種特徴量を用いるようにしてもよい。
次のステップ120では、上記で演算した露光量Ej をドライバ46へ出力する。これにより、ドライバ46では入力された露光量Ej に基づいて、露光量Ej に対応する位置に色補正フィルタ18を移動させる。また、制御部40はブラックシャッタ26を上記の露光量Ej によって定まる所定時間だけ開放する。これにより、露光位置に位置決めされた画像が、上記の露光量Ej で印画紙28に焼付けされる。
なお、上記では各画素毎に各方向に沿ったエッジ強度を演算した後に、エッジ強度の絶対値の最大値を処理対象画素のエッジ強度として記憶すると共に、エッジ強度の絶対値が最大となる方向に直交する方向を処理対象画素のエッジ方向として記憶し、前記記憶したエッジ強度及びエッジ方向に基づいてエッジの探索を行うようにしていたが、本発明はこれに限定されるものではなく、各画素毎に演算した各方向に沿ったエッジ強度を全て記憶するようにしてもよい。この場合、エッジの探索は、探索範囲内の各画素のうち探索エッジ方向パターンが表す方向に直交する方向に沿ったエッジ強度が所定値以上の画素を探索するようにすればよい。
また、上記では図3のエッジ追跡処理において、入力された画像データの解像度を変化させながらエッジ検出、エッジ追跡、顔領域判定等の処理を繰り返し行うようにしていたが、本発明はこれに限定されるものではなく、一例として図12に示すように、入力された画像データに対してエッジ検出処理を1回行った後は、エッジ検出処理によって得られた画像データに対して解像度を変化させながら、エッジ追跡、顔領域判定等の処理を繰り返し行うようにしてもよい。また、上記では各種解像度でのエッジ追跡、顔領域判定等の処理を直列に行うようにしていたが、エッジ追跡、顔領域判定等の処理を行う処理部を複数設け、各処理部において各々異なる解像度でのエッジ追跡、顔領域判定等の処理を並列に行うことも可能である。これにより、処理時間を更に短縮することができる。
更に、図2及び図12のステップ114における解像度変換に代えて、図13にも示すように、エッジの探索範囲を規定するためのパラメータの1つである探索距離の範囲を変更するようにしてもよい。例えば図14(A)に示すように、探索距離rの範囲を0<r≦r(r:小)に設定した場合は、図9(D)と同様に画像中の人物に相当する領域のサイズが小さい場合の人物の輪郭線の抽出に適している。また、図14(C)に示すように、探索距離rの範囲をr<r≦r(但し、r<r<r)に設定した場合は、図9(A)と同様に画像中の人物に相当する領域のサイズが大きい場合の人物の輪郭線の抽出に適している。また、画像中の人物に相当する領域のサイズが中程度である場合は、図14(B)に示すように探索距離rの範囲をr<r≦rとすることが好ましい。このように、探索距離の範囲を段階的に変更するようにした場合にも、解像度変換を行う場合と同様に、画像中の人物に相当する領域のサイズに拘わらず、人物の顔に相当する領域を確実に抽出することができる。
また、上記では図3のエッジ追跡処理において、図6又は図8にも示したように基準点におけるエッジ方向を基準として次のエッジを探索するための探索範囲を毎回設定していたが、本発明はこれに限定されるものではなく、一例として図15(A)に示すように、探索範囲を基準点におけるエッジ方向と無関係に固定的に設定してもよい。図15(A)の例では、探索範囲(ハッチングで示す)を、基準点P0を中心として探索距離rを半径とする円の内部で、画像の下方へ向いた基準方向ベクトルVbase(図15(B)も参照:請求項1に記載の「予め固定的に定められた方向」に対応している)を基準として、時計回りに角度θ1、反時計回りに角度θ2の角度範囲内として定義している。
上記のように、探索範囲を基準点におけるエッジ方向と無関係に固定的に設定した場合、画像上におけるエッジ追跡の進行方向が探索範囲によって制限を受ける。一例として上記の探索範囲を図15(B)に示す画像に対して適用して追跡開始点からのエッジ追跡を行った場合、図15(B)に示すように人物の右側部分の輪郭が抽出され、人物の右側部分の輪郭の下端部において、輪郭が所定値以上の角度で右カーブしている点でエッジ追跡が終了することになる。
また、上記では図3のエッジ追跡処理において、探索範囲内に存在しかつエッジ方向パターンに合致するエッジ方向のエッジとして検出された複数のエッジから、エッジ強度を基準として次の基準点としてのエッジを選択するようにしていたが、本発明はこれに限定されるものではなく、基準点とエッジとの位置関係の優先順位を予め定めておき、エッジ強度と無関係に前記優先順位に従って、前記複数のエッジから次の基準点としてのエッジを選択するようにしてもよい。例えば、前記優先順位を(1)直進、(2)45°カーブの順に設定した場合、図7(C)の例ではエッジ強度に拘わらず、基準点におけるエッジ方向に対して直進した位置に存在するエッジ(エッジ強度「10」のエッジ)が選択されることになる。
更に、上記ではエッジ方向パターンを設定し、探索範囲内に存在しかつエッジ方向パターンに合致するエッジ方向の複数のエッジを探索した後に、検出した複数のエッジから次の基準点としてのエッジを選択するようにしていたが、本発明はこれに限定されるものではなく、基準点とエッジとの位置関係の優先順位を予め定めておき、優先順位の異なる各位置毎にエッジ方向のパターンを設定し、優先順位の異なる各位置毎に順に、次の基準点としてエッジ強度が所定値以上のエッジを探索するようにしてもよい。
具体的には、例えば前記優先順位を(1)90°カーブ、(2)直進の順に設定した場合、まず基準点に対し90°カーブに相当する位置に存在するエッジについてのエッジ方向パターンを設定し、次に前記位置に存在しており、かつ上記エッジ方向パターンに合致するエッジ方向を有し、かつエッジ強度が所定値以上のエッジが存在しているか否か探索する。上記条件に合致するエッジを検出した場合には該検出したエッジを次の基準点として設定するが、上記条件に合致するエッジが存在していなかった場合には、基準点に対し直進に相当する位置に存在するエッジについてのエッジ方向パターンを設定し、上記と同様にして次の基準点としてのエッジを探索する。
〔第2比較例〕
次に本発明の第2比較例について説明する。なお、本第2比較例は第1比較例と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、本第2比較例の作用について説明する。
第1比較例で説明したエッジ追跡処理では、各画素毎のエッジ強度及びエッジ方向に基づいて探索を行う探索条件のみを用いていたが、本第2比較例において、上記のエッジ追跡処理に代えて実行される外縁追跡処理では、複数の探索条件(第1の探索条件及び第2の探索条件)が用意されており、第1の探索条件及び第2の探索条件に対して各々優先度が定められている。
以下では本第2比較例に係る外縁追跡処理について、図17(A)に示す原画像から人物の顔に相当する領域を含む略楕円形状の所定領域の外縁(所定領域の右側の外縁を図17(B)に実線及び破線の矢印で示す)を抽出する場合を例に説明する。図17(A)及び(B)からも明らかなように、図17の例で抽出すべき所定領域の外縁は、原画像のエッジ(頭髪部及び顔の顎部の輪郭線)に一致している部分と、頭髪部の内部を横切っている部分とで構成されている。
このため本第2比較例では、所定領域の外縁のうち原画像のエッジに一致している部分を探索・追跡するための第1の探索条件として、第1比較例と同様に各画素毎のエッジ強度及びエッジ方向に基づいて探索を行う探索条件を設定し、所定領域の外縁のうち頭髪部の内部を横切っている部分を探索・追跡するための第2の探索条件として、各画素の濃度値に基づいて探索を行う探索条件を設定している。
また、後述するように本第2比較例では、追跡開始点を境界として所定領域の外縁を片側ずつ探索・追跡するが、この片側の区間では、第2の探索条件によって探索・追跡を行う区間が、第1の探索条件によって探索・追跡を行う区間によって挟まれている。このため、本第2比較例では第1の探索条件の優先度を第2の探索条件の優先度よりも高く設定している。
次に、外縁追跡処理の詳細について、図16のフローチャートを参照して説明する。ステップ300では第1の探索条件及び第2の探索条件を表す情報をメモリ等から取り込む。ステップ302では、第1比較例で説明したエッジ追跡処理のステップ130(図3参照)と同様にして追跡開始点としての画素を探索する。これにより図17(A)に示す原画像からは、追跡開始点として、例えば頭髪部の頂部に相当する画素(図17(B)に示す追跡開始点に相当する画素)が検出される。次のステップ304では追跡開始点としての画素が検出されたか否か判定する。判定が否定された場合には処理を終了するが、判定が肯定された場合にはステップ306へ移行し、検出した画素を追跡開始点としてメモリ等に記憶すると共に、前記検出した画素を基準点として設定し、更に該基準点における追跡方向を設定する。
次のステップ308では、先に取り込んだ第1の探索条件に基づき、第1の探索条件に合致する画素を探索する。本第2比較例では、第1の探索条件として各画素毎のエッジ強度及びエッジ方向に基づいて探索を行う探索条件を用いている(なお探索範囲としては、例えば図6(A)に示す探索範囲を用いることができる)ので、ステップ308では第1比較例で説明したエッジ追跡処理のステップ134〜138(図3参照)と同様の処理が行われる。
次のステップ310では第1の探索条件に該当する画素(抽出すべき所定領域の外縁に相当すると推定される画素)が有ったか否か判定する。判定が肯定された場合にはステップ316へ移行し、第1の探索条件による探索によって検出された画素を基準点として設定する。次のステップ318では上記で基準点を設定したことにより、予め定められた追跡の停止を判定するための停止条件に合致したかをチェックする。
図17の例における停止条件としては、例えば追跡開始点からの追跡の進行方向の角度変化の累積値が180 °以上となったか等が挙げられる。次のステップ320では、先の停止条件のチェックにおいて、停止条件に合致していたか否か判定する。ステップ320の判定が否定された場合にはステップ308に戻り、ステップ308以降の処理を繰り返す。
図17(A)に示す原画像では、頭髪部の頂部から右側部に相当する区間における頭髪部の輪郭線が、追跡開始点側から見て緩やかに右にカーブしており、この区間では図6(A)に示す探索範囲内に第1の探索条件を満足する画素が検出されるので、図17(B)に実線の矢印で示すように、前記区間では第1の探索条件により抽出すべき所定領域の外縁に相当すると推定される画素が検出されることになる。
一方、頭髪部の右側部の下方側の所定箇所からは、頭髪部の輪郭線が追跡開始点側から見て大きく左にカーブしており、所定領域の外縁に相当すると推定される画素の探索・追跡がこの部分に達すると、第1の探索条件を満足する画素が検出されないことによりステップ310の判定が否定され、ステップ312へ移行する。ステップ312では第2の探索条件に基づき、第2の探索条件に合致する画素を探索する。前述のように、本第2比較例では第2の探索条件として各画素の濃度値に基づいて探索を行う探索条件を用いているので、ステップ312では所定の探索範囲内に濃度値が所定範囲内の画素が存在しているか否かが探索される。
なお本第2比較例では、図17(A)に示す原画像から人物の顔に相当する領域を含む外縁形状が略楕円形の所定領域を抽出するので、第2の探索条件における探索範囲は、追跡の進行方向が右カーブ(追跡開始点を境界として反対側における追跡では左カーブ)を描くように、基準点における追跡の進行方向に対し所定角度だけ右(又は左)に偏倚した部分を探索する探索範囲を設定すればよい。前記所定角度は固定的に設定してもよいし、追跡開始点からの追跡の進行方向の角度変化の累積値と、追跡開始点から現在の基準点の間に設定した基準点の総数と、の比に基づいて変更設定するようにしてもよい。上記のように所定角度を変更設定した場合、追跡開始点から現在の基準点迄の区間における追跡の進行方向の湾曲度合いが延長されて追跡が継続されることになる。
また、上記のように探索範囲を設定することにより、第2の探索条件による探索・追跡は、図17(B)に破線の矢印で示すように、抽出すべき楕円形状の領域の外縁に沿って右カーブを描きながら頭髪部を横切るように進むので、濃度値の範囲としては、頭髪部の濃度に対応する比較的高い濃度範囲を設定すればよい。
次のステップ314では、第2の探索条件に合致する画素(抽出すべき所定領域の外縁に相当すると推定される画素)が有ったか否か判定する。この判定が否定された場合は、第1の探索条件に合致する画素も第2の探索条件に合致する画素も検出されなかった場合であり、今迄に設定した基準点を結んで成る線は、抽出すべき所定領域の外縁に相当する線ではないと判断できるので、追跡を中止してステップ322へ移行する。
ステップ322では、現在設定されている追跡開始点に対し、追跡方向を変えて追跡の再試行を行うか否か判定する。判定が肯定された場合にはステップ324へ移行し、基準点として現在の追跡開始点を設定し直すと共に追跡方向を変更し、ステップ308へ戻る。これにより、ステップ308〜320において、追跡開始点からの抽出すべき所定領域の外縁に相当する画素の探索・追跡が、追跡方向を変えて再度行われる。また、ステップ324の判定が否定された場合には、ステップ302へ戻って追跡開始点としての画素を探索する。
一方、ステップ314の判定が肯定された場合にはステップ316へ移行し、検出された第2の探索条件に合致する画素を基準点として設定する。従って、本第2比較例では、第1の探索条件及び第2の探索条件の何れかに合致する画素が検出され、かつ停止条件に合致していない間はステップ308〜322が繰り返されるので、図17(A)に示す原画像における頭髪部の右側部の下方側の区間では、第2の探索条件に合致する画素が基準点として設定されることにより、図17(B)に破線の矢印で示すように頭髪部を横切って追跡が進行する。
また、本第2比較例では第2の探索条件よりも第1の探索条件の優先度が高く、第1の探索条件に合致する画素の探索は毎回行われ、第1の探索条件に合致する画素が検出されなかった場合にのみ、第2の探索条件に合致する画素の探索が行われるので、追跡が頭髪部のエッジに達すると、第1の探索条件に合致する画素が検出されることにより、図17(B)の下方側に実線の矢印で示すように、第1の探索条件による探索が適用され、第1の探索条件に合致する画素が基準点として設定される。
そして、ステップ320の判定が肯定されると、追跡が完了したと判断してステップ326へ移行し、設定した基準点を結んで成る線を、人物の顔に相当する領域の外縁を表す外縁線として登録してステップ322へ移行する。これにより、先にも述べたようにステップ302の判定が肯定される迄、上述した処理が繰り返されることになる。
なお、上記のようにして抽出されステップ326で登録された外縁線が、抽出すべき所定領域の実際の外縁に対応している線か否かを判定する場合、外縁追跡処理において、前記外縁線を構成する各基準点が第1の探索条件及び第2の探索条件の何れによって検出されたかを各探索条件毎にカウントし、各探索条件毎のカウント値と、外縁線を構成する基準点の数と、の比(各探索条件が適用された頻度を表す)に基づいて判定するようにしてもよい。
また、上記では、抽出すべき領域の外縁が、第2の探索条件によって探索・追跡を行う区間が、第1の探索条件によって探索・追跡を行う区間によって挟まれて構成されていたため、第1の探索条件の優先度を第2の探索条件よりも高くしていたが、これに限定されるものではなく、例えば第1の探索条件によって探索・追跡を行う区間と、第2の探索条件によって探索・追跡を行う区間とが交互に存在している場合には、前回に基準点として設定した画素の検出に用いた探索条件の優先度が低くなるように、探索条件の優先度を動的に変更する(例えば第1の探索条件によって探索した画素を基準点として設定することを繰り返している区間では、第2の探索条件の優先度を高くする(第2の探索条件による探索を先に行う))ようにしてもよい。
また、上記では第2の探索条件として、各画素の濃度値に基づいて探索を行う探索条件を例に説明したが、これに限定されるものではなく、例えば複数画素から成るブロック単位での濃度変化等の画像特徴量に基づいて探索を行う探索条件を用いてもよい。
具体的には、例として図18(A)に示すように、各々N画素×N画素から成る多数のブロックを設定し、基準点に代えて基準ブロックを定め、抽出すべき領域の外縁に相当する箇所についてもブロックを1単位として探索する。抽出すべき領域の外縁に相当する箇所(ブロック)の探索に際しては、追跡開始点から現在の基準ブロックに至る追跡の軌跡とは無関係に、基準ブロックの近傍に存在する8個のブロックを参照ブロック群(探索範囲)とし、参照ブロック群を構成する各ブロック毎に平均濃度を演算する。
次に参照ブロック群を構成する各ブロックの平均濃度に対し、図18(B)に示すように符号を付し、次の(2)式に従って濃度差の絶対値ΔDを演算する。
ΔD=|B−Bi+4 | (但しi=1〜4) …(2)
そして、濃度差の絶対値ΔDが最大となる方向に直交する方向を追跡の進行方向と定め、現在の基準ブロックに対し、上記で定めた追跡の進行方向に沿って隣接しているブロックを次の基準ブロックとして設定する。
上述したブロック単位での濃度変化に基づく探索では、外縁が全周に亘って輪郭線と一致している領域を抽出する際に、前記輪郭線のエッジ強度が低い、或いは輪郭形状が複雑である等の場合にも、輪郭線を比較的正確に抽出することができる。従って、例えば画像中に存在する図18(C)に示すような領域の抽出において、破線で囲んで示す輪郭形状が複雑な部分の探索に、上記のようなブロック単位での濃度変化に基づき探索を行う探索条件を適用すれば、抽出すべき領域を正確に抽出することが可能となる。
またブロック単位での探索としては、上述したブロック単位での濃度変化に基づく探索以外に、ブロック単位での色味に基づく探索を行うことも可能である。例えば図17(A)等に示す原画像に対し、追跡の進行方向の右側にブロック内の平均的な色味が肌色のブロックが存在し、かつ進行方向の左側にブロック内の平均的な色味が肌色ではないブロックが存在しているブロックを探索し、検出したブロックを基準ブロックとして設定することを繰り返したとすると、前記原画像中の顔に相当する領域の輪郭を時計回りで追跡することができ、前記原画像から顔に相当する領域を抽出することができる。
更に、第2比較例では2種類の探索条件を用いた例を説明したが、抽出すべき領域の特徴に応じて3種類以上の多数の探索条件を用いてもよいことは言うまでもない。
〔実施形態〕
次に本発明の実施形態について説明する。先に説明した第1比較例では単一の輪郭線に対応するエッジ追跡が終了する迄の間、基準点におけるエッジ方向に対する探索範囲を変更しないようにしていたが、特に抽出したい領域の輪郭形状が複雑である等の場合には、上記方法では前記領域の輪郭線を適正に抽出することが困難となることも考えられる。
このため、本実施形態では、探索条件を満足している箇所を探索し、検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて前記基準点に対する角度範囲を切り替えることにより、単一の輪郭線に対応するエッジ追跡を行っている途中で探索範囲を変更するようにしている。例として図19(B)に示す物体A〜Cのうち物体Aの輪郭線のみを抽出したい場合は、図19(A)に状態遷移図として示すエッジ追跡処理を適用することにより実現することができる。
このエッジ追跡処理では、探索範囲の各々異なる3つの処理パターン、すなわち、基準点におけるエッジ方向に対し左カーブの位置、右カーブの位置、及び直進の位置に存在しているエッジを探索する処理パターン1と、基準点におけるエッジ方向に対し左カーブの位置及び直進の位置に存在しているエッジを探索する処理パターン2と、基準点におけるエッジ方向に対し右90°の位置及び直進の位置に存在しているエッジを探索する処理パターン3と、が設けられていると共に、前記領域の輪郭上における現在の基準点の位置を判断するための条件(条件10〜12、条件21〜23、条件31,32)が予め定められており、前記条件を満足したか否かに応じて、処理パターン1〜3のうちの何れかの処理パターンに遷移し、探索範囲が変更される。このエッジ追跡処理によって物体B、物体Cの輪郭線を追跡した場合には、探索範囲内に探索条件に合致するエッジが検出されないことにより、エッジ追跡処理が途中で中止される。
また、図19(A)に状態遷移図として示すエッジ追跡処理は、追跡している輪郭線の角度の変化に基づいて、抽出すべき領域の輪郭上における現在の基準点の位置を判断するようにしていたが、これに限定されるものではなく、抽出すべき物体の輪郭の各部の大きさ又は各部の大きさの比率が既知である場合には、エッジ追跡による画像上の移動距離又は移動距離の比率等も考慮して抽出すべき領域の輪郭上における現在の基準点の位置を判断するように、前記条件を定めることも可能である。
図19(A)に示したエッジ追跡処理は、図19(B)に示す物体Aの輪郭線のみを抽出する場合の具体的な処理であるが、抽出すべき領域の外縁上における現在の基準点の位置を判断し、判断結果に応じて探索条件を切替える汎用的な外縁追跡処理について以下に説明する。
この外縁追跡処理では、抽出すべき領域の外縁上に、予め複数の特徴点を設定する。一例として、図19(B)に示した物体Aの外縁線(この場合は輪郭線)上に、時計回りに6個の特徴点(特徴点P〜特徴点P)を設定した場合を図20に示す。なお、以下では特徴点Pと特徴点Pn+1 の間の区間における追跡処理を、モード(n,n+1)と称する。
次に、所定の画像特徴量(例えば画素毎のエッジ強度及び方向)に基づいて、外縁上に位置していると推定される画素(又はブロック)を探索するための探索条件、現在のモードでの探索・追跡を継続するか否かを判定するための継続判定条件、特徴点に到達したか否か(次のモードでの追跡に切替えるか否か)を判定するための到達判定条件、及び探索・追跡を停止するか否かを判定するための停止判定条件を、各特徴点の間の区間における抽出すべき領域の特徴に応じて各モード毎に各々設定する。そして、設定した各条件を各モードと対応させてメモリに記憶する。
なお、探索条件としては、例えば図19(A)における処理パターン1、処理パターン2、処理パターン3等、継続判定条件としては、例えば図19(A)における条件11、条件22、条件32等、到達判定条件としては、例えば図19(A)における条件12、条件21、条件31等を設定することができる。また停止判定条件としては、例えば図19(A)における条件10や、或いは探索・追跡が画像の周縁部に到達したか否か、設定した基準点の数が上限値に達したか否か、設定した基準点におけるエッジ方向と基準方向との角度差が上限値を越えたか否か等の判定条件を設定することができる。
次に図21のフローチャートを参照し、上記の各条件を用いて行われる本実施形態に係る外縁追跡処理について説明する。ステップ350では、カウンタn及びカウンタmに1を代入する。ステップ352では、追跡開始点としての画素を探索するための探索条件を取り込み、次のステップ354では取り込んだ探索条件に基づいて追跡開始点としての画素を探索する。なお、上記の探索条件をモード(0,1)の探索条件として記憶し、ステップ354における探索をモード(0,1)での探索と称してもよい。
ステップ356では追跡開始点としての画素が検出されたか否か判定する。判定が否定された場合には処理を終了するが、判定が肯定された場合には、検出した画素を追跡開始点としてメモリに記憶すると共に、前記検出した画素を基準点として設定する。そして次のステップ360では、まず上記で検出した追跡開始点を特徴点P1 と仮定して追跡処理を行う。
すなわち、ステップ360では特徴点P(最初はn=1)と特徴点Pn+1 の区間における追跡処理を行うための、モード(n,n+1)の探索条件、継続判定条件、到達判定条件及び停止判定条件を取り込む。次のステップ362では、取り込んだ探索条件に合致する画素の探索、及び継続判定条件、到達判定条件、停止判定条件の各判定条件に基づく判定を行うための基準点の周囲の画素の画像特徴量を演算済みか否か判定する。
判定が否定された場合には、ステップ364で前記画像特徴量の演算を行って演算結果をメモリに記憶し、ステップ368へ移行する。上記により、1回演算された画像特徴量はメモリに記憶されることになるので、ステップ362の判定が肯定された場合には、ステップ366でメモリに記憶されている画像特徴量の演算結果を取り込んで、ステップ368へ移行する。これにより、同一の画像特徴量を複数回演算することを回避することができ、処理時間を短縮することができる。
ステップ368では、演算又はメモリからの取り込みによって取得した基準点の周囲の画素の画像特徴量に基づいて、モード(n,n+1)の探索条件に合致する画素を探索すると共に、各判定条件の判定を行う。なお、各判定条件のうち継続判定条件及び到達判定条件による判定は、請求項5に記載の「設定した基準点が複数の特徴点又は各特徴点間のうちの何れに対応しているかの判定」に対応している。次のステップ370では、上記の探索及び判定の結果を判断しており、探索条件に合致する画素が検出され、かつ継続判定条件が成立した場合には、ステップ372へ移行する。
継続判定条件(例えば図19(A)の条件11等)が成立した場合は、今回の探索によって検出された画素は特徴点nと特徴点n+1の間の区間に対応していると判断できるので、現在のモードでの追跡を継続するために、ステップ372で先の探索によって検出された画素を基準点として設定した後にステップ362へ移行する。これにより、前回と同一のモードの探索条件、継続判定条件、到達判定条件、及び停止判定条件を用いて探索及び判定が行われることになる。
一方、ステップ370において、探索条件に合致する画素が検出されかつ到達判定条件が成立した場合にはステップ374ヘ移行する。到達判定条件(例えば図19(A)の条件12等)が成立した場合は、今回検出した画素が特徴点Pn+1 に対応しており、抽出すべき領域の外縁に相当すると推定される画素の探索・追跡が特徴点Pn+1 に到達したと判断できる(例えば図19(A)の条件12が成立した場合は特徴点Pに到達したと判断できる)ので、ステップ374で今回検出した画素を基準点として設定した後に、ステップ376でカウンタnの値を1だけインクリメントし、ステップ360へ戻る。
このカウンタnの値の更新により、ステップ360では前回の探索及び判定とは異なる次のモードに対応する各条件が取り込まれ、ステップ362以降では新たに取り込んだ各条件を用いて探索及び判定が行われることになる。上記のように、継続判定条件又は到達判定条件が成立している間は、抽出すべき領域の外縁に相当すると推定される画素を正しく抽出できていると判断できるので、上記処理が継続される。
一方、ステップ370において、継続判定条件及び到達判定条件が各々不成立であった場合、或いは「追跡開始点に到達した」等の停止判定条件が成立した場合にはステップ378へ移行する。ステップ378では、予め設定した全ての特徴点を通って追跡開始点に到達したか否か判定する。判定が肯定された場合にはステップ386へ移行し、設定した基準点を結んで成る線を、抽出すべき領域の外縁を表す外縁線としてメモリ等に登録し、ステップ350へ移行する。
なお、ステップ378において、上記判定に代えて、通過した特徴点の数と予め設定した特徴点の総数との比率、或いは設定した基準点の数、或いは設定した基準点の数と抽出した外縁線の周長との比率等に基づいて、抽出した基準点を結んで成る線が抽出すべき領域の外縁に相当する線か否かを判定するようにしてもよい。
また、ステップ378の判定が否定された場合はステップ380へ移行し、現在の追跡開始点が、抽出すべき領域の外縁上の点である可能性が無いか否か判定する。上述した処理では、ステップ350でカウンタnに1を代入していることからも明らかなように、ステップ354における探索によって追跡開始点として検出された画素が、特徴点Pに一致しているものと仮定して探索を行っていたが、抽出すべき領域の画像上での向きが一定ではない等の場合には、追跡開始点として検出した画素が、特徴点Pと異なる別の特徴点に一致している可能性もある。
このような場合を考慮して本実施形態では、ステップ378の判定が否定された場合には、追跡開始点として検出した画素に対し、特徴点P以外の他の複数の特徴点の何れかに一致していることを想定してステップ360〜376の処理を複数回繰り返す。従って、追跡開始点として検出された画素に対し、互いに異なる特徴点に一致しているものと仮定して複数回追跡処理を行う迄の間はステップ380の判定は否定され、ステップ382へ移行する。
ステップ382では、ステップ354における探索によって追跡開始点として検出された画素を基準点として設定し直すと共に、カウンタnに所定値km を代入して初期値を変更する。そして、次のステップ384ではカウンタmの値を1だけインクリメントし、ステップ360へ戻る。これにより、ステップ378の判定が否定される毎にカウンタnの値はk、k、…と設定し直されてステップ360〜376の処理が繰り返される。従って、抽出すべき領域の画像上での向きが一定ではない場合であっても、追跡開始点として検出した画素が抽出すべき領域の外縁上の点であれば、前記領域を抽出することができる。
なお所定値km の値は、1<k<k<…を満足する値であればよいが、カウンタnの値が1→k→k→…と変化したときの値の増加が一定(例えば1や1より大きい整数値)となるように所定値km の値を設定してもよいし、抽出すべき領域の外縁形状の非対称度等に応じて前記値の増加分が変化するように設定してもよい。
また、追跡開始点として検出した画素が抽出すべき領域の外縁上の点でなかった場合には、上記のようにカウンタnの初期値を変更して処理を繰り返しても、抽出すべき領域の外縁を表す線は検出されないので、ステップ380の判定が肯定されることによりステップ350へ移行し、追跡開始点としての画素の探索が再び行われることになる。
なお、図21のフローチャートでは、単一の画像特徴量に基づいて追跡処理を行っていたが、これに限定されるものではなく、第2比較例で説明したように互いに異なる画像特徴量に基づいて探索又は判定を行う複数種類の条件(探索条件、継続判定条件、到達判定条件及び停止判定条件)を各々用いて追跡処理を行うようにしてもよい。この場合の探索条件、継続判定条件、到達判定条件及び停止判定条件の内容の一例(但し、或る単一のモードに対応する条件)を次の表1に示す。
Figure 2008004123
複数種類の条件を用いる場合には、例えば第2比較例で説明したように複数種類の条件に対して優先度を各々定めておき、優先度の高い条件において、探索条件を満足する画素が検出されなかった場合、或いは継続判定条件及び到達判定条件が各々不成立であった場合に、優先度の低い条件を用いて処理を行うようにすることができる。また、複数種類の条件に対する優先度を、抽出すべき領域の部分的な特徴に応じて各モード毎に別個に定めてもよい。
なお、上記では写真フィルムとしてのネガフィルム12に記録された画像から人物に相当する領域を抽出し、前記画像を印画紙28へ焼付ける際の露光量を決定するようにしていたが、画像の記録媒体としてはリバーサルフィルム等の他の写真フィルムや紙等の各種の記録媒体を適用することができ、また電子写真式方式等により画像を複写する際の複写条件の決定に本発明を適用することも可能である。
また、本発明を適用して特定領域を抽出する対象としての画像は、写真フィルムに記録された画像に限定されるものではない。一例として、部品や製品等の大量生産において、生産された部品や製品等が順に搬送されている状況を撮像すると共に、前記搬送されている状況を表す画像を撮像信号から所定のタイミングで抽出し、抽出した画像から、特定領域として前記部品や製品等に対応する領域を抽出することも可能である。この場合、部品や製品等の特徴は予め判明しているので、探索条件は容易に定めることができる。また、本発明により抽出した特定領域は、例えば生産した部品や製品等を自動的に検査するために用いることができる。
第1比較例に係る写真焼付装置の概略構成図である。 第1比較例に係る写真焼付処理を説明するためのフローチャートである。 第1比較例のエッジ追跡処理を説明するためのフローチャートである。 エッジを検出するための微分フィルタの一例を示す概念図である。 (A)は追跡開始点の探索、(B)は追跡開始点からのエッジの追跡、(C)は顔候補領域の輪郭の判定、(D)は顔候補領域の設定を各々説明するための概念図である。 (A)は人物輪郭を抽出するためのエッジ追跡処理におけるエッジの探索範囲を説明するための概念図、(B)は(A)に一例として図示した探索範囲内に存在する画素を示すイメージ図である。 (A)乃至(F)はエッジ追跡処理の流れを概念的に説明するためのイメージ図である。 (A)は非人物輪郭を抽出するためのエッジ追跡処理におけるエッジの探索範囲を説明するための概念図、(B)は(A)に示した探索範囲内に存在する画素を示すイメージ図である。 (A)乃至(D)は、画像中の人物領域のサイズにより、人物領域を適正に抽出できる解像度が異なることを説明するためのイメージ図である。 胴体輪郭による整合性判定処理を説明するフローチャートである。 胴体輪郭による整合性判定処理の詳細として、(A)は胴体輪郭の探索範囲の設定、(B)は探索範囲内に存在する輪郭線の抽出、(C)は線対称性類似度の判定を各々説明するためのイメージ図である。 第1比較例に係る写真焼付処理の他の例を説明するためのフローチャートである。 第1比較例に係る写真焼付処理の他の例を説明するためのフローチャートである。 (A)乃至(C)は解像度変換に代えて探索距離の範囲を変更した場合のエッジの探索範囲を説明するための概念図である。 (A)はエッジの探索範囲を基準点におけるエッジ方向と無関係に固定的に設定した場合を説明するための概念図、(B)は(A)の探索範囲を適用してエッジ追跡を行った場合の一例を示すイメージ図である。 第2比較例の外縁追跡処理を説明するためのフローチャートである。 (A)は原画像の一例を示すイメージ図、(B)は(A)に示した原画像から顔に相当する領域を含む楕円形状の領域を抽出する際に、エッジに基づき探索を行う探索条件が適用される範囲、及び濃度値に基づき探索を行う探索条件が適用される範囲の一例を示すイメージ図である。 (A)及び(B)はブロック単位での濃度変化に基づく探索を説明するための概念図、(C)は或る原画像からの輪郭線の抽出において、エッジに基づき探索を行う探索条件が適用される範囲、及びブロック単位での濃度変化に基づき探索を行う探索条件が適用される範囲の一例を示すイメージ図である。 (A)は輪郭線を抽出している途中で探索範囲を変更するエッジ追跡処理の一例を説明する状態遷移図、(B)は(A)に示したエッジ追跡処理により特定かつ複雑な輪郭形状の物体の輪郭のみが抽出されることを説明するためのイメージ図である。 実施形態における特徴点及びモードを説明するための概念図である。 実施形態の外縁追跡処理を説明するためのフローチャートである。
符号の説明
10 写真焼付装置
12 ネガフィルム
18 色補正フィルタ
28 印画紙
32 CCDイメージセンサ
40 制御部

Claims (13)

  1. 画像中の多数箇所における濃度又は輝度を各々測定する測定手段と、
    前記測定手段による濃度又は輝度の測定結果に基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に求める演算手段と、
    画像中の所定方向に沿った濃度又は輝度の変化量が所定値以上の箇所を基準点として設定する基準点設定手段と、
    前記基準点との距離が所定範囲内で、かつ前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし画像中に存在する特定の輪郭形状の領域の前記輪郭形状に応じて定めた前記基準点に対する角度範囲内の範囲を探索範囲として設定すると共に、前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし前記領域の輪郭形状に応じて、前記探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合には検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて前記基準点に対する角度範囲を切り替えることで、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記領域の輪郭を表す輪郭線として抽出する抽出手段と、
    を含む特定形状領域の抽出装置。
  2. 前記抽出手段は、前記探索条件を満足する箇所として複数の箇所が検出された場合には、前記複数の箇所のうち前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が最も大きい箇所を次の基準点として設定するか、又は、予め定めた現在の基準点に対する次の基準点の位置の優先順位に従って、前記複数の箇所のうち優先順位の最も高い位置に位置している箇所を次の基準点として設定することを特徴とする請求項1記載の特定形状領域の抽出装置。
  3. 前記角度範囲として人物の輪郭形状に応じた角度範囲を設定する前記抽出手段を備えた請求項1又は請求項2記載の特定形状領域の抽出装置と、
    前記特定形状領域の抽出装置によって画像から抽出された輪郭線により区画された画像中の領域が人物の顔に相当する領域か否か判定する判定手段と、
    前記判定手段によって人物の顔に相当する領域であると判定された領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定する決定手段と、
    を含む複写条件決定装置。
  4. 前記特定形状領域の抽出装置の前記抽出手段は、前記角度範囲として輪郭形状が人物の輪郭と異なる所定領域の前記輪郭形状に応じた角度範囲も設定し、
    前記判定手段は、前記角度範囲として輪郭形状が人物の輪郭と異なる所定領域の前記輪郭形状に応じた角度範囲を用いて前記特定形状領域の抽出装置により画像から抽出された輪郭線の配置も考慮して、前記人物の顔に相当する領域か否かの判定を行う
    ことを特徴とする請求項3記載の複写条件決定装置。
  5. 画像中の抽出すべき特定領域の外縁上に複数の特徴点が定められ、前記特定領域の各特徴点の間に相当する部分の特徴に応じて各特徴点間毎に各々設定された、前記特定領域の各特徴点間の外縁に相当する箇所を所定の画像特徴量に基づいて探索する探索条件を記憶する記憶手段と、
    前記特定領域の外縁に相当すると推定される箇所を探索し、探索した箇所を基準点として設定する基準点設定手段と、
    前記基準点が前記複数の特徴点又は前記各特徴点間のうちの何れに対応しているかを判定し、探索に用いる探索条件として、前記記憶手段に記憶されている探索条件のうち、前記設定された基準点が対応している特徴点と、前記特定領域の外縁上における次の特徴点と、の間の外縁に相当する箇所を探索する探索条件を用い、画像中の前記基準点を基準とする所定範囲内に存在し、かつ前記探索条件を満足する箇所を探索し、前記探索条件を満足する箇所を検出した場合には、検出した箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記特定領域の外縁を表す線として抽出する抽出手段と、
    を含む特定領域の抽出装置。
  6. 前記記憶手段には、前記探索条件として、前記特定領域の外縁に相当する箇所を互いに異なる画像特徴量に基づいて探索する複数種類の探索条件が各々記憶されていると共に、各探索条件に対して優先度が定められており、
    前記抽出手段は、優先度の高い探索条件を満足する箇所が検出されなかった場合には、優先度の低い探索条件を満足する箇所を探索し、該優先度の低い探索条件を満足する箇所を検出した場合には、該検出した箇所を次の基準点として設定する
    ことを特徴とする請求項5記載の特定領域の抽出装置。
  7. 前記探索条件は、前記特定領域の外縁に相当する箇所を、各箇所における、濃度又は輝度の変化量、濃度又は輝度の変化方向、濃度値又は輝度値、色味の何れかに基づいて探索する探索条件であることを特徴とする請求項5又は請求項6記載の特定領域の抽出装置。
  8. 前記探索条件として、人物の顔に相当する領域の特徴に応じた第1の探索条件を記憶する前記記憶手段を備えた請求項5乃至請求項7の何れか1項記載の特定領域の抽出装置と、
    前記特定領域の抽出装置により前記第1の探索条件を用いて画像から抽出された線により区画される画像中の領域が人物の顔に相当する領域か否か判定する判定手段と、
    前記判定手段によって人物の顔に相当する領域であると判定された領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定する決定手段と、
    を含む複写条件決定装置。
  9. 前記記憶手段には、前記探索条件として、人物の顔に相当する領域と異なる領域の特徴に応じた第2の探索条件も記憶されており、
    前記判定手段は、前記特定領域の抽出装置により前記第2の探索条件を用いて画像から抽出された線の配置も考慮して前記人物の顔に相当する領域か否かの判定を行う
    ことを特徴とする請求項8記載の複写条件決定装置。
  10. 測定手段により、画像中の多数箇所における濃度又は輝度を各々測定させ、
    演算手段により、前記測定手段による濃度又は輝度の測定結果に基づいて画像中の各箇所における濃度又は輝度の変化量を各方向毎に演算させ、
    基準点設定手段により、画像中の所定方向に沿った濃度又は輝度の変化量が所定値以上の箇所を基準点として設定させ、
    抽出手段により、前記基準点との距離が所定範囲内で、かつ前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし画像中に存在する特定の輪郭形状の領域の前記輪郭形状に応じて定めた前記基準点に対する角度範囲内の範囲を探索範囲として設定すると共に、前記基準点における濃度又は輝度の変化量が所定値以上の方向又は予め固定的に定められた方向を基準とし前記領域の輪郭形状に応じて、前記探索範囲内の各箇所における探索すべき濃度又は輝度の変化方向を表す探索方向パターンを設定し、前記探索範囲内に存在しかつ前記探索方向パターンが表す方向に沿った濃度又は輝度の変化量が所定値以上の箇所を探索し、探索条件を満足する箇所を検出した場合には検出した箇所を次の基準点として設定することを繰り返しながら、基準点として設定した箇所の前記領域の輪郭上における位置を判断し、判断した位置における前記領域の輪郭の形状に応じて前記基準点に対する角度範囲を切り替えることで、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記領域の輪郭を表す輪郭線として抽出させる
    特定形状領域の抽出方法。
  11. 前記角度範囲として人物の輪郭形状に応じた角度範囲を設定して請求項10記載の特定形状領域の抽出方法により画像から輪郭線を抽出し、
    判定手段により、前記抽出した輪郭線により区画された画像中の領域が人物の顔に相当する領域か否か判定させ、
    決定手段により、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定させる
    ことを特徴とする複写条件決定方法。
  12. 画像中の抽出すべき特定領域の外縁上に複数の特徴点を定め、前記特定領域の各特徴点の間に相当する部分の特徴に応じて、前記特定領域の各特徴点間の外縁に相当する箇所を所定の画像特徴量に基づいて探索する探索条件を各特徴点間毎に各々設定し、設定した探索条件を記憶手段に記憶しておき、
    基準点設定手段により、前記特定領域の外縁に相当すると推定される箇所を探索し、探索した箇所を基準点として設定させ、
    抽出手段により、前記基準点が前記複数の特徴点又は前記各特徴点間のうちの何れに対応しているかを判定し、探索に用いる探索条件として、前記記憶手段に記憶されている探索条件のうち、前記基準点が対応している特徴点と、前記特定領域の外縁上における次の特徴点と、の間の外縁に相当する箇所を探索する探索条件を用い、画像中の前記基準点を基準とする所定範囲内に存在し、かつ前記探索条件を満足する箇所を探索し、前記探索条件を満足する箇所を検出した場合には、検出した箇所を次の基準点として設定することを繰り返し、前記基準点として順に設定した画像中の複数箇所を結んで成る線を、前記特定領域の外縁を表す線として抽出させる
    特定領域の抽出方法。
  13. 前記探索条件として、人物の顔に相当する領域の特徴に応じた第1の探索条件を用いて請求項12記載の特定領域の抽出方法により画像から領域の外縁を表す線を抽出し、
    判定手段により、前記抽出した線により区画される画像中の領域が人物の顔に相当する領域か否か判定させ、
    決定手段により、人物の顔に相当する領域であると判定した領域内における画像特徴量に基づいて、複写材料への前記画像の複写条件を決定させる
    ことを特徴とする複写条件決定方法。
JP2007211837A 1995-09-13 2007-08-15 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法 Pending JP2008004123A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007211837A JP2008004123A (ja) 1995-09-13 2007-08-15 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP23573095 1995-09-13
JP2007211837A JP2008004123A (ja) 1995-09-13 2007-08-15 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP8091113A Division JPH09138471A (ja) 1995-09-13 1996-04-12 特定形状領域の抽出方法、特定領域の抽出方法及び複写条件決定方法

Publications (1)

Publication Number Publication Date
JP2008004123A true JP2008004123A (ja) 2008-01-10

Family

ID=39008394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007211837A Pending JP2008004123A (ja) 1995-09-13 2007-08-15 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法

Country Status (1)

Country Link
JP (1) JP2008004123A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011058626A1 (ja) * 2009-11-11 2011-05-19 株式会社 東芝 画像処理装置及びスライドショー表示装置
JP2012091288A (ja) * 2010-10-27 2012-05-17 Makino Milling Mach Co Ltd 工具寸法の測定方法及び測定装置
US8649608B2 (en) 2008-11-11 2014-02-11 Panasonic Corporation Feature value extracting device, object identification device, and feature value extracting method
JP2015032278A (ja) * 2013-08-06 2015-02-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2015176273A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9453716B2 (en) 2010-10-22 2016-09-27 Makino Milling Machine Co., Ltd. Method of measurement and apparatus for measurement of tool dimensions
JP2017537768A (ja) * 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
JP2018072312A (ja) * 2016-10-24 2018-05-10 株式会社デンソーテン 付着物検出装置、付着物検出方法
CN109918985A (zh) * 2018-12-17 2019-06-21 福建大红鹰卫浴发展有限公司 一种自动调节温度的智能旋转龙头系统
CN114035603A (zh) * 2021-08-08 2022-02-11 中国航空工业集团公司沈阳飞机设计研究所 一种无人机威胁区动态检测及告警方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649608B2 (en) 2008-11-11 2014-02-11 Panasonic Corporation Feature value extracting device, object identification device, and feature value extracting method
WO2011058626A1 (ja) * 2009-11-11 2011-05-19 株式会社 東芝 画像処理装置及びスライドショー表示装置
US9453716B2 (en) 2010-10-22 2016-09-27 Makino Milling Machine Co., Ltd. Method of measurement and apparatus for measurement of tool dimensions
JP2012091288A (ja) * 2010-10-27 2012-05-17 Makino Milling Mach Co Ltd 工具寸法の測定方法及び測定装置
JP2015032278A (ja) * 2013-08-06 2015-02-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9275268B2 (en) 2013-08-06 2016-03-01 Casio Computer Co., Ltd. Image processing device, image processing method, and non-transitory recording medium
JP2015176273A (ja) * 2014-03-14 2015-10-05 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2017537768A (ja) * 2014-12-12 2017-12-21 ライトラボ・イメージング・インコーポレーテッド 血管内の特徴を検出し且つ表示するためのシステム及び方法
US10878572B2 (en) 2014-12-12 2020-12-29 Lightlab Imaging, Inc. Systems and methods to detect and display endovascular features
US11461902B2 (en) 2014-12-12 2022-10-04 Lightlab Imaging, Inc. Systems and methods to detect and display endovascular features
JP2018072312A (ja) * 2016-10-24 2018-05-10 株式会社デンソーテン 付着物検出装置、付着物検出方法
CN109918985A (zh) * 2018-12-17 2019-06-21 福建大红鹰卫浴发展有限公司 一种自动调节温度的智能旋转龙头系统
CN114035603A (zh) * 2021-08-08 2022-02-11 中国航空工业集团公司沈阳飞机设计研究所 一种无人机威胁区动态检测及告警方法
CN114035603B (zh) * 2021-08-08 2023-11-28 中国航空工业集团公司沈阳飞机设计研究所 一种无人机威胁区动态检测及告警方法

Similar Documents

Publication Publication Date Title
US5881171A (en) Method of extracting a selected configuration from an image according to a range search and direction search of portions of the image with respect to a reference point
JP2008004123A (ja) 特定形状領域の抽出装置及び方法、特定領域の抽出装置及び方法、複写条件決定装置及び方法
US5629752A (en) Method of determining an exposure amount using optical recognition of facial features
US7171044B2 (en) Red-eye detection based on red region detection with eye confirmation
JP4428737B2 (ja) 赤目検出方法
US7333653B2 (en) Detecting and correcting redeye in an image
US6768509B1 (en) Method and apparatus for determining points of interest on an image of a camera calibration object
JP3557659B2 (ja) 顔抽出方法
US6370262B1 (en) Information processing apparatus and remote apparatus for object, using distance measuring apparatus
JP3499305B2 (ja) 顔領域抽出方法及び露光量決定方法
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
KR101048582B1 (ko) 칼라 이미지에서 얼굴들을 검출하기 위한 방법 및 디바이스
JP3576654B2 (ja) 露光量決定方法、図形抽出方法及び顔領域判断方法
JP3516786B2 (ja) 顔領域抽出方法及び複写条件決定方法
JP2638691B2 (ja) 露光量決定方法
JPH10268447A (ja) 画像処理装置及び写真焼付装置
JP2848749B2 (ja) 特徴画像データの抽出方法
JP2002342758A (ja) 視覚認識システム
JP3636783B2 (ja) 顔領域判断方法、複写方法及び露光量決定方法
JP2638693B2 (ja) 特徴画像データの抽出方法
CA2230197C (en) Strand orientation sensing
CN113506332B (zh) 目标对象识别的方法、电子设备及存储介质
JP2638701B2 (ja) 特徴画像データの抽出方法
JPH09198505A (ja) 線位置検出装置
JPH0981778A (ja) モデリング装置およびモデリング方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100330