JP2001208524A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法Info
- Publication number
- JP2001208524A JP2001208524A JP2000021814A JP2000021814A JP2001208524A JP 2001208524 A JP2001208524 A JP 2001208524A JP 2000021814 A JP2000021814 A JP 2000021814A JP 2000021814 A JP2000021814 A JP 2000021814A JP 2001208524 A JP2001208524 A JP 2001208524A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- frequency
- distance information
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】簡易な構成で画像の領域分割を行い得る画像処
理装置を得る。 【解決手段】同一の情景に対して焦点ずれによるぼけの
程度が異なる複数の画像を撮像する撮像手段１０と、撮
像した複数の画像に基づいて、被写体までの距離情報を
算出する距離情報算出手段１２Ａ〜１２Ｆ、１３Ａ〜１
２Ｃと、算出した距離情報に基づいて画像を複数の領域
に分割する領域分割手段１４Ａ〜１４Ｃ、１５を設け
た。
理装置を得る。 【解決手段】同一の情景に対して焦点ずれによるぼけの
程度が異なる複数の画像を撮像する撮像手段１０と、撮
像した複数の画像に基づいて、被写体までの距離情報を
算出する距離情報算出手段１２Ａ〜１２Ｆ、１３Ａ〜１
２Ｃと、算出した距離情報に基づいて画像を複数の領域
に分割する領域分割手段１４Ａ〜１４Ｃ、１５を設け
た。
Description
【０００１】
【発明の属する技術分野】本発明は画像処理装置及び画
像処理方法に関し、例えば撮影した画像から被写体領域
を抽出する画像処理装置及び画像処理方法に適用して好
適なものである。
像処理方法に関し、例えば撮影した画像から被写体領域
を抽出する画像処理装置及び画像処理方法に適用して好
適なものである。
【０００２】
【従来の技術】従来、撮影した画像から被写体領域を抽
出する領域分割方法として、いくつかの方法が提案され
ており、それらは大分して２つの方法に分類される。
出する領域分割方法として、いくつかの方法が提案され
ており、それらは大分して２つの方法に分類される。
【０００３】第１の方法は、１枚の画像を用いて領域分
割を行う方法であり、例えば近傍の画素値の類似度に基
づいて領域を分割する方法や、画像の色空間をクラスタ
リングして領域を分割する方法等がある。
割を行う方法であり、例えば近傍の画素値の類似度に基
づいて領域を分割する方法や、画像の色空間をクラスタ
リングして領域を分割する方法等がある。
【０００４】第２の方法は、複数の画像から被写体の距
離情報を算出し、当該距離情報に基づいて領域分割を行
う方法である。
離情報を算出し、当該距離情報に基づいて領域分割を行
う方法である。
【０００５】例えば、２つの撮像系で撮像した２枚の画
像を用い、両眼視差に基づいて画像の奥行き情報を得
て、当該奥行き情報に基づいて領域を分割する方法があ
る。この方法の場合、比較的精度の高い領域分割を行う
ことができるが、２つの撮像系が必要であり、また２枚
の画像間での対応点を検出するために多くの演算が必要
となる。
像を用い、両眼視差に基づいて画像の奥行き情報を得
て、当該奥行き情報に基づいて領域を分割する方法があ
る。この方法の場合、比較的精度の高い領域分割を行う
ことができるが、２つの撮像系が必要であり、また２枚
の画像間での対応点を検出するために多くの演算が必要
となる。
【０００６】これに対して、１つの撮像系から得た複数
の画像から画像の奥行き情報を得る方法として、ＤＦＤ
（Depth From Defocus）と呼ばれる方法が一般に知られ
ている。ＤＦＤは、画像のぼけ情報から被写体の距離を
推定する方法であり、複数の撮像系を必要としないこと
や、複雑な演算を必要としないといった利点を有してい
る。
の画像から画像の奥行き情報を得る方法として、ＤＦＤ
（Depth From Defocus）と呼ばれる方法が一般に知られ
ている。ＤＦＤは、画像のぼけ情報から被写体の距離を
推定する方法であり、複数の撮像系を必要としないこと
や、複雑な演算を必要としないといった利点を有してい
る。
【０００７】このＤＦＤの原理を図５を用いて説明す
る。図５において、対象物体Ａまでの距離ａ０は、当該
対象物体Ａが合焦する位置ｂ０が既知であれば、レンズ
Ｒの焦点距離ｆから、（１）式を用いて算出することが
できる。
る。図５において、対象物体Ａまでの距離ａ０は、当該
対象物体Ａが合焦する位置ｂ０が既知であれば、レンズ
Ｒの焦点距離ｆから、（１）式を用いて算出することが
できる。
【０００８】
【数１】
【０００９】ＤＦＤにおいては、撮像面位置と対象物体
Ａの合焦位置とが異なることを前提として、撮像面上に
投影された像のぼけの程度から合焦位置ｂ０を求め、こ
れを（１）式に代入することにより、対象物体Ａまでの
距離ａ０を算出する。
Ａの合焦位置とが異なることを前提として、撮像面上に
投影された像のぼけの程度から合焦位置ｂ０を求め、こ
れを（１）式に代入することにより、対象物体Ａまでの
距離ａ０を算出する。
【００１０】いま、撮像面がｂ１にある場合、距離ａ０
の物体表面上の点は撮像面上において錯乱円と呼ばれる
円形に拡散し、（２）式で表される像ｉ１を形成する。
の物体表面上の点は撮像面上において錯乱円と呼ばれる
円形に拡散し、（２）式で表される像ｉ１を形成する。
【００１１】
【数２】
【００１２】ここで、＊は畳込演算を示す。またｈｄ１
は拡散の状態を示す関数ＰＳＦ（Point Spread Functio
n ：点広がり関数）であり、撮像面と合焦位置との距離
ｂ０−ｂ１に比例する錯乱円直径ｄ１に依存する。そこ
で、錯乱円直径ｄ１をパラメータとするＰＳＦのモデル
を仮定し、観測画像ｉ１から錯乱円直径ｄ１を推定す
る。但し（２）式からも分かるように、観測画像ｉ１は
対象物体の像ｉ０に依存しているため、このままでは錯
乱円直径ｄ１を求めることができない。
は拡散の状態を示す関数ＰＳＦ（Point Spread Functio
n ：点広がり関数）であり、撮像面と合焦位置との距離
ｂ０−ｂ１に比例する錯乱円直径ｄ１に依存する。そこ
で、錯乱円直径ｄ１をパラメータとするＰＳＦのモデル
を仮定し、観測画像ｉ１から錯乱円直径ｄ１を推定す
る。但し（２）式からも分かるように、観測画像ｉ１は
対象物体の像ｉ０に依存しているため、このままでは錯
乱円直径ｄ１を求めることができない。
【００１３】そこで、異なる撮像面位置ｂ２における観
測画像ｉ２を撮像し、画像の周波数領域上における観測
画像ｉ１と観測画像ｉ２との比を取ることにより、
（３）式のように観測画像とＰＳＦの関係を導くことが
できる。
測画像ｉ２を撮像し、画像の周波数領域上における観測
画像ｉ１と観測画像ｉ２との比を取ることにより、
（３）式のように観測画像とＰＳＦの関係を導くことが
できる。
【００１４】
【数３】
【００１５】ここで、Ｉ１、Ｉ２、Ｉ０、Ｈｄ１、Ｈｄ
２はそれぞれ観測画像ｉ１及びｉ２、合焦画像ｉ０、Ｐ
ＳＦｈｄ１及びｈｄ２のフーリエ変換である。この
（３）式と図５の幾何学的関係により、対象物体Ａに依
存することなく錯乱円直径ｄ１及びｄ２を算出すること
ができる。
２はそれぞれ観測画像ｉ１及びｉ２、合焦画像ｉ０、Ｐ
ＳＦｈｄ１及びｈｄ２のフーリエ変換である。この
（３）式と図５の幾何学的関係により、対象物体Ａに依
存することなく錯乱円直径ｄ１及びｄ２を算出すること
ができる。
【００１６】
【発明が解決しようとする課題】このようにＤＦＤは、
原理的に簡単な装置及び演算によって被写体までの距離
を算出することが可能であるが、その一方で、ＰＳＦの
モデル化や周波数分析の方法によって推定精度が制約さ
れるという問題がある。
原理的に簡単な装置及び演算によって被写体までの距離
を算出することが可能であるが、その一方で、ＰＳＦの
モデル化や周波数分析の方法によって推定精度が制約さ
れるという問題がある。
【００１７】例えば、（３）式を用いて距離を推定する
ためには、ＰＳＦに具体的な関数を与える必要がある
が、実際のＰＳＦはカメラのアイリス（絞り）形状に依
存するため、一般に単純な関数で表すことは困難であ
り、またアイリス形状の精密なモデル化は、演算量の増
大を招くことになるという問題がある。
ためには、ＰＳＦに具体的な関数を与える必要がある
が、実際のＰＳＦはカメラのアイリス（絞り）形状に依
存するため、一般に単純な関数で表すことは困難であ
り、またアイリス形状の精密なモデル化は、演算量の増
大を招くことになるという問題がある。
【００１８】また、（３）式における錯乱円直径と周波
数成分の関係は周波数毎に変化するため、距離の推定精
度を向上するためには高い周波数分解能で周波数成分を
抽出する必要があるが、このことは演算量の増大を伴う
とともに、空間分解能を犠牲にするという問題がある。
数成分の関係は周波数毎に変化するため、距離の推定精
度を向上するためには高い周波数分解能で周波数成分を
抽出する必要があるが、このことは演算量の増大を伴う
とともに、空間分解能を犠牲にするという問題がある。
【００１９】本発明は以上の点を考慮してなされたもの
で、簡易な構成で画像の領域分割を行い得る画像処理装
置及び画像処理方法を提案しようとするものである。
で、簡易な構成で画像の領域分割を行い得る画像処理装
置及び画像処理方法を提案しようとするものである。
【００２０】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像を領域分割して所望の被写体
領域を抽出する画像処理装置において、同一の情景に対
して、焦点ずれによるぼけの程度が異なる複数の画像を
撮像する撮像手段と、撮像した複数の画像に基づいて、
被写体までの距離情報を算出する距離情報算出手段と、
算出した距離情報に基づいて、画像を複数の領域に分割
する領域分割手段とを設けた。
め本発明においては、画像を領域分割して所望の被写体
領域を抽出する画像処理装置において、同一の情景に対
して、焦点ずれによるぼけの程度が異なる複数の画像を
撮像する撮像手段と、撮像した複数の画像に基づいて、
被写体までの距離情報を算出する距離情報算出手段と、
算出した距離情報に基づいて、画像を複数の領域に分割
する領域分割手段とを設けた。
【００２１】また距離情報算出手段に、画像の周波数成
分を抽出する周波数成分抽出手段と、複数の画像それぞ
れから抽出された周波数成分を比較して距離情報を算出
する周波数成分比較手段とを設けた。
分を抽出する周波数成分抽出手段と、複数の画像それぞ
れから抽出された周波数成分を比較して距離情報を算出
する周波数成分比較手段とを設けた。
【００２２】撮像した複数の画像から周波数成分を抽出
し、当該周波数成分を比較して被写体までの距離情報を
算出することにより、簡易な構成及び簡易な演算で被写
体領域分割処理を行うことができる。
し、当該周波数成分を比較して被写体までの距離情報を
算出することにより、簡易な構成及び簡易な演算で被写
体領域分割処理を行うことができる。
【００２３】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
施の形態を詳述する。
【００２４】（１）第１の実施の形態 （１−１）第１の実施の形態の構成 図１において、１は全体として本発明の第１の実施の形
態による画像処理装置を示し、撮像手段としての撮像装
置１０は、まず第１の撮像面位置で撮像対象を撮像し、
第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１に供給す
る。続いて撮像装置１０は第２の撮像面位置で撮像対象
を撮像し、第２の画像信号ｉ２（ｘ，ｙ）を周波数分析
器１２Ａ〜１２Ｃに供給する。
態による画像処理装置を示し、撮像手段としての撮像装
置１０は、まず第１の撮像面位置で撮像対象を撮像し、
第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１に供給す
る。続いて撮像装置１０は第２の撮像面位置で撮像対象
を撮像し、第２の画像信号ｉ２（ｘ，ｙ）を周波数分析
器１２Ａ〜１２Ｃに供給する。
【００２５】ここで、第１の画像信号ｉ１（ｘ，ｙ）及
び第２の画像信号ｉ２（ｘ，ｙ）は輝度信号でなり、
（ｘ，ｙ）は画像上の位置を表す座標である。また、第
１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２
（ｘ，ｙ）はそれぞれ撮像面位置が異なるため、焦点ず
れによるぼけの程度がそれぞれ異なる。
び第２の画像信号ｉ２（ｘ，ｙ）は輝度信号でなり、
（ｘ，ｙ）は画像上の位置を表す座標である。また、第
１の画像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２
（ｘ，ｙ）はそれぞれ撮像面位置が異なるため、焦点ず
れによるぼけの程度がそれぞれ異なる。
【００２６】メモリ１１は第１の画像信号ｉ１（ｘ，
ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）に同期
して周波数分析器１２Ｄ〜１２Ｆに供給する。
ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）に同期
して周波数分析器１２Ｄ〜１２Ｆに供給する。
【００２７】周波数成分抽出手段としての周波数分析器
１２Ａ、１２Ｂ及び１２Ｃは、それぞれ入力した第２の
画像信号ｉ２（ｘ，ｙ）に対して固有の中心周波数でバ
ンドパスフィルタ処理を施し、それぞれ画像上の各位置
（ｘ，ｙ）に対応する周波数成分Ｉ２（ｘ，ｙ，ｗ
０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２（ｘ，ｙ，ｗ２）
を生成し、それぞれ対応する距離算出器１３Ａ、１３Ｂ
及び１３Ｃに出力する。
１２Ａ、１２Ｂ及び１２Ｃは、それぞれ入力した第２の
画像信号ｉ２（ｘ，ｙ）に対して固有の中心周波数でバ
ンドパスフィルタ処理を施し、それぞれ画像上の各位置
（ｘ，ｙ）に対応する周波数成分Ｉ２（ｘ，ｙ，ｗ
０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２（ｘ，ｙ，ｗ２）
を生成し、それぞれ対応する距離算出器１３Ａ、１３Ｂ
及び１３Ｃに出力する。
【００２８】同様に周波数成分抽出手段としての周波数
分析器１２Ｄ、１２Ｅ及び１２Ｆは、それぞれ入力した
第１の画像信号ｉ１（ｘ，ｙ）に対して固有の中心周波
数でバンドパスフィルタ処理を施し、それぞれ画像上の
各位置（ｘ，ｙ）に対応する周波数成分Ｉ１（ｘ，ｙ，
ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ
２）を生成し、それぞれ対応する距離算出器１３Ａ、１
３Ｂ及び１３Ｃに出力する。
分析器１２Ｄ、１２Ｅ及び１２Ｆは、それぞれ入力した
第１の画像信号ｉ１（ｘ，ｙ）に対して固有の中心周波
数でバンドパスフィルタ処理を施し、それぞれ画像上の
各位置（ｘ，ｙ）に対応する周波数成分Ｉ１（ｘ，ｙ，
ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ
２）を生成し、それぞれ対応する距離算出器１３Ａ、１
３Ｂ及び１３Ｃに出力する。
【００２９】図２は周波数分析器１２Ａの構成を示し、
他の周波数分析器１２Ｂ〜１２Ｆも同一の構成を有して
いる。周波数分析器１２Ａにおいては、撮像装置１０か
ら供給された第１の画像信号ｉ１（ｘ，ｙ）をハイパス
フィルタ２１に入力する。ハイパスフィルタ２１は、第
１の画像信号ｉ１（ｘ，ｙ）の直流成分を除去し、ガボ
アフィルタ２２Ａ〜２２Ｃに供給する。
他の周波数分析器１２Ｂ〜１２Ｆも同一の構成を有して
いる。周波数分析器１２Ａにおいては、撮像装置１０か
ら供給された第１の画像信号ｉ１（ｘ，ｙ）をハイパス
フィルタ２１に入力する。ハイパスフィルタ２１は、第
１の画像信号ｉ１（ｘ，ｙ）の直流成分を除去し、ガボ
アフィルタ２２Ａ〜２２Ｃに供給する。
【００３０】ガボアフィルタ２２Ａ〜２２Ｃは、（４）
式に示す２次元複素数正弦波関数と２次元ガウス関数の
積によって構成される。
式に示す２次元複素数正弦波関数と２次元ガウス関数の
積によって構成される。
【００３１】
【数４】
【００３２】このガボアフィルタ２２Ａ〜２２Ｃは、ガ
ウス関数の標準偏差ｓで制限された局所領域内におい
て、それぞれ異なる方向ｔａｎ-1（ｗｙ／ｗｘ）に沿っ
て中心周波数ｗ＝（ｗｘ2 ＋ｗｙ2 ）1/2 で変化する周
波数成分を第１の画像信号ｉ１（ｘ，ｙ）から抽出し、
それぞれ対応する絶対値算出器２３Ａ〜２３Ｃに供給す
る。一般に、低い空間周波数成分を抽出するためには画
像上においてより広い範囲の情報を用いる必要があるた
め、（４）式の標準偏差ｓは中心周波数ｗに応じて、
（５）式のように与えられる。
ウス関数の標準偏差ｓで制限された局所領域内におい
て、それぞれ異なる方向ｔａｎ-1（ｗｙ／ｗｘ）に沿っ
て中心周波数ｗ＝（ｗｘ2 ＋ｗｙ2 ）1/2 で変化する周
波数成分を第１の画像信号ｉ１（ｘ，ｙ）から抽出し、
それぞれ対応する絶対値算出器２３Ａ〜２３Ｃに供給す
る。一般に、低い空間周波数成分を抽出するためには画
像上においてより広い範囲の情報を用いる必要があるた
め、（４）式の標準偏差ｓは中心周波数ｗに応じて、
（５）式のように与えられる。
【００３３】
【数５】
【００３４】絶対値算出器２３Ａ〜２３Ｃは、それぞれ
入力した周波数成分を絶対値化し、加算器２４に供給す
る。加算器２４は、絶対値算出器２３Ａ〜２３Ｃから入
力した、それぞれ方向性の異なる周波数成分を加算し、
かくして周波数分析器１２Ａは角周波数ｗの周波数成分
Ｉ２（ｘ，ｙ，ｗ０）を生成して距離算出器１３Ａ（図
１）に供給する。
入力した周波数成分を絶対値化し、加算器２４に供給す
る。加算器２４は、絶対値算出器２３Ａ〜２３Ｃから入
力した、それぞれ方向性の異なる周波数成分を加算し、
かくして周波数分析器１２Ａは角周波数ｗの周波数成分
Ｉ２（ｘ，ｙ，ｗ０）を生成して距離算出器１３Ａ（図
１）に供給する。
【００３５】図１において、周波数成分比較手段として
の距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ入
力した撮像面位置の異なる２つの周波数成分Ｉ１（ｘ，
ｙ，ｗ０）及びＩ２（ｘ，ｙ，ｗ０）から、（６）式に
基づいて、第１の撮像面位置に対応する第１の錯乱円直
径ｄ１（ｘ，ｙ）及び第２の撮像面位置に対応する第２
の錯乱円直径ｄ２（ｘ，ｙ）を算出する。
の距離算出器１３Ａ、１３Ｂ及び１３Ｃは、それぞれ入
力した撮像面位置の異なる２つの周波数成分Ｉ１（ｘ，
ｙ，ｗ０）及びＩ２（ｘ，ｙ，ｗ０）から、（６）式に
基づいて、第１の撮像面位置に対応する第１の錯乱円直
径ｄ１（ｘ，ｙ）及び第２の撮像面位置に対応する第２
の錯乱円直径ｄ２（ｘ，ｙ）を算出する。
【００３６】
【数６】
【００３７】ここで、ｍはｎ＝１のときｍ＝２、ｎ＝２
のときｍ＝１となる整数である。またｂｎはレンズから
撮像面までの距離、Ｄはアイリスの直径であり、これら
は予め既知な値である。
のときｍ＝１となる整数である。またｂｎはレンズから
撮像面までの距離、Ｄはアイリスの直径であり、これら
は予め既知な値である。
【００３８】また、ｒ（ｘ，ｙ）は各画像の周波数成分
Ｉ１（ｘ，ｙ，ｗ０），Ｉ２（ｘ，ｙ，ｗ０）に依存し
た値であり、焦点ずれによるぼけのＰＳＦを（７）式の
ガウス関数で近似し、またガウス関数の標準偏差ｓのｐ
倍を錯乱円の半径と定義することにより、（８）式で与
えられる。
Ｉ１（ｘ，ｙ，ｗ０），Ｉ２（ｘ，ｙ，ｗ０）に依存し
た値であり、焦点ずれによるぼけのＰＳＦを（７）式の
ガウス関数で近似し、またガウス関数の標準偏差ｓのｐ
倍を錯乱円の半径と定義することにより、（８）式で与
えられる。
【００３９】
【数７】
【００４０】
【数８】
【００４１】そして距離算出器１３Ａ、１３Ｂ及び１３
Ｃは、それぞれ（６）式で得られた錯乱円直径を図５か
ら求まる（９）式に代入することにより画像上の位置
（ｘ，ｙ）に投影された被写体が合焦する撮像面位置ｂ
０を算出する。
Ｃは、それぞれ（６）式で得られた錯乱円直径を図５か
ら求まる（９）式に代入することにより画像上の位置
（ｘ，ｙ）に投影された被写体が合焦する撮像面位置ｂ
０を算出する。
【００４２】
【数９】
【００４３】さらに距離算出器１３Ａ、１３Ｂ及び１３
Ｃは、それぞれ撮像面位置ｂ０を（１）式に代入するこ
とにより被写体距離ａ０（ｘ，ｙ）を算出し、それぞれ
対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給
する。
Ｃは、それぞれ撮像面位置ｂ０を（１）式に代入するこ
とにより被写体距離ａ０（ｘ，ｙ）を算出し、それぞれ
対応するラベル算出器１４Ａ、１４Ｂ及び１４Ｃに供給
する。
【００４４】領域分割手段としてのラベル算出器１４
Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離
ａ０（ｘ，ｙ）に対して予め設定された閾値を用いて閾
値処理し、その結果に基づいて、画像上の各点（ｘ，
ｙ）に対して領域を表すラベルを貼り付けてラベル画像
Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，
ｙ，ｗ２）を生成し、ラベル補正器１５に供給する。
Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離
ａ０（ｘ，ｙ）に対して予め設定された閾値を用いて閾
値処理し、その結果に基づいて、画像上の各点（ｘ，
ｙ）に対して領域を表すラベルを貼り付けてラベル画像
Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，
ｙ，ｗ２）を生成し、ラベル補正器１５に供給する。
【００４５】例えば、閾値としてＴ０、Ｔ１、Ｔ２、…
…（Ｔ０＜Ｔ１＜Ｔ２……）が与えられている場合、ラ
ベル画像Ｌ（ｘ，ｙ，ｗｋ）は次式で与えられる。
…（Ｔ０＜Ｔ１＜Ｔ２……）が与えられている場合、ラ
ベル画像Ｌ（ｘ，ｙ，ｗｋ）は次式で与えられる。
【００４６】
【数１０】
【００４７】領域分割手段としてのラベル補正器１５
は、それぞれ異なる中心周波数に基づいて得られたラベ
ル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ
（ｘ，ｙ，ｗ２）を統合し、最終的な領域分割結果を表
すラベル画像Ｌ（ｘ，ｙ，）を生成する。
は、それぞれ異なる中心周波数に基づいて得られたラベ
ル画像Ｌ（ｘ，ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ
（ｘ，ｙ，ｗ２）を統合し、最終的な領域分割結果を表
すラベル画像Ｌ（ｘ，ｙ，）を生成する。
【００４８】図３はラベル補正器１５を示し、ラベル修
正器１５Ａ及び１５Ｂで構成される。ラベル修正器１５
Ａ及び１５Ｂは、ある中心周波数ｗｋに対応したラベル
画像Ｌ（ｘ，ｙ，ｗｋ）の各位置におけるラベルを（１
１）式を用いて修正し、修正ラベル画像Ｌ’（ｘ，ｙ，
ｗｋ）を生成する。
正器１５Ａ及び１５Ｂで構成される。ラベル修正器１５
Ａ及び１５Ｂは、ある中心周波数ｗｋに対応したラベル
画像Ｌ（ｘ，ｙ，ｗｋ）の各位置におけるラベルを（１
１）式を用いて修正し、修正ラベル画像Ｌ’（ｘ，ｙ，
ｗｋ）を生成する。
【００４９】
【数１１】
【００５０】ラベル修正器１５Ａ及び１５Ｂは、ある中
心周波数ｗｋに対応したラベル画像Ｌ（ｘ，ｙ，ｗｋ）
に対して、中心周波数が一段階低い修正済みのラベル画
像Ｌ’（ｘ，ｙ，ｗｋ＋１）を調べ、局所領域Ｒ内の単
一のラベルのみが存在する位置（ｘ’，ｙ’）を検出し
てＬ（ｘ’，ｙ’，ｗｋ）の値をＬ’（ｘ’，ｙ’，ｗ
ｋ＋１）で置き換える。ラベル補正器１５は、ラベル修
正器１５Ａ及び１５Ｂによってこの修正を中心周波数の
低いラベル画像から順次繰り返し、最終的に得られた修
正ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を、領域分割の結果
としてのラベル画像Ｌ（ｘ，ｙ）として出力する。な
お、最低中心周波数ｗＮ（本実施例の場合はｗＮ＝ｗ
２）に対する修正ラベル画像は、Ｌ’（ｘ，ｙ，ｗＮ）
＝Ｌ（ｘ，ｙ，ｗＮ）として与えられる。
心周波数ｗｋに対応したラベル画像Ｌ（ｘ，ｙ，ｗｋ）
に対して、中心周波数が一段階低い修正済みのラベル画
像Ｌ’（ｘ，ｙ，ｗｋ＋１）を調べ、局所領域Ｒ内の単
一のラベルのみが存在する位置（ｘ’，ｙ’）を検出し
てＬ（ｘ’，ｙ’，ｗｋ）の値をＬ’（ｘ’，ｙ’，ｗ
ｋ＋１）で置き換える。ラベル補正器１５は、ラベル修
正器１５Ａ及び１５Ｂによってこの修正を中心周波数の
低いラベル画像から順次繰り返し、最終的に得られた修
正ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を、領域分割の結果
としてのラベル画像Ｌ（ｘ，ｙ）として出力する。な
お、最低中心周波数ｗＮ（本実施例の場合はｗＮ＝ｗ
２）に対する修正ラベル画像は、Ｌ’（ｘ，ｙ，ｗＮ）
＝Ｌ（ｘ，ｙ，ｗＮ）として与えられる。
【００５１】すなわちラベル修正器１５Ａはラベル画像
Ｌ（ｘ，ｙ，ｗ１）に対して、修正ラベル画像Ｌ’
（ｘ，ｙ，ｗ２）を調べて局所領域Ｒ内の単一のラベル
のみが存在する位置（ｘ’，ｙ’）を検出し、Ｌ
（ｘ’，ｙ’，ｗ１）の値をＬ’（ｘ’，ｙ’，ｗ２）
で置き換えて修正ラベル画像Ｌ’（ｘ，ｙ，ｗ１）を生
成し、これをラベル修正器１５Ｂに供給する。
Ｌ（ｘ，ｙ，ｗ１）に対して、修正ラベル画像Ｌ’
（ｘ，ｙ，ｗ２）を調べて局所領域Ｒ内の単一のラベル
のみが存在する位置（ｘ’，ｙ’）を検出し、Ｌ
（ｘ’，ｙ’，ｗ１）の値をＬ’（ｘ’，ｙ’，ｗ２）
で置き換えて修正ラベル画像Ｌ’（ｘ，ｙ，ｗ１）を生
成し、これをラベル修正器１５Ｂに供給する。
【００５２】ラベル修正器１５Ｂはラベル画像Ｌ（ｘ，
ｙ，ｗ０）に対して、修正ラベル画像Ｌ’（ｘ，ｙ，ｗ
１）を調べて局所領域Ｒ内の単一のラベルのみが存在す
る位置（ｘ’，ｙ’）を検出し、Ｌ（ｘ’，ｙ’，ｗ
０）の値をＬ’（ｘ’，ｙ’，ｗ０）で置き換えて修正
ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を生成し、これをラベ
ル画像Ｌ（ｘ，ｙ）として出力する。
ｙ，ｗ０）に対して、修正ラベル画像Ｌ’（ｘ，ｙ，ｗ
１）を調べて局所領域Ｒ内の単一のラベルのみが存在す
る位置（ｘ’，ｙ’）を検出し、Ｌ（ｘ’，ｙ’，ｗ
０）の値をＬ’（ｘ’，ｙ’，ｗ０）で置き換えて修正
ラベル画像Ｌ’（ｘ，ｙ，ｗ０）を生成し、これをラベ
ル画像Ｌ（ｘ，ｙ）として出力する。
【００５３】かくして画像処理装置１は、撮像装置１０
で撮像して得られた第１の画像信号ｉ１（ｘ，ｙ）及び
第２の画像信号ｉ２（ｘ，ｙ）について、被写体までの
距離に基づいて画像の領域を分割してラベル画像Ｌ
（ｘ，ｙ）を生成する。
で撮像して得られた第１の画像信号ｉ１（ｘ，ｙ）及び
第２の画像信号ｉ２（ｘ，ｙ）について、被写体までの
距離に基づいて画像の領域を分割してラベル画像Ｌ
（ｘ，ｙ）を生成する。
【００５４】（１−２）第１の実施の形態の動作及び効
果以上の構成において、画像処理装置１は、撮像装置１
０によって撮像対象を２つの異なる撮像面位置で撮像
し、焦点ずれによるぼけの程度が異なる第１の画像信号
ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生
成する。
果以上の構成において、画像処理装置１は、撮像装置１
０によって撮像対象を２つの異なる撮像面位置で撮像
し、焦点ずれによるぼけの程度が異なる第１の画像信号
ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生
成する。
【００５５】周波数分析器１２Ａ、１２Ｂ及び１２Ｃ
は、第２の画像信号ｉ２（ｘ，ｙ）に対して、ハイパス
フィルタ２１及びガボアフィルタ２２Ａ〜２２Ｃを用い
てそれぞれ異なる中心周波数でバンドパスフィルタ処理
を施して周波数成分を抽出し、それぞれ周波数成分Ｉ２
（ｘ，ｙ，ｗ０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２
（ｘ，ｙ，ｗ２）を生成して対応する距離算出器１３
Ａ、１３Ｂ及び１３Ｃに出力する。
は、第２の画像信号ｉ２（ｘ，ｙ）に対して、ハイパス
フィルタ２１及びガボアフィルタ２２Ａ〜２２Ｃを用い
てそれぞれ異なる中心周波数でバンドパスフィルタ処理
を施して周波数成分を抽出し、それぞれ周波数成分Ｉ２
（ｘ，ｙ，ｗ０）、Ｉ２（ｘ，ｙ，ｗ１）及びＩ２
（ｘ，ｙ，ｗ２）を生成して対応する距離算出器１３
Ａ、１３Ｂ及び１３Ｃに出力する。
【００５６】また周波数分析器１２Ｄ、１２Ｅ及び１２
Ｆは、第１の画像信号ｉ１（ｘ，ｙ）に対してそれぞれ
異なる中心周波数でバンドパスフィルタ処理を施して周
波数成分を抽出し、それぞれ周波数成分Ｉ１（ｘ，ｙ，
ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ
２）を生成して対応する距離算出器１３Ａ、１３Ｂ及び
１３Ｃに出力する。
Ｆは、第１の画像信号ｉ１（ｘ，ｙ）に対してそれぞれ
異なる中心周波数でバンドパスフィルタ処理を施して周
波数成分を抽出し、それぞれ周波数成分Ｉ１（ｘ，ｙ，
ｗ０）、Ｉ１（ｘ，ｙ，ｗ１）及びＩ１（ｘ，ｙ，ｗ
２）を生成して対応する距離算出器１３Ａ、１３Ｂ及び
１３Ｃに出力する。
【００５７】距離算出器１３Ａ、１３Ｂ及び１３Ｃは、
撮像面位置が異なる２つの画像信号から同一の中心周波
数で抽出された２つの周波数成分を用いて画像上の各位
置におけるぼけの錯乱円直径を算出し、当該錯乱円直径
に基づいて画像上の各位置の被写体距離ａ０（ｘ，ｙ）
を算出し、それぞれ対応するラベル算出器１４Ａ、１４
Ｂ及び１４Ｃに供給する。
撮像面位置が異なる２つの画像信号から同一の中心周波
数で抽出された２つの周波数成分を用いて画像上の各位
置におけるぼけの錯乱円直径を算出し、当該錯乱円直径
に基づいて画像上の各位置の被写体距離ａ０（ｘ，ｙ）
を算出し、それぞれ対応するラベル算出器１４Ａ、１４
Ｂ及び１４Ｃに供給する。
【００５８】ラベル算出器１４Ａ、１４Ｂ及び１４Ｃ
は、それぞれ被写体距離ａ０（ｘ，ｙ）に対して予め設
定された閾値を用いて閾値処理し、画像上の各点に対し
て領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，
ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ
２）を生成し、ラベル補正器１５に供給する。
は、それぞれ被写体距離ａ０（ｘ，ｙ）に対して予め設
定された閾値を用いて閾値処理し、画像上の各点に対し
て領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，
ｙ，ｗ０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ
２）を生成し、ラベル補正器１５に供給する。
【００５９】ラベル補正器１５は、それぞれ異なる中心
周波数に基づいて得られたラベル画像Ｌ（ｘ，ｙ，ｗ
０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を統
合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，
ｙ）を生成する。
周波数に基づいて得られたラベル画像Ｌ（ｘ，ｙ，ｗ
０）、Ｌ（ｘ，ｙ，ｗ１）及びＬ（ｘ，ｙ，ｗ２）を統
合し、最終的な領域分割結果を表すラベル画像Ｌ（ｘ，
ｙ）を生成する。
【００６０】以上の構成によれば、異なる撮像面位置で
撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画
像信号ｉ２（ｘ，ｙ）に対してバンドパスフィルタ処理
を施して周波数成分を抽出し、当該周波数成分を用いて
画像上の各位置における被写体距離を算出した後当該被
写体距離を閾値処理することにより、簡易な構成及び簡
易な演算で被写体領域分割処理を行うことができる。
撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画
像信号ｉ２（ｘ，ｙ）に対してバンドパスフィルタ処理
を施して周波数成分を抽出し、当該周波数成分を用いて
画像上の各位置における被写体距離を算出した後当該被
写体距離を閾値処理することにより、簡易な構成及び簡
易な演算で被写体領域分割処理を行うことができる。
【００６１】（２）第２の実施の形態 （２−１）第２の実施の形態の構成 図１において、２は全体として本発明の第２の実施の形
態による画像処理装置を示し、ローパスフィルタ１６Ａ
〜１６Ｄ及びダウンサンプル器１７Ａ〜１７Ｄを有して
いること、及び周波数分析器１８Ａ〜１８Ｆ内のガボア
フィルタが全て同一の中心周波数ｗを有していること以
外は、第１の実施の形態による画像処理装置１と同一で
ある。
態による画像処理装置を示し、ローパスフィルタ１６Ａ
〜１６Ｄ及びダウンサンプル器１７Ａ〜１７Ｄを有して
いること、及び周波数分析器１８Ａ〜１８Ｆ内のガボア
フィルタが全て同一の中心周波数ｗを有していること以
外は、第１の実施の形態による画像処理装置１と同一で
ある。
【００６２】撮像手段としての撮像装置１０は、まず第
１の撮像面位置で撮像対象を撮像し、第１の画像信号ｉ
１（ｘ，ｙ）をメモリ１１に供給する。続いて撮像装置
１０は第２の撮像面位置で撮像対象を撮像し、第２の画
像信号ｉ２（ｘ，ｙ）を周波数分析器１８Ａ及びローパ
スフィルタ１６Ａに供給する。
１の撮像面位置で撮像対象を撮像し、第１の画像信号ｉ
１（ｘ，ｙ）をメモリ１１に供給する。続いて撮像装置
１０は第２の撮像面位置で撮像対象を撮像し、第２の画
像信号ｉ２（ｘ，ｙ）を周波数分析器１８Ａ及びローパ
スフィルタ１６Ａに供給する。
【００６３】ローパスフィルタ１６Ａは、第２の画像信
号ｉ２（ｘ，ｙ）に対して固有の周波数でローパスフィ
ルタ処理を施して高周波成分を削減し、ダウンサンプル
器１７Ａに出力する。ダウンサンプル器１７Ａは、第２
の画像信号ｉ２（ｘ，ｙ）に対して垂直及び水平方向に
ついて１画素おきの間引き処理を行って間引き画像信号
ｉ２（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｂ
及びローパスフィルタ１６Ｂに供給する。ここでローパ
スフィルタ１６Ａは、第２の画像信号ｉ２（ｘ，ｙ）の
高周波成分を削減することにより、ダウンサンプル器１
７Ａにおける間引き処理によるエリアシングの発生を回
避する。
号ｉ２（ｘ，ｙ）に対して固有の周波数でローパスフィ
ルタ処理を施して高周波成分を削減し、ダウンサンプル
器１７Ａに出力する。ダウンサンプル器１７Ａは、第２
の画像信号ｉ２（ｘ，ｙ）に対して垂直及び水平方向に
ついて１画素おきの間引き処理を行って間引き画像信号
ｉ２（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｂ
及びローパスフィルタ１６Ｂに供給する。ここでローパ
スフィルタ１６Ａは、第２の画像信号ｉ２（ｘ，ｙ）の
高周波成分を削減することにより、ダウンサンプル器１
７Ａにおける間引き処理によるエリアシングの発生を回
避する。
【００６４】同様にローパスフィルタ１６Ｂは、間引き
画像信号ｉ２（ｘ／２，ｙ／２）に対して固有の周波数
でローパスフィルタ処理を施して高周波成分を削減し、
ダウンサンプル器１７Ｂに出力する。ダウンサンプル器
１７Ｂは、間引き画像信号ｉ２（ｘ／２，ｙ／２）に対
して垂直及び水平方向について１画素おきの間引き処理
を行って間引き画像信号ｉ２（ｘ／４，ｙ／４）を生成
し、周波数分析器１８Ｃに供給する。
画像信号ｉ２（ｘ／２，ｙ／２）に対して固有の周波数
でローパスフィルタ処理を施して高周波成分を削減し、
ダウンサンプル器１７Ｂに出力する。ダウンサンプル器
１７Ｂは、間引き画像信号ｉ２（ｘ／２，ｙ／２）に対
して垂直及び水平方向について１画素おきの間引き処理
を行って間引き画像信号ｉ２（ｘ／４，ｙ／４）を生成
し、周波数分析器１８Ｃに供給する。
【００６５】周波数成分抽出手段としての周波数分析器
１８Ａ、１８Ｂ及び１８Ｃは、それぞれ入力した第２の
画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ２（ｘ／
２，ｙ／２）及び間引き画像信号ｉ２（ｘ／４，ｙ／
４）に対して同一の中心周波数ｗでバンドパスフィルタ
処理を施し、それぞれ周波数成分Ｉ２（ｘ，ｙ，ｗ）、
Ｉ２（ｘ／２，ｙ／２，ｗ）及びＩ２（ｘ／４，ｙ／
４，ｗ）を生成して対応する距離算出器１３Ａ、１３Ｂ
及び１３に供給する。
１８Ａ、１８Ｂ及び１８Ｃは、それぞれ入力した第２の
画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ２（ｘ／
２，ｙ／２）及び間引き画像信号ｉ２（ｘ／４，ｙ／
４）に対して同一の中心周波数ｗでバンドパスフィルタ
処理を施し、それぞれ周波数成分Ｉ２（ｘ，ｙ，ｗ）、
Ｉ２（ｘ／２，ｙ／２，ｗ）及びＩ２（ｘ／４，ｙ／
４，ｗ）を生成して対応する距離算出器１３Ａ、１３Ｂ
及び１３に供給する。
【００６６】ここで、周波数分析器１８Ｂに供給される
間引き画像信号ｉ２（ｘ／２，ｙ／２）は、周波数分析
器１８Ａに供給される第２の画像信号ｉ２（ｘ，ｙ）に
比べて、垂直及び水平方向について１／２の画素数とな
っている。このため周波数分析器１８Ｂは、等価的にｗ
／２の周波数成分を抽出することになる。同様に、周波
数分析器１８Ｃに供給される間引き画像信号ｉ２（ｘ／
４，ｙ／４）は、周波数分析器１８Ａに供給される第２
の画像信号ｉ２（ｘ，ｙ）に比べて、垂直及び水平方向
について１／４の画素数となっている。このため周波数
分析器１８Ｃは、等価的にｗ／４の周波数成分を抽出す
ることになる。
間引き画像信号ｉ２（ｘ／２，ｙ／２）は、周波数分析
器１８Ａに供給される第２の画像信号ｉ２（ｘ，ｙ）に
比べて、垂直及び水平方向について１／２の画素数とな
っている。このため周波数分析器１８Ｂは、等価的にｗ
／２の周波数成分を抽出することになる。同様に、周波
数分析器１８Ｃに供給される間引き画像信号ｉ２（ｘ／
４，ｙ／４）は、周波数分析器１８Ａに供給される第２
の画像信号ｉ２（ｘ，ｙ）に比べて、垂直及び水平方向
について１／４の画素数となっている。このため周波数
分析器１８Ｃは、等価的にｗ／４の周波数成分を抽出す
ることになる。
【００６７】すなわち、周波数分析器１８Ａを０段目と
し、周波数分析器１８Ｂを１段目とすると、ｋ段目の周
波数分析器はｗｋ＝ｗ／２k の周波数成分を抽出する。
し、周波数分析器１８Ｂを１段目とすると、ｋ段目の周
波数分析器はｗｋ＝ｗ／２k の周波数成分を抽出する。
【００６８】ここで、間引き画像信号ｉ２（ｘ／２，ｙ
／２）は第２の画像信号ｉ２（ｘ，ｙ）に比べて垂直及
び水平方向に１／２の画素数であるから、周波数分析器
１８Ｂは周波数分析器１８Ａに比べて周波数成分の算出
における演算量が少なくなり、同様に周波数分析器１８
Ｃは周波数分析器１８Ｂに比べて周波数成分の算出にお
ける演算量が少なくなる。このため画像処理装置２は、
第１の実施の形態の画像処理装置１に比べて少ない演算
量で同一の処理を行うことができる。
／２）は第２の画像信号ｉ２（ｘ，ｙ）に比べて垂直及
び水平方向に１／２の画素数であるから、周波数分析器
１８Ｂは周波数分析器１８Ａに比べて周波数成分の算出
における演算量が少なくなり、同様に周波数分析器１８
Ｃは周波数分析器１８Ｂに比べて周波数成分の算出にお
ける演算量が少なくなる。このため画像処理装置２は、
第１の実施の形態の画像処理装置１に比べて少ない演算
量で同一の処理を行うことができる。
【００６９】一方、メモリ１１は、第１の画像信号ｉ１
（ｘ，ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）
に同期して周波数分析器１８Ｄ及びローパスフィルタ１
６Ｃに供給する。
（ｘ，ｙ）を遅延させ、第２の画像信号ｉ２（ｘ，ｙ）
に同期して周波数分析器１８Ｄ及びローパスフィルタ１
６Ｃに供給する。
【００７０】ローパスフィルタ１６Ｃは、第１の画像信
号ｉ１（ｘ，ｙ）に対して固有の周波数でローパスフィ
ルタ処理を施して高周波成分を削減し、ダウンサンプル
器１７Ｃに出力する。ダウンサンプル器１７Ｃは、第１
の画像信号ｉ１（ｘ，ｙ）に対して垂直及び水平方向に
ついて１画素おきの間引き処理を行って間引き画像信号
ｉ１（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｅ
及びローパスフィルタ１６Ｄに供給する。
号ｉ１（ｘ，ｙ）に対して固有の周波数でローパスフィ
ルタ処理を施して高周波成分を削減し、ダウンサンプル
器１７Ｃに出力する。ダウンサンプル器１７Ｃは、第１
の画像信号ｉ１（ｘ，ｙ）に対して垂直及び水平方向に
ついて１画素おきの間引き処理を行って間引き画像信号
ｉ１（ｘ／２，ｙ／２）を生成し、周波数分析器１８Ｅ
及びローパスフィルタ１６Ｄに供給する。
【００７１】同様にローパスフィルタ１６Ｄは、間引き
画像信号ｉ１（ｘ／２，ｙ／２）に対して固有の周波数
でローパスフィルタ処理を施して高周波成分を削減し、
ダウンサンプル器１７Ｄに出力する。ダウンサンプル器
１７Ｄは、間引き画像信号ｉ１（ｘ／２，ｙ／２）に対
して垂直及び水平方向について１画素おきの間引き処理
を行って間引き画像信号ｉ１（ｘ／４，ｙ／４）を生成
し、周波数分析器１８Ｆに供給する。
画像信号ｉ１（ｘ／２，ｙ／２）に対して固有の周波数
でローパスフィルタ処理を施して高周波成分を削減し、
ダウンサンプル器１７Ｄに出力する。ダウンサンプル器
１７Ｄは、間引き画像信号ｉ１（ｘ／２，ｙ／２）に対
して垂直及び水平方向について１画素おきの間引き処理
を行って間引き画像信号ｉ１（ｘ／４，ｙ／４）を生成
し、周波数分析器１８Ｆに供給する。
【００７２】周波数成分抽出手段としての周波数分析器
１８Ｄ、１８Ｅ及び１８Ｆは、それぞれ入力した第１の
画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ１（ｘ／
２，ｙ／２）及び間引き画像信号ｉ１（ｘ／４，ｙ／
４）に対して同一の中心周波数ｗでバンドパスフィルタ
処理を施し、それぞれ周波数成分Ｉ１（ｘ，ｙ，ｗ）、
Ｉ１（ｘ／２，ｙ／２，ｗ）及びＩ１（ｘ／４，ｙ／
４，ｗ）を生成し、対応する周波数成分比較手段として
の距離算出器１３Ａ、１３Ｂ及び１３に供給する。
１８Ｄ、１８Ｅ及び１８Ｆは、それぞれ入力した第１の
画像信号ｉ２（ｘ，ｙ）、間引き画像信号ｉ１（ｘ／
２，ｙ／２）及び間引き画像信号ｉ１（ｘ／４，ｙ／
４）に対して同一の中心周波数ｗでバンドパスフィルタ
処理を施し、それぞれ周波数成分Ｉ１（ｘ，ｙ，ｗ）、
Ｉ１（ｘ／２，ｙ／２，ｗ）及びＩ１（ｘ／４，ｙ／
４，ｗ）を生成し、対応する周波数成分比較手段として
の距離算出器１３Ａ、１３Ｂ及び１３に供給する。
【００７３】距離算出器１３Ａは、周波数成分Ｉ１
（ｘ，ｙ，ｗ）及びＩ２（ｘ，ｙ，ｗ）に基づいて被写
体距離ａ０（ｘ，ｙ）を算出し、ラベル算出器１４Ａに
供給する。
（ｘ，ｙ，ｗ）及びＩ２（ｘ，ｙ，ｗ）に基づいて被写
体距離ａ０（ｘ，ｙ）を算出し、ラベル算出器１４Ａに
供給する。
【００７４】また距離算出器１３Ｂは、周波数成分Ｉ１
（ｘ／２，ｙ／２，ｗ）及び周波数成分Ｉ２（ｘ／２，
ｙ／２，ｗ）に基づいて被写体距離ａ０（ｘ／２，ｙ／
２）を算出し、ラベル算出器１４Ｂに供給する。
（ｘ／２，ｙ／２，ｗ）及び周波数成分Ｉ２（ｘ／２，
ｙ／２，ｗ）に基づいて被写体距離ａ０（ｘ／２，ｙ／
２）を算出し、ラベル算出器１４Ｂに供給する。
【００７５】同様に距離算出器１３Ｃは、周波数成分Ｉ
１（ｘ／４，ｙ／４，ｗ）及び周波数成分Ｉ２（ｘ／
４，ｙ／４，ｗ）に基づいて被写体距離ａ０（ｘ／４，
ｙ／４）を算出し、ラベル算出器１４Ｃに供給する。
１（ｘ／４，ｙ／４，ｗ）及び周波数成分Ｉ２（ｘ／
４，ｙ／４，ｗ）に基づいて被写体距離ａ０（ｘ／４，
ｙ／４）を算出し、ラベル算出器１４Ｃに供給する。
【００７６】領域分割手段としてのラベル算出器１４
Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離
ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ
／４，ｙ／４）に対して予め設定された閾値を用いて閾
値処理し、その結果に基づいて、画像上の各点に対して
領域を表すラベルを貼り付けてラベル画像Ｌ（ｘ，ｙ，
ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／
４，ｗ）を生成し、ラベル補正器１５に供給する。
Ａ、１４Ｂ及び１４Ｃは、それぞれ入力した被写体距離
ａ０（ｘ，ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ
／４，ｙ／４）に対して予め設定された閾値を用いて閾
値処理し、その結果に基づいて、画像上の各点に対して
領域を表すラベルを貼り付けてラベル画像Ｌ（ｘ，ｙ，
ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／
４，ｗ）を生成し、ラベル補正器１５に供給する。
【００７７】領域分割手段としてのラベル補正器１５
は、ラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／
２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を統合し、最終
的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成
する。
は、ラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／
２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）を統合し、最終
的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生成
する。
【００７８】ここでラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ
（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）
は、ダウンサンプル器１６Ａ〜１６Ｄによる間引き処理
によって、それぞれ画素数が異なる。このためラベル補
正器１５は各ラベル画像の画素数の違いを考慮して、
（１２）式を用いてラベルの修正を行いラベル画像Ｌ
（ｘ，ｙ）を生成する。
（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）
は、ダウンサンプル器１６Ａ〜１６Ｄによる間引き処理
によって、それぞれ画素数が異なる。このためラベル補
正器１５は各ラベル画像の画素数の違いを考慮して、
（１２）式を用いてラベルの修正を行いラベル画像Ｌ
（ｘ，ｙ）を生成する。
【００７９】
【数１２】
【００８０】（２−２）第２の実施の形態の動作及び効
果以上の構成において、画像処理装置２は、撮像装置１
０によって撮像対象を２つの異なる撮像面位置で撮像
し、焦点ずれによるぼけの程度が異なる第１の画像信号
ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生
成する。
果以上の構成において、画像処理装置２は、撮像装置１
０によって撮像対象を２つの異なる撮像面位置で撮像
し、焦点ずれによるぼけの程度が異なる第１の画像信号
ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，ｙ）を生
成する。
【００８１】そして画像処理装置２は、第２の画像信号
ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそ
れぞれ対応する周波数分析器１８Ａ及び１８Ｄに供給す
るとともに、第２の画像信号ｉ２（ｘ，ｙ）及び第１の
画像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／２に間引き
処理して対応する周波数分析器１８Ｂ及び１８Ｅに供給
し、さらに第２の画像信号ｉ２（ｘ，ｙ）及び第１の画
像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／４に間引き処
理して対応する周波数分析器１８Ｃ及び１８Ｆに供給す
る。
ｉ２（ｘ，ｙ）及び第１の画像信号ｉ１（ｘ，ｙ）をそ
れぞれ対応する周波数分析器１８Ａ及び１８Ｄに供給す
るとともに、第２の画像信号ｉ２（ｘ，ｙ）及び第１の
画像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／２に間引き
処理して対応する周波数分析器１８Ｂ及び１８Ｅに供給
し、さらに第２の画像信号ｉ２（ｘ，ｙ）及び第１の画
像信号ｉ１（ｘ，ｙ）をそれぞれ縦横１／４に間引き処
理して対応する周波数分析器１８Ｃ及び１８Ｆに供給す
る。
【００８２】周波数分析器１８Ａ〜１８Ｆは、それぞれ
画像信号に対して同一の中心周波数でバンドパスフィル
タ処理を施して周波数成分を抽出し、対応する距離算出
器１３Ａ、１３Ｂ及び１３Ｃに出力する。
画像信号に対して同一の中心周波数でバンドパスフィル
タ処理を施して周波数成分を抽出し、対応する距離算出
器１３Ａ、１３Ｂ及び１３Ｃに出力する。
【００８３】距離算出器１３Ａ、１３Ｂ及び１３Ｃは、
撮像面位置が異なる２つの画像信号から同一の中心周波
数で抽出された２つの周波数成分を用いて画像上の各位
置におけるぼけの錯乱円直径を算出し、当該錯乱円直径
に基づいて画像上の各位置の被写体距離ａ０（ｘ，
ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／
４）を算出し、それぞれ対応するラベル算出器１４Ａ、
１４Ｂ及び１４Ｃに供給する。
撮像面位置が異なる２つの画像信号から同一の中心周波
数で抽出された２つの周波数成分を用いて画像上の各位
置におけるぼけの錯乱円直径を算出し、当該錯乱円直径
に基づいて画像上の各位置の被写体距離ａ０（ｘ，
ｙ）、ａ０（ｘ／２，ｙ／２）及びａ０（ｘ／４，ｙ／
４）を算出し、それぞれ対応するラベル算出器１４Ａ、
１４Ｂ及び１４Ｃに供給する。
【００８４】ラベル算出器１４Ａ、１４Ｂ及び１４Ｃ
は、それぞれ被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／
２，ｙ／２）及びａ０（ｘ／４，ｙ／４）に対して予め
設定された閾値を用いて閾値処理し、画像上の各点に対
して領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，
ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，
ｙ／４，ｗ）を生成し、ラベル補正器１５に供給する。
は、それぞれ被写体距離ａ０（ｘ，ｙ）、ａ０（ｘ／
２，ｙ／２）及びａ０（ｘ／４，ｙ／４）に対して予め
設定された閾値を用いて閾値処理し、画像上の各点に対
して領域を表すラベルを貼り付けたラベル画像Ｌ（ｘ，
ｙ，ｗ）、Ｌ（ｘ／２，ｙ／２，ｗ）及びＬ（ｘ／４，
ｙ／４，ｗ）を生成し、ラベル補正器１５に供給する。
【００８５】ラベル補正器１５は、それぞれ異なる画素
数のラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／
２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）をを統合し、最
終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生
成する。
数のラベル画像Ｌ（ｘ，ｙ，ｗ）、Ｌ（ｘ／２，ｙ／
２，ｗ）及びＬ（ｘ／４，ｙ／４，ｗ）をを統合し、最
終的な領域分割結果を表すラベル画像Ｌ（ｘ，ｙ）を生
成する。
【００８６】以上の構成によれば、異なる撮像面位置で
撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画
像信号ｉ２（ｘ，ｙ）をそれぞれ縦横１／２及び１／４
に間引き処理して周波数成分を抽出し、当該周波数成分
を用いて画像上の各位置における被写体距離を算出した
後当該被写体距離を閾値処理することにより、周波数成
分抽出処理の演算量を削減し、簡易な構成及び簡易な演
算で被写体領域分割処理を行うことができる。
撮像された第１の画像信号ｉ１（ｘ，ｙ）及び第２の画
像信号ｉ２（ｘ，ｙ）をそれぞれ縦横１／２及び１／４
に間引き処理して周波数成分を抽出し、当該周波数成分
を用いて画像上の各位置における被写体距離を算出した
後当該被写体距離を閾値処理することにより、周波数成
分抽出処理の演算量を削減し、簡易な構成及び簡易な演
算で被写体領域分割処理を行うことができる。
【００８７】（３）他の実施の形態なお上述の第１及び
第２の実施の形態においては、輝度信号でなる第１の画
像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，
ｙ）に基づいて被写体領域分割を行うようにしたが、本
発明はこれに限らず、カラー信号に基づいて被写体領域
分割を行うようにしても良い。
第２の実施の形態においては、輝度信号でなる第１の画
像信号ｉ１（ｘ，ｙ）及び第２の画像信号ｉ２（ｘ，
ｙ）に基づいて被写体領域分割を行うようにしたが、本
発明はこれに限らず、カラー信号に基づいて被写体領域
分割を行うようにしても良い。
【００８８】また上述の第１及び第２の実施の形態にお
いては、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１で
遅延し、第２の画像信号ｉ２（ｘ，ｙ）に同期して後段
の周波数分析器に供給するようにしたが、本発明はこれ
に限らず、ブロックマッチング方法等による画像の位置
ずれ補正手段をメモリ１１と後段の周波数分析器の間に
設け、撮像時における手ぶれ等による、第１の画像信号
ｉ１（ｘ，ｙ）と第２の画像信号ｉ２（ｘ，ｙ）との位
置ずれを補正するようにしても良い。
いては、第１の画像信号ｉ１（ｘ，ｙ）をメモリ１１で
遅延し、第２の画像信号ｉ２（ｘ，ｙ）に同期して後段
の周波数分析器に供給するようにしたが、本発明はこれ
に限らず、ブロックマッチング方法等による画像の位置
ずれ補正手段をメモリ１１と後段の周波数分析器の間に
設け、撮像時における手ぶれ等による、第１の画像信号
ｉ１（ｘ，ｙ）と第２の画像信号ｉ２（ｘ，ｙ）との位
置ずれを補正するようにしても良い。
【００８９】また上述の第１及び第２の実施の形態にお
いては、距離算出器で算出した被写体距離について複数
の閾値で閾値処理し、画像を複数の領域に分割したが、
本発明はこれに限らず、距離算出器で算出した被写体距
離について、一つの閾値で閾値処理し、画像を背景領域
及び被写体領域に分割するようにしても良い。
いては、距離算出器で算出した被写体距離について複数
の閾値で閾値処理し、画像を複数の領域に分割したが、
本発明はこれに限らず、距離算出器で算出した被写体距
離について、一つの閾値で閾値処理し、画像を背景領域
及び被写体領域に分割するようにしても良い。
【００９０】さらに上述の第１及び第２の実施の形態に
おいては、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画
像信号ｉ２（ｘ，ｙ）に対して、それぞれ３つの周波数
分析器で周波数成分を抽出するようにしたが、本発明は
これに限らず、第１の画像信号ｉ１（ｘ，ｙ）及び第２
の画像信号ｉ２（ｘ，ｙ）に対してそれぞれ２つの周波
数分析器で周波数成分を抽出したり、あるいはそれぞれ
３つ以上の周波数分析器で周波数成分を抽出するように
しても良い。
おいては、第１の画像信号ｉ１（ｘ，ｙ）及び第２の画
像信号ｉ２（ｘ，ｙ）に対して、それぞれ３つの周波数
分析器で周波数成分を抽出するようにしたが、本発明は
これに限らず、第１の画像信号ｉ１（ｘ，ｙ）及び第２
の画像信号ｉ２（ｘ，ｙ）に対してそれぞれ２つの周波
数分析器で周波数成分を抽出したり、あるいはそれぞれ
３つ以上の周波数分析器で周波数成分を抽出するように
しても良い。
【００９１】さらに上述の第１及び第２の実施の形態に
おいては、撮像面位置の異なる２つの画像信号を用いて
被写体領域を抽出するようにしたが、本発明はこれに限
らず、撮像面位置の異なる２つ以上の画像信号を用いて
被写体領域を抽出するようにしてもよい。
おいては、撮像面位置の異なる２つの画像信号を用いて
被写体領域を抽出するようにしたが、本発明はこれに限
らず、撮像面位置の異なる２つ以上の画像信号を用いて
被写体領域を抽出するようにしてもよい。
【００９２】
【発明の効果】以上の構成によれば、撮像した複数の画
像から周波数成分を抽出し、当該周波数成分を比較して
被写体までの距離情報を算出することにより、ＤＦＤの
簡便さを損なうことなく、簡易な構成及び簡易な演算で
被写体領域分割処理を行うことができる。
像から周波数成分を抽出し、当該周波数成分を比較して
被写体までの距離情報を算出することにより、ＤＦＤの
簡便さを損なうことなく、簡易な構成及び簡易な演算で
被写体領域分割処理を行うことができる。
【図１】本発明の第１の実施の形態による画像処理装置
の全体構成を示すブロック図である。
の全体構成を示すブロック図である。
【図２】周波数分析器の構成を示すブロック図である。
【図３】ラベル補正器の構成を示すブロック図である。
【図４】本発明の第２の実施の形態による画像処理装置
の全体構成を示すブロック図である。
の全体構成を示すブロック図である。
【図５】ＤＦＤの原理を示す略線図である。
１、２……画像処理装置、１０……撮像装置、１１……
メモリ、１２Ａ〜１２Ｆ、１８Ａ〜１８Ｆ……周波数分
析器、１３Ａ〜１３Ｃ……距離算出器、１４Ａ〜１４Ｃ
……ラベル算出器、１５……ラベル補正器、１６Ａ〜１
６Ｄ……ローパスフィルタ、１７Ａ〜１７Ｄ……ダウン
サンプル器、２１……ハイパスフィルタ、２２Ａ〜２２
Ｃ……ガボアフィルタ、２３Ａ〜２３Ｃ……絶対値算出
器、２４……加算器。
メモリ、１２Ａ〜１２Ｆ、１８Ａ〜１８Ｆ……周波数分
析器、１３Ａ〜１３Ｃ……距離算出器、１４Ａ〜１４Ｃ
……ラベル算出器、１５……ラベル補正器、１６Ａ〜１
６Ｄ……ローパスフィルタ、１７Ａ〜１７Ｄ……ダウン
サンプル器、２１……ハイパスフィルタ、２２Ａ〜２２
Ｃ……ガボアフィルタ、２３Ａ〜２３Ｃ……絶対値算出
器、２４……加算器。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/60 Ｇ０６Ｆ 15/70 ３３０Ｚ ３５０Ｊ Ｆターム(参考） 2F065 AA06 DD00 DD06 EE00 FF04 JJ03 JJ19 JJ26 LL04 LL30 QQ00 QQ11 QQ24 QQ25 QQ27 QQ28 QQ31 QQ33 QQ41 2F112 AB05 BA05 BA09 CA02 FA19 FA32 FA41 FA43 FA50 5B057 BA02 BA17 BA30 DA08 DB02 DB09 DC14 DC30 DC32 5L096 AA06 CA06 FA19 FA66 GA34 GA51 GA55 HA01 9A001 BB02 BB03 BB04 GG04 HH24 HH28 JJ71 KK37 KK42
Claims (20)
- 【請求項１】画像を領域分割して所望の被写体領域を抽
出する画像処理装置において、 同一の情景に対して、焦点ずれによるぼけの程度が異な
る複数の画像を撮像する撮像手段と、 上記複数の画像に基づいて、被写体までの距離情報を算
出する距離情報算出手段と、 上記距離情報に基づいて、上記画像を複数の領域に分割
する領域分割手段とを備えることを特徴とする画像処理
装置。 - 【請求項２】上記距離情報算出手段は、上記画像の周波
数成分を抽出する周波数成分抽出手段と、複数の上記画
像それぞれから抽出された上記周波数成分を比較して上
記距離情報を算出する周波数成分比較手段を有すること
を特徴とする請求項１に記載の画像処理装置。 - 【請求項３】上記周波数成分抽出手段は、所定の方向に
変化する上記周波数成分のみを上記画像から抽出する、
方向性を有するバンドパスフィルタであることを特徴と
する請求項２に記載の画像処理装置。 - 【請求項４】上記周波数成分抽出手段は、それぞれ中心
周波数が同一で方向性の異なる周波数成分を上記画像か
ら抽出する複数のバンドパスフィルタを有し、複数の当
該バンドパスフィルタからそれぞれ出力される周波数成
分の絶対値和を、上記中心周波数に対応した上記周波数
成分とすることを特徴とする請求項２に記載の画像処理
装置。 - 【請求項５】上記周波数成分抽出手段は、それぞれ中心
周波数が異なる周波数成分を上記画像から抽出する複数
のバンドパスフィルタを有することを特徴とする請求項
２に記載の画像処理装置。 - 【請求項６】上記周波数成分抽出手段は、ハイパスフィ
ルタ及びガボアフィルタからなることを特徴とする請求
項２に記載の画像処理装置。 - 【請求項７】上記領域分割手段は、上記距離情報算出手
段によって算出された上記距離情報を複数の閾値で閾値
処理することにより、上記画像を複数の領域に分割する
ことを特徴とする請求項１に記載の画像処理装置。 - 【請求項８】上記領域分割手段は、上記距離情報算出手
段によって算出された上記距離情報を所定の１つの閾値
で閾値処理することにより、上記画像を被写体領域と背
景領域とに分割することを特徴とする請求項１に記載の
画像処理装置。 - 【請求項９】上記周波数成分比較手段は、複数の上記バ
ンドパスフィルタで抽出した複数の上記周波数成分それ
ぞれから上記距離情報を算出し、 上記領域分割手段は、複数の上記距離情報それぞれに基
づいて上記画像を領域分割して被写体領域を抽出し、複
数の当該被写体領域を組み合わせて１つの被写体領域を
生成することを特徴とする請求項５に記載の画像処理装
置。 - 【請求項１０】上記領域分割手段は、低い中心周波数を
有するバンドパスフィルタによって得られた被写体領域
の境界近傍部を、より高い中心周波数を有するバンドパ
スフィルタによって得られた被写体領域で置き換えるこ
とを特徴とする請求項９に記載の画像処理装置。 - 【請求項１１】画像を領域分割して所望の被写体領域を
抽出する画像処理方法において、 同一の情景に対して、焦点ずれによるぼけの程度が異な
る複数の画像を撮像する撮像ステップと、 上記複数の画像に基づいて、被写体までの距離情報を算
出する距離情報算出ステップと、 上記距離情報に基づいて、上記画像を複数の領域に分割
する領域分割ステップとからなることを特徴とする画像
処理方法。 - 【請求項１２】上記距離情報算出ステップは、複数の上
記画像それぞれから周波数成分を抽出する周波数成分抽
出ステップと、複数の上記周波数成分を比較して上記距
離情報を算出する周波数成分比較ステップとからなるこ
とを特徴とする請求項１１に記載の画像処理方法。 - 【請求項１３】上記周波数成分抽出ステップは、所定の
方向に変化する上記周波数成分のみを上記画像から抽出
することを特徴とする請求項１２に記載の画像処理方
法。 - 【請求項１４】上記周波数成分抽出ステップは、上記画
像から中心周波数が同一で方向性の異なる複数の周波数
成分を抽出し、当該複数の周波数成分の絶対値和を上記
中心周波数に対応した上記周波数成分とすることを特徴
とする請求項１２に記載の画像処理方法。 - 【請求項１５】上記周波数成分抽出ステップは、中心周
波数の異なる複数の上記周波数成分を上記画像から抽出
することを特徴とする請求項１２に記載の画像処理方
法。 - 【請求項１６】上記周波数成分抽出ステップは、ハイパ
スフィルタ及びガボアフィルタからなることを特徴とす
る請求項１２に記載の画像処理方法。 - 【請求項１７】上記領域分割ステップは、上記距離情報
算出ステップで算出した上記距離情報を複数の閾値で閾
値処理することにより、上記画像を複数の領域に分割す
ることを特徴とする請求項１１に記載の画像処理方法。 - 【請求項１８】上記領域分割ステップは、上記距離情報
算出ステップで算出した上記距離情報を所定の１つの閾
値で閾値処理することにより、上記画像を被写体領域と
背景領域とに分割することを特徴とする請求項１１に記
載の画像処理方法。 - 【請求項１９】上記周波数成分比較ステップは、中心周
波数の異なる複数の上記周波数成分それぞれから上記距
離情報を算出し、 上記領域分割ステップは、複数の上記距離情報それぞれ
に基づいて上記画像を領域分割して被写体領域を抽出
し、複数の当該被写体領域を組み合わせて１つの被写体
領域を生成することを特徴とする請求項１５に記載の画
像処理方法。 - 【請求項２０】上記領域分割ステップは、低い中心周波
数の周波数成分に基づいて抽出した被写体領域の境界近
傍部を、より高い中心周波数の周波数成分に基づいて抽
出した被写体領域で置き換えることを特徴とする請求項
１９に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000021814A JP4403477B2 (ja) | 2000-01-26 | 2000-01-26 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000021814A JP4403477B2 (ja) | 2000-01-26 | 2000-01-26 | 画像処理装置及び画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001208524A true JP2001208524A (ja) | 2001-08-03 |
| JP2001208524A5 JP2001208524A5 (ja) | 2006-12-14 |
| JP4403477B2 JP4403477B2 (ja) | 2010-01-27 |
Family
ID=18548177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000021814A Expired - Fee Related JP4403477B2 (ja) | 2000-01-26 | 2000-01-26 | 画像処理装置及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4403477B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003019475A1 (fr) * | 2001-08-23 | 2003-03-06 | Sony Corporation | Appareil robotique, procede de reconnaissance faciale, et appareil de reconnaissance faciale |
| US7027659B1 (en) * | 1998-05-20 | 2006-04-11 | Texas Instruments Incorporated | Method and apparatus for generating video images |
| JP2009080076A (ja) * | 2007-09-27 | 2009-04-16 | Nippon Steel Corp | 成形品の形状評価方法及び装置 |
| JP2009140496A (ja) * | 2007-12-03 | 2009-06-25 | Ricoh Co Ltd | 電光カラー画像処理システム及びレンズシステム |
| JP2013512626A (ja) * | 2009-12-16 | 2013-04-11 | ソニー エレクトロニクス インク | シーン内の正確な及び相対的な被写体距離を推定するためのアルゴリズム |
| JP2013242617A (ja) * | 2012-05-17 | 2013-12-05 | Canon Inc | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム |
| JP2014044117A (ja) * | 2012-08-27 | 2014-03-13 | Canon Inc | 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム |
| JP2015036632A (ja) * | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法 |
| JP2015072155A (ja) * | 2013-10-02 | 2015-04-16 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| US9117277B2 (en) | 2012-04-04 | 2015-08-25 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| WO2016006901A1 (ko) * | 2014-07-08 | 2016-01-14 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 깊이 정보를 추출하는 방법 및 장치 |
| US9324153B2 (en) | 2012-05-11 | 2016-04-26 | Canon Kabushiki Kaisha | Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program |
| JP2016114528A (ja) * | 2014-12-16 | 2016-06-23 | 東洋ゴム工業株式会社 | 流体計測方法、流体計測装置、流体計測用データ生成方法、流体計測用データ生成装置、及びコンピュータプログラム |
| US9710913B2 (en) | 2014-04-18 | 2017-07-18 | Canon Kabushiki Kaisha | Image processing apparatus that forms distance image and control method thereof, as well as storage medium |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6157249B2 (ja) | 2012-07-31 | 2017-07-05 | キヤノン株式会社 | 撮像装置、距離情報取得方法およびプログラム |
| JP6335423B2 (ja) | 2012-08-31 | 2018-05-30 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
-
2000
- 2000-01-26 JP JP2000021814A patent/JP4403477B2/ja not_active Expired - Fee Related
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7027659B1 (en) * | 1998-05-20 | 2006-04-11 | Texas Instruments Incorporated | Method and apparatus for generating video images |
| US7369686B2 (en) | 2001-08-23 | 2008-05-06 | Sony Corporation | Robot apparatus, face recognition method, and face recognition apparatus |
| KR100941209B1 (ko) | 2001-08-23 | 2010-02-10 | 소니 주식회사 | 로봇 장치, 얼굴 인식 방법 및 얼굴 인식 장치 |
| WO2003019475A1 (fr) * | 2001-08-23 | 2003-03-06 | Sony Corporation | Appareil robotique, procede de reconnaissance faciale, et appareil de reconnaissance faciale |
| JP2009080076A (ja) * | 2007-09-27 | 2009-04-16 | Nippon Steel Corp | 成形品の形状評価方法及び装置 |
| JP2009140496A (ja) * | 2007-12-03 | 2009-06-25 | Ricoh Co Ltd | 電光カラー画像処理システム及びレンズシステム |
| JP2013512626A (ja) * | 2009-12-16 | 2013-04-11 | ソニー エレクトロニクス インク | シーン内の正確な及び相対的な被写体距離を推定するためのアルゴリズム |
| US9117277B2 (en) | 2012-04-04 | 2015-08-25 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| US9324153B2 (en) | 2012-05-11 | 2016-04-26 | Canon Kabushiki Kaisha | Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program |
| JP2013242617A (ja) * | 2012-05-17 | 2013-12-05 | Canon Inc | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム |
| JP2014044117A (ja) * | 2012-08-27 | 2014-03-13 | Canon Inc | 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム |
| JP2015036632A (ja) * | 2013-08-12 | 2015-02-23 | キヤノン株式会社 | 距離計測装置、撮像装置、距離計測方法 |
| JP2015072155A (ja) * | 2013-10-02 | 2015-04-16 | キヤノン株式会社 | 画像処理装置、撮像装置及び画像処理方法 |
| US9264606B2 (en) | 2013-10-02 | 2016-02-16 | Canon Kabushiki Kaisha | Processing device, image pickup device and processing method |
| US9710913B2 (en) | 2014-04-18 | 2017-07-18 | Canon Kabushiki Kaisha | Image processing apparatus that forms distance image and control method thereof, as well as storage medium |
| WO2016006901A1 (ko) * | 2014-07-08 | 2016-01-14 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 깊이 정보를 추출하는 방법 및 장치 |
| KR20160005984A (ko) * | 2014-07-08 | 2016-01-18 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 깊이 정보를 추출하는 방법 및 장치 |
| KR101600183B1 (ko) | 2014-07-08 | 2016-03-04 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 이미지로부터 깊이 정보를 추출하는 방법 및 장치 |
| JP2016114528A (ja) * | 2014-12-16 | 2016-06-23 | 東洋ゴム工業株式会社 | 流体計測方法、流体計測装置、流体計測用データ生成方法、流体計測用データ生成装置、及びコンピュータプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4403477B2 (ja) | 2010-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403477B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN107316326B (zh) | 应用于双目立体视觉的基于边的视差图计算方法和装置 | |
| KR100938195B1 (ko) | 스테레오 매칭을 이용한 거리 추정 장치 및 추정 방법 | |
| KR20150120066A (ko) | 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법 | |
| JP5810314B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| US20160224866A1 (en) | Imaging device and phase difference detection method | |
| JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
| JPWO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| CN110505398B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| WO2012060093A1 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
| JP2015186170A (ja) | 画像処理装置および画像処理方法 | |
| WO2019146510A1 (ja) | 画像処理装置 | |
| KR20190033037A (ko) | 이미징 시스템의 점 확산 함수를 결정하는 방법 | |
| US20140327741A1 (en) | 3D Camera And Method Of Image Processing 3D Images | |
| JP6494402B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
| JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム | |
| JP2016156702A (ja) | 撮像装置および撮像方法 | |
| Chen et al. | Recovering depth from a single image using spectral energy of the defocused step edge gradient | |
| JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 | |
| JPH0875454A (ja) | 測距装置 | |
| JP7373297B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| KR101869226B1 (ko) | 이종 카메라를 위한 시차 맵 생성 방법 | |
| JPH11120359A (ja) | 画像処理装置および方法、並びに伝送媒体 | |
| JP6595858B2 (ja) | 画像処理装置及び画像処理方法 | |
| Ma et al. | HUD image vibration detection on improved edge detection and corner extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060426 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061031 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080926 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081002 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090408 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090625 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091008 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091021 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |