JP2007272292A - 影認識方法及び影境界抽出方法 - Google Patents
影認識方法及び影境界抽出方法 Download PDFInfo
- Publication number
- JP2007272292A JP2007272292A JP2006093847A JP2006093847A JP2007272292A JP 2007272292 A JP2007272292 A JP 2007272292A JP 2006093847 A JP2006093847 A JP 2006093847A JP 2006093847 A JP2006093847 A JP 2006093847A JP 2007272292 A JP2007272292 A JP 2007272292A
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- boundary
- image
- edge
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行う。
【解決手段】カメラで撮像されたカラーの撮像画像は、色空間分解部２２において、例えば、Ｒ画像、Ｇ画像、Ｂ画像の３つの色成分画像に分解され、格納される。画像内に写っている影の認識処理が行われる場合には、これらの色成分画像に基づいて、影境界抽出部２４において、影領域（光源からの光が直接当たっていない領域）と非影領域との境界（影境界）の抽出処理が行われる。また、同様に、影領域抽出部２５においても、影領域の抽出処理が行われる。そして、影境界抽出部及び影領域抽出部のそれぞれで抽出された影境界抽出結果及び影領域抽出結果は、影境界・影領域統合部２６で統合されて、影認識結果が生成される。
【選択図】図２
【解決手段】カメラで撮像されたカラーの撮像画像は、色空間分解部２２において、例えば、Ｒ画像、Ｇ画像、Ｂ画像の３つの色成分画像に分解され、格納される。画像内に写っている影の認識処理が行われる場合には、これらの色成分画像に基づいて、影境界抽出部２４において、影領域（光源からの光が直接当たっていない領域）と非影領域との境界（影境界）の抽出処理が行われる。また、同様に、影領域抽出部２５においても、影領域の抽出処理が行われる。そして、影境界抽出部及び影領域抽出部のそれぞれで抽出された影境界抽出結果及び影領域抽出結果は、影境界・影領域統合部２６で統合されて、影認識結果が生成される。
【選択図】図２
Description
本発明は、画像に写り込んだ影の認識を行うための影認識方法及び画像に写り込んだ影の境界（影領域と非影領域との境界）を抽出するための影境界抽出方法に関する。
従来、撮像装置（カメラ）によって撮像された画像などに写り込んだ影を認識する影認識方法として、例えば、下記の非特許文献１〜３に開示されている技術が知られている。
非特許文献１に開示されている技術では、シーンに照射される光の分布において、照射される光が少ない領域が影領域として検出される。また、非特許文献２に開示されている技術では、画像内の影領域と非影領域では、明るさのみが異なり色成分は大きく変わらないことを利用して、影領域の検出が行われている。また、非特許文献３に開示されている技術では、画像内の動物体の検知結果から、動物体と一緒に検知された影領域の除去が行われている。
"Automatic Image Shadow Identification using LPF in Homomorphic Processing System", Hamideh Etemadnia and Prof. Mohammad Reza Alsharif, Proc. VIIth Digital Image Computing, 10-12, Dec. 2003 "Cast shadow segmentation using invariant color features", E. Salvador et al., Computer Vision and Image Understanding 95, 238-259, 2004 "Improving Shadow Suppression in Moving Object Detection with HSV Color Information", Rita Cucchiara et al., IEEE Intelligent Transportation Systems Conference Proceedings，pp.334-339，2001
"Automatic Image Shadow Identification using LPF in Homomorphic Processing System", Hamideh Etemadnia and Prof. Mohammad Reza Alsharif, Proc. VIIth Digital Image Computing, 10-12, Dec. 2003 "Cast shadow segmentation using invariant color features", E. Salvador et al., Computer Vision and Image Understanding 95, 238-259, 2004 "Improving Shadow Suppression in Moving Object Detection with HSV Color Information", Rita Cucchiara et al., IEEE Intelligent Transportation Systems Conference Proceedings，pp.334-339，2001
しかしながら、非特許文献１に開示されている技術では、画像中に単一の物体しか存在しないような単純な画像における影認識は可能であるが、実環境での複雑な画像（多数の物体が存在しているような画像など）では、影認識を行うことは困難である。
また、非特許文献２に開示されている技術に関しては、屋外などの環境光の影響が大きい場合には、画像内の影領域と非影領域での色成分に違いが生じるため、非特許文献２に開示されている技術の適用は困難である。
また、非特許文献３に開示されている技術では、最初に背景画像を用いた背景差分法などを利用して、動物体を検知する必要がある。そのため、背景が変化していく車やロボットなどの移動体に設置されているカメラで撮像された撮像画像（すなわち、時系列的に連続した画像の背景が変化する場合）に対して、非特許文献３に開示されている技術を適用することは困難である。
本発明は、上記の問題を解決するため、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うための影認識方法及び影境界抽出方法を提供することを目的とする。
上記の目的を達成するため、本発明の影認識方法は、撮像装置によって任意の物体の影が撮像された画像内において、前記影を認識するためにコンピュータによって実行される影認識方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の影領域を抽出する影領域抽出ステップと、
前記画像中の前記影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出ステップと、
前記影領域抽出ステップで抽出された前記影領域、及び前記影境界抽出ステップで抽出された前記影境界の両方に基づいて前記影の認識を行う影認識ステップとを、
有する。
上記の問題を解決するため、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の影領域を抽出する影領域抽出ステップと、
前記画像中の前記影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出ステップと、
前記影領域抽出ステップで抽出された前記影領域、及び前記影境界抽出ステップで抽出された前記影境界の両方に基づいて前記影の認識を行う影認識ステップとを、
有する。
上記の問題を解決するため、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。
さらに、本発明の影認識方法は、上記の影認識方法に加えて、前記影認識ステップにおいて、
前記影領域に属する画素を、前記影を表す画素と判定するステップと、
前記影領域及び前記影境界のいずれにも属さない画素を、前記影を表さない画素と判定するステップと、
前記影領域に属さずかつ前記影境界に属する画素同士が隣接している場合には、隣接している画素同士を集合体とみなす集合設定ステップと、
前記集合設定ステップで設定された前記集合体に属する任意の画素が、前記影領域に属する画素に隣接している場合には、前記影領域に属する画素を含む前記集合体に属するすべての画素を、前記影を表す画素と判定するステップと、
前記集合設定ステップで設定された前記集合体に属するすべての画素が、前記影領域に属する画素に隣接していない場合には、前記集合体に属するすべての画素を、前記影を表さない画素と判定するステップとを、
有する。
これにより、例えば、影領域抽出処理によって得られる影領域と、影境界抽出処理によって得られる影境界とを適切に統合することが可能となる。
前記影領域に属する画素を、前記影を表す画素と判定するステップと、
前記影領域及び前記影境界のいずれにも属さない画素を、前記影を表さない画素と判定するステップと、
前記影領域に属さずかつ前記影境界に属する画素同士が隣接している場合には、隣接している画素同士を集合体とみなす集合設定ステップと、
前記集合設定ステップで設定された前記集合体に属する任意の画素が、前記影領域に属する画素に隣接している場合には、前記影領域に属する画素を含む前記集合体に属するすべての画素を、前記影を表す画素と判定するステップと、
前記集合設定ステップで設定された前記集合体に属するすべての画素が、前記影領域に属する画素に隣接していない場合には、前記集合体に属するすべての画素を、前記影を表さない画素と判定するステップとを、
有する。
これにより、例えば、影領域抽出処理によって得られる影領域と、影境界抽出処理によって得られる影境界とを適切に統合することが可能となる。
また、上記の目的を達成するため、本発明の影境界抽出方法は、撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出するためにコンピュータによって実行される影境界抽出方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定ステップと、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出ステップと、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ設定されている影境界パターンを参照する影境界パターン参照ステップと、
前記影境界パターン参照ステップで参照された前記影境界パターンと、前記パターン算出ステップで算出された前記パターンとを照合するパターン照合ステップと、
前記パターン照合ステップで前記影境界パターンと一致した前記パターン算出ステップで算出された前記パターンに属する前記エッジ画素を、前記影境界に存在する画素と判定するパターン照合影境界判定ステップとを、
有する。
これにより、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。また、処理速度の速い影認識処理を実現することが可能となる。
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定ステップと、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出ステップと、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ設定されている影境界パターンを参照する影境界パターン参照ステップと、
前記影境界パターン参照ステップで参照された前記影境界パターンと、前記パターン算出ステップで算出された前記パターンとを照合するパターン照合ステップと、
前記パターン照合ステップで前記影境界パターンと一致した前記パターン算出ステップで算出された前記パターンに属する前記エッジ画素を、前記影境界に存在する画素と判定するパターン照合影境界判定ステップとを、
有する。
これにより、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。また、処理速度の速い影認識処理を実現することが可能となる。
さらに、本発明の影境界抽出方法は、上記の影境界抽出方法に加えて、前記影境界パターンが、任意の影境界画素と、前記任意の影境界画素の近傍に存在する複数の画素との画素値の関係から生成されたものである。
これにより、影境界パターンを学習によって容易に作成することが可能となる。
これにより、影境界パターンを学習によって容易に作成することが可能となる。
さらに、本発明の影境界抽出方法は、上記の影境界抽出方法に加えて、前記画素値が、ＲＧＢ表色系の色成分値である。
これにより、カラー画像に基づく影境界の抽出処理を行うことが可能となる。
これにより、カラー画像に基づく影境界の抽出処理を行うことが可能となる。
また、上記の目的を達成するため、本発明の影境界抽出方法は、撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出するためにコンピュータによって実行される影境界抽出方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出ステップと、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定ステップと、
前記特徴量関係判定ステップで、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定ステップとを、
有する。
これにより、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出ステップと、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定ステップと、
前記特徴量関係判定ステップで、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定ステップとを、
有する。
これにより、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。
さらに、本発明の影境界抽出方法は、上記の影境界抽出方法に加えて、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係が、前記影領域に照射される光の分光特性と、前記非影領域に照射される光の分光特性の違いに基づいて定められたものである。
これにより、撮像時の環境の影響を考慮した影境界の抽出処理を実現することが可能いとなる。
これにより、撮像時の環境の影響を考慮した影境界の抽出処理を実現することが可能いとなる。
さらに、本発明の影境界抽出方法は、上記の影境界抽出方法に加えて、前記特徴量算出ステップにおいて、前記エッジに属するエッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量とする。
これにより、エッジを隔てた２つの領域の特徴量を確実に算出することが可能となる。
これにより、エッジを隔てた２つの領域の特徴量を確実に算出することが可能となる。
さらに、本発明の影境界抽出方法は、上記の影境界抽出方法に加えて、前記特徴量が、前記２つの領域のそれぞれに属する一部又はすべての画素の画素値の統計量である。
これにより、統計処理によって、エッジを隔てた２つの領域のそれぞれの特徴量を容易かつ迅速に算出することが可能となる。
これにより、統計処理によって、エッジを隔てた２つの領域のそれぞれの特徴量を容易かつ迅速に算出することが可能となる。
さらに、本発明の影境界抽出方法は、上記の影境界抽出方法に加えて、前記画素値が、ＲＧＢ表色系の色成分値である。
これにより、カラー画像に基づく影境界の抽出処理を行うことが可能となる。
これにより、カラー画像に基づく影境界の抽出処理を行うことが可能となる。
また、上記の目的を達成するため、本発明の影境界抽出方法は、撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出するためにコンピュータによって実行される影境界抽出方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定ステップと、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出ステップと、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ定められている影境界パターンを参照する影境界パターン参照ステップと、
前記影境界パターン参照ステップで参照された前記影境界パターンと、前記パターン算出ステップで算出された前記パターンとを照合するパターン照合ステップと、
前記パターン照合ステップで、前記影境界パターンと一致した前記パターン算出ステップで算出された前記パターンに属する前記エッジ画素を特定するパターン照合影領域判定ステップと、
前記パターン照合影領域判定ステップで特定された前記エッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量として、前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出ステップと、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定ステップと、
前記特徴量関係判定ステップで、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定ステップとを、
有する。
上記の問題を解決するため、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定ステップと、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出ステップと、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ定められている影境界パターンを参照する影境界パターン参照ステップと、
前記影境界パターン参照ステップで参照された前記影境界パターンと、前記パターン算出ステップで算出された前記パターンとを照合するパターン照合ステップと、
前記パターン照合ステップで、前記影境界パターンと一致した前記パターン算出ステップで算出された前記パターンに属する前記エッジ画素を特定するパターン照合影領域判定ステップと、
前記パターン照合影領域判定ステップで特定された前記エッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量として、前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出ステップと、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定ステップと、
前記特徴量関係判定ステップで、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定ステップとを、
有する。
上記の問題を解決するため、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の認識を行うことが可能となる。
本発明は、画像内の背景が複雑な場合においても、１枚の画像から、その画像に写っている影の境界（影領域と非影領域との境界）を抽出することができるという効果を有しており、精度の高い影認識を行うことができるという効果を有している。
以下、図面を参照しながら、本発明の第１〜第３の実施の形態について説明する。
まず、図２３を参照しながら、本明細書で用いられる用語を定義する。図２３は、本発明に係る影認識方法及び影境界抽出方法における被撮像物及び撮像画像の一例を示す図である。
図２３に図示されているように、空間に物体が存在する場合に、光源（例えば太陽）から発せられた光は、その一部が物体に遮られ、地面などの投影面に物体の影が投影される。また、物体の影は、直接光源からの光は当たっていないものの、例えば大気中の粒子やその他の光反射体（例えば壁など）によって反射又は散乱した光（環境光）が間接的に投射される。
本明細書では、物体の影が存在する領域を影領域、影領域とは異なる領域（その物体の影が存在しない領域）を非影領域、影領域と非影領域との境界（影領域のエッジ）を影境界と呼ぶ。また、本発明に係る影の認識（影認識）とは、撮像画像中に影が存在するか否か、あるいは撮像画像中のある領域（又は画素そのもの）によって表される非撮像物が影か否かを認識することを表す。
次に、図１を参照しながら、本発明の第１〜第３の実施の形態に共通する画像補正システムの構成について説明する。図１には、本発明の第１〜第３の実施の形態に共通する画像補正システムの構成の一例が図示されている。
図１に図示されている画像補正システムは、カメラ（撮像装置）１０、影認識装置２０、影補正装置（画像補正装置）３０、表示モニタ４０、撮像画像利用装置５０を有している。
図１において、カメラ１０は、任意の撮像方向の撮像を行う機能を有している。なお、カメラ１０で撮像される撮像画像は、動画像であってもよく、静止画像であってもよい。また、カメラ１０の設置の態様は任意であり、例えば監視カメラなどのように所定の位置に固定されていてもよく、車両、船、飛行機、移動可能なロボットなどの移動体と共に移動するように移動体に設置されていてもよい。また、カメラ１０は、人間が持ち運ぶことが可能なカメラであってもよい。
図１に図示されているように、カメラ１０で撮像された撮像画像は、影認識装置２０及び影補正装置３０に供給される。なお、図１には、カメラ１０で撮像された撮像画像が直接、影認識装置２０及び影補正装置３０に供給される構成が図示されているが、カメラ１０で撮像された撮像画像がいったん記録媒体に格納されたり、別の画像処理装置で画像処理が行われたりした後に、影認識装置２０及び影補正装置３０に供給されてもよく、また、ネットワークなどを通じて影認識装置２０及び影補正装置３０に供給されてもよい。
また、影認識装置２０は、カメラ１０で撮像された撮像画像内に存在する影を認識する機能を有している。なお、影認識装置２０の詳細な構成に関しては、後で、図２を参照しながら説明する。影認識装置２０による影認識結果は、影補正装置３０に供給される。
また、影補正装置３０は、影認識装置２０から供給された影認識結果に基づいて、カメラ１０から供給された撮像画像内に写っている影の画質を補正（改善）する機能を有している。影補正装置３０は、影の補正を行うことによって、撮像画像における影による影響を低減させることが可能である。なお、本発明は、影認識装置２０で認識された撮像画像内に存在する影の補正方法に特に制限を加えるものではなく、すなわち、影補正装置３０は、撮像画像内に存在する影を補正するために、任意の影補正技術を用いることが可能である。影補正装置３０によって影が補正された撮像画像（補正後の撮像画像）は、様々な用途に使用可能である。
例えば、影補正装置３０で生成された補正後の撮像画像は、表示モニタ４０に送られて表示される。補正後の撮像画像は、影によって劣化した視認性が改善されており、本来、影によって見えにくいはずの画像領域の視認性が向上されている。
また、例えば、影補正装置３０で生成された補正後の撮像画像は、駐車支援装置や物体検出装置などの撮像画像利用装置５０に送られる。駐車支援装置では、例えば車両に搭載されたカメラ１０による撮像画像に基づいて、車両を所望の駐車目標位置に駐車させる支援が行われるが、影を含むカメラ１０からの撮像画像に代わって、影の影響が除去された補正後の撮像画像を利用することで、より安全かつ確実な駐車支援が行われるようになる。また、物体検出装置においても、駐車支援装置と同様にカメラ１０による撮像画像に基づいて、移動体の進行方向に存在する物体（障害物）の検出が行われる。したがって、物体検出装置においても、影を含むカメラ１０からの撮像画像に代わって、影の影響が除去された補正後の撮像画像を利用することで、より確実に物体検出が行われるようになる。
次に、図２を参照しながら、本発明の第１〜第３の実施の形態に共通する影認識装置の構成について説明する。図２には、本発明の第１〜第３の実施の形態に共通する影認識装置の構成の一例が図示されている。なお、図２に図示されている影認識装置２０は、図１に図示されている影認識装置２０の一構成例を示すものである。
図２に図示されている影認識装置２０は、カラー画像取得部２１、色空間分解部２２、画像格納部２３、影境界抽出部２４、影領域抽出部２５、影境界・影領域統合部２６、影認識結果出力部２７を有している。なお、図２においてブロック図で表されている影認識装置２０の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
図２において、カラー画像取得部２１は、カメラ１０によって撮像されたカラーの撮像画像（カラー画像）を取得する機能を有している。カラー画像取得部２１で取得されたカラー画像は、色空間分解部２２に供給される。
また、色空間分解部２２は、カラー画像取得部２１から供給されたカラー画像を所定の色空間の各色成分画像に分解する機能を有している。例えば、色空間としてＲＧＢ表色系を使用した場合、色空間分解部２２は、カラー画像をＲ画像、Ｇ画像、Ｂ画像の３つの色成分画像に分解する。色空間分解部２２で生成された色成分画像（ＲＧＢ表色系の場合には、Ｒ画像、Ｇ画像、Ｂ画像の３つの画像）は、画像格納部２３に格納される。
なお、以下では、主に色空間としてＲＧＢ表色系が使用された場合を一例として説明を行うが、本発明では、任意の色空間の使用が可能である。例えば、ＲＧＢ表色系への変換が可能なＸＹＺ表色系が使用されてもよい。また、ＨＳＶ表色系やＨＳＩ表色系のＶ画像又はＩ画像（明度を表す画像）が使用されてもよく、この場合には、グレースケール画像に対して、本発明を適用することが可能となる。
また、画像格納部２３は、色空間分解部２２で生成された色成分画像を一時的に格納する機能を有している。画像格納部２３に格納された色成分画像は、適宜、影境界抽出部２４又は影領域抽出部２５によって読み出される。
また、影境界抽出部２４は、画像格納部２３から読み出された色成分画像に基づいて、画像内に存在する影境界（影領域と非影領域との境界）を抽出する機能を有している。影境界抽出部２４で抽出された影境界抽出結果は、影境界・影領域統合部２６に供給される。なお、影境界抽出部２４は、例えば、後述のように、パターン照合によって影境界の判定を行う構成（図３に図示されている構成）、画像の分光特性に基づいて、色成分値の統計量（例えば平均値）が満たす条件によって影境界の判定を行う構成（図５に図示されている構成）、さらには、上記の２つの構成を組み合わせた構成（図７に図示されている構成）などを有している。
また、影領域抽出部２５は、画像格納部２３から読み出された色成分画像に基づいて、画像内に存在する影領域を抽出する機能を有している。なお、図２では、影領域抽出部２５は、影領域の抽出の基データとして画像格納部２３に格納されている色成分画像を使用するように構成されているが、カラー画像取得部２１で取得されたカラー画像を基データとして影領域の抽出を行うことも可能である。影領域抽出部２５で抽出された影領域抽出結果は、影境界・影領域統合部２６に供給される。
なお、本発明は、撮像画像内に存在する影領域の抽出方法に特に制限を加えるものではなく、すなわち、影領域抽出部２５は、撮像画像内に存在する影領域を抽出するために、例えば、非特許文献１、２に開示されている技術を始めとする任意の影領域抽出技術を用いることが可能である。
また、影境界・影領域統合部２６は、影境界抽出部２４で抽出された影境界抽出結果、及び、影領域抽出部２５で抽出された影領域抽出結果の両方に基づいて影の認識を行い、影認識結果を生成する機能を有している。なお、影境界・影領域統合部２６は、例えば、後述のように、影境界抽出結果及び影領域抽出結果を組み合わせることによって、それぞれの抽出結果が補完された影認識結果を生成する構成（図８に図示されている構成）などを有している。
また、影認識結果出力部２７は、影境界・影領域統合部２６から供給された影認識結果を外部（例えば影補正装置３０や任意の記録媒体など）に出力する機能を有している。
＜第１の実施の形態＞
次に、図３を参照しながら、本発明の第１の実施の形態について説明する。図３には、本発明の第１の実施の形態における影認識装置２０の影境界抽出部２４の構成の一例が図示されている。なお、図３に図示されている影境界抽出部２４は、図２に図示されている影認識装置２０内の影境界抽出部２４の一構成例を示すものである。
次に、図３を参照しながら、本発明の第１の実施の形態について説明する。図３には、本発明の第１の実施の形態における影認識装置２０の影境界抽出部２４の構成の一例が図示されている。なお、図３に図示されている影境界抽出部２４は、図２に図示されている影認識装置２０内の影境界抽出部２４の一構成例を示すものである。
図３に図示されている影境界抽出部２４は、色成分画像取得部２４１１、エッジ抽出部２４１２、２値化処理部２４１３、近傍パターン算出部２４１４、パターン照合・影境界判定部２４１５、影境界パターン格納部２４１６、影境界抽出結果格納部２４１７、影認識結果出力部２４１８を有している。なお、図３においてブロック図で表されている影境界抽出部２４の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
図３において、色成分画像取得部２４１１は、図２の画像格納部２２に格納されている色成分画像を必要に応じて取得する機能を有している。色成分画像取得部２４１１で取得された色成分画像は、エッジ抽出部２４１２及び近傍パターン算出部２４１４に供給される。
また、エッジ抽出部２４１２は、色成分画像取得部２４１１から供給された色成分画像におけるエッジ（画像内に存在する物体の輪郭）を抽出する機能を有している。エッジ抽出部２４１２は、例えばＳｏｂｅｌ（ゾーベル）フィルタを用いたエッジ抽出技術など、公知のエッジ抽出技術を用いてエッジ抽出を行うことが可能である。エッジ抽出部２４１２で得られたエッジ抽出結果（エッジ画像）は、２値化処理部２４１３に供給される。なお、色成分画像ごとにエッジ画像の生成が行われる。
また、２値化処理部２４１３は、エッジ抽出部２４１２から供給されたエッジ画像を２値化する機能を有している。なお、２値化処理部２４１３は、自動的に２値化の閾値を設定することが可能な大津の方法などの公知技術を用いて、エッジ画像の２値化を行うことが可能である。２値化処理部２４１３で２値化されたエッジ画像は、色成分画像内の物体のエッジのみが描かれたモノクロ画像である。以下では、この２値化されたエッジ画像におけるエッジを表す画素をエッジ画素と呼ぶことにする。なお、２値化処理部２４１３で得られたエッジ画素が影境界の画素であるのか、あるいは単なる物体のエッジの画素であるのかをこの段階で判断することは困難である。２値化処理部２４１３で得られた２値化されたエッジ画像（エッジ画素）は、近傍パターン算出部２４１４に供給される。
近傍パターン算出部２４１４は、２値化処理部２４１３から供給されたエッジ画像に基づいて画像内のエッジ画素を特定し、色成分画像取得部２４１１から取得された色成分画像における各エッジ画素の座標位置に関して、その座標位置の画素の色成分値と、その座標位置の画素の近傍に存在する画素の色成分値との関係（近傍パターン）を算出する機能を有している。なお、ある画素の近傍に存在する画素として、例えば後述の図１０に図示されているように、周囲８方向の近傍（８近傍）の画素を設定することが可能である。近傍パターン算出部２４１４で算出された近傍パターンは、パターン照合・影境界判定部２４１５に供給される。
また、パターン照合・影境界判定部２４１５は、影境界パターン格納部２４１６に格納されている複数の影境界パターンのうちのいずれか１つに、近傍パターン算出部２４１４から供給される各画素の近傍パターンが一致するか否かの照合を行い、一致が確認された近傍パターンの画素を影境界の画素と判定する機能を有している。パターン照合・影境界判定部２４１５において影境界であると判定された画素に係る情報（座標位置情報など）は、影境界抽出結果格納部２４１７に格納される。なお、以下では、パターンの算出に各画素の色成分値（ＲＧＢ値）を用いている場合を一例に挙げているが、任意の種類の画素値（各画素に固有の値）を用いることが可能である。
また、影境界パターン格納部２４１６には、パターン照合・影境界判定部２４１５で影境界の判定基準として用いられる複数の影境界パターンがあらかじめ格納されている。影境界パターン格納部２４１６にあらかじめ格納されている複数の影境界パターンは、いずれも影境界の画素に特有の近傍パターンである。本発明の第１の実施の形態では、影境界パターン格納部２４１６に格納されている影境界パターンと同一の近傍パターンを有する画素が、影境界の画素と判定される。なお、例えば、あらかじめ影境界と分かっている画素の近傍パターンを算出、蓄積することで、影境界パターン格納部２４１６に格納すべき影境界パターンを容易に生成することが可能である。
また、影境界抽出結果格納部２４１７には、パターン照合・影境界判定部２４１５で影境界であると判定された画素に係る情報（座標位置情報など）が格納される。なお、１枚の画像ごとに、影境界であると判定された画素に係る情報（座標位置情報など）の管理が行われることが望ましい。
また、影境界抽出結果出力部２４１８は、影境界抽出結果格納部２４１７に格納されている影境界であると判定された画素に係る情報を、影境界抽出結果として、例えば画像単位で外部に出力する機能を有している。
次に、図４を参照しながら、本発明の第１の実施の形態における影認識装置２０の影境界抽出部２４の動作について説明する。図４は、本発明の第１の実施の形態における影認識装置２０の影境界抽出部２４の動作の一例を示すフローチャートである。なお、図４に図示されているフローチャートに係る動作は、図１及び図２に図示されている影認識装置２０の影境界抽出部２４によって実行される。
図４に図示されているフローチャートでは、まず、色成分画像取得部２４１１において、色成分画像が取得され（ステップＳ１００１）、エッジ抽出部２４１２において、色成分画像のそれぞれに関してエッジ抽出処理が行われてエッジ画像が生成され（ステップＳ１００２）、さらに、２値化処理部２４１３において、各エッジ画像に関して２値化処理が行われる（ステップＳ１００３）。
そして、近傍パターン算出部２４１４は、２値化されたエッジ画像によって特定されるエッジ画素を１つ選択し（ステップＳ１００４）、選択されたエッジ画素の座標位置に対応する色成分画像の色成分値に基づいて、そのエッジ画素の近傍パターンを算出する（ステップＳ１００５）。
ここで、ステップＳ１００５における近傍パターンの算出処理について、具体例をあげて説明する。ステップＳ１００５では、図１０に図示されているように、例えばある画素の近傍に存在する画素として、ある画素を中心とする周囲８方向の近傍（８近傍）の画素が設定されており、ステップＳ１００４で選択されたエッジ画素の色成分値と、そのエッジ画素の近傍の各画素の色成分値とを比較することによって、そのエッジ画素の近傍パターンが決定される。
例えば、ステップＳ１００５では、まず、各色成分画像（Ｒ画像、Ｇ画像、Ｂ画像）において、ステップＳ１００４で選択されたエッジ画素の色成分値（Ｒ０，Ｇ０，Ｂ０）と、そのエッジ画素を中心とした８近傍の各画素の色成分値（Ｒｉ，Ｇｉ，Ｂｉ）（ただしｉ＝１〜８の整数）との比較が行われる。
そして、所定の条件（例えばＲ０＜Ｒｉ、Ｇ０＜Ｇｉ、Ｂ０＜Ｂｉの条件）を満たす画素間の関係に関しては、判定フラグ＝１を立て、上記の条件を満たさない画素間の関係に関しては、判定フラグ＝０とすることによって、ステップＳ１００４で選択されたエッジ画素のＲ画像、Ｇ画像、Ｂ画像のそれぞれにおける判定フラグを決定する。なお、図１０には、Ｒ画像に関しては、Ｒ０＜Ｒ１、Ｒ０＜Ｒ２、Ｒ０＜Ｒ３、Ｒ０＜Ｒ４であり、Ｇ画像に関しては、Ｇ０＜Ｇ２、Ｇ０＜Ｇ３、Ｇ０＜Ｇ４、Ｇ０＜Ｇ６であり、Ｂ画像に関しては、Ｂ０＜Ｂ１、Ｂ０＜Ｂ２、Ｂ０＜Ｂ３の場合に決定される判定フラグが模式的に図示されている。ＲＧＢ表色系（３つの色成分）で８近傍を設定した場合には、数値上、（２8）3通りの判定フラグのパターンが存在し得ることになる。
さらに、上述の判定フラグのパターンの値が所定の条件（例えば、同一画素におけるＲ、Ｇ、Ｂ画像の各判定フラグの値がすべて１）を満たす場合に、８近傍パターンの値を１とすることによって、ステップＳ１００４で選択されたエッジ画素の８近傍パターンが生成される。なお、図１０の例では、エッジ画素に対して中央上側及び右上側に存在する画素の判定フラグの値がＲ画像、Ｇ画像、Ｂ画像のすべてにおいて１であり、したがって、このエッジ画素は、中央上側及び右上側に存在する画素の８近傍パターン値が１（その他は０）となる８近傍パターンを有する。８近傍パターンは、（２8）3通り存在した判定フラグのパターンが集約され、数値上、２8通り存在し得る。
また、色空間にＨＳＶ表色系が使用されている場合には色成分画像は明るさを表すＶ画像のみを使用してもよく、エッジ画素のＶ値（Ｖ０）と８近傍の各画素のＶ値（Ｖｉ）（ただしｉ＝１〜８の整数）との関係が所定の条件を満たすか否かを判断することによって、上述のＲＧＢ表色系の場合と同様に、ステップＳ１００４で選択されたエッジ画素の８近傍パターンを生成することが可能となる。なお、上述のようにＨＳＶ表色系（明度を示す値Ｖが１つのみ）で８近傍を設定した場合には、判定フラグの値と８近傍パターンの値とは同一となる。
ステップＳ１００５で算出された８近傍パターンは、パターン照合・影境界判定部２４１５に供給される。このとき、パターン照合・影境界判定部２４１５は、影境界パターン格納部２４１６に格納されている影境界パターンを１つ読み出し（ステップＳ１００６）、ステップＳ１００５で算出された８近傍パターンと一致するか否かを照合する（ステップＳ１００７）。なお、一致しなかった場合には、影境界パターン格納部２４１６から読み出されていない新たな影境界パターンの存在を確認して新たな影境界パターンを読み出す（ステップＳ１００８）ことで、ステップＳ１００５で算出された８近傍パターンと一致する影境界パターンが存在するか否かを順次照合していく。
ここで、ステップＳ１００６で読み出される影境界パターンについて具体的に説明する。影境界パターンは、影境界パターン格納部２４１６内にあらかじめ準備されるものであり、上述のように、例えば、あらかじめ影境界と分かっている画素（影境界画素）の近傍パターンを算出して、その算出結果を影境界パターンとして格納しておくことが可能である。
例えば、図１１に図示されているように、あらかじめ影境界であることが分かっているエッジ画素及びその８近傍の画素を準備し、近傍パターン算出部２４１４で用いられる近傍パターン算出アルゴリズム（図１０に模式的に図示されている上述の８近傍パターン算出アルゴリズム）を適用して、影境界画素の影境界パターンを生成することが可能である。なお、影境界の抽出精度を向上させるためには、多数の影境界パターンを用意しておく必要がある。したがって、様々な影境界の画像を準備して多数の影境界パターンを算出し、影境界パターン格納部２４１６に格納しておくことが望ましい。なお、図１１に図示されている影境界パターンの生成方法は一例であって、本発明に係る影境界パターンの生成方法は、これに限定されるものではない。
また、ステップＳ１００７において、ステップＳ１００５で算出された８近傍パターンと影境界パターンが一致した場合には、パターン照合・影境界判定部２４１５は、そのエッジ画素は影境界の画素であると判断し（ステップＳ１００９）、影境界抽出結果格納部２４１７に、そのエッジ画素が影境界の画素である旨を示す情報を格納する。一方、ステップＳ１００５で算出された８近傍パターンが、すべての影境界パターンと一致しなかった場合には、そのエッジ画素は影境界の画素であるという判断は行われない。
ステップＳ１００４〜ステップＳ１００９の処理は、すべてのエッジ画素に対して行われる。すなわち、選択されたエッジ画素が影境界の画素であるか否かの判断が完了した場合、エッジ画素がすべて選択されたか否かが確認される（ステップＳ１０１０）。そして、未選択のエッジ画素が存在する場合にはステップＳ１００４に戻り、未選択のエッジ画素に関して、ステップＳ１００４〜ステップＳ１００９の処理が行われる。一方、すべてのエッジ画素が選択された場合（すなわち、すべてのエッジ画素に関して判断が行われた場合）には、処理は終了となる。
以上、説明したように、本発明の第１の実施の形態に係る影境界抽出方法によれば、画素間の関係を表すパターンが、影境界の画素に特徴的なパターン（影境界パターン）を有している場合に、その画素は、画像に写っている影の境界（影領域と非影領域との境界）を形成する影境界の画素であると判断することで、影境界を抽出することが可能となる。
＜第２の実施の形態＞
次に、図５を参照しながら、本発明の第２の実施の形態について説明する。図５には、本発明の第２の実施の形態における影認識装置２０の影境界抽出部２４の構成の一例が図示されている。なお、図５に図示されている影境界抽出部２４は、図２に図示されている影認識装置２０内の影境界抽出部２４の一構成例を示すものである。
次に、図５を参照しながら、本発明の第２の実施の形態について説明する。図５には、本発明の第２の実施の形態における影認識装置２０の影境界抽出部２４の構成の一例が図示されている。なお、図５に図示されている影境界抽出部２４は、図２に図示されている影認識装置２０内の影境界抽出部２４の一構成例を示すものである。
図５に図示されている影境界抽出部２４は、色成分画像取得部２４２１、エッジ抽出部２４２２、２値化処理部２４２３、エッジ勾配方向算出部２４２４、影境界判定条件算出部２４２５、影境界判定部２４２６、影境界抽出結果格納部２４２７、影抽出結果出力部２４２８を有している。なお、図５においてブロック図で表されている影境界抽出部２４の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
図５において、色成分画像取得部２４２１、エッジ抽出部２４２２、２値化処理部２４２３、影境界抽出結果格納部２４２７、影境界抽出結果格納部２４２８の各機能は、図３に図示されている色成分画像取得部２４１１、エッジ抽出部２４１２、２値化処理部２４１３、影境界抽出結果格納部２４１７、影境界抽出結果格納部２４１８の各機能と同一である。ただし、色成分画像取得部２４２１で取得された色成分画像は、エッジ抽出部２４２２に加えて、陰境界判定条件算出部２４２６にも供給される。また、エッジ抽出部２４２２で得られたエッジ抽出結果は、２値化処理部２４２３に加えて、エッジ勾配方向算出部にも供給される。また、２値化処理部２４２３で得られた２値化されたエッジ画像は、エッジ勾配方向算出部２４２４及び影境界判定条件算出部２４２５に供給される。
また、本発明の第２の実施の形態では、２値化処理部２４２３で２値化されたエッジ画像の各エッジ画素において、エッジ勾配方向の算出処理及び色成分値の統計処理（例えば、平均化処理）が行われるが、これらの処理は、エッジが太いと同一箇所において複数回の処理が行われてしまうことになり、非効率的になってしまう。したがって、処理の軽減のために、２値化処理部２４２３で得られた２値化されたエッジ画像に含まれるエッジに対して、更に細線化処理を行うことが望ましい。
また、エッジ勾配方向算出部２４２４は、各エッジ画素に関して、例えばＳｏｂｅｌフィルタの演算結果からエッジ勾配方向を求める機能を有している。なお、算出されたエッジ勾配方向は、画像平面内におけるエッジに対して略垂直な方向を示すものであるが、本発明の第２の実施の形態においては、各エッジ画素に関して厳密なエッジ勾配方向を算出する必要はない。エッジ勾配方向に関しては、後で、例えば図１２を参照しながら説明する。
また、影境界判定条件算出部２４２５は、エッジ勾配方向算出部２４２４で算出されたエッジ勾配方向を向いており、影境界の画素か否かの判定を行うエッジ画素を通る直線上において、そのエッジ画素を挟む２つの領域（対象画素の両側に存在する領域）のそれぞれに属する画素の色成分値の統計量を算出する機能を有している。そして、影境界判定条件算出部２４２５は、算出された色成分値の統計量に基づいて、そのエッジ画素近辺の分光特性を把握し、この分光特性によってエッジ画素が影境界の画素か否かを判断する機能を有している。なお、ここでは、影境界判定条件算出部２４２５は、エッジによって隔てられた２つの領域のそれぞれの色成分値の統計量を算出する構成を例に挙げているが、色成分値ではなく、任意の種類の画素値（各画素に固有の値）を用いてもよい。また、統計量の算出には、任意の統計処理アルゴリズムを使用することが可能であるが、以下では、統計量として平均値が使用された場合を一例に挙げて説明を行う。
また、影境界判定部２４２６は、影境界判定条件算出部２４２５で算出された対象画素を通る勾配方向の直線上の画素の平均値変化の条件から、対象画素が影境界に存在するか否かを判定する機能を有している。影境界判定部２４２６で影境界であると判定された画素に係る情報（座標位置情報など）は、影境界抽出結果格納部２４２７に格納される。
次に、図６を参照しながら、本発明の第２の実施の形態における影認識装置２０の影境界抽出部２４の動作について説明する。図６は、本発明の第２の実施の形態における影認識装置２０の影境界抽出部２４の動作の一例を示すフローチャートである。なお、図６に図示されているフローチャートに係る動作は、図１及び図２に図示されている影認識装置２０の影境界抽出部２４によって実行される。
図６に図示されているフローチャートでは、まず、色成分画像取得部２４２１において、色成分画像が取得され（ステップＳ２００１）、エッジ抽出部２４２２において、色成分画像のそれぞれに関してエッジ抽出処理が行われてエッジ画像が生成され（ステップＳ２００２）、さらに、２値化処理部２４２３において、各エッジ画像に関して２値化処理が行われる（ステップＳ２００３）。なお、ここで２値化されたエッジ画像に対して細線化処理が行われてもよい。
そして、エッジ勾配方向算出部２４２４は、２値化されたエッジ画像によって特定されるエッジ画素を１つ選択し（ステップＳ２００４）、選択されたエッジ画素の座標位置に対応する色成分画像の色成分値に基づいて、そのエッジ勾配方向を算出する（ステップＳ２００５）。
ここで、ステップＳ２００５におけるエッジ勾配方向の算出処理について、具体例を挙げて説明する。ある座標位置に存在するエッジ画素は、エッジによって分けられる２つの領域の境界上に位置している。このとき、このエッジ画素を通る線分の方向が、この線分に垂直かつエッジ画素を通る線分を超えて移動する際に、画素の色成分値の変化が最も大きくなるような方向がエッジ勾配方向となる。エッジ勾配方向は、例えばあるエッジ画素付近の境界の接線に対する垂線とすればよい。
エッジ勾配方向の算出は、任意の公知技術を用いて行うことが可能である。例えば、ステップＳ２００２のエッジ抽出処理でＳｏｂｅｌフィルタを用いた場合、ステップＳ２００２のエッジ抽出処理と同時に、エッジ画素の縦エッジ抽出Ｓｏｂｅｌフィルタ結果及び横エッジ抽出Ｓｏｂｅｌフィルタ結果を得ることが可能である。これらのＳｏｂｅｌフィルタ結果には、縦及び横の２方向の隣接画素との間における色成分値の変化の勾配を示す情報が含まれており、ある座標位置（ｘ，ｙ）のエッジ画素に対して、下記の式（１）を適用することによって、図１２に図示されているようなエッジ勾配方向ｇ（ｘ，ｙ）を得ることが可能である。
ただし、式（１）において、ＲV（ｘ，ｙ）、ＧV（ｘ，ｙ）、ＢV（ｘ，ｙ）は、座標位置（ｘ，ｙ）における各色成分値の縦エッジ抽出Ｓｏｂｅｌフィルタ結果であり、ＲH（ｘ，ｙ）、ＧH（ｘ，ｙ）、ＢH（ｘ，ｙ）は、座標位置（ｘ，ｙ）における各色成分値の横エッジ抽出Ｓｏｂｅｌフィルタ結果である。
なお、式（１）において、各色成分値のＳｏｂｅｌフィルタ結果の和を、各色成分値のＳｏｂｅｌフィルタ結果をベクトル要素とするノルムに代えることによって、より正確なエッジ勾配方向が得られる。しかしながら、ステップＳ２００５において求めようとしているエッジ勾配方向は、画像平面内におけるエッジに対して略垂直な方向であって、必ずしも正確な値を求める必要はない。
例えば、式（１）では、３つの色成分値を考慮したエッジ勾配方向を求めているが、例えば、１つの色成分値のみに関するエッジ勾配方向を求めて、そのエッジ勾配方向を座標位置（ｘ，ｙ）のエッジ勾配方向としたり、座標位置（ｘ，ｙ）の近隣に存在するエッジ画素のエッジ勾配方向を、座標位置（ｘ，ｙ）のエッジ画素として使用したりすることも可能である。また、グレースケール画像や、他の表色系の色成分値のエッジ画像から求めた縦エッジ抽出結果や横エッジ抽出結果を用いて、エッジ勾配方向を定めてもよい。
ステップＳ２００５におけるエッジ勾配方向の算出処理は、すべてのエッジ画素に関して行われる。すなわち、選択されたエッジ画素に係るエッジ勾配方向の算出処理が完了した場合、エッジ勾配方向が未算出のエッジ画素（未選択のエッジ画素）が存在するか否かを確認し（ステップＳ２００６）、未選択のエッジ画素が存在する場合には、新たなエッジ画素を選択して順次エッジ勾配方向の算出を行う。
一方、すべてのエッジ画素に関してエッジ勾配方向の算出が完了した場合には、続いて、各エッジ画素に関して、算出されたエッジ勾配方向に基づく演算が行われる。影境界判定条件算出部２４２５は、２値化されたエッジ画像によって特定されるエッジ画素を１つ選択し（ステップＳ２００７）、そのエッジ画素のエッジ勾配方向に基づく演算を行う（ステップＳ２００８）。具体的には、ステップＳ２００８において、選択されたエッジ画素を通る線分であって、かつそのエッジ画素のエッジ勾配方向に平行な線分を設定し、エッジ画素を挟んで分けられる２つの領域のそれぞれの色成分値の平均値を算出することが可能である。
以下、ステップＳ２００８におけるエッジ画素のエッジ勾配方向に基づく演算について、具体例を挙げて説明する。ステップＳ２００８では、エッジ画素を挟んで一方及び他方の領域（エッジ勾配方向に垂直な接線によって分けられる２つの領域）を考える。そして、一方の領域の線分上に存在する複数の画素の各色成分値の平均値を算出するとともに、他方の領域の線分上に存在する複数の画素の各色成分値の平均値を算出する。なお、図１２に図示されているように、エッジ画素から少し離れた地点に平均値を算出するための画素を含む領域を設定することで、エッジ付近で発生するオーバシュートの影響を回避することが可能となる。
なお、図１３には、図１２に図示されている座標位置（ｘ，ｙ）のエッジ画素に関して、ステップＳ２００８で算出されたエッジ勾配方向の線分ＡＢ上における平均値が模式的に示されている。なお、ステップＳ２００８で算出された線分ＡＢのＡ側のＲＧＢ値のそれぞれの平均値をＦR N、ＦG N、ＦB Nと表記し、線分ＡＢのＢ側のＲＧＢ値のそれぞれの平均値をＦR S、ＦG S、ＦB Sと表記する。
ステップＳ２００８における平均値の算出処理も、すべてのエッジ画素に関して行われる。すなわち、選択されたエッジ画素に係る平均値の算出処理が完了した場合、平均値が未算出のエッジ画素（未選択のエッジ画素）が存在するか否かを確認し（ステップＳ２００９）、未選択のエッジ画素が存在する場合には、新たなエッジ画素を選択して順次平均値の算出を行う。
そして、上述のようにエッジ画素に関して算出された平均値に基づいて、影境界判定部２４２６において、各エッジ画素が影境界の画素か否かの判断が行われ、影境界に属するエッジ画素が決定される（ステップＳ２０１０）。
ステップＳ２０１０でエッジ画素が影境界の画素か否かを判断する際、例えば、下記の２つの条件（第１及び第２の条件）の両方を満たすエッジ画素を影境界の画素と判断する。
（第１の条件）
影領域では非影領域に比べてＲＧＢ値がすべて小さいことを考慮して、下記の関係式を満たすエッジ画素を、影領域の画素候補とする。
影領域では非影領域に比べてＲＧＢ値がすべて小さいことを考慮して、下記の関係式を満たすエッジ画素を、影領域の画素候補とする。
ＦR S＜ＦR N
ＦG S＜ＦG N
ＦB S＜ＦB N
ＦG S＜ＦG N
ＦB S＜ＦB N
（第２の条件）
屋外の場合、太陽光は白色からやや黄色がかった色であり、また、環境光は空からの散乱光の青成分が強い光である。この条件を考慮して、下記の式（２）を満たすエッジ画素を、影領域の画素候補とする。なお、光源の光の分光特性と、環境光の分光特性をあらかじめ分かっている場合には、その分光特性に応じて下記の式（２）の条件を適宜変えることによって、屋外以外の環境でも影境界を抽出することが可能である。
屋外の場合、太陽光は白色からやや黄色がかった色であり、また、環境光は空からの散乱光の青成分が強い光である。この条件を考慮して、下記の式（２）を満たすエッジ画素を、影領域の画素候補とする。なお、光源の光の分光特性と、環境光の分光特性をあらかじめ分かっている場合には、その分光特性に応じて下記の式（２）の条件を適宜変えることによって、屋外以外の環境でも影境界を抽出することが可能である。
ｒR＜ｒG＜ｒB・・・（２）
ただし、
ｒR＝ＦR S／（ＦR N−ＦR S）
ｒG＝ＦG S／（ＦG N−ＦG S）
ｒB＝ＦB S／（ＦB N−ＦB S）
ただし、
ｒR＝ＦR S／（ＦR N−ＦR S）
ｒG＝ＦG S／（ＦG N−ＦG S）
ｒB＝ＦB S／（ＦB N−ＦB S）
なお、上記の式を式（２）に代入することから、下記の式でも式（２）の条件を満たすことが分かる。したがって、下記の式を用いることも可能である。
ｒR＝ＦR S／ＦR N
ｒG＝ＦG S／ＦG N
ｒB＝ＦB S／ＦB N
ｒR＝ＦR S／ＦR N
ｒG＝ＦG S／ＦG N
ｒB＝ＦB S／ＦB N
また、材質の分光反射特性がＲＧＢの色成分値で大きく変わらないことが分かっている場合、屋外のように、環境光の青成分が強い場合には次の傾向となることが予想される。
ＦR S＜ＦG S＜ＦB S
この条件は、上記の式（２）の条件を満たしており、上記の式（２）に代わって、下記の式（３）を満たすエッジ画素を、影領域の画素候補としてもよい。
ＦR N−ＦR S＞ＦG N−ＦG S＞ＦB N−ＦB S・・・（３）
この式（３）の条件も、式（２）の条件と同様に、光源の光の分光特性と、環境光の分光特性をあらかじめ分かっている場合、その分光特性に応じて上記の式（３）の条件を変えることにより、屋外以外の環境でも影境界を抽出することが可能である。
以上のようにして、ステップＳ２０１０で決定された影境界の画素に係る情報は、影境界抽出結果として、影境界抽出結果格納部２４２７に格納される。
以上、説明したように、本発明の第２の実施の形態に係る影境界抽出方法によれば、影領域が非影領域に比べて明度が小さいことを利用して、影境界を抽出することが可能となる。また、ＲＧＢ表色系の場合、影領域のＲＧＢ値すべてが、非影領域のＲＧＢ値に比べて小さいことを利用して、影境界を抽出することが可能となる。さらに、影領域に照射される光の分光特性（影領域には光源からの光が照射されていないが、例えば壁などにより反射された光（環境光）が照射される）と、非影領域に照射される光の分光特性との違いを利用して、影境界を抽出することが可能となる。
＜第３の実施の形態＞
次に、図７を参照しながら、本発明の第３の実施の形態について説明する。図７には、本発明の第３の実施の形態における影認識装置２０の影境界抽出部２４の構成の一例が図示されている。なお、図７に図示されている影境界抽出部２４は、図２に図示されている影認識装置２０内の影境界抽出部２４の一構成例を示すものである。
次に、図７を参照しながら、本発明の第３の実施の形態について説明する。図７には、本発明の第３の実施の形態における影認識装置２０の影境界抽出部２４の構成の一例が図示されている。なお、図７に図示されている影境界抽出部２４は、図２に図示されている影認識装置２０内の影境界抽出部２４の一構成例を示すものである。
図７に図示されている影境界抽出部２４は、色成分画像取得部２４３１、エッジ抽出部２４３２、２値化処理部２４３３、近傍パターン算出部２４３４、パターン照合・影境界判定部２４３５、影境界パターン格納部２４３６、エッジ勾配方向算出部２４３７、影境界判定条件算出部２４３８、影境界判定部２４３９、影境界抽出結果格納部２４４０、影抽出結果出力部２４４１を有している。
図７に図示されている色成分画像取得部２４３１、エッジ抽出部２４３２、２値化処理部２４３３、近傍パターン算出部２４３４、パターン照合・影境界判定部２４３５、影境界パターン格納部２４３６は、図３に図示されている色成分画像取得部２４１１、エッジ抽出部２４１２、２値化処理部２４１３、近傍パターン算出部２４１４、パターン照合・影境界判定部２４１５、影境界パターン格納部２４１６と同一の機能を有しており、図７に図示されているエッジ勾配方向算出部２４３７、影境界判定条件算出部２４３８、影境界判定部２４３９、影境界抽出結果格納部２４４０、影抽出結果出力部２４４１は、図５に図示されているエッジ勾配方向算出部２４２４、影境界判定条件算出部２４２５、影境界判定部２４２６、影境界抽出結果格納部２４２７、影抽出結果出力部２４２８と同一の機能を有している。
なお、以下では、便宜上、色成分画像取得部２４３１、エッジ抽出部２４３２、２値化処理部２４３３、近傍パターン算出部２４３４、パターン照合・影境界判定部２４３５、影境界パターン格納部２４３６を有する機構を前半処理機構と呼び、エッジ勾配方向算出部２４３７、影境界判定条件算出部２４３８、影境界判定部２４３９、影境界抽出結果格納部２４４０、影抽出結果出力部２４４１を有する機構を後半処理機構と呼ぶことにする。
なお、本発明の第３の実施の形態は、基本的に上述の本発明の第１及び第２の実施の形態を組み合わせたものである。すなわち、図７に図示されている前半処理機構によって、図４に図示されている影境界抽出方法が実行され、図７に図示されている後半処理機構によって、図６に図示されている影境界抽出方法が実行される。
本発明の第１の実施の形態に開示されている影境界抽出方法は、例えば、ある画素に関して算出された近傍パターンと、影境界パターンとの一致が検出された場合には、即座にその画素を影境界の画素であると判断するなど、処理が比較的短時間に行われることに特徴があるが、その分、影境界抽出精度は、本発明の第２の実施の形態に開示されている影境界抽出方法に比べて低い可能性がある。
一方、本発明の第２の実施の形態に開示されている影境界抽出方法は、画像の分光特性を参照して高い精度で影境界を抽出することが可能であるが、エッジ勾配方向や平均値の算出など計算処理が多く、本発明の第１の実施の形態に開示されている影境界抽出方法に比べて、処理に比較的時間がかかる可能性がある。
そこで、本発明の第３の実施の形態では、図７に図示されているように、図３及び図５に図示されている構成を組み合わせることによって、前半処理機構において生成された影抽出処理結果に関してのみ（図５に図示されている構成では、すべてのエッジ画素に対して処理を行う必要がある）、後半処理機構において更なる影境界抽出処理を行うようにしている。これにより、本発明の第１の実施の形態に開示されている技術よりも高い抽出精度を実現するとともに、本発明の第２の実施の形態に開示されている技術よりも短い処理時間を実現することが可能となる。
次に、図８を参照しながら、本発明の第１〜第３の実施の形態における影境界抽出方法で得られる影境界抽出結果に基づいて影認識を実行する影認識装置２０の影境界・影領域統合部２６の構成について説明する。図８には、本発明の第１〜第３の実施の形態において得られる影境界抽出結果を利用する影認識装置２０の影境界・影領域統合部２６の構成の一例が図示されている。なお、図８に図示されている影境界・影領域統合部２６は、図２に図示されている影認識装置２０の影境界・影領域統合部２６の一構成例を示すものである。
図８に図示されている影境界・影領域統合部２６は、影境界抽出結果取得部２６１、影領域抽出結果取得部２６２、影境界・影領域関係算出部２６３、影判断部２６４、影認識結果格納部２６５を有している。なお、図８においてブロック図で表されている影境界・影領域統合部２６の機能は、ハードウェア及び／又はコンピュータによって実行されるソフトウェアによって実現可能である。
図８において、影境界抽出結果取得部２６１は、図２に図示されている影境界抽出部２４によって生成された影境界抽出結果を取得する機能を有している。また、影領域抽出結果取得部２６２は、図２に図示されている影領域抽出部２５によって生成された影領域抽出結果を取得する機能を有している。影境界抽出結果取得部２６１で取得された影境界抽出結果、及び影領域抽出結果取得部２６２で取得された影領域抽出結果は、影境界・影領域関係算出部２６３に供給される。
また、影境界・影領域関係算出部２６３は、影境界抽出結果取得部２６１で取得された影境界抽出結果と、影領域抽出結果取得部２６２で取得された影領域抽出結果との関係に基づいて、各画素に関して、影境界抽出結果及び影領域抽出結果を統合した判定値を算出する機能を有している。影境界・影領域関係算出部２６３で算出された各画素の判定値は、影判断部２６４に供給される。なお、影境界・影領域関係算出部２６３で算出される判定値に関しては、後で具体的に説明する。
また、影判断部２６４は、影境界・影領域関係算出部２６３で算出された判定値に基づいて、画像内に存在する影の判断を行う機能を有している。影判断部２６４における判断結果は、画像内に存在する影の最終的な認識結果である。影判断部２６４で得られた各画素の影認識結果は、影認識結果格納部２６５に格納される。なお、影判断部２６４における影判断方法に関しても後で具体的に説明する。
また、影認識結果格納部２６５には、影判断部２６４で得られた影認識結果（例えば、どの画素が影に属するかを示す情報）が格納される。影認識結果格納部２６５に格納されている影認識結果は、影認識装置２０の影認識結果出力部２７から、例えば画像単位で外部に出力される。
次に、図９を参照しながら、本発明の第１〜第３の実施の形態で得られる影境界抽出結果に基づいて影認識を実行するための影認識装置の概要について説明する。図９は、本発明の第１〜第３の実施の形態で得られる影境界抽出結果に基づいて影認識を実行するための影認識装置の動作の一例を示すフローチャートである。なお、図９に図示されているフローチャートに係る動作は、図１及び図２に図示されている影認識装置２０の影境界・影領域統合部２６によって実行される。
図９に図示されているフローチャートでは、まず、影境界抽出結果取得部２６１において、影境界抽出結果が取得される（ステップＳ２６０１）とともに、影領域抽出結果取得部２６２において、影領域抽出結果が取得される（ステップＳ２６０２）。
そして、影境界・影領域関係算出部２６３において、各画素において、同一画素における影境界抽出結果及び影領域抽出結果の関連付けが行われて、１つの値（判定値）が算出される（ステップＳ２６０３）。
ここで、影境界・影領域関係算出部２６３による影境界抽出結果及び影領域抽出結果の関連付けについて説明する。影境界抽出結果には、画像内の各画素が影境界である旨（影境界抽出結果＝１）、あるいは影境界ではない旨（影境界抽出結果＝０）を示す情報が含まれている。また、影領域抽出結果には、画像内の各画素が影領域である旨（影領域抽出結果＝１）、あるいは影領域ではない旨（影境界抽出結果＝０）を示す情報が含まれている。したがって、ある画素は、影境界抽出結果及び影領域抽出結果の組み合わせに関して４通りに分類可能であり、影境界・影領域関係算出部２６３は、これらの４通りの組み合わせに対して、例えば下記のように判定値を算出する。
影境界抽出結果＝１ かつ 影領域抽出結果＝１ → 判定値＝２
影境界抽出結果＝０ かつ 影領域抽出結果＝１ → 判定値＝２
影境界抽出結果＝１ かつ 影領域抽出結果＝０ → 判定値＝１
影境界抽出結果＝０ かつ 影領域抽出結果＝０ → 判定値＝０
影境界抽出結果＝０ かつ 影領域抽出結果＝１ → 判定値＝２
影境界抽出結果＝１ かつ 影領域抽出結果＝０ → 判定値＝１
影境界抽出結果＝０ かつ 影領域抽出結果＝０ → 判定値＝０
なお、ここでは、影境界抽出結果よりも影領域抽出結果を重視して、影境界抽出結果の値によらず、影領域抽出結果＝１の場合には同一の判定値が付与されるようにしている。また、上記の判定値の設定は一例であり、任意の適切な設定を行うことが可能である。
さらに、影境界・影領域関係算出部２６３で算出された判定値に基づいて、影判断部２６４において、画像内における各画素間の関係や画像全体のバランスが考慮されて、各画素が影に属するか否かの判断が行われる（ステップＳ２６０４）。
以下、影境界・影領域関係算出部２６３で算出された判定値に基づいて行われる、影判断部２６４における影の判断方法について説明する。例えば、影判断部２６４は、下記のように、判定値＝２の画素に関しては影であると判断し、判定値＝０の画素に関しては影ではないと判断する。一方、判定値＝１の画素に関しては、その画素に隣接した画素の判定値を考慮し、判定値＝１の画素の集合（クラスタ）を導出し、その判定値＝１の集合が任意の箇所で判定値＝２の画素と接しているか否かを判断する。そして、任意の箇所で判定値＝２の画素と接している判定値＝１の集合に属する画素に関しては影であると判断し、一方、どの箇所においても判定値＝２の画素と接していない判定値＝１の集合に属する画素に関しては影ではないと判断する。
上述の影の判断方法について、図１４に図示されている画像を一例として説明する。図１４は画像の一部であり、各画素と、各画素に付与されている判定値とが図示されている。図１４には、判定値＝１の集合Ａ、Ｂが２つ存在している。
図１４において、判定値＝１の集合Ａでは、その集合Ａに属する一部の画素が、判定値＝２の画素に隣接している。したがって、上述の条件に基づいて、判定値＝１の集合Ａに属するすべての画素は、影であると判断される。一方、判定値＝１の集合Ｂでは、その集合Ｂに属する画素がいずれも判定値＝２の画素に隣接していない。したがって、上述の条件に基づいて、判定値＝１の集合Ｂに属するすべての画素は、影ではないと判断される。
影判断部２６４は、上述のように判定値に基づいて、各画素が影に属するか否かの判断を行った後、画像全体のバランスを考慮して、例えば影境界の途切れを補正して、影境界のよって囲まれた閉領域を塗り潰す（当該閉領域内部の画素を影に属する画素とみなす）ことによって、最終的な影認識結果を作成する。
また、図１５は、本発明の第１〜第３の実施の形態で得られる影境界抽出結果に基づく影認識方法の概要を説明するための概念図である。図９に図示されている影認識方法によれば、図１５に図示されているように、まず、影が写っている原画像５００から、影境界抽出処理及び影領域抽出処理が行われて、影境界抽出結果５０１及び影領域抽出結果５０２が得られる。なお、図１５に図示されているように、影境界抽出結果５０１には、影境界のエッジを十分に抽出することができずに影境界の途切れが存在しており、影領域抽出結果５０２には、実際の影とは異なる影領域の欠けが存在しているものとする。
影境界・影領域関係算出部２６３における処理は、これらの影境界抽出結果及び影領域抽出結果を統合して、多値の判定値によって表現を行うものである。その結果、多値の判定値を含む統合画像５０３が得られる（図９のステップＳ２６０３の処理に対応）。そして、判定値＝１を有する画素のクラスタリングなどの処理が行われて、余分な影境界が削除された画像５０４が作成され、さらに、影境界の途切れの補正や影境界及び影領域による閉領域の塗り潰し処理などが行われて、影認識結果５０５が生成される。
以上、説明したように、本発明に係る影認識方法によれば、画像に写っている影に対して、影領域の抽出及び影境界の抽出という異なるアプローチによって抽出された結果を統合することで、従来の技術に比べて影の認識精度を大幅に向上させることが可能となる。
なお、本発明に係る影認識方法及び影境界抽出方法は、様々な用途に利用することが可能である。例えば、本発明によって認識された画像内の影を補正することで、人間の目に見やすい画像（視認性に優れた画像）を提示することが可能となる。
具体的には、画像中の影領域の濃淡を明るくしたり、影領域の濃淡を、その影領域に隣接する非影領域の濃淡に合わせたりすることで、人間の目にとって視認性の良い画像を提示することが可能となる。
また、車両がトンネルに入るときなどのように、急激な明暗の変化がある場合、人間の目が暗順応するのに時間がかかる。そこで、影の部分（路面上の影とトンネル内部）を明るくした画像を提示することで、運転者の視認性を向上させることが可能となる。
また、例えば、本発明によって認識された画像内の影を補正することで、画像処理、画像認識の処理精度を向上させることが可能となる。
例えば、車両に設定されたカメラで撮影された画像から、道路領域を抽出しようとした場合に、道路にかかった他物体の影領域を道路領域として抽出できない場合がある。そこで、影領域の濃淡を隣接した非影領域の濃淡に合わせることで、道路領域のみを抽出することが可能となる。
また、例えば、本発明によって影認識を行うことで、立体物に関する情報を取得することが可能となる。例えば、影は、光源からの光が立体物で遮られることにより生じるため、認識した影から立体物の情報（形状や位置など）を取得するために利用可能である。
また、本発明によれば、例えば、一般道のように様々な物体が存在するような複雑な環境において撮影された画像からも、従来の技術に比べて精度よく影認識を行うことが可能となる。例えば、運転者の駐車支援の目的で、車両後方に取り付けたカメラ（リアカメラ）で画像を撮像し、画像表示部（ナビげーション装置の画面）にその撮像画像を表示する製品が既に市場に出ているが、画像中に含まれる影の部分が見づらく、確認がしづらい。そのため、影領域に存在する子供やペットを見逃す可能性がある。一方、本発明によれば、リアカメラ画像に映っている一緒に写り込んだ影を認識することで、運転者に見やすいように特定の影の補正を行うことが可能となり、補正された撮像画像を運転者に提示することで、事故を未然に防ぐことが可能となる。
次に、本発明に係る影認識方法及び影境界抽出方法の第１の適用例について説明する。第１の適用例では、カメラが車両に設置されており、運転者が車両の移動方向の安全性を確認できるように、車両内に設置された画像表示部にカメラによって撮像された撮像画像を表示する車両運転支援システムに本発明が適用される。
図１６は、本発明に係る影認識方法及び影境界抽出方法の第１の適用例のシステム構成を示す図である。図１６には、カラー画像取得部６０１、カラー画像格納部６０２、影認識部６０３、影有無判定部６０４、自車影特定領域情報格納部６０５、自車影抽出部６０６、自車影有無判定部６０７、自車影補正部６０８、画像表示部６０９が図示されている。
カラー画像取得部６０１は、車両に設置され、車両の移動方向を撮像するカメラであり、カラー画像を撮像する機能を有している。また、カラー画像格納部６０２は、カラー画像取得部６０２で取得（撮像）されたカラー画像を保持する機能を有している。
また、影認識部６０３は、カラー画像格納部６０３に格納されているカラー画像内に撮像されている影認識を行う機能を有している。なお、影認識部６０３は、本発明によって定義される影認識方法又は影境界抽出方法を用いて、画像内の影認識結果を生成することが可能である。
また、影有無判定部６０４は、影認識部６０３から供給される影認識結果を参照して、画像内に影が存在しているか否かを判定し、画像内に影が存在しない場合には、カラー画像格納部６０２に格納されているカラー画像が画像表示部６０９に送出されるように指示を行う一方、画像内に影が存在している場合には、影認識結果を自車影取得部６０５に供給する機能を有している。
また、自車両背景画像格納部６０５には、例えば、カラー画像内に自車両の影（自車影）が写っている場合に、概ね自車影が写る画像内の領域（自車影領域：例えば、画像の中央下側の自車両の一部が撮像されている近辺）を特定するための情報が格納されている。そして、自車影取得部６０６は、この領域に写っている影を取得して、その取得結果を自車影有無判定部６０７に供給する。
自車影有無判定部６０７は、この領域に影が写っているか否か、この領域に影が写っている場合には、その影が自車両の影か否かの判定をおこなうことによって、画像内に自車影が写っているか否かの判定を行う機能を有している。また、自車影有無判定部６０７は、画像内に自車影が写っていない場合には、カラー画像格納部６０２に格納されているカラー画像が画像表示部６０９に送出されるように指示を行う一方、画像内に自車影が写っている場合には、特定された自車影の影認識結果を自車影補正部６０８に供給する機能を有している。
また、自車影補正部６０８は、画像内に自車影が写っており、自車影有無判定部６０７から自車影の影認識結果を受けた場合に、カラー画像格納部６０２に格納されているカラー画像を読み出し、例えば自車影の画像領域のみ明度を向上させる処理などによって、自車影の影響が低減された（自車影が除去された）カラー画像を生成する機能を有している。そして、自車影補正部６０８によって補正されたカラー画像は、例えば車両内の運転者が視認可能な位置に設置されている画像表示部６０９で表示される。
次に、本発明に係る影認識方法及び影境界抽出方法の第１の適用例の動作について説明する。 図１７は、本発明に係る影認識方法及び影境界抽出方法の第１の適用例の動作を示すフローチャートである。
図１７に図示されているフローチャートでは、まず、車両の任意の場所に設置されたカメラからカラー画像が取得され（ステップＳ６５１）、そのカラー画像がカラー画像格納部６０２に格納される（ステップＳ６５２）。そして、影認識部６０３において影認識処理が行われて、カラー画像内の影が特定される（ステップＳ６５３）。
次に、影有無判定部６０４において、影認識部６０３による影認識処理で画像内に影が存在するか否かの判定が行われる（ステップＳ６５４）。ここで、影が存在する場合には、自車影取得部６０６でその自車影領域が取得され（ステップＳ６５５）、自車影領域内に影（自車影）が存在するか否かの判定が行われる。そして、自車影が存在する場合には、自車影補正部６０８で、カラー画像から自車影を除去する補正が行われた後（ステップＳ６５６）、補正後のカラー画像が画像表示部６０９に表示される（ステップＳ６５７）。
ステップＳ６５４で影が存在しないと判定された場合や、ステップＳ６５６で自車影が存在しないと判定された場合には、画像表示部６０９には、カラー画像取得部で取得された映像がそのまま表示される。
この第１の適用例では、例えば、図１８に図示されているように、車両後部にリアカメラ６５０が設置されている車両６６０が想定される。なお、ここでは、太陽６７０がリアカメラ６５０の撮像方向に自車影６８０を作る位置に存在しており、車両６６０の進行方向（バック走行時）に存在する物体６９０は自車影の中に入ってしまう。その結果、車両６５０の進行方向に存在する物体６９０は暗くなり、リアカメラ６５０による撮像画像が画像表示部６０９に表示された場合には、図１９に図示されているように、運転者は自車影６８０の影響で物体６９０を視認することが困難な場合がある。しかしながら、本発明に係る第１の適用例では、自車影の認識処理によって自車影認識結果が得られ、その結果、画像上において自車影６９０の除去処理などを行うことが可能となる。
次に、本発明に係る影認識方法及び影境界抽出方法の第２の適用例について説明する。第２の適用例では、車両やロボットなどの移動体が自律的に走行可能な領域（走行路）を検出する際に用いられる画像領域分割に本発明が適用される。
図２０は、本発明に係る影認識方法及び影境界抽出方法の第２の適用例のシステム構成を示す図である。図２０には、カラー画像取得部７０１、カラー画像格納部７０２、画像領域分割部７０３、領域境界抽出部７０４、影境界判定部７０５、領域境界補正部７０６、走行可能領域抽出部７０７、走行可能可否判定部７０８、警報部７０９、制動制御部７１０が図示されている。
カラー画像取得部７０１は、車両やロボットなどの移動体に搭載され、移動体が走行の可否を判断しようとする方向を撮像するカメラであり、カラー画像を撮像する機能を有している。また、カラー画像格納部７０２は、カラー画像取得部６０２で取得（撮像）されたカラー画像を保持する機能を有している。
また、画像領域分割部７０３は、カラー画像格納部７０２に格納されているカラー画像を読み出し、例えばレベルセット（level set）法やウォーターシェッド（Watershed）法などの既存の領域分割技術を用いて領域分割を行う機能を有している。画像領域分割部７０３によって領域分割によって、領域分割画像が生成される。また、領域境界抽出部７０４は、画像領域分割部７０３で得られた領域分割画像に含まれる各領域の境界を抽出する機能を有している。
また、影境界判定部７０５は、領域境界抽出部７０４によって得られた各領域の境界に関して、その境界が物体のエッジであるか、あるいは影境界であるかの判断を行うことで、各領域の境界の中から影境界のみを判定する機能を有している。なお、影境界判定部７０５によって行われる影境界判定処理に、本発明によって定義される影境界抽出方法を用いることが可能である。
また、領域境界補正部７０６は、領域境界抽出部７０４によって境界の抽出が行われた領域分割画像に含まれる境界の中から、影境界判定部７０５と判定された影境界を削除する機能を有している。
また、走行可能領域抽出部７０７は、影領域が削除された領域分割画像に基づいて、移動体の走行路を抽出する機能を有している。また、走行可否判定部７０８は、走行可能領域抽出部７０７で抽出された走行路に基づいて移動体の走行路を決定する機能を有しており、例えば走行可能な領域が存在しない場合には警報部７０９から警報を報知するように指示したり、あるいは、移動体の制動制御を行う制動制御部７１０に対して、強制停止や走行可能な領域への移動などの指示を行ったりすることが可能である。
次に、本発明に係る影認識方法及び影境界抽出方法の第２の適用例の動作について説明する。図２１は、本発明に係る影認識方法及び影境界抽出方法の第２の適用例の動作を示すフローチャートである。
図２１に図示されているフローチャートでは、まず、移動体の任意の場所に設置されたカメラからカラー画像が取得され（ステップＳ７５１）、そのカラー画像がカラー画像格納部７０２に格納される（ステップＳ７５２）。そして、画像領域分割部７０３画像領域分割処理が行われて、領域分割画像が生成される（ステップＳ７５３）。
次に、領域境界抽出部７０４において、画像領域分割部で生成された領域分割画像から、各領域の境界が抽出される（ステップＳ７５４）。そして、影境界判定部７０５は、領域境界抽出部７０４で抽出された各領域の境界に対して、例えば上述の本発明の第１の実施の形態に係る影境界抽出方法で行われるパターン照合や、あるいは上述の本発明の第２の実施の形態に係る影境界抽出方法で行われる分光特性の参照などを行うことによって、各領域の中から影境界を判定、抽出する（ステップＳ７５５）。
影境界判定部７０５における判定結果は領域境界補正部７０６に供給され、領域境界補正部７０６において、領域分割画像に含まれる領域境界から影境界が削除される（ステップＳ７５６）。なお、このとき、影境界を介して接していた領域は統合されることが望ましい。
上述のように影の影響が排除された領域分割画像に基づいて、走行可能領域抽出部７０７において、走行可能領域の抽出処理が行われ（ステップＳ７５７）、走行可否判定部７０８において、抽出された走行可能領域に基づいて移動体の走行の可否が決定される（ステップＳ７５８）。移動体が稼働中の間は、上述の処理が継続的に行われ、例えば、走行可能な領域が存在しない場合など、走行不可能となった場合には、警報部７０９から警報が報知される（ステップＳ７５９）。
この第２の適用例では、例えば、図２２に図示されているように、カラー画像取得部７０１で取得された原画像に影（建造物７８１の影７８２）が含まれている場合には、適切な領域分割を実行することは困難になる。例えば、領域“５”は領域“１”と同じ物質であるが、照射される光が異なるため、別の領域に分割されてしまう。また同様に、領域“６”は領域“７”と同じ物質であるが、照射される光が異なるため、別の領域に分割されてしまう。
したがって、移動体の走行路７８０において、領域“７”を走行路であると認識できたとしても、領域“６”が他の物体（例えば障害物）であるのか、路上のペイントであるのか、影であるのか、あるいは走行路であるのかを的確に判断することは困難であり、その結果、本来走行できるはずの領域“６”は走行不可能な領域として判断されてしまう。
一方、本発明に係る影境界抽出方法を用いた場合には、領域“５”や領域“６”を形成する境界は影境界であると判定することが可能となる。その結果、物体のエッジなどから影境界を明確に区別して、影境界のみを削除することが可能となり、走行路領域の検出の際に、影の影響による誤判断を防ぐことが可能となる。
なお、本発明によれば、撮像装置によって任意の物体の影が撮像された画像内において、前記影を認識する影認識装置であって、
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の影領域を抽出する影領域抽出手段と、
前記画像中の前記影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出手段と、
前記影領域抽出手段によって抽出された前記影領域、及び前記影境界抽出手段によって抽出された前記影境界の両方に基づいて前記影の認識を行う影認識手段とを、
有する影認識装置も提供される。
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の影領域を抽出する影領域抽出手段と、
前記画像中の前記影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出手段と、
前記影領域抽出手段によって抽出された前記影領域、及び前記影境界抽出手段によって抽出された前記影境界の両方に基づいて前記影の認識を行う影認識手段とを、
有する影認識装置も提供される。
また、本発明によれば、撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出装置であって、
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の被撮像物のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定手段と、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出手段と、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ設定されている影境界パターンを参照する影境界パターン参照手段と、
前記影境界パターン参照手段によって参照された前記影境界パターンと、前記パターン算出手段によって算出された前記パターンとを照合するパターン照合手段と、
前記パターン照合手段によるパターン照合において、前記影境界パターンと一致した前記パターン算出手段で算出された前記パターンに属する前記エッジ画素を、前記影境界に存在する画素と判定するパターン照合影境界判定手段とを、
有する影境界抽出装置も提供される。
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の被撮像物のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定手段と、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出手段と、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ設定されている影境界パターンを参照する影境界パターン参照手段と、
前記影境界パターン参照手段によって参照された前記影境界パターンと、前記パターン算出手段によって算出された前記パターンとを照合するパターン照合手段と、
前記パターン照合手段によるパターン照合において、前記影境界パターンと一致した前記パターン算出手段で算出された前記パターンに属する前記エッジ画素を、前記影境界に存在する画素と判定するパターン照合影境界判定手段とを、
有する影境界抽出装置も提供される。
また、本発明によれば、撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出装置であって、
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の被撮像物のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出手段と、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定手段と、
前記特徴量関係判定手段による判定において、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定手段とを、
有する影境界抽出装置も提供される。
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の被撮像物のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出手段と、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定手段と、
前記特徴量関係判定手段による判定において、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定手段とを、
有する影境界抽出装置も提供される。
また、本発明によれば、撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出装置であって、
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の被撮像物のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定手段と、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出手段と、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ定められている影境界パターンを参照する影境界パターン参照手段と、
前記影境界パターン参照手段によって参照された前記影境界パターンと、前記パターン算出手段によって算出された前記パターンとを照合するパターン照合手段と、
前記パターン照合手段によるパターン照合において、前記影境界パターンと一致した前記パターン算出手段で算出された前記パターンに属する前記エッジ画素を特定するパターン照合影境界判定手段と、
前記パターン照合影境界判定手段によって特定された前記エッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量として、前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出手段と、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定手段と、
前記特徴量関係判定手段による判定において、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定手段とを、
有する影境界抽出装置も提供される。
前記撮像装置で撮像された前記画像を取得する画像取得手段と、
前記画像中の被撮像物のエッジを抽出するエッジ抽出手段と、
前記エッジ抽出手段によって抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定手段と、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出手段と、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ定められている影境界パターンを参照する影境界パターン参照手段と、
前記影境界パターン参照手段によって参照された前記影境界パターンと、前記パターン算出手段によって算出された前記パターンとを照合するパターン照合手段と、
前記パターン照合手段によるパターン照合において、前記影境界パターンと一致した前記パターン算出手段で算出された前記パターンに属する前記エッジ画素を特定するパターン照合影境界判定手段と、
前記パターン照合影境界判定手段によって特定された前記エッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量として、前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出手段と、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定手段と、
前記特徴量関係判定手段による判定において、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定手段とを、
有する影境界抽出装置も提供される。
また、本発明によれば、本発明の画像補正方法をコンピュータに実行させるためのプログラムも提供される。
１０ カメラ（撮像装置）
２０ 影認識装置
２１、６０１、７０１ カラー画像取得部
２２ 色空間分解部
２３ 画像格納部
２４ 影境界抽出部
２５ 影領域抽出部
２６ 影境界・影領域統合部
２７ 影認識結果出力部
３０ 影補正装置（画像補正装置）
４０ 表示モニタ
５０ 撮像画像利用装置
２６１ 影境界抽出結果取得部
２６２ 影領域抽出結果取得部
２６３ 影境界・影領域関係算出部
２６４ 影判断部
２６５ 影認識結果格納部
５００ 原画像
５０１ 影境界抽出結果
５０２ 影領域抽出結果
５０３ 判定値を含む統合画像
５０４ 余分な影境界が削除された画像
５０５ 影認識結果
６０２、７０２ カラー画像格納部
６０３ 影認識部
６０４ 影有無判定部
６０５ 自車影特定領域情報格納部
６０６ 自車影取得部
６０７ 自車影有無判定部
６０８ 自車影補正部
６０９ 画像表示部
６５０ リアカメラ
６６０ 車両
６７０ 太陽
６８０ 自車影
６９０ 物体
７０３ 画像領域分割部
７０４ 領域境界抽出部
７０５ 影境界判定部
７０６ 領域境界補正部
７０７ 走行可能領域抽出部
７０８ 走行可能可否判定部
７０９ 警報部
７１０ 制動制御部
７８０ 走行路
７８１ 建造物
７８２ 影
２４１１、２４２１、２４３１ 色成分画像取得部
２４１２、２４２２、２４３２ エッジ抽出部
２４１３、２４２３、２４３３ ２値化処理部
２４１４、２４３４ 近傍パターン算出部
２４１５、２４３５ パターン照合・影境界判定部
２４１６、２４３６ 影境界パターン格納部
２４１７、２４２７、２４４０ 影境界抽出結果格納部
２４１８、２４２８、２４４１ 影境界抽出結果出力部
２４２４、２４３７ エッジ勾配方向算出部
２４２５、２４３８ 影境界判定条件算出部
２４２６、２４３９ 影境界判定部
２０ 影認識装置
２１、６０１、７０１ カラー画像取得部
２２ 色空間分解部
２３ 画像格納部
２４ 影境界抽出部
２５ 影領域抽出部
２６ 影境界・影領域統合部
２７ 影認識結果出力部
３０ 影補正装置（画像補正装置）
４０ 表示モニタ
５０ 撮像画像利用装置
２６１ 影境界抽出結果取得部
２６２ 影領域抽出結果取得部
２６３ 影境界・影領域関係算出部
２６４ 影判断部
２６５ 影認識結果格納部
５００ 原画像
５０１ 影境界抽出結果
５０２ 影領域抽出結果
５０３ 判定値を含む統合画像
５０４ 余分な影境界が削除された画像
５０５ 影認識結果
６０２、７０２ カラー画像格納部
６０３ 影認識部
６０４ 影有無判定部
６０５ 自車影特定領域情報格納部
６０６ 自車影取得部
６０７ 自車影有無判定部
６０８ 自車影補正部
６０９ 画像表示部
６５０ リアカメラ
６６０ 車両
６７０ 太陽
６８０ 自車影
６９０ 物体
７０３ 画像領域分割部
７０４ 領域境界抽出部
７０５ 影境界判定部
７０６ 領域境界補正部
７０７ 走行可能領域抽出部
７０８ 走行可能可否判定部
７０９ 警報部
７１０ 制動制御部
７８０ 走行路
７８１ 建造物
７８２ 影
２４１１、２４２１、２４３１ 色成分画像取得部
２４１２、２４２２、２４３２ エッジ抽出部
２４１３、２４２３、２４３３ ２値化処理部
２４１４、２４３４ 近傍パターン算出部
２４１５、２４３５ パターン照合・影境界判定部
２４１６、２４３６ 影境界パターン格納部
２４１７、２４２７、２４４０ 影境界抽出結果格納部
２４１８、２４２８、２４４１ 影境界抽出結果出力部
２４２４、２４３７ エッジ勾配方向算出部
２４２５、２４３８ 影境界判定条件算出部
２４２６、２４３９ 影境界判定部
Claims (11)
- 撮像装置によって任意の物体の影が撮像された画像内において、前記影を認識するためにコンピュータによって実行される影認識方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の影領域を抽出する影領域抽出ステップと、
前記画像中の前記影領域と前記影領域とは異なる非影領域との影境界を抽出する影境界抽出ステップと、
前記影領域抽出ステップで抽出された前記影領域、及び前記影境界抽出ステップで抽出された前記影境界の両方に基づいて前記影の認識を行う影認識ステップとを、
有する影認識方法。 - 前記影認識ステップにおいて、
前記影領域に属する画素を、前記影を表す画素と判定するステップと、
前記影領域及び前記影境界のいずれにも属さない画素を、前記影を表さない画素と判定するステップと、
前記影領域に属さずかつ前記影境界に属する画素同士が隣接している場合には、隣接している画素同士を集合体とみなす集合設定ステップと、
前記集合設定ステップで設定された前記集合体に属する任意の画素が、前記影領域に属する画素に隣接している場合には、前記影領域に属する画素を含む前記集合体に属するすべての画素を、前記影を表す画素と判定するステップと、
前記集合設定ステップで設定された前記集合体に属するすべての画素が、前記影領域に属する画素に隣接していない場合には、前記集合体に属するすべての画素を、前記影を表さない画素と判定するステップとを、
有する請求項１に記載の影認識方法。 - 撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出するためにコンピュータによって実行される影境界抽出方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定ステップと、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出ステップと、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ設定されている影境界パターンを参照する影境界パターン参照ステップと、
前記影境界パターン参照ステップで参照された前記影境界パターンと、前記パターン算出ステップで算出された前記パターンとを照合するパターン照合ステップと、
前記パターン照合ステップで前記影境界パターンと一致した前記パターン算出ステップで算出された前記パターンに属する前記エッジ画素を、前記影境界に存在する画素と判定するパターン照合影境界判定ステップとを、
有する影境界抽出方法。 - 前記影境界パターンが、任意の影境界画素と、前記任意の影境界画素の近傍に存在する複数の画素との画素値の関係から生成されたものである請求項３に記載の影境界抽出方法。
- 前記画素値が、ＲＧＢ表色系の色成分値である請求項３又は４に記載の影境界抽出方法。
- 撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出するためにコンピュータによって実行される影境界抽出方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出ステップと、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定ステップと、
前記特徴量関係判定ステップで、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定ステップとを、
有する影境界抽出方法。 - 前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係が、前記影領域に照射される光の分光特性と、前記非影領域に照射される光の分光特性の違いに基づいて定められたものである請求項６に記載の影境界抽出方法。
- 前記特徴量算出ステップにおいて、前記エッジに属するエッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量とする請求項６又は７に記載の影境界抽出方法。
- 前記特徴量が、前記２つの領域のそれぞれに属する一部又はすべての画素の画素値の統計量である請求項６から８のいずれか１つに記載の影境界抽出方法。
- 前記画素値が、ＲＧＢ表色系の色成分値である請求項６から９のいずれか１つに記載の影境界抽出方法。
- 撮像装置によって任意の物体の影が撮像された画像内において、前記画像中の影領域と前記影領域とは異なる非影領域との影境界を抽出するためにコンピュータによって実行される影境界抽出方法であって、
前記撮像装置で撮像された前記画像を取得する画像取得ステップと、
前記画像中の被撮像物のエッジを抽出するエッジ抽出ステップと、
前記エッジ抽出ステップで抽出された前記エッジに属するエッジ画素を特定するエッジ画素特定ステップと、
前記エッジ画素と、前記エッジ画素の近傍に存在する複数の画素との画素値の関係を示すパターンを算出するパターン算出ステップと、
前記影境界に属する影境界画素と、前記影境界画素の近傍に存在する複数の画素との画素値の関係があらかじめ定められている影境界パターンを参照する影境界パターン参照ステップと、
前記影境界パターン参照ステップで参照された前記影境界パターンと、前記パターン算出ステップで算出された前記パターンとを照合するパターン照合ステップと、
前記パターン照合ステップで、前記影境界パターンと一致した前記パターン算出ステップで算出された前記パターンに属する前記エッジ画素を特定するパターン照合影境界判定ステップと、
前記パターン照合影境界判定ステップで特定された前記エッジ画素の画素値に関するエッジ勾配方向を算出し、前記エッジ画素を通る前記エッジ勾配方向に略平行な直線上の画素の前記画素値に係る算出結果を前記特徴量として、前記エッジによって隔てられた２つの領域のそれぞれの特徴量を算出する特徴量算出ステップと、
前記２つの領域のそれぞれの特徴量の関係が、前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致するか否かを判定する特徴量関係判定ステップと、
前記特徴量関係判定ステップで、前記２つの領域のそれぞれの特徴量の関係が前記影境界によって隔てられた影領域及び非影領域のそれぞれの特徴量の関係に一致した場合、前記エッジを前記影境界と判定する特徴量照合影境界判定ステップとを、
有する影境界抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006093847A JP4674179B2 (ja) | 2006-03-30 | 2006-03-30 | 影認識方法及び影境界抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006093847A JP4674179B2 (ja) | 2006-03-30 | 2006-03-30 | 影認識方法及び影境界抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007272292A true JP2007272292A (ja) | 2007-10-18 |
| JP4674179B2 JP4674179B2 (ja) | 2011-04-20 |
Family
ID=38675074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006093847A Expired - Fee Related JP4674179B2 (ja) | 2006-03-30 | 2006-03-30 | 影認識方法及び影境界抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4674179B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010064479A1 (ja) * | 2008-12-05 | 2010-06-10 | シャープ株式会社 | デジタル映像再生装置 |
| CN102821091A (zh) * | 2012-06-28 | 2012-12-12 | 用友软件股份有限公司 | 虚拟机控制装置和方法 |
| US8755634B2 (en) | 2009-08-12 | 2014-06-17 | Nec Corporation | Obstacle detection device and method and obstacle detection system |
| US9721460B2 (en) | 2012-07-27 | 2017-08-01 | Clarion Co., Ltd. | In-vehicle surrounding environment recognition device |
| EP3136341A4 (en) * | 2014-04-24 | 2018-01-03 | Hitachi Construction Machinery Co., Ltd. | Device for monitoring area around working machine |
| JP2021064154A (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
| JP2021064156A (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
| JP2022537557A (ja) * | 2019-06-18 | 2022-08-26 | 華為技術有限公司 | 運転可能な領域情報を決定するための方法及び装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7298436B2 (ja) | 2019-10-14 | 2023-06-27 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08503316A (ja) * | 1992-11-10 | 1996-04-09 | シーメンス アクチエンゲゼルシヤフト | 複数のディジタルイメージのシーケンスにおける移動物体の影の検出および識別のための方法 |
| JPH09185711A (ja) * | 1995-12-28 | 1997-07-15 | Kobe Steel Ltd | 形状認識方法及び装置 |
| JP2001184512A (ja) * | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | 画像処理装置及び方法並びに記録媒体 |
| JP2001209808A (ja) * | 2000-01-26 | 2001-08-03 | Nec Corp | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
| JP2001229389A (ja) * | 2000-02-18 | 2001-08-24 | Mitsubishi Electric Corp | 影変化領域判定装置、これを用いた画像判定装置および画像生成装置、並びにこれに用いられる影強度比演算装置 |
| JP2002281322A (ja) * | 2001-03-19 | 2002-09-27 | Ricoh Co Ltd | 画像処理装置 |
| JP2008529169A (ja) * | 2005-01-27 | 2008-07-31 | タンデント ビジョン サイエンス インコーポレーティッド | 画像内の照明光束を識別する方法およびシステム |
-
2006
- 2006-03-30 JP JP2006093847A patent/JP4674179B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08503316A (ja) * | 1992-11-10 | 1996-04-09 | シーメンス アクチエンゲゼルシヤフト | 複数のディジタルイメージのシーケンスにおける移動物体の影の検出および識別のための方法 |
| JPH09185711A (ja) * | 1995-12-28 | 1997-07-15 | Kobe Steel Ltd | 形状認識方法及び装置 |
| JP2001184512A (ja) * | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | 画像処理装置及び方法並びに記録媒体 |
| JP2001209808A (ja) * | 2000-01-26 | 2001-08-03 | Nec Corp | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
| JP2001229389A (ja) * | 2000-02-18 | 2001-08-24 | Mitsubishi Electric Corp | 影変化領域判定装置、これを用いた画像判定装置および画像生成装置、並びにこれに用いられる影強度比演算装置 |
| JP2002281322A (ja) * | 2001-03-19 | 2002-09-27 | Ricoh Co Ltd | 画像処理装置 |
| JP2008529169A (ja) * | 2005-01-27 | 2008-07-31 | タンデント ビジョン サイエンス インコーポレーティッド | 画像内の照明光束を識別する方法およびシステム |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010064479A1 (ja) * | 2008-12-05 | 2010-06-10 | シャープ株式会社 | デジタル映像再生装置 |
| US8755634B2 (en) | 2009-08-12 | 2014-06-17 | Nec Corporation | Obstacle detection device and method and obstacle detection system |
| CN102821091A (zh) * | 2012-06-28 | 2012-12-12 | 用友软件股份有限公司 | 虚拟机控制装置和方法 |
| US9721460B2 (en) | 2012-07-27 | 2017-08-01 | Clarion Co., Ltd. | In-vehicle surrounding environment recognition device |
| EP3136341A4 (en) * | 2014-04-24 | 2018-01-03 | Hitachi Construction Machinery Co., Ltd. | Device for monitoring area around working machine |
| US10160383B2 (en) | 2014-04-24 | 2018-12-25 | Hitachi Construction Machinery Co., Ltd. | Surroundings monitoring system for working machine |
| JP2022537557A (ja) * | 2019-06-18 | 2022-08-26 | 華為技術有限公司 | 運転可能な領域情報を決定するための方法及び装置 |
| JP7418476B2 (ja) | 2019-06-18 | 2024-01-19 | 華為技術有限公司 | 運転可能な領域情報を決定するための方法及び装置 |
| JP2021064156A (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
| US11393220B2 (en) | 2019-10-14 | 2022-07-19 | Denso Corporation | Obstacle identification apparatus and obstacle identification program |
| JP2021064154A (ja) * | 2019-10-14 | 2021-04-22 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
| JP7310526B2 (ja) | 2019-10-14 | 2023-07-19 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
| JP7310527B2 (ja) | 2019-10-14 | 2023-07-19 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4674179B2 (ja) | 2011-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4674179B2 (ja) | 影認識方法及び影境界抽出方法 | |
| Soilán et al. | Traffic sign detection in MLS acquired point clouds for geometric and image-based semantic inventory | |
| CN111832536B (zh) | 一种车道线检测方法及装置 | |
| JP4380838B2 (ja) | ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム | |
| JP6650657B2 (ja) | フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム | |
| US20160154999A1 (en) | Objection recognition in a 3d scene | |
| Azimi et al. | Eagle: Large-scale vehicle detection dataset in real-world scenarios using aerial imagery | |
| WO2008065729A1 (fr) | Système et procédé de détection d'objet | |
| CN103123687A (zh) | 快速障碍物检测 | |
| US10339396B2 (en) | Vehicle accessibility determination device | |
| US20200219281A1 (en) | Vehicle external recognition apparatus | |
| WO2017130640A1 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
| JP2014071902A5 (ja) | ||
| US10984263B2 (en) | Detection and validation of objects from sequential images of a camera by using homographies | |
| JPWO2008020544A1 (ja) | 車両検知装置，車両検知方法並びに車両検知プログラム | |
| US10984264B2 (en) | Detection and validation of objects from sequential images of a camera | |
| JP2013140515A (ja) | 立体物検出装置及びプログラム | |
| JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
| JP5423764B2 (ja) | 移動体検出装置、コンピュータプログラム及び移動体検出方法 | |
| CA3136674A1 (en) | Methods and systems for crack detection using a fully convolutional network | |
| KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
| Schiopu et al. | Pothole detection and tracking in car video sequence | |
| US20220148200A1 (en) | Estimating the movement of an image position | |
| WO2023019793A1 (zh) | 一种确定方法、清洁机器人和计算机存储介质 | |
| CN108629225B (zh) | 一种基于多幅子图与图像显著性分析的车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080314 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101022 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101228 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110124 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4674179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |