JP2008071143A - 画像処理装置 - Google Patents

Abstract

【課題】撮像画像のエッジがどのような形状を有していても、高精度のオプティカルフローを算出することができる画像処理装置を提供する。
【解決手段】ＣＣＤカメラ２により得られた撮像対象の動画像におけるフレーム画像を取得し、このフレーム画像間での撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理ＥＣＵ１において、フレーム画像における撮像対象のエッジを抽出するエッジ抽出部１３と、エッジを構成するエッジ画素を含むエッジ周辺画素に仮想濃度値を設定する仮想濃度値設定部１４と、設定された仮想濃度値に基づいてオプティカルフローを算出するオプティカルフロー算出部１６とを備えると共に、仮想濃度値設定部１４は、仮想濃度値テーブル１５を参照して、エッジ周辺画素について、隣接する画素間における仮想濃度値が非均一となるようにその値を設定する。
【選択図】図１

Description

本発明は、撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置、特に自動車に搭載された撮像手段により撮像して得られた動画像を処理してオプティカルフローを算出する画像処理装置に関する。

自動車の安全な走行を促進するため、車載カメラを用いて走行中に映し出される画像を分析・処理することにより、自動車の走行を妨げる要因となる障害物の検出を行い、その検出結果に基づいて、ドライバーに対して警告を行なったり、車速やステアリングなどを制御する技術が知られている。このような障害物の検出を行なうための画像処理技術として、撮像対象の濃度の動きをベクトルで表現するオプティカルフローを用いるものがあり、撮像画像を処理して得られたオプティカルフローから３次元情報を推定することにより、障害物の検出を行なうことができる。

このオプティカルフローを算出するための代表的な方法として、マッチング法と勾配法とが存在する。マッチング法とは、動画像におけるフレーム画像間で濃淡パターンの対応付けを実行し、得られた対応付けからオプティカルフローを決定する方法である。一方、勾配法とは、パターンの特徴を表す濃淡分布が運動に際して不変に保たれるとの仮定のもとに、オプティカルフローの拘束式を導出し、この拘束式に基づいてオプティカルフローを決定する方法である。

上述した車載カメラにより得られた撮像画像の画像処理では、撮像対象のエッジに重要な情報があると考えられるため、このエッジにおけるオプティカルフローを決定することが求められる。しかしながら、上記の勾配法は、濃淡の変化が不連続なエッジに対しては適用が難しいという問題点を有している。そこで、エッジの近傍に線形の仮想濃度値を設定することによりオプティカルフローの拘束式を導出し、この拘束式を用いてオプティカルフローを決定する仮想濃度勾配法という技術も考え出されている（例えば、特許文献１、非特許文献１）。

特開平６−３０７８３０号公報 李美愛、他２名、「仮想濃度勾配法を用いた時系列画像における動き推定」、システム制御情報学会論文誌、vol.11、No.9、p.483-490、1998

上述したように、車載カメラにより得られた撮像画像の画像処理の場合など、撮像対象のエッジに重要な情報があるときには、このエッジにおけるオプティカルフローを決定することが求められる。エッジは画像に対して微分処理を行って得られた微分値を二値化処理することにより抽出されるが、このように抽出されたエッジが直線部分を有する場合、この直線部分がエッジと直交する方向に平行移動するとオプティカルフローを決定することが難しいという問題（開口問題）が生じていた。

例えば、エッジの直線部分がエッジと直交する方向に平行移動した場合においてマッチング法を適用した場合、図９（ａ）に示すように、エッジＥのコーナー（特徴点）Ｃを含むブロック（５×５画素の小領域）では、フレーム画像間の対応付けが容易であるが、エッジＥの直線部分のみを含むブロックについては、パターンが同一となるため対応付けが困難となり、その結果、当該部分におけるオプティカルフローの決定も困難となる。

より詳しく説明すると、ある時刻ｔのフレーム画像におけるエッジＥのコーナーＣを含むブロックＡと直線部分のみを含むブロックＢとについて、時刻ｔ＋δｔの次のフレーム画像における対応位置は、各ブロックの類似度計算を行うことにより、コーナーＣを含むブロックＡの場合にはブロックＡ’と容易に対応付けを行うことができ、オプティカルフローをＡ→Ａ’として決定することができるが、直線部分のみを含むブロックＢについては、ブロックＢ’やブロックＣ’が互いに同一のパターンであるため、その対応付けが困難となるのである。

一方、上述した線形の仮想濃度値を設定する仮想濃度勾配法を用いた場合においても、エッジＥの直線部分においては、図９（ｂ）に示すように、至る所同一の仮想濃度勾配を有することになり、その結果、オプティカルフローの拘束式が同一となるためこれを解くことができず、オプティカルフローを決定することが困難となる。

本発明は、かかる問題点に着目してなされたものであり、その目的は、撮像画像のエッジがどのような形状を有していても、高精度のオプティカルフローを算出することができる画像処理装置を提供することにある。

上記目的を達成するための本発明に係る画像処理装置の第一特徴構成は、撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置において、前記フレーム画像における前記撮像対象のエッジを抽出するエッジ抽出部と、前記エッジを構成するエッジ画素を含むエッジ周辺画素に特徴値を設定する特徴値設定部と、前記特徴値に基づいてオプティカルフローを算出するオプティカルフロー算出部とを備えると共に、前記特徴値設定部は、前記エッジ周辺画素について、隣接する画素間における前記特徴値が非均一となるように前記特徴値を設定する点にある。

ここで、「エッジ周辺画素」には、エッジ画素とその周辺画素の両方から成る場合だけでなく、エッジ画素のみから成る場合やエッジ画素の周辺画素のみから成る場合も含まれる。また、「特徴値」としては、例えば、仮想濃度値やエッジを抽出する際に算出した微分値などを設定することが可能である。

そして、本構成の如く、前記特徴値設定部が、前記エッジ周辺画素について、隣接する画素間における前記特徴値が非均一となるように前記特徴値を設定することにより、エッジに直線部分が含まれていたとしても、マッチング法において類似度を計算する際のブロックのパターンの識別が可能となり、また、仮想濃度勾配法においても相違する拘束式を導出することが可能となり、オプティカルフローを精度良く算出することができる。

本発明に係る画像処理装置の第二特徴構成は、前記エッジから特徴点を検出する特徴点検出部を備え、前記特徴値設定部は、前記特徴値として、前記特徴点を中心に等高線状に値が変化して分布する仮想濃度値を設定する点にある。

エッジのコーナー（特徴点）を検出するためのコーナー・ディテクター（特徴点検出部）としては、Harris Corner Detectorなど既知の技術を用いることができる。そして、このような特徴点検出部を用いて特徴点を検出し、本構成の如く、前記特徴点を中心に等高線状に値が変化して分布する仮想濃度値を設定することにより、各エッジ周辺画素について、隣接する画素間における特徴値が非均一となるように、特徴値を確実かつ容易に設定することができる。

本発明に係る画像処理装置の第三特徴構成は、前記特徴値設定部によって設定される仮想濃度値の設定パターンが夫々相違する二種以上の仮想濃度値モデルが構成され、かつ、
前記オプティカルフロー算出部は、少なくとも二種の前記仮想濃度値モデルからオプティカルフロー拘束式を導出すると共に、導出されたこれらの拘束式に基づいてオプティカルフローを算出する点にある。

本構成の如く、少なくとも二種の前記仮想濃度値モデルからオプティカルフロー拘束式を導出すると共に、導出されたこれらの拘束式に基づいてオプティカルフローを算出することにより、拘束式を増やして情報量を増加させることができ、より高精度にオプティカルフローを算出することができる。

以下、本発明に係る画像処理装置を自動車に搭載される画像処理ＥＣＵとして構成した場合の実施形態について図面に基づいて説明する。

この画像処理ＥＣＵ１は、ＣＣＤカメラ（撮像手段の一例）２とともに自動車に搭載され、ＣＣＤカメラ２によって撮像して得られた自動車周辺の障害物（撮像対象の一例）などの動画像のフレーム画像を取得し、取得されたフレーム画像間での撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する。そして、算出されたオプティカルフローは、車内に設けられたディスプレイ３に表示されるとともに、自動車に搭載された車速制御ＥＣＵなどの各種ＥＣＵに転送され、各種ＥＣＵでは転送されたオプティカルフロー情報に基づいて車速制御などの車両制御を行なう。

本実施形態における画像処理ＥＣＵ１について、特に本発明に関係する各種処理機能を図１のブロック図に基づき説明する。画像処理ＥＣＵ１は、ＣＣＤカメラ２によって撮像して得られた動画像のフレーム画像を取得する画像入力部１１と、画像入力部１１を通じて取得したフレーム画像を保持するメモリ１２と、フレーム画像における撮像対象のエッジを抽出するエッジ抽出部１３と、エッジを構成するエッジ画素を含むエッジ周辺画素に特徴値としての仮想濃度値（濃度値が存在していると仮想して設定される仮想の濃度値）を設定する仮想濃度値設定部１４（特徴値設定部の一例）と、設定する仮想濃度値が登録された複数種類の仮想濃度値テーブル１５（特徴値設定部の一例）と、設定された仮想濃度値に基づいてオプティカルフローを算出するオプティカルフロー算出部１６と、算出されたオプティカルフローをディスプレイ３に表示するための処理を行うオプティカルフロー画像生成部１７とを備えている。なお、これらの機能は、ＣＰＵを中核部材として、ハードウェア又はソフトウェア或いはその両方で実現されている。

エッジ抽出部１３は、フレーム画像の濃度値について一次微分値を算出し、この値が閾値以下の場合は濃度値を０とし、閾値を超える場合には所定の濃度値を与える２値化処理を施すことによりエッジ抽出を行う。このエッジ抽出部１３には、エッジの直線部分を検出する直線検出部１３ａと、エッジからコーナー（特徴点）を検出するコーナー検出部１３ｂとが備えられている。なお、コーナー検出部１３ｂは、ここでは既知のHarris Corner Detectorが用いられている。このHarris Corner Detectorは、局所領域ごとに画像を分析していき、その領域のどの方向の微小移動に対してもコーナー部分は大きく濃度値が変化するという特徴を用いて、これを検出するものである。

オプティカルフロー算出部１６は、オプティカルフローの拘束式を導出する拘束式導出部１６ａと、この拘束式からオプティカルフローを算出するフロー算出部１６ｂとを備えている。拘束式導出部１６ａは、上述したように、パターンの特徴を表す濃淡分布が運動に際して不変に保たれるとの仮定のもとに、オプティカルフローの拘束式を導出する。その導出方法は既知であるため、ここではその概略を説明する。まず、パターンの特徴を表す濃淡分布が運動に際して不変に保たれるとの仮定から、以下の式（１）が成立する。
Ｖ（ｘ＋δｘ，ｙ＋δｙ，ｔ＋δｔ）＝ Ｖ（ｘ，ｙ，ｔ） （１）
ここで、Ｖ（ｘ，ｙ，ｔ）は画像上の点（ｘ，ｙ）の時刻ｔにおける（仮想）濃度値であり、微小時間δｔに（δｘ，δｙ）移動したとしてもこれが不変に保たれることを表している。式（１）の左辺をテイラー展開して２次以上の高次項を無視すると、
∂Ｖ／∂ｘ・δｘ／δｔ ＋ ∂Ｖ／∂ｙ・δｙ／δｔ ＋ ∂Ｖ／∂ｔ ＝ ０ （２）
が得られ、δｔ→０とすると、以下のオプティカルフローの拘束式
Ｖｘｕ ＋ Ｖｙｖ ＋ Ｖｔ ＝ ０ （３）
が得られる。なお、Ｖｘ，Ｖｙ，Ｖｔは夫々ｘ軸、ｙ軸、時間軸方向への濃度値変化量である∂Ｖ／∂ｘ，∂Ｖ／∂ｙ，∂Ｖ／∂ｔであり、画像データから得ることができる。また、ｕ，ｖはｘ軸、ｙ軸方向への移動変化量であるδｘ／δｔ，δｙ／δｔである。このベクトル（ｕ，ｖ）がオプティカルフローであり、フロー算出部１６ｂは、導出された拘束式に基づいて、オプティカルフロー（ｕ，ｖ）を算出する。

本実施形態における画像処理ＥＣＵ１は、仮想濃度値テーブル１５を複数有しており、仮想濃度値テーブル毎に仮想濃度値の設定パターンが夫々相違しており、この設定パターンに対応して仮想濃度値モデルが構成される。したがって、仮想濃度値テーブル１５を複数用いて仮想濃度値を設定し、設定数に応じた仮想濃度値モデルが構成されることにより、それに対応して複数種類のオプティカルフロー拘束式が得られることになる。なお、画像処理ＥＣＵ１に備えられている仮想濃度値テーブル１５の代表例を以下に示す。
（１）円形モデル
基準点を中心に円形の等高線状に値が変化して分布する仮想濃度値が設定される設定パターンである。具体的には、基準点を原点としてｘｙ軸上の各画素毎に原点との距離を半径とする円を考え、半径が大きくなる毎にその円に含まれる仮想濃度値未設定の画素について、設定済の仮想濃度値から所定値だけ相違する仮想濃度値を設定する。
（２）変形十字形モデル
基準点を中心に変形十字形の等高線状に値が変化して分布する仮想濃度値が設定される設定パターンである。具体的には、基準点を原点としたｘｙ軸正負方向に凸部を有する十字形領域を元にして、この十字形領域の周囲を囲む変形十字領域を順次設定し、各領域に含まれる仮想濃度値未設定の画素について、設定済の仮想濃度値から所定値だけ相違する仮想濃度値を設定する。
（３）線形モデル
エッジに沿って値が線形に変化、すなわちエッジに平行して仮想濃度値が一定に変化（仮想濃度勾配値が一定）して分布するように設定される設定パターンである。

上記仮想濃度値モデルの説明図を図２に示す。なお、図２の各図に示されているのは、設定される仮想濃度値の一部である。図２において、点線で区切られた各領域が画素を表し、エッジを模式的に示す太線Ｅが通過する画素がエッジ画素を表している。図２（ａ）は円形モデルの説明図であり、基準点としてのコーナーＣを中心に円形の等高線状に値が変化して分布する仮想濃度値が設定されている。具体的には、コーナーＣを原点としてｘｙ軸上の各画素毎に原点との距離を半径とする円Ｒ１，Ｒ２，Ｒ３・・・を考え、半径が大きくなる毎にその円に含まれる仮想濃度値未設定の画素について、設定済の仮想濃度値から所定値だけ相違する仮想濃度値が設定される。すなわち、図２（ａ）で模様別に示すように、円Ｒ１に含まれる画素、円Ｒ１と円Ｒ２との間にある画素、円Ｒ２と円Ｒ３との間にある画素などについて、仮想濃度値が夫々相違している。図３は、画像平面であるｘｙ平面に直交するｚ方向に（仮想）濃度値を表す座標軸をとり、図２（ａ）の円形に分布する仮想濃度値を３次元的に表した図である。

図２（ｂ）は変形十字モデルの説明図であり、基準点としてのコーナーＣを中心に変形十字形の等高線状に値が変化して分布する仮想濃度値が設定されている。具体的には、コーナーＣを原点としたｘｙ軸正負方向に凸部を有する十字形領域を元にして、この十字形領域の周囲を囲む変形十字領域を順次設定し、各領域に含まれる仮想濃度値未設定の画素について、設定済の仮想濃度値から所定値だけ相違する仮想濃度値が設定される。図２（ｃ）は、エッジに沿って値が線形に変化、すなわちエッジに平行して仮想濃度値が一定に変化（仮想濃度勾配値が一定）して分布するように設定される設定パターンである線形モデルの説明図である。なお、上述した図９（ｂ）は、エッジの直線部分の一部について線形に分布する仮想濃度値を３次元的に表した図に相当する。

なお、上記のほか、楕円形の等高線状に仮想濃度値が変化して分布するような仮想濃度値テーブルや、任意の仮想濃度勾配値を用いてエッジ周辺画素について隣接する画素間における仮想濃度値が非均一となるように設定する仮想濃度値テーブルなどが画像処理ＥＣＵ１には用意されている。仮想濃度値テーブル１５を参照して仮想濃度値設定部１４が上記の円形モデルや変形十字形モデルのような設定パターンで仮想濃度値を設定することで、エッジ周辺画素について、隣接する画素間における仮想濃度値が非均一となるように設定することができる。例えば、エッジ周辺画素の一部として、図２（ａ）においてコーナーＣを原点としたとき、（０，−２）の位置にあるエッジ画素を中心とした３×３の小領域Ｍを考える。このとき、小領域Ｍの画素のうち（０，−１）の位置にある画素が円Ｒ１に含まれ、（１，−１）、（０，−２）、（−１，−１）の位置にある画素が円Ｒ１と円Ｒ２との間にあり、（１，−２）、（０，−３）、（−１，−２）の位置にある画素が円Ｒ２と円Ｒ３との間にあり、（１，−３）、（−１，−３）の位置にある画素が円Ｒ３と図示しない円Ｒ４との間にあり、夫々に相違する仮想濃度値が設定され、小領域Ｍの仮想濃度値は非均一なものとなっている。なお、この非均一とは、仮想濃度勾配法においてはオプティカルフローの拘束式が同一とならず、マッチング法においては類似度計算におけるブロックのパターンが識別可能な程度に、非均一に特徴値（仮想濃度値）が分布していればよい。

次に、この画像処理ＥＣＵ１によるオプティカルフロー算出過程を図４のフローチャートに基づいて説明する。なお、以下の算出過程は、エッジの形状に依らずエッジの全ての部分に対して所定のパターンで仮想濃度値を設定するように構成した場合であり、この場合にはエッジ抽出部１３において直線検出部１３ａを省略して構成しても良い。

まず、ＣＣＤカメラ２により撮像して得られた撮像対象の動画像におけるフレーム画像を画像入力部１１により取得し、メモリ１２に保持する（＃０１）。次に、エッジ抽出部１３は、保持されたフレーム画像における撮像対象のエッジを抽出し（＃０２）、コーナー検出部１３ｂは、抽出されたエッジからさらにコーナーを検出する（＃０３）。仮想濃度値設定部１４は、仮想濃度値テーブル１５を参照して、エッジ周辺画素に対して仮想濃度値を設定する。この算出過程においては、円形に分布する仮想濃度値（円形モデル）と線形に分布する仮想濃度値（線形モデル）の２パターンの仮想濃度値が設定される（＃０４）。なお、円形モデルによる仮想濃度値設定は検出されたコーナーを基準点として行なわれるが、一部はコーナー間の点を基準点として仮想濃度値の設定が行なわれる（図３参照）。そして、拘束式導出部１６ａは、各仮想濃度値モデル（円形モデルと線形モデル）毎に式（３）で表されるオプティカルフローの拘束式を導出する。具体的には、ｎ−１番目のフレーム画像（時刻ｔにおけるフレーム画像）とｎ番目のフレーム画像（時刻ｔ＋δｔにおけるフレーム画像）とに基づいて、仮想濃度値モデル毎に式（３）の微分係数Ｖｘ，Ｖｙ，Ｖｔを算出する（＃０５）。そして、導出された拘束式に基づいて、フロー算出部１６ｂによりオプティカルフロー（ｕ，ｖ）が算出される（＃０６）。

上記の算出過程においては、円形モデルと線形モデルにおいて導出された２種類の拘束式を用いてオプティカルフローを算出したが、勿論３パターン以上の仮想濃度値を設定して（３種類以上の仮想濃度値モデルを構成して）、これらの仮想濃度値モデルから導出される拘束式に基づいてオプティカルフローを算出するように構成しても良い。また、仮想濃度値を用いない通常の勾配法から導出される拘束式と組み合わせてオプティカルフローを算出するように構成しても良い。このように円形モデル及び線形モデルによる仮想濃度勾配法とともに通常の勾配法を組み合せて、最小二乗法により算出されたオプティカルフローを図５に示す。図５（ａ）及び（ｂ）は、車体の前方に設けられたＣＣＤカメラ２により撮像して得られた撮像対象のｎ−１番目のフレーム画像とｎ番目のフレーム画像である。画像処理ＥＣＵ１によりこれらの画像を取得し、上述したような処理を行うことにより、図５（ｃ）に示すような高精度のオプティカルフロー画像を得ることができる。なお、図５（ｄ）は図５（ｃ）の領域Ｓの拡大図である。

〔別実施形態１〕
上述した実施形態では、エッジの形状に依らずエッジの全ての部分に対して所定のパターンで仮想濃度値を設定するように構成したが、エッジの直線部分を検出して、直線部分を有する場合に所定のパターンで仮想濃度値を設定するように構成しても良い。

この例におけるオプティカルフロー算出過程を図６に示す。上記実施形態と同様に、ＣＣＤカメラ２により撮像して得られた撮像対象の動画像におけるフレーム画像を画像入力部１１により取得し、メモリ１２に保持する（＃１１）。次に、エッジ抽出部１３は、保持されたフレーム画像における撮像対象のエッジを抽出する（＃１２）。そして、抽出されたエッジに直線部分があるか否か判定し、直線部分を有する場合には（＃１３Ｙｅｓ分岐）、コーナー検出部１３ｂが抽出されたエッジからさらにコーナーを検出する（＃１４）。仮想濃度値設定部１４は、仮想濃度値テーブル１５を参照して、エッジ周辺画素に対して仮想濃度値を設定する。この算出過程においては、円形に分布する仮想濃度値（円形モデル）と線形に分布する仮想濃度値（線形モデル）の２パターンの仮想濃度値が設定される（＃１５）。なお、円形モデルによる仮想濃度値設定は検出されたコーナーを基準点として行なわれるが、一部はコーナー間の点を基準点として仮想濃度値の設定が行なわれる（図３参照）。一方、エッジに直線部分が検出されなかった場合には（＃１３Ｎｏ分岐）、１パターンの仮想濃度値、ここでは線形に分布する仮想濃度値（線形モデル）を設定する（＃１６）。このように仮想濃度値が設定された後、拘束式導出部１６ａは、各仮想濃度値モデル毎に式（３）で表されるオプティカルフローの拘束式を導出する。具体的には、ｎ−１番目のフレーム画像（時刻ｔにおけるフレーム画像）とｎ番目のフレーム画像（時刻ｔ＋δｔにおけるフレーム画像）とに基づいて、仮想濃度値モデル毎に式（３）の微分係数（仮想濃度勾配）Ｖｘ，Ｖｙ，Ｖｔを算出する（＃１７）。そして、導出された拘束式に基づいて、フロー算出部１６ｂによりオプティカルフロー（ｕ，ｖ）が算出される（＃１８）。

なお、上記においては、直線部分を有する場合に複数パターンの仮想濃度値を設定するように構成したが、検出した直線部分に対してのみ複数パターンの仮想濃度値を設定するように構成しても良い。

〔別実施形態２〕
上述した実施形態では、オプティカルフロー算出に際して仮想濃度勾配法を用いたが、オプティカルフロー算出部に類似度算出部を備えることにより、マッチング法を用いてオプティカルフローを算出するように構成しても良い。

〔別実施形態３〕
上述した実施形態では、基準点を中心に等高線状に値が変化して分布する仮想濃度値、エッジに沿って値が線形に変化する仮想濃度値をエッジ周辺画素に設定したが、設定される仮想濃度値の種類は勿論これに限定されるわけではない。例えば、図７に示すように、２値化処理して抽出されたエッジ画素に対して、ランダムに仮想濃度値を設定しても良い。これにより、隣接するエッジ画素夫々に相違する仮想濃度値、すなわち隣接する画素間における特徴値（仮想濃度値）が非均一となるように設定されるので、例えば、マッチング法においても類似度計算のブロックのパターンの識別が可能になる。また、円形モデルなどにおいては、コーナー（特徴点）を基準点として仮想濃度値を設定する場合に限定されるわけではなく、エッジ上の任意の点を基準点として仮想濃度値を設定しても良い。

〔別実施形態４〕
上述した実施形態では、設定する特徴値として予め備えられている仮想濃度値テーブルを参照して仮想濃度値を設定するよう構成したが、これ以外にも例えば、図８に示すように、エッジ抽出の際に算出された微分値を特徴値として設定するように構成しても良い。すなわち、２値化処理の閾値以下の場合は濃度値を０とし、閾値以上の濃度値を有する画素には、２値化処理するための所定画素値ではなく、その微分値を特徴値として設定する微分値設定部（特徴値設定部の一例）を備える構成にしても良い。すなわち、この場合において、微分値設定部は、隣接する画素間における特徴値（微分値）が非均一となるように、エッジ周辺画素に対して特徴値を設定している。なお、エッジの幅の画素数を特徴値として設定するように構成しても良い。

本実施形態に係る画像処理ＥＣＵの機能ブロック図 仮想濃度値モデルの説明図 円形モデルの３次元説明図 オプティカルフロー算出に係るフローチャート フレーム画像及び算出されたオプティカルフローの表示図 別実施形態におけるオプティカルフロー算出に係るフローチャート エッジ画素にランダムに仮想濃度値を設定した場合の説明図 エッジ画素にエッジ抽出に係る微分値を設定した場合の説明図 従来例におけるエッジ近傍のオプティカルフロー算出に係る説明図

符号の説明

１ 画像処理ＥＣＵ（画像処理装置）
１３ エッジ検出部
１３ａ 直線検出部
１３ｂ コーナー検出部
１４ 仮想濃度値設定部（特徴値設定部）
１５ 仮想濃度値テーブル（特徴値設定部）
１６ オプティカルフロー算出部

Claims (3)

1. 撮像手段により撮像して得られた撮像対象の動画像におけるフレーム画像を取得し、取得されたフレーム画像間での前記撮像対象の濃度の動きをベクトルで表現するオプティカルフローを算出する画像処理装置において、
   前記フレーム画像における前記撮像対象のエッジを抽出するエッジ抽出部と、
   前記エッジを構成するエッジ画素を含むエッジ周辺画素に特徴値を設定する特徴値設定部と、
   前記特徴値に基づいてオプティカルフローを算出するオプティカルフロー算出部とを備えると共に、
   前記特徴値設定部は、前記エッジ周辺画素について、隣接する画素間における前記特徴値が非均一となるように前記特徴値を設定する画像処理装置。
2. 前記エッジから特徴点を検出する特徴点検出部を備え、
   前記特徴値設定部は、前記特徴値として、前記特徴点を中心に等高線状に値が変化して分布する仮想濃度値を設定する請求項１に記載の画像処理装置。
3. 前記特徴値設定部によって設定される仮想濃度値の設定パターンが夫々相違する二種以上の仮想濃度値モデルが構成され、かつ、
   前記オプティカルフロー算出部は、少なくとも二種の前記仮想濃度値モデルからオプティカルフロー拘束式を導出すると共に、導出されたこれらの拘束式に基づいてオプティカルフローを算出する請求項１又は２に記載の画像処理装置。