JP2016009387A - 画像処理装置 - Google Patents

Abstract

【課題】インテグラルイメージのデータ量を減少させることができる画像処理装置を提供する。【解決手段】領域画素情報算出部１５は、矩形の注目領域５０が設定されたときに、画素Ｐ３に割り当てられた積算値Ｉｎ３が画素Ｐ２に割り当てられた積算値Ｉｎ２よりも小さいとき、及び画素Ｐ１に割り当てられた積算値Ｉｎ１が画素Ｐ０に割り当てられた積算値Ｉｎ０よりも小さいときに、オーバーフロー分の補正値を加算する補正を行って、注目領域５０の画素情報を算出する。【選択図】 図５

Description

本発明は、インテグラルイメージを用いて画像処理を行う画像処理装置に関する。

従来より、矩形の画像を構成する各画素に対して、いずれかの頂点の画素を起点として、頂点の画素と各画素とを結ぶ線分を対角線とする矩形範囲に含まれる画素の情報（輝度、エッジ強度等）を積算した積算値（積分値）を割り当てたインテグラルイメージを生成し、インテグラルイメージを用いて画像認識を行う画像処理装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された画像処理装置によれば、インテグラルイメージを用いることによって、撮像画像における任意箇所の矩形範囲の画素情報を容易に算出することができる。

特許第４５８２０７９号公報

上述したように、インテグラルイメージを用いることによって、撮像画像中の任意の矩形領域の画素の情報を容易に算出することができるが、各画素に割り当てる情報量に応じたインテグラルイメージのデータを記憶するために、大容量のメモリを用意する必要がある。

本発明はかかる背景に鑑みてなされたものであり、インテグラルイメージのデータ量を減少させることができる画像処理装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の画像処理装置は、
第１方向及び第２方向の２次元に画素が配列された矩形の対象画像に対して、該対象画像のいずれかの頂点の画素を起点画素とし、該対象画像の各画素に対して、該起点画素との間の線分を対角線とする矩形領域内の画素の情報を、オーバーフローが生じたときにゼロとなる形式のデータにより積算した積算値を割り当てたインテグラルイメージを生成するインテグラルイメージ生成部と、
前記対象画像において前記対象画像と平行な矩形の注目領域が設定されたときに、該注目領域の頂点の画素のうち前記起点画素から最も離れた画素である第１頂点画素に割り当てられた前記インテグラルイメージの積算値である第１積算値と、前記注目領域の頂点の画素のうち前記起点画素に最も近い画素よりも、前記第１方向及び前記第２方向に１画素分ずつ前記起点画素に近い画素である第２頂点画素に割り当てられた前記インテグラルイメージの積算値である第２積算値と、前記第１方向の位置が前記第１頂点画素と同一であると共に前記第２方向の位置が前記第２頂点画素と同一である画素である第３頂点画素に割り当てられた前記インテグラルイメージの積算値である第３積算値と、前記第２方向の位置が前記第１頂点画素と同一であると共に、前記第１方向の位置が前記第２頂点画素と同一である第４頂点画素に割り当てられた前記インテグラルイメージの積算値である第４積算値とについて、
前記第１積算値が前記第４積算値以上であるときは前記第１積算値から前記第４積算値を減じた値を第１差分値とし、前記第１積算値が前記第４積算値よりも小さいときには前記第１積算値から前記第４積算値を減じて前記形式のデータの最大値に基づく補正値を加えた値を前記第１差分値とし、また、前記第３積算値が前記第２積算値以上であるときは前記第３積算値から前記第２積算値を減じた値を第２差分値とし、前記第３積算値が前記第２積算値よりも小さいときには前記第３積算値から前記第２積算値を減じて前記補正値を加えた値を前記第２差分値とするオーバーフロー対応処理を行って、
前記第１差分値から前記第２差分値を減じた値を、前記注目領域の画素情報とする領域画素情報算出部と
を備えたことを特徴とする。

かかる本発明によれば、詳細は後述するが、前記インテグラルイメージの仕様により、前記インテグラルイメージの作成時にオーバーフローが生じていなければ、前記第１積算値は前記第４積算値以上となる。そのため、前記第１積算値が前記第４参照値よりも小さいときには、オーバーフローが生じていると想定される。同様に、前記第３積算値が前記第２積算値よりも小さいときにも、オーバーフローが生じていると想定される。

そこで、前記領域画素情報算出部は、前記オーバーフロー対応処理により、前記第１積算値が前記第４積算値よりも小さいときに、前記第１積算値から前記第４積算値を減じて前記補正値を加えた値を前記第１差分値とし、また、前記第３積算値が前記第２積算値よりも小さいときに、前記第３積算値から前記第２積算値を減じて前記補正値を加えた値を前記第２差分値とする。そして、前記第１差分値から前記第２差分値を減じた値を前記注目領域の画素情報とすることにより、オーバーフロー分の積算値を補正して前記注目領域の画素情報を正しく算出することができる。

そして、このようにオーバーフローを許容した構成とすることによって、オーバーフローが発生しないように各画素に割り当てる積算値の上限値を設定する場合よりも、各画素に割り当てるデータのサイズ（ビット数）を減らすことができるため、前記インテグラルイメージのデータ量を減少させることができる。

また、前記インテグラルイメージの作成時に、前記注目領域として設定されたと仮定したときに、前記第１積算値が前記第４積算値よりも小さくなるか又は前記第３積算値が前記第２積算値よりも小さくなる領域を、オーバーフロー予測領域として予め認識し、該認識したオーバーフロー予測領域の範囲を記憶するオーバーフロー予測部を備え、
前記領域画素情報算出部は、前記注目領域が前記オーバーフロー予測領域内で選択されたことを条件として前記オーバーフロー対応処理を行い、前記注目領域が前記オーバーフロー予測領域外で選択されたときには、前記オーバーフロー対応処理を行わずに、前記第１積算値から前記第２積算値を減じた値を前記第１差分値とすると共に、前記第４積算値から前記第３積算値を減じた値を前記第２差分値とすることを特徴とする。

この構成によれば、前記注目領域の選択状況に応じて、オーバーフローに対応した前記領域情報修正処理が必要になると想定される場合にのみ、前記オーバーフロー対応処理による前記第１積算値と前記第４積算値との比較及び前記第３積算値と前記第２積算値との比較が行われる。そのため、前記注目領域が選択された場合に、常に前記オーバーフロー対応処理を行う場合よりも、演算量を減少させることができる。

次に、本発明の画像処理方法は、
第１方向及び第２方向の２次元に画素が配列された矩形の対象画像に対して、該対象画像のいずれかの頂点の画素を起点画素とし、該対象画像の各画素に対して、該起点画素との間の線分を対角線とする矩形領域内の画素の情報を、オーバーフローが生じたときにゼロとなる形式のデータにより積算した積算値を割り当てたインテグラルイメージを生成するインテグラルイメージ生成工程と、
前記対象画像において前記対象画像と平行な矩形の注目領域が設定されたときに、該注目領域の頂点の画素のうち前記起点画素から最も離れた画素である第１頂点画素に割り当てられた前記インテグラルイメージの積算値である第１積算値と、前記注目領域の画素のうち前記起点画素に最も近い画素よりも、前記第１方向及び前記第２方向に１画素分ずつ前記起点画素に近い画素である第２頂点画素に割り当てられた前記インテグラルイメージの積算値である第２積算値と、前記第１方向の位置が前記第１頂点画素と同一であると共に前記第２方向の位置が前記第２頂点画素と同一である画素である第３頂点画素に割り当てられた前記インテグラルイメージの積算値である第３積算値と、前記第２方向の位置が前記第１頂点画素と同一であると共に、前記第１方向の位置が前記第２頂点画素と同一である第４頂点画素に割り当てられた前記インテグラルイメージの積算値である第４積算値とについて、
前記第１積算値が前記第４積算値以上であるときは前記第１積算値から前記第４積算値を減じた値を第１差分値とし、前記第１積算値が前記第４積算値よりも小さいときには前記第１積算値から前記第４積算値を減じて前記形式のデータの最大値に基づく補正値を加えた値を前記第１差分値とし、また、前記第３積算値が前記第２積算値以上であるときは前記第３積算値から前記第２積算値を減じた値を第２差分値とし、前記第３積算値が前記第２積算値よりも小さいときには前記第３積算値から前記第２積算値を減じて前記補正値を加えた値を前記第２差分値とするオーバーフロー対応処理を行って、
前記第１差分値から前記第２差分値を減じた値を、前記注目領域の画素情報とする領域画素情報算出工程と
を含むことを特徴とする。

かかる本発明の画像処理方法によれば、上述した本発明の画像処理装置と同様に、前記注目領域についての画素情報を算出する際にオーバーフローが生じたときに、オーバーフロー分の積算値を補正して、前記注目領域の画素情報を正しく求めることができる。そして、このようにオーバーフローを許容した構成とすることによって、オーバーフローが発生しないように各画素に割り当てる前記参照値の上限値を設定する場合よりも、各画素に割り当てるデータのサイズ（ビット数）を減らすことができるため、前記インテグラルイメージのデータ量を減少させることができる。

画像処理装置の構成図。 グレースケール画像のデータ構成の説明図。 エッジ画像のデータ構成の説明図。 インテグラルイメージのデータ構成の説明図。 インテグラルイメージを使用した画像処理の説明図。 インテグラルイメージ生成時に生じるオーバーフローの説明図。 画像処理装置の作動フローチャート。 変形形態における画像処理装置の構成図。

本発明の画像処理装置の実施形態の一例について、図１〜図７を参照して説明する。

図１を参照して、画像処理装置１０ａは、カメラ２（カラーカメラ）、スピーカ５、表示器６等を備えた車両１に搭載されている。

画像処理装置１０ａは、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子回路ユニットであり、メモリに保持された画像処理用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、インテグラルイメージ生成部１３、及び領域画素情報算出部１５として機能する。

撮像画像取得部１１は、カメラ２から出力される車両１の周囲（前方）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。そして、この車両１の前方の撮像画像２１のデータを画像メモリ２０に保持する。

エッジ画像生成部１２は、撮像画像２１の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像２２（多値画像，本発明の対象画像に相当する）を生成する。グレースケール画像２２は、図２に示したように、ｍ×ｎ個の画素を有する２次元（ｘ軸（水平軸）−ｙ軸（垂直軸））の配列データにより構成された矩形の画像であり、各画素（ｉ，ｊ）（ｉ＝０，１，…，ｍ−１、ｊ＝０，１，…，ｎ−１）には輝度値のデータが割り当てられている。

なお、ｘ軸方向が本発明の第１方向に相当し、ｙ軸方向が本発明の第２方向に相当する。また、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像２１からグレースケール画像２２を生成する処理は不要である。

また、エッジ画像生成部１２は、グレースケール画像２２からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像２３を生成する。

エッジ画像２３は、図３に示したように、各画素に、各画素の画素情報（各画素の輝度値、各画素がエッジ点であるか否か、輝度変化値、エッジの向き等）のデータｅ（ｉ，ｊ）（ｉ＝０，１，…，ｍ−１、ｊ＝０，１，…，ｎ−１）が割り当てられている。

インテグラルイメージ生成部１３は、エッジ画像生成部１２によりエッジ画像２３が生成されるときに、インテグラルイメージ２４を生成する処理を並行して実行する。インテグラルイメージ生成部１３は、図３に示したエッジ画像２３の左上の頂点（０，０）を起点画素として、起点画素（０，０）と各画素を結ぶ線分（起点画素と各画素との間の線分）を対角線とする矩形範囲内の画素の画素情報（エッジ強度など）を積算した値（積算値）を、各画素に割り当てて、図４に示したインテグラルイメージ２４を生成する。

なお、本実施形態では、左上の頂点（０，０）を起点画素としているが、他の頂点（（ｍ−１，０）、（０，ｎ−１）、（ｍ−１，ｎ−１））を起点画素としてもよい。

例えば、図４のインテグラルイメージ２４の画素（３，２）には、図３のエッジ画像２３の起点画素（０，０）と画素（３，２）を結ぶ線分を対角線とする矩形（（０，０），（３，０），（３，２），（０，２）を頂点とする矩形）の領域内の画素（（０，０）〜（３，０）、（０，１）〜（３，１）、（０，２）〜（３，２））の画素情報の積算値ｉｎ（３，２）が割り当てられる。

このようにして、インテグラルイメージ生成部１３は、画素（ｍ−１，ｎ−１）まで、起点画素（０，０）と各画素（ｉ，ｊ）を結ぶ線分を対角線とする矩形領域内の画素の画素情報の積算値ｉｎ（ｉ，ｊ）を画素（ｉ，ｊ）に割り当てて、インテグラルイメージ２４を生成する。

インテグラルイメージ２４を生成することにより、図５に示したように、グレースケール画像２２又はエッジ画像２３に設定された任意の矩形の注目領域５０（グレースケール画像２２，エッジ画像２３（対象画像）と平行な矩形領域となる）について、注目領域５０の頂点の画素のうち、起点画素Ｐｏから最も離れた画素Ｐ３（本発明の第１頂点画素に相当する）に割り当てられたインテグラルイメージ２４の積算値Ｉｎ３（本発明の第１積算値に相当する）、注目領域５０の頂点のうち起点画素Ｐｏに最も近い画素よりもｘ軸方向及びｙ軸方向に１画素分ずつ起点画素に近い画素Ｐ０（本発明の第２頂点画素に相当する）に割り当てられたインテグラルイメージ２４の積算値Ｉｎ０（本発明の第２積算値に相当する）、画素Ｐ３とｘ座標（ｘ方向の位置）が等しく画素Ｐ０とｙ座標（ｙ方向の位置）が等しい画素Ｐ１（本発明の第３頂点画素に相当する）に割り当てられたインテグラルイメージ２４の積算値Ｉｎ１（本発明の第３積算値に相当する）、及び画素Ｐ０とｘ座標が等しく画素Ｐ３とｙ座標が等しい画素Ｐ２（本発明の第４頂点画素に相当する）に割り当てられたインテグラルイメージ２４の積算値Ｉｎ２（本発明の第４積算値に相当する）から、以下の式（１）によって、注目領域５０の画素情報の積算値Ｉｎ_ＲＯＩを容易に算出することができる。

Ｉｎ＿ＲＯＩ＝（Ｉｎ３−Ｉｎ２）−（Ｉｎ１−Ｉｎ０）・・・・・ （１）
なお、（Ｉｎ３−Ｉｎ２）は本発明の第１差分値に相当し、（Ｉｎ１−Ｉｎ０）は本発明の第２差分値に相当する。

上記式（１）は、注目領域５０について設定した画素Ｐ０，Ｐ１，Ｐ２，Ｐ３について、ｙ座標が同一である画素Ｐ３（右端），Ｐ２（左端）についての積算値の差分（Ｉｎ３−Ｉｎ２）と、画素Ｐ１（右端），Ｐ０（左端）についての積算値の差分（Ｉｎ１−Ｉｎ０）に基づいて、注目領域５０の画素情報の積算値Ｉｎ_ＲＯＩを算出できることを意味している。

ここで、インテグラルイメージ２４の各画素に割り当てられる積算値のデータ形式は、２バイト（１６ビット）であり、最大値は０ｘＦＦＦＦとなっている。図６は縦軸を積算値、横軸を積算処理時間に設定した説明図であり、図６に示したように、積算値が０ｘＦＦＦＦを超えるとゼロになり、ゼロから再び積算が行われる。

インテグラルイメージ２４は、起点画素からの各画素までの画素情報の積算値を算出したものであるので、基本的には、注目領域５０について設定した画素Ｐ０，Ｐ１，Ｐ２，Ｐ３に割り当てられたインテグラルイメージの積算値Ｉｎ０，Ｉｎ１，Ｉｎ２，Ｉｎ３について、Ｉｎ２≦Ｉｎ３，Ｉｎ０≦Ｉｎ１となる。そのため、Ｉｎ３＜Ｉｎ２となったとき、及びＩｎ１＜Ｉｎ０となったときには、インテグラルイメージ２４の生成過程でオーバーフローが生じたことを示している。そこで、領域画素情報算出部１５は、積算値Ｉｎ０とＩｎ１、及び積算値Ｉｎ２とＩｎ３を比較することにより、オーバーフローが生じた場合に積算値を補正する処理を行う。

以下、図７に示したフローチャートを参照して、領域画素情報算出部１５によるオーバーフロー対応処理を含む画像処理装置１０ａにおける一連の処理について説明する。

図７のＳＴＥＰ１は撮像画像取得部１１による処理であり、撮像画像取得部１１は、上述したようにカメラ２の映像信号から撮像画像２１を取得する。続くＳＴＥＰ２はエッジ画像生成部１２による処理であり、エッジ画像生成部１２は、撮像画像２１からグレースケール画像２２とエッジ画像２３を生成する。

次のＳＴＥＰ３はインテグラルイメージ生成部１３による処理である。インテグラルイメージ生成部１３は、図３，図４を参照して上述したように、エッジ画像２３からインテグラルイメージ２４を生成する。エッジ画像２３の生成とインテグラルイメージ２４の生成の処理は、連続して行われる。

なお、ＳＴＥＰ３のインテグラルイメージ生成部１３による処理は、本発明の画像処理方法におけるインテグラルイメージ生成工程に相当する。

続くＳＴＥＰ４〜ＳＴＥＰ７及びＳＴＥＰ２０は、領域画素情報算出部１５による処理である。領域画素情報算出部１５は、ＳＴＥＰ４で、監視対象物（歩行者等）の画像部分の候補（候補画像部分）を含む注目領域を設定し、ＳＴＥＰ５で、図５を参照して上述したように、上述した式（１）における各画素Ｐ０，Ｐ１，Ｐ２，Ｐ３に割り当てられたインテグラルイメージの積算値Ｉｎ０，Ｉｎ１，Ｉｎ２，Ｉｎ３を抽出する。

次のＳＴＥＰ６で、領域画素情報算出部１５は、積算値Ｉｎ３がＩｎ２よりも小さいか否かを判断する。積算値Ｉｎ３がＩｎ２よりも小さいとき（オーバーフローが生じているとき）はＳＴＥＰ２０に分岐し、積算値Ｉｎ３がＩｎ２以上であるとき（オーバーフローが生じていないとき）はＳＴＥＰ７に進む。

ＳＴＥＰ７で、領域画素情報算出部１５は、積算値Ｉｎ１がＩｎ０よりも小さいか否かを判断する。積算値Ｉｎ１がＩｎ０よりも小さいとき（オーバーフローが生じているとき）はＳＴＥＰ４０に分岐し、積算値Ｉｎ１がＩｎ０以上であるとき（オーバーフローが生じていないとき）にはＳＴＥＰ８に進む。

ＳＴＥＰ８，ＳＴＥＰ９は、積算値Ｉｎ１，Ｉｎ３にオーバーフローが生じていない場合の処理であり、領域画素情報算出部１５は、以下の式（２），式（３）により、第１差分値Ｉｎｄ１及び第２差分値Ｉｎｄ２を算出してＳＴＥＰ１０に進む。

Ｉｎｄ１＝Ｉｎ１−Ｉｎ０ ・・・・・ （２）
Ｉｎｄ２＝Ｉｎ３−Ｉｎ２ ・・・・・ （３）

ＳＴＥＰ４０，ＳＴＥＰ４１は、積算値Ｉｎ１にオーバーフローが生じ、積算値Ｉｎ３にはオーバーフローが生じていない場合の処理であり、領域画素情報算出部１５は、以下の式（４），式（５）により、第１差分値Ｉｎｄ１及び第２差分値Ｉｎｄ２を算出してＳＴＥＰ１０に進む。

Ｉｎｄ１＝Ｉｎ１＋Ｃｖ−Ｉｎ０ ・・・・・ （４）
Ｉｎｄ２＝Ｉｎ３−Ｉｎ２ ・・・・・ （５）
但し、Ｃｖ：０ｘ１００００（＝０ｘＦＦＦＦ＋１）、本発明のオーバーフローが生じたときにゼロとなる形式のデータの最大値（０ｘＦＦＦＦ）に基づく補正値に相当する。

なお、補正値Ｃｖとしては、積算値のデータ形式の上限値（本実施形態では４バイトの上限値０ｘＦＦＦＦ）に１を加えた繰り上がり値を用いることが好ましい。

また、ＳＴＥＰ２０で、領域画素情報算出部１５は、積算値Ｉｎ１がＩｎ０よりも小さいか否かを判断する。積算値Ｉｎ１がＩｎ０よりも小さいとき（オーバーフローが生じているとき）はＳＴＥＰ３０に分岐し、積算値Ｉｎ１がＩｎ０以上であるとき（オーバーフローが生じていないとき）はＳＴＥＰ２１に進む。

ＳＴＥＰ２１，ＳＴＥＰ２２は、積算値Ｉｎ３にオーバーフローが生じ、積算値Ｉｎ１にはオーバーフローが生じていない場合の処理であり、領域画素情報算出部１５は、以下の式（６），式（７）により、第１差分値Ｉｎｄ１及び第２差分値Ｉｎｄ２を算出してＳＴＥＰ１０に進む。

Ｉｎｄ１＝Ｉｎ１−Ｉｎ０ ・・・・・ （６）
Ｉｎｄ２＝Ｉｎ３＋Ｃｖ−Ｉｎ２ ・・・・・ （７）

ＳＴＥＰ３０，ＳＴＥＰ３１は、積算値Ｉｎ１とＩｎ３にオーバーフローが生じている場合の処理であり、領域画素情報算出部１５は、以下の式（８），式（９）により、第１差分値Ｉｎｄ１及び第２差分値Ｉｎｄ２を算出してＳＴＥＰ１０に進む。

Ｉｎｄ１＝Ｉｎ１＋Ｃｖ−Ｉｎ０ ・・・・・ （８）
Ｉｎｄ２＝Ｉｎ３＋Ｃｖ−Ｉｎ２ ・・・・・ （９）

ＳＴＥＰ１０で、領域画素情報算出部１５は、以下の式（１０）により、ＳＴＥＰ８，９、ＳＴＥＰ４０，４１、ＳＴＥＰ２０，２１、ＳＴＥＰ３０，３１のうちのいずれかで算出した第１差分値Ｉｎｄ１及び第２差分値Ｉｎｄ２によって、注目領域の５０の画素情報Ｉｎ_ＲＯＩを算出する。

Ｉｎ_ＲＯＩ＝Ｉｎｄ２−Ｉｎｄ１ ・・・・・ （１０）

なお、ＳＴＥＰ６〜ＳＴＥＰ１０、ＳＴＥＰ４０，ＳＴＥＰ４１、ＳＴＥＰ２１，ＳＴＥＰ２２、ＳＴＥＰ３０，ＳＴＥＰ３１の領域画素情報算出部１５による処理は、本発明の画像処理方法における領域画素情報算出工程に相当する。

続くＳＴＥＰ１１で、画像処理装置１０ａは、注目領域５０の画素情報Ｉｎ_ＲＯＩに基づいて、候補画像部分に対応する対象物の種別を判定する。そして、対象物の種別が監視対象とする種別（歩行者等）であったときに、画像処理装置１０ａは、スピーカ５から運転者に注意を促す音を出力し、表示器６に報知画面を表示する。

なお、注目領域５０の画素情報の積算値Ｉｎ_ＲＯＩは、注目領域のエッジ強度を意味する。

また、注目領域５０は、Ｉｎ２からＩｎ３及びＩｎ０からＩｎ１までに、１回のみオーバーフローを許容する範囲で設定される。

［変形形態］
図８に示したように、オーバーフロー予測部１４を備えた画像処理装置１０ｂを構成してもよい。なお、図１に示した画像処理装置１０ａと同一の構成については、同一の符号を付して説明を省略する。

オーバーフロー予測部１４は、インテグラルイメージ生成部１３がインテグラルイメージ２４を生成している際に、オーバーフローが生じた画素（オーバーフロー画素）の情報に基づいて、注目領域５０として設定されたときに、（ｉ）Ｉｎ３がＩｎ２よりも小さい、（ｉｉ）Ｉｎ１がＩｎ０よりも小さい、という二つの条件のうちの少なくとも一つが成立すると想定される領域（オーバーフロー予測領域）のデータを、メモリに記憶しておく。

領域画素情報算出部１５は、注目領域５０の画素情報を算出するときに、注目領域５０がオーバーフロー予測領域内である場合に限定して、図７のＳＴＥＰ６，ＳＴＥＰ７，ＳＴＥＰ２０の比較処理を行って、第１差分値Ｉｎｄ１及び第２差分値Ｉｎｄ２を算出する。

そして、注目領域５０がオーバーフロー予測領域外であるときには、領域画素情報算出部１５は、図７のＳＴＥＰ６、ＳＴＥＰ７、ＳＴＥＰ２０の比較処理を行わずに、上記式（１）により注目領域５０の画素情報Ｉｎ_ＲＯＩを算出する。

この構成によれば、ＳＴＥＰ６，ＳＴＥＰ７，ＳＴＥＰ２０により、Ｉｎ３とＩｎ２及びＩｎ１とＩｎ０の比較処理を常に行う場合よりも、注目領域５０の画素情報Ｉｎ_ＲＯＩを算出する際に要する演算量を減少させることができる。

なお、上記実施例では、領域画素情報算出部１５は、注目領域５０の画素情報を算出するときに、注目領域５０がオーバーフロー予測領域内である場合に限定して上記処理を行ったが、Ｐ３−Ｐ２及びＰ１−Ｐ０のそれぞれの横ライン（ｘ軸方向のライン）によりオーバーフローの範囲に入るか否かを判断して、それぞれについて条件分岐（ＳＴＥＰ６、ＳＴＥＰ７，ＳＴＥＰ２０）を実施するか否かを判断してもよい。この場合は、Ｐ１−Ｐ０の横ラインについてはオーバーフロー無しであれば条件文献を実施せず、また、３−Ｐ２の横ラインについては条件分岐処理（Ｐ３とＰ２の大小判断）を実施する、というように処理を行う。

１…車両（自車両）、２…カメラ、１０ａ，１０ｂ…画像処理装置、１１…撮像画像取得部、１２…エッジ画像生成部１２、１３…インテグラルイメージ生成部、１４…オーバーフロー予測部、１５…領域画素情報算出部、２０…画像メモリ、２１…撮像画像（カラー画像）、２２…グレースケール画像（対象画像）、２３…エッジ画像、２４…インテグラルイメージ。

Claims (3)

1. 第１方向及び第２方向の２次元に画素が配列された矩形の対象画像に対して、該対象画像のいずれかの頂点の画素を起点画素とし、該対象画像の各画素に対して、該起点画素との間の線分を対角線とする矩形領域内の画素の情報を、オーバーフローが生じたときにゼロとなる形式のデータにより積算した積算値を割り当てたインテグラルイメージを生成するインテグラルイメージ生成部と、
   前記対象画像において前記対象画像と平行な矩形の注目領域が設定されたときに、該注目領域の頂点の画素のうち前記起点画素から最も離れた画素である第１頂点画素に割り当てられた前記インテグラルイメージの積算値である第１積算値と、前記注目領域の頂点の画素のうち前記起点画素に最も近い画素よりも、前記第１方向及び前記第２方向に１画素分ずつ前記起点画素に近い画素である第２頂点画素に割り当てられた前記インテグラルイメージの積算値である第２積算値と、前記第１方向の位置が前記第１頂点画素と同一であると共に前記第２方向の位置が前記第２頂点画素と同一である画素である第３頂点画素に割り当てられた前記インテグラルイメージの積算値である第３積算値と、前記第２方向の位置が前記第１頂点画素と同一であると共に、前記第１方向の位置が前記第２頂点画素と同一である第４頂点画素に割り当てられた前記インテグラルイメージの積算値である第４積算値とについて、
   前記第１積算値が前記第４積算値以上であるときは前記第１積算値から前記第４積算値を減じた値を第１差分値とし、前記第１積算値が前記第４積算値よりも小さいときには前記第１積算値から前記第４積算値を減じて前記形式のデータの最大値に基づく補正値を加えた値を前記第１差分値とし、また、前記第３積算値が前記第２積算値以上であるときは前記第３積算値から前記第２積算値を減じた値を第２差分値とし、前記第３積算値が前記第２積算値よりも小さいときには前記第３積算値から前記第２積算値を減じて前記補正値を加えた値を前記第２差分値とするオーバーフロー対応処理を行って、
   前記第１差分値から前記第２差分値を減じた値を、前記注目領域の画素情報とする領域画素情報算出部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記インテグラルイメージの作成時に、前記注目領域として設定されたと仮定したときに、前記第１積算値が前記第４積算値よりも小さくなるか又は前記第３積算値が前記第２積算値よりも小さくなる領域を、オーバーフロー予測領域として予め認識し、該認識したオーバーフロー予測領域の範囲を記憶するオーバーフロー予測部を備え、
   前記領域画素情報算出部は、前記注目領域が前記オーバーフロー予測領域内で選択されたことを条件として前記オーバーフロー対応処理を行い、前記注目領域が前記オーバーフロー予測領域外で選択されたときには、前記オーバーフロー対応処理を行わずに、前記第１積算値から前記第２積算値を減じた値を前記第１差分値とすると共に、前記第４積算値から前記第３積算値を減じた値を前記第２差分値とすることを特徴とする画像処理装置。
3. 第１方向及び第２方向の２次元に画素が配列された矩形の対象画像に対して、該対象画像のいずれかの頂点の画素を起点画素とし、該対象画像の各画素に対して、該起点画素との間の線分を対角線とする矩形領域内の画素の情報を、オーバーフローが生じたときにゼロとなる形式のデータにより積算した積算値を割り当てたインテグラルイメージを生成するインテグラルイメージ生成工程と、
   前記対象画像において前記対象画像と平行な矩形の注目領域が設定されたときに、該注目領域の頂点の画素のうち前記起点画素から最も離れた画素である第１頂点画素に割り当てられた前記インテグラルイメージの積算値である第１積算値と、前記注目領域の画素のうち前記起点画素に最も近い画素よりも、前記第１方向及び前記第２方向に１画素分ずつ前記起点画素に近い画素である第２頂点画素に割り当てられた前記インテグラルイメージの積算値である第２積算値と、前記第１方向の位置が前記第１頂点画素と同一であると共に前記第２方向の位置が前記第２頂点画素と同一である画素である第３頂点画素に割り当てられた前記インテグラルイメージの積算値である第３積算値と、前記第２方向の位置が前記第１頂点画素と同一であると共に、前記第１方向の位置が前記第２頂点画素と同一である第４頂点画素に割り当てられた前記インテグラルイメージの積算値である第４積算値とについて、
   前記第１積算値が前記第４積算値以上であるときは前記第１積算値から前記第４積算値を減じた値を第１差分値とし、前記第１積算値が前記第４積算値よりも小さいときには前記第１積算値から前記第４積算値を減じて前記形式のデータの最大値に基づく補正値を加えた値を前記第１差分値とし、また、前記第３積算値が前記第２積算値以上であるときは前記第３積算値から前記第２積算値を減じた値を第２差分値とし、前記第３積算値が前記第２積算値よりも小さいときには前記第３積算値から前記第２積算値を減じて前記補正値を加えた値を前記第２差分値とするオーバーフロー対応処理を行って、
   前記第１差分値から前記第２差分値を減じた値を、前記注目領域の画素情報とする領域画素情報算出工程と
   を含むことを特徴とする画像処理方法。