JP2015219820A - 矩形検出装置 - Google Patents

Abstract

【課題】縦横比の異なる矩形形状を画像データから検出する処理負荷を低減する矩形検出装置を提供する。【解決手段】矩形検出装置は、車載カメラが撮像した画像からエッジが検出された画像データを取得し（Ｓ４００）、倍率の異なる複数の画像データと１個の正方形のテンプレートとの部分マッチング処理を実行する（Ｓ４０２）。矩形検出装置は、部分マッチング処理において、画像データを走査している走査位置のテンプレートの各辺と画像データとの部分マッチング度を求め、矩形形状が存在する所定条件を部分マッチング処理の実行結果が満たしていれば、走査位置における部分マッチング度を含む部分マッチング処理の実行結果を格納する。矩形検出装置は、倍率の異なる画像データ毎に格納された部分マッチング度を統合し、画像データから矩形形状または矩形形状が存在する画像領域を検出する（Ｓ４０４）。【選択図】図２

Description

本発明は、撮像装置により撮像された画像データから矩形形状を検出する矩形検出装置に関する。

撮像装置により撮像された画像データから目的画像を検出する技術が公知である。例えば特許文献１では、対象物の一部の画像データから、目的画像と実質的に同一のパターンを含む部分画像を検出する場合、まず、帯状の第１パターンを含む第１テンプレートを用いて第１パターンと実質的に同一のパターンを含む帯状部分画像を検出する。そして、帯状部分画像の延長方向において、第２パターンを含む目的画像を用い、目的画像と実質的に同一のパターンを含む部分画像を検出する。

特開２００１−３５７３９８号公報

目的画像が縦横比の異なる矩形形状である場合、特許文献１のように、画像データから目的画像のテンプレートと一致する画像を検出する方式では、縦横比の異なる矩形形状毎にテンプレートを用意する必要がある。そして、縦横比の異なるテンプレート毎に画像データを走査して一致する矩形形状を検出するので、処理時間が長くなり、処理負荷が増加するという問題がある。

ハフ変換等の直線検出方法を用いて矩形形状を検出する場合も、処理時間が長くなり、処理負荷が増加するという問題がある。
本発明は、上記課題を解決するためになされたものであり、縦横比の異なる矩形形状を画像データから検出する処理負荷を低減する矩形検出装置を提供することを目的とする。

本発明の矩形検出装置は、画像取得手段と、部分マッチング処理手段と、矩形検出手段と、を備えている。
画像取得手段は、撮像装置が撮像した画像データを取得し、部分マッチング処理手段は、画像取得手段が取得する画像データを所定縦横比の矩形のテンプレートで走査し、各走査位置における画像データとテンプレートの４辺それぞれとの部分マッチング度を求める。矩形検出手段は、部分マッチング処理手段が求める部分マッチング度を統合して、画像データから矩形形状を検出する。

このように、異なる縦横比を有する矩形形状を検出する場合にも一種類の所定縦横比のテンプレートを使用するので、縦横比の異なる複数のテンプレートを用意する必要がない。これにより、縦横比の異なるテンプレート毎に画像データを走査する方式に比べて処理時間を短縮できるので、処理負荷が低減する。

そして、一種類の所定縦横比のテンプレートであっても、画像データとテンプレートの４辺それぞれとの部分マッチング度を求め、テンプレートの各辺に対する画像データの部分マッチング度を統合することにより、画像データから矩形形状、または矩形形状が存在する画像領域を検出できる。

画像データから検出する矩形形状を横長または縦長に限るのであれば、検出対象の矩形形状の縦横比に合わせて所定縦横比のテンプレートを用意すればよい。また、どのような縦横比の矩形形状にも対応するのであれば、縦横比の等しい正方形のテンプレートを使用することが望ましい。

第１実施形態の矩形検出装置を示すブロック図。 矩形検出処理のメインルーチンを示すフローチャート。 テンプレートによる矩形形状の部分マッチング処理を示すフローチャート。 矩形統合処理を示すフローチャート。 異なる倍率の画像データと１個のテンプレートとの部分マッチング処理を示す模式図。 図５の部分マッチング処理の統合結果を示す模式図。 第２実施形態による画像データと異なる大きさのテンプレートとの部分マッチング処理を示す模式図。 図７の部分マッチング処理の統合結果を示す模式図。

以下、本発明の実施形態を図に基づいて説明する。
［第１実施形態］
図１に、車両に搭載される矩形検出装置１０を示す。矩形検出装置１０は、部分マッチング処理装置２０と、矩形統合処理装置３０とを備えている。部分マッチング処理装置２０は、例えばＦＰＧＡ（Field Programmable Gate Array）等で構成されている。矩形統合処理装置３０は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インタフェース等を有するマイコンにより主に構成されている。

車載カメラが撮像した画像データは部分マッチング処理装置２０に入力される前に前処理され、エッジが検出されたエッジ画像データが生成される。このエッジが検出されたエッジ画像データを画像データとして部分マッチング処理装置２０は取得し、画像データと矩形のテンプレートの４辺それぞれとの部分マッチング度を求める部分マッチング処理を実行する。

尚、第１実施形態および後述する第２実施形態では、矩形のテンプレートとして正方形のテンプレートを使用した例について説明する。
部分マッチング処理装置２０は、テンプレートの各辺と画像データ上のエッジとの重複度に応じて部分マッチング度を求める。例えば、テンプレートの各辺と画像データ上のエッジとが重複して長さが一致している場合を１００とし、全く重複していない場合を０とする。

矩形統合処理装置３０は、部分マッチング処理装置２０が求めた部分マッチング度を統合して画像データから矩形形状または矩形形状が存在する画像領域を検出し、検出結果を出力する。矩形統合処理装置３０が出力する検出結果は、車載カメラが撮像した画像に重ねてディスプイレイに表示される。

（矩形検出処理）
図２に示す矩形検出処理のメインルーチンは、例えば、車載カメラが撮像した画像を表示するディスプレイ上の実行ボタンを運転者が操作することにより起動し、常時実行される。図２および後述する図３、４において「Ｓ」はステップを表わしている。

図２のＳ４００において部分マッチング処理装置２０は、画像データとして、車載カメラが撮像した画像からエッジが検出されたエッジ画像データを画像データとして取得する。第１実施形態では、図５に示すように、倍率の異なる複数の画像データ１００、１０２と１個の正方形のテンプレート２００との部分マッチング度を求める部分マッチング処理を実行する（Ｓ４０２）。Ｓ４０２の部分マッチング処理の詳細については後述する。

矩形統合処理装置３０は、部分マッチング処理装置２０が求めた部分マッチング度を統合し、画像データから矩形形状または矩形形状が存在する画像領域を検出する（Ｓ４０４）。Ｓ４０４の矩形統合処理の詳細については後述する。

そして、矩形統合処理装置３０は、検出した矩形形状または矩形形状が存在する画像領域を例えばディスプレイ上に表示するために、倍率の異なる画像データで検出した矩形形状または矩形形状が存在する画像領域をディスプレイ上の座標に変換し（Ｓ４０６）、変換結果を出力する（Ｓ４０８）。

（部分マッチング処理）
図２のＳ４０２で実行する部分マッチング処理の詳細なフローチャートを図３に示す。図３のＳ４１０において部分マッチング処理装置２０は、倍率の異なる画像データ１００、１０２とテンプレート２００との部分マッチング処理を行うために、画像データ１００、１０２に対し画像の上端から下端のＹ方向に向けてテンプレート２００で順次走査する。

図５は、道路１１０の両側に設置された矩形の道路標識１２０、１２２とテンプレート２００の各辺との部分マッチング処理を実行する例を示している。図５では、説明を簡単にするために倍率の異なる２個の画像データ１００、１０２を走査する例を示すが、倍率の異なる３個以上の画像データを走査してもよい。

部分マッチング処理装置２０は、現在走査しているＹ方向の位置において、画像データ１００、１０２とテンプレート２００との部分マッチング処理を行うために、画像データ１００、１０２に対し画像の左端から右端のＸ方向に向けてテンプレート２００で順次走査する（Ｓ４１２）。

そして、部分マッチング処理装置２０は、現在走査しているＸ方向およびＹ方向の走査位置において、正方形のテンプレート２００の各辺と画像データ１００、１０２との部分マッチング度を求める部分マッチング処理を実行する（Ｓ４１４）。

画像上に矩形形状が存在する所定条件として、例えば、テンプレート２００の少なくとも２辺とエッジ検出された画像データ１００、１０２との部分マッチング度が所定値以上である条件を部分マッチング処理の実行結果（以下、単に「部分マッチング結果」とも言う。）が満たしていれば（Ｓ４１６：Ｙｅｓ）、部分マッチング処理装置２０は、所定条件を満たす部分マッチング結果を抽出し、Ｘ方向およびＹ方向の走査位置と部分マッチング度とを、画像データ１００、１０２毎にＲＡＭに格納し（Ｓ４１８）、Ｓ４２０に処理を移行する。

図５では、画像データ１００におけるテンプレート２００と道路標識１２０との部分マッチング度について、左辺、上辺、下辺の部分マッチング度および右辺、上辺、下辺の部分マッチング度が所定値以上であり、矩形形状が存在する所定条件を満たしている。

画像データ１００におけるテンプレート２００と道路標識１２２との部分マッチング度については、テンプレート２００の少なくとも２辺と道路標識１２２との部分マッチング度が所定値以上ではないので、矩形形状が存在する所定条件を満たさない。

また、画像データ１０２におけるテンプレート２００と道路標識１２２との部分マッチング度について、左辺、下辺の部分マッチング度と、右辺、下辺の部分マッチング度と、左辺、上辺の部分マッチング度と、右辺、上辺の部分マッチング度とが所定値以上であり、矩形形状が存在する所定条件を満たしている。

画像データ１０２におけるテンプレート２００と道路標識１２０との部分マッチング度については、テンプレート２００の少なくとも２辺と道路標識１２０との部分マッチング度が所定値以上ではないので、矩形形状が存在する所定条件を満たさない。

部分マッチング結果が所定条件を満たさない場合（Ｓ４１６：Ｎｏ）、部分マッチング処理装置２０は、Ｓ４２０に処理を移行する。
Ｓ４２０において部分マッチング処理装置２０は、現在走査しているＹ方向の位置において、Ｘ方向の右端まで走査を終了したか否かを判定する。Ｘ方向の右端まで走査を終了していない場合（Ｓ４２０：Ｎｏ）、部分マッチング処理装置２０は、Ｓ４１２に処理を移行し、次の部分マッチング処理を実行するために右方向に走査位置をずらす。

現在走査しているＹ方向の位置において、Ｘ方向の右端まで走査を終了した場合（Ｓ４２０：Ｙｅｓ）、部分マッチング処理装置２０は、Ｙ方向の下端まで走査を終了したか否かを判定する（Ｓ４２２）。Ｙ方向の下端まで走査を終了していない場合（Ｓ４２２：Ｎｏ）、部分マッチング処理装置２０は、Ｓ４１０に処理を移行し、次の部分マッチング処理を実行するために下方向に走査位置をずらす。

Ｙ方向の下端まで走査を終了した場合（Ｓ４２２：Ｙｅｓ）、部分マッチング処理装置２０は本処理を終了する。
（矩形統合処理）
図２のＳ４０４で実行する矩形統合処理の詳細なフローチャートを図４に示す。図４のＳ４３０において矩形統合処理装置３０は、部分マッチング処理装置２０が矩形形状が存在する所定条件を満たすと判定してＲＡＭに格納した画像データ１００、１０２毎の部分マッチング結果を順次読み出す。

そして、読み出した部分マッチング結果に基づき、テンプレート２００が複数重なってグループになった部分マッチング結果があるか否かを判定する（Ｓ４３２）。
図５に示すように、テンプレート２００が複数重なったグループになっている場合（Ｓ４３２：Ｙｅｓ）、矩形統合処理装置３０は、重なっているテンプレート２００のそれぞれの左右上下の座標に代えて、重なっているテンプレート２００のグループの左右上下の最外座標を新たな矩形形状の領域の座標として更新し（Ｓ４３４）、Ｓ４３６に処理を移行する。

テンプレート２００が複数重なったグループになっていない場合（Ｓ４３２：Ｎｏ）、矩形統合処理装置３０はＳ４３６に処理を移行する。つまり、テンプレート２００が重ならずに一つだけの場合、矩形統合処理装置３０は部分マッチング結果を更新しない。

但し、テンプレート２００が重ならずに一つだけであり、テンプレート２００の４辺のうち少なくとも一辺と画像データとの部分マッチング度が０であれば矩形形状と見なすことはできないので、格納されていた部分マッチング結果を削除してからＳ４３６に処理を移行する。

すべての部分マッチング結果を読み出すと（Ｓ４３６：Ｙｅｓ）、矩形統合処理装置３０は本処理を終了する。
図４の矩形統合処理が終了すると、矩形統合処理装置３０は、前述したように、倍率の異なる画像データ１００、１０２で検出した矩形形状または矩形形状が存在する画像領域をディスプレイ上の座標に変換する。部分マッチング結果を座標変換してディスプレイ３００に表示した結果を図６に示す。

図６の画像領域２１０、２１２は、重なっているテンプレート２００のグループの左右上下の最外座標で更新され、座標変換された領域を表わしている。つまり、画像領域２１０内、画像領域２１２内に矩形形状の道路標識１２０、１２２が存在している。

そして、画像領域２１０、２１２において、エッジ検出を実行する前の元の画像データを画像処理することにより、画像領域２１０、２１２に存在する矩形形状の物体が道路標識１２０、１２２であることを識別する。

［第２実施形態］
第２実施形態の矩形検出処理について、図７および図８に基づいて説明する。第２実施形態の矩形検出装置は第１実施形態の図１に示す矩形検出装置１０の構成と実質的に同一であるから、第１実施形態と同一符号で説明する。

図７に示すように、第２実施形態では、画像データの倍率を変更せず、異なる大きさの正方形のテンプレート２２０、２２２と画像データ１４０との部分マッチング処理を実行する。図７は、道路１１０の左側に矩形の道路標識１３０と、自車両の右側前方を走行しているトラック１３２とが撮像された例を示している。

図７では、画像データ１４０におけるテンプレート２２０と道路標識１３０との部分マッチング度について、左辺、右辺、下辺の部分マッチング度および左辺、右辺、上辺の部分マッチング度が所定値以上であり、矩形形状が存在する所定条件を満たしている。

画像データ１４０におけるテンプレート２２２と道路標識１３０との部分マッチング度については、テンプレート２２２の少なくとも２辺と道路標識１３０との部分マッチング度が所定値以上ではないので、矩形形状が存在する所定条件を満たさない。

また、画像データ１４０におけるテンプレート２２２とトラック１３２の後部形状との部分マッチング度について、左辺、上辺の部分マッチング度と、右辺、上辺の部分マッチング度と、左辺、下辺の部分マッチング度と、右辺、下辺の部分マッチング度とが所定値以上であり、矩形形状が存在する所定条件を満たしている。

画像データ１４０におけるテンプレート２２０とトラック１３２の後部形状との部分マッチング度については、テンプレート２２０の少なくとも２辺とトラック１３２との部分マッチング度が所定値以上ではないので、矩形形状が存在する所定条件を満たさない。

第２実施形態の矩形統合処理装置３０は、矩形形状が存在する所定条件を満たす部分マッチング度の統合処理において、部分マッチング度が所定値以上であるテンプレート２２０、２２２の辺を抽出して重ね合わせる。これにより、図８に示すように、道路標識１３０を表わす画像領域２３０、トラック１３２の後部形状を表わす画像領域２３２が統合結果として出力され、ディスプレイ３００に表示される。

そして、画像領域２３０、２３２において、エッジ検出を実行する前の元の画像データを画像処理することにより、画像領域２３０、２３２に存在する矩形形状の物体が、それぞれ道路標識１３０、トラック１３２の後部であることを識別する。

以上説明した本発明の第１、第２実施形態によると、異なる縦横比を有する矩形形状の検出対象を検出する場合、正方形のテンプレートを使用するので、矩形形状を有する検出対象の縦横比に合わせて縦横比の異なるテンプレートを用意する必要がない。したがって、縦横比の異なるテンプレート毎に画像データを走査する方式に比べ、処理時間を短縮できるので、処理負荷が低減する。

そして、画像データと正方形のテンプレートの４辺それぞれとの部分マッチング度を求め、テンプレートの各辺に対する部分マッチング度を統合することにより、画像データから矩形形状、または矩形形状が存在する画像領域を検出できる。

また、矩形のテンプレートとして正方形のテンプレートを使用するので、どのような縦横比の矩形形状を有する検出対象にも対応できる。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。

例えば、倍率の異なる複数の画像データと大きさの異なる複数の正方形のテンプレートとの部分マッチング処理を行ってもよい。
また、矩形のテンプレートは正方形に限るものではなく、検出対象の矩形形状によって適切な縦横比の長方形のテンプレートを使用してもよい。

矩形形状の車両を検出する場合、検出対象はトラックに限るものではなく、矩形形状を有するのであればどのような車両を検出対象としてもよい。
本発明の矩形検出装置は、上記実施形態で説明した車両に搭載されるものに限らず、どのような用途に用いてもよい。

１０：矩形検出装置、２０：部分マッチング処理装置、３０：矩形統合処理装置、１００、１０２、１４０：画像データ、１２０、１２２、１３０：道路標識、１３２：トラック（車両）、２００、２２０、２２２：テンプレート

Claims (9)

1. 撮像装置が撮像した画像データ（１００、１０２、１４０）を取得する画像取得手段（２０、Ｓ４００）と、
   前記画像取得手段が取得する前記画像データを所定縦横比の矩形のテンプレート（２００、２２０、２２２）で走査し、各走査位置における前記画像データと前記テンプレートの４辺それぞれとの部分マッチング度を求める部分マッチング処理手段（２０、Ｓ４０２、Ｓ４１０〜Ｓ４２２）と、
   前記部分マッチング処理手段が求める前記部分マッチング度を統合して、前記画像データから矩形形状を検出する矩形検出手段（３０、Ｓ４０４、Ｓ４３０〜Ｓ４３６）と、
   を備えることを特徴とする矩形検出装置（１０）。
2. 前記テンプレートは正方形であることを特徴とする請求項１に記載の矩形検出装置。
3. 前記部分マッチング処理手段（Ｓ４１６、Ｓ４１８）は、各走査位置における前記部分マッチング度が矩形形状が存在する所定条件を満たすか否かを判定し、前記所定条件を満たす前記部分マッチング度を抽出し、
   前記矩形検出手段は、前記部分マッチング処理手段が抽出する前記部分マッチング度を統合して前記画像データから矩形形状を検出する、
   ことを特徴とする請求項１または２に記載の矩形検出装置。
4. 前記画像取得手段は倍率の異なる複数の前記画像データ（１００、１０２）を取得し、
   前記部分マッチング処理手段は、倍率の異なる複数の前記画像データそれぞれと前記テンプレート（２００）の４辺それぞれとの前記部分マッチング度を求める、
   ことを特徴とする請求項１から３のいずれか一項に記載の矩形検出装置。
5. 前記部分マッチング処理手段は、大きさの異なる複数の前記テンプレート（２２０、２２２）のそれぞれで前記画像データ（１４０）を走査し、前記画像データと複数の前記テンプレートの４辺それぞれとの前記部分マッチング度を求める、
   ことを特徴とする請求項１から４のいずれか一項に記載の矩形検出装置。
6. 車両に搭載される矩形検出装置であって、
   前記画像取得手段は車載の撮像装置が撮像した画像データを取得する、
   ことを特徴とする請求項１から５のいずれか一項に記載の矩形検出装置。
7. 前記矩形検出手段は、前記部分マッチング度を統合して矩形の道路標識（１２０、１２２、１３０）を検出することを特徴とする請求項６に記載の矩形検出装置。
8. 前記矩形検出手段は、前記部分マッチング度を統合して矩形形状を有する車両（１３２）を検出することを特徴とする請求項６または７に記載の矩形検出装置。
9. 前記矩形検出手段は、前記部分マッチング度を統合して矩形形状を有するトラックを検出することを特徴とする請求項８に記載の矩形検出装置。