JP2012221272A

JP2012221272A - 画像処理システムおよび画像処理方法

Info

Publication number: JP2012221272A
Application number: JP2011086953A
Authority: JP
Inventors: Takanori Yamada; 貴則山田
Original assignee: Nippon Signal Co Ltd
Current assignee: Nippon Signal Co Ltd
Priority date: 2011-04-11
Filing date: 2011-04-11
Publication date: 2012-11-12

Abstract

【課題】オプティカルフローによる画像処理のみでは移動体の移動方向を正確に認識することができない場合でも、移動体の移動方向を正確に認識することのできる画像処理システムを提供する。
【解決手段】画像処理部６は、カメラ２により撮影された画像の所定の画像処理領域において、車両１を抽出する移動体抽出部７と、オプティカルフローを利用して画像処理を行うオプティカルフロー処理部８と、画像処理領域を車両１が進行する方向に複数の領域に分割し、これら各分割領域の境界部分において、時系列で各画像のフレーム間差分を求めるフレーム差分処理部９と、オプティカルフロー処理部８による認識結果とフレーム差分処理部９による認識結果に基づいて車両１の移動方向を認識する移動方向検出部１０と、を備えている。
【選択図】図２

Description

本発明は画像処理システムおよび画像処理方法に係り、特に、オプティカルフローによる画像処理のみでは移動体の移動方向を正確に認識することができない場合でも、移動体の移動方向を正確に認識することを可能とした画像処理システムおよび画像処理方法に関するものである。

一般に、道路を走行する自動車や自動二輪車などの車両を検出するとともに、その車両の移動方向を判断して、例えば、道路における車両の流れや混雑状況などを検出して、信号制御に利用することが行われている。

このような車両を検出する技術として、従来、計測エリアの画像を撮影する撮像部と、撮像部で撮影されたアナログ画像データをデジタル信号に変換するＡ／Ｄ変換部と、デジタル信号に変換された信号を多値階調データとして格納する多値メモリ部と、多値メモリ部のデータを所定のフレーム単位に取り出し、その画像から影や周辺の不要部分を取り除く画像処理を行い車両を検出する車両検出部と、車両と検出された位置から所定の位置までの距離と時間から車両の速度を計測する速度計測部と、計測した車両の位置と速度を信号制御部に出力する速度出力部とを備えた技術が開示されている（例えば、特許文献１参照）。

特開２００３−２１７０８２号公報

しかしながら、前記特許文献１に記載の技術は、画像データを所定のフレーム単位に取り出し、その画像から影や周辺の不要部分を取り除く画像処理を行い車両を検出するものであるが、従来から、例えば、オプティカルフローを用いた画像処理を行うことで、車両の移動方向を認識する技術があり、このようオプティカルフローを用いた画像処理を行う場合に、車両の移動速度、車両の背景の形状などにより、オプティカルフローによって正確に車両の移動方向を認識することができないおそれがあるという問題を有している。そのため、車両の移動方向を誤認識してしまい、この認識結果を利用する検出情報や信号制御などを正確に行うことができないという問題を有している。

本発明は前記した点に鑑みてなされたものであり、オプティカルフローによる画像処理のみでは移動体の移動方向を正確に認識することができない場合でも、移動体の移動方向を正確に認識することのできる画像処理システムおよび画像処理方法を提供することを目的とするものである。

本発明は前記目的を達成するために、請求項１の発明に係る画像処理システムは、移動体の画像を取得するためのカメラと、
このカメラからの画像を処理する画像処理部とを備え、
前記画像処理部は、前記カメラにより撮影された画像の所定の画像処理領域において、前記移動体を抽出する移動体抽出部と、オプティカルフローを利用して画像処理を行うオプティカルフロー処理部と、前記画像処理領域を移動体が進行する方向に複数の領域に分割し、これら各分割領域の境界部分において、時系列で各画像のフレーム間差分を求めるフレーム差分処理部と、前記オプティカルフロー処理部による認識結果とフレーム差分処理部による認識結果に基づいて前記移動体の移動方向を認識する移動方向検出部と、を備えていることを特徴とする。

請求項２に係る発明は、請求項１において、前記フレーム差分処理部による画像処理は、前記オプティカルフロー処理部により前記移動体の移動方向が認識できない場合にのみ行うことを特徴とする。

請求項３に係る発明は、請求項１または請求項２において、前記フレーム差分処理部による画像処理を行うための前記画像処理領域は、２つの領域に分割するものであることを特徴とする。

請求項４の発明に係る画像処理方法は、カメラにより移動体の画像を撮影する処理と、
この画像の所定の画像処理領域において、前記移動体を抽出する処理と、
この抽出された移動体に対してオプティカルフローを利用した画像処理と、
前記画像処理領域を移動体が進行する方向に複数の領域に分割し、これら各分割領域の境界部分において、時系列で各画像のフレーム間差分を求める画像処理と、
前記オプティカルフローによる画像処理とフレーム間の差分による画像処理とから前記移動体の移動方向を検出する処理と、
を備えていることを特徴とする。

請求項５に係る発明は、請求項４において、前記フレーム間の差分による画像処理は、前記オプティカルフローによる処理により移動体の移動方向が認識できない場合にのみ行うことを特徴とする。

請求項６に係る発明は、請求項４または請求項５において、前記フレーム間の差分による画像処理を行う前記画像処理領域は、２つの領域に分割するものであることを特徴とする。

請求項１に係る発明によれば、画像処理部のオプティカルフロー処理部により、移動体抽出部により抽出された移動体に対してオプティカルフローを利用して画像処理を行うことにより、画像中の移動体の移動方向を認識するとともに、移動体の移動方向を認識することができなかった場合に、さらに、フレーム差分処理部により、画像処理領域の各分割領域の境界部分において、時系列で各画像のフレーム間の差分を求めて、オプティカルフロー処理部による認識結果と、フレーム差分処理部による認識結果に基づいて、移動体の移動方向を認識するようにしているので、オプティカルフロー処理部による画像処理のみでは移動体の移動方向を正確に認識することができない場合でも、フレーム差分処理部により時系列で画像の変化を認識することで、移動体の移動方向を正確に認識することができる。その結果、車両の移動方向の認識結果を利用する検出情報や信号制御などを正確に行うことができる。

請求項２に係る発明によれば、フレーム差分処理部による画像処理を、オプティカルフロー処理部により移動体の移動方向が認識できない場合にのみ行うようにしているので、余分な画像処理が不要となり、処理速度を向上させることができる。

請求項３に係る発明によれば、フレーム差分処理部による画像処理を行うための画像処理領域を、２つの領域に分割するようにしているので、各分割領域におけるフレーム差分を求めることで、移動体の移動方向を認識することができる。

請求項４に係る発明によれば、画像処理部のオプティカルフロー処理部により、移動体抽出部により抽出された移動体に対してオプティカルフローを利用して画像処理を行うことにより、画像中の移動体の移動方向を認識するとともに、移動体の移動方向を認識することができなかった場合に、さらに、フレーム差分処理部により、画像処理領域の各分割領域の境界部分において、時系列で各画像のフレーム間の差分を求めて、オプティカルフロー処理部による認識結果と、フレーム差分処理部による認識結果に基づいて、移動体の移動方向を認識するようにしているので、オプティカルフロー処理部による画像処理のみでは移動体の移動方向を正確に認識することができない場合でも、フレーム差分処理部により時系列で画像の変化を認識することで、移動体の移動方向を正確に認識することができる。その結果、車両の移動方向の認識結果を利用する検出情報や信号制御などを正確に行うことができる。

請求項５に係る発明によれば、フレーム間の差分による画像処理を、オプティカルフローによる画像処理により移動体の移動方向が認識できない場合にのみ行うようにしているので、余分な画像処理が不要となり、処理速度を向上させることができる。

請求項６に係る発明によれば、フレーム間の差分による画像処理を行うための画像処理領域を、２つの領域に分割するようにしているので、各分割領域におけるフレーム差分を求めることで、移動体の移動方向を認識することができる。

本発明に係る画像処理システムの実施形態を示す概略図である。本発明に係る画像処理システムの実施形態における制御構成を示すブロック図である。本発明に係る画像処理システムの実施形態におけるフレーム間の差分処理を示す移動体が下側の分割領域に存在する場合の説明図である。本発明に係る画像処理システムの実施形態におけるフレーム間の差分処理を示す移動体が上下の分割領域に存在する場合の説明図である。本発明に係る画像処理システムの実施形態におけるフレーム間の差分処理を示す移動体が上側の分割領域に存在する場合の説明図である。本発明に係る画像処理方法の実施形態の動作を示すフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。

図１は本発明に係る画像処理システムの実施形態を示す概略図である。なお、本実施形態においては、画像処理の対象物として移動体である車両に適用した場合について説明する。

図１に示すように、画像処理システムは、車両１を撮影するためのカメラ２を備えており、このカメラ２は、例えば、道路や交差点など車両１が走行する場所に設置されるように構成されている。また、カメラ２には、このカメラ２により取得される画像から道路を走行する車両１を検出するための検出装置３が接続されており、カメラ２および検出装置３により画像処理システムが構成されるようになっている。

図２は本発明に係る画像処理システムの実施形態を示すブロック図である。図２に示すように、検出装置３は、カメラ２による画像を入力する画像入力部４を備えており、この画像入力部４により入力された画像は、メモリ５に一時的に記憶されるように構成されている。

また、検出装置３は、画像入力部４から入力された画像を処理する画像処理部６を備えている。画像処理部６は、所定の画像処理領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体を、あらかじめ登録されたサンプルパターンと比較してパターン認識する移動体抽出部７を備えており、画像処理部６は、移動体抽出部７により抽出された移動体に対してオプティカルフローを利用して画像処理を行うことにより、画像中の移動体の移動方向を認識するオプティカルフロー処理部８を備えている。

また、本実施形態においては、画像処理部６は、画像処理領域を、例えば、移動体が進行する方向に２つの領域に分割し、これら各分割領域の境界部分において、時系列で各画像のフレーム間の差分を求めるフレーム差分処理部９を備えている。すなわち、例えば、図３から図５に示すように、図３から図５において、下側の分割領域から移動体が上方に向かって移動している場合、各分割領域の境界部分においては、図３に示すように、最初は下側の分割領域のみに移動体が存在し、次に、図４に示すように、下側と上側の各分割領域にわたって移動体が存在し、図５に示すように、最後に上側の分割領域に移動体が存在するようにフレーム画像が変化していくことになるため、この場合には、フレーム差分処理部９は、図３から図５において、下側から上側に向かって移動体が移動しているものと認識することができるものである。なお、本実施形態においては、分割領域として２つの領域に分割するようにしたが、２つの領域ではなく、３つ以上の領域に分割するようにしてもよい。

さらに、本実施形態においては、オプティカルフロー処理部８による画像処理とフレーム差分処理部９による画像処理とから、移動体の移動方向を認識する移動方向検出部１０を備えている。

次に、前述の画像処理システムを用いた本発明に係る画像処理方法について図６に示すフローチャートを参照して説明する。

まず、本実施形態においては、カメラ２により撮影された画像は、画像入力部４を介して画像処理部６に入力されるとともに（ＳＴ１）、所定のメモリ５に記憶される。

画像処理部６の移動体抽出部７により、所定の画像処理領域において、画像の各画素ごとにサーチすることにより、移動体を抽出して、この移動体を、あらかじめ登録されたサンプルパターンと比較してパターン認識する（ＳＴ２）。その後、オプティカルフロー処理部８により、移動体抽出部７により抽出された移動体に対してオプティカルフローを利用して画像処理を行うことにより、画像中の移動体の移動方向を認識する（ＳＴ３）。

さらに、本実施形態においては、オプティカルフロー処理部８による画像処理により移動体の移動方向を認識することができなかった場合は（ＳＴ４：ＮＯ）、フレーム差分処理部９により、画像処理領域の各分割領域の境界部分において、時系列で各画像のフレーム間の差分を求める（ＳＴ５）。そして、移動方向検出部１０により、オプティカルフロー処理部８による認識結果と、フレーム差分処理部９による認識結果に基づいて、移動体の移動方向を認識するものである（ＳＴ６）。

以上述べたように本実施形態においては、画像処理部６のオプティカルフロー処理部８により、移動体抽出部７により抽出された移動体に対してオプティカルフローを利用して画像処理を行うことにより、画像中の移動体の移動方向を認識するとともに、移動体の移動方向を認識することができなかった場合に、さらに、フレーム差分処理部９により、画像処理領域の各分割領域の境界部分において、時系列で各画像のフレーム間の差分を求めて、オプティカルフロー処理部８による認識結果と、フレーム差分処理部９による認識結果に基づいて、移動体の移動方向を認識するようにしているので、オプティカルフロー処理部８による画像処理のみでは移動体の移動方向を正確に認識することができない場合でも、フレーム差分処理部９により時系列で画像の変化を認識することで、移動体の移動方向を正確に認識することができる。その結果、車両１の移動方向の認識結果を利用する検出情報や信号制御などを正確に行うことができる。

さらに、フレーム差分処理部９による画像処理を、オプティカルフロー処理部８により移動体の移動方向が認識できない場合にのみ行うようにしているので、余分な画像処理が不要となり、処理速度を向上させることができる。

さらに、前記実施形態においては、移動体として車両１の移動方向を認識する場合について説明したが、その他、例えば、歩行者などいずれの移動体に適用するようにしてもよい。

また、本発明は前記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々の変形が可能である。

１車両
２カメラ
３検出装置
４画像入力部
５メモリ
６画像処理部
７移動体抽出部
８オプティカルフロー処理部
９フレーム差分処理部
１０移動方向検出部

Claims

移動体の画像を取得するためのカメラと、
このカメラからの画像を処理する画像処理部とを備え、
前記画像処理部は、前記カメラにより撮影された画像の所定の画像処理領域において、前記移動体を抽出する移動体抽出部と、オプティカルフローを利用して画像処理を行うオプティカルフロー処理部と、前記画像処理領域を移動体が進行する方向に複数の領域に分割し、これら各分割領域の境界部分において、時系列で各画像のフレーム間差分を求めるフレーム差分処理部と、前記オプティカルフロー処理部による認識結果とフレーム差分処理部による認識結果に基づいて前記移動体の移動方向を認識する移動方向検出部と、を備えていることを特徴とする画像処理システム。
前記フレーム差分処理部による画像処理は、前記オプティカルフロー処理部により前記移動体の移動方向が認識できない場合にのみ行うことを特徴とする請求項１に記載の画像処理システム。
前記フレーム差分処理部による画像処理を行うための前記画像処理領域は、２つの領域に分割するものであることを特徴とする請求項１または請求項２に記載の画像処理システム。
カメラにより移動体の画像を撮影する処理と、
この画像の所定の画像処理領域において、前記移動体を抽出する処理と、
この抽出された移動体に対してオプティカルフローを利用した画像処理と、
前記画像処理領域を移動体が進行する方向に複数の領域に分割し、これら各分割領域の境界部分において、時系列で各画像のフレーム間差分を求める画像処理と、
前記オプティカルフローによる画像処理とフレーム間の差分による画像処理とから前記移動体の移動方向を検出する処理と、
を備えていることを特徴とする画像処理方法。
前記フレーム間の差分による画像処理は、前記オプティカルフローによる処理により移動体の移動方向が認識できない場合にのみ行うことを特徴とする請求項４に記載の画像処理方法。
前記フレーム間の差分による画像処理を行う前記画像処理領域は、２つの領域に分割するものであることを特徴とする請求項４または請求項５に記載の画像処理方法。