JP2008305325A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像認識におけるソフトウェアの処理負荷を減少させ、認識速度と認識精度を向上させること。
【解決手段】画像処理装置１０は、カメラ２１が撮影した撮影画像に対して補間処理を行う補間処理部１１と、補間処理によって得られた画像に対してエッジ強調処理を行なうエッジ処理部１２とをそれぞれ専用のハードウェアとして有する。出力処理部１３は、補間処理部１１が作成した画像を原画像データとして、エッジ処理部１２が作成した画像をエッジ強調データとしたメモリ２３にそれぞれ書き込む。ソフトウェア処理部２４は、原画像データを使用して歩行者認識を、エッジ強調画像データを用いて白線認識をそれぞれ実行する。
【選択図】 図１

Description

この発明は、カメラが撮影した画像に対して画像処理を施して出力する画像処理装置および画像処理方法に関し、特に画像認識の前処理として好適な画像処理を施す画像処理装置および画像処理方法に関する。

従来、カメラが撮影した画像に対する画像認識によって、特定の物体を認識する技術が考案されている。例えば、このような画像認識を用いることで、車載カメラで撮影した画像から周辺の物体や白線、歩行者などを認識することができ、車両の挙動制御や運転操作の支援が実現可能となる。

具体的には、特許文献１が開示するように、車載カメラが撮影した画像から白線を認識し、白線の認識結果をさらに用いて歩行者の認識を行なう技術が考案されている。

特開２００５−３１６６０７号公報

ところで、画像認識によって検知する対象物が複数種類存在する場合、対象物の種類によって必要な前処理が異なる場合がある。たとえば、白線認識や車両認識など直線成分の多い対象物を認識する場合には、元の画像に対する前処理としてエッジ強調処理を行なった上で画像認識を行なうことで検知精度を向上することができるが、エッジ強調処理を施された画像を用いて歩行者認識を行なうと、原画像に対する歩行者認識に比して認識精度が低下する場合がある。

従来の技術では、画像認識に際して前処理をソフトウェア上で実行していたため、ソフトウェアの処理負荷が大きくなるという問題点があった。

特に、車載カメラによる画像認識では、対象物との危険回避を行なう関係から検知の高速化が強く求められており、ソフトウェアの処理負荷増による検知速度の低下が許容されない。さらに、車載環境は高温で振動や埃なども多く、ソフトウェアの実行には過酷であり、さらにコストダウンの要望も強いため、高速高性能なソフトウェア処理能力を搭載することは困難であった。

また、カメラにはインターレース方式を採用し、画面の奇数段目（奇数ライン）と偶数段目（偶数ライン）をそれぞれ交互に撮影するものがある。このようなインターレース方式は、通常、奇数ラインを撮影したフレームと偶数ラインを撮影したフレームの２回分の撮影結果を組み合わせて一枚の画像とすることを想定されているのであるが、車載用途で高速な検知が求められている場合には２回目の撮影結果を待つことなく毎フレームで画像認識を行なうことが必要となる場合があり、また、認識精度の面からは奇数ラインと偶数ラインを共に有する画像を用いて画像認識を行うことが望まれる。

すなわち、従来の技術では、画像認識におけるソフトウェア負荷が大きいという問題点があり、認識速度と認識精度をともに向上した画像認識を実現するという課題があった。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、画像認識におけるソフトウェアの処理負荷を減少させ、認識速度と認識精度を向上させる画像処理装置および画像処理方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、本発明に係る画像処理装置および画像処理方法は、撮影画像に対する第一の画像処理をハードウェア上で実行する第一演算手段と、撮影画像もしくは第一処理画像に対して第二の画像処理をハードウェア上で実行する第二演算処理手段とをそれぞれ設け、撮影画像もしくは第一演算手段が作成した第一処理画像のいずれかと、第二演算手段が作成した第二処理画像との二つの画像を出力する。

また、撮影画像がインターレース方式で撮影された画像である場合には、第一の画像処理によってライン間を補間し、補間した画像を出力すると共に、補間した画像を第二の画像処理に用いる。

本発明によれば画像処理装置および画像処理方法は、同一の画像に対して異なる画像処理を行なうハードウェアを個別に設け、それぞれのハードウェアが作成した画像を対応する画像認識に対して供給することができるので、画像認識におけるソフトウェアの処理負荷を減少させる画像処理装置および画像処理方法を得ることができるという効果を奏する。

また、本発明によれば画像処理装置および画像処理方法は、撮影画像がインターレース方式で撮影された画像である場合には、第一の画像処理によってライン間を補間し、補間した画像を出力すると共に、補間した画像を第二の画像処理に用いるので、画像認識における認識速度と認識精度を向上させる画像処理装置および画像処理方法を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像処理装置および画像処理方法について詳細に説明する。

図１は、本発明の実施例である画像処理装置を用いた車載用の画像認識システムの概要構成を示す概要構成図である。同図に示した画像認識システムは、画像処理装置１０にカメラ２１、主制御部２２、メモリ２３を接続し、さらにメモリ２３にソフトウェア処理部２４を接続して構成している。

カメラ２１は、自車両の周辺、特に車両前方を撮影する撮影装置であり、撮影結果を画像処理装置１０に出力する。このカメラ２１としては、ノンインターレース（プログレッシブ）方式で撮影を行なうＣＭＯＳセンサやインターレース方式で撮影を行なうＣＣＤセンサなど、任意の撮影装置を用いることが出来る。

主制御部２２は、ＣＰＵ（Central Processing Unit）などによって実現され、画像認識システムを全体制御する手段である。また、主制御部２２は、カメラ２１がインターレース方式とノンインターレース方式の何れで撮影を行なっているかの情報に基づいて、画像処理装置１０の動作を切り替える処理を行なう。

画像処理装置１０は、カメラ２１が撮影した画像に対して画像処理を施してメモリ２３に格納する処理装置であり、その内部に補間処理部１１、エッジ処理部１２および出力処理部１３を有する。

補間処理部１１は、カメラ２１がインターレース方式で撮影した撮影画像に対して、補間処理を行なって原画像データを作成する処理を行なう。この補間処理による原画像データの作成について図２を参照して説明する。

インターレース方式では、１つのフレームで奇数ラインと偶数ラインのいずれかを撮影する。この方式では、奇数ラインを撮影したフレームと偶数ラインを撮影したフレームとを合成して一枚の画像とすることが想定されている。例えば図３に例示したフレームでは、奇数ライン（１行目、３行目、５行目・・・）の画像データのみが入力される。

補間処理部１１は、このフレームで間引かれている偶数ライン（２行目、４行目、６行目・・・）の画像データを生成し、補間する処理を行なう。これにより、１枚のフレームから２枚のフレームを合成した場合と同じデータ量を有する画像データを得ることが出来る。そして、補間処理部１１は、得られたデータを原画像データとして出力処理部１３およびエッジ処理部１２に供給する。

エッジ処理部１２は、補間処理部１１から取得した原画像データに対し、エッジ強調処理を施してエッジ強調画像データを作成する処理を行なう。

ここで、補間処理部１１およびエッジ処理部１２は、それぞれ専用のハードウェア（演算手段）が割り当てられており、それぞれの処理部が並行して処理を行なったとしても処理速度および処理負荷に影響を与えることはない。

また、カメラ２１がノンインターレース方式で撮影した撮影画像に対しては、補間処理部１１は、カメラ２１の撮影画像をそのまま原画像データとして出力処理部１３およびエッジ処理部１２に供給する。なお、補間処理部１１が撮影画像に対して補間処理を実行するか否かは、既に述べたように主制御部２２の制御を受けて切り替える。

出力処理部１３は、補間処理部１１から供給された原画像データおよびエッジ処理部１２が作成したエッジ強調画像データをメモリ２３に書き込む処理を行なう。メモリ２３は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）によって実現される記憶媒体である。

ソフトウェア処理部２４は、メモリ２３から画像データを読み出して、画像認識処理を行なう処理部である。ソフトウェア処理部２４の処理は、任意の演算装置、例えば主制御部２２が実行するプログラムとして実現される。

同図では、ソフトウェア処理部２４は、白線認識と歩行者認識を行なっている。ここで、白線認識には、メモリ２３に格納されたエッジ強調データを読み出して使用する。また、歩行者認識には、メモリ２３に格納された原画像データを読み出して使用する。

さらに、歩行者認識では、白線認識の結果を利用して歩行者認識の対象とする領域を原画像データ内で絞込み、対象の領域に対して選択的に、もしくは重点的に歩行者認識を実行する。

例えば、原画像データとして図３に示すような画像Ｇ１が得られた場合、エッジ強調画像データに対する白線認識の認識結果として出力された白線Ｌ１と白線Ｌ２の画像内の位置を利用し、白線Ｌ１と白線Ｌ２の間、すなわち画像Ｇ１内において道路上に対応する領域と、その近傍領域に対して選択的に（もしくは重点的に）歩行者認識を実行する。

このように、歩行者認識の対象領域を絞り込むことで、歩行者認識にかかる処理負荷を減らしつつ、効率的に歩行者を検知することが可能となる。

また、歩行者認識は原画像データに対して、白線認識はエッジ強調画像データに対して行なうので、それぞれの認識精度を向上することが出来る。この時、原画像データとエッジ強調画像データとは同一の撮影画像から作成されているので、画像内での位置がずれることもない。

この画像認識システムの処理動作について図４を参照してさらに説明する。同図ではカメラ２１のVSYNC（Vertical Synchronizing signal）すなわち垂直同期信号を用いて画像認識のタイミング制御を行なっている。

同図にしめすように、この画像認識システムでは、カメラ２１から所定の画面の撮影画像が出力されると、その撮影画像に対する補間処理とエッジ処理とを並行して実行する。ここで、エッジ処理は、補間処理の処理結果に対して行なうことから、エッジ処理の開始タイミングは補間処理の開始タイミングに対して遅らせている。

そして、エッジ処理が終了した場合には、エッジ処理によって得られたエッジ強調画像データを用いて白線認識を実行する。また、この白線認識の認識結果と補間処理によって得られた原画像データとを用いて歩行者認識を実行する。

ここで、すでに述べたように歩行者認識の対象領域は白線認識結果によって絞り込むので、歩行者認識の処理は白線認識の結果待ちで中断されることがある。しかしながら、この歩行者認識と白線認識は、ソフトウェア上で実行され、実体としては同一の演算装置が処理時間を割り当てることで並行処理されているので、歩行者認識を中断しても白線認識の結果を待った方が、ソフトウェア全体の処理負荷を軽減し、処理速度を向上することができる。

これに対して補間処理とエッジ処理は、それぞれ専用のハードウェアによって実行しているので、ソフトウェア処理に負担をかけることなく高速に並行処理を行なうことが出来る。

さて、本願発明と比較するため、従来の画像認識システムの構成について図５を参照して説明する。図５に示したように、従来の画像認識システムでは、画像処理装置３０内の画像書き込み処理部３１は、カメラ２１が撮影した撮影画像をそのまま（もしくはインターレースの撮影画像を２フレーム分合成して）メモリ２３に現画像データとして書き込む。

ソフトウェア処理部２４は、メモリ２３から原画像データを読み出して、原画像データに対する画像認識によって歩行者認識を行なう。また、原画像データに対するエッジ強調処理をソフトウェアによって実行し、得られたエッジ強調データに対する画像認識によって白線認識を実行する。

したがって、従来の画像認識システムの処理動作は、図６に示したように画像処理装置３０が撮影画像をメモリ２３に書き込んだ後、エッジ処理、白線認識、歩行者認識を全てソフトウェア上で処理することとなり、ソフトウェアの処理負荷が非常に大きくなっていた。

上述してきたように、本実施例にかかる画像処理装置１０は、カメラ２１が撮影した撮影画像に対して補間処理を行う補間処理部１１と、補間処理によって得られた画像に対してエッジ強調処理を行なうエッジ処理部１２とをそれぞれ専用のハードウェアとして有する。出力処理部１３は、補間処理部１１が作成した画像を原画像データとして、エッジ処理部１２が作成した画像をエッジ強調データとしたメモリ２３にそれぞれ書き込む。ソフトウェア処理部２４は、原画像データを使用して歩行者認識を、エッジ強調画像データを用いて白線認識をそれぞれ実行する。

このように、画像処理装置１０は、後段の複数種類の画像認識処理に対応し、前処理の異なる複数の画像をハードウェア処理によって作成してメモリ２３に格納するので、画像認識段階における処理負荷を軽減することができる。

また、インターレース画像に対して補間処理を行なうことで、１フレームの画像から偶数ラインと奇数ラインの双方についてデータを有する原画像データを作成するので、毎フレームで高精度かつ高速な画像認識を行なうことが可能となる。

なお、撮影画像がノンインターレースである場合には、内部の動作切り替えによって対応することが可能であるので、撮影手段がインターレース方式とノンインターレース方式のいずれであっても使用できる汎用性の高い画像処理装置を得ることが出来る。

なお、本実施例はあくまで一例であり、本発明は適宜構成を変更して実施することができることは言うまでも無い。例えば、本実施例では車載カメラが撮影した画像から歩行者を認識する場合を例に説明を行なったが、車載用途以外であっても本発明は適用可能である。

また、本実施例では、インターレース画像に対する補間処理とエッジ強調処理をそれぞれ施した画像をハードウェアにて作成し、各々を歩行者認識処理と白線認識処理に使用する場合を例に説明を行なったが、本発明は、これに限定されること無く任意の画像認識を対象とし、任意の画像処理を施すことができる。

以上のように、本発明にかかる画像処理装置および画像処理方法は、画像処理における負荷軽減に有用であり、特に画像認識の前処理に適している。

本発明の実施例にかかる画像認識システムの概要構成を示す概要構成図である。 インターレース画像の補間処理について説明する説明図である。 白線認識に基づく歩行者認識対象領域の絞込みについて説明する説明図である。 本発明にかかる画像認識システムの処理動作を説明する説明図である。 従来の画像認識システムの構成例について説明する説明図である。 従来の画像認識システムの処理動作について説明する説明図である。

符号の説明

１０，３０ 画像処理装置
１１ 補間処理部
１２ エッジ処理部
１３ 出力処理部
２１ カメラ
２２ 主制御部
２３ メモリ
２４ ソフトウェア処理部
３１ 画像書込処理部

Claims (8)

1. 撮影手段が撮影した撮影画像に対し、第一の画像処理を行なって第一処理画像を作成する演算処理を実行する第一演算手段と、
   前記撮影画像もしくは前記第一処理画像に対して第二の画像処理を行なって第二処理画像を作成する演算処理を実行する第二演算処理手段と、
   前記撮影画像もしくは前記第一処理画像のいずれかと、前記第二処理画像との二つの画像を出力する画像出力手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記第一演算手段は、前記撮影画像がインターレース画像である場合に当該インターレース画像の補間処理を行なって第一処理画像を作成し、前記第二演算処理手段は、前記撮影画像がインターレース画像である場合には前記第一処理画像に対して前記第二の画像処理を行ない、前記撮影画像がノンインターレース画像である場合には前記撮影画像に対して前記第二の画像処理を行なうことを特徴とする請求項１に記載の画像処理装置。
3. 前記第二演算手段は、前記撮影画像もしくは前記第一処理画像に対してエッジ強調処理を行なうことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮影手段は、車両に搭載された車載カメラであり、前記画像出力手段が出力した画像は前記車両周辺の物体認識に使用されることを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記撮影画像もしくは前記第一処理画像は、歩行者認識に使用されることを特徴とする請求項４に記載の画像処理装置。
6. 前記第二処理画像は、白線認識および／または周辺車両認識に使用されることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記画像出力手段は、前記撮影画像もしくは前記第一処理画像のいずれかと、前記第二処理画像との二つの画像をＳＤＲＡＭに書き込むことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 撮影手段が撮影した撮影画像に対し、第一演算手段によって第一の画像処理を行なって第一処理画像を作成する第一処理画像作成工程と、
   前記撮影画像もしくは前記第一処理画像に対し、第二演算手段によって第二の画像処理を行なって第二処理画像を作成する第二処理画像作成工程と、
   前記撮影画像もしくは前記第一処理画像のいずれかと、前記第二処理画像との二つの画像を出力する画像出力工程と、
   を含んだことを特徴とする画像処理方法。

Images