JP2013120517A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2013120517A
JP2013120517A JP2011268682A JP2011268682A JP2013120517A JP 2013120517 A JP2013120517 A JP 2013120517A JP 2011268682 A JP2011268682 A JP 2011268682A JP 2011268682 A JP2011268682 A JP 2011268682A JP 2013120517 A JP2013120517 A JP 2013120517A
Authority
JP
Japan
Prior art keywords
image
image data
processing apparatus
processing
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011268682A
Other languages
English (en)
Inventor
Ryosuke Kasahara
亮介 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2011268682A priority Critical patent/JP2013120517A/ja
Publication of JP2013120517A publication Critical patent/JP2013120517A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像認識処理の処理スピードの向上を図ることができる画像処置装置を提供する。
【解決手段】画像データをフレーム単位で格納するフレームバッファ30と、入力画像の画像データを画像データ格納手段に格納する前に、入力画像の画像データを前処理する前処理部20と、前処理部20で前処理されフレームバッファ30に格納された画像データを処理する後処理部40とを備え、前処理部20は、入力画像の同一フレームに対して互いに異なる複数種類の前処理を行い、複数種類の前処理済み画像の画像データをフレームバッファ30に出力して格納させる。
【選択図】図1

Description

本発明は、入力画像に対する認識処理を行う画像処理装置に関するものである。
従来、路端、濡れやマンホールなどの路面情報、前方車両情報などの車走行補助用の情報を得たり、FA(Factory Automation)の用途などでの対象物の座標情報を得たりする装置として、カメラで撮像した画像に対して認識処理を行って情報を得る画像処理装置が知られている。
しかしながら、従来の画像処理装置では、高速にかつ低消費電力に処理を行う必要があるが、認識アルゴリズムは一般的に莫大な計算リソースを必要とするものが多い。特に多数の画像データを扱うため、必要とする計算リソースが莫大になる傾向がある。そのため、認識処理に用いるCPUの性能が不足するとともに、画像を格納するフレームバッファのメモリの帯域が足りなくなり、処理スピードが低下するという問題がある。
特許文献1には、デジタルカメラにおける連写の処理スピードを上げる目的で、カメラからの画像データに対して画像処理を行った後、画像処理済みの画像データをバッファメモリに蓄積する画像処理装置が開示されている。この画像処理装置は、一つの入力画像について1種類の処理画像を準備すればよいデジタルカメラの連写スピードを上げるためには有効である。しかし、特許文献1の画像処理装置では、画像認識処理のように一つの入力画像について互いに種類が異なる複数の処理画像を同時に必要とする画像処理には使用することができないため、画像情報の認識処理の処理スピードを向上させることができず、上記問題を解決することができない。
本発明は以上の問題点に鑑みなされたものであり、その目的は、画像認識処理の処理スピードの向上を図ることができる画像処置装置を提供することである。
上記目的を達成するために、本発明は、入力画像に対する認識処理を行う画像処理装置であって、画像データをフレーム単位で格納する画像データ格納手段と、入力画像の画像データを前記画像データ格納手段に格納する前に、前記入力画像の画像データを前処理する画像前処理手段と、前記画像前処理手段で前処理され前記画像データ格納手段に格納された画像データを処理する画像後処理手段と、を備え、前記画像前処理手段は、入力画像の同一フレームに対して互いに異なる複数種類の前処理を行い、複数種類の前処理済み画像の画像データを前記画像データ格納手段に出力して格納させることを特徴するものである。
本発明によれば、画像前処理手段により、画像データ格納手段に格納する前の入力画像の同一フレームに対して互いに異なる複数種類の前処理を行い、複数種類の前処理済み画像の画像データを画像データ格納手段に出力して格納させることにより、認識処理に必要となる複数種類の画像を準備することができる。しかも、その画像前処理手段の前処理により、画像データ格納手段に対する書き込み及び読み出し時における周波数帯域を、入力画像そのものの画像データを画像データ格納手段に格納する場合よりも減らすように、前記複数種類の画像を生成することができる。したがって、画像データ格納手段に対する書き込み及び読み出し時に必要な周波数帯域を抑制することができ、その抑制できた分の周波数帯域を後段の認識処理に割り当てることができるようになるので、高速な認識処理を実現できる。よって、画像認識処理の処理スピードの向上を図ることができる。
本発明の一実施形態に係る画像処理装置の全体構成の一例を示すブロック図。 前処理部の一構成例を示すブロック図。 前処理部の空間フィルタにおけるεフィルタの処理の一例を示す説明図。 後処理部の一構成例を示すブロック図。 ハフ変換のアルゴリズム概要の一例を示す説明図。 ハフ変換の処理の流れの一例を示すフローチャート。 実施例1に係るハフ変換の処理を実現する構成の一例を示すブロック図。 実施例2に係るハフ変換の処理を実現する構成の一例を示すブロック図。 実施例3に係るハフ変換の処理を行う場合の前処理部の構成例を示すブロック図。 実施例3に係るハフ変換の処理を実現する構成の一例を示すブロック図。 実施例3に係るハフ変換の処理を行う場合の前処理部の他の構成例を示すブロック図。
以下、図面を参照して本発明の実施形態について説明する。
まず、本発明の一実施形態に係る画像処理装置の全体構成について説明する。
図1は、本実施形態に係る画像処理装置の全体構成の一例を示すブロック図である。画像処理装置10は、カメラ90で撮影した画像に対して各種認識処理を行い、その認識処理の結果を出力する装置である。ここで、画像の認識処理としては、例えば、人物を含む画像における顔検知、車両を含む画像における車両検知、路面画像における白線検知、車両走行中の前方風景画像における障害物検知や標識認識など、多彩な画像認識処理が挙げられる。
本実施形態の画像処理装置10は、画像前処理手段としての前処理部(preprocessing部分)20と、画像データ格納手段としてのフレームバッファ30と、画像後処理手段としての後処理部(coprocessing部分)40と、認識処理の結果を出力する結果出力部50と、各部を制御するプログラムを実行可能な中央演算処理装置(以下「CPU」という。)60と、を備える。
上記構成の画像処理装置10において、カメラ90から入力された認識処理対象の画像である入力画像の画像データ(カメラ画像データ)は前処理部20を通り、同一のフレームより生成される互いに異なる2種類以上の処理画像(図示の例では、2種類の処理A画像及び処理B画像)それぞれの画像データが出力される。前処理部20から出力された複数種類の処理画像(処理A画像、処理B画像)の画像データはそれぞれフレームバッファ30へ同時に書き込まれる。ここで、図示の処理A画像は例えば補正されたカメラ画像であり、処理B画像は例えばエッジ画像である。
上記フレームバッファ30に書き込まれた2つの処理画像の画像データに対して、CPU60又は後処理部40により後述の各種処理が行われる。その各種処理の最終結果である認識処理の結果は、フレームバッファ30にいったん書き込まれた後に結果出力部50に渡されるか、又は結果出力部50に直接渡される。結果出力部50は、それらの認識処理の結果を後段が受け取りやすい形式に変換して出力する。
CPU60は、例えば汎用のプログラム言語で開発された所定のプログラムを図示しない記憶装置から読み込んで実行し、前処理部20、後処理部40及び結果出力部50それぞれに設けられているレジスタを制御したり駆動したりすることにより、画像の認識処理を行うことができる。なお、CPU60自体が直接フレームバッファ30の画像データを読み込み、認識処理などの画像処理を行ってもよい。また、CPU60は、複数種類の前処理済み画像の画像データそれぞれについて前処理部20からフレームバッファ30への書き込みのオン/オフを切り換えるように制御してもよい。この場合、後処理部40で必要な前処理済み画像についてのみフレームバッファ30へ書き込むようにすることができ、フレームバッファ30への画像データ書き込みや画像データの格納に用いるフレームバッファ30の容量の効率化を図ることができる。
本実施形態の画像処理装置は、半導体集積回路装置などのハードウェア(例えば、画像処理プロセッサ)で画像処理を行う画像処理ハード部として、フレームバッファ30へ格納前に画像データを前処理する前処理部20と、フレームバッファ30に格納されている画像データを処理する後処理部との、2種類の画像処理ハード部を用意することで、以下に示す3種類の処理方式(1)〜(3)から、画像データの処理ごとに適切な方式を選択することができる。
処理方式(1):この処理方式では、画像処理ハード部により、フレームバッファの画像データを読み込んで処理し、その処理後の画像データをフレームバッファに書き戻す。処理方式(1)は、処理が必要なときのみメモリの帯域を使うという利点を有し、一方、フレームバッファ30へのリード&ライトが必要なため、メモリの帯域を次の処理方式(2)の2倍必要とするという欠点を有する。
処理方式(2):この処理方式では、カメラからの画像をあらかじめ必要な処理をしてメモリに格納する。処理方式(2)は、処理のために必要なメモリの帯域が書き込み時だけに使用されるので、メモリの帯域が処理方式(1)の半分で済むという利点を有し、一方、処理が必要ない場合もメモリの容量及び帯域を消費する(食う)という欠点を有する。
処理方式(3):この処理方式は、CPUでメモリ上の画像を直接処理するものであり、いわゆるソフトウェアによる画像処理を行う処理方式である。処理方式(3)は、実装が容易であるという利点を有するが、処理速度が遅いという欠点を有する。
上記処理方式(1)は、例えば一般的な画像処理プロセッサを用いた構成で実現できるが、この処理方式(1)では認識処理に毎回必要となるエッジ画像などが1回フレームバッファから読み出し−>処理−>結果をフレームバッファへ書き込みという2回フレームバッファへのアクセスが必要となってしまう。一方、上記処理方式(2)では、カメラ−>処理−>フレームバッファというように1回のフレームバッファへのアクセスで例えばエッジ画像を処理してフレームバッファへ格納することができるようになる。
本実施形態の画像処理装置では、上記利点や欠点などの特徴をそれぞれ有する3種類の処理方法(1)〜(3)を適切に組み合わせることで、高速に認識処理を実行することができる。
次に、前処理部20の構成例及びその処理内容について説明する。
図2は、前処理部20の一構成例を示すブロック図である。本構成例において、前処理部20は、入力側の空間フィルタ210と、トーンカーブ補正部220と、ヒストグラム算出部230と、出力側の空間フィルタ240とを備えている。
前処理部20ではカメラ90から入力された入力画像の画像データ(例えば10ビットの画像データ)に対して、まず空間フィルタ処理を行う。この空間フィルタ処理を行う入力側の空間フィルタ210は回路規模の面からフィルタタップ長が3×3程度の大きさであるのが好ましい。また、空間フィルタ210は、CPU60から図示しないレジスタを介して(例えばレジスタを指定して)自由に係数を変更できるように制御可能な自由係数フィルタであってもよい。また、空間フィルタ210では一般的にノイズ除去が行われるため、通常の空間フィルタを改良し、入力画像からゆらぎによる変動成分を除去可能なεフィルタとしてもよい。
図3は、εフィルタとしての処理の一例を示す説明図である。本例は、画素数が9個(=3×3)、εの値が5の場合の例である。図3において、フィルタ処理前の3×3画素配列211の中央の画素を注目画素(画素値=5)とした場合、その注目画素の周囲に位置する8個の画素のうち、注目画素との信号差(画素値の差)がε以上の画素について、その画素値を注目画素の画素値(=5)に置換し、置換後の画素配列112を得る。更に、置換後の画素配列112に対して平均フィルタを適用して最終的な画素配列113を得る。平均フィルタは、例えば、上記置換後の画素配列112の全画素の画素値の平均値が6.67(=(5+7+5+8+5+9+7+6+8)/9)であるので、中央の注目画素の画素値を5から7に変更するように処理する。
空間フィルタ210からの出力結果(例えば10ビットの画像データ)は、トーンカーブ補正部220に入る。トーンカーブ補正部220では、CPU60から入力値に対する出力値がテーブルで指定されており、任意のトーンカーブに変更することが可能である。トーンカーブ補正部220は、例えば入力1024アドレス×出力8ビットメモリで構成される。
また、空間フィルタ210からの出力結果の画像データ(例えば10ビットの画像データ)はヒストグラム算出部230にも入り、その出力結果の画像データのフレームにおけるヒストグラムが算出される。CPU60は、ヒストグラム算出部230で算出されたヒストグラムに基づいて、次フレームのトーンカーブ補正で用いる係数が格納されたテーブルを更新し、ヒストグラム平滑化などの処理を行う。また、トーンカーブ補正部220では入力画像のビット数に対して出力画像のビット数を小さくし、適切なトーンカーブを用いることで、出力画像を任意のビット長に圧縮することができる。図示の例では、10ビットの入力画像が8ビットの出力画像に圧縮されている。
トーンカーブ補正部220から出力された画像は、処理A画像として出力され、その後さらに出力側の空間フィルタ240を通った画像は処理B画像として出力される。なお、出力側の空間フィルタ240も、上記入力側の空間フィルタ210と同様に、回路規模の面からフィルタタップ長が3×3程度の大きさであるのが好ましい。また、空間フィルタ240も、CPU60から自由に係数を変更できるように制御可能な自由係数フィルタであってもよい。特に、図示の例では、空間フィルタ240は、認識処理でよく使われるエッジ画像を生成するため、エッジ抽出用の係数が用いられる。
図2の前処理部20において、一般的には、2つの出力画像(処理A画像、処理B画像)の大きさは同じピクセル数の結果を出力する。また、前処理部20の回路の駆動周波数は、カメラ90から入力される入力画像のピクセルクロックと同期させることで、最小限のクロック周波数で処理を行うことができるため、低消費電力化につながる。
なお、フレームバッファ30を介して接続されるCPU60や後処理部40はフレームバッファ30で非同期化されるため、前処理部20に同期した駆動周波数を用いる必要はない。したがって、前処理部20での処理に用いられるクロック周波数は、より高速に処理を行うため高い周波数に設定するほうがよい。
上記構成の前処理部から出力される複数種類の出力画像(図示の例では、補正されたカメラ画像である処理A画像とエッジ画像である処理B画像)の画像データが格納されるフレームバッファ30としては、フレームバッファのメモリ自体を2つ準備するのが性能的には最も良いが、コストが上がるため一つのフレームバッファへ格納アドレスを変えて格納するのが良い。そのアドレスを変化させた二つの出力画像のフレームバッファへの格納方法としては、画像データの高速書き込みが可能な2つの方法が考えられる。その一つは、フレームバッファ30におけるデータ記憶領域のスタートアドレスをフレーム毎に変えながら画像データを書き込む方法(フレームインタ−リーブ)である。他の一つは、画像データをラインバッファにいったん蓄積し、フレームバッファ30におけるデータ記憶領域のスタートアドレスをライン毎に変えながら画像データ書き込む方法(ラインインターリーブ)である。
また、本実施形態の画像処理装置にカラーのカメラが接続される場合には、前処理部20での前処理は、色の補正を行うための色空間補正を含んでもよい。
次に、後処理部40の構成例及びその処理内容について説明する。
図4は、後処理部40の一構成例を示すブロック図である。本構成例において、後処理部40は、データ転送モジュール410と、画像処理ハード部(画像処理モジュール)420とを備えている。また、図示の例では、画像処理ハード部420は、CPU用作業メモリ421のほか、各種画像処理(ハードウェア処理)のライブラリを有している。CPU用作業メモリ421は、が図データを一部キャッシュしてCPU60からアクセスできるように使用されたり、画像の縦方向へアクセスするような処理(飛び飛びのアドレスへアクセスするような処理)をCPU60で行う場合に使用されたりする。また、画像処理(ハードウェア処理)のライブラリとしては、例えば、図示の例のように、二値化422a、クラスタリング422b、ラベリング222c、インテグラルイメージ生成422d、平均算出422e、膨張・収縮422f、ハフ変換422g、重心算出422h、N×Nフィルタリング422i、ヒストグラム演算422jなどを挙げることができる。
上記構成の後処理部40は、CPU60からの命令により、フレームバッファ30に格納されている画層データをデータ転送モジュール410により読み出し、画像処理ハード部420における各種の処理を掛け、その処理の結果をフレームバッファ30へ書き戻すという動作を行う。
また、上記画像処理ハード部(専用処理ハードウェア)420の各種画像処理(ハードウェア処理)のライブラリを用いるのではなく、CPU60から直接フレームバッファ30へとアクセスして処理を行う場合、特に飛び飛びのアドレスへアクセスする場合には、フレームバッファ30として用いられるメモリ(例えばDRAM)ではランダムアクセスのレイテンシが大きい。そのため、CPU60に多大なウエイトが入り、処理が遅くなってしまうおそれがある。そこで、一定容量のCPU用作業メモリ(例えばSRAM)421を設けておき、いったんバーストアクセスでフレームバッファ30から、ある領域のデータをCPU用作業メモリ421にコピーし、CPU60はCPU用作業メモリ421にアクセスして処理を行い、終わったら結果をCPU用作業メモリ421からフレームバッファ30へ書き戻すように処理してもよい。
次に、上記構成の画像処理装置10において、白線を抽出する認識処理を行う場合の処理内容の一例について説明する。この例の処理は、車両が走行中のレーン位置情報を取得するための白線領域を画像から抽出するものである。出力としては、認識した白線の始点と終点の座標を出力する。
まず、カメラ90から入力された入力画像であるカメラ画像の画像データは、前処理部20の入力側の空間フィルタ(3×3の自由係数フィルタ)210において、εフィルタがかけられ、ノイズが除去されたのち、トーンカーブ補正部220により、白線と路面とのコントラストが強調されるようにヒストグラムの変換が行われ、フレームバッファ30へ格納される補正後画像(処理A画像)が生成される。そののち、入力側の空間フィルタ(3×3の自由係数フィルタ)240フィルタによりSobelフィルタなどのエッジ抽出処理が行われ、そのエッジ抽出処理後のエッジ画像が処理B画像として出力される。これら2種類の補正後画像(処理A画像)及びエッジ画像(処理B画像)の画像データが同時にフレームバッファ30へ格納される。
CPU60は、上記2種類の補正後画像(処理A画像)及びエッジ画像(処理B画像)それぞれの画像データがフレームバッファ30へ格納されたのち、後処理部40に命令を出し、前処理部20でフレームバッファ30に格納されたエッジ画像を読み出し、二値化し、フレームバッファ30へ再格納する。そののち、再度、CPU60は後処理部40に命令を出し、上記生成されたエッジ画像をさらにハフ変換を行い、複数の白線領域候補を抽出する。
ただし、ここで得られた最もそれらしい白線候補領域(エッジ画像に基づいて最も白線領域であると判断された白線候補領域)が、実際には白線以外のエッジを抽出している可能性がある。そのため、その後、CPU60は、前処理部20でフレームバッファ30に格納したもう1種類の補正後画像(処理A画像)を参照し、抽出した白線領域の輝度値を確認し、その領域が一定以上の値であれば白線が抽出できたと判断する。そうでない場合には、ハフ変換で得られた次の白線領域候補を同様に試す。
このように、前処理部20で補正後画像(処理A画像)及びエッジ画像(処理B画像)の2枚の画像を生成し、認識処理で用いることで、複数の特徴から求めたい認識オブジェクトを抽出することができ、認識結果の精度を高めることが可能となる。また、このような画像処理を採用することにより、次に示すように高速な認識処理が可能となる。
従来技術の画像処理装置では、カメラから入力されたカメラ画像がエッジ抽出以外の前処理を通り、その前処理画像が、1回フレームバッファへと書き込まれる(書き込み1)。その後、フレームバッファへと書き込まれた前処理画像を読み込み(読み込み1)、エッジ抽出処理と二値化処理とが行われ、その結果がフレームバッファの別アドレスへと書き込まれる(書き込み2)。その後、白線領域抽出処理はフレームバッファ上の前処理画像とエッジ画像の2枚の画像より前述の処理が行われる。つまり、この場合、白線領域抽出処理を除くと、フレームバッファへのアクセス回数は書き込み2回及び読み込み1回が必要となる。
これに対し、本実施形態の画像処理装置10では、カメラ90から入力されたカメラ画像は前処理部20でトーンカーブ補正などの前処理とエッジ抽出処理とが行われ、補正後画像(処理A画像)及びエッジ画像(処理B画像)の2枚の処理画像がフレームバッファ30へ格納される(書き込み1、2)。その後、白線領域抽出処理はフレームバッファ30上の補正後画像とエッジ画像の2枚の画像より前述の処理が行われる。つまり、この場合、白線領域抽出処理を除くと、フレームバッファ30へのアクセス回数は書き込み2回のみで済み、従来技術の画像処理装置よりもフレームバッファの帯域を圧迫せず、高速な処理が可能となる。
なお、組み込み機器などハードウェアのリソースが限られている場合には、フレームバッファ30とCPU60のプログラム領域は同じメモリ構成となっていることが多く、フレームバッファ30へのアクセスによりCPU60のウエイト(待ち動作)が発生し、CPU60の能力が十分に生かせない場合が多い。
特に、本実施形態で例示した白線領域抽出処理に代表される、上記補正後画像及びエッジ画像のような複数の前処理画像を同時に参照し、加えて前述のハフ変換というCPU60による処理が適している認識処理を行う場合には、大きな処理スピードの向上を図ることが可能である。
なお、本実施形態の画像処理装置により処理スピードが向上する効果がある認識処理としては他にも、人、前方車両、路端情報、路面乾湿、マンホールなどの路面物、車線(白線やボッツドッツ)、影、標識、前方車両のヘッドライト・テールライトの認識などがある。
次に、後処理部40中のハフ変換422gを行うハフ変換部の内部構成及びその処理について説明する。ハフ変換は画像中の直線を検出する方法のうちのひとつであり、道路の白線の検知などに用いられている。実際の実装時には、最小限のハードウェアでできるだけ高速に処理が行えるよう、ハフ変換のプログラムコードのうち最も繰り返し回数が多いループの内部をハードウェアで処理できるようにすることが望ましい。
図5は、ハフ変換のアルゴリズム概要(プログラムコードの概要)の一例を示す説明図である。また、図6は、ハフ変換の処理の流れの一例を示すフローチャートである。
ハフ変換の処理では、まず、二値化の閾値(スレッショルド)の指定とハフ空間のrho軸サイズ及びtheta軸サイズそれぞれの指定を行った後、ハフ空間(r,Θ空間)の初期化を行う(図6のS101)。次に、実空間のx,y座標の値からrhoの値を計算し、その計算値が上記閾値以上であった場合はハフ空間のrho,theta軸に投票(インクリメント)する(図6のS102,S103)。このrhoの値の計算及び投票を、theta(Θ)の所定範囲及び実空間のx,y座標の所定範囲について繰り返す(図6のS102〜S107)。そして、最後に、ハフ空間における最大値を探索し、その最大値をハフ変換の結果として出力する(S108)。
以上のハフ変換の処理のうち、ハフ空間への投票部分(図5の符号Lで示したコード部分、図6のS102〜S107の部分)が最もループ回数が多い。そのため、このハフ空間への投票部分を、ソフトウェアによる処理よりも高速に処理可能な半導体集積回路装置などのハードウェアで構成することが好ましい。そのため、本実施形態のように前処理部20であらかじめトーンカーブ補正などの前処理を行った補正後画像(処理A画像)とともに、更にエッジ抽出処理した結果であるエッジ画像(処理B画像)をフレームバッファ30へ格納しておく方が、フレームバッファ30の周波数帯域を節約できる。また、さらに、エッジ画像を二値化し、二値化画像としてフレームバッファ30へ格納しておく方が、フレームバッファ30の周波数帯域を更に節約できる。なお、前処理部20は、前述のようにエッジ画像とともに、そのエッジ画像をハフ変換した結果を白線領域抽出のために用いることにより、白線領域の検出精度の向上を図ることができる。
次に、上記ハフ変換のより具体的な複数の実施例について説明する。
〔ハフ変換の実施例1〕
本実施例1は、CPU60で二値化をして、投票するx,y座標の値をハードウェアに渡し、ハードウェアで投票と最大値の探索とを行い、その探索の結果(最大値)をCPU60に返す処理方法である。この処理方法は、実装が簡単であるという利点を有する。
図7は、本実施例1に係るハフ変換の処理を実現する構成の一例を示すブロック図である。なお、図7において、後処理部40のハフ変換モジュール430は一点鎖線で囲った範囲である。このハフ変換モジュール430は、制御部431と、FIFO432と、r,Θ空間メモリ制御部433と、Θカウンタ434と、sin,cosテーブル435と、rho計算機(乗算器)436と、投票制御部437と、r,Θ空間メモリ438とを備えている。
本実施例1のハフ変換の処理方法において、CPU60はフレームバッファ30よりエッジ画像の画像データを読み出し、二値化し、二値化の結果が真(1)だった場合には、後処理部のハフ変換モジュール430のFIFO432へ、そのx,y座標の値を出力して格納する。制御部431は、FIFO432に情報(x,y座標の値)が格納されている場合には、FIFO432の読み出し側(図右側)のデータリード信号をイネーブルし、格納されているx,y座標の値をrho計算機(乗算器)436へと送る。また、制御部431は、同時にΘカウンタ434へリセット信号を送り、Θカウンタ434の値をリセットする。リセットされたΘカウンタ434は毎クロックごとにカウントアップされたデータをsin,cosテーブル435に送り、そのΘの値に応じたsin,cosの値(sin,cos係数データ)をrho計算機436に送る。rho計算機436では次の(1)式を用いてrhoの値の計算が行われ、そのrhoの計算値が投票制御部437へと送られる。
rho=x*cos(2*pi*theta/THETA_MAX)+y*sin(2*pi*theta/THETA_MAX); (1)
投票制御部437では、rho計算機436から受け取ったr,Θの値よりr,Θ空間メモリ438の該当座標をインクリメントすることによりハフ空間へ投票する。r,Θ空間メモリ制御部433は、制御部431より一画面分の投票前に初期化指令を受け取り、r,Θ空間メモリ438の全アドレスを初期化する。また、r,Θ空間メモリ制御部433は、一画面分の投票がすべて終わったのちは、最大値探索開始指示を受けとり、r,Θ空間メモリ438内の最大値を探索し、その探索の結果(最大値)をCPU60へ返す。返されたr,Θの結果が白線の認識結果である。
本実施例1におけるハフ変換の計算時間は例えば次のように見積もることができる。毎クロックで1回投票したとすると、ハフ変換モジュール430を100MHzで駆動し、もし投票回数を310(画面y方向)×40ピクセルの頻度0.1として4回(横方向エッジピクセル数),theta空間が180分割とすると、投票時の計算時間は次の(2)式のようになる。
1/(100MHz/(310×4×180))×1000=2.2[ms] (2)
また、r,Θ空間の分割数(RHO,THETA)を、RHO=400及びTHETA=180にした場合は、最大値探索時の計算時間及び初期化時の計算時間はそれぞれ、次の(3)式及び(4)式のようになる。
最大値探索時の計算時間:
1/(100[MHz]/(180×400))×1000=0.72[ms] (3)
初期化時の計算時間:
1/(100[MHz]/(180×400))×1000=0.72[ms] (4)
以上の3つの計算時間(投票+最大値探索+初期化)の合計は、3.6[ms]になる。カメラに映る白線が左右にあった場合、上記3つの計算時間の合計(3.6[ms])の2倍の計算時間(7.2[ms])で白線認識処理が実行できることになる。
上記実施例1ではCPU60でフレームバッファ30からの読み込みと二値化とを行っているため、CPU60での処理速度が遅い場合にはそれが律速となり、上記白線認識処理の速度を実現できない場合がある。その場合は、次の実施例2の方法が有効である。
〔ハフ変換の実施例2〕
本実施例2は、CPU60よりy座標と、x座標の範囲をハードウェアに指定し、ハードウェアでフレームバッファ30より画像データを読み出して二値化し、ハードウェアで投票と最大値の探索とを行い、その探索の結果(最大値)をCPU60に返す処理方法である。この処理方法は、ハードウェアでほとんどの処理を行うので、CPU60の速度に依存しないという利点を有する。
図8は、本実施例2に係るハフ変換の処理を実現する構成の一例を示すブロック図である。本実施例2において、上記実施例1と異なるのは、画像データの二値化もハードウェアで行うようにメモリ読み出し部440と二値化部441とを備えた点である。画像データの二値化もハードウェアで行うことにより、CPU60で行う処理をより減らすことができ、低速のCPUを用いた場合にも短時間でハフ変換が実現できる。
本実施例2のハフ変換の処理方法において、CPU60は、ハフ変換したい範囲のy座標と、x座標の範囲をメモリ読み出し部440へと指定する。メモリ読み出し部440は、指定されたy座標における、指定されたx座標の範囲の画像データをフレームバッファ30より読み出し、二値化部441へと送る。二値化部441では、メモリ読み出し部440から送られてきた画像データより二値化を行い、その二値化の結果が真(1)だった場合には、FIFO432へ、そのx,y座標の値を出力して格納する。後の流れは実施例1と同様である。
ただし、本実施例2ではCPU60でフレームバッファ30からの読み込みを二値化前の形式で行っており、フレームバッファ30へのアクセス時の帯域が不足していた場合、フレームバッファ30からの読み込み速度が律速となり、前記計算した速度を実現できない場合がある。その場合は、次の実施例3の方法が有効である。
〔ハフ変換の実施例3〕
本実施例3は、前処理部20で二値化を行った後の画像データをフレームバッファ30へ格納しておき、CPU60よりy座標と、x座標の範囲をハードウェアに指定し、ハードウェアでフレームバッファ30より二値化済みの画像データを読み出し、ハードウェアで投票と最大値の探索とを行い、その探索の結果(最大値)をCPU60に返す処理方法である。この処理方法は、フレームバッファ30の読み込みが少なくて済むので、上記実施例1及び実施例2よりも高速に処理することができる。
図9は、本実施例3に係るハフ変換の処理を行う場合の前処理部20の構成例を示すブロック図である。本実施例3の前処理部20は、前述の図2の前処理部20とは異なり、出力側に二値化部250が挿入され、フレームバッファ30へは二値化されたエッジ画像の画像データが、処理B画像として格納されるようになっている。
図10は、本実施例3に係るハフ変換の処理を実現する構成の一例を示すブロック図である。本実施例3において、上記実施例2と異なるのは、フレームバッファ30に二値化済みのエッジ画像(処理B画像)の画像データが格納されている点である。そのため、フレームバッファ30からの画像データの転送量が実施例2よりも少なくなる。また、二値化部250は実施例2とは異なりハフ変換モジュール430に設ける必要がない。したがって、フレームバッファ30の周波数帯域が十分ではない場合にも短時間でハフ変換が実現できる。例えば、実施例2での二値化されていないエッジ画像の各ピクセルが8ビットであった場合、二値化後では各ピクセルは1ビットでよく、データ転送量は1/8で済むことになる。加えて、前処理部20におけるエッジ画像も二値化されているため、前処理部20からフレームバッファ30への格納のために必要となるデータ転送量も1/8で済む。
なお、ハフ変換以外の処理で二値化されていないエッジ画像を利用する場合には、図11に示すように、前処理部20において、前述の補正後画像(処理A画像)及びエッジ画像(処理B画像)に二値化済みのエッジ画像を加えた3種類の処理画像をフレームバッファ30へ格納するようにしてもよい。また、上記実施形態において、前処理部20からフレームバッファ30へ格納される処理画像の数は2種類や3種類に限定されるものではなく、4種類以上であってもよい。
また、上記実施形態では、カメラで撮影したカメラ画像に対して認識処理する場合について説明したが、本発明は、カメラ画像以外の画像に対して認識処理する場合にもの同様に適用することができる。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
入力画像に対して認識処理する画像処理装置10であって、画像データをフレーム単位で格納するフレームバッファ30などの画像データ格納手段と、入力画像の画像データを画像データ格納手段に格納する前に、入力画像の画像データを前処理する前処理部20などの画像前処理手段と、画像前処理手段で前処理され画像データ格納手段に格納された画像データを処理する後処理部40などの画像後処理手段と、を備え、前記画像前処理手段は、入力画像の同一フレームに対して互いに異なる複数種類の前処理を行い、複数種類の前処理済み画像の画像データを画像データ格納手段に出力して格納させる。
これによれば、上記実施形態について説明したように、画像前処理手段により、画像データ格納手段に格納する前の入力画像の同一フレームに対して互いに異なる複数種類の前処理を行い、複数種類の前処理済み画像の画像データを画像データ格納手段に出力して格納させることにより、認識処理に必要となる複数種類の画像を準備することができる。しかも、その画像前処理手段の前処理により、画像データ格納手段に対する書き込み及び読み出し時における周波数帯域を、入力画像そのものの画像データを画像データ格納手段に格納する場合よりも減らすように、前記複数種類の画像を生成することができる。したがって、画像データ格納手段に対する書き込み及び読み出し時に必要な周波数帯域を抑制することができ、その抑制できた分の周波数帯域を後段の認識処理に割り当てることができるようになるので、高速な認識処理を実現できる。よって、画像認識処理の処理スピードの向上を図ることができる。
(態様B)
上記態様Aにおいて、前記画像前処理手段から出力される複数種類の前処理済み画像のピクセル数(画素数)が同じである。これによれば、上記実施形態について説明したように、画像の入力と前処理済み画像の出力とを同期させて処理することができる。
(態様C)
上記態様A又は態様Bにおいて、前記画像前処理手段は、入力画像の画像データが入力されるときのクロックと同一クロックに基づいて、前記複数種類の前処理と前処理済み画像の出力とを行う。これによれば、上記実施形態について説明したように、画像の入力と前処理済み画像の出力とにそれぞれクロックを用意する必要がなく、最小限のクロック周波数で処理を行うことができるため、低消費電力化につながる。
(態様D)
上記態様A乃至態様Cのいずれかにおいて、前記複数種類の前処理済み画像の画像データは一つの画像データ格納手段に格納される。これによれば、上記実施形態について説明したように、低コスト化を図ることができる。
(態様E)
上記態様Dにおいて、前記複数種類の前処理済み画像の画像データは、ラインバッファにいったん蓄積され、画像データ格納手段におけるデータ記憶領域の開始アドレスをライン毎に変えながら、ラインインターリーブで書き込まれる。これによれば、上記実施形態について説明したように、画像データ格納手段にへの画像データの高速書き込みが可能になる。
(態様F)
上記態様Dにおいて、前記複数種類の前処理済み画像の画像データは、前記画像データ格納手段におけるデータ記憶領域の開始アドレスをフレーム毎に変えながら、フレームインターリーブで書き込まれる。これによれば、上記実施形態について説明したように、画像データ格納手段にへの画像データの高速書き込みが可能になる。
(態様G)
上記態様A乃至態様Fのいずれかにおいて、前記複数種類の前処理のうち少なくとも一つは空間フィルタ処理を含む。これによれば、上記実施形態について説明したように、入力画像からノイズを除去した画像データを格納できる。
(態様H)
上記態様A乃至態様Fのいずれかにおいて、前記複数種類の前処理はすべて一つ以上の空間フィルタ処理を通過した結果を前記処理済み画像として出力する。これによれば、上記実施形態について説明したように、入力画像からノイズを除去した画像データを格納できる。
(態様I)
上記態様G又は態様Hにおいて、前記空間フィルタ処理は、エッジ抽出フィルタ処理、平滑化フィルタ処理及びεフィルタ処理の少なくとも一つである。これによれば、上記実施形態について説明したように、画像後処理手段においてエッジ抽出や平滑化の処理が不要になったり、入力画像からゆらぎによる変動成分を除去できるようになったりする。
(態様J)
上記態様Iにおいて、前記複数種類の前処理済み画像の画像データとして、エッジ画像の画像データと二値化エッジ画像の画像データとを画像データ格納手段に格納する。これによれば、上記実施形態について説明したように、各画素の1ビットの二値化エッジ画像の画像データについては、二値化が必要な認識処理の場合において画像後処理手段に二値化処理部を設ける必要がなく、また、入力画像の画素のビット数をそのままにして画像データを書き込む場合に比して、画像データ格納手段における画像データの格納時及び読み出し時のデータ転送量を低く抑えることができる。また、二値化処理されていないエッジ画像の画像データについても画像後処理手段で利用できるようになる。
(態様K)
上記態様Iにおいて、前記複数種類の前処理済み画像の画像データとして、エッジ画像の画像データと二値化エッジ画像の画像データとエッジ抽出前の画像データとを前記画像データ格納手段に格納する。これによれば、上記実施形態について説明したように、上記態様Jについて説明した効果が得られるとともに、入力画像に対してエッジ抽出前の画像データについても画像後処理手段で利用できるようになる。
(態様L)
上記態様A乃至態様Kのいずれかにおいて、前記複数種類の前処理のうち少なくとも一つはトーンカーブ補正処理を含む。これによれば、上記実施形態について説明したように、出力画像を任意のビット長に圧縮したり、入力画像に対してコントラストの強調などの階調補正を行ったりすることができる。
(態様M)
上記態様A乃至態様Lのいずれかにおいて、前記画像前処理手段は、ヒストグラム算出手段を有する。これによれば、上記実施形態について説明したように、ヒストグラム算出手段で算出されたヒストグラムに基づいて画像のヒストグラム平滑化などの処理を行うことができる。
(態様N)
上記態様Mにおいて、前記複数種類の前処理のうち少なくとも一つがトーンカーブ補正処理を含む場合、前記ヒストグラム算出手段の結果に基づいて前記トーンカーブ補正の係数を変化させる。これによれば、上記実施形態について説明したように、より適切なトーンカーブ補正が可能になる。
(態様O)
上記態様A乃至態様Nのいずれかにおいて、前記複数種類の前処理済み画像の画像データそれぞれについて画像データ格納手段への書き込みのオン/オフを切り換え可能に構成している。これによれば、上記実施形態について説明したように、画像後処理手段で必要な前処理済み画像についてのみ画像データ格納手段へ書き込むようにすることができ、画像データ格納手段への画像データ書き込みや画像データ格納手段における画像データの格納に用いられる容量の効率化を図ることができる。
(態様P)
上記態様A乃至態様Oのいずれかにおいて、前記複数種類の前処理の少なくとも一つは、色空間補正を含む。これによれば、上記実施形態について説明したように、入力画像がカラー画像であった場合に色の補正を行うことができる。
(態様Q)
上記態様A乃至態様Pのいずれかにおいて、CPU60などの中央演算処理装置とハフ変換を行うハフ変換モジュール430とを備え、中央演算処理装置が、フレームバッファ30などの画像データ格納手段から読み出した画像データを二値化し、投票するx,yの座標をハフ変換モジュール430に渡し、ハフ変換モジュール430が、ハフ空間に投票して最大値をサーチし、そのサーチの結果を中央演算処理装置に渡す。これによれば、上記実施形態の実施例1について説明したように、エッジ画像とともに、そのエッジ画像をハフ変換した結果を白線領域抽出のために用いることにより、白線領域の検出精度の向上を図ることができる。しかも、ハフ変換モジュールの実装が簡単である。
(態様R)
上記態様A乃至態様Pのいずれかにおいて、CPU60などの中央演算処理装置とハフ変換を行うハフ変換モジュール430とを備え、中央演算処理装置が、ハフ変換モジュール430に対してハフ変換したい座標範囲を指定し、ハフ変換モジュール430が、フレームバッファ30などの画像データ格納手段から後処理対象の画像データを読み出して二値化し、ハフ空間に投票して最大値をサーチし、そのサーチの結果を中央演算処理装置に渡す。これによれば、上記実施形態の実施例2について説明したように、エッジ画像とともに、そのエッジ画像をハフ変換した結果を白線領域抽出のために用いることにより、白線領域の検出精度の向上を図ることができる。しかも、中央演算処理装置でのソフトウェア処理ではなくハードウェアでほとんどの処理を行うことができるので、中央演算処理装置の速度に依存しないでハフ変換を行うことができる。
(態様S)
上記態様A乃至態様Pのいずれかにおいて、前処理部20などの画像前処理手段で二値化を行った後の画像データをフレームバッファ30などの画像データ格納手段に格納しておき、CPU60などの中央演算処理装置とハフ変換を行うハフ変換モジュール430とを備え、中央演算処理装置が、ハフ変換モジュール430に対してハフ変換したい座標範囲を指定し、ハフ変換モジュール430が、後処理対象の画像データとして画像データ格納手段から前記二値化を行った後の画像データを読み出し、ハフ空間に投票して最大値をサーチし、そのサーチの結果を中央演算処理装置に渡す。これによれば、上記実施形態の実施例3について説明したように、エッジ画像とともに、そのエッジ画像をハフ変換した結果を白線領域抽出のために用いることにより、白線領域の検出精度の向上を図ることができる。しかも、画像データ格納手段からの読み込みが少なくて済むので、更に高速にハフ変換の処理を行うことができる。
(態様T)
上記態様Q乃至態様Sのいずれかにおいて、前記入力画像に対して白線を検知する認識処理を行う場合、エッジ画像を用いたハフ変換の結果と前記前処理済み画像の画像データとに基づいて白線かどうかを判別する。これによれば、上記実施形態について説明したように、白線を検知精度を高めることができる。
10 画像処理装置
20 前処理部
30 フレームバッファ
40 後処理部
50 結果出力部
60 CPU
210空間フィルタ
220 トーンカーブ補正部
230 ヒストグラム算出部
240 空間フィルタ
250 二値化部
410 データ転送モジュール
420 画像処理ハード部(画像処理モジュール)
430 ハフ変換モジュール
431 制御部
432 FIFO
433 r,Θ空間メモリ制御部
434 Θカウンタ
435 sin,cosテーブル
436 rho計算機(乗算器)
437 投票制御部
438 r,Θ空間メモリ
440 メモリ読み出し部
441 二値化部
特開2001−186455号公報

Claims (20)

  1. 入力画像に対する認識処理を行う画像処理装置であって、
    画像データをフレーム単位で格納する画像データ格納手段と、
    入力画像の画像データを前記画像データ格納手段に格納する前に、前記入力画像の画像データを前処理する画像前処理手段と、
    前記画像前処理手段で前処理され前記画像データ格納手段に格納された画像データを処理する画像後処理手段と、を備え、
    前記画像前処理手段は、入力画像の同一フレームに対して互いに異なる複数種類の前処理を行い、複数種類の前処理済み画像の画像データを前記画像データ格納手段に出力して格納させることを特徴する画像処理装置。
  2. 請求項1の画像処理装置において、
    前記画像前処理手段から出力される前記複数種類の前処理済み画像のピクセル数が同じであることを特徴とする画像処理装置。
  3. 請求項1又は2の画像処理装置において、
    前記画像前処理手段は、前記入力画像の画像データが入力されるときのクロックと同一クロックに基づいて、前記複数種類の前処理と前処理済み画像の出力とを行うことを特徴とする画像処理装置。
  4. 請求項1乃至3のいずれかの画像処理装置において、
    前記複数種類の前処理済み画像の画像データは一つの画像データ格納手段に格納されることを特徴とする画像処理装置。
  5. 請求項4の画像処理装置において、
    前記複数種類の前処理済み画像の画像データは、ラインバッファにいったん蓄積され、前記画像データ格納手段におけるデータ記憶領域の開始アドレスをライン毎に変えながら、ラインインターリーブで書き込まれることを特徴とする画像処理装置。
  6. 請求項4の画像処理装置において、
    前記複数種類の前処理済み画像の画像データは、前記画像データ格納手段におけるデータ記憶領域の開始アドレスを変えながら、フレームインターリーブで書き込まれることを特徴とする画像処理装置。
  7. 請求項1乃至6のいずれかの画像処理装置において、
    前記複数種類の前処理のうち少なくとも一つは空間フィルタ処理を含むことを特徴とする画像処理装置。
  8. 請求項1乃至6のいずれかの画像処理装置において、
    前記複数種類の前処理はすべて一つ以上の空間フィルタ処理を通過した結果を前記処理済み画像として出力することを特徴とする画像処理装置。
  9. 請求項7又は8の画像処理装置において、
    前記空間フィルタ処理は、エッジ抽出フィルタ処理、平滑化フィルタ処理及びεフィルタ処理の少なくとも一つであることを特徴とする画像処理装置。
  10. 請求項9の画像処理装置において、
    前記複数種類の前処理済み画像の画像データとして、エッジ画像の画像データと二値化エッジ画像の画像データとを前記画像データ格納手段に格納することを特徴とする画像処理装置。
  11. 請求項9の画像処理装置において、
    前記複数種類の前処理済み画像の画像データとして、エッジ画像の画像データと二値化エッジ画像の画像データとエッジ抽出前の画像データとを前記画像データ格納手段に格納することを特徴とする画像処理装置。
  12. 請求項1乃至11のいずれかの画像処理装置において、
    前記複数種類の前処理のうち少なくとも一つはトーンカーブ補正処理を含むことを特徴とする画像処理装置。
  13. 請求項1乃至12のいずれかの画像処理装置において、
    前記画像前処理手段は、ヒストグラム算出手段を有することを特徴とする画像処理装置。
  14. 請求項13の画像処理装置において、
    前記複数種類の前処理のうち少なくとも一つがトーンカーブ補正処理を含む場合、前記ヒストグラム算出手段の結果に基づいて前記トーンカーブ補正の係数を変化させることを特徴とする画像処理装置。
  15. 請求項1乃至14のいずれかの画像処理装置において、
    前記複数種類の前処理済み画像の画像データそれぞれについて前記画像データ格納手段への書き込みのオン/オフを切り換え可能に構成したことを特徴とする画像処理装置。
  16. 請求項1乃至15のいずれかの画像処理装置において、
    前記複数種類の前処理の少なくとも一つは、色空間補正を含むことを特徴とする画像処理装置。
  17. 請求項1乃至16のいずれかの画像処理装置において、
    中央演算処理装置とハフ変換を行うハフ変換モジュールとを備え、
    前記中央演算処理装置が、前記画像データ格納手段から読み出した画像データを二値化し、投票するx,yの座標を前記ハフ変換モジュールに渡し、
    前記ハフ変換モジュールが、ハフ空間に投票して最大値をサーチし、そのサーチの結果を前記中央演算処理装置に渡すことを特徴とする画像処理装置。
  18. 請求項1乃至16のいずれかの画像処理装置において、
    中央演算処理装置とハフ変換を行うハフ変換モジュールとを備え、
    前記中央演算処理装置が、前記ハフ変換モジュールに対してハフ変換したい座標範囲を指定し、
    前記ハフ変換モジュールが、前記画像データ格納手段から後処理対象の画像データを読み出して二値化し、ハフ空間に投票して最大値をサーチし、そのサーチの結果を前記中央演算処理装置に渡すことを特徴とする画像処理装置。
  19. 請求項1乃至16のいずれかの画像処理装置において、
    前記画像前処理手段で二値化を行った後の画像データを前記画像データ格納手段に格納しておき、
    中央演算処理装置とハフ変換を行うハフ変換モジュールとを備え、
    前記中央演算処理装置が、前記ハフ変換モジュールに対してハフ変換したい座標範囲を指定し、
    前記ハフ変換モジュールが、後処理対象の画像データとして前記画像データ格納手段から前記二値化を行った後の画像データを読み出し、ハフ空間に投票して最大値をサーチし、そのサーチの結果を前記中央演算処理装置に渡すことを特徴とする画像処理装置。
  20. 請求項17乃至19のいずれかの画像処理装置において、
    前記入力画像に対して白線を検知する認識処理を行う場合、エッジ画像を用いたハフ変換の結果と前記前処理済み画像の画像データとに基づいて白線かどうかを判別することを特徴とする画像処理装置。
JP2011268682A 2011-12-08 2011-12-08 画像処理装置 Pending JP2013120517A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011268682A JP2013120517A (ja) 2011-12-08 2011-12-08 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011268682A JP2013120517A (ja) 2011-12-08 2011-12-08 画像処理装置

Publications (1)

Publication Number Publication Date
JP2013120517A true JP2013120517A (ja) 2013-06-17

Family

ID=48773126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011268682A Pending JP2013120517A (ja) 2011-12-08 2011-12-08 画像処理装置

Country Status (1)

Country Link
JP (1) JP2013120517A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013193545A (ja) * 2012-03-19 2013-09-30 Nippon Soken Inc 駐車支援装置
JP2017021728A (ja) * 2015-07-15 2017-01-26 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
WO2020045428A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 交差点内の走行軌道データ生成装置、走行軌道データ生成プログラム及び車載機
JP2020038365A (ja) * 2018-08-31 2020-03-12 株式会社デンソー 交差点内の走行軌道データ生成装置、走行軌道データ生成プログラム及び車載機

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013193545A (ja) * 2012-03-19 2013-09-30 Nippon Soken Inc 駐車支援装置
JP2017021728A (ja) * 2015-07-15 2017-01-26 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
WO2020045428A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 交差点内の走行軌道データ生成装置、走行軌道データ生成プログラム及び車載機
JP2020038365A (ja) * 2018-08-31 2020-03-12 株式会社デンソー 交差点内の走行軌道データ生成装置、走行軌道データ生成プログラム及び車載機
CN112602133A (zh) * 2018-08-31 2021-04-02 株式会社电装 交叉点内的行驶轨道数据生成装置、行驶轨道数据生成程序以及车载器
JP7136043B2 (ja) 2018-08-31 2022-09-13 株式会社デンソー 交差点内の走行軌道データ生成装置及び走行軌道データ生成プログラム

Similar Documents

Publication Publication Date Title
KR101639852B1 (ko) 그래픽 프로세싱을 위한 픽셀 값 압축
US11182908B2 (en) Dense optical flow processing in a computer vision system
JP2011059819A (ja) 情報処理方法及び装置
JP4738469B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN109859178B (zh) 一种基于fpga的红外遥感图像实时目标检测方法
CN105469370A (zh) 一种气动光学效应校正识别一体化实时处理的系统和方法
CN109919825B (zh) 一种orb-slam硬件加速器
US10929965B2 (en) Histogram statistics circuit and multimedia processing system
JP2013120517A (ja) 画像処理装置
US11682212B2 (en) Hierarchical data organization for dense optical flow processing in a computer vision system
Sun et al. A 42fps full-HD ORB feature extraction accelerator with reduced memory overhead
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN106934757B (zh) 基于cuda的监控视频前景提取加速方法
Xie et al. GPU-based fast scale invariant interest point detector
WO2024077833A1 (zh) 基于高层次综合工具的图像处理方法及系统
Ngo et al. Real time iris segmentation on FPGA
CN112348069B (zh) 数据增强方法、装置、计算机可读存储介质及终端设备
CN109493349B (zh) 一种图像特征处理模块、增强现实设备和角点检测方法
US20150030250A1 (en) System, method, and medium for image object and contour feature extraction
CN109859122A (zh) 一种各向同性滤波方法及系统
KR101841547B1 (ko) 모바일 gpu를 위한 스케일 공간 생성 최적화 방법
RU168781U1 (ru) Устройство обработки стереоизображений
US11483493B2 (en) Camera image conversion method capable of reducing processing time
US20220004799A1 (en) Method of matching images to be merged and data processing device performing the same
US9824413B2 (en) Sort-free threading model for a multi-threaded graphics pipeline