JP2012185602A - 画像処理システム、画像処理装置、方法、プログラムおよび記録媒体 - Google Patents
画像処理システム、画像処理装置、方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2012185602A JP2012185602A JP2011047255A JP2011047255A JP2012185602A JP 2012185602 A JP2012185602 A JP 2012185602A JP 2011047255 A JP2011047255 A JP 2011047255A JP 2011047255 A JP2011047255 A JP 2011047255A JP 2012185602 A JP2012185602 A JP 2012185602A
- Authority
- JP
- Japan
- Prior art keywords
- image
- polarization
- information
- image processing
- granularity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】偏光カメラや撮影対象物、光源の位置関係に関わらず、偏光カメラの撮影画像に含まれる撮影対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体を提供すること。
【解決手段】本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
【選択図】 図1
【解決手段】本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
【選択図】 図1
Description
本発明は、画像検出技術に関し、より詳細には、偏光カメラを用いて撮影した画像に含まれる検出対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体に関する。
従来、光の偏光特性を利用して偏光カメラの撮影画像から対象物を検出するシステムが存在する。通常、屈折率の異なる材質の界面に光が入射するとき、その反射光には、入射面に垂直な偏光成分(P偏光成分)と、入射面に平行な偏光成分(S偏光成分)とが含まれている。このP偏光成分およびS偏光成分は、それぞれ異なる反射率を有しており、このような偏光成分の反射特性を利用した検出技術が提案されている。
特許文献1は、車両用の路面状態を検出する装置を開示する。この装置は、偏光カメラで撮影した垂直偏光画像および水平偏光画像の偏光比強度を算出し、偏光比強度から移動平均強度を算出し、当該移動平均強度を使用して路面の湿潤状態を判断する。
しかしながら、偏光カメラや撮影対象物、光源の位置関係によっては、検出すべき対象物と他の対象物との差分偏光度画像の差が無くなることがある。この場合、垂直偏光画像および水平偏光画像の偏光比強度が実質的に同一になり、特許文献1が開示する装置では、対象物の検出精度が充分に得られないという問題があった。
本発明は、上記従来技術の問題に鑑みてなされたものであり、偏光カメラや撮影対象物、光源の位置関係に関わらず、偏光カメラの撮影画像に含まれる検出対象物の検出精度を向上させる画像処理システム、画像処理装置、方法、プログラムおよび記録媒体を提供することを目的とするものである。
上記課題を解決するために、本発明の画像処理装置は、偏光カメラが生成した水平偏光画像および垂直偏光画像からこれらの画像の輝度情報および偏光度情報を生成し、当該輝度情報から形成されるモノクロ画像の粒状性情報を算出すると共に、当該偏光度情報から形成される偏光度画像の粒状性情報を算出する。そして、画像処理装置は、これらの輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが生成した画像に含まれる対象物を検出する。
本発明の画像処理装置は、輝度情報および偏光度情報に加えて、モノクロ画像および/または偏光度画像の粒状性情報を使用して対象物を検出することができる。このため、偏光カメラや撮影対象物、光源の位置関係に関わらず、すなわち、垂直偏光画像および水平偏光画像の偏光比強度が実質的に同一の場合でも、その検出精度を向上させることができる。
また、本発明は、輝度情報、偏光度情報、並びにモノクロ画像および/または偏光度画像の粒状性情報を使用して、対象物を検出することができる画像処理システム、方法、プログラムおよび記録媒体を提供する。
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図1は、本実施形態の画像処理システムおよび画像処理装置の機能構成を示す図である。画像処理システム100は、偏光カメラ110と、画像処理装置112とを含んで構成される。
偏光カメラ110は、撮影対象物を撮影して、RAW画像データである垂直偏光画像および水平偏光画像を生成するカメラである。偏光カメラ110は、撮影対象物の垂直偏光画像および水平偏光画像を生成し得る限り、様々な構成の偏光カメラを採用することができる。
本実施形態では、例えば、回動可能な回転偏光子を1の偏光カメラの前面に備え、当該回転偏光子を回動させながら撮影することによって垂直偏光画像および水平偏光画像を撮像可能な偏光カメラを採用することができる。また、光のP偏光成分を透過可能なP偏光フィルタを前面に備えた偏光カメラと、偏光成分を透過可能なS偏光フィルタを前面に備えた偏光カメラとから成る偏光カメラを採用することもできる。
偏光カメラ110は、生成した垂直偏光画像および水平偏光画像を画像処理装置112に提供する。
画像処理装置112は、偏光カメラ110が生成した垂直偏光画像および水平偏光画像を処理する装置である。本実施形態では、画像処理装置112として、ノート型やデスクトップ型等のパーソナルコンピュータ、画像処理専用の組み込み装置等の装置を採用することができる。
画像処理装置112は、CPUやMPU等のプロセッサを搭載し、WINDOWS(登録商標)シリーズ、MAC(登録商標)OS、UNIX(登録商標)、LINUX(登録商標)、TRON(登録商標)、iTRON、Android(登録商標)、Google Chrome OsなどのOSの管理下で、アセンブラ、C、C++、Java(登録商標)、JavaScript(登録商標)、PERL、RUBY、PYTHONなどのプログラム言語で記述された本実施形態のプログラムを実行する。
また、画像処理装置112は、プログラムを実行するための実行空間を提供するRAM、プログラムやデータなどを持続的に保持するためのハードディスク装置やフラッシュメモリなどのメモリを含んでおり、図1に示す本実施形態の各機能手段をプログラムの実行により、当該画像処理装置上に実現する。本発明のプログラムは、HDD、CD−ROM、MO、フレキシブルディスク、EEPROM、EPROMなどの装置可読な記録媒体に格納して頒布することができ、また他の装置が可読な形式でネットワークを介して伝送することができる。
画像処理装置112は、記憶装置114,116と、モノクロ情報処理部118と、偏光度情報処理部120と、粒状性情報算出部122,124と、検出部126とを含む。
記憶装置114,116は、偏光カメラ110から取得した垂直偏光画像または水平偏光画像を格納する記憶装置である。本実施形態では、記憶装置114には水平偏光画像が格納され、記憶装置116には垂直偏光画像が格納される。
モノクロ情報処理部118は、水平偏光画像および垂直偏光画像を構成する各画素の垂直偏光成分および水平偏光成分の和である輝度値の集合である輝度情報を算出する機能手段である。モノクロ情報処理部118は、下記の数式1を使用して、処理対象画像の各画素の輝度値を導出して輝度情報を算出することができる。
モノクロ情報処理部118は、記憶装置114,116から水平偏光画像および垂直偏光画像を取得して輝度情報を算出し、粒状性情報算出部122および検出部126に提供する。
偏光度情報処理部120は、水平偏光画像および垂直偏光画像を構成する各画素の垂直偏光成分および水平偏光成分の比率である偏光度の集合である偏光度情報を算出する機能手段である。偏光度情報処理部120は、下記の数式2を使用して、処理対象画像の各画素の偏光度を導出して偏光度情報を算出することができる。
また、偏光度情報処理部120は、下記の数式3を使用して処理対象画像の各画素の偏光度を導出して偏光度情報を算出することができる。
偏光度情報処理部120は、記憶装置114,116から水平偏光画像および垂直偏光画像を取得して偏光度情報を算出し、粒状性情報算出部124および検出部126に提供する。
粒状性情報算出部122は、モノクロ情報処理部118が算出した輝度情報から形成されるモノクロ画像の特徴量である対称性、粒子サイズ、粒状度を示す粒状性情報を算出する機能手段である。粒状度は、処理対象である画像の濃度のばらつきを示す特徴量であり、粒状性情報算出部122は、図2、図3および図4に示す処理を実行することにより、粒状度(以下、「輝度粒状度」とする。)を算出することができる。対称性は、処理対象である画像に含まれる対象物の対称性を示す特徴量であり、図5に示す処理によって算出することができる。粒子サイズは、処理対象である画像に含まれる対象物の粒子サイズを示す特徴量であり、図5に示す処理によって算出することができる。粒状性情報算出部122は、輝度情報を用いて算出した粒状性情報を検出部126に提供する。
粒状性情報算出部124は、偏光度情報処理部120が算出した偏光度情報から形成される偏光度画像の特徴量である対称性、粒子サイズ、粒状度を示す粒状性情報を算出する機能手段である。粒状性情報算出部124は、粒状性情報算出部122と同様に、図2、図3および図4に示す処理で粒状度(以下、「偏光度粒状度」とする。)を算出することができ、また、図5に示す処理で対称性および粒子サイズを算出することができる。粒状性情報算出部124は、偏光度情報を用いて算出した粒状性情報を検出部126に提供する。
検出部126は、輝度情報、偏光度情報および粒状性情報を使用して、偏光カメラが撮影した撮影画像に含まれる対象物を検出する機能手段である。検出部126が検出すべき対象物には、例えば、自動車等に設置された偏光カメラが生成した偏光画像から対象物を検出する実施形態の場合では、路面、路端、壁、側溝、車両、白線、黄色線、植栽、マンホールやボッツドッツ、ガードレール等の路面設置物、路面上の障害物等が含まれる。検出部126は、撮影画像に含まれる主要素である基準対象物(例えば、路面)や、当該基準対象物以外の対象物(例えば、路端や白線等)とを検出することができる。
図2は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理の実施形態を示すフローチャートである。以下、図2を参照して、画像処理装置112の粒状性情報算出部122,124が実行する粒状度の算出処理について説明する。
図2の処理は、ステップS200から開始し、ステップS201で粒状性情報算出部122,124が、入力画像であるモノクロ画像または偏光度画像をN×Nのブロックに分割する。なお、Nは任意の画素数とすることができる。
ステップS202では、粒状性情報算出部122,124は、分割した各ブロックについて、当該ブロックを構成する各ピクセルの画素値の標準偏差を算出する。ステップS203では、粒状性情報算出部122,124は、当該ブロック毎の画素値の標準偏差を、輝度粒状度または偏光度粒状度として検出部126に出力し、ステップS204で処理が終了する。
本実施形態では、画素値の標準偏差を利用して、局所的な画像構成要素の濃淡の変化度合いを粒状度(例えば、画像のざらつき度合い等)として数値化する。通常、当該標準偏差が大きいほど、画像の粒状度が大きくなる。例えば、路肩の草が生えている領域は、葉の表面の向きが一枚毎に異なるため、反射光の向きが一様でなくなり、当該領域のざらつき度合い、すなわち、粒状度が大きくなる。他の実施形態では、標準偏差の代わりに画素値の分散値を利用して、入力画像の局所的な粒状度を算出してもよい。
図3は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理の他の実施形態を示すフローチャートである。以下、図3を参照して、画像処理装置112の粒状性情報算出部122,124が実行する粒状度の算出処理について説明する。
図3の処理は、ステップS300から開始し、ステップS301で粒状性情報算出部122,124が、入力画像であるモノクロ画像または偏光度画像からぼかし画像を生成する。本実施形態では、エッジに隣接する画像を平均化する移動平均フィルタ等を用いて、ぼかし画像を生成することができる。
ステップS302では、粒状性情報算出部122,124は、入力画像および当該ぼかし画像をN×Nのブロックに分割する。なお、Nは任意の画素数とすることができる。
ステップS303では、粒状性情報算出部122,124は、入力画像および当該ぼかし画像の各ブロックを構成するピクセルについて、入力画像のピクセルの画素値と、当該ピクセルに対応する当該ぼかし画像のピクセルの画素値との差の絶対値を算出する。ステップS304では、粒状性情報算出部122,124は、各ブロックについて、ステップS303で算出した絶対値の差の総和を算出し、輝度粒状度または偏光度粒状度として検出部126に出力し、ステップS305で処理が終了する。
本実施形態では、SAD(Sum absolute difference)を利用して粒状度を算出するため、計算量を低減することができる。
図4は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャートである。以下、図4を参照して、画像処理装置112の粒状性情報算出部122,124が実行する粒状度の算出処理について説明する。
図4の処理は、ステップS400から開始し、ステップS401で粒状性情報算出部122,124が、入力画像であるモノクロ画像または偏光度画像から高周波画像を生成する。本実施形態では、空間周波数が高い領域のみを抽出するハイパスフィルタ等を用いて、高周波画像を生成することができる。
ステップS402では、粒状性情報算出部122,124は、高周波画像をN×Nのブロックに分割する。なお、Nは任意の画素数とすることができる。
ステップS403では、粒状性情報算出部122,124は、高周波画像の各ブロックについて、当該ブロックを構成する各ピクセルの絶対値の和を算出する。ステップS404では、粒状性情報算出部122,124は、ステップS403で算出した各ブロックの絶対値の和を、輝度粒状度または偏光度粒状度として検出部126に出力し、ステップS405で処理が終了する。
図5は、本実施形態の画像処理装置が実行する粒状性情報を算出する処理のさらに他の実施形態を示すフローチャートである。以下、図5を参照して、画像処理装置112の粒状性情報算出部122,124が実行する対称性および粒子サイズの算出処理について説明する。
図5の処理は、ステップS500から開始し、ステップS501で粒状性情報算出部122,124が、L×Lのウィンドウを用いて入力画像であるモノクロ画像または偏光度画像の自己相関画像を生成する。なお、Lは任意の画素数とすることができる。
本実施形態では、粒状性情報算出部122,124は、下記数式4を使用して自己相関画像を生成することができる。
ステップS502では、粒状性情報算出部122,124は、ステップS501で生成した自己相関画像を用いて対称性および粒子サイズを算出する。
本実施形態では、粒状性情報算出部122,124は、下記数式5,6,7を使用して対称性および粒子サイズを算出することができる。
ステップS503では、粒状性情報算出部122,124は、ステップS502で算出した対称性および粒子サイズを検出部126に出力し、ステップS504で処理が終了する。
図6は、本実施形態の画像処理装置が実行する対象物の検出処理の一実施形態を示すフローチャートである。以下、図6を参照して、画像処理装置112の検出部126が実行する路面の検出処理について説明するが、本発明は、路面の検出に限られず、その他の対象物を検出できることに留意すべきである。
図6の処理は、ステップS600から開始し、ステップS601で検出部126が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値(a1,a2)の範囲にあるか否か判断する。本実施形態では、所定の閾値(a1,a2)は、対象領域内の対象物が路面である場合に取り得る輝度値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値の範囲内にあるか否か判断するようにしてもよい。また、当該対象領域の大きさは、輝度粒状度および偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。
ステップS601の判定で輝度値が所定の閾値(a1,a2)の範囲にないと判断した場合には(no)、処理をステップS602に分岐させる。ステップS602では、検出部126は、上記対象領域が路面でないと判断し、ステップS609で処理が終了する。一方、ステップS601の判定で輝度値が所定の閾値(a1,a2)の範囲内であると判断した場合には(yes)、処理をステップS603に分岐させる。
ステップS603では、検出部126は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値(b1,b2)の範囲にあるか否か判断する。本実施形態では、所定の閾値(b1,b2)は、対象領域内の対象物が路面である場合に取り得る偏光度とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値の範囲内にあるか否か判断するようにしてもよい。
ステップS603の判定で偏光度が所定の閾値(b1,b2)の範囲にないと判断した場合には(no)、処理をステップS602に分岐させ、検出部126は、上記対象領域が路面でないと判断し、ステップS609で処理が終了する。一方、ステップS603の判定で偏光度が所定の閾値(b1,b2)の範囲内であると判断した場合には(yes)、処理をステップS604に分岐させる。
ステップS604では、検出部126は、上記対象領域の偏光度粒状度が所定の閾値(c1,c2)の範囲にあるか否か判断する。本実施形態では、所定の閾値(c1,c2)は、対象領域内の対象物が路面である場合に取り得る偏光度粒状度とする。
ステップS604の判定で偏光度粒状度が所定の閾値(c1,c2)の範囲にないと判断した場合には(no)、処理をステップS602に分岐させ、検出部126は、上記対象領域が路面でないと判断し、ステップS609で処理が終了する。一方、ステップS604の判定で偏光度粒状度が所定の閾値(c1,c2)の範囲内であると判断した場合には(yes)、処理をステップS605に分岐させる。
ステップS605では、検出部126は、上記対象領域の輝度粒状度が所定の閾値(d1,d2)の範囲にあるか否か判断する。本実施形態では、所定の閾値(d1,d2)は、対象領域内の対象物が路面である場合に取り得る輝度粒状度とする。
ステップS605の判定で輝度粒状度が所定の閾値(d1,d2)の範囲にないと判断した場合には(no)、処理をステップS602に分岐させ、検出部126は、上記対象領域が路面でないと判断し、ステップS609で処理が終了する。一方、輝度粒状度が所定の閾値(d1,d2)の範囲内であると判断した場合には(yes)、処理をステップS606に分岐させる。
ステップS606では、検出部126は、上記対象領域の対称性が所定の閾値(e1,e2)の範囲にあるか否か判断する。本実施形態では、所定の閾値(e1,e2)は、対象領域内の対象物が路面である場合に取り得る対称性とする。
ステップS606の判定で対称性が所定の閾値(e1,e2)の範囲にないと判断した場合には(no)、処理をステップS602に分岐させ、検出部126は、上記対象領域が路面でないと判断し、ステップS609で処理が終了する。一方、対称性が所定の閾値(e1,e2)の範囲内であると判断した場合には(yes)、処理をステップS607に分岐させる。
ステップS607では、検出部126は、上記対象領域の粒子サイズが所定の閾値(f1,f2)の範囲にあるか否か判断する。本実施形態では、所定の閾値(f1,f2)は、対象領域内の対象物が路面である場合に取り得る粒子サイズの値とする。
ステップS607の判定で粒子サイズが所定の閾値(f1,f2)の範囲にないと判断した場合には(no)、処理をステップS602に分岐させ、検出部126は、上記対象領域が路面でないと判断し、ステップS609で処理が終了する。一方、粒子サイズが所定の閾値(f1,f2)の範囲内であると判断した場合には(yes)、処理をステップS608に分岐させる。ステップS608では、検出部126は、上記対象領域が路面であると判断し、ステップS609で処理が終了する。
本実施形態では、対象領域内の対象物が路面である場合に取り得る輝度値、偏光度、偏光度粒状度、輝度粒状度、粒子サイズおよび対称性を閾値として使用して、路面を検出するが、他の実施形態では、例えば、路端、壁、側溝、車両、白線、黄色線、植栽、路面設置物、障害物等が、検出すべき対象物である場合に、取り得る輝度値、偏光度、偏光度粒状度、輝度粒状度、粒子サイズおよび対称性を閾値として使用して、これらの対象物を検出することができる。
図7は、本実施形態の画像処理装置が実行する対象物の検出処理の他の実施形態を示すフローチャートである。以下、図7を参照して、画像処理装置112の検出部126が実行する検出処理について説明する。
図7の処理は、ステップS700から開始し、ステップS701で検出部126が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値(A1)よりも大きいか否か判断する。本実施形態では、所定の閾値(A1)は、対象領域内の対象物が湿潤状態でない場合に取り得る輝度値の最大値とする。また、当該対象領域の大きさは、偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値よりも大きいか否か判断するようにしてもよい。
ステップS701の判定で輝度値が所定の閾値(A1)以下であると判断した場合、すなわち、上記対象領域内の対象物が湿潤状態である場合には(no)、処理をステップS702に分岐させる。ステップS702では、検出部126は、対象物が湿潤状態のときに用いるパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS707で処理が終了する。一方、ステップS701の判定で輝度値が所定の閾値(A1)よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が湿潤状態でない場合には(yes)、処理をステップS703に分岐させる。
ステップS703では、検出部126は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値(B1)よりも小さいか否か判断する。本実施形態では、所定の閾値(B1)は、対象領域内の対象物が湿潤状態でない場合に取り得る偏光度の最小値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値よりも小さいか否か判断するようにしてもよい。
ステップS703の判定で偏光度が所定の閾値(B1)以上であると判断した場合、すなわち、上記対象領域内の対象物が湿潤状態である場合には(no)、処理をステップS702に分岐させ、検出部126は、対象物が湿潤状態のときに用いるパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS707で処理が終了する。一方、ステップS703の判定で偏光度が所定の閾値(B1)よりも小さいと判断した場合、すなわち、上記対象領域内の対象物が湿潤状態でない場合には(yes)、処理をステップS704に分岐させる。
ステップS704では、検出部126は、上記対象領域の偏光度粒状度が所定の閾値(C1)よりも大きいか否か判断する。本実施形態では、所定の閾値(C1)は、対象領域内の対象物が逆光状態である場合に取り得る偏光度粒状度の最大値とする。
ステップS704の判定で偏光度粒状度が所定の閾値(C1)よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が逆光状態にある場合には(yes)、処理をステップS705に分岐させる。ステップS705では、検出部126は、対象物が逆光状態のときに用いるパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS707で処理が終了する。
一方、ステップS704の判定で偏光度粒状度が所定の閾値(C1)以下であると判断した場合、すなわち、上記対象領域内の対象物が順光状態にある場合には(no)、処理をステップS706に分岐させる。ステップS706では、検出部126は、対象物が順光状態のときに用いるパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS707で処理が終了する。
図8は、本実施形態の画像処理装置が実行する対象物の検出処理のさらに他の実施形態を示すフローチャートである。以下、図8を参照して、画像処理装置112の検出部126が実行する検出処理について説明する。
図8の処理は、ステップS800から開始し、ステップS801で検出部126が、モノクロ画像内の対象領域について、当該対象領域を構成する総てのピクセルの輝度値が所定の閾値(A2)よりも小さいか否か判断する。本実施形態では、所定の閾値(A2)は、対象領域内の対象物が日陰にある場合に取り得る輝度値の最小値とする。また、当該対象領域の大きさは、偏光度粒状度を算出する際のブロックサイズと同一とすることが好適である。他の実施形態では、当該対象領域を構成する総てのピクセルの輝度値の平均値が、所定の閾値よりも小さいか否か判断するようにしてもよい。
ステップS801の判定で輝度値が所定の閾値(A2)以上であると判断した場合、すなわち、上記対象領域内の対象物が日向である場合には(no)、処理をステップS802に分岐させる。ステップS802では、検出部126は、対象物が日向にある場合に最適なパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS806で処理が終了する。一方、ステップS801の判定で輝度値が所定の閾値(A2)よりも小さいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には(yes)、処理をステップS803に分岐させる。
ステップS803では、検出部126は、上記対象領域に対応する偏光度画像内の領域について、当該対象領域を構成する総てのピクセルの偏光度が所定の閾値(B2)よりも大きいか否か判断する。本実施形態では、所定の閾値(B2)は、対象領域内の対象物が日陰にある場合に取り得る偏光度の最大値とする。他の実施形態では、当該対象領域を構成する総てのピクセルの偏光度の平均値が、所定の閾値よりも大きいか否か判断するようにしてもよい。
ステップS803の判定で偏光度が所定の閾値(B2)以下であると判断した場合、すなわち、上記対象領域内の対象物が日向にある場合には(no)、処理をステップS802に分岐させ、検出部126は、対象物が日向にある場合に最適なパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS806で処理が終了する。一方、ステップS803の判定で輝度値が所定の閾値(B2)よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には(yes)、処理をステップS804に分岐させる。
ステップS804では、検出部126は、上記対象領域の偏光度粒状度が所定の閾値(C2)よりも大きいか否か判断する。本実施形態では、所定の閾値(C2)は、対象領域内の対象物が日陰にある場合に取り得る偏光度の最大値とする。
ステップS804の判定で輝度値が所定の閾値(C2)よりも大きいと判断した場合、すなわち、上記対象領域内の対象物が日陰にある場合には(yes)、処理をステップS805に分岐させる。ステップS805では、検出部126は、対象物が日陰にある場合に最適なパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS806で処理が終了する。
一方、ステップS804の判定で偏光度が所定の閾値(C2)以下であると判断した場合、すなわち、上記対象領域内の対象物が日向にある場合には(no)、処理をステップS802に分岐させ、検出部126は、対象物が日向にある場合に最適なパラメータを指定して、図9に示す対象物の識別処理を実行し、ステップS806で処理が終了する。
図9は、本実施形態の画像処理装置が、図7および図8に示す処理を実行する場合に実行される対象物の識別処理を示すフローチャートである。以下、図9を参照して、画像処理装置112の検出部126が実行する識別処理について説明する。
図9の処理は、ステップS900から開始し、ステップS901で検出部126が、偏光度画像からエッジ画像を生成する。本実施形態では、検出部126は、下記数式8,9を使用して座標(x,y)におけるエッジ強さを算出し、エッジ画像を生成することができる。
ステップS902では、検出部126は、上位処理で指定されたパラメータである閾値でエッジ画像を2値化する。本実施形態では、当該パラメータは、2値化する際に使用する閾値であり、対象物が湿潤状態、逆光、順光、日陰または日向にある場合に、対象物を含むエッジ画像を2値化するのに最適な閾値とする。
ステップS903では、検出部126は、上記対象領域に対応する2値化されたエッジ画像内の領域においてエッジ部の候補点を抽出する。本実施形態では、検出部126は、エッジ画像内の当該領域を複数のブロックに分割し、当該ブロックを構成する各ピクセルのエッジ強度のばらつき度合いやばらつき度合いを示す標準偏差を算出する。そして、検出部126は、当該標準偏差が、エッジが存在することを示す閾値である基準偏差閾値以上であると判断した場合、当該ブロック内にエッジが存在すると判断し、エッジ部の候補点を抽出することができる。
ステップS904では、検出部126は、抽出したエッジ部の候補点が形成する形状から対象物を特定し、ステップS905で処理が終了する。本実施形態では、検出部126は、エッジ部の候補点によって形成される形状と、画像処理装置112の記憶装置(図示せず)に格納された検出すべき対象物の形状を含む画像データであるテンプレートとを照合することにより、対象物を特定することができる。
図7〜9に示す実施形態では、偏光カメラの撮影画像に含まれる対象物を特定する場合に、対象物の識別処理において当該対象物の状態(例えば、湿潤状態や逆光、順光、日向、日陰等)に適した閾値を使用して2値化することができるため、エッジ部の検出精度を向上させ、対象物の識別精度を向上させることができる。
本発明では、上述したように偏光度画像の粒状性情報を利用する。偏光度画像の粒状性情報を利用する有用な点は、光源と物体のなす角度によって物体の反射光の偏光度が変化する点にある。すなわち、モノクロ画像の粒状性情報は、被写体物体の反射率のばらつき具合を示すものであるのに対し、偏光度画像の粒状性情報は、被写体を構成する面の角度に関する情報を含んでいる。例えば、多数の面を有する多面体を撮影した場合には、偏光度画像の粒状度は大きくなる。また、その多数の面が小さな面の集合体である場合には、粒子サイズは小さくなる。さらに、その多数の面が均一の大きさを有し、各面の角度が均等にばらついている場合には、上記数式5および6で算出される対称性の値は1に近くなる。
本実施形態では、このような偏光度画像の粒状性情報の有用性を利用して被写体の種類を判断する。他の実施形態では、太陽光源からの直接光が照射される日向部分と、散乱光が照射される日陰部分では、光源と物体のなす角度の関係が変化し、偏光度画像の粒状性情報の値が変化するため、偏光度画像の粒状性情報を使用して、被写体の日向部分と日陰部分を判断することもできる。また、他の実施形態では、順光および逆光では光源と物体のなす角度の関係が変化するため、偏光度画像の粒状性情報を使用して、被写体が順光または逆光にあるのか判断することもできる。
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、上述した実施形態の構成要件の変更や削除、他の構成要件の追加など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
100…画像処理システム、110…偏光カメラ、112…画像処理装置、114,116…記憶装置、118…モノクロ情報処理部、120…偏光度情報処理部、122,124…粒状性情報算出部、126…検出部
Claims (14)
- 偏光カメラが生成した画像を処理する画像処理装置であって、前記画像処理装置は、
前記偏光カメラが生成した水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成する手段と、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成する手段と、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出する手段と、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出する手段と
を含む、画像処理装置。 - 前記画像処理装置は、
前記輝度情報から形成されるモノクロ画像の粒状性を示す粒状性情報を算出する手段をさらに含む、請求項1に記載の画像処理装置。 - 前記検出する手段は、
前記輝度情報、前記偏光度情報および前記粒状性情報が、検出すべき対象物の取り得る閾値の範囲内であるか判断することにより、前記対象物を検出する、請求項1または2に記載の画像処理装置。 - 前記検出する手段は、
前記輝度情報、前記偏光度情報および前記偏光度画像の粒状性を示す粒状性情報を使用して、検出すべき対象物の状態を判断し、
前記偏光度画像からエッジ画像を生成し、
前記対象物の状態に応じた閾値を用いて前記エッジ画像を2値化し、
2値化されたエッジ画像から前記対象物を検出する、請求項1または2に記載の画像処理装置。 - 前記検出する手段は、
前記2値化されたエッジ画像からエッジ部の候補点を抽出し、前記候補点が形成する形状と検出すべき対象物の画像とを照合することにより、前記対象物を検出する、請求項4に記載の画像処理装置。 - 前記対象物は、路面、路端、壁、側溝、車両、白線、黄色線、植栽、路面設置物、障害物を含む、請求項1〜5のいずれか1項に記載の画像処理装置。
- 前記対象物の状態は、湿潤状態、逆光、順光、日向、日陰を含む、請求項4〜6のいずれか1項に記載の画像処理装置。
- 撮影対象物の水平偏光画像および垂直偏光画像を生成する偏光カメラと、前記偏光カメラが生成した画像を処理する画像処理装置とを含む画像処理システムであって、前記画像処理装置は、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成する手段と、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成する手段と、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出する手段と、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出する手段と
を含む、画像処理システム。 - 前記画像処理装置は、
前記輝度情報から形成されるモノクロ画像の粒状性を示す粒状性情報を算出する手段をさらに含む、請求項8に記載の画像処理システム。 - 前記検出する手段は、
前記輝度情報、前記偏光度情報および前記粒状性情報が、検出すべき対象物の取り得る閾値の範囲内であるか判断することにより、前記対象物を検出する、請求項8または9に記載の画像処理システム。 - 前記検出する手段は、
前記輝度情報、前記偏光度情報および前記偏光度画像の粒状性を示す粒状性情報を使用して、検出すべき対象物の状態を判断し、
前記偏光度画像からエッジ画像を生成し、
前記対象物の状態に応じた閾値を用いて前記エッジ画像を2値化し、
2値化されたエッジ画像から前記対象物を検出する、請求項8または9に記載の画像処理システム。 - 偏光カメラが生成した画像を処理する画像処理装置が実行する方法であって、前記画像処理装置が、
前記偏光カメラが生成した水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の輝度値の集合である輝度情報を生成するステップと、
前記水平偏光画像および垂直偏光画像から、これらの画像を構成する各画素の偏光度の集合である偏光度情報を生成するステップと、
前記偏光度情報から形成される偏光度画像の粒状性を示す粒状性情報を算出するステップと、
前記輝度情報、前記偏光度情報および前記粒状性情報を使用して、前記偏光カメラが生成した画像に含まれる対象物を検出するステップと
を含む、方法。 - 請求項12に記載の各ステップを画像処理装置が実行するためのコンピュータ実行可能なプログラム。
- 請求項13に記載されたプログラムを記録したコンピュータ可読な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011047255A JP2012185602A (ja) | 2011-03-04 | 2011-03-04 | 画像処理システム、画像処理装置、方法、プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011047255A JP2012185602A (ja) | 2011-03-04 | 2011-03-04 | 画像処理システム、画像処理装置、方法、プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012185602A true JP2012185602A (ja) | 2012-09-27 |
Family
ID=47015655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011047255A Withdrawn JP2012185602A (ja) | 2011-03-04 | 2011-03-04 | 画像処理システム、画像処理装置、方法、プログラムおよび記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012185602A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015128228A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
US9674459B2 (en) | 2013-05-15 | 2017-06-06 | Ricoh Company, Limited | Image processing system |
-
2011
- 2011-03-04 JP JP2011047255A patent/JP2012185602A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9674459B2 (en) | 2013-05-15 | 2017-06-06 | Ricoh Company, Limited | Image processing system |
JP2015128228A (ja) * | 2013-12-27 | 2015-07-09 | 株式会社リコー | 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10880541B2 (en) | Stereo correspondence and depth sensors | |
EP2072947B1 (en) | Image processing device and image processing method | |
US10453204B2 (en) | Image alignment for burst mode images | |
US9135710B2 (en) | Depth map stereo correspondence techniques | |
US9754160B2 (en) | Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium | |
EP2071280B1 (en) | Normal information generating device and normal information generating method | |
US9064178B2 (en) | Edge detection apparatus, program and method for edge detection | |
KR101051459B1 (ko) | 영상의 에지를 추출하는 장치 및 방법 | |
KR20120003232A (ko) | 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법 | |
JP7032871B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP6389131B2 (ja) | 局所基準のグラフ基準選択を用いたhdr画像生成におけるゴーストアーチファクトの検出及び除去 | |
JP2014170540A (ja) | 路面高度形状推定方法とシステム | |
WO2010060287A1 (zh) | 一种基于单目视觉的障碍物检测方法及装置 | |
BR112015028772B1 (pt) | Sistema de processamento de imagens | |
Dinh et al. | Robust adaptive normalized cross-correlation for stereo matching cost computation | |
JP6361313B2 (ja) | 車両検出方法及び装置 | |
US10380743B2 (en) | Object identifying apparatus | |
Stentoumis et al. | A holistic approach for inspection of civil infrastructures based on computer vision techniques | |
JP6185807B2 (ja) | シワ状態分析方法及びシワ状態分析装置 | |
JP2017125809A (ja) | 情報処理装置、情報処理システムおよびプログラム | |
JP2012185602A (ja) | 画像処理システム、画像処理装置、方法、プログラムおよび記録媒体 | |
JP2008269218A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US10217233B2 (en) | Method of estimating image depth using birefringent medium and apparatus thereof | |
GB2557417A (en) | Image alignment for burst mode images | |
Meenu et al. | Evolution of new integrated haze removal algorithm based on haze line |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |