JP2018116620A - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】作業負荷を低減する画像処理装置、画像処理システムおよび画像処理方法を提供すること。【解決手段】実施形態に係る画像処理装置は、取得部と、算出部と、検出部とを備える。取得部は、車両の外部に配置されたマーカーを車載カメラによって撮影して得られた画像を取得する。算出部は、画像中に設定された第１領域の第１特徴点における第１局所特徴量と、画像中に設定され、かつ第１領域とは異なる第２領域の第２特徴点における第２局所特徴量とを算出する。検出部は、第１局所特徴量と第２局所特徴量とが最も類似する各特徴点を対応点として抽出し、対応点に基づいて第１領域および第２領域からマーカーを検出する。【選択図】図１

Description

開示の実施形態は、画像処理装置、画像処理システムおよび画像処理方法に関する。

従来、車載カメラによって取得された画像を合成して車両の周囲の状態をモニタに表示するシステムが知られている（例えば特許文献１参照）。

このようなシステムでは、車載カメラの個体差や取り付け位置のわずかな誤差等によって合成画像の合成位置にずれが生じることがあるため、ずれを補正するキャリブレーション処理が行われる。

キャリブレーション処理では、キャリブレーション用のマーカーを車載カメラで撮影して得られた画像に対して、マーカーの特徴を示す特徴量を用いて探索を行い、画像からマーカーを検出している。マーカーの特徴を示す特徴量は、予め設定され、システムに記憶されている。

特開２０１１−２２６９３１号公報

しかしながら、上記システムでは、使用するマーカー毎にマーカーの特徴量を設定し、マーカーの特徴量を予めシステムに記憶させなければならず、準備作業が煩雑化するので、作業負荷が大きくなる問題点がある。

実施形態の一態様は、上記に鑑みてなされたものであって、作業負荷を低減することを目的とする。

実施形態の一態様に係る画像処理装置は、取得部と、算出部と、検出部とを備える。取得部は、車両の外部に配置されたマーカーを車載カメラによって撮影して得られた画像を取得する。算出部は、画像中に設定された第１領域の第１特徴点における第１局所特徴量と、画像中に設定され、かつ第１領域とは異なる第２領域の第２特徴点における第２局所特徴量とを算出する。検出部は、第１局所特徴量と第２局所特徴量とが最も類似する各特徴点を対応点として抽出し、対応点に基づいて第１領域および第２領域からマーカーを検出する。

実施形態の一態様によれば、作業負荷を低減することができる。

図１は、本実施形態に係るマーカーの検出処理の概要を説明する図である。 図２は、全周囲モニタシステムの概略ブロック図である。 図３は、キャリブレーション処理を行う場合の車両およびマーカーの配置を示す図である。 図４は、第１カメラによる撮影で得られた画像を示す図である。 図５は、第１領域および第２領域に対応点をプロットした一例を示す図である。 図６は、本実施形態のマーカーの検出処理を説明するフローチャートである。

以下、添付図面を参照して、本願の開示する画像処理装置、画像処理システムおよび画像処理方法を説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

実施形態に係る画像処理装置は、複数の車載カメラ（以下、カメラという。）によって撮影することで得られた画像を合成することで、車両の周囲の状態をモニタに表示する全周囲モニタシステムに搭載される。

全周囲モニタシステムでは、車載カメラの個体差や取り付け位置のわずかな誤差等による合成位置のずれを補正するキャリブレーション処理が行われる。

キャリブレーション処理は、例えば、車両工場や車両整備場で行われる。キャリブレーション処理では、まず、車両の周囲に配置されたキャリブレーション用のマーカーがカメラによって撮影され、撮影により得られた画像からマーカーが検出される。そして、検出されたマーカーが複数の画像で一致するように各カメラの設置位置や、各カメラの角度などが調整される。

本実施形態に係る画像処理装置は、以下の方法によって画像からマーカーを検出する。まず、本実施形態に係る画像処理装置におけるマーカーの検出処理の概要について、図１を参照し説明する。図１は、本実施形態に係るマーカーの検出処理の概要を説明する図である。

画像処理装置は、カメラによる撮影で得られた画像を取得すると（Ｓ１）、画像中に設定された第１領域の特徴点（以下、第１特徴点という。）における局所特徴量（以下、第１局所特徴量という。）、および画像中に設定され、第１領域とは異なる第２領域の特徴点（以下、第２特徴点という。）における局所特徴量（以下、第２局所特徴量という。）を算出する（Ｓ２）。

特徴点は、例えば、着目する画素の周囲の輝度の差が閾値以上である画素である。また、局所特徴量は、例えば、濃淡の変化である。

局所特徴量としては、例えば、ＳＩＦＴ（Scale Invariant Feature Transformation）や、ＳＵＲＦ（Speed Up Robustness Features）を用いることができる。

第１領域および第２領域は、画像中に予め設定された領域であり、画像の一部を含む領域である。第１領域および第２領域は、カメラによって２つのマーカーを含むように撮影された場合に、第１領域に一方のマーカーが映り、第２領域にもう一方のマーカーが映るように設定されている。なお、以下において、第１領域と第２領域とは、同じ画像中に設定された領域を意味するものとする。

そして、画像処理装置は、第１局所特徴量と第２局所特徴量とを比較し、第１局所特徴量と第２局所特徴量とが最も類似する第１特徴点と第２特徴点とを対応点として抽出し、対応点に基づいて第１領域および第２領域からマーカーを検出する（Ｓ３）。

例えば、第１領域で対応点となる第１特徴点の集合が第１領域におけるマーカーとして検出される。また、同様に、第２領域からマーカーが検出される。

このように、全周囲モニタシステムでは、第１領域の第１局所特徴量と第２領域の第２局所特徴量とを比較することで、カメラによる撮影によって得られた画像からマーカーを検出することができる。すなわち、マーカーの特徴量を設定せず、マーカーの特徴量を全周囲システムに記憶させずに、画像からマーカーを検出することができる。そのため、開発コストを抑制することができる。

次に、実施形態に係る全周囲モニタシステム（画像処理システム）１について図２を参照し説明する。図２は、全周囲モニタシステム１の概略ブロック図である。

全周囲モニタシステム１は、複数のカメラ２と、画像処理装置３と、モニタ４を備える。全周囲モニタシステム１では、各カメラ２によって得られた画像を合成することで、例えば、車両１０（図３参照）を上方から見た画像をモニタ４に表示することができる。

カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）など電子的な画像を取得する撮像素子を備える。ここでは、第１カメラ２ａ、第２カメラ２ｂ、第３カメラ２ｃおよび第４カメラ２ｄの４つのカメラ２が設けられる。

図３に示すように、第１カメラ２ａは車両１０の前端中央に設けられ、第２カメラ２ｂは車両１０の後端中央に設けられ、第３カメラ２ｃは車両１０の左側のサイドミラーハウジング１１ａに設けられ、第４カメラ２ｄは車両１０の右側のサイドミラーハウジング１１ｂに設けられる。図３は、キャリブレーション処理を行う場合の車両１０およびマーカーＭの配置を示す図である。マーカーＭは、同一形状のマーカーであり、１つのカメラ２によって２つのマーカーＭが撮影できるように車両１０の外部に配置される。なお、車両１０と各マーカーＭとの位置は、車両１０の種類に応じて予め設定されている。

図２に戻り、画像処理装置３は、取得部５と、制御部６と、記憶部７とを備える。

取得部５は、各カメラ２による撮影で得られた画像を取得する。取得部５によって取得された画像は、記憶部７に記憶される。

制御部６は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータを含む。

制御部６では、ＣＰＵがＲＯＭに記憶されたプログラムを、ＲＡＭを作業領域として使用して実行することにより各機能が発揮される。

制御部６は、変形部６０と、算出部６１と、検出部６２と、推定部６３と、調整部６４と、合成部６５とを備える。

変形部６０は、第１領域に映るマーカーＭの形状と、第２領域に映るマーカーＭの形状とが一致するように、第２領域の画像に変形処理を行う。第１領域および第２領域は、各カメラ２によって取得される画像毎および車両１０毎に設定されている。

変形処理は、各カメラ２と各マーカーＭとの位置や、各カメラ２の特性（例えば、レンズ歪）などに基づいて行われる。例えば、車両１０の前方に配置された２つのマーカーＭを第１カメラ２ａによって撮影すると、図４に示すような画像が取得される。ここでは、車両１０の左側のマーカーＭが第１領域に映り、車両１０の右側のマーカーＭが第２領域に映るものとする。図４は、第１カメラ２ａによる撮影で得られた画像を示す図である。図４（ａ）は、変形処理が行われる前の画像である。

第１領域では、マーカーＭは左下から右上にかけて延びるように映り、第２領域では、マーカーＭは右下から左上にかけて延びるように映る。このように、カメラ２とマーカーＭとの位置や、カメラ２の特性などにより、同一形状のマーカーＭが撮影された場合でも、第１領域に映るマーカーＭの形状と第２領域に映るマーカーＭの形状とが異なる。

そのため、変形部６０は、カメラ２とマーカーＭとの位置や、カメラ２の特性に起因するマーカーＭの形状のずれを低減するために、変形処理を行う。図４に示す一例では、変形部６０は、第２領域を左右反転させる変形処理を行う。図４（ｂ）は、第２領域が左右反転された後の画像である。

変形部６０は、各カメラ２による撮影で得られた各画像の第２領域に対して変形処理を行う。なお、各カメラ２から各マーカーＭまでの距離が異なる場合には、各カメラ２と各マーカーＭとの距離に基づいて、第２領域を拡大または縮小する変形処理が行われる。なお、変形処理は、第１領域および第２領域に行ってもよい。

算出部６１は、第１領域および第２領域から第１局所特徴量および第２局所特徴量を算出する。なお、算出部６１は、変形処理が行われた第２領域から第２局所特徴量を算出する。

具体的には、算出部６１は、第１領域から第１特徴点を抽出し、第１特徴点における第１局所特徴量を算出する。また、算出部６１は、第２領域から第２特徴点を抽出し、第２特徴点における第２局所特徴量を算出する。算出部６１は、第１領域の各第１特徴点における第１局所特徴量および第２領域の各第２特徴点における第２局所特徴量を算出する。算出部６１は、各画像に対し第１局所特徴量および第２局所特徴量を算出する。

検出部６２は、第１局所特徴量と第２局所特徴量とを比較することで、第１領域からマーカーＭを検出し、第２領域からマーカーＭを検出する。

具体的には、検出部６２は、第１領域の或る第１特徴点における第１局所特徴量と最も類似する第２局所特徴量を第２領域から選択する。そして、検出部６２は、第１特徴点と、第１特徴点に対して選択された第２特徴点とを対応点として抽出する。

検出部６２は、各第１特徴点における第１局所特徴量に対し最も類似する第２局所特徴量を選択し、複数の対応点を抽出する。

そして、検出部６２は、第１領域および第２領域に各対応点をプロットし、マップを作成する。検出部６２は、例えば、第１領域および第２領域において、図５に示すように各領域の左下隅を原点とする座標軸（ｘ軸、ｙ軸）を設定し、各対応点をプロットする。図５は、第１領域および第２領域に対応点をプロットした一例を示す図である。図５（ａ）は、第１領域に対応点をプロットした図である。また、図５（ｂ）は、第２領域に対応点をプロットした図である。なお、図５（ｂ）の第２領域は、変形部６０によって左右反転されているものとする。また、図５では第１領域および第２領域において、対応点に同じ符号を付している。

検出部６２は、抽出した対応点において、基準点、例えば、原点からの距離の比が他の対応点の比に対して乖離している場合には、乖離が大きい対応点を除外してプロットする。例えば、図５において、第１領域および第２領域でＦ点となる対応点は、他の対応点であるＡ〜Ｅ点と比較して、原点からの比が大きく異なる。検出部６２は、このような点を対応点から除外してプロットする。

検出部６２は、例えば、各領域の対応点に対して、基準点からの距離を算出し、各対応点における距離の比を算出する。そして、各比が予め設定された所定比よりも大きい対応点を除外する。すなわち、検出部６２は、比が所定比以下の対応点をプロットする。

このように、各対応点を各領域にプロットすることで、各領域でマーカーＭの形状が識別可能となる。検出部６２は、作成したマップに基づき、プロットされた対応点を線分で結んで作成される形状をマーカーＭとして検出する。検出部６２は、第１領域からマーカーＭを検出し、また第２領域からマーカーＭを検出する。

なお、検出部６２は、検出したマーカーＭの形状を比較することで、検出したマーカーＭの形状が一致しているかどうか判定してもよい。例えば、検出部６２は、検出したマーカーＭが設定された所定範囲で近似する場合に、マーカーＭとして検出する。これにより、マーカーＭをより正確に検出することができる。

推定部６３は、検出部６２によって検出したマーカーＭとなる対応点から、予め設定されたマーカー位置情報との視差を算出する。なお、視差は、第１領域と第２領域とにおいてそれぞれ算出される。推定部６３は、第１領域における視差と、第２領域における視差との差が最も小さい対応点を抽出し、カメラパラメータ（カメラ２の設置位置、カメラ２の角度など）を推定する。カメラパラメータは、記憶部７に記憶される。

調整部６４は、推定されたカメラパラメータを用いて、カメラ２の設置位置、カメラ２の角度などを調整し、キャリブレーション処理を行う。

合成部６５は、例えば、車両１０の周囲をモニタ４に表示する全周囲モニタスイッチ（不図示）がＯＮとなった場合に、各カメラ２による撮影で得られた画像を合成し、合成した画像をモニタ４に表示させる。上記したキャリブレーション処理が行われていることで、カメラ２の個体差や取り付け位置の誤差等による合成位置のずれがない画像をモニタ４に表示することができる。

記憶部７は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、または、ＨＤＤ（Hard Disk Drive）、光ディスク等の記憶装置である。

次に、本実施形態のマーカーＭの検出処理について図６を参照し説明する。図６は、本実施形態のマーカーＭの検出処理を説明するフローチャートである。

画像処理装置３は、各カメラ２によって撮影されたマーカーＭを含む画像を取得し（Ｓ１０）、各画像の第２領域に変形処理を行う（Ｓ１１）。

画像処理装置３は、第１領域から第１局所特徴量を算出し、変形処理が行われた第２領域から第２局所特徴量を算出し（Ｓ１２）、第１局所特徴量と第２局所特徴量とが最も類似する第１特徴点と第２特徴点とを対応点として抽出する（Ｓ１３）。

画像処理装置３は、対応点をプロットしてマップを作成し（Ｓ１４）、各領域からマーカーＭを検出する（Ｓ１５）。

画像処理装置３は、各画像からマーカーＭを検出した場合（Ｓ１６；Ｙｅｓ）には処理を終了し、マーカーＭを検出していない画像がある場合（Ｓ１６；Ｎｏ）には、マーカーＭを検出していない画像からマーカーＭを検出する（Ｓ１２〜Ｓ１５）。

次に本実施形態の効果について説明する。

第１領域の第１特徴点における第１局所特徴量と、第２領域の第２特徴点における第２局所特徴量とを算出し、第１局所特徴量と第２局所特徴量とが最も類似する各特徴点を対応点として抽出し、対応点に基づいて第１領域および第２領域からマーカーＭを検出する。

これにより、マーカーＭの特徴量を設定し、マーカーＭの特徴量を予めシステムに記憶させることなく、カメラ２による撮影で得られた画像からマーカーＭを検出することができる。そのため、キャリブレーション処理を実行させるための準備作業が煩雑化することを抑制することができ、作業負荷を低減することができる。また、汎用のマーカーＭを用いてキャリブレーション処理を行うことができ、車両１０ごとにマーカーＭを用意する必要がなく、作業負荷を低減し、コストを抑制することができる。

また、第１領域および第２領域から各局所特徴量を算出し、対応点を抽出することで、画像全体で局所特徴量を算出する場合よりも、マーカーＭの検出を素早く行うことができる。

また、対応点をプロットしたマップからマーカーＭを検出することで、マーカーＭを正確に検出することができる。

また、各領域の対応点に対して、基準点からの距離を算出し、各対応点における距離の比を算出し、比が所定比よりも大きい対応点を除外し、比が所定比以下の対応点をプロットし、マーカーＭを検出する。これにより、マーカーＭを正確に検出することができる。

また、カメラ２とマーカーＭとの位置およびカメラ２の特性に起因するマーカーＭの形状のずれを低減するように、第２領域に変形処理を行うことで、マーカーＭを正確に検出することができる。

次に、上記実施形態の変形例について説明する。

上記実施形態では、対応点をプロットしてマップを作成したが、これに限られることはない。例えば、対応点を表として記憶し、マーカーＭを検出してもよい。

また、検出部６２は、各領域の対応点に対して、基準点、例えば、原点からの距離の差を算出してもよい。そして、差が予め設定された所定差よりも大きい対応点を除外してもよい。

また、検出部６２は、第１領域および第２領域において、マーカーＭが映る基準位置を記憶させて、記憶させた基準位置とのずれが予め設定された所定値以下の対応点に基づいてマーカーＭを検出してもよい。

すなわち、検出部６２は、或る基準位置（基準点）とのずれが予め設定された所定値（所定比、所定差）以下となる対応点に基づいて、マーカーＭを検出する。これにより、マーカーＭを正確に検出することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 全周囲モニタシステム（画像処理システム）
２ カメラ（車載カメラ）
３ 画像処理装置
４ モニタ
５ 取得部
６ 制御部
７ 記憶部
１０ 車両
６０ 変形部
６１ 算出部
６２ 検出部
６３ 推定部
６４ 調整部

Claims (6)

1. 車両の外部に配置されたマーカーを車載カメラによって撮影して得られた画像を取得する取得部と、
   前記画像中に設定された第１領域の第１特徴点における第１局所特徴量と、前記画像中に設定され、かつ前記第１領域とは異なる第２領域の第２特徴点における第２局所特徴量とを算出する算出部と、
   前記第１局所特徴量と前記第２局所特徴量とが最も類似する各特徴点を対応点として抽出し、前記対応点に基づいて前記第１領域および前記第２領域から前記マーカーを検出する検出部と
   を備えることを特徴とする画像処理装置。
2. 前記検出部は、
   前記第１領域および前記第２領域における前記マーカーの基準位置とのずれが所定値以下となる前記対応点に基づいて前記第１領域および前記第２領域から前記マーカーを検出すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記車載カメラと前記マーカーとの位置および前記車載カメラの特性に起因する前記マーカーの形状のずれを低減するように、前記第２領域の画像に変形処理を行う変形部
   をさらに備え、
   前記算出部は、
   前記変形処理が行われた前記第２領域の前記第２特徴点における前記第２局所特徴量を算出すること
   を特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出部は、
   前記対応点をプロットしたマップに基づいて前記第１領域および前記第２領域から前記マーカーを検出すること
   を特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 車両の外部に配置されたマーカーを撮影する車載カメラと、
   前記車載カメラによって撮影して得られた画像を取得する取得部と、
   前記画像中に設定された第１領域の第１特徴点における第１局所特徴量と、前記画像中に設定され、かつ前記第１領域とは異なる第２領域の第２特徴点における第２局所特徴量とを算出する算出部と、
   前記第１局所特徴量と前記第２局所特徴量とが最も類似する各特徴点を対応点として抽出し、前記対応点に基づいて前記第１領域および前記第２領域から前記マーカーを検出する検出部と
   を備えることを特徴とする画像処理システム。
6. 車両の外部に配置されたマーカーを車載カメラによって撮影して得られた画像を取得する取得工程と、
   前記画像中に設定された第１領域の第１特徴点における第１局所特徴量と、前記画像中に設定され、かつ前記第１領域とは異なる第２領域の第２特徴点における第２局所特徴量とを算出する算出工程と、
   前記第１局所特徴量と前記第２局所特徴量とが最も類似する各特徴点を対応点として抽出し、前記対応点に基づいて前記第１領域および前記第２領域から前記マーカーを検出する検出工程と
   を含むことを特徴とする画像処理方法。

Images