JP2020128955A - 画像処理装置 - Google Patents

Abstract

【課題】画素毎の測定値の信頼度を評価できる画像処理装置を提供する。【解決手段】画像蓄積部３３０は、少なくとも画像Ｉ０（第１画像）と画像Ｉ１（第２画像）を蓄積する。オフセット付与部３９１は、画像Ｉ１（第２画像）に縦方向のオフセットを付与する。移動量算出部３４０（測定値算出部）は、オフセットを付与する前後において画像Ｉ０（第１画像）の画素とそれに対応する画像Ｉ１（第２画像）の画素から移動量（測定値）を算出する。移動量の差算出部３６０（差分算出部）は、オフセットを付与する前後の移動量（測定値）の差分を算出する。信頼度算出部３７０は、移動量（測定値）の差分から画素毎の信頼度を算出する。【選択図】図３

Description

本発明は、画像処理装置に関する。

本技術分野の背景技術として、特許文献１がある。この公報には、課題として「本回路規模および演算時間の増大を招くことなくキャリブレーションずれを再補正する。」と記載され、解決手段として、「キャリブレーションによって補正された左右のカメラステレオ平行化後画像間のずれ量を、キャリブレーションずれ再補正部１５を含む対応点探索部９による対応点の探索処理中において、キャリブレーションずれ再補正部１５によるキャリブレーションずれ再補正処理で得られるデータを用いて再補正する。こうして、距離計測装置１における内部ハードウェアの回路規模および演算時間を増大させることなく計測精度を高めることができる。また、上記右カメラステレオ平行化後画像を上下にずらして、左右のカメラステレオ平行化後画像の上下方向のずれを再補正する。こうして、問題になり易い上下方向のキャリブレーションずれを低減することができる。その際に、対応点の探索を行う際の右カメラステレオ平行化後画像の最適位置を確実に見出すことができる。」と記載されている。

特開２０１３−１１３６００号公報

前記特許文献１では、「左カメラステレオ平行化後画像における注目する画素領域の全画素に占める対応点が見出された画素の割合(％)を上記認識率として算出する」と記載され、この認識率が最大になるように上下のずれを補正すると述べているが、画素毎に信頼度を算出できない課題がある。また、画像の模様によっては認識率が高くても誤差を含んでしまう課題がある。

本発明の目的は、画素毎の測定値の信頼度を評価できる画像処理装置を提供することにある。

上記目的を達成するために、本発明は、少なくとも第１画像と第２画像を蓄積する画像蓄積部と、前記第２画像に縦方向のオフセットを付与するオフセット付与部と、前記オフセットを付与する前後において前記第１画像の画素とそれに対応する前記第２画像の画素から測定値を算出する測定値算出部と、前記オフセットを付与する前後の前記測定値の差分を算出する差分算出部と、前記測定値の差分から画素毎の信頼度を算出する信頼度算出部と、を備える。

本発明によれば、画素毎の測定値の信頼度を評価できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ステレオカメラに垂直方向ずれが生じた場合の視差誤差に関する説明図である。 車両制御システムの構成を示す説明図である。 第１の実施例の画像処理装置の構成を示す説明図である。 第２〜３の実施例の画像処理装置の構成を示す説明図である。 第４〜５の実施例の画像処理装置の構成を示す説明図である。 第１〜５の実施例の画像処理装置の処理を示すフローチャートである。

以下、図面を用いて、本発明の第１〜第５の実施例による画像処理装置を含むシステムの構成及び動作について説明する。

（視差誤差と距離誤差）
初めに、図１を用いて、垂直方向ずれが生じたステレオカメラシステムによって撮像された斜線状の対象物の視差誤差及び距離誤差について説明する。

対象の三次元位置を推定する手段として、ステレオカメラシステムが良く知られている。ステレオカメラシステムは、カメラを複数の位置に配置して同一対象物を異なる複数の視点から撮像し、得られた画像における見え方のずれ、すなわち視差から対象物体までの距離を算出する。2台のカメラを用いた一般的なステレオカメラシステムでは、この変換は以下の数式（１）で表される。

ここで、Z[mm]は対象物体までの距離、f[mm]は焦点距離、w[mm/px]は画素ピッチ、B[mm]はカメラ間の距離（基線長）、D[px]は視差を表す。

視差を算出するにあたっては、複数の位置（視点）から撮像された画像を水平に並べ、左画像内の特定の点に対して右画像内で同一の点が撮像されている位置を探索する。この探索を効率よく実施するため、一般には平行化処理を事前に実施する。

平行化とは、画像の縦方向の位置合わせを意味する。すなわち、左右画像で同一の点は同一の高さに撮像されているよう画像を校正する処理である。平行化された画像では、対応点を探索する際に、ある横一列のみを探索すればよく、処理効率が高い。しかしながら、組み立て時の誤差や経年劣化によって平行化するためのパラメタに変化が生じ、平行化処理を実施した左右画像であっても垂直方向にずれを有することがある。このとき、特に斜め方向の直線が撮像されているような領域においては、異なる高さに良く似たテクスチャが撮像されているため、誤った対応点を検出し三次元位置に誤差が生じてしまう。

図１は、垂直方向にdj[px]のずれを生じたときの視差誤差dD[px]の説明図である。左画像100LAと右画像100RAは高さずれが発生していない場合を示す。左画像100LAにおける探索対象121に対して、同一の物体が撮像されている位置を右画像100RAから探索してマッチングしたマッチング対象122との画像位置のずれ量を視差として得る。

一方、左画像100LBと右画像100RBは高さずれが発生した場合を示す。同様の探索対象121に対してマッチング対象123との画像位置のずれ量を視差として得る。このとき122と123の位置のずれが視差誤差dD[px]として発生する。水平に対する直線の傾きをθ[rad]とすれば、視差誤差dDは以下の数式（２）で表される。

すなわち、ある垂直ずれdjが発生したとき、視差誤差dDは直線の傾きθの関数となり、θが0に近づく、すなわち水平に近づくほどdDは大きくなることがわかる。

また、ここで数式（１）より、視差誤差dDが発生したときの距離誤差dZ[mm]は以下の数式（３）で表される。

f,B,wはカメラによって固定であるから、視差誤差dDに伴う距離誤差dZは、視差Dが小さいほど大きくなることがわかる。一方で、dDに対してDが十分に大きい場合にはdZは小さくなるため、物体の検知や測距に対する影響は無視できる。

以上ステレオカメラシステムの場合について説明したが、これは１つのカメラで時刻の異なる２枚の画像の対応する点を算出するシステムについても同様である。

［第１の実施例］（単眼カメラの例）
以下、図面を用いて実施例を説明する。

まず、図２を用いて物体検知装置を搭載したカメラを用いた車両制御システムの概要を説明する。なお、図２は車両２００を横から見たときの模式図であり、カメラ２０１（単眼カメラ）、ステアリング２０４（操舵アクチュエータ、舵角センサ等を含む）及び車輪２０５（ブレーキアクチュエータ、駆動機構等を含む）が車両制御部２０２に接続されている。

車両２００にカメラ２０１が搭載される。カメラ２０１には物体検知装置が搭載されており、例えば前方の物体２１０（例えば、電信柱）までの距離や相対速度を計測して車両制御部２０２に送信する。車両制御部２０２は受け取った距離や相対速度からブレーキやアクセル、ステアリングを制御する。

次に、図３を用いて画像処理装置３００の概要を説明する。

図３は本発明の第１の実施例における画像処理装置３００の構成を示す。画像処理装置３００は、ＣＰＵ３１０、メモリ３２０、画像入力部３９０、画像蓄積部３３０、移動量算出部３４０、移動量の差算出部３６０、信頼度算出部３７０、物体検知部３８０、オフセット付与部３９１、外部出力部３５０で構成される。

なお、画像入力部３９０、画像蓄積部３３０、移動量算出部３４０、移動量の差算出部３６０、信頼度算出部３７０、物体検知部３８０、オフセット付与部３９１、及び外部出力部３５０は、一例として、ＦＰＧＡ(Field Programmable Gate Array)等の論理回路で構成される。

画像入力部３９０は、外部の映像データ出力装置（図示せず）が出力したデータを入力するためのインターフェースである。画像入力部３９０で入力されたデータは、メモリ３２０に格納される。本実施例では連続的に画像が転送される場合を想定しており、画像蓄積部３３０は入力された画像を時系列に蓄積する。

オフセット付与部３９１は、入力された画像に対して画像の位置を移動させる画像処理を行い、画像蓄積部３３０には、オフセット付与部３９１で画像処理された画像も格納する。

移動量算出部３４０は画像蓄積部３３０に蓄積された時刻の異なる２枚の画像に対して画素毎または部分領域毎に対応点を探索し、画像上の移動量を算出する。算出する方法として、例えば、オプティカルフローと呼ばれる手法が知られている。

移動量の差算出部３６０は、時刻Ｔ０の画像Ｉ０と、時刻Ｔ１のオフセット付与されていない画像Ｉ１と、時刻Ｔ１の上記オフセット付与部３９１でオフセットが付与された画像Ｉ２のうち、Ｉ０とＩ１を用いて移動量算出部３４０で生成されたフローと、Ｉ０とＩ２を用いて生成されたフローとの移動量の差分を求める。

信頼度算出部３７０は、移動量算出部３４０で生成されたフローの移動量の差分と付与されたオフセットをキャンセルした結果、差分が大きい画素は信頼度が低く、差分が小さい画素は信頼度が高いとして信頼度を出力する。

物体検知部３８０は、オフセット付与部３９１がオフセットを付与していない場合における移動量算出部３４０の出力結果と信頼度算出部３７０の出力結果に基づいて、信頼度の高い画素であって、移動量の大きい画素をグルーピングすることで物体を検出する。

この時、信頼度の高い画素を用いることで誤検出の少ない物体検知が可能になる。また、信頼度の低い画素を含めてグルーピングし、移動量の大きさを求める際には信頼度の高い画素だけ使用すると、もれなく物体検出することができる一方で、移動量は正確に求めることが可能である。このように、移動量と信頼度を画素毎に求めることで物体検出の検出率と物体の移動方向の推定精度を両立させることができる。

外部出力部３５０は、物体検知部３８０で検出した物体の位置と移動方向を出力する。外部出力部３５０の出力結果を車両の制御に利用すると、衝突可能性の高い物体に対して、衝突までの時間と距離からブレーキ操作やハンドル操作を制御して衝突を回避する制御をおこなうことができる。

このように、車両の衝突回避のために利用する場合、より正確に物体の位置や移動方向を予測する必要があり、特に移動方向の予測を誤ると必要のないブレーキ操作につながる恐れがあり危険である。したがって移動方向の予測には高精度な移動量の算出が必要である。

次に、図６を用いて、本実施例の画像処理装置３００の動作を説明する。なお、画像蓄積部３３０は、少なくとも画像Ｉ０（第１画像）と画像Ｉ１（第２画像）を蓄積する。

オフセット付与部３９１は、画像Ｉ１（第２画像）に縦方向のオフセットを付与する（Ｓ１０）。移動量算出部３４０（測定値算出部）は、オフセットを付与する前後において画像Ｉ０（第１画像）の画素とそれに対応する画像Ｉ１（第２画像）の画素から移動量（測定値）を算出する（Ｓ１５）。移動量の差算出部３６０（差分算出部）は、オフセットを付与する前後の移動量（測定値）の差分を算出する（Ｓ２０）。信頼度算出部３７０は、移動量（測定値）の差分から画素毎の信頼度を算出する（Ｓ２５）。

これにより、画素毎の測定値の信頼度を評価できる。また、斜め形状に起因する誤差の大きい測定値が関連付けられた画素を検出することもできる。

本実施例では、画像Ｉ０（第１画像）及び画像Ｉ１（第２画像）は、単眼カメラで撮像された時系列（時刻Ｔ１、Ｔ２）の画像である。移動量算出部３４０（測定値算出部）は、画素毎の移動量を測定値として算出する。これにより、画素毎の移動量の信頼度を評価できる。また、誤差の大きい移動量が関連付けられた画素を検出することができる。

上記した本実施例によれば、オフセットを付与することによって移動量が正しく算出できない不安定な領域を検出でき、不安定な領域を除いて移動量を算出することで、精度の高い移動量算出を行うことができる。

［第２の実施例］（ステレオカメラの例）
ステレオカメラによる障害物検知システムを例に説明する。本実施例は、第１の実施例で説明した図２のカメラ２０１がステレオカメラになった場合の例である。

図４は本発明の第２の実施例における画像処理装置の構成を示す。

画像処理装置４００は、ＣＰＵ４１０、メモリ４２０、画像入力部４９０、平行化部４３０、視差算出部４４０、視差の差算出部４６０、信頼度算出部４７０、物体検知部４８０、オフセット付与部４９１、外部出力部４５０で構成される。

画像入力部４９０は、外部の映像データ出力装置（図示せず）が出力したデータを入力するためのインターフェースである。ステレオカメラの場合、左右が同一の時刻で撮影されるように同期された映像が入力されると、距離をより正確に求めることができる。

画像入力部４９０で入力されたデータは、メモリ４２０に格納される。平行化部４３０は、入力された左右画像が平行になるように、取付位置やレンズによるひずみなどを補正する処理を行う。

オフセット付与部４９１は平行化部４３０の補正量に対して鉛直方向にオフセットを付与する。平行化部４３０は、オフセット付与部４９１でオフセットが付与された複数の画像とオフセットが付与されない画像を生成する。オフセット付与は左右画像のうち片方の画像にのみ行い、意図的に片方の画像をずらすことを想定している。ここでは、オフセットの種類として、正負の２種類のオフセットを付与した例を説明する。

視差算出部４４０は上記オフセットが付与された複数の画像と付与されていない画像をそれぞれ処理し、視差を算出する。

本実施例では、左画像（第１画像）及び右画像（第２画像）は、ステレオカメラで撮像された一対の画像である。視差算出部４４０（測定値算出部）は、画素毎の視差を測定値として算出する。信頼度算出部４７０は、視差（測定値）の差分から画素毎の信頼度を算出する。これにより、画素毎の視差の信頼度を評価できる。また、斜め形状に起因する誤差の大きい視差が関連付けられた画素を検出することができる。

視差の差算出部４６０は、前記視差算出部４４０が出力した、オフセットが付与された画像と、オフセットが付与されていない画像を比較し、視差の差分を画素毎に求める。視差の差算出部４６０の出力結果の例として、この比較画像の視差のばらつきを出力するか、視差の差分の和を出力するかなどがある。

信頼度算出部４７０は視差の差算出部４６０が出力した結果に基づいて、差分画像の分散を画素毎に求め信頼度として出力する。視差の分散が大きいものは信頼度が低く、分散が小さいものは信頼度が高い。ここでは分散を求める例を示したが、視差の差分の絶対値和などでもよく、オフセットを付与しても視差が変わらない画素は信頼度が高く、オフセットを付与すると視差が変わる画素は信頼度が低いことを表す指標であればよい。

すなわち、信頼度算出部４７０は、視差（測定値）の分散又は視差（測定値）の差分の絶対値和から画素毎の信頼度を算出する。これにより、画素毎の信頼度の信頼性を向上することができる。なお、信頼度算出部４７０は、画素に対応する対象物までの距離（測定値）の分散又は距離（測定値）の差分の絶対値和から画素毎の信頼度を算出してもよい。これにより、画素毎の距離の信頼度を評価できる。ここで、測定値（移動量、視差、距離等）の差分が大きいほど、信頼度は小さい。これにより、測定値の差分に応じて画素毎の測定値の信頼度を評価できる。

物体検知部４８０は、視差算出部４４０でオフセットが付与されていない画像を用いて３次元のグルーピング処理を実施して物体を検出する。この時、信頼度算出部４７０が出力する結果を参照して、信頼度の高い視差データのみ使ってグルーピングする処理を行うことで、誤検出を防止することができる。

すなわち、物体検知部４８０は、信頼度が閾値を超える視差（測定値）を用いてグルーピングを行い、物体を検知する。これにより、物体の誤検知を防止することができる。

［第３の実施例］（オフセットを周期的に付与する例）
第２の実施例の画像処理装置４００では、オフセット付与部４９１によりオフセットが複数指定され、平行化部４３０がオフセットを付与していない画像と付与された画像それぞれを生成し、それぞれ視差算出部４４０で視差を算出していた。第３の実施例では、オフセットを付与する、しないを時系列に対して周期的に切り替えて実施する例を示す。

すなわち、本実施例では、オフセット付与部４９１は、周期的にオフセットを付与する。信頼度算出部４７０は、対象領域における視差（測定値）の分散の時系列変動を信頼度として出力する。これにより、対象領域の測定値の信頼度を評価することができる。

物体検知部４８０は、正のオフセットが付与された視差画像、オフセットが付与されていない視差画像、負のオフセットを付与された視差画像を時系列に３次元グルーピング処理をする。グルーピングしたときにした結果が安定しているときは信頼度が高く、グルーピングした結果が不安定な時には信頼度が低いとする。ここで、安定とは、たとえば自動車のように大きさが時系列で変化しにくい対象を検知している場合、大きさが同じ場合を安定、大きさが時系列で変化する場合は不安定という意味である。

このように視差画像を作成する際の片方の平行化画像に時系列にオフセットを乗せることでも物体検知したものが誤検出しているかどうかを判断することができ、視差画像を作成する処理が１フレームにつき１回で済むため計算量を増やすことなく実現できる。

［実施例４］（画像診断部の例）
図５について説明する。本実施例では、第２の実施例の構成に加えて画像診断部５０１を備える。画像診断部５０１について説明する。入力画像に対する信頼度算出部４７０の信頼度がいくつになるかを事前に計測しておき、その閾値をあらかじめ保持しておく。画像診断部５０１は信頼度算出部４７０が出力した結果（信頼度）と前記閾値に基づいて、信頼度が閾値を超過した場合、外部出力部４５０から異常を通知する。

すなわち、画像診断部５０１は、対象領域の視差（測定値）の分散が閾値を超えた場合、対象領域の視差（測定値）が異常であると診断する。これにより、対象領域の視差（測定値）の異常を判定することができる。

異常が通知された場合は、車両制御システムは異常状態を運転手に通知し、ブレーキ制御や操舵制御を中止し、誤動作を防ぐことができる。前記閾値に対する前記信頼度の余裕度に応じて段階的にシステムを停止することで、操舵操作は停止し、緊急ブレーキなどは制御を継続するといった制御が可能になり、利便性と信頼性を両立することができる。

［実施例５］（レンズ歪みを検出する例）
第４の実施例において、特定のシーンに対する信頼度算出部４７０の信頼度がいくつになるかを事前に計測しておき、その閾値をあらかじめ保持しておく。

特定のシーンで再度撮影したときに、信頼度に差異があった場合、鉛直ずれ以外のずれが発生したことを検出できる。

これにより、カメラが鉛直方向にずれたのかそれ以外の要因でずれたのかを分離することができ、画像の補正量をより正確に求めることができる。また、鉛直方向のずれやそれ以外の要因でのずれのそれぞれに異常判定の閾値を設けることで、意図しない構造ずれに対して異常判断をし、鉛直ずれに対しては判断を保留するなど、より緻密な診断をすることができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

なお、本発明の実施例は、以下の態様であってもよい。

（１）．画像にオフセットを付加するオフセット付加部と、時系列の前記画像の画素毎の移動量を算出する移動量算出部と、オフセット量に基づいて前記画素毎の信頼度を算出する信頼度算出部と、を備えることを特徴とする画像処理装置。

（２）．画像を得る複数の撮像部と、前記画像から視差を算出する視差算出部と、前記視差算出の際に鉛直方向のオフセットを付加するオフセット付加部と、前記視差の差分を算出する差分算出部と、前記視差の差に基づいて信頼度を算出する信頼度算出部と、を備えることを特徴とする画像処理装置。

（３）．（１）、（２）において、前記オフセット付加部は、周期的に前記オフセットを付与して、特定エリアの距離または移動量の分散を算出して、前記信頼度算出部は、前記分散の時系列変動を前記信頼度として出力することを特徴とする画像処理装置。

（４）．（１）から（３）において、画像診断部を備え、前記オフセット付加部に付加するオフセット量と、特定エリアの距離または移動量の分散を算出して、特定エリアの距離または移動量があらかじめ保持する閾値を超えた場合、前記画像診断部が異常を検出することを特徴とする画像処理装置。

２１０…物体（電信柱）
２００…車両（自動車）
３００、４００、５００…画像処理装置

Claims (9)

1. 少なくとも第１画像と第２画像を蓄積する画像蓄積部と、
   前記第２画像に縦方向のオフセットを付与するオフセット付与部と、
   前記オフセットを付与する前後において前記第１画像の画素とそれに対応する前記第２画像の画素から測定値を算出する測定値算出部と、
   前記オフセットを付与する前後の前記測定値の差分を算出する差分算出部と、
   前記測定値の差分から画素毎の信頼度を算出する信頼度算出部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記第１画像及び前記第２画像は、
   単眼カメラで撮像された時系列の画像であり、
   前記測定値算出部は、
   画素毎の移動量を前記測定値として算出する
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記第１画像及び前記第２画像は、
   ステレオカメラで撮像された一対の画像であり、
   前記測定値算出部は、
   画素毎の視差を前記測定値として算出する
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記オフセット付与部は、
   周期的に前記オフセットを付与し、
   前記信頼度算出部は、
   対象領域における前記測定値の分散の時系列変動を前記信頼度として出力する
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記対象領域の前記測定値の分散が閾値を超えた場合、前記対象領域の前記測定値が異常であると診断する画像診断部を備える
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記信頼度算出部は、
   前記測定値の分散又は前記測定値の差分の絶対値和から画素毎の前記信頼度を算出する
   ことを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記測定値は、
   画素に対応する対象物までの距離である
   ことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置であって、
   前記測定値の差分が大きいほど、前記信頼度は小さい
   ことを特徴とする画像処理装置。
9. 請求項３に記載の画像処理装置であって、
   前記信頼度が閾値を超える測定値を用いてグルーピングを行い、物体を検知する物体検知部を備える
   ことを特徴とする画像処理装置。

Images