JP2016163252A - 視差画像生成装置 - Google Patents

Abstract

【課題】視差画像のノイズの低減を図ること。
【解決手段】視差画像生成装置１は、ステレオカメラ２から取得したステレオ画像を基に画素毎に視差を計算し、画素毎に視差の滑らかさを示す評価値を設定し、評価値を用いて集計値を計算し、計算した集計値が最小となって画素毎の視差の滑らかさを向上させるように初期の視差画像を生成する視差計算部３と、初期の視差画像をクラスタリングすることにより連結領域を算出し、連結領域の境界線から予め定められた画素数の範囲の画素を含む境界線に沿った境界領域を算出する領域計算部４と、境界領域の外の画素においては視差の滑らかさを示す評価値に値Ｐ２を設定し、境界領域内の画素においては評価値に値Ｐ２よりも小さい値Ｐ３を設定ことにより評価値を再設定し、再設定した評価値を基にステレオ画像を用いて視差画像を再生成する視差再計算部５と、を備える。
【選択図】図１

Description

本発明は、視差画像生成装置に関する。

従来から、車両等に搭載されたステレオカメラによって撮像された画像を利用して、ステレオカメラからの物体の距離の情報（奥行情報）を含む視差画像を生成する技術が知られている。例えば、下記特許文献１には、物体輪郭線近傍での視差の急激な変化を推定する装置が記載されている。この装置は、２つの画像の初期視差と信頼性評価値とを計算し、信頼性評価値とエッジ検出結果とを用いて物体輪郭線を抽出し、初期視差の信頼性の低い領域における視差を周囲の視差に対して滑らかに接続するように設定し、かつ、その視差を物体輪郭線においては変化するように決定する。この装置においては、信頼性評価値は初期視差計算で得られた残差平方和、画像のノイズレベル、及び画像の輝度勾配を用いて計算される。

特開２０１４−１７８８３６号公報

しかしながら、上記の特許文献１に記載の装置では、エッジ検出結果や輝度勾配によって物体輪郭線を抽出しているので、同じ物体の平面内にエッジや輝度勾配がある部分が存在する場合には、その部分における滑らかに接続することによるスムージングの効果が下がって視差画像上のノイズ（エラー）が増大してしまう傾向にある。特に、車両の走行環境においては、車両の背面には同じ平面内に複数エッジが存在する場合が多く、その結果、生成される視差画像における車両の位置がノイズで凸凹の誤差を含みやすくなり、従来装置では改善の余地がある。一方で、視差画像全体でスムージングの効果を上げると、物体と背景の境界がぼやけて物体における奥行が背景に広がってしまう可能性がある。例えば、視差画像におけるトラックの背面と背景（空など）との境界付近において、トラックの背面の奥行が背景に向けて広がるように計算され、視差画像のノイズが増大する場合があった。

本発明は、上記課題に鑑みて為されたものであり、視差画像のノイズの低減を図ることが可能な視差画像生成装置を提供することを目的とする。

上記課題を解決するため、本発明の一形態にかかる視差画像生成装置は、ステレオカメラから取得したステレオ画像を基に視差を計算することにより視差画像を生成する視差画像生成装置であって、ステレオ画像を基に画素毎に視差を計算し、画素毎に視差の滑らかさを示す評価値を設定し、評価値を用いて集計値を計算し、計算した集計値が最小となって画素毎の視差の滑らかさを向上させるように初期の視差画像を生成する視差計算部と、初期の視差画像において隣り合う画素の視差の差分が閾値以下である場合に当該画素同士をクラスタリングすることにより連結領域を算出し、連結領域の境界線から予め定められた画素数の範囲の画素を含む境界線に沿った境界領域を算出する領域計算部と、境界領域の外の画素においては視差の滑らかさを示す評価値に第１の値を設定し、境界領域内の画素においては視差の滑らかさを示す評価値に第１の値よりも小さい第２の値を設定することにより視差の滑らかさを示す評価値を再設定し、再設定した視差の滑らかさを示す評価値を基にステレオ画像を用いて視差画像を再生成する視差再計算部と、を備える。

本発明によれば、視差画像のノイズの低減を図ることができる。

本発明の好適な一実施形態に係る視差画像生成装置の構成を示すブロック図である。 図１の境界計算部によって計算された連結領域及び境界領域の視差画像上の範囲を示すイメージ図である。 図１の視差再計算部によって再計算されるスムージングコストの値の一例を示すグラフである。 図１の視差再計算部によって再計算されるスムージングコストの値の他の例を示すグラフである。 図１の視差画像生成装置による視差画像生成処理の手順を示すフローチャートである。 （ａ）は、視差画像生成装置１によって出力された視差画像の一例を示す図、（ｂ）は、（ａ）の視差画像の生成に用いられたステレオ画像の一例を示す図である。

以下、図面を参照しつつ本発明の実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

図１は、本発明の好適な一実施形態に係る視差画像生成装置１の構成を示すブロック図である。視差画像生成装置１は、自動車等の車両に搭載され、車両の周囲を撮像することにより得られた画像から車両からの距離を表す奥行き方向の情報を含む視差画像を生成する装置である。視差画像生成装置１は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read OnlyMemory]、ＲＡＭ[Random Access Memory]等を有する画像処理ユニットである。視差画像生成装置１では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の制御を実行する。視差画像生成装置１は、汎用のコンピュータで実現されていてもよいし、車両専用の電子制御ユニットによって実現されていてもよい。図１に示すように、視差画像生成装置１は、ステレオカメラ２に電気的に接続されており、視差計算部３、領域計算部４、視差再計算部５、及び出力部６を備えている。

ステレオカメラ２は、例えば、車両のフロントガラスの裏側に設けられている。ステレオカメラ２は、車両の外部状況に関する撮像情報を視差画像生成装置１へ送信する。ステレオカメラ２は、両眼視差を再現するように配置された二つの撮像部を有しており、２つの撮像部で撮像した撮像情報をステレオ画像として視差画像生成装置１へ送信する。ステレオ画像とは、同じタイミングで二つの撮像部によってそれぞれ撮像された２枚の画像を意味する。

視差計算部３は、ステレオカメラ２から取得したステレオ画像を基に視差を計算して初期の視差画像を生成する。その際、視差計算部３は、生成する視差画像上の視差の滑らかさを示す評価値であるスムージングコストを用いる既存の視差計算アルゴリズムであるセミグローバルマッチング（Ｓｅｍｉ Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）等の計算アルゴリズムを用いて視差を計算する。そして、視差計算部３は、計算した視差に対応した奥行の情報を含む視差画像を生成する。すなわち、視差計算部３は、生成する視差画像上の各画素毎にスムージングコストを特定し、そのスムージングコストを全画素分集計し、その集計結果の集計値と別途算出するステレオ画像のマッチング度合いを示すマッチングコストを加えたコストを算出する。そして、視差計算部３は、算出したコストがより小さくなるように（最小となるように）、ステレオ画像全体にわたった視差を繰り返し計算する。その際、視差計算部３は、各画素の隣り合う画素との視差の差に対応して複数の値のスムージングコストを特定し、例えば、滑らかさの高い場合には比較的小さな値Ｐ１に設定し、滑らかさの低い（粗い）場合には比較的大きな値Ｐ２（＞Ｐ１）に設定する。具体的には、各画素の隣り合う画素との視差の差が所定閾値（例えば、２画素）未満の場合はスムージングコストを値Ｐ１に設定し、各画素の隣り合う画素との視差の差が所定閾値（例えば、２画素）以上の場合はスムージングコストを値Ｐ２に設定する。このような視差計算部３により、視差画像における各画素における視差から計算される奥行の滑らかさを向上させるように調整することが可能となる。

領域計算部４は、視差計算部３から出力された視差画像を基にその画像上の連結領域及び境界領域の画素位置を算出する。すなわち、領域計算部４は、連結領域の計算手法として、既存のクラスタリング手法である最短距離法、最長距離法、群平均法、ウォード法、ｋ−ｍｅａｎｓ法などを用いて、視差画像を構成する画素を視差に基づいてクラスタリングすることにより連結領域の範囲を算出する。領域計算部４は、例えば、隣り合う画素の視差の差分が閾値以下の場合、これらの隣り合う画素を連結させることで連結領域の範囲を算出する。これにより、領域計算部４は、視差の連続性を捉えることで同一平面であることを示す連結領域を計算することができる。そして、領域計算部４は、連結領域の境界線を特定し、その境界線からその線に垂直な方向に予め定められた画素数の範囲に含まれる境界線に沿った境界領域を算出する。領域計算部４は、画像上の境界領域の範囲を示す情報を視差再計算部５に出力する。

図２は、領域計算部４によって計算された連結領域及び境界領域の視差画像上の範囲を示すイメージ図である。ここでは、同図に示すように、領域計算部４により視差画像Ｇ_１上の矩形の範囲に連結領域ＡＲ_１の位置が算出される場合を想定している。また、領域計算部４は、視差画像上の２次元的な画素位置を、画像の横方向に設定されたＸ軸と画像の縦方向に設定されたＹ軸とで規定される２次元座標（Ｘ，Ｙ）で特定する。この場合、領域計算部４は、連結領域の境界線のうちで縦方向の境界線Ｌ_１の位置（座標）を特定し、その位置からＸ軸方向に画素数±ｒ１の境界線に沿った矩形範囲を境界領域ＡＲ_２の範囲として計算する。なお、領域計算部４は、連結領域の境界線がＹ軸に対して斜めの場合は、その境界線から垂直な方向に予め規定された画素数の境界線に沿った範囲を境界領域として計算してもよいし、Ｘ軸に沿った境界線（図２の境界線Ｌ_２）に対しては、その境界線からＹ軸方向に予め規定された画素数の境界線に沿った範囲を境界領域として計算してもよい。また、境界領域は必ずしも矩形領域として計算される場合には限定されず、連結領域の境界線が曲線の場合は境界領域もその曲線に対応して曲がった帯状の境界線に沿った範囲として計算されてもよい。

視差再計算部５は、領域計算部４によって計算された境界領域の範囲の情報と、ステレオカメラ２から取得したステレオ画像とを基に視差を再計算して視差画像を再生成する。この視差画像の再生成の方法は、次の点を除いては視差計算部３と同様の方法により行われる。すなわち、視差再計算部５は、隣り合う画素との視差の差が所定閾値以上の場合にスムージングコストが値Ｐ２に設定される画素のうち、境界領域に含まれる画素については、その画素のスムージングコストを値Ｐ２ではなく値Ｐ３（＜Ｐ２）に設定する。その結果、視差再計算部５は、境界領域の外の画素にはスムージングコストに値Ｐ２を設定し、境界領域内の画素にはスムージングコストに値Ｐ２よりも小さい値Ｐ３を設定する。さらに、視差再計算部５は、再設定したスムージングコストとその他の画素のスムージングコストを用いて、視差計算部３と同様な手法でコストを計算し、そのコストが最小となるように最終的な視差を再計算する。このとき、視差再計算部５は、スムージングコストが大きい画素では隣り合う画素との間の視差の差が生じることを抑制し、スムージングコストが小さい画素では隣り合う画素との間の視差の差が生じることを許容するようにステレオ画像を用いて視差を繰り返し計算し、繰り返し計算した視差を基に再設定されたスムージングコストを基に最終的な視差画像を再生成する。

図３には、視差再計算部５によって再計算されるスムージングコストの値の一例を示している。視差再計算部５は、領域計算部４によって図２に示すような境界領域ＡＲ_２が計算された場合には、Ｘ軸方向に沿って境界領域ＡＲ_２を跨って位置する画素のスムージングコストＰを、下記式を用いて計算する。なお、図３に示される全画素については隣り合う画素との視差の差が所定閾値以上の場合を想定している。
Ｐ＝Ｐ２， ｉｆ Ｘ_Ｂ−ｒ１＞Ｘ ｏｒ Ｘ＞Ｘ_Ｂ＋ｒ１
Ｐ＝Ｐ３， ｉｆ Ｘ_Ｂ−ｒ１≦Ｘ≦Ｘ_Ｂ＋ｒ１
ここで、上記式中のＸ_Ｂは、図２に示す連結領域ＡＲ_１の縦方向の境界線Ｌ_１のＸ座標値を示す。これにより、境界領域ＡＲ_２内の各画素のスムージングコストが境界領域ＡＲ_２の外の各画素のスムージングコストよりも小さい値に設定される。その結果、視差再計算部５によって再生成される視差画像中において境界領域ＡＲ_２内の視差の差を抑制する効果が境界領域ＡＲ_２の外と比べて下げられる。

図４には、視差再計算部５によって再計算されるスムージングコストの値の他の例を示している。このように、視差再計算部５は、領域計算部４によって図２に示すような境界領域ＡＲ_２が計算された場合に、Ｘ軸方向に沿って境界領域ＡＲ_２を跨って位置する画素のスムージングコストＰを、下記式を用いてＸ軸方向に沿って徐々に変化するように計算することもできる。
Ｐ＝（Ｐ２−Ｐ３）／（１＋ｅｘｐ｛Ｘ−（Ｘ_Ｂ−ｒ１）｝）＋Ｐ３， ｉｆ Ｘ＜Ｘ_Ｂ−ｒ１
Ｐ＝（Ｐ２−Ｐ３）／（１＋ｅｘｐ｛−Ｘ−（Ｘ_Ｂ＋ｒ１）｝）＋Ｐ３， ｉｆ Ｘ≧Ｘ_Ｂ−ｒ１
このようにしても、境界領域ＡＲ_２内の各画素のスムージングコストが境界領域ＡＲ_２の外の各画素のスムージングコストよりも小さい値に設定される。

出力部６は、視差再計算部５によって視差が再計算されることにより再生成された視差画像を取得し、この視差画像を出力する。出力部６は、視差画像を表示させるディスプレイ装置であってもよいし、視差画像を外部に送信する通信デバイスであってもよい。

以下、上述した視差画像生成装置１による視差画像生成の手順を説明する。図５は、視差画像生成装置による視差画像生成処理の手順を示すフローチャートである。

まず、視差画像生成の処理が起動されると、ステレオカメラ２からステレオ画像が視差画像生成装置１に入力される（ステップＳ０１）。それに応じて、視差画像生成装置１の視差計算部３が、入力されたステレオ画像を用いて、スムージングコストを含むコストを計算し、そのコストを最小化するように視差を計算することにより視差画像を生成する（ステップＳ０２）。次に、視差画像生成装置１の領域計算部４が、生成された視差画像を用いて連結領域を計算する（ステップＳ０３）。その後、領域計算部４が、計算した連結領域を基に境界領域を計算する（ステップＳ０４）。さらに、視差画像生成装置１の視差再計算部５は、計算された境界領域の情報を基にスムージングコストを設定し、そのスムージングコストとステレオカメラ２からのステレオ画像を用いて視差を繰り返し計算し、繰り返し計算した視差を基に再設定されたスムージングコストを用いて、最終的な視差画像を再生成する（ステップＳ０５）。最後に、再生成された視差画像が視差画像生成装置１の出力部６によって出力される（ステップＳ０６）。

図６において、（ａ）には、視差画像生成装置１によって出力された視差画像の一例、（ｂ）には、（ａ）の視差画像の生成に用いられたステレオ画像の一例を示している。同図に示すように、視差画像上にトラックの奥行き位置に応じた連結領域（図６（ａ）の点線の領域）が計算されるとともに、その連結領域の縦方向の境界線の付近に境界領域（図６（ａ）の実線の領域）が計算され、境界領域の計算結果を用いて視差画像が生成される。その結果、トラックの境界付近の視差の推定範囲が広がるようなことが防止され、かつ、トラックの背面部分でのノイズの発生も低減されている。

以上説明した視差画像生成装置１によれば、視差画像上での連結領域の境界線を含む境界領域では、隣接画素間の視差の差を許容するように視差が再計算され、境界領域外では、隣接画素間の視差の差を抑制するように視差が再計算されるので、同一平面内にエッジや輝度勾配が存在する場合であってもその同一平面内での視差画像のノイズを低減することができる。加えて、視差画像における物体の視差の奥への広がりも防止することができる。従来技術（特開２０１４−１７８８３６号公報）では、初期視差計算時の残差平方和を用いて視差推定を行っているが、それでは車両の大きさ程度の大域的な不連続抽出処理は不可能である。また、この従来文献では、画像のノイズレベルを用いて視差推定を行っているが、これでは物体の境界を抽出できず、スムージングの効果を上げる処理しかできないため、物体の視差の奥への広がりはスムージングの効果により広がりがちである。これに対して、本実施形態によれば、大域的な対象の不連続抽出処理が可能であり、この処理結果を用いることにより視差推定の広がりも低減できる。

なお、本発明は、上述した実施形態に限定されるものではない。

例えば、上述した実施形態の領域計算部４はクラスタリングにより連結領域を計算していたが、画像処理により障害物等の物体を検出し、その結果検出された物体位置を連結領域の位置として設定してもよい。また、領域計算部４は、レーダー、ライダー等の電磁波により障害物等の物体を検出し、その結果検出された物体位置を連結領域の位置として設定してもよい。

１…視差画像生成装置、２…ステレオカメラ、３…視差計算部、４…領域計算部、５…視差再計算部、ＡＲ_１…連結領域、ＡＲ_２…境界領域、Ｇ_１…視差画像、Ｌ_１…境界線。

Claims (1)

1. ステレオカメラから取得したステレオ画像を基に視差を計算することにより視差画像を生成する視差画像生成装置であって、
   前記ステレオ画像を基に画素毎に視差を計算し、前記画素毎に視差の滑らかさを示す評価値を設定し、前記評価値を用いて集計値を計算し、計算した前記集計値が最小となって前記画素毎の前記視差の滑らかさを向上させるように初期の前記視差画像を生成する視差計算部と、
   前記初期の視差画像において隣り合う画素の視差の差分が閾値以下である場合に当該画素同士をクラスタリングすることにより連結領域を算出し、前記連結領域の境界線から予め定められた画素数の範囲の画素を含む前記境界線に沿った境界領域を算出する領域計算部と、
   前記境界領域の外の画素においては前記評価値に第１の値を設定し、前記境界領域内の画素においては前記評価値に第１の値よりも小さい第２の値を設定することにより前記評価値を再設定し、再設定した前記評価値を基に前記ステレオ画像を用いて前記視差画像を再生成する視差再計算部と、
   を備える視差画像生成装置。