JP2003303337A

JP2003303337A - 画像補正装置および画像補正方法

Info

Publication number: JP2003303337A
Application number: JP2002110245A
Authority: JP
Inventors: Tsutomu Tanzawa; 勉丹沢
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2002-04-12
Filing date: 2002-04-12
Publication date: 2003-10-24
Anticipated expiration: 2022-04-12
Also published as: JP4172684B2

Abstract

(57)【要約】【課題】ステレオ画像処理によって特定される三次元空
間と、実空間との位置的なずれを補正する。【解決手段】ステレオカメラ２は、水平面に対してカメ
ラの視軸が傾いた状態で取り付けられており、一対の画
像データを出力する。ステレオ画像処理部６は、一対の
画像データに基づいて、ステレオマッチングにより視差
を算出し、一フレーム相当の画像データに関する視差群
と画像平面上の座標位置とが対応付けられた距離データ
を出力する。角度検出部７は、水平面とカメラの視軸と
がなす傾き角を検出する。視差補正部９は、角度検出部
７によって検出された傾き角に基づいて、座標位置毎の
視差変換パラメータを算出し、算出された視差変換パラ
メータに基づいて、距離データを構成する個々の視差の
値を補正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、俯角付ステレオカ
メラの画像補正装置および画像補正方法に関する。

【０００２】

【従来の技術】近年、ステレオカメラを用いた監視シス
テムが注目・実用化されている。この類の監視システム
では、一対の撮像画像に写し出された同一対象物に関す
る位置的なずれ量（すなわち視差）を、ステレオマッチ
ングを用いて算出する。画像に写し出された対象物の実
空間上の位置は、対象物に関して算出された視差と、そ
の画像平面上の位置とに基づいて、周知の座標変換式よ
り算出可能である。

【０００３】一般に、所定の傾き角（水平面を基準とし
た上下方向の傾きの度合い）のカメラを用いて垂直な壁
面（横長の矩形）を撮像した場合、この壁面は、歪んだ
形状で写し出される。これは、カメラの光学的性質によ
るもので、同じ幅の壁面を撮影した場合であっても、カ
メラに近接した部位ほど大きく写るからである。そこ
で、このような光学的性質を解消し、自然な撮像画像を
得る方法は、例えば、特開平５−９１４０９号公報など
に「あおり補正」として提案されている。

【０００４】従来の監視システムでは、ほとんど傾きの
ない状態（俯角＝0）でステレオカメラを使用するのが
一般的であり、この場合、上述した画像の歪みはわずか
である。そのため、通常は、この画像の歪みを無視、す
なわち、傾き角（俯角）＝0として処理を実行してい
る。かかる状態のステレオカメラを用いて垂直に起立し
た壁面を撮影した場合、壁面に関して算出される視差の
値は一様になる。その結果、実空間上におけるステレオ
カメラから壁面までの距離も一様になる。

【０００５】

【発明が解決しようとする課題】ところで、カメラ配置
に自由度を与えるという観点からすれば、ステレオカメ
ラの傾き角を0度に限定することは好ましくない。しか
しながら、俯角付ステレオカメラで上述した壁面を撮影
した場合、この壁面に関する視差は壁面部位毎に異な
る。その結果、実空間上におけるステレオカメラから壁
面までの距離も一様にはならない。そのため、従来の処
理手法では、俯角付ステレオカメラを用いた場合、対象
物の認識を正確に行うことが困難であった。

【０００６】上述した「あおり補正」をステレオ画像処
理に適用することで、傾き角にともなう欠点を解決する
ことも考えられる。この場合、撮像素子上の画像を二次
元的に補正することは可能であるが、この技術を三次元
情報（すなわち、視差）を有する画像を取り扱うステレ
オ画像処理に適用しても、完全に画像の補正を行うこと
はできない。

【０００７】本発明は、このような事情に鑑みてなされ
たものであり、その目的は、ステレオ画像処理によって
特定される三次元空間と、実空間との位置的なずれを補
正することである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
めに、第１の発明は、俯角付ステレオカメラの画像補正
装置を提供する。ステレオカメラは、水平面に対してカ
メラの視軸が傾いた状態で取り付けられており、一対の
画像データを出力する。ステレオ画像処理部は、一対の
画像データに基づいて、ステレオマッチングにより視差
を算出し、一フレーム相当の画像データに関する視差群
と画像平面上の座標位置とが対応付けられた距離データ
を出力する。角度検出部は、水平面とカメラの視軸とが
なす傾き角を検出する。視差補正部は、角度検出部によ
って検出された傾き角に基づいて、座標位置毎の視差変
換パラメータを算出し、算出された視差変換パラメータ
に基づいて、距離データを構成する個々の視差の値を補
正する。

【０００９】ここで、第１の発明において、角度検出部
によって検出された傾き角に基づいて、座標位置毎の位
置変換パラメータを算出し、算出された位置変換パラメ
ータに基づいて、距離データの座標位置を幾何学的に補
正する位置補正部をさらに設けてもよい。この場合、位
置補正部による補正によって、ある座標位置において視
差の欠落が生じた場合、欠落が生じた座標位置の視差を
周囲の視差に基づいて補間する補間部をさらに設けるこ
とが好ましい。

【００１０】また、第１の発明において、上記位置補正
部は、位置変換パラメータに基づいて、画像データの座
標位置を幾何学的に補正することが好ましい。

【００１１】また、第１の発明において、上記角度検出
部は、画像データを解析することで消失点を検出し、消
失点の位置に基づいて、傾き角を検出してもよい。

【００１２】第２の発明は、俯角付ステレオカメラの画
像補正方法を提供する。かかる補正方法は、以下に示す
ステップを有する。第１のステップは、水平面に対して
カメラの視軸が傾いた状態で取り付けられたステレオカ
メラで景色を撮像することにより、一対の画像データを
得る。第２のステップは、一対の画像データに基づい
て、ステレオマッチングにより視差を算出し、一フレー
ム相当の画像データより得られた視差群と画像平面上の
座標位置とが対応付けられた距離データを出力する。第
３のステップは、水平面とカメラの視軸とがなす傾き角
を検出する。第４のステップは、検出された傾き角に基
づいて、座標位置毎の視差変換パラメータを算出する。
第５のステップは、算出された視差変換パラメータに基
づいて、距離データを構成する個々の視差の値を補正す
る。

【００１３】ここで、第２の発明において、検出された
傾き角に基づいて、座標位置毎の位置変換パラメータを
算出する第６のステップと、算出された位置変換パラメ
ータに基づいて、距離データの座標位置を幾何学的に補
正する第７のステップとをさらに設けてもよい。この場
合、距離データの座標位置の補正によって、ある座標位
置において視差の欠落が生じた場合、欠落が生じた座標
位置の視差を周囲の視差に基づいて補間する第８のステ
ップをさらに設けることが好ましい。

【００１４】

【発明の実施の形態】図１は、本実施形態にかかるステ
レオ式監視システムのブロック図である。ステレオ式監
視システム１は、車両等の移動体または静止した部材に
取り付けられたステレオカメラ２を有する。このステレ
オカメラ２は、水平面を基準とし、この水平面に対して
視軸が傾いた状態で取り付けられている俯角付のステレ
オカメラである。ステレオカメラ２の俯角に相当する傾
き角αは、固定であってもよいし、可変であってもよ
い。傾き角αを可変にする場合、ステレオカメラ２は、
その視軸が上下方向に変化するような回動可能なカメラ
台に取り付けられる。

【００１５】ステレオカメラ２は、所定の間隔（カメラ
基線長）で配置された一対のカメラ２ａ，２ｂを有して
おり、それぞれのカメラ２ａ，２ｂには、ＣＣＤやＣＭ
ＯＳセンサ等のイメージセンサが内蔵されている。メイ
ンカメラ２ａは、ステレオ画像処理を行う際に必要な基
準画像（右画像）を撮像し、サブカメラ２ｂは、比較画
像（左画像）を撮像する。互いの同期が取れている状態
において、カメラ２ａ，２ｂから出力された各アナログ
画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階
調（例えば、256階調のグレースケール）のデジタル画
像に変換される。デジタル化された画像は、画像補正部
５において、輝度の補正や画像の幾何学的な変換等が行
われる。通常、一対のカメラ２ａ，２ｂの取付位置は、
程度の差はあるものの誤差が存在するため、それに起因
したずれが左右の画像に生じている。このずれを補正す
るために、アフィン変換等を用いて、画像の回転や平行
移動等の幾何学的な変換が行われる。

【００１６】このような画像処理を経て、メインカメラ
２ａより基準画像データが得られ、サブカメラ２ｂより
比較画像データが得られる。これらの画像データは、個
々に設定された有効画像領域内に含まれる各画素の輝度
値（0〜255）の集合である。画像平面におけるｉ−ｊ座
標系は、画像の左下隅を原点として、水平方向をｉ座標
軸、垂直方向をｊ座標軸とする。一画像の最小表示単位
である一フレーム相当の両画像データは、後段のステレ
オ画像処理部６と、後段の補正処理部８（正確には位置
補正部１０）とに出力される。

【００１７】ステレオ画像処理部６は、基準画像データ
と比較画像データとに基づいて、一フレーム相当の撮像
画像に関して、距離データを算出する。ここで、「距離
データ」とは、一フレーム相当の撮像画像より算出され
る視差ｄの集合であり、個々の視差ｄは画像平面上の位
置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄ
は、基準画像の一部を構成する所定面積（例えば、4×4
画素）の画素ブロック毎に１つ算出される。例えば、基
準画像が200×512画素で構成されている場合、一フレー
ム相当の撮像画像から、画素ブロックＰＢijの個数相当
（50×128個）の視差群が算出され得る。周知のよう
に、視差ｄは、その算出単位である画素ブロックＰＢij
に関する水平方向のずれ量であり、画素ブロックＰＢij
に写し出された対象物までの距離と大きな相関がある。
すなわち、画素ブロックＰＢij内に写し出されている対
象物がカメラ２ａ、２ｂに近いほど、この画素ブロック
ＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄ
は小さくなる（無限に遠い場合、視差ｄは0になる）。

【００１８】ある画素ブロックＰＢij（相関元）に関す
る視差ｄを算出する場合、この画素ブロックＰＢijの輝
度特性と相関を有する領域（相関先）を比較画像におい
て特定する。上述したように、カメラ２ａ，２ｂから対
象物までの距離は、基準画像と比較画像との間における
水平方向のずれ量として現れる。したがって、比較画像
において相関先を探索する場合、相関元となる画素ブロ
ックＰijのｊ座標と同じ水平線（エピポーラライン）上
を探索すればよい。ステレオ画像処理部６は、相関元の
ｉ座標を基準に設定した所定の探索範囲内において、エ
ピポーラライン上を一画素ずつシフトしながら、相関元
と相関先の候補との間の相関性を順次評価する（ステレ
オマッチング）。そして、原則として、最も相関が高い
と判断される相関先（相関先の候補の内のいずれか）の
水平方向のずれ量を、その画素ブロックＰＢijの視差ｄ
とする。

【００１９】２つの画素ブロックの相関は、例えば、シ
ティブロック距離ＣＢを算出することにより評価するこ
とができる。数式１は、シティブロック距離ＣＢの基本
形を示す。同数式において、ｐ１ijは一方の画素ブロッ
クのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画
素ブロックのｉｊ番目の輝度値である。シティブロック
距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対
の差（絶対値）の画素ブロック全体における総和であっ
て、その差が小さいほど両画素ブロックの相関が大きい
ことを意味している。

【数１】ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜

【００２０】基本的に、エピポーラライン上に存在する
画素ブロック毎に算出されたシティブロック距離ＣＢの
うち、その値が最小となる画素ブロックが相関先と判断
される。このようにして特定された相関先と相関元との
間のずれ量が視差ｄとなる。なお、シティブロック距離
ＣＢを算出するステレオ画像処理部６のハードウェア構
成については、特開平５−１１４０９９号公報に開示さ
れているので、必要ならば参照されたい。このような処
理を経て算出された距離データ（ｉ，ｊ，ｄ）は、補正
処理部８（正確には視差補正部９）に出力される。

【００２１】角度検出部７は、取り付けられたステレオ
カメラ２の傾き角αを検出する。ステレオカメラ２が回
動可能なカメラ台に取り付けられている場合、角度検出
部７は、このカメラ台の回転角を検出する。角度検出部
７としては、例えば、ロータリエンコーダに代表される
回転角センサを用いることができる。ロータリエンコー
ダは、それがカメラ台に取り付けられた状態で自身の回
転変位量を検出することにより、回転角（すなわち傾き
角）を検出する。角度検出部７は、ステレオカメラ２と
同期がとれている状態において（すなわち１フレームに
おける画像の撮影とタイミングを同期して）、この傾き
角αを検出することが好ましい。一方、ステレオカメラ
２が固定的に取り付けられているのであれば、角度検出
部７は、ステレオカメラ２を取り付けた際の傾き角αを
デフォルトとして記憶可能な（または、その傾き角を任
意に変化させたときに随時書換可能な）メモリであって
もよい。

【００２２】補正処理部８は、距離データと画像データ
とを補正対象として、ステレオカメラ２の傾き角αに起
因するデータのずれを補正する。本実施形態において、
補正処理部８は、傾き角αにより一義的に特定される変
換パラメータに基づいて、距離データおよび画像データ
を補正し、機能的には、視差補正部９、位置補正部１０
および補間部１１で構成されている。

【００２３】視差補正部９は、角度検出部７が検出した
傾き角αを取得するとともに、傾き角αによって一義的
に特定される視差変換パラメータに基づいて、距離デー
タを構成する個々の視差の値を補正する。そして、視差
補正部９は、補正した距離データを位置補正部１０に出
力する。位置補正部１０は、角度検出部７から傾き角α
を取得するとともに、補正された距離データと、この距
離データに対応する画像データとに対して、傾き角αに
より特定される位置変換パラメータに基づき、座標位置
の幾何学的な補正を施す。そして、位置補正部１０は、
補正した距離データおよび画像データを補間部１１に出
力する。補間部１１は、距離データおよび画像データに
関して、位置補正部１０の変換処理によってデータの欠
落が生じた場合に、欠落が生じた座標位置のデータを補
間する。この補間部１１によって補間処理されたデータ
のうち、画像データは画像データメモリ１２に格納さ
れ、距離データは距離データメモリ１３に格納される。
本実施形態の主な特徴は、このような補正処理部８の補
正処理にあり、その詳細な補正手法については後述す
る。

【００２４】認識部１４は、距離データメモリ１３に格
納された距離データに基づいて、対象物の三次元的な位
置を認識する。また、認識部１４は、対象物の認識にあ
たって、適宜、画像データメモリ１２に格納された画像
データを用いる。認識すべき対象物は、監視装置の使用
目的に応じて適宜設定されている。例えば、自車両前方
の走行状況を監視する車外監視システムでは、車線や先
行車等が認識すべき対象物になる。踏切監視システムで
は、鉄道レール、通行車、通行人等が認識すべき対象物
になる。飛行体の高度監視システムや地表の起伏状況を
検出するシステムでは、地面が認識すべき対象物にな
る。

【００２５】図２は、本実施形態にかかる画像の補正処
理の手順を示したフローチャートである。まず、ステッ
プ１において、視差補正部９は、角度検出部７が検出し
た傾き角αを取得する。画像撮影のタイミングと角度検
出部７の傾き角αの検出のタイミングとを同期させるこ
とにより、ステレオカメラ２の傾き角を可変にした場合
でも、角度検出部７は、撮影時におけるステレオカメラ
２の傾き角を確実に特定できる。また、このとき、位置
補正部１０も、視差補正部９と同様、角度検出部７から
傾き角αを取得する。

【００２６】そして、ステップ２〜１０において、視差
補正部９および位置補正部１０は、距離データおよび画
像データにおける高さ方向成分（ｊ座標）、幅方向成分
（ｉ座標）のそれぞれについて、ステップ４〜６に示さ
れる補正処理を繰り返し行う。本実施形態では、このス
テップ２〜１０において、両補正部９，１０は、距離デ
ータおよび画像データにおける座標（0，0）から、ｉ座
標を基準に、ｊ座標を0〜199まで一座標ずつシフトしな
がら補正処理を行う。そして、隣のｉ座標（ｉ＋１座
標）に移り、同様に、ｊ座標を一座標ずつシフトしなが
ら補正処理が続行される。そして、視差補正部９および
位置補正部１０は、この処理を、画像データの全て（例
えば、200×512）について行う。以下、本明細書は、所
定のｉ軸上のｊ座標に注目し説明を展開するものとし、
この画像上の位置を注目点Ｇo（ｉo，ｊo）と定義す
る。

【００２７】この補正処理に関して、まず、ステップ４
において、視差補正部９は、傾き角αにより特定される
視差変換パラメータに基づいて、距離データにおける視
差の値ｄを補正する。この視差変換パラメータは、以下
に示す数式２により表され、距離データ上の注目点Ｇo
における視差の値ｄは、この数式２によって一義的に視
差ｄhに補正（変換）される。

【数２】

【００２８】上記数式２において、ｄhは補正後の注目
点Ｇoでの視差の値、ｄは補正前の注目点Ｇoでの視差の
値、ＰＷＶは１画素当たりの垂直視野角である。そし
て、ｊo，ｊc，ｊvは、それぞれ距離データにおける、
注目点、カメラ２ａ（またはカメラ２ｂ）の光学中心
点、カメラ位置での水平方向におけるｊ座標値である。

【００２９】視差変換パラメータの算出手法について説
明する。図３は、傾き角αで対象物Ｏを撮像する一対の
カメラの状態を示す説明図である。図４は、傾き角αで
撮像される画像データおよび距離データの説明図であっ
て、（ａ）は、傾き角αで対象物Ｏを撮影したときの画
像データを示す図であり、（ｂ）は、距離データにおけ
る注目点Ｇoを含むｉo座標上の視差を示す図である。ま
た、図５は、視差変換パラメータの算出手法の説明図で
ある。

【００３０】図３において、画像平面上の注目点Ｇo
（図４参照）に対応する対象物Ｏ上の点（実空間におけ
る点）が、点Ｏo（ｘo，ｙo，ｚo）で示されている。ま
た、図５において、傾き角αで取り付けられたカメラ２
ａ，２ｂの画角が、破線によって示されている。画像デ
ータと対象物Ｏとの対応付けを明確にするため、このカ
メラ２ａ，２ｂによって撮像される像を反映するスクリ
ーンが、同図に示されている。なお、図中に示した実空
間を表すｘｙｚ軸の座標系は、一対のカメラ２ａ，２ｂ
の取付位置を基準として、カメラ２ａ，２ｂの距離方向
をｚ軸、地面からの高さ方向をｙ軸、ｙ軸と直交する平
面内でのｚ軸との直交方向をｘ軸と定義している。

【００３１】傾き角α（本実施形態では、水平面に関し
て下側にα傾く）で、垂直に起立する矩形の壁面（対象
物Ｏ）を撮影した場合、対象物Ｏは、実際の形状より下
側が窄んだ台形形状に写し出される（図４（ａ）参
照）。画像を実空間に対応させた場合、この対象物Ｏの
歪みによって、対象物Ｏのｘ方向の位置にずれが生じ
る。これら画像データに基づき算出される距離データに
関しても同様であり、対象物Ｏに関する視差の位置もｘ
方向（正確には、ｉ方向）にずれる。

【００３２】さらに、傾き角αで対象物Ｏを撮影した場
合、カメラ視線上における距離の遠近により、算出され
る視差の値自体にもずれが生じる（図４（ｂ）参照）。
このようなずれは、距離データを実空間に対応させた場
合、ｚ方向へのずれとなって現れる。よって、図４に示
すような画像データおよび距離データを用いて、周知の
変換式より算出される対象物Ｏの位置は、実際の対象物
Ｏの実空間上の位置と完全に一致しない。

【００３３】一般に、ステレオカメラが傾いていない状
態では、注目点Ｇoにおける視差は、ステレオカメラと
対象物との距離、すなわち、図５に示すように、光学中
心線上での距離Ｌoに対応した値となる。しかしなが
ら、ステレオカメラ２に傾き角αがある場合、ステレオ
カメラ２と対象物Ｏとの光学中心線上での距離（すなわ
ち、視差の値に対応する距離）は、傾き角αにともない
Ｌoよりも長いＬo＋ΔＬoとなる。したがって、傾き角
αで撮影された距離データから特定される視差の値は、
傾き角αと画像上の注目点Ｇoとに起因して変化するΔ
Ｌoの値を考慮する必要がある。

【００３４】ステレオカメラ２から対象物Ｏまでの相対
距離（ｚ方向距離）が同一である場合、対象物Ｏに関す
る全ての視差は、一様な値であることが好ましい。先に
述べた光学中心線上での距離に拘わらず、カメラと対象
物との相対的な距離（ｚo）によって、視差が特定され
るのであれば、周知のステレオ画像処理を用いて実空間
への変換処理を行うことができる。したがって、上述し
たＬo＋ΔＬoとｚoとを対応付けることで、距離データ
を構成する視差ｄから、ｚoに起因した視差ｄhを一義的
に特定することができる。ここで、実空間における注目
点Ｏoと光軸との間の距離をｌ、ＣＣＤの縦方向におけ
るピクセルサイズをｐｓｖ、焦点距離をｆとした場合、
ΔＬoは、以下に示す数式３で示される。

【数３】

【００３５】また、ｌは、以下に示す数式４で示され
る。

【数４】

【００３６】数式３に数式４を代入し整理すると、数式
３は、以下に示す数式５に書き換えられる。

【数５】 ΔＬo＝Ｌo・ＰＷＶ²・（ｊv−ｊc）・（ｊo−ｊc）

【００３７】ここで、ＰＷＶは、上述したように一画素
当たり垂直視野角であり、ＰＷＶ＝ｐｓｖ/ｆの関係を
有する。

【００３８】一方、数式６に示す関係式から、ｚoは、
数式７で示すことができる。

【数６】

【数７】

【００３９】そして、ｚoとｄh、および、Ｌoとｄとは
それぞれ対応する値であるので、数式７に示すｚoおよ
びLoを、ｄhおよびｄで適宜置き換えることにより、数
式２に示す視差変換パラメータを得ることができる。

【００４０】つぎに、ステップ５において、位置補正部
１０は、画像データと補正された距離データとについ
て、傾き角αにより特定される位置変換パラメータに基
づいて、画像上の座標位置を幾何学的に補正する。この
位置変換パラメータは、以下に示す数式８により表さ
れ、画像上の（ｉo，ｊo）座標における注目点Ｇo、こ
の数式８によって一義的に座標（ｉh，ｊo）に補正（変
換）される。

【数８】

【００４１】図６は、距離データおよび画像データの歪
みを補正する変換パラメータの算出手法を示す説明図で
ある。上述したように、画像には位置的なずれが生じて
おり、視差を補正したとしても、この位置的なずれは、
依然として存在する（実空間での、ｘ方向のずれ）。し
たがって、実空間でのｘ座標の値と、画像から特定され
るｘ座標との位置が変わらないように、画像上のｉo座
標の位置を補正する必要がある。注目点Ｇoと対応する
対象物Ｏ上の点Ｏoとにより、ｘoは、以下に示す数式９
の関係式を満たす。

【数９】

【００４２】ここで、ｉcは画像データおよび距離デー
タにおける光学中心線のｉ座標、ｐｓｈは画像の一画素
当たりの横方向のピクセルサイズ（画素幅）である。

【００４３】一方、ｉoが補正される画像上のｉ座標を
ｉhとすると、これに対応する実空間上のｚoとの関係よ
り、ｘoは、数式１０の関係を更に満たす。

【数１０】

【００４４】よって、この数式９と数式１０とでｘoが
共通するｉhとｉoとの関係を導き、そして、先にもとめ
た数式７を代入することで、数式８を得ることができ
る。

【００４５】そして、ステップ６において、位置補正部
１０は、補正された視差ｄhおよび輝度値を、補正され
たあらたな座標（ｉh，ｊo）に格納する。そして、ステ
ップ７，８、および、ステップ９，１０に従い、視差補
正部９および位置補正部１０は、このような補正処理を
距離データおよび画像データの全てのｉ−ｊ座標につい
て行う。ここで、図７は、本実施形態にかかる補正処理
を行った画像データおよび距離データの説明図である。
図７の（ａ），（ｂ）は、図３に示した（ａ），（ｂ）
にそれぞれ対応する。

【００４６】全てのｉ−ｊ座標において補正処理が行わ
れると、ステップ１１において、補間部１１は、視差の
欠落が生じた座標位置に関する視差を周囲の視差に基づ
いて補間する内挿処理を行う。一般的に、ステップ５，
６で示した座標変換を行った場合、変換後の画素データ
は、メッシュ状に整列しない。すなわち、変換後の画像
データおよび距離データにおける座標の一部には、デー
タの欠落箇所が存在する場合がある。そこで、補間部１
１は、画像平面において、データが欠落している座標位
置を特定するとともに、特定された座標について、その
周辺の座標における輝度値または視差に基づき、統計的
な補間処理を行う。

【００４７】以上のような処理によって、画像データお
よび距離データの補正を行うことにより、傾き角αがあ
る場合であっても、カメラの光学的性質にともなう画像
の歪みおよび視差のずれは補正される。これにより、画
像データおよび距離データから特定される三次元空間
が、実際の実空間と位置的なずれを生じることがない。
そして、この手法により算出された距離データおよび元
画像を用いれば、各種の監視制御において、高精度な監
視制御を行うことが可能となる。

【００４８】なお、上述した実施形態では、視差補正部
９および位置補正部１０は、変換パラメータ（数式２お
よび数式８）を用いて、毎回（ｉ−ｊ成分毎に）計算処
理を行うものである。しかしながら、計算処理を効率よ
く行うためにも、視差補正部９は、変換パラメータのう
ち一部を予め計算し、この計算結果を保持するテーブル
を格納してもよい。換言すれば、視差補正部９は、傾き
角αと、この傾き角αと（さらには、画像上の位置と
に）対応する変換パラメータが定義された対応表を格納
する記憶部を更に有することが好ましい。この場合、視
差補正部９は、検出された傾き角αの値からこの対応表
によって特定される補正係数に基づいて、距離データの
視差の値ｄを視差ｄhに補正することができる。

【００４９】図８は、対応表の一例を示す図である。こ
のよう対応表は、傾き角α（数式２におけるｊvであ、
例えば、α＝-30〜60度に対応するｊvとして、例示的に
-30〜360）と、注目点ｊo（例示的に0〜199）とに対応
させて予め作成することができる。この対応表によって
特定される変換パラメータを、table（ｊv，ｊo）とす
るならば、数式２および数式８は、それぞれ、数式１１
および数式１２に代替される。

【数１１】ｄh＝table（ｊv，ｊc）×ｄ

【数１２】ｉh＝ｉc＋table（ｊv，ｊc）×（ｉo−ｉc）

【００５０】なお、数式１２から理解されるように、視
差補正部９で使用される対応表は、位置補正部１０の補
正処理においても共通して使用可能な対応表である。し
たがって、位置補正部１０が、同様の対応表を格納する
構成であってもよいが、視差補正部９がこの補正係数を
位置補正部１０に出力するような構成であってもよい。

【００５１】また、角度検出部７は、ステレオカメラ２
の傾き角αを実際に検出するものであるが、この傾き角
αを画像データから検出することができる。具体的に
は、角度検出部７は、画像データのうち少なくとも一方
の画像（例えば、基準画像データ）を解析することで消
失点を検出し、消失点の位置に基づいて、傾き角αを検
出する。

【００５２】以上説明したように、本発明の画像補正装
置は、ステレオ式監視システム１の一部として機能する
ばかりではなく、上述した画像補正を目的とした装置単
体としても機能することができることはいうまでもな
い。

【００５３】

【発明の効果】このように、本発明にかかる画像補正装
置および方法によれば、距離データを補正することで、
傾き角に伴う画像上のずれを補正することができる。こ
れにより、かかる画像から特定される三次元空間は、実
空間と距離的なずれを生じさせないので、監視システム
の信頼度を向上することができる。

【図面の簡単な説明】

【図１】本実施形態にかかるステレオ式監視システムの
ブロック図

【図２】本実施例にかかる画像の補正処理の手順を示し
たフローチャート

【図３】傾き角αで対象物Ｏを撮像する一対のカメラの
状態を示す説明図

【図４】傾き角αで撮像される画像データおよび距離デ
ータの説明図

【図５】視差変換パラメータの算出手法の説明図

【図６】画像の歪みを補正する変換パラメータの算出手
法を示す説明図

【図７】本実施形態にかかる補正処理を行った画像デー
タおよび距離データの説明図

【図８】対応表の一例を示す図

【符号の説明】

１ステレオ式監視システム２ステレオカメラ２ａメインカメラ２ｂサブカメラ３Ａ／Ｄコンバータ４Ａ／Ｄコンバータ５画像補正部６ステレオ画像処理部７角度検出部８補正処理部９視差補正部１０位置補正部１１補間部１２画像データメモリ１３距離データメモリ１４認識部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA06 AA20 EE05 EE08 FF05 FF09 FF17 FF65 JJ03 JJ05 JJ08 JJ26 QQ24 QQ25 QQ31 QQ38 5B057 AA20 CA12 CB13 CD12 CD14 CH01

Claims

【特許請求の範囲】

【請求項１】画像補正装置において、水平面に対してカメラの視軸が傾いた状態で取り付けら
れており、一対の画像データを出力するステレオカメラ
と、前記一対の画像データに基づいて、ステレオマッチング
により視差を算出し、一フレーム相当の画像データに関
する視差群と画像平面上の座標位置とが対応付けられた
距離データを出力するステレオ画像処理部と、前記水平面と前記カメラの視軸とがなす傾き角を検出す
る角度検出部と、前記角度検出部によって検出された前記傾き角に基づい
て、前記座標位置毎の視差変換パラメータを算出し、当
該視差変換パラメータに基づいて、前記距離データを構
成する個々の視差の値を補正する視差補正部とを有する
ことを特徴とする画像補正装置。
【請求項２】前記角度検出部によって検出された前記傾
き角に基づいて、前記座標位置毎の位置変換パラメータ
を算出し、当該位置変換パラメータに基づいて、前記距
離データの座標位置を幾何学的に補正する位置補正部を
さらに有することを特徴とする請求項１に記載された画
像補正装置。
【請求項３】前記位置補正部による補正によって、ある
座標位置において視差の欠落が生じた場合、当該欠落が
生じた座標位置の視差を周囲の視差に基づいて補間する
補間部をさらに有することを特徴とする請求項２に記載
された画像補正装置。
【請求項４】前記位置補正部は、前記位置変換パラメー
タに基づいて、前記画像データの座標位置を幾何学的に
補正することを特徴とする請求項２または３に記載され
た画像補正装置。
【請求項５】前記角度検出部は、前記画像データを解析
することで消失点を検出し、前記消失点の位置に基づい
て、前記傾き角を検出することを特徴とする請求項１か
ら４のいずれかに記載された画像補正方法。
【請求項６】画像補正方法において、水平面に対してカメラの視軸が傾いた状態で取り付けら
れたステレオカメラで景色を撮像することにより、一対
の画像データを得る第１のステップと、前記一対の画像データに基づいて、ステレオマッチング
により視差を算出し、一フレーム相当の画像データより
得られた視差群と画像平面上の座標位置とが対応付けら
れた距離データを出力する第２のステップと、前記水平面と前記カメラの視軸とがなす傾き角を検出す
る第３のステップと、前記検出された傾き角に基づいて、前記座標位置毎の視
差変換パラメータを算出する第４のステップと、前記算出された視差変換パラメータに基づいて、前記距
離データを構成する個々の視差の値を補正する第５のス
テップとを有することを特徴とする画像補正方法。
【請求項７】前記検出された傾き角に基づいて、前記座
標位置毎の位置変換パラメータを算出する第６のステッ
プと、前記算出された位置変換パラメータに基づいて、前記距
離データの座標位置を幾何学的に補正する第７のステッ
プとをさらに有することを特徴とする請求項６に記載さ
れた画像補正方法。
【請求項８】前記距離データの座標位置の補正によっ
て、ある座標位置において視差の欠落が生じた場合、当
該欠落が生じた座標位置の視差を周囲の視差に基づいて
補間する第８のステップをさらに有することを特徴とす
る請求項７に記載された画像補正方法。