JP2014017802A - 後方カメラの画像歪曲補正装置及び方法 - Google Patents

後方カメラの画像歪曲補正装置及び方法 Download PDF

Info

Publication number
JP2014017802A
JP2014017802A JP2012278968A JP2012278968A JP2014017802A JP 2014017802 A JP2014017802 A JP 2014017802A JP 2012278968 A JP2012278968 A JP 2012278968A JP 2012278968 A JP2012278968 A JP 2012278968A JP 2014017802 A JP2014017802 A JP 2014017802A
Authority
JP
Japan
Prior art keywords
camera
image
tilting angle
angle
distortion correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012278968A
Other languages
English (en)
Other versions
JP6157107B2 (ja
Inventor
Joong Ryoul Lee
仲 烈 李
Kap Je Sung
甲 濟 成
Jun Sik An
準 植 安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of JP2014017802A publication Critical patent/JP2014017802A/ja
Application granted granted Critical
Publication of JP6157107B2 publication Critical patent/JP6157107B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】後方カメラの画像歪曲を補正する後方カメラの画像歪曲補正装置及び方法を提供する。
【課題を解決するための手段】 本発明は、後方カメラの画像歪曲補正装置及び方法に係り、後方カメラの画像歪曲補正装置は車両後面に取り付けられたカメラの特性を分析し、カメラの特性値からカメラに対応する仮想カメラの撮影領域別のティルティング(tilting)角度を設定するティルティング角度設定部、仮想カメラの撮影領域別のティルティング角度を適用して補正モデルを生成する補正モデル生成部、補正モデルに基づき仮想カメラをティルティングし、カメラを介して撮影された撮影画像を仮想カメラの撮影領域別に設定されたティルティング角度に従いビュー変換して補正画像を生成する画像補正部、及び画像補正部により生成された補正画像を出力する画像出力部を含む。
【選択図】図1

Description

本発明は、後方カメラの画像歪曲補正装置及び方法に係り、より詳しくは、後方カメラの特性値に従い複数の撮影領域別に設定した仮想カメラのティルティング(tilting)角度を適用して画像補正のための補正モデルを生成し、補正モデルに基づき後方カメラの撮影画像に対する歪曲を補正する後方カメラの画像歪曲補正装置及び方法に関する。
自動車の後方カメラは、運転者が目で確認し難い後方領域の画像を提供する。特に、後方カメラは大きい画角を有する広角レンズや魚眼レンズ(fish−eye lens)を利用してより広い領域を含む情報を運転者に提供する。広角レンズは標準レンズより焦点距離が短く、60°から 120°程度の画角を有し、魚眼レンズ(fish−eye lens)は超広角レンズであって180°又はそれ以上の画角を有する。特に、魚眼レンズは意図的に筒状の歪曲を生じさせ180°以上の画角全面に亘って均一な明るさと鮮鋭度を維持できるように作製したレンズであって、レンズ中心点部の被写体は極端に大きく撮影され、周辺の物は非常に小さく撮影される。即ち、魚眼レンズは広域の画像を獲得することができ、自動車の場合、魚眼レンズの大きい画角は運転者に一層多い車両後方の情報を提供することができる。さらに、魚眼レンズを適用する場合、短い距離で広い視野角を確保することができる。
しかし、広角レンズ又は魚眼レンズを取り付けた後方カメラで撮影された画像の場合、画像の歪曲が甚だしく、特に画像の中心部から外郭に行くほど歪曲程度が甚だしくなる。したがって、後方カメラを介して提供される歪曲された画像は運転者の現実感を低下させ、これにより運転者は車両後方の状況を正確に認識できない問題が発生する。
このようなレンズ歪曲を補正するための方法は、物理的補正方法としてレンズ歪曲を補正するための補正レンズをさらに設けるか、ソフトウェア的に歪曲された画像を補正する方法がある。ここで、物理的補正方法は補正レンズを追加しなければならない点でカメラの製造費用を上昇させる欠点があるのでソフトウェア的な補正が主に利用されている。
従来技術によれば、グリッド形態のテストパターンを選択しイメージが歪曲されないように表示されるまでカメラの歪曲補正係数を手動で補正することが可能であった。即ち、イメージの中心でテストイメージのコーナーを放射状にドラッギングしてイメージの輪郭を変形させ、イメージの内容を補正することを歪曲が消失する地点まで繰り返すようにしていた。
他の従来技術によれば、任意の画像の入力を受けて画像のレンズ歪曲変数(k)の範囲を増減させながら一番小さい代表値を有するkをレンズ歪曲変数に設定し、歪曲された原画像から歪曲補正された画像を獲得していた。
しかし、従来のデジタルイメージの幾何学的な歪曲補正に伴う技術は、テストパターン又は任意の画像にイメージが歪曲されないように表示されるまで運転者が画面上で操作するか選択しなければならないので、運転者が歪曲補正定数を手動で補正しなければならない煩わしさがあり、運転者の選択基準に従いイメージの幾何学的な歪曲補正の水準が変化する問題点があった。
特開2012−085026号公報
本発明の目的は、後方カメラを介して撮影された画像の光学特性と後方カメラの取付特性に伴うカメラ特性値を適用して画像補正のための補正モデルを生成し、撮影画像を補正モデルに適用して後方カメラの画像歪曲を補正するようにする後方カメラの画像歪曲補正装置及び方法を提供することである。
本発明の他の目的は、後方カメラに対応する仮想カメラの撮影領域を複数の領域に分離して各領域別にティルティング角度を設定することにより、後方カメラの死角地帯を最小化して運転者の可視領域を拡張させる後方カメラの画像歪曲補正装置及び方法を提供することである。
本発明に係る後方カメラの画像歪曲補正装置は、車両後面に取り付けられたカメラの特性を分析し、前記カメラの特性値から前記カメラに対応する仮想カメラの撮影領域別のティルティング(tilting)角度を設定するティルティング角度設定部、前記仮想カメラの撮影領域別のティルティング角度を適用して補正モデルを生成する補正モデル生成部、前記補正モデルに基づき前記仮想カメラをティルティングし、前記カメラを介して撮影された撮影画像を前記仮想カメラの撮影領域別に設定されたティルティング角度に従いビュー変換して補正画像を生成する画像補正部、及び前記画像補正部により生成された補正画像を出力する画像出力部を含むことを特徴とする。
前記ティルティング角度は、地平線に水平な方向を0度にし、地平線で上側方向(−)又は下側方向(+)に傾いた角度であることを特徴とする。
前記ティルティング角度設定部は、既に設定された基準角度を基準に、上側の固定領域に対してティルティング角度を前記基準角度に固定し、下側の可変領域に対してティルティング角度を前記基準角度から既に設定された最大角度の範囲内で可変的に設定することを特徴とする。
前記ティルティング角度設定部は、前記可変領域のティルティング角度設定時、前記可変領域を垂直方向に複数個の領域に分類して上部領域から下部領域の順にティルティング角度を増加させることを特徴とする。
前記補正モデルは、前記仮想カメラの撮影領域別に区分された形態を有し、各領域別に対応する撮影領域のピクセル値及びティルティング角度のうち少なくとも一つの設定値が格納されることを特徴とする。
前記カメラの特性値は、前記カメラが配置された位置及び撮影方向、前記カメラのレンズに対する焦点距離、画角及び光学中心点のうち少なくとも一つを含むことを特徴とする。
また、本発明に係る後方カメラの画像歪曲補正方法は、車両後面に取り付けられたカメラの特性を分析し、前記カメラの特性値から前記カメラに対応する仮想カメラの撮影領域別のティルティング(tilting)角度を設定する段階、前記仮想カメラの撮影領域別のティルティング角度を適用して補正モデルを生成する段階、前記補正モデルに基づき前記仮想カメラをティルティングし、前記カメラを介して撮影された撮影画像を前記仮想カメラの撮影領域別に設定されたティルティング角度に従いビュー変換して補正画像を生成する段階、及び前記補正画像を生成する段階で生成された補正画像を出力する段階を含むことを特徴とする。
前記ティルティング角度を設定する段階は、既に設定された基準角度を基準に、上側の固定領域に対してティルティング角度を前記基準角度に固定し、下側の可変領域に対してティルティング角度を前記基準角度から既に設定された最大角度の範囲内で可変的に設定することを特徴とする。
前記ティルティング角度を設定する段階は、前記可変領域のティルティング角度設定時、前記可変領域を垂直方向に複数個の領域に分類して上部領域から下部領域の順にティルティング角度を増加させることを特徴とする。
本発明によれば、後方カメラで撮影された画像の光学特性と後方カメラの取付特性によるカメラ特性値を適用して画像補正のための補正モデルを生成することにより、撮影画像を補正モデルに適用することで撮影画像の歪曲を容易に補正することができる利点がある。
また、本発明は、後方カメラに対応する仮想カメラの撮影領域を複数の領域に分類して各領域別にティルティング角度を設定し、設定されたティルティング角度に従い各領域別に仮想カメラをティルティングすることにより、水平方向の地平線又は水平線や水平方向の線成分に対する撓みを補正することにより垂直物の歪曲を最小化し、原本画像の外郭部分の視野が広くなって死角領域を最小にできる利点がある。
本発明に係る後方カメラの画像歪曲補正装置の構成の説明のために参照されるブロック図である。 本発明に係る後方カメラの特性値を抽出する動作の説明のために参照される例示図である。 本発明に係る補正モデルの実施形態を示す図である。 本発明に係る補正モデルを適用して撮影画像をビュー変換する実施形態を示す図である。 本発明に係る補正モデルを適用して撮影画像の歪曲を補正する実施形態を示す図である。 本発明に係る補正モデルを適用して撮影画像の歪曲を補正する実施形態を示す図である。 本発明に係る後方カメラの画像歪曲補正方法の動作の流れを示すフローチャートである。
以下、図面を参照しつつ本発明の実施形態を詳細に説明する。
図1は、本発明に係る後方カメラの画像歪曲補正装置の構成を説明するブロック図である。
図1に示す通り、本発明に係る後方カメラの画像歪曲補正装置(以下、「画像歪曲補正装置」と称する)10は、制御部11、画像入力部12、画像出力部13、格納部14、カメラ特性抽出部15、ティルティング角度設定部16、補正モデル生成部17及び画像補正部18を含む。ここで、制御部11は画像歪曲補正装置10の各部の動作を制御する。
画像入力部12は、車両の後面に配置されたカメラ、即ち、後方カメラ1と連結され、後方カメラ1を介して撮影される画像がリアルタイムで入力される。このとき、画像入力部12を介して入力される画像は後方カメラ1を介して撮影された原本画像である。
画像出力部13は、車両に備えられたモニター、ナビゲーションなどのディスプレイ手段5と連結され、画像補正部18により最終生成された補正画像をディスプレイ手段5に出力する。
格納部14は、車両に取り付けられた後方カメラ1の特性情報、画像歪曲を補正するための補正係数及び設定値などが格納される。さらに、格納部14には補正モデル生成部17により生成された補正モデルが格納される。
カメラ特性抽出部15は、既に設定された数学的モデルに基づき車両後面に取り付けられたカメラの特性を分析し、当該カメラの特性値を抽出する。
カメラ特性抽出部15は当該カメラの特性値を抽出する際、カメラの取付特性(例えば、カメラ取付位置及び撮影方向に対する方向座標(x、y、z)など)及び光学特性(例えば、後方カメラのレンズ画角、焦点距離及び光学中心点など)を考慮してカメラの特性値を抽出する。このとき、抽出されたカメラの特性値は、カメラに対応する仮想カメラの生成に利用され、仮想カメラの撮影領域別のティルティング角度の設定に利用される。
ティルティング角度設定部16は、カメラ特性抽出部15で抽出されたカメラの特性値を適用して仮想カメラの撮影領域別にティルティング角度を設定する。
仮想カメラの撮影領域は、既に設定された基準角度を基準に、上側の固定領域と下側の可変領域とに区分することができ、可変領域は再び複数個の領域に区分することができる。一方、ティルティング角度は地平線に水平な方向を0度にし、地平線で上側方向(−)又は下側方向(+)に傾いた角度である。
ティルティング角度設定部16は固定領域のティルティング角度を既に設定された基準角度に固定されるように設定し、可変領域のティルティング角度を基準角度乃至既に設定された最大角度の範囲内で可変的に設定する。 基準角度は−10度乃至5度の間で何れか一つの角度に設定されるのが好ましいが、これに限定されるものではない。但し、以下の実施形態では基準角度が0度を例にして説明する。
この場合、仮想カメラの撮影領域のうち上側に該当する固定領域のティルティング角度は基準角度に固定されるため、撮影画像上の垂直物の歪曲を最小化することができ水平方向の線成分に対する撓みを最小化し、外郭部分の視野が広くなる。
ティルティング角度設定部16は、可変領域のティルティング角度の設定において、複数個の領域に区分された可変領域に対し上部領域から下部領域の順にティルティング角度を増加させる。したがって、仮想カメラの撮影領域のうち下側に該当する可変領域は下部領域に行くほどティルティング角度が大きくなるため、短い距離で広い視野角を確保することができる。
一例として、基準角度が0度であり、可変領域が三つの領域に区分された状態で最上位領域は1領域、その下の領域は2領域、そして最下位の領域は3領域であると仮定すれば、固定領域のティルティング角度は基準角度である0度に固定され、可変領域で1領域は5度、2領域は11度、そして3領域は18度に設定される。勿論、最大角度は18度以上であり、ティルティング角度は車両の後方に備えられたカメラの特性値に従い変わる。
補正モデル生成部17は、ティルティング角度設定部16により設定された撮影領域別のティルティング角度に対応して補正モデルを生成する。ここで、固定領域のティルティング角度は基準角度である0度に固定され、可変領域は下側に行くほどティルティング角度が大きくなるため、補正モデルは下側が屈曲したシリンダー形態を有する。基準角度が0度未満の場合、補正モデルは下側だけでなく上側もともに屈曲したシリンダー形態になる。補正モデルの具体的な実施形態は図3に示す。
画像補正部18は、後方カメラ1を介して撮影された撮影画像を補正モデル生成部17により生成された補正モデルに適用して撮影画像のビューを変換し、ビュー変換された補正画像を生成する。このとき、画像補正部18は、補正モデルに基づき後方カメラ1に対応して生成された仮想カメラを制御し、画像補正部18の制御により仮想カメラはそれぞれの撮影領域別に設定されたティルティング角度に従いティルティングすることにより、撮影領域別にビュー変換された補正画像を獲得する。
一例として、基準角度が0度であり、最大角度が25度であると仮定したとき、後方カメラ1を介して撮影された撮影画像が垂直方向に6個の領域に区分された状態で、仮想カメラは1、2領域に対してはティルティング角度を0度にしてビュー変換し、3領域に対してはティルティング角度を5度にしてビュー変換し、4領域に対してはティルティング角度を11度にしてビュー変換し、5領域に対してはティルティング角度を17度にしてビュー変換し、6領域に対してはティルティング角度を25度にしてビュー変換する。したがって、画像補正部18は1乃至6領域に対しそれぞれビュー変換された補正画像を獲得することになる。 画像補正部18で獲得された補正画像は、画像出力部13を介して自動車のディスプレイ手段5に出力され、運転者は画像出力部13を介してディスプレイされた補正画像を確認することにより車両後方の状態を正確に把握することができる。
図2は、本発明に係る後方カメラの特性値を抽出する動作を説明する図である。
図2に示す通り、(a)は自動車の後面に取り付けられる後方カメラを表したものである。このとき、画像歪曲補正装置は、(a)の後方カメラを(b)に示す数学的モデルに基づき、(c)のようにカメラの取付位置及び姿勢情報に伴う特性を分析する。さらに、画像歪曲補正装置は(d)のように広角カメラのセンサー及びレンズの特性を分析する。
画像歪曲補正装置は、(c)と(d)の分析結果に基づき(e)のように当該カメラの特性値を抽出する。ここで、カメラの取付位置及び姿勢情報に伴う特性値は座標情報(x、y、z)及び撮影方向情報などを含むことができ、カメラのセンサー及びレンズに対する特性はレンズ画角、焦点距離及び光学中心点情報などを含むことができる。
図3は、本発明に係る補正モデルの実施形態を示した例示図である。
図3に示す通り、補正モデルはシリンダー形モデルで、基準角度が0度に設定され下側が屈曲した形態を有する。言い換えれば、画像歪曲補正装置は仮想カメラの撮影領域別にティルティング角度を設定するが、固定領域はティルティング角度を基準角度である0度に設定し、可変領域は0度から既に設定された最大角度であるαの間で可変的に設定する。
このとき、可変領域は再び複数個の領域に区分して各領域別に異なるティルティング角度を設定することができ、上部から下部の方向に行くほどティルティング角度を大きく設定する。
一例として、最大角度であるαが25度であると仮定したとき、可変領域を四つの撮影領域に区分し、上部から下部の方向に1領域のティルティング角度は0度、2領域のティルティング角度は5度、3領域のティルティング角度は15度、そして4領域のティルティング角度は25度に設定することができる。したがって、補正モデルは下側に行くほど次第に傾きが大きくなるため、下側が屈曲したシリンダー形態を有することになる。勿論、前記で説明したように基準角度が0度未満の場合、補正モデルは下側だけでなく上側もともに屈曲したシリンダー形態になる。 補正モデルは仮想カメラの撮影領域別に区分された形態を有し、各領域別に対応する撮影領域のピクセル値、ティルティング角度などの設定値が格納される。
図4は、図3の補正モデルを適用して撮影領域別のビュー変換動作の実施形態を表した図である。
図4に示す通り、画像歪曲補正装置は、後方カメラを介して画像が撮影されると、図3の補正モデル(M)に基づき仮想カメラをティルティングして撮影画像を領域別にビュー変換する。
一例として、可変領域のうち上部から下部の方向に1領域のティルティング角度は0度、2領域のティルティング角度は5度、3領域のティルティング角度は15度、そして4領域のティルティング角度は25度に設定されたものと仮定すれば、仮想カメラは補正モデル(M)に基づき撮影画像のうち固定領域に該当する領域の画像を傾斜度が0度になるようにビュー変換する。
一方、仮想カメラは補正モデル(M)に基づき、撮影画像で可変領域の1領域の画像を傾斜度が0度になるようにビュー変換する。さらに、仮想カメラは補正モデル(M)に基づき、撮影画像で可変領域の2領域に該当する領域の画像を傾斜度が5度になるようにビュー変換し、可変領域の3領域に該当する領域の画像を傾斜度が15度になるようにビュー変換する。さらに、仮想カメラは補正モデル(M)に基づき、撮影画像で可変領域の4領域に該当する領域の画像を傾斜度が25度になるようにビュー変換する。
したがって、画像歪曲補正装置は撮影画像に対して固定領域、可変領域の1領域、2領域、3領域及び4領域でビュー変換された最終画像を補正画像として獲得することになる。
図5及び図6は、本発明に係る補正モデルを適用して撮影画像の歪曲を補正する実施形態を示した例示図である。
図5及び図6に示す通り、(a)は後方カメラを介して撮影された原本画像であり、(b)は原本画像の補正画像である。ここに、図5は補正画像の細部補正項目を表した図である。
図5及び図6の(a)に示す通り、原本画像内の垂直物体(例えば、人、安全台、三角台など)は地表面或いは底面を基準に垂直に立っているのが正常であるが、広角レンズの特性上原本画像では人が地平面或いは底面に垂直に立っているのではなく傾いた状態で撓んで表示される。同様に、地表面の境界線、即ち、地平線は水平方向に直線をなしているのが正常であるが、中心部から左右側面に進められるほど撓んだ状態で表示される。
この場合、中心部は視野が確保されるが、左側及び右側端は視野が狭くなり運転者が正確な状態を確認することができなくなる。したがって、画像歪曲補正装置は図5及び図6の(a)のような原本画像から発生する問題を解決すべく、原本画像の垂直物体、地平線などの形状及び位置を補正するための補正モデルを生成する。
このために、画像歪曲補正装置は後方カメラに対応する仮想カメラの撮影領域を複数個の領域に分類し、後方カメラの特性値、即ち、位置及び姿勢による特性値と光学特性値などに基づき各撮影領域別にティルティングするための角度を設定する。このとき、画像歪曲補正装置は、仮想カメラの撮影領域別に設定されたティルティング角度に基づき補正モデルを生成する。
結局、画像歪曲補正装置は、補正モデルに従い後方カメラに対応する仮想カメラをティルティングして原本画像を各撮影領域別にビュー変換することにより、図5及び図6の(b)のように歪曲が補正された画像を獲得することになる。
このとき、画像歪曲補正装置は、補正モデルで仮想カメラの撮影領域別にティルティング角度を別に設定し、具体的に固定領域はティルティング角度を基準角度に固定されるように設定することにより、固定領域に対して原本画像に比べ垂直物と地平線などの傾き及び撓みなどを補完した補正画像を獲得することになる。
即ち、図5の(b)ように、補正画像では(1)のように垂直物、即ち、人が垂直に立っている形態に補正され、(2)のように地平線が水平な一直線形態に補正されたことを確認することができる。
さらに、画像歪曲補正装置は固定領域のティルティング角度を基準角度に固定されるように設定する傍ら、基準角度を基準に下側の可変領域に対してはティルティング角度を基準角度乃至最大角度の間で可変的に設定し、下方に行くほどティルティング角度を大きくすることにより光学カメラの長所である広い画角の画像を獲得することができるようにする。即ち、図5の(b)のように、補正画像では(3)のように原本画像に比べ左、右側の外郭部分に対する視野が広くなった形態に補正されたことを確認することができる。この場合、運転者に一層広い範囲の画像を提供することができるので死角地帯を最小にすることができる。
したがって、運転者は図5及び図6の(b)に示す補正画像を介して後方状況をより正確に確認することができる。
以下、本発明に係る後方カメラの画像歪曲補正装置の動作の流れをより詳しく説明する。
図7は、本発明に係る後方カメラの画像歪曲補正方法に対する動作の流れを示したフローチャートである。
図7に示す通り、本発明に係る後方カメラの画像歪曲補正装置は、既に設定された数学的モデルに基づき車両後面に取り付けられたカメラの特性を分析し(S100)、後方カメラに対するカメラの特性値を抽出する(S110)。このとき、「S100」過程では後方カメラのカメラ取付位置及び方向に伴う取付特性と、広角レンズ及びセンサーなどの装備に対する光学特性を分析する。したがって、「S110」過程で原本画像に対する領域別のビュー変換角度の算出のためのカメラの特性値を抽出する。
次いで、画像歪曲補正装置は「S110」過程で抽出されたカメラ特性値等を適用し、後方カメラに対応する仮想カメラの撮影領域別のティルティング角度を設定する(S120)。
ここで、仮想カメラの撮影領域別のティルティング角度は、地平線に水平な方向を0度にし、地平線で上側(−)方向又は下側(+)方向に傾いた角度を言う。このとき、「S120」過程は仮想カメラの撮影領域を基準角度を基準に固定領域と可変領域に分類した状態で、固定領域のティルティング角度は基準角度、可変領域のティルティング角度は基準角度から既に設定された最大角度の範囲内で可変的に設定する。さらに詳しくは、可変領域のティルティング角度設定時、可変領域を垂直方向に複数個の領域に分類し、上部領域から下部領域の順にティルティング角度を増加させる。
「S120」過程で算出された仮想カメラの撮影領域別のティルティング角度を適用し、撮影画像を補正するための補正モデルを生成する(S130)。
したがって、画像歪曲補正装置はカメラの撮影画像を「S130」過程で生成された補正モデルに適用し(S140)、撮影画像の歪曲を補正する(S150)。ここで、「S150」過程は補正モデルに基づき仮想カメラを撮影領域別にティルティングし、仮想カメラのティルティングにより撮影画像を各撮影領域別にビュー変換することで撮影画像を補正することになる。
次いで、画像歪曲補正装置は「S150」過程で獲得された補正画像を車両に備えられたディスプレイ手段などを介して出力する(S160)。
図7には示していないが、画像歪曲補正装置は「S150」過程で撮影画像の歪曲を補正する場合に発生する異質感を償うための補償モデルをさらに生成し、補正画像を補償モデルに適用することにより最終出力画像を生成することもできる。
以上、本発明に関する好ましい実施形態を説明したが、本発明は前記実施形態に限定されるものではなく、本発明の属する技術分野を逸脱しない範囲での全ての変更が含まれる。
1 後方カメラ
5 ディスプレイ手段
10 画像歪曲補正装置
11 制御部
12 画像入力部
13 画像出力部
14 格納部
15 カメラ特性抽出部
16 ティルティング角度設定部
17 補正モデル生成部
18 画像補正部
M 補正モデル

Claims (10)

  1. 車両後面に取り付けられたカメラの特性を分析し、前記カメラの特性値から前記カメラに対応する仮想カメラの撮影領域別のティルティング(tilting)角度を設定するティルティング角度設定部、
    前記仮想カメラの撮影領域別のティルティング角度を適用して補正モデルを生成する補正モデル生成部、
    前記補正モデルに基づき前記仮想カメラをティルティングし、前記カメラを介して撮影された撮影画像を前記仮想カメラの撮影領域別に設定されたティルティング角度に従いビュー変換して補正画像を生成する画像補正部、及び
    前記画像補正部により生成された補正画像を出力する画像出力部、
    を含むことを特徴とする後方カメラの画像歪曲補正装置。
  2. 前記ティルティング角度は、
    地平線に水平な方向を0度にし、地平線で上側方向(−)又は下側方向(+)に傾いた角度であることを特徴とする請求項1に記載の後方カメラの画像歪曲補正装置。
  3. 前記ティルティング角度設定部は、
    既に設定された基準角度を基準に、上側の固定領域に対してティルティング角度を前記基準角度に固定し、下側の可変領域に対してティルティング角度を前記基準角度から既に設定された最大角度の範囲内で可変的に設定することを特徴とする請求項1に記載の後方カメラの画像歪曲補正装置。
  4. 前記ティルティング角度設定部は、
    前記可変領域のティルティング角度設定時、前記可変領域を垂直方向に複数個の領域に分類して上部領域から下部領域の順にティルティング角度を増加させることを特徴とする請求項3に記載の後方カメラの画像歪曲補正装置。
  5. 前記補正モデルは、
    前記仮想カメラの撮影領域別に区分された形態を有し、各領域別に対応する撮影領域のピクセル値及びティルティング角度のうち少なくとも一つの設定値が格納されることを特徴とする請求項1に記載の後方カメラの画像歪曲補正装置。
  6. 前記カメラの特性値は、
    前記カメラが配置された位置及び撮影方向、前記カメラのレンズに対する焦点距離、画角及び光学中心点のうち少なくとも一つを含むことを特徴とする請求項1に記載の後方カメラの画像歪曲補正装置。
  7. 車両後面に取り付けられたカメラの特性を分析し、前記カメラの特性値から前記カメラに対応する仮想カメラの撮影領域別のティルティング(tilting)角度を設定する段階と、
    前記仮想カメラの撮影領域別のティルティング角度を適用して補正モデルを生成する段階と、
    前記補正モデルに基づき前記仮想カメラをティルティングし、前記カメラを介して撮影された撮影画像を前記仮想カメラの撮影領域別に設定されたティルティング角度に従いビュー変換して補正画像を生成する段階と、
    前記補正画像を生成する段階で生成された補正画像を出力する段階と、
    を含むことを特徴とする後方カメラの画像歪曲補正方法。
  8. 前記ティルティング角度は、
    地平線に水平な方向を0度にし、地平線で上側(−)方向又は下側(+)方向に傾いた角度であることを特徴とする請求項7に記載の後方カメラの画像歪曲補正方法。
  9. 前記ティルティング角度を設定する段階は、
    既に設定された基準角度を基準に、上側の固定領域に対してティルティング角度を前記基準角度に固定し、下側の可変領域に対してティルティング角度を前記基準角度から既に設定された最大角度の範囲内で可変的に設定することを特徴とする請求項7に記載の後方カメラの画像歪曲補正方法。
  10. 前記ティルティング角度を設定する段階は、
    前記可変領域のティルティング角度設定時、前記可変領域を垂直方向に複数個の領域に分類して上部領域から下部領域の順にティルティング角度を増加させることを特徴とする請求項8に記載の後方カメラの画像歪曲補正方法。
JP2012278968A 2012-07-09 2012-12-21 後方カメラの画像歪曲補正装置及び方法 Active JP6157107B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0074668 2012-07-09
KR1020120074668A KR101428169B1 (ko) 2012-07-09 2012-07-09 후방 카메라의 영상 왜곡 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2014017802A true JP2014017802A (ja) 2014-01-30
JP6157107B2 JP6157107B2 (ja) 2017-07-05

Family

ID=49780755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012278968A Active JP6157107B2 (ja) 2012-07-09 2012-12-21 後方カメラの画像歪曲補正装置及び方法

Country Status (5)

Country Link
US (1) US8837858B2 (ja)
JP (1) JP6157107B2 (ja)
KR (1) KR101428169B1 (ja)
CN (1) CN103546678B (ja)
DE (1) DE102012223373A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174896A (zh) * 2022-07-26 2022-10-11 华夏城视网络电视股份有限公司 一种双摄像头位置校正方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US9621798B2 (en) * 2014-07-07 2017-04-11 GM Global Technology Operations LLC Grid-based image resolution enhancement for video processing module
KR101592740B1 (ko) 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
KR101676161B1 (ko) * 2015-03-31 2016-11-15 멀티펠스 주식회사 차량 카메라용 영상 처리 시스템 및 그 영상 처리 방법
JP6819514B2 (ja) * 2017-08-28 2021-01-27 トヨタ自動車株式会社 画像処理装置及び撮像装置
CN107645634A (zh) * 2017-10-09 2018-01-30 深圳市天视通电子科技有限公司 一种无畸变广角网络摄像机及安防监控系统
US10937124B2 (en) * 2017-12-25 2021-03-02 Canon Kabushiki Kaisha Information processing device, system, information processing method, and storage medium
CN109829857B (zh) * 2019-01-22 2021-07-06 武汉大学 一种基于生成对抗网络的倾斜图像的矫正方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264831A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 運転支援装置
JP2008102620A (ja) * 2006-10-17 2008-05-01 Toyota Motor Corp 画像処理装置
JP2008131176A (ja) * 2006-11-17 2008-06-05 Aisin Seiki Co Ltd カメラ校正装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027104A (en) * 1990-02-21 1991-06-25 Reid Donald J Vehicle security device
KR100596976B1 (ko) * 2004-11-08 2006-07-05 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
JP4268206B2 (ja) 2007-09-21 2009-05-27 富士通株式会社 魚眼レンズカメラ装置及びその画像歪み補正方法
JP5305750B2 (ja) 2008-06-18 2013-10-02 アルパイン株式会社 車両周辺表示装置およびその表示方法
JP5374217B2 (ja) * 2009-04-22 2013-12-25 キヤノン株式会社 画像処理装置およびその方法
US8886206B2 (en) * 2009-05-01 2014-11-11 Digimarc Corporation Methods and systems for content processing
KR101045143B1 (ko) * 2009-07-02 2011-06-30 고려대학교 산학협력단 탑 뷰 영상 보정 시스템 및 그 방법
KR101259550B1 (ko) * 2010-06-03 2013-04-30 한국전자통신연구원 원근왜곡 보정을 통한 영상대조 방법 및 장치
KR20120012272A (ko) 2010-07-30 2012-02-09 (주)엠아이웨어 왜곡 영상 보정 기능을 갖는 영상 처리 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264831A (ja) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd 運転支援装置
JP2008102620A (ja) * 2006-10-17 2008-05-01 Toyota Motor Corp 画像処理装置
JP2008131176A (ja) * 2006-11-17 2008-06-05 Aisin Seiki Co Ltd カメラ校正装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174896A (zh) * 2022-07-26 2022-10-11 华夏城视网络电视股份有限公司 一种双摄像头位置校正方法

Also Published As

Publication number Publication date
DE102012223373A1 (de) 2014-01-09
KR101428169B1 (ko) 2014-08-07
CN103546678B (zh) 2018-01-09
US8837858B2 (en) 2014-09-16
US20140010474A1 (en) 2014-01-09
CN103546678A (zh) 2014-01-29
KR20140007212A (ko) 2014-01-17
JP6157107B2 (ja) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6157107B2 (ja) 後方カメラの画像歪曲補正装置及び方法
KR102126241B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치
KR101592740B1 (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US8279297B2 (en) Image processing apparatus, image processing method, and storage medium
TWI535285B (zh) Conference system, surveillance system, image processing device, image processing method and image processing program, etc.
JP5942270B2 (ja) 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム
KR102225617B1 (ko) 영상 정합 알고리즘을 설정하는 방법
US9313411B2 (en) Camera, distortion correction device and distortion correction method
KR101521008B1 (ko) 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP2008083786A (ja) 画像生成装置および画像生成方法
TW201403553A (zh) 自動校正鳥瞰影像方法
EP2924651B1 (en) Video processing apparatus and projector apparatus applying the same therein
JP7150709B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP2020088708A (ja) 制御装置、撮像装置およびプログラム
KR101916419B1 (ko) 광각 카메라용 다중 뷰 영상 생성 장치 및 영상 생성 방법
CN104537627B (zh) 一种深度图像的后处理方法
JP6513941B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP6768933B2 (ja) 情報処理装置、情報処理システム、および画像処理方法
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
Tiwari et al. Non-linear method used for distortion correction of fish-eye lens: Comparative analysis of different mapping functions
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP2012191380A (ja) カメラ、画像変換装置、及び画像変換方法
JP2008042664A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R150 Certificate of patent or registration of utility model

Ref document number: 6157107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250