JP2008052589A

JP2008052589A - 広角画像の歪み補正方法

Info

Publication number: JP2008052589A
Application number: JP2006229569A
Authority: JP
Inventors: Hitoshi Koyanagi; 仁小柳
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2006-08-25
Filing date: 2006-08-25
Publication date: 2008-03-06

Abstract

【課題】直線性の表現を含めて見た目に自然な広角画像を得る。
【解決手段】本発明に係る広角画像の歪み補正方法は、広角画像を所定面に投影する投影工程と、投影面上の一の座標を他の座標に変換する変換工程とを備え、前記変換工程では、前記一の座標（ｘ１，ｙ１）のｘ，ｙ座標のうち少なくとも一方の原点位置からの距離に応じて、前記一の座標（ｘ１，ｙ１）から前記他の座標（ｘ２，ｙ２）への変換量を大きくする。
【選択図】図１

Description

本発明は広角画像の歪みを補正する広角画像の歪み補正方法であって、いわゆる車載分野に好適に用いられるものに関する。

従来から、広角画像をいわゆる車載分野に応用する技術が注目を集めている。当該技術は、広角レンズを内蔵したカメラを車両に搭載して、前方を横切る車両の有無を確認する場合や車両を後方から車庫に入庫したりする場合等に、人間の視覚では検知できない情報を自動で取得するというものである。

しかし、広角画像は広い画角範囲で被写体を捉えるものであるため、当該画像の周縁部でレンズの形状に応じて大きく歪んでおり、人間の視覚とは見え方にややずれが生じる。すなわち、広角画像にはパースペクティブという問題が存在する。この問題に対し、特許文献１に記載の技術では、ベクトルの方向を変えずにベクトルの長さを任意に変更してある程度の歪みを持たせつつ広角画像の歪みを補正し、ユーザが当該広角画像に対し違和感を感じないようにしている。
特開２００４−１９９３５０号公報

しかしながら、特許文献１に記載の技術では、ユーザが違和感を感じない程度に歪み補正をおこなっているとはいうものの、歪み補正前の広角画像から歪み補正後の広角画像に至っては直線性が表現されておらず、歪み補正後の広角画像においてはやはり見た目に不自然さが残っている。
本発明の目的は、直線性の表現を含めて見た目に自然な広角画像を得ることである。

上記課題を解決するため本発明に係る広角画像の歪み補正方法は、
広角画像を所定面に投影する投影工程と、
投影面上の一の座標を他の座標に変換する変換工程とを備え、
前記変換工程では、前記一の座標と前記他の座標とをｘ，ｙ座標で表現した場合に、前記一の座標のｘ，ｙ座標のうち少なくとも一方の原点位置からの距離に応じて、前記一の座標から前記他の座標への変換量を大きくすることを特徴としている。

本発明に係る広角画像の歪み補正方法においては、
前記変換工程では、前記一の座標を（ｘ１，ｙ１）と、前記他の座標を（ｘ２，ｙ２）とした場合に、前記一の座標（ｘ１，ｙ１）から前記他の座標（ｘ２，ｙ２）への変換が下記式（Ａ）又は下記式（Ｄ）に従ってｘ，ｙ座標の両方に応じてもよいし、下記式（Ｂ）又は下記式（Ｃ）に従ってｘ，ｙ座標の一方に応じてもよい。

本発明によれば、直線性の表現を含めて見た目に自然な広角画像を得ることができる。

以下、図面を参照しながら本発明を実施するための最良の形態について説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、発明の範囲は以下の実施形態及び図示例に限定されるものではない。

［第１の実施形態］
広角画像の歪み補正システムでは、公知の広角レンズを内蔵したカメラと、ＰＣ（Personal Computer）等の補正装置とを備えており、当該補正装置がカメラ撮影により得た広角画像を画像処理して当該広角画像の歪みを補正するようになっている。

下記に、カメラで撮影した現実の広角画像（実写）を参照しながら、本実施形態に係る「広角画像の歪み補正方法」について説明する。

当該広角画像の歪み補正方法はいわゆるリニア保存圧縮補正に係る手法である。
始めに、カメラを用いてある風景を撮影し図１（ａ）の広角画像を得たとする。図１（ａ）の広角画像は中心から離れるにしたがって広角レンズの形状に沿う楕円形状に大きく湾曲しており（歪んでおり）、更には同図中左右両側に位置する建物の外観から容易に判断することができるように遠近感と物体の縮尺にも違和感がある。

図１（ａ）の広角画像を得たら、補正装置を用いて図１（ａ）の広角画像を平面に投影し、図１（ｂ）の投影画像を作成する（投影工程）。

当該投影工程では、理想の像高と現実の像高との比をディストーションとして表現する手法を用いる。図１中の各画像について横軸をｘ軸と縦軸をｙ軸と表現した場合に、図１（ａ）中の中心から座標（ｘ０，ｙ０）までの距離（現実の像高）を「ｒ_{ｉｄｅａｌ}」と、図１（ｂ）中の中心から座標（ｘ１，ｙ１）までの距離（理想の像高）を「ｒ_ｒｅａｌ」とすると、ディストーションは下記式（１）で算出することができる。
ディストーション＝（ｒ_{ｉｄｅａｌ}−ｒ_ｒｅａｌ）／ｒ_{ｉｄｅａｌ}×１００ … （１）

補正装置中には、現実の像高ｒ_ｒｅａｌの値とディストーションの値とが図２に示すようなデータテーブルとして格納されている。当該投影工程では、データテーブルを用いて図１（ａ）中の現実の像高ｒ_ｒｅａｌからディストーションの値を算出し、そのディストーションの値と現実の像高ｒ_ｒｅａｌとを上記式（１）に代入し、理想の像高ｒ_{ｉｄｅａｌ}を算出する。

その結果、図１（ａ）中の座標（ｘ０，ｙ０）に対応する位置の画像を図１（ｂ）中の座標（ｘ１，ｙ１）に対応する位置の画像に投影することができ、図１（ｂ）の投影画像を作成することができる。

図１（ｂ）の投影画像は本来直線である部分が正しく直線に変換されている。その代わり、図１（ｂ）の投影画像は遠近感と物体の縮尺とに未だ顕著に違和感がある。遠近感の観点では、同図中の中央部の画像が実際よりも遠くに存在するように見え、特に同図中の右側に位置する建物の角部（同図中の座標（ｘ１，ｙ１）に対応する部分）で顕著である。物体の縮尺の観点では、同図中の周縁部の画像が同図中の四隅に向かって大きく引き伸ばされたように見える。

投影工程の処理を終えたら、補正装置を用いて図１（ｂ）の投影画像の座標を他の座標に変換し、図１（ｃ）の広角画像を作成する（変換工程）。

当該変換工程では、下記式（Ａ）に従いながら座標（ｘ１，ｙ１）を座標（ｘ２，ｙ２）に変換する。

上記式（Ａ）中、「ｆ（ｘ１）」，「ｇ（ｙ１）」は下記式（２），（３）の通りであり、当該式（２），（３）中、「ａ」は定数であって適宜変更可能である。
ｆ（ｘ１）＝ａ（１＋ｘ１^２） … （２）
ｇ（ｙ１）＝ａ（１＋ｙ１^２） … （３）

すなわち、当該変換工程では、座標（ｘ１，ｙ１）の位置の値を上記式（２），（３）中のｘ１，ｙ１に代入することで座標（ｘ２，ｙ２）の位置の値を算出し、座標（ｘ１，ｙ１）の値を座標（ｘ２，ｙ２）の値に座標変換する。

その結果、図１（ｂ）中の座標（ｘ１，ｙ１）に対応する位置の画像を図１（ｃ）中の座標（ｘ２，ｙ２）に対応する位置の画像に変換することができ、図１（ｃ）の広角画像を作成することができる。

図１（ｃ）の広角画像は、図１（ａ）の広角画像に対し、水平線，垂直線，中心から延びる線の直線性がよく保存されている。遠近感の観点でも、同図中の中央部の画像が相対的に大きく表示されており、当該中央部の画像の遠近感に対する違和感が少なくなっている。物体の縮尺の観点でも、同図中の周縁部の画像が縮小されており、感覚的に違和感がなくなっている。すなわち、図１（ｃ）の広角画像は、歪み，遠近感，物体の縮尺の各観点で全体的にバランスのとれた画像となっている。

以上の第１の実施形態では、始めに投影工程において広角画像を平面に投影し、その後の変換工程において、図３に示す通り、同図中実線で表現した座標（ｘ１，ｙ１）を同図中点線で表現した座標（ｘ２，ｙ２）に変換し、座標（ｘ，ｙ）の位置に対応する画像の歪みを座標（ｘ２，ｙ２）の位置に対応する画像に補正している。

特に、変換工程では、図４（ａ）に示す通り、被写体の理想の像高が高くなるにつれて座標間隔を大きくするように座標変換して、図４（ｂ）に示す通り、当該変換をｘ，ｙ座標の両方に対しおこなうことで画角の大きい部位の画像を相対的に縮小するようにしている。すなわち、投影画像において原点位置から座標（ｘ１，ｙ１）までの距離が大きくなるにつれて、ｘ，ｙ座標の両方においてその座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への変換量を大きくしている。

その結果、図１（ｃ）の広角画像から明らかなように、直線性の表現を含めて見た目に自然な広角画像を得ることができるようになっている。

なお、上記変換工程において、座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への変換は、上記式（Ａ）に示す通りｘ，ｙ座標の両方に対しおこなってもよいが、下記式（Ｂ）に示す通りｘ座標についてのみおこなってもよいし、下記式（Ｃ）に示す通りｙ座標についてのみおこなってもよい。

更に、座標変換式ｆ（ｘ１），ｆ（ｙ１），ｇ（ｘ１），ｇ（ｙ１）は上記式（２），（３）以外の他の座標変換式を適用してもよく（当該他の座標変換式は単に定数であってもよい。）、ｘ，ｙ座標中における原点位置から座標（ｘ１，ｙ１）までの距離が大きいほどその座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への変換量が大きい座標変換式であればよい。

［第２の実施形態］
本第２の実施形態は下記の点で上記第１の実施形態と異なっており、それ以外は上記第１の実施形態と同様である。

第２の実施形態に係る広角画像の歪み補正方法はいわゆる円筒−水平リニア補正に係る手法である。
始めに、カメラを用いてある風景を撮影して図１（ａ）と同様の図５（ａ）の広角画像を得たら、上記投影工程の処理と同様の処理をおこない、図１（ｂ）と同様の図５（ｂ）の投影画像を作成する（投影工程）。

なお、上記第１の実施形態の投影工程では図１（ａ）の広角画像を平面に投影したのに対し、当該投影工程では図５（ａ）の広角画像を円筒に投影しており、現実の像高の値とディストーションの値とが図２のそれとは異なっている。そのため、図５（ｂ）中の座標（ｘ１，ｙ１）に対応する位置は図１（ｂ）中の座標（ｘ１，ｙ１）に対応する位置とは一致していない。

投影工程の処理を終えたら、補正装置を用いて図５（ｂ）の投影画像の座標を他の座標に変換し、図５（ｃ）の広角画像を作成する（変換工程）。

当該変換工程では、下記式（Ｄ）に従いながら座標（ｘ１，ｙ１）を座標（ｘ２，ｙ２）に変換する。

上記式（Ｄ）中、「ｆ（ｙ１）」，「ｇ（ｘ１）」は下記式（４），（５）の通りであり、当該式（５）中、「ａ」は定数であって適宜変更可能であり、「ｆ」は広角レンズから被写体までの焦点距離である。
ｆ（ｙ１）＝１ … （４）
ｇ（ｘ１）＝ａ（１＋ｃｏｓ（ｘ１／ｆ）^２） … （５）

すなわち、当該変換工程では、座標（ｘ１，ｙ１）の位置の値を上記式（４），（５）中のｘ１，ｙ１に代入することで座標（ｘ２，ｙ２）の位置の値を算出し、座標（ｘ１，ｙ１）の値を座標（ｘ２，ｙ２）の値に座標変換する。

その結果、図５（ｂ）中の座標（ｘ１，ｙ１）に対応する位置の画像を図５（ｃ）中の座標（ｘ２，ｙ２）に対応する位置の画像に変換することができ、図５（ｃ）の広角画像を作成することができる。

図５（ｃ）の広角画像は、図５（ａ）の広角画像に対し、特に水平線の直線性が維持されており、遠近感の観点や物体の縮尺の観点でも、感覚的に違和感がなくなっている。すなわち、図５（ｃ）の広角画像も、歪み，遠近感，物体の縮尺の各観点で全体的にバランスのとれた画像となっている。

以上の第２の実施形態では、始めに投影工程において広角画像を円筒面に投影し、その後の変換工程において、図６に示す通り、同図中実線で表現した座標（ｘ１，ｙ１）を同図中点線で表現した座標（ｘ２，ｙ２）に変換し、座標（ｘ，ｙ）の位置に対応する画像の歪みを座標（ｘ２，ｙ２）の位置に対応する画像に補正している。

特に、変換工程では、図７に示す通り、被写体の理想の像高（ｘ座標）が高くなるにつれてｙ座標の座標幅を狭くするように座標変換して、ｘ座標の像高が高い部位の画像がｙ軸方向に相対的に拡大されるようになっている。すなわち、投影画像において原点位置から座標（ｘ１，ｙ１）の一方の座標（ｘ座標）までの距離が大きくなるにつれて、その座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への他方の座標（ｙ座標）の変換量を大きくしている。

その結果、図５（ｃ）の広角画像から明らかなように、直線性の表現を含めて見た目に自然な広角画像を得ることができるようになっている。

なお、上記変換工程において、座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への変換は、上記式（Ｄ）に示す通りｘ，ｙ座標の両方に対しおこなってもよいが、上記式（Ｂ）に示す通りｘ座標についてのみおこなってもよいし、上記式（Ｃ）に示す通りｙ座標についてのみおこなってもよい。

更に、座標変換式ｆ（ｘ１），ｆ（ｙ１），ｇ（ｘ１），ｇ（ｙ１）は上記式（４），（５）以外の他の座標変換式を適用してもよく（当該他の座標変換式は単に定数であってもよい。）、ｘ，ｙ座標中における原点位置から座標（ｘ１，ｙ１）までの距離が大きいほどその座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への変換量が大きい座標変換式であればよい。

なお、上記第１，第２の実施形態の変換工程において、座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）への変換では、上記式（Ａ），（Ｂ），（Ｃ），（Ｄ）に示す通り、ｘ１→ｘ２のｘ座標の変換はｘ座標又はｙ座標のいずれか一方にのみ依存し、ｙ１→ｙ２のｙ座標の変換もｘ座標又はｙ座標のいずれか一方にのみ依存するものである。すなわち、下記式（Ｅ）に示す通り、ｘ１→ｘ２のｘ座標の変換はｘ座標又はｙ座標の両方に依存するものではなく、ｙ１→ｙ２のｙ座標の変換もｘ座標又はｙ座標の両方に依存するものではない。

リニア保存圧縮補正方法を説明するための図面（写真）である。ディストーション変換テーブルの一例を示す図面である。リニア保存圧縮補正方法の座標変換を説明するための図面である。リニア保存圧縮補正原理を説明するための図面である。円筒−水平リニア補正方法を説明するための図面（写真）である。円筒−水平リニア補正方法の座標変換を説明するための図面である。円筒−水平リニア補正原理を説明するための図面である。

Claims

広角画像を所定面に投影する投影工程と、
投影面上の一の座標を他の座標に変換する変換工程とを備え、
前記変換工程では、前記一の座標と前記他の座標とをｘ，ｙ座標で表現した場合に、前記一の座標のｘ，ｙ座標のうち少なくとも一方の原点位置からの距離に応じて、前記一の座標から前記他の座標への変換量を大きくすることを特徴とする広角画像の歪み補正方法。
請求項１に記載の広角画像の歪み補正方法において、
前記変換工程では、前記一の座標を（ｘ１，ｙ１）と、前記他の座標を（ｘ２，ｙ２）とした場合に、前記一の座標（ｘ１，ｙ１）から前記他の座標（ｘ２，ｙ２）への変換が下記式（Ａ）又は下記式（Ｄ）に従ってｘ，ｙ座標の両方に応じることを特徴とする広角画像の歪み補正方法。
請求項１に記載の広角画像の歪み補正方法において、
前記変換工程では、前記一の座標を（ｘ１，ｙ１）と、前記他の座標を（ｘ２，ｙ２）とした場合に、前記一の座標（ｘ１，ｙ１）から前記他の座標（ｘ２，ｙ２）への変換が下記式（Ｂ）又は下記式（Ｃ）に従ってｘ，ｙ座標の一方に応じることを特徴とする広角画像の歪み補正方法。