JP2004199350A - Image distortion correcting device and method - Google Patents

Image distortion correcting device and method Download PDF

Info

Publication number
JP2004199350A
JP2004199350A JP2002366538A JP2002366538A JP2004199350A JP 2004199350 A JP2004199350 A JP 2004199350A JP 2002366538 A JP2002366538 A JP 2002366538A JP 2002366538 A JP2002366538 A JP 2002366538A JP 2004199350 A JP2004199350 A JP 2004199350A
Authority
JP
Japan
Prior art keywords
image
distortion
wide
angle lens
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002366538A
Other languages
Japanese (ja)
Inventor
Hirotaka Iwano
博隆 岩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2002366538A priority Critical patent/JP2004199350A/en
Publication of JP2004199350A publication Critical patent/JP2004199350A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To correct an image distorted owing to the use of a wide angle lens while keeping the image distortion in such a manner that a user does not feel any sense of incompatibility. <P>SOLUTION: In this image distortion correcting method, an image having distortion imaged by using a wide angle lens 15 is converted into an image whose distortion is relaxed by using a correction conversion function for converting an image having distortion imaged by using the wide angle lens 15 into an image whose distortion is eliminated and a non-conversion function for replacing the image having distortion imaged by using the wide angle lens 15 into the image as it is. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、広角レンズを用いて撮像することによって歪んでしまった画像を補正するための画像歪み補正方法及び画像歪み補正装置に関する。
【０００２】
【従来の技術】
従来より、広範囲の撮影を行うために、広角レンズがカメラに多く用いられている。しかしながら、広角レンズを用いて撮影された画像は、標準レンズを用いて撮影された画像１（図６）と較べて歪んだ画像２（図７）となってしまうので、とても見づらくなってしまう傾向があった。このため、広角レンズを用いることによって歪んでしまった画像の歪みを取り除く方法が数多く提案されている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−２３２９２０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１等により提案されている技術を用いて歪んだ画像２の補正を行った場合には、図８に示すように、歪みのあった画像が、全く歪みのない画像に補正されてしまうので、補正により広角レンズでは撮像できなかった部分４が画像情報（撮像情報）の欠如した部分として画面３に表示されていた。このため、表示画面に対する画像情報を表示する部分（画像情報部分）５の面積が減少してしまい、画面８に表示される画像情報表示が非効率的なものになってしまっていた。さらに、一般的なユーザは完璧に歪みが補正されるよりも、多少樽型に歪みがあるほうが表示画面に対する画像情報部分５の割合が増加するので違和感を感じにくい傾向にあり、慣れてしまうと多少歪みがある方が自然な印象を受ける場合もある。
【０００５】
本発明は上記課題に鑑みて為されたものであり、広角レンズを用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行う画像歪み補正方法及び画像歪み補正装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に係る発明は、広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、前記広角レンズを用いて撮像された歪みのある画像を、歪みが緩和された画像に変換させる画像歪み補正方法であることを特徴とする。
【０００７】
請求項２に係る発明は、請求項１に記載の画像歪み補正方法において、前記歪みの緩和の程度が、設定される歪み補正量に応じて変化することを特徴とする。
【０００８】
請求項３に係る発明は、広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とに基づいて、前記広角レンズを用いて撮像された歪みのある画像を歪みが緩和された画像に変換させる画像変換関数を算出する情報処理手段と、該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段とを備える画像歪み補正装置であることを特徴とする。
【０００９】
請求項４に係る発明は、広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、画像歪みの歪み補正量を設置するための補正量設定手段と、前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、前記広角レンズを用いて撮像された歪みのある画像を、前記補正量設定手段により設定された前記歪み補正量に対応させて歪みを緩和させた画像に変換させる画像変換関数を算出する情報処理手段と、該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段とを備える画像歪み補正装置であることを特徴とする。
【００１０】
請求項５に記載の発明は、請求項３又は請求項４に記載の画像歪み補正装置を車両に搭載し、前記広角レンズを用いて該車両の周囲の様子を撮像することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項３又は請求項４に記載の画像歪み補正装置において、前記画像補正手段が、補正された画像を俯瞰画像に変換するための俯瞰画像変換機能を備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明に係る画像歪み補正装置について、図面を用いて説明する。
【００１３】
図１は、画像歪み補正装置を用いた画像歪み補正システムを示したブロック図であり、画像歪み補正システム１０は車両に設置されている。画像歪み補正システム１０は、画像歪み補正装置１１と、車両後方を撮影するカメラ１２と、インナーパネル等に設置されるインターフェース部１３と、画像歪み補正装置１１によって補正された画像を表示するための画像表示部１４とを備えている。
【００１４】
カメラ１２には、広角レンズ１５が用いられており、広角レンズ１５を介して撮影することによって、通常のレンズを用いる場合に較べて広画角の撮影が可能となるが、図８に示すように、撮影された画像は中心部に較べて周辺部が歪んだ画像となる。
【００１５】
インターフェース部１３は、画像歪み補正装置１１により補正させる画像の歪み補正値（歪み補正量）の設定及び画像倍率の変更等の入力を行うための操作手段である。画像表示部１４は、車内のインナーパネル等の運転者が画面を見やすい位置に設置される。
【００１６】
画像表示部１４、カメラ１２、インターフェース部１３はそれぞれ画像歪み補正装置１１に接続されている。
【００１７】
画像歪み補正装置１１は、デコーダ２０、エンコーダ２１、入力用メモリ２２、出力用メモリ２３、画像補整部２４、情報処理部２５、変形パターンメモリ２６を備えている。カメラ１２によって広角レンズ１５を介して撮影された画像データは、デコーダ２０によりデジタルデータに変換されて入力用メモリ２２に記録される。
【００１８】
インターフェース部１３において入力された情報は、情報処理部２５に伝達される。情報処理部２５は、カメラ１２に用いられる広角レンズ１５の特性及びカメラ１２自体の構造等に関する情報を記憶しており、広角レンズ１５のレンズ特性等に応じて、インターフェース部１３より入力された歪み補正値や画像倍率等に対応する画像変形パターンを作成し、変形パターンメモリ２６に記憶させる。
【００１９】
画像補正部２４は、入力用メモリ２２に記憶された画像データを、変形パターンメモリ２６に記憶された画像変形パターンに基づいて補正し、出力用メモリ２３に記憶させる。
【００２０】
エンコーダ２１は、出力用メモリ２３に記憶された歪み補正後の画像データをアナログデータ化し、画像表示部１４は、アナログデータ化された歪み補正後の画像データを表示する。
【００２１】
次に、情報処理部２５および画像補正部２４における画像歪み補正方法について説明する。画像歪みの補正を行う場合、その補正方法は広角レンズのレンズ特性等に応じて幾通りも存在するが、ここでは、広角レンズ１５がレンズの中心を基準とする完全な点対称である場合を例に用いて説明する。なお、広角レンズのレンズ特性が相違することによって画像歪みの補正方法が異なる場合であっても、基本的な補正手法の考え方は同一である。
【００２２】
広角レンズ１５が完全な点対称である場合には、等間隔に配列された格子点群を、広角レンズを用いて撮影すると、図２に示すように、歪んでしまった画像（歪み画像）もレンズの中心（図２においては、図の中心点ｐ）を基準とする完全な点対称となる。図３は、図２に示した歪み画像を補正することによって歪みがなくなった画像を示している。
【００２３】
ここで、レンズを介して撮像された画像において、画像の中心点ｐから特定点Ｑに対応する点ｑまでの距離をｒとし、歪みを完全に補正した後の画像において、画像の中心点Ｐから特定の点Ｑまでの距離をＲとする。図４は、広角レンズ１５を用いて撮像された画像における距離ｒと、その画像の歪みを補正することによって歪みがなくなった画像における距離Ｒとの関係をグラフに示したものである。
【００２４】
Ｒとｒとの関係を示したグラフ（図４）は、用いられるレンズの特性やカメラの構造に依存して変化するが、広角レンズ１５を用いる場合には一般的に下方向に凸を示すグラフ特性となる。なお、広角レンズ１５を用いて撮像された画像における距離ｒと完全に補正された画像における距離Ｒとの関係を求める方法については、いわゆる当業者に公知の技術であるためここでの説明は省略する（特開２００２−２３２９２０号公報、特表平６−５０１５８５号公報参照）。
【００２５】
ここで、広角レンズを用いて撮像された画像（図２）の中心点ｐから点ｑまでの位置ベクトルａと、その画像を完全に補正した画像（図３）における中心点Ｐから点Ｑまでの位置ベクトルＡとを比較すると、ベクトルａとベクトルＡとはその方向が一致しているが、距離（Ｒ、ｒ）が相違する関係となっている。歪み画像を完全に補正する場合には、図２に示した画像に対して、ベクトルａの方向は変えずにベクトルの長さをｒからＲに変更すればよい。
【００２６】
図５は、広角レンズ１５を用いて撮像された画像における距離ｒと、その画像を全く補正しないで画像表示部１４に表示させた画像における距離Ｒとの関係をグラフに示したものである。図５に示したグラフのように、距離ｒと距離Ｒとの関係は直線状の比例関係を示すこととなり、歪み補正後の画像の倍率が等倍（１倍）である場合には直線の傾きが１となる。歪み補正後の画像の倍率を大きくする場合には直線の傾きを１より大きくし、倍率を小さくする場合には直線の傾きを１より小さくする。
【００２７】
画像歪み補正装置１１は、広角レンズ１５の歪みを補正する装置ではあるが、歪んだ画像を完全に補正するだけでなく、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行うことも可能となっている。違和感を感じない程度の歪みを持たせつつ補正を行うためには、その目的にあった曲線を示すＲとｒとの関係式を求めることが必要とされる。ここで、図４に示したグラフの関係式をＲ＝ｆ（ｒ）、図５に示したグラフの関係式をＲ＝ｇ（ｒ）とし、さらに、違和感がない程度の歪みを持ったグラフをＲ＝ｈ（ｒ）とすると、
【００２８】
【数１】
ｈ（ｒ）＝ｆ（ｒ）＋α（（ｇ（ｒ）−ｆ（ｒ）） ・・・・数式１
但し ０≦α≦１
で表される。この数式において定数αは歪み補正値である。
【００２９】
α＝０のときには ｈ（ｒ）＝ｆ（ｒ）
α＝１のときには ｈ（ｒ）＝ｇ（ｒ）
となり、歪み補正値αを連続的に変えることによってｆ（ｒ）とｇ（ｒ）との間でｈ（ｒ）を連続的に変形させることが可能となり、αの値に応じて画像の歪みを変化させることができる。
【００３０】
情報処理部２５は、既に記憶されている広角レンズ１５の特性及びカメラ１２の構造に基づく情報を用いて、インターフェース部１３より入力された歪み補正値や画像倍率値に対応する画像変形パターンを求めて数式１を導き出す。
【００３１】
ここで、Ｒ＝ｇ（ｒ）の関係式は、ｒとＲとが比例関係となることからＲ＝ｋｒ（ｋ：傾き＝完全な歪み補正画像における倍率、定数）となり、完全な歪み補正画像における倍率が等倍である場合には、ｋ＝１であり
【００３２】
【数２】
ｇ（ｒ）＝ｒ ・・・・数式２
となる。
【００３３】
数式２を数式１に代入すると、数式１は

Figure 2004199350
インターフェース部１３において入力された画像倍率（違和感を感じない程度まで補正を行った後の画像の倍率）をＫとすると、
【００３４】
【数３】
ｈ（ｒ）＝Ｋ｛（１−α）ｆ（ｒ）＋αｒ｝ ・・・・数式３
となる。 数式３において、Ｋ、αは定数であって、インターフェース部１３において入力された画像倍率値及び歪み補正値が代入される。
【００３５】
その後、画像補正部２４は入力用メモリ２２に記憶された画像に基づいてＲ＝ｆ（ｒ）の関係式を求め、このｆ（ｒ）に基づいてｈ（ｒ）を求める。
【００３６】
これらの処理手順に基づいて、画像補整部２４は
【００３７】
【数４】
Ｒ＝Ｋ｛（１−α）ｆ（ｒ）＋αｒ｝ ・・・・数式４
を求め、広角レンズ１５を用いて撮像された画像における画素毎の画素情報（画像の中心部ｐからのベクトルａ（距離、方向）等）を入力して補整後の画素情報を求めることにより、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行う。ユーザは、補正された画像の歪みに違和感を感じる場合には、インターフェース部１３において再度、歪み補正量や画像倍率値を入力することによって歪み画像の補正を行うことが可能である。
【００３８】
なお、画像歪み補正装置システムに俯瞰画像処理機能（特願２００２−１８７１０６号公報参照）を付加してもよい。例えば画像補正部２４に俯瞰画像処理機能を付加することによって、カメラ１２によって撮像された画像を、車両上方より車両後部を見下ろした画像（俯瞰画像）へ連続的に変形させる処理において、俯瞰画像に対して徐々に歪みを加えたり除いたりすることで「歪みのない俯瞰画像」から「違和感のない程度に歪みがある画像」へと連続的に変形させることができ、俯瞰画像処理により生ずる画像の違和感をより軽減させることが可能となる。
【００３９】
以上説明したように本発明に係る画像歪み補正装置１１を用いた画像歪み補正システム１０を使用することによって、広角レンズ１５を用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正することが可能となる。
【００４０】
なお、本発明に係る画像歪み補正装置１１は、発明の実施の形態に示した内容に限定されるものではない。例えば、発明の実施の形態において、歪みの補正方法の説明を行うために数式１を用いたが、実際に補正処理を行う場合には、ｆ（ｒ）の関係式に基づいてｇ（ｒ）を求めることができるので、ｆ（ｒ）から直接ｈ（ｒ）の関係式を求めることが可能である。
【００４１】
ｆ（ｒ）より一度に式変形を行うと、
Ｒ＝ｈ-1（ｆ（ｒ））
と表すことが可能であり、広角レンズ１５を用いて撮像された画像から直接補整を行うことも可能である。
【００４２】
【発明の効果】
以上説明したように本発明に係る画像歪み補正装置を用いることによって、広角レンズを用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像歪み補正システムを示したブロック図である。
【図２】広角レンズを用いて撮影された格子点群の画像を示した図である。
【図３】図２に示された画像を完全に補正した画像を示した図である。
【図４】実施例におけるR＝ｆ（ｒ）の関係式を示したグラフである。
【図５】実施例におけるR＝ｇ（ｒ）の関係式を示したグラフである。
【図６】通常のレンズを用いて撮像された画像を示した図である。
【図７】広角レンズを用いて撮像された画像を示した図である。
【図８】広角レンズを用いて撮像された画像の歪み補正を完全に補正した画像を示した図である。
【符号の説明】
１０ 画像補整歪み補正システム
１１ 画像補整歪み補正装置
１２ カメラ
１３ インターフェース部
１４ 画像表示部
１５ 広角レンズ
２０ デコーダ
２１ エンコーダ
２２ 入力用メモリ
２３ 出力用メモリ
２４ 画像補正部
２５ 情報処理部
２６ 変形パターンメモリ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image distortion correction method and an image distortion correction device for correcting an image that has been distorted by taking an image using a wide-angle lens.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a wide-angle lens has been widely used in a camera in order to capture a wide range. However, an image photographed using a wide-angle lens becomes an image 2 (FIG. 7) that is distorted compared to an image 1 (FIG. 6) photographed using a standard lens, and thus tends to be very difficult to see. was there. For this reason, many methods have been proposed for removing distortion of an image that has been distorted by using a wide-angle lens (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-2002-232920
[Problems to be solved by the invention]
However, when the distorted image 2 is corrected using the technique proposed in Patent Document 1 or the like, as shown in FIG. 8, the distorted image is corrected to an image without any distortion. Therefore, the portion 4 that could not be imaged by the wide-angle lens due to the correction was displayed on the screen 3 as a portion lacking image information (imaging information). For this reason, the area of the portion (image information portion) 5 for displaying image information on the display screen is reduced, and the display of image information displayed on the screen 8 is inefficient. Furthermore, a general user tends to feel uncomfortable because the ratio of the image information portion 5 to the display screen increases when the distortion is somewhat barrel-shaped, rather than when the distortion is perfectly corrected. Some distortion may give a natural impression.
[0005]
The present invention has been made in view of the above problems, and an image distortion correction method and an image that correct an image that has been distorted by using a wide-angle lens while giving distortion to such an extent that a user does not feel uncomfortable. It is an object to provide a distortion correction device.
[0006]
[Means for Solving the Problems]
In order to solve the above problem, the invention according to claim 1 is a correction conversion function for converting a distorted image captured using a wide-angle lens into an image without distortion, and an image captured using the wide-angle lens. An image distortion correction method for converting a distorted image captured using the wide-angle lens into an image with reduced distortion, using a non-conversion function that replaces the distorted image with an intact image. It is characterized by.
[0007]
According to a second aspect of the present invention, in the image distortion correcting method according to the first aspect, the degree of relaxation of the distortion changes according to a set distortion correction amount.
[0008]
The invention according to claim 3 is an image distortion correction device for correcting distortion of an image captured using a wide-angle lens, wherein the image having distortion is captured by using the wide-angle lens without distortion. Based on a correction conversion function to convert the image into a distorted image captured using the wide-angle lens and an unconverted function that replaces the distorted image captured with the wide-angle lens as it is, a distorted image captured using the wide-angle lens Information processing means for calculating an image conversion function to be converted into an image with reduced distortion, and using the image conversion function calculated by the information processing section to correct the distortion of the image captured using the wide-angle lens An image distortion correction apparatus comprising:
[0009]
The invention according to claim 4 is an image distortion correction device for correcting distortion of an image captured using a wide-angle lens, wherein a correction amount setting unit for setting a distortion correction amount of image distortion; A correction conversion function for converting a distorted image captured using a wide-angle lens into an image without distortion, and a non-conversion function for replacing a distorted image captured using the wide-angle lens with an intact image. And calculating an image conversion function for converting a distorted image captured using the wide-angle lens into an image with reduced distortion corresponding to the distortion correction amount set by the correction amount setting unit. An image distortion correction device comprising: information processing means; and image correction means for correcting distortion of an image captured using the wide-angle lens using the image conversion function calculated by the information processing unit. It is characterized in.
[0010]
A fifth aspect of the present invention is characterized in that the image distortion correction device according to the third or fourth aspect is mounted on a vehicle, and an image of the surroundings of the vehicle is imaged using the wide-angle lens.
[0011]
According to a sixth aspect of the present invention, in the image distortion correcting apparatus according to the third or fourth aspect, the image correcting means has an overhead image conversion function for converting the corrected image into an overhead image. It is characterized by.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an image distortion correction apparatus according to the present invention will be described with reference to the drawings.
[0013]
FIG. 1 is a block diagram showing an image distortion correction system using an image distortion correction device. An image distortion correction system 10 is installed in a vehicle. The image distortion correction system 10 includes an image distortion correction device 11, a camera 12 for photographing the rear side of the vehicle, an interface unit 13 installed on an inner panel or the like, and an image corrected by the image distortion correction device 11. An image display unit 14 is provided.
[0014]
A wide-angle lens 15 is used for the camera 12, and photographing through the wide-angle lens 15 enables photographing at a wider angle of view than using a normal lens, as shown in FIG. In addition, the captured image is an image in which the peripheral portion is distorted compared to the central portion.
[0015]
The interface unit 13 is an operation unit for setting a distortion correction value (distortion correction amount) of an image to be corrected by the image distortion correction device 11 and performing input such as a change in image magnification. The image display unit 14 is installed at a position such as an inner panel in the vehicle where the driver can easily see the screen.
[0016]
The image display unit 14, the camera 12, and the interface unit 13 are connected to the image distortion correction device 11, respectively.
[0017]
The image distortion correction apparatus 11 includes a decoder 20, an encoder 21, an input memory 22, an output memory 23, an image correction unit 24, an information processing unit 25, and a deformation pattern memory 26. Image data captured by the camera 12 via the wide-angle lens 15 is converted into digital data by the decoder 20 and recorded in the input memory 22.
[0018]
The information input in the interface unit 13 is transmitted to the information processing unit 25. The information processing unit 25 stores information on the characteristics of the wide-angle lens 15 used in the camera 12 and the structure of the camera 12 itself, and stores the distortion input from the interface unit 13 according to the lens characteristics of the wide-angle lens 15 and the like. An image deformation pattern corresponding to a correction value, an image magnification, and the like is created and stored in the deformation pattern memory 26.
[0019]
The image correction unit 24 corrects the image data stored in the input memory 22 based on the image deformation pattern stored in the deformation pattern memory 26, and stores the corrected image data in the output memory 23.
[0020]
The encoder 21 converts the image data after distortion correction stored in the output memory 23 into analog data, and the image display unit 14 displays the image data after distortion correction converted into analog data.
[0021]
Next, an image distortion correction method in the information processing unit 25 and the image correction unit 24 will be described. When performing image distortion correction, there are various correction methods depending on the lens characteristics and the like of the wide-angle lens. Here, it is assumed that the wide-angle lens 15 is completely point-symmetric with respect to the center of the lens. This will be described using an example. Note that even if the method of correcting image distortion is different due to the difference in the lens characteristics of the wide-angle lens, the concept of the basic correction method is the same.
[0022]
When the wide-angle lens 15 is completely symmetrical with respect to a point, when a grid point group arranged at equal intervals is photographed using a wide-angle lens, an image (distorted image) that is distorted as shown in FIG. Perfect point symmetry is obtained with reference to the center of the lens (in FIG. 2, the center point p in the figure). FIG. 3 shows an image in which distortion has been eliminated by correcting the distortion image shown in FIG.
[0023]
Here, in the image captured through the lens, the distance from the center point p of the image to the point q corresponding to the specific point Q is r, and in the image after the distortion is completely corrected, the center point P of the image Let R be the distance from to a specific point Q. FIG. 4 is a graph showing a relationship between a distance r in an image captured using the wide-angle lens 15 and a distance R in an image in which distortion has been eliminated by correcting distortion of the image.
[0024]
The graph (FIG. 4) showing the relationship between R and r changes depending on the characteristics of the lens used and the structure of the camera, but generally shows a downward convex when the wide-angle lens 15 is used. It becomes a graph characteristic. The method of obtaining the relationship between the distance r in the image captured using the wide-angle lens 15 and the distance R in the completely corrected image is a technique known to those skilled in the art, and thus the description thereof is omitted here. (See JP-A-2002-232920 and JP-A-6-501585).
[0025]
Here, a position vector a from a center point p to a point q of an image (FIG. 2) captured using a wide-angle lens, and a center vector P to a point Q in an image (FIG. 3) obtained by completely correcting the image. When the position vector A is compared with the position vector A, the vector a and the vector A have the same direction but the distance (R, r) is different. To completely correct the distorted image, the length of the vector may be changed from r to R without changing the direction of the vector a in the image shown in FIG.
[0026]
FIG. 5 is a graph showing a relationship between a distance r in an image captured using the wide-angle lens 15 and a distance R in an image displayed on the image display unit 14 without correcting the image at all. As shown in the graph of FIG. 5, the relationship between the distance r and the distance R indicates a linear proportional relationship, and when the magnification of the image after distortion correction is the same (1 ×), the straight line is proportional. The inclination becomes 1. When increasing the magnification of the image after the distortion correction, the inclination of the straight line is made larger than 1, and when decreasing the magnification, the inclination of the straight line is made smaller than 1.
[0027]
Although the image distortion correction device 11 is a device that corrects the distortion of the wide-angle lens 15, it not only completely corrects the distorted image, but also performs correction while giving distortion to such an extent that the user does not feel uncomfortable. It is possible. In order to perform the correction while giving a distortion that does not cause a feeling of strangeness, it is necessary to find a relational expression between R and r indicating a curve suitable for the purpose. Here, the relational expression of the graph shown in FIG. 4 is R = f (r), and the relational expression of the graph shown in FIG. 5 is R = g (r). Let R = h (r),
[0028]
(Equation 1)
h (r) = f (r) + α ((g (r) −f (r)) (1)
Where 0 ≦ α ≦ 1
Is represented by In this equation, the constant α is a distortion correction value.
[0029]
When α = 0 h (r) = f (r)
When α = 1, h (r) = g (r)
By continuously changing the distortion correction value α, h (r) can be continuously deformed between f (r) and g (r), and the distortion of the image is changed according to the value of α. Can be changed.
[0030]
The information processing unit 25 obtains an image deformation pattern corresponding to the distortion correction value and the image magnification value input from the interface unit 13 using the information based on the characteristics of the wide-angle lens 15 and the structure of the camera 12 which are already stored. Equation 1 is derived by the following formula.
[0031]
Here, the relational expression of R = g (r) is R = kr (k: slope = magnification, constant in a perfect distortion-corrected image) since r and R are in a proportional relationship, and is a complete distortion-corrected image. If the magnification at is equal, then k = 1 and
(Equation 2)
g (r) = r Equation 2
It becomes.
[0033]
Substituting Equation 2 into Equation 1, Equation 1 becomes
Figure 2004199350
Assuming that the image magnification (magnification of the image after the correction is made to the extent that the user does not feel uncomfortable) input in the interface unit 13 is K,
[0034]
[Equation 3]
h (r) = K {(1−α) f (r) + αr} Equation 3
It becomes. In Equation 3, K and α are constants, and the image magnification value and the distortion correction value input in the interface unit 13 are substituted.
[0035]
Thereafter, the image correction unit 24 obtains a relational expression of R = f (r) based on the image stored in the input memory 22, and obtains h (r) based on the f (r).
[0036]
Based on these processing procedures, the image correction unit 24 calculates
(Equation 4)
R = K {(1−α) f (r) + αr} (4)
Is obtained by inputting pixel information for each pixel (a vector a (distance, direction) from the center part p of the image, etc.) in the image captured using the wide-angle lens 15 to obtain pixel information after correction. The correction is performed while giving distortion to such an extent that the user does not feel uncomfortable. If the user feels uncomfortable with the corrected image distortion, the distortion image can be corrected by inputting the distortion correction amount and the image magnification value again in the interface unit 13.
[0038]
Note that an overhead image processing function (see Japanese Patent Application No. 2002-187106) may be added to the image distortion correction device system. For example, by adding a bird's-eye view image processing function to the image correction unit 24, in a process of continuously transforming an image captured by the camera 12 into an image (bird's-eye view image) overlooking the rear of the vehicle from above the vehicle, On the other hand, by gradually adding or removing distortion, it is possible to continuously deform from an “distorted bird's-eye view image” to “an image that is distorted to the extent that it does not feel uncomfortable”. Discomfort can be further reduced.
[0039]
As described above, by using the image distortion correction system 10 using the image distortion correction device 11 according to the present invention, an image that has been distorted by using the wide-angle lens 15 can be displaced to such an extent that the user does not feel uncomfortable. Correction can be performed while giving distortion.
[0040]
The image distortion correction device 11 according to the present invention is not limited to the contents described in the embodiment of the present invention. For example, in the embodiment of the present invention, Expression 1 is used to describe a method of correcting distortion, but when correction processing is actually performed, g (r) is calculated based on the relational expression of f (r). Can be obtained, so that the relational expression of h (r) can be obtained directly from f (r).
[0041]
When the equation transformation is performed at once from f (r),
R = h -1 (f (r))
, And it is also possible to directly perform correction from an image captured using the wide-angle lens 15.
[0042]
【The invention's effect】
As described above, by using the image distortion correction apparatus according to the present invention, it is possible to correct an image that has been distorted by using a wide-angle lens while distorting the image so that the user does not feel uncomfortable. It becomes.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an image distortion correction system according to the present invention.
FIG. 2 is a diagram illustrating an image of a grid point group captured using a wide-angle lens.
FIG. 3 is a diagram showing an image obtained by completely correcting the image shown in FIG. 2;
FIG. 4 is a graph showing a relational expression of R = f (r) in the example.
FIG. 5 is a graph showing a relational expression of R = g (r) in the example.
FIG. 6 is a diagram showing an image captured using a normal lens.
FIG. 7 is a diagram showing an image captured using a wide-angle lens.
FIG. 8 is a diagram illustrating an image obtained by completely correcting distortion correction of an image captured using a wide-angle lens.
[Explanation of symbols]
Reference Signs List 10 Image correction distortion correction system 11 Image correction distortion correction device 12 Camera 13 Interface unit 14 Image display unit 15 Wide-angle lens 20 Decoder 21 Encoder 22 Input memory 23 Output memory 24 Image correction unit 25 Information processing unit 26 Deformation pattern memory

Claims (6)

広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、
前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、
前記広角レンズを用いて撮像された歪みのある画像を、歪みが緩和された画像に変換させることを特徴とする画像歪み補正方法。A correction conversion function for converting a distorted image captured using a wide-angle lens into an image without distortion,
Using a non-conversion function that replaces the distorted image captured using the wide-angle lens with an intact image,
An image distortion correction method, comprising: converting a distorted image captured using the wide-angle lens into an image with reduced distortion. 前記歪みの緩和の程度は、設定される歪み補正量に応じて変化することを特徴とする請求項１に記載の画像歪み補正方法。2. The image distortion correction method according to claim 1, wherein the degree of relaxation of the distortion changes according to a set distortion correction amount. 広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、
前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とに基づいて、前記広角レンズを用いて撮像された歪みのある画像を歪みが緩和された画像に変換させる画像変換関数を算出する情報処理手段と、
該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段と
を備えることを特徴とする画像歪み補正装置。An image distortion correction device for correcting distortion of an image captured using a wide-angle lens,
A correction conversion function for converting a distorted image captured using the wide-angle lens into an image without distortion, and a non-conversion function for replacing a distorted image captured using the wide-angle lens with an intact image. Information processing means for calculating an image conversion function for converting a distorted image captured using the wide-angle lens into an image with reduced distortion based on
An image distortion correction device, comprising: image correction means for correcting distortion of an image captured using the wide-angle lens using the image conversion function calculated by the information processing unit. 広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、
画像歪みの歪み補正量を設置するための補正量設定手段と、
前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、前記広角レンズを用いて撮像された歪みのある画像を、前記補正量設定手段により設定された前記歪み補正量に対応させて歪みを緩和させた画像に変換させる画像変換関数を算出する情報処理手段と、
該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段と
を備えることを特徴とする画像歪み補正装置。An image distortion correction device for correcting distortion of an image captured using a wide-angle lens,
Correction amount setting means for setting a distortion correction amount of image distortion,
A correction conversion function for converting a distorted image captured using the wide-angle lens into an image without distortion, and a non-conversion function for replacing a distorted image captured using the wide-angle lens with an intact image. Is used to calculate an image conversion function for converting a distorted image captured using the wide-angle lens into an image with reduced distortion corresponding to the distortion correction amount set by the correction amount setting unit. Information processing means,
An image distortion correction device, comprising: image correction means for correcting distortion of an image captured using the wide-angle lens using the image conversion function calculated by the information processing unit. 車両に搭載して、前記広角レンズを用いて該車両の周囲の様子を撮像することを特徴とする請求項３または請求項４に記載の画像歪み補正装置。The image distortion correction device according to claim 3, wherein the image distortion correction device is mounted on a vehicle, and captures an image of a surrounding of the vehicle using the wide-angle lens. 前記画像補正手段は、補正された画像を俯瞰画像に変換するための俯瞰画像変換機能を備えることを特徴とする請求項３又は請求項４に記載の画像歪み補正装置。The image distortion correction device according to claim 3, wherein the image correction unit includes a bird's-eye view image conversion function for converting the corrected image into a bird's-eye view image.
JP2002366538A 2002-12-18 2002-12-18 Image distortion correcting device and method Pending JP2004199350A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002366538A JP2004199350A (en) 2002-12-18 2002-12-18 Image distortion correcting device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002366538A JP2004199350A (en) 2002-12-18 2002-12-18 Image distortion correcting device and method

Publications (1)

Publication Number Publication Date
JP2004199350A true JP2004199350A (en) 2004-07-15

Family

ID=32763710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002366538A Pending JP2004199350A (en) 2002-12-18 2002-12-18 Image distortion correcting device and method

Country Status (1)

Country Link
JP (1) JP2004199350A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048451A (en) * 2004-08-05 2006-02-16 Toshiba Corp Periphery monitoring device and bird's-eye image display method
JP2007174571A (en) * 2005-12-26 2007-07-05 Fuji Xerox Co Ltd Image forming apparatus and image processing method
WO2007129444A1 (en) * 2006-04-14 2007-11-15 Nikon Corporation Image distortion correction method, distortion correction program, and optical device
US8000559B2 (en) 2007-08-27 2011-08-16 Core Logic, Inc. Method of correcting image distortion and apparatus for processing image using the method
WO2012093453A1 (en) * 2011-01-06 2012-07-12 パナソニック株式会社 Camera, distortion correction device and distortion correction method
CN105491266A (en) * 2014-10-06 2016-04-13 柯尼卡美能达株式会社 Image deformation device

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4744823B2 (en) * 2004-08-05 2011-08-10 株式会社東芝 Perimeter monitoring apparatus and overhead image display method
JP2006048451A (en) * 2004-08-05 2006-02-16 Toshiba Corp Periphery monitoring device and bird's-eye image display method
JP2007174571A (en) * 2005-12-26 2007-07-05 Fuji Xerox Co Ltd Image forming apparatus and image processing method
JP4622850B2 (en) * 2005-12-26 2011-02-02 富士ゼロックス株式会社 Image forming apparatus and image processing method
JP4798221B2 (en) * 2006-04-14 2011-10-19 株式会社ニコン Image distortion correction method, distortion correction program, and optical apparatus
WO2007129444A1 (en) * 2006-04-14 2007-11-15 Nikon Corporation Image distortion correction method, distortion correction program, and optical device
US8120676B2 (en) 2006-04-14 2012-02-21 Nikon Corporation Image distortion correcting method, carrier medium carrying distortion correcting program, and optical apparatus
US8000559B2 (en) 2007-08-27 2011-08-16 Core Logic, Inc. Method of correcting image distortion and apparatus for processing image using the method
WO2012093453A1 (en) * 2011-01-06 2012-07-12 パナソニック株式会社 Camera, distortion correction device and distortion correction method
JP2012142885A (en) * 2011-01-06 2012-07-26 Panasonic Corp Camera, distortion correction device, and distortion correction method
CN103283214A (en) * 2011-01-06 2013-09-04 松下电器产业株式会社 Camera, distortion correction device and distortion correction method
US9313411B2 (en) 2011-01-06 2016-04-12 Panasonic Intellectual Property Management Co., Ltd. Camera, distortion correction device and distortion correction method
CN103283214B (en) * 2011-01-06 2016-08-24 松下电器产业株式会社 Video camera, distortion correction device and distortion correction method
CN105491266A (en) * 2014-10-06 2016-04-13 柯尼卡美能达株式会社 Image deformation device
JP2016074128A (en) * 2014-10-06 2016-05-12 コニカミノルタ株式会社 Image deformation device

Similar Documents

Publication Publication Date Title
KR101408426B1 (en) Image correcting apparatus, correction image generating method, correction table generating apparatus, correction table generating method, computer readable recording medium storing a correction table generating program, computer readable recording medium storing a correction image generating program
WO2009116328A1 (en) Image processing device and method, driving support system, and vehicle
EP2661071A1 (en) Image signal processor and image signal processing method
JP2009010730A (en) Image processing method and imaging apparatus employing the same
JP2009064427A (en) Method for correcting image distortion and apparatus for processing image using the method
WO2005024723A1 (en) Image combining system, image combining method, and program
US8462222B2 (en) Image processing method and device, and imaging apparatus using the image processing device
JP2004199350A (en) Image distortion correcting device and method
WO2005041124A1 (en) Image processing method, image processing device, and program
JP4791222B2 (en) Display control device
JP2009100407A (en) Image processing apparatus and method thereof
JP4908350B2 (en) Image processing method and imaging apparatus using the image processing method
JP6278668B2 (en) Compound eye imaging device
JP2019176402A (en) Image processor
JP2007266703A5 (en)
CN102065253B (en) Software and hardware coordinated image horizontal zooming method and device
JPH0896118A (en) Circumferential state display device for vehicle
US8194150B2 (en) Moving image processing apparatus and video camera apparatus using the same
JP5521641B2 (en) Method and apparatus for compressing image processing data, and image pickup apparatus having the same
JP2010178018A (en) Device for displaying periphery of vehicle by image
JPH0737079A (en) Method and device for correcting picture distortion
JP5047915B2 (en) In-vehicle image processing apparatus and image processing method thereof
KR100856729B1 (en) Device and method for correcting distorted image
JP4689243B2 (en) Image processing apparatus, image processing method, and digital camera
JP4861962B2 (en) Image deformation map data correction apparatus and image deformation map data correction method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090324