JP2011054008A - 歪み画像補正装置及び方法 - Google Patents
歪み画像補正装置及び方法 Download PDFInfo
- Publication number
- JP2011054008A JP2011054008A JP2009203405A JP2009203405A JP2011054008A JP 2011054008 A JP2011054008 A JP 2011054008A JP 2009203405 A JP2009203405 A JP 2009203405A JP 2009203405 A JP2009203405 A JP 2009203405A JP 2011054008 A JP2011054008 A JP 2011054008A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- circle
- area
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims description 124
- 230000008859 change Effects 0.000 claims abstract description 111
- 230000003287 optical effect Effects 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 238000003860 storage Methods 0.000 claims description 9
- 206010052143 Ocular discomfort Diseases 0.000 abstract description 12
- 230000000694 effects Effects 0.000 description 12
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
Abstract
【課題】歪曲画像の情報量を維持しつつ視覚への違和感を低減すること。
【解決手段】 前記補正画像RIの左右の中心線上の点を円中心CTとする２つの円又は楕円を内円IC及び外円UCとし、当該補正画像RIを含む領域に対して、前記内円ICから前記外円UCまでの度合変化エリアA、前記内円ICの内側を通常補正エリアB、及び、前記外円UCの外側を無補正エリアCに設定する領域設定部１２と、前記通常補正エリアBについては前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる通常補正処理１４と、前記度合変化エリアAについては前記内円ICから前記外円UCまで前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる度合変化補正処理１６とを備えた。
【選択図】図１
【解決手段】 前記補正画像RIの左右の中心線上の点を円中心CTとする２つの円又は楕円を内円IC及び外円UCとし、当該補正画像RIを含む領域に対して、前記内円ICから前記外円UCまでの度合変化エリアA、前記内円ICの内側を通常補正エリアB、及び、前記外円UCの外側を無補正エリアCに設定する領域設定部１２と、前記通常補正エリアBについては前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる通常補正処理１４と、前記度合変化エリアAについては前記内円ICから前記外円UCまで前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる度合変化補正処理１６とを備えた。
【選択図】図１
Description
本発明は、歪み画像を画像処理により補正する技術分野に関連し、特に、歪曲収差を補正する技術に関する。
レンズの歪曲収差（ラジアルディストーション）による画像の歪を補正するための手法として、画像中心からの距離（像高）に応じた歪み補正係数Kによる補正方法が一般的に利用されている。
例えば、特許文献１には、広角レンズによる歪曲を画像の像高に応じて補正する手法が開示されている（段落００３２から００３５及び当該特許文献１の引用文献群）。
特許文献２には、広角画像の情報量を維持しつつ歪み補正による視認性の向上を図るために（段落００１１）、画像領域を車体部、車体近傍部及び遠方部の領域に分け、領域毎に予め設定された補正強度でレンズ歪みを補正する手法が開示されている。具体的には、特許文献２では、画像の下側（車両に近い）の歪みを補正して、画像の上側（車両から遠い）の歪みを残す処理をしている（段落００３８）。
特許文献３には、カメラの光軸から一定距離の円内では多項式近似により補正し、円外では対数式近似により補正する手法が開示されている。
特許文献２には、広角画像の情報量を維持しつつ歪み補正による視認性の向上を図るために（段落００１１）、画像領域を車体部、車体近傍部及び遠方部の領域に分け、領域毎に予め設定された補正強度でレンズ歪みを補正する手法が開示されている。具体的には、特許文献２では、画像の下側（車両に近い）の歪みを補正して、画像の上側（車両から遠い）の歪みを残す処理をしている（段落００３８）。
特許文献３には、カメラの光軸から一定距離の円内では多項式近似により補正し、円外では対数式近似により補正する手法が開示されている。
上記特許文献２記載の手法では、本来画像の中心からの距離に応じて決まる歪みの度合いを、画像の上下方向の距離に応じて変換してしまっている。すると、本来画像の中心から放射方向に広がっている画像を、画像の下方向に圧縮することになる。従って、特許文献２記載の手法では、変換後の画像に違和感がでてしまう。
上記特許文献３記載の手法では、歪みを良好に補正することができるが、画像の左右上下の端の一部が欠けた画像となり、視認性が悪化してしまう。
上記特許文献３記載の手法では、歪みを良好に補正することができるが、画像の左右上下の端の一部が欠けた画像となり、視認性が悪化してしまう。
［課題１］このように、上記従来例では、歪曲画像の情報量を維持しつつ視覚への違和感を低減することができない、という不都合があった。
［課題２］さらに、上記従来例では、歪曲画像の情報量を維持しつつ視覚への違和感を低減した補正を高速に処理することができない、という不都合があった。
［課題２］さらに、上記従来例では、歪曲画像の情報量を維持しつつ視覚への違和感を低減した補正を高速に処理することができない、という不都合があった。
［発明の目的］本発明の目的は、歪曲画像の情報量を維持しつつ視覚への違和感を低減することにある。
［着眼点］本発明の発明者は、情報量の維持と違和感の低減とを両立させるには、領域分割を円又は楕円で行うと良い、という点に着目した。そして、領域の設定と補正強度を段階的に変化させる手法とを工夫することで、上記課題を解決できるのではないか、との着想に至った。
［課題解決手段１］実施例１に対応する第１群の本発明は、歪みのあるカメラ画像のカメラ座標と歪みを低減した補正画像の補正座標との対応関係に基づいて当該歪みを補正する補正部と、前記補正画像の左右の中心線上の点を円中心とする２つの円又は楕円を内円及び外円とし、当該補正画像を含む領域に対して、前記内円から前記外円までの度合変化エリア、前記内円の内側を通常補正エリア、及び、前記外円の外側を無補正エリアに設定する領域設定部とを備えている。
そして、前記補正部が、前記通常補正エリアについては前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させる通常補正処理と、前記度合変化エリアについては前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させる度合変化補正処理とを備えた、という構成を採っている。
これにより、上記課題１を解決した。
そして、前記補正部が、前記通常補正エリアについては前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させる通常補正処理と、前記度合変化エリアについては前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させる度合変化補正処理とを備えた、という構成を採っている。
これにより、上記課題１を解決した。
［課題解決手段２］ 実施例２に対応する第２群の本発明は、広角レンズを有するカメラと、予め定められた画像変換マップを記憶したマップ記憶部と、前記画像変換マップに基づいて前記カメラで撮像されたカメラ画像を補正して補正画像を生成する画像処理部とを備えている。
そして、前記画像変換マップが、前記補正画像の左右の中心線上の点を円中心とする２つの円又は楕円を内円及び外円とし、当該補正画像を含む領域に対して、前記内円の内側である通常補正エリアと、前記内円から前記外円までの度合変化エリアと、前記外円の外側を無補正エリアとを備えている。
しかも、前記通常補正エリアについて、前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させた際の変動量を有している。
そして、前記度合変化エリアについて、前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させた際の変動量を有している。
また、前記無補正エリアについては前記変動量を０としている。
さらに、前記画像処理部が、前記補正座標毎に、前記マップ記憶部から当該補正座標の変動量を読み出す処理と、当該補正座標と当該変動量とに基づいて当該補正座標に対応するカメラ座標を特定する処理と、特定したカメラ座標の画素値を当該補正座標にセットする処理とを備えた、という構成を採っている。
これにより、上記課題２を解決した。
そして、前記画像変換マップが、前記補正画像の左右の中心線上の点を円中心とする２つの円又は楕円を内円及び外円とし、当該補正画像を含む領域に対して、前記内円の内側である通常補正エリアと、前記内円から前記外円までの度合変化エリアと、前記外円の外側を無補正エリアとを備えている。
しかも、前記通常補正エリアについて、前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させた際の変動量を有している。
そして、前記度合変化エリアについて、前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させた際の変動量を有している。
また、前記無補正エリアについては前記変動量を０としている。
さらに、前記画像処理部が、前記補正座標毎に、前記マップ記憶部から当該補正座標の変動量を読み出す処理と、当該補正座標と当該変動量とに基づいて当該補正座標に対応するカメラ座標を特定する処理と、特定したカメラ座標の画素値を当該補正座標にセットする処理とを備えた、という構成を採っている。
これにより、上記課題２を解決した。
本発明は、本明細書の記載及び図面を考慮して各請求項記載の用語の意義を解釈し、各請求項に係る発明を認定すると、各請求項に係る発明は、上記背景技術等との関連において次の有利な効果を奏する。
［発明の作用効果１］ 課題解決手段１の歪み画像補正装置は、領域設定部が、当該補正画像を含む領域に対して、前記内円から前記外円までの度合変化エリア、前記内円の内側を通常補正エリア、及び、前記外円の外側を無補正エリアに設定し、補正部が、通常補正エリアについては歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させ（通常補正処理）、度合変化エリアについては前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させる（度合変化補正処理）。
このため、自車に近い内円の内側を完全に補正すると、路面の白線等の歪みが完全に補正されて直線となり、ドライバーへの表示に際して良好な歪み補正をすることができる。また、内円の内側を完全に補正すると、白線認識等の画像処理をする際にも、歪みのない画像を対象とした一般的なアルゴリズムを適用することができる。
一方、なるべく視野を確保したい遠くの領域は、カメラ画像と同等の視野を確保することができる。そして、度合変化エリアを円で定義するため、視野を確保したい無補正又は低補正のエリアと、内側の通常補正のエリアとを連続的とすることで、視覚上の違和感を低減することができる。
従って、歪曲画像の情報量を維持しつつ視覚への違和感を低減することができる。
このため、自車に近い内円の内側を完全に補正すると、路面の白線等の歪みが完全に補正されて直線となり、ドライバーへの表示に際して良好な歪み補正をすることができる。また、内円の内側を完全に補正すると、白線認識等の画像処理をする際にも、歪みのない画像を対象とした一般的なアルゴリズムを適用することができる。
一方、なるべく視野を確保したい遠くの領域は、カメラ画像と同等の視野を確保することができる。そして、度合変化エリアを円で定義するため、視野を確保したい無補正又は低補正のエリアと、内側の通常補正のエリアとを連続的とすることで、視覚上の違和感を低減することができる。
従って、歪曲画像の情報量を維持しつつ視覚への違和感を低減することができる。
［発明の作用効果２］ 課題解決手段２の歪み画像補正装置は、課題解決手段１と同様に３つのエリアを取り扱い、そして、画像変換マップが、前記通常補正エリアについて、前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させた際の変動量を有し、前記度合変化エリアについて、前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させた際の変動量を有し、前記無補正エリアについては前記変動量を０としている。さらに、前記画像処理部が、前記補正座標毎に、前記マップ記憶部から当該補正座標の変動量を読み出して、当該補正座標と当該変動量とに基づいて当該補正座標に対応するカメラ座標を特定する。そして、この特定したカメラ座標の画素値を当該補正座標にセットする。
このため、補正座標毎に画像変換マップを参照するという処理のみで、課題解決手段１によるものと同様の補正画像を生成することができる。
従って、歪曲画像の情報量を維持しつつ視覚への違和感を低減する補正を高速に処理することができる。
このため、補正座標毎に画像変換マップを参照するという処理のみで、課題解決手段１によるものと同様の補正画像を生成することができる。
従って、歪曲画像の情報量を維持しつつ視覚への違和感を低減する補正を高速に処理することができる。
発明を実施するための形態として、２つの実施例を開示する。実施例１は歪み画像を内円IC及び外円UCで区切った領域毎に強度を変化させて補正する歪み画像補正装置であり、実施例２は実施例１の補正をするための画像変換マップMPを生成及び利用する歪み画像補正装置である。実施例１及び２を含めて実施形態という。
＜1 歪み画像補正装置：度合補正＞
＜1.1 度合補正エリア＞
まず、本実施形態の実施例１を開示する。実施例１は、歪曲のある画像の情報量を維持しつつ視覚上の違和感を低減するために、円で領域を区切り補正の強度を調整する技術である。
＜1.1 度合補正エリア＞
まず、本実施形態の実施例１を開示する。実施例１は、歪曲のある画像の情報量を維持しつつ視覚上の違和感を低減するために、円で領域を区切り補正の強度を調整する技術である。
歪み画像補正装置は、その主要な要素として、補正部１０と、領域設定部１２とを備え、補正部１０は、通常補正処理１４と、度合変化補正処理１６とを備えている。
図１に示す例では、さらに、カメラ２０と、表示部３２とを備えている。
図１に示す例では、さらに、カメラ２０と、表示部３２とを備えている。
補正部１０は、歪みのあるカメラ画像CIのカメラ座標(x, y)と歪みを低減した補正画像RIの補正座標(u, v)との対応関係に基づいて当該歪みを補正する。歪みの低減には、低減しつくして歪みを完全に無くすことを含む。補正部１０は、図１に示す例では、通常補正処理１４と、度合変化補正処理１６と、無補正処理１８と、表示処理３４とを備えている。また、補正部１０は、実施例２に対応して、マップ生成処理２８を備えるようにしても良い。
領域設定部１２は、図１等に示すように、前記補正画像RIの左右の中心線上の点を円中心CTとする２つの円又は楕円を設定し、これを内円IC及び外円UCとする。そして、領域設定部１２は、当該補正画像RIを含む領域に対して、前記内円ICから前記外円UCまでの度合変化エリアA、前記内円ICの内側を通常補正エリアB、及び、前記外円UCの外側を無補正エリアCに設定する。領域設定部１２は、補正画像RIを含む領域に対して領域の設定をするため、補正画像RIの外側についても計算上必要な範囲で領域設定することがある。例えば、具体例によっては、補正画像RI内に無補正エリアCを含まないこともある。
内円IC及び外円UCとの円中心CTは同一としても良いし、異なる位置としても良い。円中心CTを同一とした方が比較的違和感を低減できる。また、内円IC及び外円UCの一方又は両方を円ではなく楕円としても良い。これは、カメラ２０の画角や、補正画像RIの縦横比率との関係で選定すると良い。
通常補正処理１４は、前記通常補正エリアBを対象として、前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。例えば、通常補正エリアBの補正座標(u, v)について、対応するカメラ座標(x, y)の画素値を読み込むことで、カメラ画像CIから補正画像RIを生成する。通常補正処理１４で使用する歪み補正係数Kは、特許文献３等に開示した従来例による値を使用することができる。
度合変化補正処理１６は、前記度合変化エリアAを対象として、前記内円ICから前記外円UCまで、前記歪み補正係数Kによる補正度合を、前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて、前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。連続的な低下は、度合を低下させる比率を一定としても良いし、度合を低下させる比率を変化させつつ低下させるようにしても良い。連続的に低下させる方向は、光学中心CLを中心とした放射方向としても良いし、円中心CTを中心とした放射方向としても良い。いずれにせよ、ほぼ同心円状に度合を低下させることで、違和感を低減する。
そして、度合変化エリアAの補正座標(u, v)について、対応するカメラ座標(x, y)の画素値を読み込むことで、カメラ画像CIから補正画像RIを生成する。
そして、度合変化エリアAの補正座標(u, v)について、対応するカメラ座標(x, y)の画素値を読み込むことで、カメラ画像CIから補正画像RIを生成する。
無補正処理１８は、無補正エリアCを対象として、補正をせず、前記補正座標(u, v)に前記カメラ座標(x, y)をそのまま対応させる。無補正エリアCの補正座標(u, v)についても、対応するカメラ座標(x, y)の画素値を読み込むことで、カメラ画像CIから補正画像RIを生成する。なお、領域設定の例によっては、補正画像RIの全面を通常補正エリアBと度合変化エリアAのみとし、この無補正エリアC及び無補正処理１８を不要とすることもできる。
そして、表示処理３４は、全エリアについての補正画像RIを表示部３２に表示する。
そして、表示処理３４は、全エリアについての補正画像RIを表示部３２に表示する。
図２に示すように、カメラ画像CIと補正画像RIとを同一の大きさとして重ね合わせると、歪曲がない状態では補正座標(u, v)に集光（撮影）される点が、歪曲によりカメラ座標(x y)に撮像される。広角レンズ２２を使用するとこの歪曲がより顕著となる。この補正座標(u, v)とカメラ座標(x, y)とのズレ量を変動量(Δx, Δy)とすると、この変動量(Δx, Δy)は像高IHによって定まり、像高IHによって異なる値となる。
以下、同様に、カメラ画像CIと補正画像RIとを同一の大きさとして説明するが、大きさが異なる際には、補正座標(u, v)とカメラ座標(x, y)との対応関係に大小関係による拡大パラメーターを含ませれば良い。
以下、同様に、カメラ画像CIと補正画像RIとを同一の大きさとして説明するが、大きさが異なる際には、補正座標(u, v)とカメラ座標(x, y)との対応関係に大小関係による拡大パラメーターを含ませれば良い。
歪み補正係数Kは、具体的には、最小二乗法等により求める歪み係数κiを用いて、式（1-1a）によりRの関数として求める。ここで、Rは式(1-1b)に示すように光軸中心からの長さ（像高IH）である。なお、補正画像RIの周辺部に対しては、式(1-1a)の多項式に代えて、上記特許文献３にあるように、対数近似式にて歪み補正係数Kを求めるようにしても良い。
そして、式(1-2a, 1-2b)により、補正座標(u, v)に対応するカメラ座標(x, y)を求める。この式(1-2a, 1-2b)では、変動量(Δx, Δy)と歪み補正係数Kとは次式(1-3a, 1-3b)の関係となる。なお、無補正の際には、式(1-4a, 1-4b)に示すように補正座標(u, v)と対応するカメラ座標(x, y)とは等しい。
そして、式(1-2a, 1-2b)により、補正座標(u, v)に対応するカメラ座標(x, y)を求める。この式(1-2a, 1-2b)では、変動量(Δx, Δy)と歪み補正係数Kとは次式(1-3a, 1-3b)の関係となる。なお、無補正の際には、式(1-4a, 1-4b)に示すように補正座標(u, v)と対応するカメラ座標(x, y)とは等しい。
式(1-2a, 1-2b)により図３に示すカメラ画像CIの全体を補正すると、図４に示す補正画像RIAとなる。図４に示すように、歪みは画像の中心からの距離Rに応じて歪み補正係数Kで補正すると、左右上下の端の一部が欠けた画像になってしまう。この欠けDEを無くすように切り出すと、図５に示す補正画像RIBのように、本来カメラ２０に写っている周辺部が写らない画像となってしまう。周辺部が映らない補正画像RIでは、元来のカメラ画像CIに対して、情報量が少なくなってしまう。
このため、本実施例１では、歪みを完全に補正する通常補正エリアB、歪み補正の度合を変化させる度合変化エリアA、歪みを完全に残す無補正エリアCを設定し、補正の度合を調整する。そして、本実施例１では特に、図６及び図７に示すように、各エリアの境界として、半径UCL, ICLと中心位置CTを変えられる2個の円（内円ICと外円UC）を用いる。
図６を参照すると、内円ICから図中下部の領域が通常補正エリアBであり、内円ICと外円UCとに挟まれた領域が度合変化エリアAであり、外円UCよりも上部の領域が無補正エリアCである。
内円ICより内側の通常補正エリアBについては、補正部１０は、歪み補正係数Kを全面的に適用して、完全に歪みを補正した画像とする（通常補正処理１４）。
内円ICと外円UCとの間については、補正部１０は、円中心CTからの距離(外径半径UCL, 内径半径ICL)に応じて歪み補正係数Kの適用度合を変化させることで、歪みを残す度合い（補正強度）を変化させつつ歪み画像を変換する（度合変化補正処理１６）。また、補正手法によっては、円中心CTからの距離ではなく、画像中心となる光学中心CLからの距離に応じて補正強度を変化させるようにしても良い。
外円UCの外側の領域については、補正部１０は、歪みを残した画像（カメラ画像CI）とし、何ら補正をしない（無補正処理１８）。
内円ICより内側の通常補正エリアBについては、補正部１０は、歪み補正係数Kを全面的に適用して、完全に歪みを補正した画像とする（通常補正処理１４）。
内円ICと外円UCとの間については、補正部１０は、円中心CTからの距離(外径半径UCL, 内径半径ICL)に応じて歪み補正係数Kの適用度合を変化させることで、歪みを残す度合い（補正強度）を変化させつつ歪み画像を変換する（度合変化補正処理１６）。また、補正手法によっては、円中心CTからの距離ではなく、画像中心となる光学中心CLからの距離に応じて補正強度を変化させるようにしても良い。
外円UCの外側の領域については、補正部１０は、歪みを残した画像（カメラ画像CI）とし、何ら補正をしない（無補正処理１８）。
また、図７に示すように、内円ICと外円UCの円中心CTは同じ位置とし、光学中心CL（画像中心）を通る縦ライン上の任意の一点に設定すると、違和感をより低減することができる。そして、この円中心CTの位置は、補正画像RIの縦方向の長さの２倍以内に設定すると良い。この円中心CTの位置を調整することで、曲率を変化させ、補正画像RIの奥行き方向と左右方向での補正度合の変化を調節することができる。
なお、特殊な目的に応じたエリア設定をしたい際には、内円ICと外円UCの円中心CTを別の位置としても良い。
そして、内円ICの内円半径ICLと、外円UCの外円半径UCLとはそれぞれ設定可能とする。この内円半径ICLと外円半径UCLとの設定により、度合変化エリアAの面積を調節することができる。
なお、特殊な目的に応じたエリア設定をしたい際には、内円ICと外円UCの円中心CTを別の位置としても良い。
そして、内円ICの内円半径ICLと、外円UCの外円半径UCLとはそれぞれ設定可能とする。この内円半径ICLと外円半径UCLとの設定により、度合変化エリアAの面積を調節することができる。
・1.1 度合補正エリアの効果
上述のように、内円ICを用いて通常補正エリアBを設定すると、自車に近い路面部分はほぼ内円ICの内側に撮影されるため、路面の白線等の歪みを完全に補正して直線とすることができ、ドライバーへの表示に際して有効な歪み補正をすることができる。また、内円ICの内側を完全に補正すると、白線認識等の画像処理をする際にも歪みのない画像を対象とした一般的なアルゴリズムを適用することができる。
一方、なるべく視野を確保したい遠くの領域は、カメラ画像と同等の視野を確保することができる。そして、度合変化エリアAを内円ICと外円UCとで定義するため、補正度合を変化させる領域及び方向を放射状とすることができ、カメラ２０による光学的な歪みの方向と同一方向にて補正度合を変化させることができる。これにより、複数段階の補正度合としつつ、補正画像RIの違和感を低減することができる。
さらに、視野を確保したい無補正又は低補正のエリアと、内側の通常補正のエリアとを放射状・同心円状に連続的とすることで、視覚上の違和感を低減することができる。
上記より、例えば、駐車場において、自車両の駐車目標は、画像手前の白線の間のエリアとなり、画像上ではほぼ台形の領域となるところ、歪み補正をする領域と歪みを補正しない領域との境界を円又は楕円とすることで、この台形の領域をカバーすることが可能となる。
一方、駐車時の奥行き方向や、自車が駐車する領域の左右の状態については歪みを残しつつ広い視野を確保することができる。そして、この補正と無補正との切り替えを円又は楕円（内円IC及び外円UC）により行うため、視覚的に遠近の基準となり光学歪みの態様でもある同心円状の変化に合わせて切り替えることができる。この同心円状の切り替えにより、視覚上の違和感を低減することができる。
さらに、この領域の設定に内円IC及び外円UCを用いることで、度合変化エリアAと無補正エリアCとが連続する領域や、度合変化エリアAと通常補正エリアBとが連続する領域にて、各エリアをまたいで運動する対象物が動的に撮像されている際に、その動きを違和感なく表示することができる。例えば、カメラ２０の視野外から接近する車両や、視野外からボールが飛んでくる場合の撮像対象物の動作が不自然に歪むことなく、かつ、広い視野を確保し、さらに、内側については完全な歪み補正を実現することができる。
上述のように、内円ICを用いて通常補正エリアBを設定すると、自車に近い路面部分はほぼ内円ICの内側に撮影されるため、路面の白線等の歪みを完全に補正して直線とすることができ、ドライバーへの表示に際して有効な歪み補正をすることができる。また、内円ICの内側を完全に補正すると、白線認識等の画像処理をする際にも歪みのない画像を対象とした一般的なアルゴリズムを適用することができる。
一方、なるべく視野を確保したい遠くの領域は、カメラ画像と同等の視野を確保することができる。そして、度合変化エリアAを内円ICと外円UCとで定義するため、補正度合を変化させる領域及び方向を放射状とすることができ、カメラ２０による光学的な歪みの方向と同一方向にて補正度合を変化させることができる。これにより、複数段階の補正度合としつつ、補正画像RIの違和感を低減することができる。
さらに、視野を確保したい無補正又は低補正のエリアと、内側の通常補正のエリアとを放射状・同心円状に連続的とすることで、視覚上の違和感を低減することができる。
上記より、例えば、駐車場において、自車両の駐車目標は、画像手前の白線の間のエリアとなり、画像上ではほぼ台形の領域となるところ、歪み補正をする領域と歪みを補正しない領域との境界を円又は楕円とすることで、この台形の領域をカバーすることが可能となる。
一方、駐車時の奥行き方向や、自車が駐車する領域の左右の状態については歪みを残しつつ広い視野を確保することができる。そして、この補正と無補正との切り替えを円又は楕円（内円IC及び外円UC）により行うため、視覚的に遠近の基準となり光学歪みの態様でもある同心円状の変化に合わせて切り替えることができる。この同心円状の切り替えにより、視覚上の違和感を低減することができる。
さらに、この領域の設定に内円IC及び外円UCを用いることで、度合変化エリアAと無補正エリアCとが連続する領域や、度合変化エリアAと通常補正エリアBとが連続する領域にて、各エリアをまたいで運動する対象物が動的に撮像されている際に、その動きを違和感なく表示することができる。例えば、カメラ２０の視野外から接近する車両や、視野外からボールが飛んでくる場合の撮像対象物の動作が不自然に歪むことなく、かつ、広い視野を確保し、さらに、内側については完全な歪み補正を実現することができる。
＜1.2 補正点距離比＞
度合変化補正処理１６は、内円ICと外円UCとの間で補正度合（補正強度）を連続的に変化させる。この補正度合を調整するために、補正点距離比γを利用すると良い。
度合変化補正処理１６は、内円ICと外円UCとの間で補正度合（補正強度）を連続的に変化させる。この補正度合を調整するために、補正点距離比γを利用すると良い。
図７を参照すると、前記度合変化補正処理１６が、まず、前記円中心CT又は前記光学中心CLと前記補正画像RIの補正点aとを結ぶ度合変化直線LNを算出する。図７に示す例では、度合変化直線LNは円中心CTを起点とする。次に、前記度合変化直線LNとの交点に関して、前記内円ICとの内円交点bと外円UCとの外円交点cとを算出する。補正点aは、度合変化直線LN上で、内円交点bと外円交点cとの間に位置する。
度合変化処理１６は、さらに、前記度合変化直線LN上の前記内円交点bから前記外円交点cまでの度合変化距離Lacと前記補正点aの位置との関係を補正点距離比γとして算出する。そして、度合変化処理１６は、前記補正点距離比γに基づいた前記補正度合で前記補正点aの前記補正座標(u, v)に対応するカメラ座標(x, y)を特定する。
度合変化処理１６は、さらに、前記度合変化直線LN上の前記内円交点bから前記外円交点cまでの度合変化距離Lacと前記補正点aの位置との関係を補正点距離比γとして算出する。そして、度合変化処理１６は、前記補正点距離比γに基づいた前記補正度合で前記補正点aの前記補正座標(u, v)に対応するカメラ座標(x, y)を特定する。
この補正点距離比γを使用した補正度合の算出は、度合変化直線LN上の内円交点bの通常補正の歪み補正係数Kをそのまま使用した補正度合から、外円交点cでの補正度合が０となる無補正までの間で、当該度合変化直線LNに沿って、補正度合を補正点距離比γの関数として連続的に変化させる手法である。
補正点aの位置をla、内円交点bの位置をlb、外円交点cの位置をlcとすると、補正点距離比γは次式(2-1)で表すことができる。この式(2-1)の分母は式(2-2)に示すように度合変化距離Lacであり、円中心CTが内円ICと外円UCとで同一である場合、度合変化距離Lacは外円半径UCLと内円半径ICLとの差である。
度合変化曲線LNの起点を円中心CTとして、補正点距離比γを用いた補正をすると、領域設定に使用した内円ICと外円UCと同心の円状にて、内円交点bから外円交点cに向けて段階的に補正度合を低下させることができる。このため、通常補正エリアBから無補正エリアCに至る補正度合の変化を自然なものとし、視覚上の違和感を低減することができる。
一方、度合変化曲線LNの起点を光学中心CLとして、補正点距離比γを用いた補正をすると、カメラ２０の広角レンズ２２の歪曲の方向と同様な方向にて放射状に補正度合を低下させることができる。このため、歪曲を低減させる程度が歪曲の方向と一致する。このため、視覚上の違和感を低減することができる。
一方、度合変化曲線LNの起点を光学中心CLとして、補正点距離比γを用いた補正をすると、カメラ２０の広角レンズ２２の歪曲の方向と同様な方向にて放射状に補正度合を低下させることができる。このため、歪曲を低減させる程度が歪曲の方向と一致する。このため、視覚上の違和感を低減することができる。
図９に、実施例１の歪み補正方法の構成例を示す。この歪み補正方法は、歪みのあるカメラ画像CIのカメラ座標(x, y)と歪みを低減した補正画像RIの補正座標(u, v)との対応関係に基づいて当該歪みを補正する方法である。
まず、領域設定部１２が、補正画像RIの左右の中心線上の点を円中心CTとする２つの円又は楕円を内円IC及び外円UCとして設定する。そして、当該補正画像RIを含む領域に対して、前記内円ICの内側を通常補正エリアB、前記内円ICから前記外円UCまでの度合変化エリアA、及び、前記外円UCの外側を無補正エリアCに設定する（ステップS1）。
次に、補正画像RIの補正点aの補正座標(u, v)を特定する（ステップS2）。そして、この補正点aがどのエリアに属するか判定する（ステップS3）。
まず、領域設定部１２が、補正画像RIの左右の中心線上の点を円中心CTとする２つの円又は楕円を内円IC及び外円UCとして設定する。そして、当該補正画像RIを含む領域に対して、前記内円ICの内側を通常補正エリアB、前記内円ICから前記外円UCまでの度合変化エリアA、及び、前記外円UCの外側を無補正エリアCに設定する（ステップS1）。
次に、補正画像RIの補正点aの補正座標(u, v)を特定する（ステップS2）。そして、この補正点aがどのエリアに属するか判定する（ステップS3）。
補正点aの前記当該補正座標(u, v)が前記通常補正エリアBに属する際には、前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて、前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる（ステップS4）。例えば、上述した式(1-2a, 1-2b)を用いて補正座標(u, v)に対応するカメラ座標(x, y)を算出する。
補正点aの前記当該補正座標(u, v)が前記度合変化エリアAに属する際には、前記内円ICから前記外円UCまで（同心円状に）前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて、前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる（ステップS5）。この度合変化エリアAを対象とした処理については、図１０及び個別の補正手法１，２及び３として後述する。
補正点aの前記当該補正座標(u, v)が前記無補正エリアCに属する際には、前記補正座標(u, v)に前記カメラ座標(x, y)をそのまま対応させる（ステップS6）。例えば、上述した式(1-4a, 1-4b)を用いて補正座標(u, v)に対応するカメラ座標(x, y)を算出する。
そして、この補正点aのカメラ座標(x, y)の算出により、全ての補正座標(u, v)についての処理が完了していれば（ステップS7）、各補正座標(u, v)に対応するカメラ座標(x, y)の座標値をセットすることで補正画像RIを生成し、この補正画像RIを表示部３２等に出力する（ステップS8）。
一方、全ての補正点aについて終了していなければ（ステップS7）、次の補正点aを特定し（ステップS2）、エリアに応じて対応させる処理(ステップS3からステップS7)を繰り返す。
一方、全ての補正点aについて終了していなければ（ステップS7）、次の補正点aを特定し（ステップS2）、エリアに応じて対応させる処理(ステップS3からステップS7)を繰り返す。
図１０を参照すると、前記度合変化エリアAを対象とした補正処理では、まず、前記内円IC又は前記外円UCの円中心CTと前記補正画像RIの補正点aとを結ぶ度合変化直線LNを算出する（ステップS11）。次に、前記度合変化直線LNとの交点に関して前記内円ICとの内円交点bと外円UCとの外円交点cとを算出する（ステップS12）。
そして、前記度合変化直線LN上の前記内円交点bから前記外円交点cまでの距離Lacと前記補正点aの位置との関係を補正点距離比γとして算出する（ステップS13）。さらに、前記補正点距離比γに基づいた前記補正度合で前記補正点aの前記補正座標(u, v)に対応するカメラ座標(x, y)を特定する（ステップS14）。
・補正点距離比γを使用したカメラ座標(x, y)の算出では、３種類の方法がある。機種の違い、カメラ２０の取り付け位置・角度の違い等によりカメラ画像CIの視野が異なるときに、場合に応じて選択すると良い。
そして、前記度合変化直線LN上の前記内円交点bから前記外円交点cまでの距離Lacと前記補正点aの位置との関係を補正点距離比γとして算出する（ステップS13）。さらに、前記補正点距離比γに基づいた前記補正度合で前記補正点aの前記補正座標(u, v)に対応するカメラ座標(x, y)を特定する（ステップS14）。
・補正点距離比γを使用したカメラ座標(x, y)の算出では、３種類の方法がある。機種の違い、カメラ２０の取り付け位置・角度の違い等によりカメラ画像CIの視野が異なるときに、場合に応じて選択すると良い。
・1.2 補正点距離比の効果
上述のように、補正点距離比γに基づいて補正度合を変化させることで、通常補正エリアBから無補正エリアCまでの間で順次に補正度合を弱めていき、視覚上の違和感を低減することができる。
さらに、度合変化曲線LNの起点を円中心CTとして、補正点距離比γを用いた補正をすると、領域設定に使用した内円ICと外円UCと同心の円状にて、補正度合を低下させることができ、視覚上の違和感を低減することができる。
一方、度合変化曲線LNの起点を光学中心CLとして、補正点距離比γを用いた補正をすると、カメラ２０の広角レンズ２２の歪曲の方向と同様な方向にて放射状に補正度合を低下させ、歪曲を低減させる程度が歪曲の方向と一致させることで、視覚上の違和感を低減することができる。
上述のように、補正点距離比γに基づいて補正度合を変化させることで、通常補正エリアBから無補正エリアCまでの間で順次に補正度合を弱めていき、視覚上の違和感を低減することができる。
さらに、度合変化曲線LNの起点を円中心CTとして、補正点距離比γを用いた補正をすると、領域設定に使用した内円ICと外円UCと同心の円状にて、補正度合を低下させることができ、視覚上の違和感を低減することができる。
一方、度合変化曲線LNの起点を光学中心CLとして、補正点距離比γを用いた補正をすると、カメラ２０の広角レンズ２２の歪曲の方向と同様な方向にて放射状に補正度合を低下させ、歪曲を低減させる程度が歪曲の方向と一致させることで、視覚上の違和感を低減することができる。
＜1.3 内外円配置＞
実施例１では、内円ICと外円UCの円中心CTは一致していても一致していなくても良い。すなわち、領域設定部１２は、まず、内円IC又は外円UCの円中心CTを、前記補正画像RIの左右の中心線上で光学中心CL（画像中心）から下方に当該補正画像RIの上下長さの２倍以内の位置に配置する。さらに、実施例１では、内円ICと外円UCの一部またはすべてが補正画像RI内に入っていなくてもよい。
実施例１では、内円ICと外円UCの円中心CTは一致していても一致していなくても良い。すなわち、領域設定部１２は、まず、内円IC又は外円UCの円中心CTを、前記補正画像RIの左右の中心線上で光学中心CL（画像中心）から下方に当該補正画像RIの上下長さの２倍以内の位置に配置する。さらに、実施例１では、内円ICと外円UCの一部またはすべてが補正画像RI内に入っていなくてもよい。
図７に示す例では、内円ICと外円UCとの円中心CTを同一位置とし、光学中心CLとは別位置で、この光学中心CLから下方に当該補正画像RIの上下長さの２倍以内の位置に配置している。そして、内円ICの上端である内円上端ICTと、外円UCの上端である外円上端UCTとは、図７に示す例では、両方とも補正画像RI内にある。この内円上端ICTと外円上端UCTとは、上下方向に伸びる画像中心線上にある。
また、領域設定部１２は、内円上端ICTを、前記補正画像RIの上部に配置し、前記外円上端UCTを、内円上端ICTよりも上部で、前記補正画像RIの範囲内又は範囲外に配置することもできる。
図８（Ａ）に示す例では、内円上端ICTを補正画像RI内の上部に配置している。そして、外円上端UCTについては補正画像RIの範囲外に配置し、無補正エリアCは左右の上部に分断されている。
図８（Ｂ）に示す例では、外円上端UCTが補正画像RI外にあり、さらに、外円UCは補正画像RIと重なっていない。このため、図８（Ｂ）に示す例では、無補正エリアCが無い。
図８（Ａ）に示す例では、内円上端ICTを補正画像RI内の上部に配置している。そして、外円上端UCTについては補正画像RIの範囲外に配置し、無補正エリアCは左右の上部に分断されている。
図８（Ｂ）に示す例では、外円上端UCTが補正画像RI外にあり、さらに、外円UCは補正画像RIと重なっていない。このため、図８（Ｂ）に示す例では、無補正エリアCが無い。
・1.2 内外円配置の効果
上述のように、図７に示す内円IC及び外円UCの配置例では、無補正エリアCを広めに確保することで情報量の維持を優先しつつ欠けDEを無くし、さらに視覚上の違和感を低減することができる。
図８（Ａ）に示す配置例では、上部の左右に無補正エリアCを残すことで情報量を維持しつつ、より違和感を低減することができる。
図８（Ｂ）に示す配置例では、無補正エリアCを無くすことで情報量が低下するものの全体的な違和感をより低減することができる。
上述のように、図７に示す内円IC及び外円UCの配置例では、無補正エリアCを広めに確保することで情報量の維持を優先しつつ欠けDEを無くし、さらに視覚上の違和感を低減することができる。
図８（Ａ）に示す配置例では、上部の左右に無補正エリアCを残すことで情報量を維持しつつ、より違和感を低減することができる。
図８（Ｂ）に示す配置例では、無補正エリアCを無くすことで情報量が低下するものの全体的な違和感をより低減することができる。
＜1.4 補正手法１＞
次に、補正点距離比γを使用した具体的な補正手法を３例説明する。まず、補正手法１は、多様な領域設定に適用可能であるが、図１１に示すように、前記補正画像RIの光学中心CLと前記度合変化直線LNの起点となる前記円中心CTとが異なる位置にある際に適した手法である。
以下、補正画像RIの補正座標(u, v)及び対応するカメラ座標(x, y)について、a, b, cを添え字のように使用して、補正点aの補正座標(ua, va)と対応するカメラ座標(xa, ya)、内円交点bの補正座標(ub, vb)と対応するカメラ座標(xb, yb)、外円交点cの補正座標(uc, vc)と対応するカメラ座標(xc, vc)のように表記する。
次に、補正点距離比γを使用した具体的な補正手法を３例説明する。まず、補正手法１は、多様な領域設定に適用可能であるが、図１１に示すように、前記補正画像RIの光学中心CLと前記度合変化直線LNの起点となる前記円中心CTとが異なる位置にある際に適した手法である。
以下、補正画像RIの補正座標(u, v)及び対応するカメラ座標(x, y)について、a, b, cを添え字のように使用して、補正点aの補正座標(ua, va)と対応するカメラ座標(xa, ya)、内円交点bの補正座標(ub, vb)と対応するカメラ座標(xb, yb)、外円交点cの補正座標(uc, vc)と対応するカメラ座標(xc, vc)のように表記する。
この補正手法１では、前記度合変化補正処理１６が、前記補正画像RIの内円交点bに対応するカメラ座標(xb, yb)と、前記補正画像RIの外円交点cに対応するカメラ座標(xc, yc)と、前記補正点距離比γのn乗とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出する。
この補正手法１では、まず、円中心CTと補正点aとを通る度合変化直線LNと、内円交点bと、そして、外円交点cを求める。補正点aが通常補正エリアBの範囲内の際には、上記式(1-2a, 1-2b)を用いて補正する。補正点aが無補正エリアCの範囲内の際には、上記式(1-4a, 1-4b)を用いて補正せず対応させる。
補正点aが度合補正エリアAの範囲内の際には、まず、補正点aと内円交点bとの距離|la - lb|と、外円交点cと内円交点bとの距離|lc - lb|との比である補正点距離比γを求める。
さらに、内円交点bに対応するカメラ画像CIのカメラ座標(xb, yb)と、外円交点cに対応するカメラ画像CIの座標(xc, yc)とを求める。そして、これらの値と、γのn乗とを使用して、次式(3a, 3b)により、補正点aに対応するカメラ座標(xa, ya)を算出する。
さらに、内円交点bに対応するカメラ画像CIのカメラ座標(xb, yb)と、外円交点cに対応するカメラ画像CIの座標(xc, yc)とを求める。そして、これらの値と、γのn乗とを使用して、次式(3a, 3b)により、補正点aに対応するカメラ座標(xa, ya)を算出する。
この式(3a, 3b)では、外円交点cに対応するカメラ座標(xc, yc)について、式(1-4a, 1-4b)により補正座標(uc, vc)とする。内円交点bに対応するカメラ座標(xb, yb)について、歪み補正係数K及び式(1-2a, 1-2b)により求める。
そして、補正点aに対応するカメラ座標(xa, ya)は、内円交点bのカメラ座標(xb, yb)を起点として、外円交点cと内円交点bとの差にγのn乗を掛けた値を変動量(Δx, Δy)として、この内円交点bのカメラ座標(xb, yb)に加算することで算出する。
そして、補正点aに対応するカメラ座標(xa, ya)は、内円交点bのカメラ座標(xb, yb)を起点として、外円交点cと内円交点bとの差にγのn乗を掛けた値を変動量(Δx, Δy)として、この内円交点bのカメラ座標(xb, yb)に加算することで算出する。
このγの乗数nの値は画像の歪み補正の度合により適時設定する。（例えば、1.0、1.5、2.0）。図１２に示すように、乗数nの値を1とすると内円交点bから外円交点cまで、補正度合は同一比率で変化し、乗数nの値を2とすると、補正度合の比率が変化する。
・1.4 補正手法１の効果
上述のように、前記度合変化補正処理１６が、前記補正画像RIの内円交点bに対応するカメラ座標(xb, yb)と、前記補正画像RIの外円交点cに対応するカメラ座標(xc, yc)と、前記補正点距離比γのn乗とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出するため、度合変化直線LNの起点や傾きを任意とすることができ、度合変化直線LNの起点を円中心CTとしても、光学中心CLとしても補正点距離比γによる度合変化を適用することができる。
また、度合変化領域Aについて式(3a, 3b)で補正することで、図１３の補正画像RI_1に示すように、無補正エリアC側の違和感がより減少する。
上述のように、前記度合変化補正処理１６が、前記補正画像RIの内円交点bに対応するカメラ座標(xb, yb)と、前記補正画像RIの外円交点cに対応するカメラ座標(xc, yc)と、前記補正点距離比γのn乗とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出するため、度合変化直線LNの起点や傾きを任意とすることができ、度合変化直線LNの起点を円中心CTとしても、光学中心CLとしても補正点距離比γによる度合変化を適用することができる。
また、度合変化領域Aについて式(3a, 3b)で補正することで、図１３の補正画像RI_1に示すように、無補正エリアC側の違和感がより減少する。
＜1.5 補正手法２＞
補正手法２は、多様な領域設定に適用可能であるが、図１４に示すように、前記補正画像RIの光学中心CLと前記度合変化直線LNの起点となる前記円中心CTとが重なる際に有用な手法である。
この補正手法2では、前記度合変化補正処理１６が、前記補正画像RIの補正点aの前記補正点距離比γのn乗を前記歪み補正係数Kに掛けた値と、前記補正点aの補正座標(ua, va)とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出する。
補正手法２は、多様な領域設定に適用可能であるが、図１４に示すように、前記補正画像RIの光学中心CLと前記度合変化直線LNの起点となる前記円中心CTとが重なる際に有用な手法である。
この補正手法2では、前記度合変化補正処理１６が、前記補正画像RIの補正点aの前記補正点距離比γのn乗を前記歪み補正係数Kに掛けた値と、前記補正点aの補正座標(ua, va)とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出する。
この補正手法２では、補正手法１と同様に、光学中心CLと、補正点aとを通る直線と、内円ICとの内円交点cと外円交点cを求める。そして、補正点aが通常補正エリアBの範囲内の際には、上記式(1-2a, 1-2b)を用いて補正する。補正点aが無補正エリアCの範囲内の際には、上記式(1-4a, 1-4b)を用いて補正せず対応させる。さらに、補正点aが度合補正エリアAの範囲内の際には、まず、補正点aと内円交点bとの距離|la - lb|と、外円交点cと内円交点bとの距離|lc - lb|との比である補正点距離比γを求める。
補正手法２では、γのn乗を歪み補正係数Kに掛けることで、補正点距離比γに応じて歪み補正係数Kによる補正度合を低下させる。そして、この低下させた補正度合を使用して補正点aの補正座標(ua, va)から対応するカメラ座標(xa, ya)を算出する。すなわち、次式(4a, 4b)により当該カメラ座標(xa, ya)を求める。
補正手法２では、補正手法１と同様に、γの乗数nの値は、画像の歪み補正の度合により適時設定する。（例えば、1.0、1.5、2.0）。図１５に示すように、補正手法１の場合と同様に、乗数nの値を1とすると内円交点bから外円交点cまで、補正度合は同一比率で変化し、乗数nの値を2とすると、補正度合の比率が変化する。
・1.5 補正手法２の効果
上述のように、前記度合変化補正処理１６が、前記補正画像RIの補正点aの前記補正点距離比γのn乗を前記歪み補正係数Kに掛けた値と、前記補正点aの補正座標(ua, va)とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出するため、歪み補正係数Kを、補正点距離比γを用いて直接的に修正することができる。
特に、歪み補正係数Kが、光学中心CLからの距離である式(1-1b)のRの関数であるため(式(1-1a))、同様にRの関数である度合変化直線LN上の補正点距離比γを直接的に歪み補正係数Kに適用し易く、より簡易な算式で補正度合（補正強度）を変化させることができる。
そして、度合変化領域Ａを式(4a, 4b)にて補正すると、当該度合変化領域A内について、図１６に示す補正画像RI_2のように、通常補正エリアB側の違和感がより減少する。
上述のように、前記度合変化補正処理１６が、前記補正画像RIの補正点aの前記補正点距離比γのn乗を前記歪み補正係数Kに掛けた値と、前記補正点aの補正座標(ua, va)とに基づいて、当該補正点aに対応するカメラ座標(xa, ya)を算出するため、歪み補正係数Kを、補正点距離比γを用いて直接的に修正することができる。
特に、歪み補正係数Kが、光学中心CLからの距離である式(1-1b)のRの関数であるため(式(1-1a))、同様にRの関数である度合変化直線LN上の補正点距離比γを直接的に歪み補正係数Kに適用し易く、より簡易な算式で補正度合（補正強度）を変化させることができる。
そして、度合変化領域Ａを式(4a, 4b)にて補正すると、当該度合変化領域A内について、図１６に示す補正画像RI_2のように、通常補正エリアB側の違和感がより減少する。
＜1.6 補正手法３＞
補正方法3は、多様な領域設定に適用可能であるが、図１７に示すように、前記補正画像RIの光学中心CLと前記度合変化直線LNの起点となる前記円中心CTとが重なり、且つ、前記外円UCが前記補正画像RIの外側にある際に有用な補正手法である。
補正方法3は、多様な領域設定に適用可能であるが、図１７に示すように、前記補正画像RIの光学中心CLと前記度合変化直線LNの起点となる前記円中心CTとが重なり、且つ、前記外円UCが前記補正画像RIの外側にある際に有用な補正手法である。
この補正手法３では、前記度合変化補正処理１６が、前記歪み補正係数Kに前記補正画像RIの補正点aの前記補正点距離比γのn乗を加算した値を、当該補正点aの補正座標(ua, va)に掛けた値に基づいて当該補正点aに対応するカメラ座標(xa, ya)を算出する。
この補正手法３では、補正手法１及び２と同様に、まず、光学中心CLと、補正点aとを通る直線と、内円交点vと外円交点cを求める。そして、補正点aが通常補正エリアBの範囲内の際には、上記式(1-2a, 1-2b)を用いて補正する。さらに、補正点aが度合補正エリアAの範囲内の際には、まず、補正点aと内円交点bとの距離|la - lb|と、外円交点cと内円交点bとの距離|lc - lb|との比である補正点距離比γを求める。
なお、補正手法３では、無補正エリアCは無いため、上記式(1-4a, 1-4b)は使用しない。
なお、補正手法３では、無補正エリアCは無いため、上記式(1-4a, 1-4b)は使用しない。
そして、度合変化領域Aについては、γのn乗を歪み補正係数Kに加算して、カメラ画像CIでのカメラ座標(xa,ya)を求める。すなわち、式(5a, 5b)を用いてカメラ座標(xa,ya)を算出する。
補正手法３にあってもγの乗数nの値は、画像の歪み補正の度合により適時設定する。（例えば、1.0、1.5、2.0）。図１８に示すように、補正手法３では、乗数nの値にかかわらず、画像範囲境界にて補正量は０とならない。
・1.6 補正手法３の効果
上述のように、度合変化補正処理１６が、前記歪み補正係数Kに前記補正画像RIの補正点aの前記補正点距離比γのn乗を加算した値を、当該補正点aの補正座標(ua, va)に掛けた値に基づいて当該補正点aに対応するカメラ座標(xa, ya)を算出するため、内円交点bから度合変化直線LN上を補正画像RIの範囲内で連続的に補正度合を低下させることができる。
度合変化エリアAを式(5a, 5b)で補正すると、度合変化エリアAについて、図１９に示す補正画像RI_3のように、全体的に違和感が減少する。（ただし、周辺部の視野は減少する。）
上述のように、度合変化補正処理１６が、前記歪み補正係数Kに前記補正画像RIの補正点aの前記補正点距離比γのn乗を加算した値を、当該補正点aの補正座標(ua, va)に掛けた値に基づいて当該補正点aに対応するカメラ座標(xa, ya)を算出するため、内円交点bから度合変化直線LN上を補正画像RIの範囲内で連続的に補正度合を低下させることができる。
度合変化エリアAを式(5a, 5b)で補正すると、度合変化エリアAについて、図１９に示す補正画像RI_3のように、全体的に違和感が減少する。（ただし、周辺部の視野は減少する。）
＜2 歪み画像補正装置：画像変換マップの生成と利用＞
＜2.1 画像変換マップ：生成＞
次に、本実施形態の実施例２を開示する。実施例２は、歪曲のある画像の情報量を維持しつつ視覚上の違和感を低減する補正を高速に処理するために、円で領域を区切り補正の強度を調整するための画像変換マップMPを予め生成しておき、利用する技術である。
＜2.1 画像変換マップ：生成＞
次に、本実施形態の実施例２を開示する。実施例２は、歪曲のある画像の情報量を維持しつつ視覚上の違和感を低減する補正を高速に処理するために、円で領域を区切り補正の強度を調整するための画像変換マップMPを予め生成しておき、利用する技術である。
実施例２の歪み画像補正装置は、その主要な要素として、補正部１０が、マップ生成処理２８を備えている。
再度図１を参照すると、マップ生成処理２８が、画像変換マップMPを生成する。このマップ生成処理２８は、前記補正画像の全ての補正座標(u, v)について、前記通常補正エリアBについては前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。
そして、マップ生成処理２８は、前記度合変化エリアAについては前記内円ICから前記外円UCまで前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。さらに、マップ生成処理２８は、前記無補正エリアCについては、補正せずに前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。
再度図１を参照すると、マップ生成処理２８が、画像変換マップMPを生成する。このマップ生成処理２８は、前記補正画像の全ての補正座標(u, v)について、前記通常補正エリアBについては前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。
そして、マップ生成処理２８は、前記度合変化エリアAについては前記内円ICから前記外円UCまで前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。さらに、マップ生成処理２８は、前記無補正エリアCについては、補正せずに前記補正座標(u, v)に前記カメラ座標(x, y)を対応させる。
すなわち、マップ生成処理２８は、実施例１の通常補正処理１４、度合変化補正処理１６及び無補正処理１８と同一の手法で前記補正座標(u, v)と前記カメラ座標(x, y)との対応関係を算出し、この対応関係の算出により、画像変換マップMPを生成する。
このように、実施例２では、補正座標(u, v)と対応するカメラ座標(x, y)とを求めておき、次式(6a, 6b)により変動量(Δx, Δy)を算出し、この補正座標(u, v)毎の変動量(Δx, Δy)を画像変換マップMPに記録する。
図２０に画像変換マップMPの生成処理の一例を示す。図２０に示す各ステップS1からS7は、図９に示す歪み補正処理の処理工程と同一である。図２０に示す例では、補正画像の出力に代えて、補正座標(u, v)毎に、補正座標(u, v)とカメラ座標(x y)との変動量(Δx, Δy)を算出して、この変動量(Δx, Δy)を画像変換マップMPに記録する。
すると、この画像変換マップMPは、補正座標(u, v)を指定すると、当該補正座標(u, v)を補正点aとする際の変動量(Δx, Δy)を直ちに参照することができる。
この画像変換マップMPは、システム構築時に作成しておくと良い。
・2.1 画像変換マップ：生成の効果
上述のように、マップ生成処理２８が、実施例１の通常補正処理１４、度合変化補正処理１６及び無補正処理１８と同一の手法で前記補正座標(u, v)と前記カメラ座標(x, y)との対応関係を算出し、この対応関係の算出により、画像変換マップMPを生成するため、度合変化直線LN等を個々に算出しなくとも、既に算出した変動量(Δx, Δy)を用いた歪み補正を促すことができる。
さらに、補正手法１から３に対応する画像変換マップMPをそれぞれ用意しておくことで、複数の補正手法を容易に切り替えた歪み補正を促すことができる。
すると、この画像変換マップMPは、補正座標(u, v)を指定すると、当該補正座標(u, v)を補正点aとする際の変動量(Δx, Δy)を直ちに参照することができる。
この画像変換マップMPは、システム構築時に作成しておくと良い。
・2.1 画像変換マップ：生成の効果
上述のように、マップ生成処理２８が、実施例１の通常補正処理１４、度合変化補正処理１６及び無補正処理１８と同一の手法で前記補正座標(u, v)と前記カメラ座標(x, y)との対応関係を算出し、この対応関係の算出により、画像変換マップMPを生成するため、度合変化直線LN等を個々に算出しなくとも、既に算出した変動量(Δx, Δy)を用いた歪み補正を促すことができる。
さらに、補正手法１から３に対応する画像変換マップMPをそれぞれ用意しておくことで、複数の補正手法を容易に切り替えた歪み補正を促すことができる。
＜2.2 画像変換マップ：利用＞
次に、画像変換マップMPを利用して歪み画像補正を行う歪み補正画像装置を開示する。この画像変換マップMPを利用する歪み画像補正装置は、主要な構成として、カメラ２０と、マップ記憶部２４と、画像処理部２６とを備えている。
図２１に示す例では、画像メモリ３０と、表示部３２とを有している。
次に、画像変換マップMPを利用して歪み画像補正を行う歪み補正画像装置を開示する。この画像変換マップMPを利用する歪み画像補正装置は、主要な構成として、カメラ２０と、マップ記憶部２４と、画像処理部２６とを備えている。
図２１に示す例では、画像メモリ３０と、表示部３２とを有している。
カメラ２０は、広角レンズ２２を有し、自車の前方又は後方を撮像する。
マップ記憶部２４は、図２０等に示す手法で予め生成された画像変換マップMPを記憶している。
画像処理部２６は、前記画像変換マップMPに基づいて前記カメラ２０で撮像されたカメラ画像CIを補正して補正画像RIを生成する。
マップ記憶部２４は、図２０等に示す手法で予め生成された画像変換マップMPを記憶している。
画像処理部２６は、前記画像変換マップMPに基づいて前記カメラ２０で撮像されたカメラ画像CIを補正して補正画像RIを生成する。
この前記画像変換マップMPは、実施例１で詳述した通常補正エリアBと、度合変化エリアAと、無補正エリアCとを備えている。
そして、前記通常補正エリアBについて、前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させた際の変動量(Δx, Δy)を有している。
さらに、前記度合変化エリアAについて、前記内円ICから前記外円UCまで（同心円状に）前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させた際の変動量(Δx, Δy)を有している。
また、前記無補正エリアCについては前記変動量(Δx, Δy)を０としている。
そして、前記通常補正エリアBについて、前記補正画像RIの光学中心CLからの距離である像高IHに応じた歪み補正係数Kを用いて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させた際の変動量(Δx, Δy)を有している。
さらに、前記度合変化エリアAについて、前記内円ICから前記外円UCまで（同心円状に）前記歪み補正係数Kによる補正度合を前記内円ICの円周上での通常補正から前記外円UCの円周上での無補正まで連続的に低下させて前記補正座標(u, v)に前記カメラ座標(x, y)を対応させた際の変動量(Δx, Δy)を有している。
また、前記無補正エリアCについては前記変動量(Δx, Δy)を０としている。
そして、前記画像処理部２６が、前記補正座標(u, v)毎に、前記マップ記憶部２４から当該補正座標(u, v)の変動量(Δx, Δy)を読み出す処理と、当該補正座標(u, v)と当該変動量(Δx, Δy)とに基づいて当該補正座標(u, v)に対応するカメラ座標(x, y)を特定する処理とを備えている。
この処理では、画像処理部２６は、当該補正座標(u, v)に対応する変動量(Δx, Δy)を読み出すと、次式(7a, 7b)を用いて、当該補正座標(u, v)に対応するカメラ座標(x, y)を算出する。画像処理部２６は、さらに、特定したカメラ座標(x, y)の画素値を当該補正座標(u, v)にセットする処理を備えている。
この処理では、画像処理部２６は、当該補正座標(u, v)に対応する変動量(Δx, Δy)を読み出すと、次式(7a, 7b)を用いて、当該補正座標(u, v)に対応するカメラ座標(x, y)を算出する。画像処理部２６は、さらに、特定したカメラ座標(x, y)の画素値を当該補正座標(u, v)にセットする処理を備えている。
図２２に示す例では、まず、カメラ画像CIを取り込み、画像メモリ３０に記録する（ステップS31）。そして、補正点aを特定する（ステップS32）。続いて、補正点aの補正座標(u, v)をキーとして画像変換マップMPを参照して、当該補正点aでの変動量(Δx, Δy)を読み込む（ステップS33）。この変動量(Δx, Δy)を使用して、式(7a, 7b)により当該補正点aに対応するカメラ座標(x, y)を算出する。そして、当該補正点aに特定したカメラ座標(x, y)の座標値をセットする。
全補正点aについての処理が終了していなければ（ステップS36）、次の補正点aを特定し（ステップS32）、ステップS33からS36を繰り返す。全ての補正点aについて対応するカメラ座標(x, y)を特定し、その画素値を全ての補正座標(u, v)にセットすると、その補正画像を出力する（ステップS37）。
・2.2 画像変換マップ：利用の効果
上述のように、画像変換マップMPを利用した歪み補正を行うことで、実施例１にて開示した効果を奏する他、この歪み補正をマップの参照により実行することができるため、極めて高速にリアルタイムに歪み補正を行うことができる。
さらに、複数の補正手法や内円IC及び外円UCの複数の配置毎に画像変換マップMPを生成しておくと、補正手法や配置の切り替えを即座に実行することができる。
また、車載のカメラ２０により前方の障害物や白線を認識する場合に本手法が応用可能である。例えば、路面の領域では白線検出、その他の領域では障害物検出をしたい場合に、路面領域は白線検出のために完全に歪み補正を行い、その他の領域では障害物検出のために広い視野を確保することで、検出精度の向上と、検出エリアの確保が可能となる。
上述のように、画像変換マップMPを利用した歪み補正を行うことで、実施例１にて開示した効果を奏する他、この歪み補正をマップの参照により実行することができるため、極めて高速にリアルタイムに歪み補正を行うことができる。
さらに、複数の補正手法や内円IC及び外円UCの複数の配置毎に画像変換マップMPを生成しておくと、補正手法や配置の切り替えを即座に実行することができる。
また、車載のカメラ２０により前方の障害物や白線を認識する場合に本手法が応用可能である。例えば、路面の領域では白線検出、その他の領域では障害物検出をしたい場合に、路面領域は白線検出のために完全に歪み補正を行い、その他の領域では障害物検出のために広い視野を確保することで、検出精度の向上と、検出エリアの確保が可能となる。
１０ 補正部
１２ 領域設定部
１４ 通常補正処理
１６ 度合変化補正処理
１８ 無補正処理
２０ カメラ
２２ 広角レンズ
２４ マップ記憶部
２６ 画像処理部
２８ マップ生成処理
３０ 画像メモリ
３２ 表示部
３４ 表示処理
CI カメラ画像
(x, y)、(xa, ya)、(xb, yb)、(xc, yc) カメラ座標
RI、RI_1、RI_2、RI_3、RI_A、RI_B 補正画像
(u, v)、(ua, va)、(ub, vb)、(uc, vc) 補正座標
(Δx, Δy) 変動量
A 度合変化エリア
B 通常補正エリア
C 無補正エリア
a 補正点
b 内円交点
c 外円交点
γ 補正点距離比
CL 光学中心
CT 円中心
DE 欠け
IC 内円
ICL 内円半径
ICT 内円上端
UC 外円
UCL 外円半径
UCT 外円上端
IH 像高
K 歪み補正係数
κ 歪み係数
Lac 度合変化距離
LN 度合変化直線
MP 画像変換マップ
１２ 領域設定部
１４ 通常補正処理
１６ 度合変化補正処理
１８ 無補正処理
２０ カメラ
２２ 広角レンズ
２４ マップ記憶部
２６ 画像処理部
２８ マップ生成処理
３０ 画像メモリ
３２ 表示部
３４ 表示処理
CI カメラ画像
(x, y)、(xa, ya)、(xb, yb)、(xc, yc) カメラ座標
RI、RI_1、RI_2、RI_3、RI_A、RI_B 補正画像
(u, v)、(ua, va)、(ub, vb)、(uc, vc) 補正座標
(Δx, Δy) 変動量
A 度合変化エリア
B 通常補正エリア
C 無補正エリア
a 補正点
b 内円交点
c 外円交点
γ 補正点距離比
CL 光学中心
CT 円中心
DE 欠け
IC 内円
ICL 内円半径
ICT 内円上端
UC 外円
UCL 外円半径
UCT 外円上端
IH 像高
K 歪み補正係数
κ 歪み係数
Lac 度合変化距離
LN 度合変化直線
MP 画像変換マップ
Claims (9)
- 歪みのあるカメラ画像のカメラ座標と歪みを低減した補正画像の補正座標との対応関係に基づいて当該歪みを補正する補正部と、
前記補正画像の左右の中心線上の点を円中心とする２つの円又は楕円を内円及び外円とし、当該補正画像を含む領域に対して、前記内円から前記外円までの度合変化エリア、前記内円の内側を通常補正エリア、及び、前記外円の外側を無補正エリアに設定する領域設定部とを備え、
前記補正部が、
前記通常補正エリアについては前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させる通常補正処理と、
前記度合変化エリアについては前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させる度合変化補正処理と、を備えた、
ことを特徴とする歪み画像補正装置。 - 前記度合変化補正処理が、
前記円中心又は前記光学中心と前記補正画像の補正点とを結ぶ度合変化直線を算出し、
前記度合変化直線との交点に関して前記内円との内円交点と外円との外円交点とを算出し、
前記度合変化直線上の前記内円交点から前記外円交点までの度合変化距離と前記補正点の位置との関係を補正点距離比として算出し、
前記補正点距離比に基づいた前記補正度合で前記補正点の前記補正座標に対応するカメラ座標を特定する、
ことを特徴とする請求項１記載の歪み画像補正装置。 - 前記領域設定部が、
前記内円又は外円の円中心を、前記補正画像の左右の中心線上で当該光学中心から下方に当該補正画像の上下長さの２倍以内の位置に配置し、
前記内円の円周の上端を、前記補正画像の上部に配置し、
前記外円の上端を、前記内円の上端よりも上部で、前記補正画像の範囲内又は範囲外に配置した、
ことを特徴とする請求項１又は２記載の歪み画像補正装置。 - 前記度合変化補正処理が、前記補正画像RIの光学中心と前記度合変化直線の起点となる前記円中心とが異なる位置にある際には、
前記補正画像の内円交点に対応するカメラ座標と、
前記補正画像の外円交点に対応するカメラ座標と、及び、
前記補正点距離比のn乗とに基づいて、
当該補正点に対応するカメラ座標を算出する、
ことを特徴とする請求項２又は３記載の歪み画像補正装置。 - 前記度合変化補正処理が、前記補正画像の光学中心と前記度合変化直線の起点となる前記円中心とが重なる際に、
前記補正画像RIの補正点の前記補正点距離比のn乗を前記歪み補正係数に掛けた値と、
前記補正点の補正座標とに基づいて、
当該補正点に対応するカメラ座標を算出する、
ことを特徴とする請求項２又は３記載の歪み画像補正装置。 - 前記度合変化補正処理が、前記補正画像の光学中心と前記度合変化直線の起点となる前記円中心とが重なり、かつ、前記外円が前記補正画像の外側にある際に、
前記歪み補正係数に前記補正画像の補正点の前記補正点距離比のn乗を加算した値を、当該補正点の補正座標に掛けた値に基づいて
当該補正点に対応するカメラ座標を算出する、
ことを特徴とする請求項２又は３記載の歪み画像補正装置。 - 前記補正部が、画像変換マップを生成するマップ生成処理を備え、
このマップ生成処理は、
前記補正画像の全ての補正座標について、
前記通常補正エリアについては前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させ、
前記度合変化エリアについては前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させ、
前記無補正エリアについて補正せずに対応させることで、
補正座標毎に当該補正座標とカメラ座標との変動量を画像変換マップとして生成する、
ことを特徴とする請求項１から６いずれか記載の歪み画像補正装置。 - 歪みのあるカメラ画像のカメラ座標と歪みを低減した補正画像の補正座標との対応関係に基づいて当該歪みを補正する方法であって、
前記補正画像の左右の中心線上の点を円中心とする２つの円又は楕円を内円及び外円とし、当該補正画像を含む領域に対して、前記内円の内側を通常補正エリア、前記内円から前記外円までの度合変化エリア、及び、前記外円の外側を無補正エリアに設定する工程と、
補正画像の補正座標毎に、
前記当該補正座標が前記通常補正エリアに属する際には、前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させる工程と、
前記当該補正座標が前記度合変化エリアに属する際には、前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させる工程と
前記当該補正座標が前記無補正エリアに属する際には、前記補正座標に前記カメラ座標をそのまま対応させる工程とを備え、
前記度合変化エリアについての工程が、
前記内円又は前記外円の円中心と前記補正画像の補正点とを結ぶ度合変化直線を算出する工程と、
前記度合変化直線との交点に関して前記内円との内円交点と外円との外円交点とを算出する工程と、
前記度合変化直線上の前記内円交点から前記外円交点までの距離と前記補正点の位置との関係を補正点距離比として算出する工程と、
前記補正点距離比に基づいた前記補正度合で前記補正点の前記補正座標に対応するカメラ座標を特定する工程と、を備えた、
ことを特徴とする歪み画像補正方法。 - 広角レンズを有するカメラと、
予め定められた画像変換マップを記憶したマップ記憶部と、
前記画像変換マップに基づいて前記カメラで撮像されたカメラ画像を補正して補正画像を生成する画像処理部とを備え、
前記画像変換マップが、
前記補正画像の左右の中心線上の点を円中心とする２つの円又は楕円を内円及び外円とし、当該補正画像を含む領域に対して、前記内円の内側である通常補正エリアと、前記内円から前記外円までの度合変化エリアと、前記外円の外側を無補正エリアとを備え、
前記通常補正エリアについて、前記補正画像の光学中心からの距離である像高に応じた歪み補正係数を用いて前記補正座標に前記カメラ座標を対応させた際の変動量を有し、
前記度合変化エリアAについて、前記内円から前記外円まで前記歪み補正係数による補正度合を前記内円の円周上での通常補正から前記外円の円周上での無補正まで連続的に低下させて前記補正座標に前記カメラ座標を対応させた際の変動量を有し、
前記無補正エリアについては前記変動量を０とし、
前記画像処理部が、
前記補正座標毎に、前記マップ記憶部から当該補正座標の変動量を読み出す処理と、
当該補正座標と当該変動量とに基づいて当該補正座標に対応するカメラ座標を特定する処理と、
特定したカメラ座標の画素値を当該補正座標にセットする処理と、を備えた、
ことを特徴とする歪み画像補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009203405A JP5448056B2 (ja) | 2009-09-03 | 2009-09-03 | 歪み画像補正装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009203405A JP5448056B2 (ja) | 2009-09-03 | 2009-09-03 | 歪み画像補正装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011054008A true JP2011054008A (ja) | 2011-03-17 |
| JP5448056B2 JP5448056B2 (ja) | 2014-03-19 |
Family
ID=43942928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009203405A Active JP5448056B2 (ja) | 2009-09-03 | 2009-09-03 | 歪み画像補正装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5448056B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013005394A (ja) * | 2011-06-21 | 2013-01-07 | Konica Minolta Advanced Layers Inc | 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置 |
| JP2014165638A (ja) * | 2013-02-25 | 2014-09-08 | Ricoh Co Ltd | 画像処理装置、撮像装置、移動体制御システム及びプログラム |
| KR20160131273A (ko) * | 2015-05-06 | 2016-11-16 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| CN110378884A (zh) * | 2019-07-12 | 2019-10-25 | 西安石油大学 | 管内可视化检测视频进行偏心校正和展开变换的方法 |
| CN111539880A (zh) * | 2020-04-15 | 2020-08-14 | 上海摩象网络科技有限公司 | 图像处理方法、设备及手持相机 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628438A (ja) * | 1992-07-10 | 1994-02-04 | Hitachi Ltd | 図面処理システム |
| JP2003250039A (ja) * | 2002-02-22 | 2003-09-05 | Tokyo Electric Power Co Inc:The | 画像処理装置，画像処理方法および記録媒体 |
| JP2009130546A (ja) * | 2007-11-21 | 2009-06-11 | Suzuki Motor Corp | 画像の歪曲補正方法 |
-
2009
- 2009-09-03 JP JP2009203405A patent/JP5448056B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0628438A (ja) * | 1992-07-10 | 1994-02-04 | Hitachi Ltd | 図面処理システム |
| JP2003250039A (ja) * | 2002-02-22 | 2003-09-05 | Tokyo Electric Power Co Inc:The | 画像処理装置，画像処理方法および記録媒体 |
| JP2009130546A (ja) * | 2007-11-21 | 2009-06-11 | Suzuki Motor Corp | 画像の歪曲補正方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013005394A (ja) * | 2011-06-21 | 2013-01-07 | Konica Minolta Advanced Layers Inc | 広角歪補正処理を有する画像処理方法、画像処理装置及び撮像装置 |
| JP2014165638A (ja) * | 2013-02-25 | 2014-09-08 | Ricoh Co Ltd | 画像処理装置、撮像装置、移動体制御システム及びプログラム |
| KR20160131273A (ko) * | 2015-05-06 | 2016-11-16 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| KR102290301B1 (ko) * | 2015-05-06 | 2021-08-17 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| CN110378884A (zh) * | 2019-07-12 | 2019-10-25 | 西安石油大学 | 管内可视化检测视频进行偏心校正和展开变换的方法 |
| CN110378884B (zh) * | 2019-07-12 | 2023-03-24 | 西安石油大学 | 管内可视化检测视频进行偏心校正和展开变换的方法 |
| CN111539880A (zh) * | 2020-04-15 | 2020-08-14 | 上海摩象网络科技有限公司 | 图像处理方法、设备及手持相机 |
| CN111539880B (zh) * | 2020-04-15 | 2023-09-08 | 上海摩象网络科技有限公司 | 图像处理方法、设备及手持相机 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5448056B2 (ja) | 2014-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5591364B2 (ja) | 動的画像処理方法および車両画像を処理するシステム | |
| CN109688392B (zh) | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 | |
| JP4560716B2 (ja) | 車両の周辺監視システム | |
| JP2022095776A (ja) | リアビュー可視化のためのリアスティッチされたビューパノラマ | |
| KR100966288B1 (ko) | 주변 영상 생성 방법 및 장치 | |
| JP4975592B2 (ja) | 撮像装置 | |
| JP2011182236A (ja) | カメラキャリブレーション装置 | |
| JP5448056B2 (ja) | 歪み画像補正装置及び方法 | |
| WO2015043507A1 (zh) | 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 | |
| EP1574054B1 (en) | Projector and projection image correction method thereof | |
| US20110001826A1 (en) | Image processing device and method, driving support system, and vehicle | |
| US20120069153A1 (en) | Device for monitoring area around vehicle | |
| KR20160145598A (ko) | 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치 | |
| JP2007274377A (ja) | 周辺監視装置、プログラム | |
| WO2005002240A1 (ja) | 表示特性補正データの算出方法、表示特性補正データの算出プログラム、表示特性補正データの算出装置 | |
| CN109948398A (zh) | 全景泊车的图像处理方法及全景泊车装置 | |
| KR20140102174A (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 장치용 프로그램, 기록 매체, 및 화상 표시 장치 | |
| JP5760999B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2011500407A (ja) | 少なくとも１つの全方位カメラ及び光学的表示ユニットを備えた装置のキャリブレーション方法 | |
| JP2009064188A (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
| US20020141636A1 (en) | Imaging systems, program used for controlling image data in same system, method for correcting distortion of captured image in same system, and recording medium storing procedures for same method | |
| JP2015097335A (ja) | 俯瞰画像生成装置 | |
| CN107330872A (zh) | 用于车载环视系统的亮度均衡方法和装置 | |
| JP2021516390A (ja) | 調整された投影面を有するサラウンドビュー・システム | |
| CN105472317A (zh) | 周边监视装置及周边监视系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131219 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5448056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |