JP2020507879A

JP2020507879A - 魚眼レンズおよび全方位映像の歪み除去のための装置および方法

Info

Publication number: JP2020507879A
Application number: JP2019566559A
Authority: JP
Inventors: イルソクパク; スンファンホン; フンギュソン; クァンヨンイム; インシクペク; ジサンイ
Original assignee: 株式会社ストリス
Priority date: 2018-01-15
Filing date: 2018-11-06
Publication date: 2020-03-12
Also published as: KR102028469B1; US20200234413A1; KR20190086964A; WO2019139234A1

Abstract

本発明は、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムを適用することで学習正確度および性能を向上させるようにした魚眼レンズ映像および全方位映像の歪み除去のための装置および方法を提供する。装置は、魚眼レンズ映像および全方位映像が入力されると、インデックス基盤の映像歪み除去を実行するインデックス基盤歪み除去部と、魚眼レンズ映像および全方位映像が入力されると、幾何モデル基盤の映像歪み除去を実行する幾何モデル基盤歪み除去部と、インデックス基盤歪み除去部および幾何モデル基盤歪み除去部のうち、少なくともいずれかにより、映像の歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力する映像データセット出力部とを含む。【選択図】図３

Description

本発明は、映像歪み処理に関し、具体的には歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムを適用した学習正確度および性能を向上させるようにした魚眼レンズ映像および全方位映像の歪み除去のための装置および方法に関する。

現在、広域の映像を獲得できるようにするシステムとしては、大きく機械的にＰＴＺ（Pan Tilt Zoom）カメラを利用するシステム、魚眼レンズ（fisheye lens）を備えるカメラを利用するシステム、多数のＣＣＤカメラを利用する多重カメラシステムおよび特殊製作されたＮＴＳＣ（National Television System Committee method）カメラを利用するカタディオプトリック（catadioptric）システム等が存在する。

この中で、魚眼レンズは通常の広角レンズと比べて広い画角を有する。したがって、自動航法装置、自動車、映像医学等の様々なマシンビジョンの分野で、魚眼レンズは多様に活用されている。

しかし、画角が広がることにより光軸から離れた外郭になるほど放射状歪みが激しくなる。

このように魚眼レンズ（fisheye lens）は、意図的に筒状の歪み（barrel distortion）を生じさせ、１８０度以上の画角の全面にわたり、均一な明るさと鮮鋭度を維持できるように作ったレンズとして、レンズ中心点部の被写体は極端に大きく写るが、周囲のものは非常に小さく写るようになり、獲得された映像は必然的に激しい歪みを有することになる。

そのため、魚眼レンズを介して撮影された映像に対する歪み（distortion）を補正するための多くの試みがなされてきたものの、従来技術によると、歪みを補正する方法が複雑であるだけでなく、多くのコストが必要とされるという問題がある。

特に、歪みを補正するための映像処理の過程で用いられる機械学習アルゴリズムについては、平面映像を対象として開発、研究、商用化が行われている。

しかしながら、歪みの激しい魚眼レンズ映像および全方位映像の場合には、一般的な機械学習の適用が難しく、映像内で歪みの少ない部分でのみ学習が行われ、映像全体に対する学習が難しく、効率的な映像処理が行われないという問題がある。

本発明は、このような従来技術の映像歪み処理および機械学習の適用の問題を解決するためのものであり、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムを適用した学習正確度および性能を向上させるようにした魚眼レンズおよび全方位映像の歪み除去のための装置および方法を提供することにその目的がある。

本発明は、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムの適用に適した映像データセットを提供できるようにした魚眼レンズ映像および全方位映像の歪み除去のための装置および方法を提供することにその目的がある。

本発明は、映像投影角によって変化する投影歪みを平面映像と類似の幾何的特性を有するように変換し、平面映像に適用される機械学習モデルをそのまま活用できるようにした魚眼レンズ映像および全方位映像の歪み除去のための装置および方法を提供することにその目的がある。

本発明は歪みが存在する映像から仮想の３次元物体を復元し、これを仮想の平面カメラに再投影する方式で幾何モデル基盤の映像歪みを除去して、映像歪み除去の効率性を高めた魚眼レンズ映像および全方位映像の歪み除去のための装置および方法を提供することにその目的がある。

本発明は、原本の歪み映像と仮想の平面映像の相互関係を各ピクセルにインデックスを付与し、映像歪み除去を行い、多数の映像を処理する際に、幾何モデル基盤の方式に比べて処理時間に効率性を有する魚眼レンズ映像および全方位映像の歪み除去のための装置および方法を提供することにその目的がある。

本発明の目的は、以上で言及した目的に限らず、言及されていない他の目的は、以下の記載から当業者に明確に理解できるであろう。

このような目的を達成するため、本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置は、魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、インデックス基盤の映像歪み除去を実行するインデックス基盤歪み除去部と、魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、幾何モデル基盤の映像歪み除去を実行する幾何モデル基盤歪み除去部と、前記インデックス基盤の歪み除去部および前記幾何モデル基盤歪み除去部のうち、少なくともいずれかによって、前記映像の歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力する映像データセット出力部；を含むことを特徴とする。

ここで、インデックス基盤歪み除去部は、前記魚眼レンズ映像が入力されると、歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するピクセルインデックス付与部と、各ピクセルにインデックスを付与された魚眼レンズ映像を設定された区間に分解する区間分解部と、各分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化する平面映像生成部を含むことを特徴とする。

また、前記インデックス基盤歪み除去部は、前記全方位映像が入力されると、前記全方位映像において歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するピクセルインデックス付与部と、各ピクセルにインデックスを付与された全方位映像を設定された区間に分解する区間分解部と、区間分解部により分解された全方位映像を設定された区間に再分解する区間再分解部と、再分解部により再分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化する平面映像生成部を含むことを特徴とする。

また、前記幾何モデル基盤歪み除去部は、カメラ幾何式基盤歪み映像から仮想の３次元形状を復元する３次元形状復元部と、仮想のカメラ幾何式を定義し、これを通して平面映像を生成する平面映像生成部を含むことを特徴とする。

また、前記幾何モデル基盤歪み除去部で前記魚眼レンズ映像の歪みを除去する幾何モデルは、等距離投影（Equidistant）、等角投影（Equisolid-angle）、正射投影（orthographic）、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用することを特徴とする。

また、前記幾何モデル基盤歪み除去部で前記全方位映像の歪みを除去するための幾何モデルは、縦円筒型、横円筒型、メルカート（mercator）、逆メルカート（transverse mercator）、球形、正射投影（orthographic）、魚眼レンズ型、ステレオ型（stereographic）、中心投影（central perspective）の投影モデルのうち、少なくともいずれかを適用することを特徴とする。

また、前記幾何モデル基盤歪み除去部で前記全方位映像の歪みを除去するための幾何モデルは、投影された映像を水平角、垂直角によって複数の映像に分割し、それぞれに等距離投影（Equidistant）、等角投影（Equisolid-angle）、正射投影（orthographic）、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用することを特徴とする。

また、前記インデックス基盤歪み除去部または前記幾何モデル基盤歪み除去部は、投影角による歪みをインデックス基盤または幾何モデル基盤に除去することを特徴とする。

他の目的を達成するため、本発明による魚眼レンズおよび全方位映像の歪み除去のための方法は、魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、インデックス基盤の映像歪み除去のために、入力映像において歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義する段階と、設定された区間に分解し、各分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化し、歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力する段階を含むインデックス基盤映像歪み除去の過程および魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、幾何モデル基盤の映像歪み除去のために、カメラ幾何式基盤歪み映像から仮想の３次元形状を復元する段階と、仮想のカメラ幾何式を定義し、これを通して平面映像を生成し、歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力する段階を含む幾何モデル基盤映像歪み除去の過程のうち、少なくともいずれかの映像歪み除去の過程を実行することを特徴とする。

このような本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置および方法は、次のような効果を有する。

第一に、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムを適用した学習正確度および性能を向上させるようにする。

第二に、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムの適用に適した映像データセットを提供することができる。

第三に、映像投影角によって変化する投影歪みを平面映像と類似の幾何的特性を有するように変換し、平面映像に適用される機械学習モデルをそのまま活用することができる。

第四に、歪みが存在する映像から仮想の３次元物体を復元し、これを仮想の平面カメラに再投影する方式で幾何モデル基盤の映像歪みを除去して、映像歪み除去の効率性を高める。

第五に、原本の歪み映像と仮想の平面映像との相互関係を各ピクセルにインデックスを付与し、映像歪みを除去して多数の映像を処理する際に、幾何モデル基盤の方式に比べて処理時間に効率性を有するようにする。

カメラによる写真投影の特性を示した構成図ａである。カメラによる写真投影の特性を示した構成図ｂである。カメラによる写真投影の特性を示した構成図ｃである。魚眼レンズ映像および全方位映像投影モデルの幾何構成図である。本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置の構成図である。本発明による魚眼レンズ映像および全方位映像の歪み除去のための方法を示したフローチャートである。インデックス基盤の映像歪み除去を示した構成図ａである。インデックス基盤の映像歪み除去を示した構成図ｂである。インデックス基盤の映像歪み除去を示した構成図ｃである。幾何モデル基盤の映像歪み除去を示した構成図ａである。幾何モデル基盤の映像歪み除去を示した構成図ｂである。水平投影角による歪み除去を示した構成図である。

以下、本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置および方法の好ましい実施例について詳細に説明すると次の通りである。

本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置および方法の特徴ならびに利点は以下での各実施例についての詳細な説明を通して明らかになるであろう。

図１ａないし図１ｃはカメラによる写真投影の特性を示した構成図であり、図２は魚眼レンズ映像および全方位映像投影モデルの幾何構成図である。

また、図３は本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置の構成図である。

本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置および方法は、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムを適用した学習正確度および性能を向上させるようにしたものである。

このため、本発明は、歪みの激しい魚眼レンズ映像および全方位映像から幾何的歪みを除去し、機械学習アルゴリズムの適用に適した映像データセットを提供する構成を含む。

図１ａないし図１ｃはカメラによる写真投影の特性を示した構成を示したものであり、図１ａは、平面カメラ写真投影を示したもので、図１ｂは魚眼レンズカメラ写真投影を示したもので、図１ｃは全方位カメラ写真投影を示したものである。

図２は魚眼レンズ映像および全方位映像投影モデルの幾何構成を示したものであり、魚眼レンズ映像の歪みを除去する幾何モデルとしては等距離投影（Equidistant）、等角投影（Equisolid-angle）、正射投影（orthographic）、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用することができる。

また、全方位映像の歪みを除去するための幾何モデルとしては、縦円筒型、横円筒型、メルカート（mercator）、逆メルカート（transverse mercator）、球形、正射投影（orthographic）、魚眼レンズ型、ステレオ型（stereographic）、中心投影（central perspective）の投影モデルのうち、少なくともいずれかを適用するか、投影された映像を水平角、垂直角によって複数の映像に分割し、それぞれに魚眼レンズ映像の歪み除去方式と同一のモデルおよび方法の技術を適用することができる。

本発明による魚眼レンズの映像および全方位映像の歪み除去のための装置は、図３の通り、インデックス基盤の映像歪み除去を実行するインデックス基盤歪み除去部３０と、幾何モデル基盤の映像歪み除去を実行する幾何モデル基盤歪み除去部４０と、前記インデックス基盤歪み除去部３０および幾何モデル基盤歪み除去部４０のうち、少なくともいずれかによって前記映像の歪みが除去され、機械学習アルゴリズムの適用に適した映像データセットを出力する映像データセット出力部５０を含む。

インデックス基盤歪み除去部３０は魚眼レンズ映像が入力されると、歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するピクセルインデックス付与部３１と、各ピクセルにインデックスを付与された魚眼レンズ映像を設定された区間に分解する区間分解部３２と、各分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化する平面映像生成部３３を含む。

また、インデックス基盤歪み除去部３０は全方位映像入力されると、歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するピクセルインデックス付与部３４と、各ピクセルにインデックスを付与された全方位映像を設定された区間に分解する区間分解部３５と、区間分解部３５によって分解された全方位映像を設定された区間に再分解する区間再分解部３６と、区間再分解部３６によって再分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化する平面映像生成部３７を含む。

また、幾何モデル基盤歪み除去部４０はカメラ幾何式基盤歪み映像から仮想の３次元形状を復元する３次元形状復元部４１と、仮想のカメラ幾何式を定義し、これを通して平面映像を生成する平面映像生成部４２を含む。

このような構成を有する本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置は、機械学習に適用するための映像データセットを作るためのレンズ歪み除去に関するものである。

レンズ歪み除去は、各センサーの幾何モデルまたはインデックスに基づいて行われ、映像投影角によって変化する投影歪みを平面映像と類似の幾何的特性を有するように変換し、平面映像に適用される機械学習モデルをそのまま活用できるようにする。

幾何モデル基盤の映像歪み除去の方式は、歪みが存在する映像から仮想の３次元物体を復元し、これを仮想の平面カメラに再投影する方式で行われ、インデックス基盤の映像歪み除去の方式は、原本の歪み映像と仮想の平面映像との相互関係を各ピクセルにインデックスを付与して解決する方式である。

インデックス基盤の方式の場合には、多数の映像を処理する際に、幾何モデル基盤の方式に比べて処理時間に効率性がある。

例えば、図４に図示したように映像を所定の数以上に処理する場合には、インデックス基盤に映像歪み除去の過程（Ｓ４０２-Ｓ４０４）を実行し、一方、映像を所定の数以下に処理する場合、幾何モデル基盤に映像歪み除去の過程（Ｓ４０５-Ｓ４０６）を実行することもできる。

本発明による魚眼レンズ映像および全方位映像の歪み除去のための方法を具体的に説明すると次の通りである。

図４は、本発明による魚眼レンズ映像および全方位映像の歪み除去のための方法を示したフローチャートである。

本発明による魚眼レンズ映像および全方位映像の歪み除去のための方法は図４の通り、魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると（Ｓ４０１）、インデックス基盤の映像歪みの除去のために、歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義する（Ｓ４０２）。

また、少なくとも一つの映像が設定された区間に分解して（Ｓ４０３）、各分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化し（Ｓ４０４）、魚眼レンズ映像および全方位映像の歪みが除去され、機械学習アルゴリズムの適用に適した映像データセットを出力する（Ｓ４０７）。

図５ａないし図５ｃはインデックス基盤の映像歪みの除去を示した構成図である。

また、魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると（Ｓ４０１）、幾何モデル基盤の映像歪みの除去のために、カメラ幾何式基盤歪み映像から仮想の３次元形状を復元して（Ｓ４０５）、仮想のカメラ幾何式を定義し、これを通して平面映像を生成して（Ｓ４０６）、機械学習モデルに適用可能な映像データセットを出力する（Ｓ４０７）。

図６ａと図６ｂは幾何モデル基盤の映像歪みの除去を示した構成図である。

魚眼レンズ映像の歪みを除去する幾何モデルとしては、等距離投影（Equidistant）、等角投影（Equisolid-angle）、正射投影（orthographic）、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用することができる。

また、全方位映像の歪みを除去するための幾何モデルとしては、縦円筒型、横円筒型、メルカート（mercator）、逆メルカート（transverse mercator）、球形、正射投影（orthographic）、魚眼レンズ型、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用するか、投影された映像を水平角、垂直角によって複数の映像に分割し、それぞれに魚眼レンズ映像の歪み除去方式と同一のモデルおよび方法の技術を適用することができる。

このように本発明による魚眼レンズ映像および全方位映像の歪み除去のための方法は，魚眼レンズ映像歪みの場合には、映像を一定の区間に分解し、それぞれの区間を平面映像化し、全方位映像の場合には、水平/垂直入射角（投影角）によって一定の区間に１次分解後、分解された映像を魚眼レンズ映像と同一の方式で一定の区間に再分解してそれぞれの区間を平面映像化する。

また、水平投影角が大きくなることにより発生する歪みも、幾何モデルまたはインデックス基盤に除去する。

図７は水平投影角による歪み除去を示した構成図である。

以上で説明した本発明による魚眼レンズ映像および全方位映像の歪み除去のための装置および方法は、歪みの激しい魚眼レンズおよび全方位映像から幾何的歪みを除去し、機械学習アルゴリズムを適用した学習正確度および性能を向上させるようにしたものである。

以上の説明のように、本発明の本質的な特性から外れない範囲で変形した形態で本発明が具現されていることが理解できるであろう。

したがって、明示された実施例は限定的な観点ではなく、説明的な観点から考慮されるべきであり、本発明の範囲は前述の説明ではなく特許請求の範囲に示されており、それと等しい範囲内にある全ての相違点は本発明に含まれているものと解釈されなければならない。

３０インデックス基盤歪み除去部
４０幾何モデル基盤歪み除去部
５０映像データセット出力部

Claims

魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、インデックス基盤の映像歪み除去を実行するインデックス基盤歪み除去部；
魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、幾何モデル基盤の映像歪み除去を実行する幾何モデル基盤歪み除去部；
前記インデックス基盤歪み除去部および前記幾何モデル基盤歪み除去部のうち、少なくともいずれかにより、前記映像の歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力する映像データセット出力部；
を含むことを特徴とする、魚眼レンズおよび全方位映像の歪み除去のための装置。
インデックス基盤歪み除去部は、
前記魚眼レンズ映像が入力されると、歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するピクセルインデックス付与部と、
各ピクセルにインデックスを付与された魚眼レンズ映像を設定された区間に分解する区間分解部と、
各分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化する平面映像生成部と
を含むことを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
前記インデックス基盤歪み除去部は、
前記全方位映像入力されると、前記全方位映像において歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するピクセルインデックス付与部と、
各ピクセルにインデックスを付与された全方位映像を設定された区間に分解する区間分解部と、
区間分解部により分解された全方位映像を設定された区間に再分解する区間再分解部と、
区間再分解部により再分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化する平面映像生成部と
を含むことを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
前記幾何モデル基盤歪み除去部は、
カメラ幾何式基盤歪み映像から仮想の３次元形状を復元する３次元形状復元部と、
仮想のカメラ幾何式を定義し、これを通して平面映像を生成する平面映像生成部と
を含むことを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
前記幾何モデル基盤歪み除去部で前記魚眼レンズ映像の歪みを除去する幾何モデルは、等距離投影（Equidistant）、等角投影（Equisolid-angle）、正射投影（orthographic）、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用することを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
前記幾何モデル基盤歪み除去部で前記全方位映像の歪みを除去するための幾何モデルは、縦円筒型、横円筒型、メルカート（mercator）、逆メルカート（transverse mercator）、球形、正射投影（orthographic）、魚眼レンズ型、ステレオ型（stereographic）、中心投影（central perspective）の投影モデルのうち、少なくともいずれかを適用することを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
前記幾何モデル基盤歪み除去部で前記全方位映像の歪みを除去するための幾何モデルは、投影された映像を水平角、垂直角によって複数の映像に分割し、それぞれに等距離投影（Equidistant）、等角投影（Equisolid-angle）、正射投影（orthographic）、ステレオ型（stereographic）、中心投影（central perspective）のうち、少なくともいずれかを適用することを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
前記インデックス基盤歪み除去部または前記幾何モデル基盤歪み除去部は、投影角によって大きくなる歪みをインデックス基盤または幾何モデル基盤に除去することを特徴とする、請求項１に記載の魚眼レンズおよび全方位映像の歪み除去のための装置。
魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、インデックス基盤の映像歪み除去のため、入力映像において歪み映像と平面映像との間の関係を各ピクセルにインデックスを付与して定義するステップと、
設定された区間に分解し、各分解された空間の数式またはインデックス基盤に歪みを除去して平面映像化し、歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力するステップと
を含むインデックス基盤映像歪み除去の過程、および、
魚眼レンズ映像および全方位映像のうち、少なくともいずれかが入力されると、幾何モデル基盤の映像歪み除去のため、カメラ幾何式基盤歪み映像から仮想の３次元形状を復元するステップと、
仮想のカメラ幾何式を定義し、これを通して平面映像を生成し歪みが除去され、機械学習アルゴリズムに適用できる映像データセットを出力するステップと
を含む幾何モデル基盤映像歪み除去の過程のうち、少なくともいずれかの映像歪み除去の過程を実行することを特徴とする魚眼レンズおよび全方位映像の歪み除去のための方法。