JP2018179981A - カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 - Google Patents
カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 Download PDFInfo
- Publication number
- JP2018179981A JP2018179981A JP2018066160A JP2018066160A JP2018179981A JP 2018179981 A JP2018179981 A JP 2018179981A JP 2018066160 A JP2018066160 A JP 2018066160A JP 2018066160 A JP2018066160 A JP 2018066160A JP 2018179981 A JP2018179981 A JP 2018179981A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- calibration
- point
- calibration point
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明者らは、「背景技術」の欄において記載したカメラ校正技術に関し、これらの技術を広角カメラのステレオ測距に用いる場合、下記の問題が生じることを見出した。
[1−1−1.カメラシステムの構成]
図3を参照すると、実施の形態1に係るカメラ校正装置101を備えるカメラシステム1の構成が示されている。カメラシステム1は、2つ以上のレンズを有する多眼カメラ10と、多眼カメラ10のカメラパラメータを校正するカメラ校正装置101とを備える。多眼カメラ10は、1つの筐体15に、複数のレンズ11〜12を備える。なお、多眼カメラ10は、互いに分離した複数のカメラを含み、複数のカメラの各々がレンズを備えてもよい。また、限定するものではないが、本実施の形態では、多眼カメラ10は、ステレオカメラであり、被写体の位置をステレオ測距することができる。このようなカメラシステム1は、移動体、例えば、車両、船舶、飛行体又はロボットに搭載されてもよい。車両は、例えば、自動車、トラック、バス、二輪車、搬送車、鉄道、建設機械、又は荷役機械であってもよい。飛行体は、例えば、航空機、又は、ドローンであってもよい。
図3を参照すると、多眼カメラ10は、2つ以上のレンズを備え、限定するものではないが、本実施の形態では、2つのレンズ11及び12を備える。具体的には、多眼カメラ10は、筐体15と、筐体15の1つの壁部15aから外部に臨む2つのレンズ11及び12とを備えている。レンズ11及び12はそれぞれ、複数のレンズによって形成されるレンズ群であってもよい。2つのレンズ11及び12は、光軸を互いに平行にして配置されており、それぞれの光軸は、壁部15aと略垂直である。なお、レンズ11及び12の光軸は、平行でなくてもよい。
実施の形態1に係るカメラ校正装置101の構成を説明する。カメラ校正装置101は、2つ以上のレンズを備える多眼カメラ及び2つ以上のカメラの組に対して、適用可能である。しかしながら、本実施の形態では、上述したように、2つのレンズ11及び12を備える多眼カメラ10に対して、カメラ校正装置101が適用される例を説明する。
校正点データ受付部102は、校正点データを受け取り、見込角対応長算出部104に出力する。例えば、校正点データ受付部102は、校正点データベース(校正点DBとも呼ぶ)109から校正点データを受け取る。第1のメモリが、校正点データベース109を保持してもよい。本実施の形態では、校正点データベース109は、カメラ校正装置101の外部に設けられる第1のメモリに含まれるが、カメラ校正装置101が備えるメモリ等に含まれていてもよい。又は、校正点データベース109は、カメラ校正装置101を備える装置又はシステムの記憶装置に含まれていてもよく、多眼カメラ10が備える記憶装置に含まれていてもよい。第1のメモリ、メモリ及び記憶装置は、ハードディスク又は半導体メモリで構成されてもよい。校正点データは、校正の基準とする点である校正点の位置を示す3次元座標と、各カメラで校正点を撮像した2次元画像における校正点に対応する点の画素位置を示す2次元座標とを含む。校正データでは、校正点の位置を示す3次元座標と各カメラで校正点を撮像した2次元画像における校正点に対応する点の画素位置を示す2次元座標とが対応付けられている。
カメラパラメータ取得部103は、校正対象である多眼カメラ10のカメラ21及び22それぞれの初期カメラパラメータを取得し、見込角対応長算出部104に出力する。初期カメラパラメータは、カメラ21及び22の内部パラメータ及び外部パラメータを含む。初期カメラパラメータは、校正を行う前に予め設定されているカメラパラメータである。
見込角対応長算出部104は、校正点データ受付部102より受け取った校正点データに含まれる校正点それぞれについて、初期カメラパラメータに基づいて、各校正点から多眼カメラ10のカメラ21及び22のペアに対する見込角対応長を算出する。具体的には、校正点の数量と同数の見込角対応長が算出される。
ステレオ測距値算出部105は、カメラ21及び22を用いて各校正点を撮影した結果を、校正点データ受付部102から取得する。具体的には、ステレオ測距値算出部105は、校正点データ受付部102から、校正点データを受け取る。校正点データは図6Bに示すように、校正点の3次元座標と、各カメラで校正点を撮像した2次元画像における校正点に対応する点の画素位置とを含む。ステレオ測距値算出部105は、校正点データから、カメラペアたるカメラ21及び22の撮影画像それぞれにおける校正点に対応する画像座標を取得する。また、ステレオ測距値算出部105は、カメラ21及び22それぞれのカメラパラメータを取得する。ステレオ測距値算出部105は、カメラ21及び22のカメラパラメータと、カメラ21及び22により取得された校正点に対応する点の画像座標とを使用して、ステレオ測距技術を用いた画像処理により、各校正点に対応する3次元座標を算出する。以下の説明において、上述のような校正点に対応する3次元座標を有する点を測距点と呼び、測距点の3次元座標をステレオ測距値とも呼ぶ。例えば、カメラ21及び22は校正点を含む画像をそれぞれ撮像する。ここで校正点の3次元座標は(x2,y2,z2)とする(図6B参照)。カメラ21で撮像した画像におけるこの校正点に対応する画素座標(x212,y212)、及び、カメラ22で撮像した画像におけるこの校正点に対応する画素座標(x222,y222)を後述するステレオ測距技術を用いた画像処理することにより、3次元座標(x2,y2,z2)で特定される校正点に対応する測距点を算出する。
カメラパラメータ更新部106は、校正点データ受付部102から各校正点の校正点データを取得し、カメラパラメータ取得部103からカメラ21及び22の初期カメラパラメータを取得し、ステレオ測距値算出部105から各校正点に対応する測距点の3次元座標を取得する。カメラパラメータ更新部106は、取得した情報を使用して、カメラ21及び22のカメラパラメータを新たなカメラパラメータに変更する、つまり更新する必要があるか否かを判定し、更新する必要がある場合、カメラ21及び22のカメラパラメータを新たに算出する。上記判定において、カメラパラメータ更新部106は、取得した情報を使用して、各校正点について、校正点と測距点との位置の差異である測距誤差を算出し、さらに、測距誤差を用いた評価値を算出する。そして、カメラパラメータ更新部106は、評価値に基づき、カメラパラメータを更新すべきか否かを判定する。カメラパラメータ更新部106の詳細は、後述する。
カメラパラメータ出力部107は、カメラパラメータ更新部106で算出されたカメラパラメータを出力する。例えば、カメラパラメータ出力部107は、カメラ校正装置101が構成する装置等に、カメラパラメータを出力してもよい。
図8を参照して、実施の形態1に係るカメラ校正装置101の動作を説明する。なお、図8は、実施の形態1に係るカメラ校正装置101の動作の流れの一例を示すフローチャートである。具体的には、カメラ校正装置101によるカメラパラメータの算出処理を説明する。カメラパラメータの算出処理であるステップS300の処理は、以下のステップS301〜S308の処理で構成されている。
まず、カメラ校正装置101の校正点データ受付部102は、校正点データベース109から、カメラ校正に使用する校正点の校正点データを取得し、見込角対応長算出部104に出力する。校正点データベース109には、各校正点の3次元座標及び画像座標が組み合わされて格納されている。各校正点の画像座標は、多眼カメラ10の各カメラ21及び22を用いて各校正点を撮影することよって、予め取得される。
また、カメラ校正装置101のカメラパラメータ取得部103は、カメラ校正に使用する多眼カメラ10のカメラ21及び22それぞれの初期カメラパラメータを、カメラパラメータデータベース110から取得する。具体的には、カメラパラメータ取得部103は、校正対象の情報としてカメラ21及び22の情報を取得し、さらに、カメラパラメータデータベース110において、取得した校正対象のカメラ21及び22の情報を参照して、当該カメラ21及び22に対応付けられた初期カメラパラメータを取得する。初期カメラパラメータは、各カメラ21及び22のカメラパラメータの設計値を用いる、又は、テスト等によって各カメラ21及び22のカメラパラメータを計測すること等によって、予め取得され、カメラパラメータデータベース110に格納されている。後述するように、カメラパラメータ取得部103は、カメラパラメータ更新部106から更新後のカメラパラメータを取得する場合もある。
ステップS301及びS302に次いで、カメラ校正装置101の見込角対応長算出部104は、校正点データに含まれる各校正点について、カメラ21及び22の見込角対応長を、カメラ21及び22の初期カメラパラメータに基づき算出する。なお、見込角対応長算出部104は、カメラパラメータ更新部106によって更新された場合には、更新後のカメラパラメータに基づき、見込角対応長を算出する。
ステップS303に次いで、カメラ校正装置101のステレオ測距値算出部105は、校正点データ受付部102から取得する校正点データと、カメラパラメータ取得部103から取得するカメラ21及び22の初期カメラパラメータとに基づき、ステレオ測距処理をし、各校正点に対応する測距点の3次元座標を取得する。ステレオ測距値算出部105は、全ての校正点について、測距点の3次元座標を算出する、つまり、校正点のステレオ測距値を算出する。なお、ステレオ測距値算出部105は、カメラパラメータ更新部106によって更新された場合には、更新後のカメラパラメータに基づき、ステレオ測距処理をする。
ステップS304に次いで、カメラ校正装置101のカメラパラメータ更新部106は、ステップS301で取得された各校正点の校正点データ、ステップS303で算出された見込角対応長、及び、ステップS304で算出された各測距点の3次元座標に基づき、校正点と測距点との位置の差異に関する評価値Jを算出する。なお、評価値Jは、下記の式4に示すような関数(評価関数と呼ばれる)を用いて算出され、具体的には、評価値Jは校正点と校正点に対応する測距点のペアそれぞれにおける校正点と測距点との3次元距離(ユークリッド距離)の重み付き加算で定義される。校正点と測距点との3次元距離は、測距誤差でもあり、ステレオ測距誤差とも呼ばれる。例えば、図9に示すように、カメラパラメータの誤差等に起因して、校正点Pkの測距点Tkと校正点Pkとの間に、3次元距離が生じ得る。なお、式4において、Nは、校正点の数量であり、wkは、校正点Pk及び測距点Tkのユークリッド距離に付与される重みである。Tkは測距点Tkの3次元座標であり、Pkは校正点Pkの3次元座標である。本実施の形態では、下記の式5に示すように、重みwkは、測距点Tkに対するカメラ21及び22の見込角対応長deff,kを示す。例えばw2は、図9において校正点P2から見たときのカメラ21とカメラ22の見込み角に対する見込角対応長である。
ステップS305に次いで、カメラパラメータ更新部106は、ステップS305での処理の結果、カメラパラメータの更新を終了する条件が満たされているか否かを判定する。終了条件が満たされている場合(ステップS306でYES)、カメラパラメータ更新部106は、カメラパラメータを変更せずに、判定結果等の情報をカメラ校正装置101のカメラパラメータ出力部107に出力し、ステップS308の処理に進む。終了条件が満たされていない場合(ステップS306でNO)、カメラパラメータ更新部106は、ステップS307の処理に進む。終了条件は、予め設定されたカメラパラメータの探索範囲内の評価値Jの算出を完了することと、評価値Jが第一閾値よりも小さいことと、後述するステップS302〜S307の一連の処理の繰り返し回数が第二閾値以上となることとのうち少なくとも1つを満たすことであってよい。
カメラパラメータ更新部106は、カメラ21及び22のカメラパラメータを、カメラパラメータの探索範囲内で変更する、つまり更新する。更新されるカメラパラメータは、初めてステップS307の処理が行われる場合、初期カメラパラメータであり、後述する反復処理中では、反復処理の過程で更新された最新のカメラパラメータである。例えば、カメラパラメータ更新部106は、評価値Jの算出結果の履歴等から、非線形最適化法等の手法を用いて、評価値Jを最小化する又は小さくするようにカメラパラメータを変更する。そして、カメラパラメータ更新部106は、更新後のカメラパラメータをカメラパラメータ取得部103に出力し、ステップS302の処理に進む。これにより、更新後のカメラパラメータを用いて、ステップS302〜S306の処理が再び繰り返される。このように、ステップS302〜S307の処理が反復されることによって、評価値Jを最小化つまり最適化するように、カメラパラメータが更新される。例えば、公知技術であるグリッドサーチを用いて評価値Jを最小化できる。初期カメラパラメータの近傍などの最適値が含まれると考えられる範囲である探索範囲に対し、一定の間隔で評価値Jを算出し、算出した評価値Jの中から評価値Jが最小となるカメラパラメータを取得することができる。なお、上記の式1のように、2個以上の変数でカメラパラメータが構成される場合、各変数を軸とする多次元空間を同様に探索すればよい。
カメラパラメータ出力部107は、ステップS305で算出された評価値Jと、当該評価値Jに対応するカメラ21及び22のカメラパラメータとの組とを取得する。評価値Jに対応するカメラパラメータは、当該評価値Jの算出時に最新であるカメラパラメータであり、当該評価値Jの算出処理の過程で使用されたカメラパラメータでもある。ステップS302〜ステップS307の反復処理が行われなかった場合、カメラパラメータ出力部107は、初期カメラパラメータを出力する。ステップS302〜ステップS307の反復処理が行われた場合、カメラパラメータ出力部107は、取得した複数の組のカメラパラメータ及び評価値から、評価値が最小の組のカメラパラメータを選択し、選択したカメラパラメータを最適カメラパラメータとして出力する。
実施の形態2に係るカメラ校正装置を説明する。実施の形態2に係るカメラ校正装置の構成は、実施の形態1と同様であり、実施の形態2に係るカメラ校正装置の動作の一部が、実施の形態1と異なる。具体的には、実施の形態1では、図8に示すカメラパラメータ算出処理S300のステップS305において評価値Jを算出する際に用いた重みwkを、上記の式5に示すように見込角対応長としたが、実施の形態2では、重みwkを、正規化した見込角対応長とする。以下、実施の形態2について、実施の形態1と異なる点を中心に説明する。
実施の形態3に係るカメラ校正装置を説明する。実施の形態3に係るカメラ校正装置の構成は、実施の形態1と同様であり、実施の形態3に係るカメラ校正装置の動作の一部が、実施の形態1と異なる。具体的には、実施の形態1では、図8に示すカメラパラメータ算出処理S300のステップS305において評価値Jを算出する際に用いた重みwkを、上記の式5に示すように見込角対応長としたが、実施の形態3では、重みwkを、見込角対応長が閾値よりも大きい場合に見込角対応長とし、見込角対応長が閾値以下の場合に0とする。以下、実施の形態3について、実施の形態1と異なる点を中心に説明する。
実施の形態4に係るカメラ校正装置を説明する。実施の形態4に係るカメラ校正装置の構成は、実施の形態1と同様であり、実施の形態4に係るカメラ校正装置の動作の一部が、実施の形態1と異なる。具体的には、実施の形態1では、図8に示すカメラパラメータ算出処理S300のステップS305において測距点を統合する際に用いた重みwkを、上記の式5に示すように見込角対応長としたが、実施の形態4では、重みwkを、見込角対応長を校正点の奥行きで除算した値とする。以下、実施の形態4について、実施の形態1と異なる点を中心に説明する。
実施の形態5に係るカメラ校正装置を説明する。実施の形態5に係るカメラ校正装置の構成は、実施の形態4と同様であり、実施の形態5に係るカメラ校正装置の動作の一部が、実施の形態4と異なる。具体的には、実施の形態4では、評価値Jを算出する際に用いた重みwkを、見込角対応長を校正点の奥行きで除算した値としたが、実施の形態5では、重みwkを、見込角対応長を校正点の奥行きの2乗で除算した値とする。以下、実施の形態5について、実施の形態4と異なる点を中心に説明する。
以上、本開示の一つ又は複数の態様に係るカメラ構成装置等について、実施の形態に基づいて説明したが、本開示の技術は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
102 校正点データ受付部
103 カメラパラメータ取得部
104 見込角対応長算出部
105 ステレオ測距値算出部
106 カメラパラメータ更新部
107 カメラパラメータ出力部
109 校正点データベース(第1のメモリ)
110 カメラパラメータデータベース(第2のメモリ)
Claims (18)
- 2つのカメラのカメラパラメータを、複数の校正点を用いて算出するカメラ校正方法であって、
(a1)第1のメモリに格納され、前記複数の校正点の3次元座標と前記カメラそれぞれのカメラ画像での前記複数の校正点の画像座標とを含む校正点データを取得し、
(a2)第2のメモリに格納された前記カメラそれぞれの複数のカメラパラメータを取得し、
(a3)前記校正点それぞれについて、前記校正点を見る前記2つのカメラの見込角の大きさに対応する見込角対応長を、前記校正点データと前記カメラパラメータとに基づいて算出し、
(a4)前記校正点それぞれについて、前記校正点の画像座標と前記カメラパラメータとに基づいて、前記2つのカメラ間での前記校正点の視差から、前記校正点の3次元位置に対応する測距点の3次元位置を算出し、
(a5)前記校正点それぞれについて、前記校正点の3次元座標と前記校正点に対応する前記測距点の3次元位置との差異を、前記校正点を用いて算出された前記見込角対応長を用いて重み付けし、
(a6)重み付け後の前記差異に基づいて、前記カメラパラメータを更新し、
(a7)更新したカメラパラメータを出力し、
処理(a1)〜処理(a7)の少なくとも1つがプロセッサによって実行される
カメラ校正方法。 - 処理(a5)では、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点それぞれを用いて算出された前記見込角対応長の総和で正規化して用いる
請求項1に記載のカメラ校正方法。 - 処理(a5)では、閾値よりも大きい前記見込角対応長の算出に用いた前記校正点に関する前記差異のみを用いる
請求項1または2に記載のカメラ校正方法。 - 処理(a5)では、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点と前記カメラとの距離で除算して用いる
請求項1〜3のいずれか一項に記載のカメラ校正方法。 - 処理(a5)では、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点と前記カメラとの距離の2乗で除算して用いる
請求項1〜3のいずれか一項に記載のカメラ校正方法。 - 処理(a6)では、前記校正点それぞれに関する前記差異の総和を用いた評価値を算出し、前記評価値を小さくするように、前記カメラパラメータを更新する
請求項1〜5のいずれか一項に記載のカメラ校正方法。 - カメラ校正プログラムであって、
(a1)複数の校正点の3次元座標及び画像座標を含む校正点データを、第1のメモリから取得し、
ここで、前記複数の校正点の画像座標は、2つのカメラそれぞれのカメラ画像での前記複数の校正点の画像座標であり、
(a2)前記カメラそれぞれの複数のカメラパラメータを、第2のメモリから取得し、
(a3)前記校正点それぞれについて、前記校正点を見る前記2つのカメラの見込角の大きさに対応する見込角対応長を、前記校正点データと前記カメラパラメータとに基づいて算出し、
(a4)前記校正点それぞれについて、前記校正点の画像座標と前記カメラパラメータとに基づいて、前記2つのカメラ間での前記校正点の視差から、前記校正点の3次元位置に対応する測距点の3次元位置を算出し、
(a5)前記校正点それぞれについて、前記校正点の3次元座標と前記校正点に対応する前記測距点の3次元位置との差異を、前記校正点を用いて算出された前記見込角対応長を用いて重み付けし、
(a6)重み付け後の前記差異に基づいて、前記カメラパラメータを更新し、
(a7)更新したカメラパラメータを出力すること
をコンピュータに実行させるカメラ校正プログラム。 - 処理(a5)では、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点それぞれを用いて算出された前記見込角対応長の総和で正規化して用いる
請求項7に記載のカメラ校正プログラム。 - 処理(a5)では、閾値よりも大きい前記見込角対応長の算出に用いた前記校正点に関する前記差異のみを用いる
請求項7または8に記載のカメラ校正プログラム。 - 処理(a5)では、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点と前記カメラとの距離で除算して用いる
請求項7〜9のいずれか一項に記載のカメラ校正プログラム。 - 処理(a5)では、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点と前記カメラとの距離の2乗で除算して用いる
請求項7〜9のいずれか一項に記載のカメラ校正プログラム。 - 処理(a6)では、前記校正点それぞれに関する前記差異の総和を用いた評価値を算出し、前記評価値を小さくするように、前記カメラパラメータを更新する
請求項7〜11のいずれか一項に記載のカメラ校正プログラム。 - 2つのカメラのカメラパラメータを算出する処理回路を備え、
前記処理回路は、
(a1)複数の校正点の3次元座標と前記2つのカメラそれぞれのカメラ画像での前記複数の校正点の画像座標とを含む校正点データを、第1のメモリから取得し、
(a2)前記カメラそれぞれの複数のカメラパラメータを、第2のメモリから取得し、
(a3)前記校正点それぞれについて、前記校正点を見る前記2つのカメラの見込角の大きさに対応する見込角対応長を、前記校正点データと前記カメラパラメータとに基づいて算出し、
(a4)前記校正点それぞれについて、前記校正点の画像座標と前記カメラパラメータとに基づいて、前記2つのカメラ間での前記校正点の視差から、前記校正点の3次元位置に対応する測距点の3次元位置を算出し、
(a5)前記校正点それぞれについて、前記校正点の3次元座標と前記校正点に対応する前記測距点の3次元位置との差異を、前記校正点を用いて算出された前記見込角対応長を用いて重み付けし、
(a6)重み付け後の前記差異に基づいて前記カメラパラメータを更新し、
(a7)更新したカメラパラメータを出力する
カメラ校正装置。 - 前記処理回路は、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点それぞれを用いて算出された前記見込角対応長の総和で正規化して用いる
請求項13に記載のカメラ校正装置。 - 前記処理回路は、閾値よりも大きい前記見込角対応長の算出に用いた前記校正点に関する前記差異のみを用いる
請求項13または14に記載のカメラ校正装置。 - 前記処理回路は、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点と前記カメラとの距離で除算して用いる
請求項13〜15のいずれか一項に記載のカメラ校正装置。 - 前記処理回路は、前記差異の重み付けに、前記校正点を用いて算出された前記見込角対応長を、前記校正点と前記カメラとの距離の2乗で除算して用いる
請求項13〜15のいずれか一項に記載のカメラ校正装置。 - 前記処理回路は、前記校正点それぞれに関する前記差異の総和を用いた評価値を算出し、前記評価値を小さくするように、前記カメラパラメータを更新する
請求項13〜17のいずれか一項に記載のカメラ校正装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082272 | 2017-04-18 | ||
JP2017082272 | 2017-04-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018179981A true JP2018179981A (ja) | 2018-11-15 |
JP6967715B2 JP6967715B2 (ja) | 2021-11-17 |
Family
ID=61972310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018066160A Active JP6967715B2 (ja) | 2017-04-18 | 2018-03-29 | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10664998B2 (ja) |
EP (1) | EP3392837B1 (ja) |
JP (1) | JP6967715B2 (ja) |
CN (1) | CN108734741A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190438A (ja) * | 2019-05-20 | 2020-11-26 | 株式会社リコー | 計測装置および計測システム |
CN113393538A (zh) * | 2021-07-14 | 2021-09-14 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014083489A1 (en) | 2012-11-28 | 2014-06-05 | Corephotonics Ltd. | High-resolution thin multi-aperture imaging systems |
CN109040553B (zh) | 2013-06-13 | 2021-04-13 | 核心光电有限公司 | 双孔径变焦数字摄影机 |
CN105359006B (zh) | 2013-07-04 | 2018-06-22 | 核心光电有限公司 | 小型长焦透镜套件 |
CN109120823B (zh) | 2013-08-01 | 2020-07-14 | 核心光电有限公司 | 具有自动聚焦的纤薄多孔径成像系统及其使用方法 |
US9392188B2 (en) | 2014-08-10 | 2016-07-12 | Corephotonics Ltd. | Zoom dual-aperture camera with folded lens |
CN107209404B (zh) | 2015-01-03 | 2021-01-15 | 核心光电有限公司 | 微型长焦镜头模块和使用该镜头模块的相机 |
CN111175926B (zh) | 2015-04-16 | 2021-08-20 | 核心光电有限公司 | 紧凑型折叠式相机中的自动对焦和光学图像稳定 |
CN112672022B (zh) | 2015-08-13 | 2022-08-02 | 核心光电有限公司 | 视频支持和切换/无切换动态控制的双孔径变焦摄影机 |
US10578948B2 (en) | 2015-12-29 | 2020-03-03 | Corephotonics Ltd. | Dual-aperture zoom digital camera with automatic adjustable tele field of view |
EP3518520B1 (en) | 2016-05-30 | 2020-08-26 | Corephotonics Ltd. | Rotational ball-guided voice coil motor |
EP3381181B1 (en) | 2016-06-19 | 2022-04-06 | Corephotonics Ltd. | Frame synchronization in a dual-aperture camera system |
EP4224233A1 (en) | 2016-07-07 | 2023-08-09 | Corephotonics Ltd. | Linear ball guided voice coil motor for folded optic |
CN110072675B (zh) * | 2016-12-13 | 2022-04-19 | 株式会社富士 | 作业机器人的目的位置校正方法 |
EP3563193B1 (en) | 2016-12-28 | 2021-03-31 | Corephotonics Ltd. | Folded camera structure with an extended light-folding-element scanning range |
CN113805405B (zh) | 2017-01-12 | 2023-05-23 | 核心光电有限公司 | 紧凑型折叠式摄影机及其组装方法 |
CN114137790A (zh) | 2017-03-15 | 2022-03-04 | 核心光电有限公司 | 具有全景扫瞄范围的系统、移动电子装置及其方法 |
US10777018B2 (en) | 2017-05-17 | 2020-09-15 | Bespoke, Inc. | Systems and methods for determining the scale of human anatomy from images |
US10904512B2 (en) | 2017-09-06 | 2021-01-26 | Corephotonics Ltd. | Combined stereoscopic and phase detection depth mapping in a dual aperture camera |
US10951834B2 (en) | 2017-10-03 | 2021-03-16 | Corephotonics Ltd. | Synthetically enlarged camera aperture |
CN110140076B (zh) | 2017-11-23 | 2021-05-21 | 核心光电有限公司 | 紧凑型折叠式摄影机结构 |
CN114609746A (zh) | 2018-02-05 | 2022-06-10 | 核心光电有限公司 | 折叠摄像装置 |
KR102494003B1 (ko) | 2018-02-12 | 2023-01-30 | 코어포토닉스 리미티드 | 광학 이미지 안정화 기능을 갖는 폴디드 카메라 |
US10694168B2 (en) | 2018-04-22 | 2020-06-23 | Corephotonics Ltd. | System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems |
EP4109174A1 (en) | 2018-04-23 | 2022-12-28 | Corephotonics Ltd. | An optical-path folding-element with an extended two degree of freedom rotation range |
KR102289149B1 (ko) | 2018-08-04 | 2021-08-12 | 코어포토닉스 리미티드 | 카메라 위의 전환 가능한 연속 디스플레이 정보 시스템 |
WO2020039302A1 (en) | 2018-08-22 | 2020-02-27 | Corephotonics Ltd. | Two-state zoom folded camera |
US11287081B2 (en) | 2019-01-07 | 2022-03-29 | Corephotonics Ltd. | Rotation mechanism with sliding joint |
WO2020183312A1 (en) * | 2019-03-09 | 2020-09-17 | Corephotonics Ltd. | System and method for dynamic stereoscopic calibration |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US10399227B1 (en) | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
CN109908497B (zh) * | 2019-04-01 | 2021-11-30 | 上海联影医疗科技股份有限公司 | 坐标校准装置、系统、方法及介质 |
KR102365748B1 (ko) | 2019-07-31 | 2022-02-23 | 코어포토닉스 리미티드 | 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법 |
US11659135B2 (en) | 2019-10-30 | 2023-05-23 | Corephotonics Ltd. | Slow or fast motion video using depth information |
US11949976B2 (en) | 2019-12-09 | 2024-04-02 | Corephotonics Ltd. | Systems and methods for obtaining a smart panoramic image |
CN114641983A (zh) | 2019-12-09 | 2022-06-17 | 核心光电有限公司 | 用于获得智能全景图像的系统及方法 |
EP3855397B1 (en) * | 2020-01-24 | 2021-12-29 | Axis AB | Imaging system |
EP4052176A4 (en) | 2020-02-22 | 2023-01-04 | Corephotonics Ltd. | SPLIT SCREEN FUNCTION FOR MACRO PHOTOGRAPHY |
US11360375B1 (en) | 2020-03-10 | 2022-06-14 | Rockwell Collins, Inc. | Stereoscopic camera alignment via laser projection |
EP3882857A1 (en) | 2020-03-19 | 2021-09-22 | Sony Group Corporation | Extrinsic calibration of multi-camera system |
KR20230159624A (ko) | 2020-04-26 | 2023-11-21 | 코어포토닉스 리미티드 | 홀 바 센서 보정을 위한 온도 제어 |
CN117372250A (zh) | 2020-05-17 | 2024-01-09 | 核心光电有限公司 | 全视场参考图像的图像拼接 |
KR20240001277A (ko) | 2020-05-30 | 2024-01-03 | 코어포토닉스 리미티드 | 슈퍼 매크로 이미지를 얻기 위한 시스템 및 방법 |
US11637977B2 (en) | 2020-07-15 | 2023-04-25 | Corephotonics Ltd. | Image sensors and sensing methods to obtain time-of-flight and phase detection information |
CN114730064A (zh) | 2020-07-15 | 2022-07-08 | 核心光电有限公司 | 扫描折叠相机的视点像差校正 |
US11311747B2 (en) | 2020-07-16 | 2022-04-26 | Uih America, Inc. | Systems and methods for isocenter calibration |
KR102640229B1 (ko) | 2020-07-31 | 2024-02-22 | 코어포토닉스 리미티드 | 큰 스트로크 선형 위치 감지를 위한 홀 센서-자석 구조 |
CN116679420A (zh) | 2020-08-12 | 2023-09-01 | 核心光电有限公司 | 用于光学防抖的方法 |
TW202422200A (zh) | 2021-03-11 | 2024-06-01 | 以色列商核心光電有限公司 | 彈出式照相機系統 |
KR102638173B1 (ko) | 2021-06-08 | 2024-02-19 | 코어포토닉스 리미티드 | 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라 |
US11870973B2 (en) * | 2021-07-27 | 2024-01-09 | Deere & Company | Camera calibration tool |
CN113884104B (zh) * | 2021-09-27 | 2024-02-02 | 苏州挚途科技有限公司 | 多传感器联合标定方法、装置及电子设备 |
CN114296313A (zh) * | 2022-01-17 | 2022-04-08 | 惠州市华阳数码特电子有限公司 | 摄像头的校准方法及校准装置 |
CN114549350B (zh) * | 2022-02-18 | 2024-08-20 | 深圳Tcl数字技术有限公司 | 图像数据视角修正方法、装置、设备及存储介质 |
WO2024156022A1 (en) * | 2023-01-24 | 2024-08-02 | Visionary Machines Pty Ltd | Systems and methods for calibrating cameras and camera arrays |
CN117593378B (zh) * | 2023-11-01 | 2024-07-30 | 誉昊光电科技(珠海)有限公司 | 车载摄像头模组内参标定装置及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP2000284389A (ja) * | 1999-03-31 | 2000-10-13 | Fuji Heavy Ind Ltd | ステレオカメラの自己診断装置 |
JP2002267441A (ja) * | 2001-03-07 | 2002-09-18 | Fuji Heavy Ind Ltd | ステレオマッチング方法および監視装置 |
JP2011169853A (ja) * | 2010-02-22 | 2011-09-01 | Ricoh Co Ltd | 距離画像取得装置 |
JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
WO2013190772A1 (ja) * | 2012-06-20 | 2013-12-27 | パナソニック株式会社 | 空間情報検出装置、人位置検出装置 |
WO2014181581A1 (ja) * | 2013-05-07 | 2014-11-13 | 日立オートモティブシステムズ株式会社 | キャリブレーション装置、キャリブレーションシステム、及び撮像装置 |
JP2015132540A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社リコー | 測距装置及びロボットピッキングシステム |
JP2015135317A (ja) * | 2013-12-19 | 2015-07-27 | 株式会社リコー | 画像処理装置、システム、画像処理方法およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE1073999B (de) * | 1955-01-05 | 1960-01-28 | The American Laundry Machmeiy Company Cmcmnatti Ohio (V St A) | FaIt und Stapelvor richtung fur Waschestucke |
JP2005322128A (ja) * | 2004-05-11 | 2005-11-17 | Rikogaku Shinkokai | ステレオ3次元計測用キャリブレーション方法及び3次元位置算出方法 |
MX359793B (es) * | 2009-04-24 | 2018-10-08 | Iceutica Pty Ltd | Producción de nanopartículas encapsuladas a escala comercial. |
JP5214811B2 (ja) * | 2009-11-13 | 2013-06-19 | 富士フイルム株式会社 | 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 |
JP6182866B2 (ja) * | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
JP6447055B2 (ja) * | 2014-01-28 | 2019-01-09 | 株式会社リコー | 校正方法、校正装置、計測用具及びプログラム |
US10373338B2 (en) * | 2015-05-27 | 2019-08-06 | Kyocera Corporation | Calculation device, camera device, vehicle, and calibration method |
-
2018
- 2018-03-29 JP JP2018066160A patent/JP6967715B2/ja active Active
- 2018-04-09 EP EP18166375.8A patent/EP3392837B1/en active Active
- 2018-04-11 US US15/950,220 patent/US10664998B2/en active Active
- 2018-04-11 CN CN201810323035.7A patent/CN108734741A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP2000284389A (ja) * | 1999-03-31 | 2000-10-13 | Fuji Heavy Ind Ltd | ステレオカメラの自己診断装置 |
JP2002267441A (ja) * | 2001-03-07 | 2002-09-18 | Fuji Heavy Ind Ltd | ステレオマッチング方法および監視装置 |
JP2011169853A (ja) * | 2010-02-22 | 2011-09-01 | Ricoh Co Ltd | 距離画像取得装置 |
JP2012202694A (ja) * | 2011-03-23 | 2012-10-22 | Canon Inc | カメラ校正方法 |
WO2013190772A1 (ja) * | 2012-06-20 | 2013-12-27 | パナソニック株式会社 | 空間情報検出装置、人位置検出装置 |
WO2014181581A1 (ja) * | 2013-05-07 | 2014-11-13 | 日立オートモティブシステムズ株式会社 | キャリブレーション装置、キャリブレーションシステム、及び撮像装置 |
JP2015135317A (ja) * | 2013-12-19 | 2015-07-27 | 株式会社リコー | 画像処理装置、システム、画像処理方法およびプログラム |
JP2015132540A (ja) * | 2014-01-14 | 2015-07-23 | 株式会社リコー | 測距装置及びロボットピッキングシステム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190438A (ja) * | 2019-05-20 | 2020-11-26 | 株式会社リコー | 計測装置および計測システム |
CN113393538A (zh) * | 2021-07-14 | 2021-09-14 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
CN113393538B (zh) * | 2021-07-14 | 2024-05-28 | 南京苏润科技发展有限公司 | 一种基于双棋盘格标定的闸门门缝检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US10664998B2 (en) | 2020-05-26 |
JP6967715B2 (ja) | 2021-11-17 |
EP3392837A1 (en) | 2018-10-24 |
CN108734741A (zh) | 2018-11-02 |
EP3392837B1 (en) | 2020-06-10 |
US20180300901A1 (en) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6967715B2 (ja) | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 | |
JP6975929B2 (ja) | カメラ校正方法、カメラ校正プログラム及びカメラ校正装置 | |
US10339390B2 (en) | Methods and apparatus for an imaging system | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN108734744B (zh) | 一种基于全站仪的远距离大视场双目标定方法 | |
US11455746B2 (en) | System and methods for extrinsic calibration of cameras and diffractive optical elements | |
WO2017195801A1 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
JP6585006B2 (ja) | 撮影装置および車両 | |
CN112655024B (zh) | 一种图像标定方法及装置 | |
JP6079333B2 (ja) | 校正装置、方法及びプログラム | |
CN112562014B (zh) | 相机标定方法、系统、介质及装置 | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
US10252417B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and storage medium | |
CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
JP2010276433A (ja) | 撮像装置、画像処理装置及び距離計測装置 | |
CN113744340A (zh) | 用轴向视点偏移的非中心相机模型校准相机并计算点投影 | |
Ding et al. | A robust detection method of control points for calibration and measurement with defocused images | |
CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
JP2015031601A (ja) | 3次元計測装置及び方法並びにプログラム | |
WO2018110264A1 (ja) | 撮像装置、及び撮像方法 | |
CN113405532A (zh) | 基于视觉系统结构参数的前方交会测量方法及系统 | |
JP2018088228A (ja) | 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体 | |
JP6262949B2 (ja) | キャリブレーション装置およびキャリブレーションプログラム | |
WO2024127591A1 (ja) | カメラ校正装置及びカメラ校正方法 | |
Seegräber et al. | A Calibration Tool for Refractive Underwater Vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211006 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6967715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |