JP2013187822A - 補正式算出方法、補正方法、補正装置及び撮像装置 - Google Patents

Abstract

【課題】小領域の境界部においても、局所的な補正精度が低下しない高精度なキャリブレーションを実現することが可能なキャリブレーション方法を提供する。
【解決手段】カメラ１０による撮影画像１３における所定の特徴点の座標を取得する特徴点座標取得部３０と、撮影画像１３における、特徴点が本来結像する理想座標を取得するする理想座標取得部３１、撮影画像１３を複数の領域に分割した各領域における、特徴点の座標と、理想座標と、の関係に基づいて、各領域における歪曲特性を補正する歪み補正式を算出する補正式算出部３３と、を備え、補正式算出部３３にあっては、各領域の境界において共有する特徴点の補正後の座標が、各領域において等しくなるようにした。
【選択図】図１

Description

本発明は、歪曲特性を有するカメラにより撮影した画像の補正式算出方法、補正方法、補正装置及び撮像装置に関する。

レンズなどの光学系を用いて取得された光学的な情報を撮像素子によりセンシングして画像データを取得する撮像装置（以下、単にカメラと記載する）においては、レンズの球面収差やその他の特性に起因して、取得した画像に歪みが生じることがある。従って、精度の良い画像を取得するには、これらの歪みを補正するキャリブレーション処理が重要である。
特に、異なる視点位置から同じ対象物体を撮影した際に、撮影画像上の結像位置が物体の距離によって変化することを利用して、物体の距離や位置を計測するステレオカメラに利用されるカメラにおいて、キャリブレーション処理は重要となる。
カメラのキャリブレーションとは、一般に、カメラが有するレンズの球面収差による歪みや焦点距離、画像中心（光軸と撮像素子の撮像面との交点座標）の設計値とのずれによる影響を含んでいる画像を、下記のピンホールカメラモデルにより補正する処理である。

この補正処理では、カメラを、図１０に示すような歪曲特性を持ったピンホールカメラによりモデル化する。
図１０に示すピンホールカメラモデルにおいては、まず、カメラのイメージセンサの撮像面１００と、投影中心１０１とを設定する。
このモデルにおいては、対象物（被写体）１０２の像は、まず被写体１０２から投影中心へ引いた直線１０３とセンサ面（撮像面）１００の交点に投影される。なお、この交点はレンズの歪曲特性の影響を含まない理想的な像位置１０４である。
その後、レンズの歪曲特性に従ってセンサ面１００上を移動して、（歪曲の影響を含む）実際の像位置１０５が決定される。
そのため、センサ面１００上に設定したＸＹ座標（通常は左下原点、縦横の画素並び方向がＸＹ方向）、それに直交するＺ軸、からなる３次元座標系での投影中心１０１の座標値（図１０でのｃｘ，ｃｙ，ｆ）と、歪曲特性を表す座標変換式が、実画像をピンホール画像に補正するためのパラメータとなる。なお、このパラメータを内部パラメータと呼ぶ。

このようなキャリブレーション方法としては、非特許文献１に示すＺ．Ｚｈａｎｇの手法が知られている。
非特許文献１に示されるキャリブレーション手法は、カメラの歪曲特性をモデル式で近似し、この近似したモデル式を用いて歪曲特性を補正するものである。
また歪みモデル式としては、非特許文献２に開示されるＷｅｎｇらにより提案されたモデル式が既に知られている。
非特許文献１のキャリブレーション手法では、まず図１１に示すようなマトリックス状の２次元チャートをキャリブレーション対象となるカメラで撮影し、撮影された画像からマトリックス状の点群配列を算出する。
この校正基準点と、コンピュータ上のカメラモデルにより計算された校正基準座標（理論値）の差を評価関数として最適化処理を行うことで、カメラモデル式の各パラメータを算出し、歪曲特性を補正するものである。

しかしながら、非特許文献１に示すようなカメラモデルを用いるキャリブレーション手法では、理論値を算出したカメラモデルが実際のカメラの歪曲特性と少しでも異なる場合、実際の歪曲特性を再現出来ず、キャリブレーション精度が得られないという問題があった。
また、校正対象の画像全体に対して一つのモデル式を適応しているため、局所的に極端な歪曲特性を持つような場合には対応できないという問題もあった。
加えて、複雑な歪曲特性を再現するためにはカメラモデル式の次数を大きくしなければならず求めるパラメータが増えるために、最適化が収束せず、正確なパラメータが得られないなどの問題もある。

このような問題点に関して、特許文献１には、撮像面上の画像を小領域に分割し、分割した小領域ごとに画像歪みを関数モデルにて近似し、この近似した関数モデルを用いて歪み補正を高精度に行う方法が開示されている。

しかしながら、特許文献１に開示の方法では、小領域ごとの関数モデルの境界部分が考慮されていないため、境界領域の歪み補正量が不連続になり、局所的に補正精度が低下してしまうという問題がある。
本発明は、かかる問題点を鑑みて、小領域に関数モデル分割して、極端な歪曲特性を持つようなカメラのキャリブレーションを行う場合でも、小領域の境界部における局所的な補正精度が低下しない高精度なキャリブレーションを実現することが可能なカメラのキャリブレーション方法を提供することを目的とする。

上記の課題を解決するために、請求項１の発明は歪曲特性を有した撮像装置によって撮像された撮影画像を補正する際に、前記歪曲特性に近似した歪み補正式を算出する補正式算出方法であって、前記撮影画像を分割した領域毎に、各領域の境界部における歪みの補正量を等しくする歪み補正式を算出することを特徴とする。

上記のように構成したので、本発明によれば、極端な歪曲特性を持つようなカメラのキャリブレーションを行う場合でも、小領域の境界部における局所的な補正精度低下が発生しない高精度なキャリブレーションを実現することが出来る。

本実施の形態にかかるキャリブレーション方法を実施するキャリブレーション装置の一例を説明する概略図。 第１の実施形態に係るキャリブレーション処理の基本的な流れを表すフローチャート。 理想位置を示すピンホールカメラモデルを説明する図。 小領域に分割した校正対象画像を説明する図。 校正対象画像における座標系を説明する図。 各領域で近似を行った結果の、校正対象画像の座標系を示す図。 各領域で近似を行った結果の、校正対象画像の座標系を示す図。 第２の実施形態に係るキャリブレーション処理を説明するフローチャート。 歪みモデル選択処理を詳しく説明するフローチャート。 歪曲特性を持ったピンホールカメラモデルを説明する図。 キャリブレーション対象となるマトリックス状の２次元チャートを示す図。

以下に、図面を参照して、本発明の実施の形態を詳細に説明する。
［第１の実施形態］
図１は、本実施の形態にかかるキャリブレーション方法を実施するキャリブレーション装置の一例を説明する概略図であり、(ａ)は、ハードウェア構成図、（ｂ）はソフトウェアによる機能ブロック図である。
キャリブレーション装置１は、レンズ１１及び撮像素子１２を備えるカメラ１０によって、被写体としての対象物２０を撮像した画像に対する歪み補正式を算出し、さらには歪み補正を行う。
図１（ａ）に示すように、キャリブレーション装置１は、制御プログラムに従って下記に説明するキャリブレーション処理を行うＣＰＵ（Central Processing Unit）２と、下記の制御プログラムを格納するＲＯＭ（Read Only Memory）３と、ＣＰＵ２による実行のためにＲＯＭ３から制御プログラムを展開し、また処理のための一時データを記憶するＲＡＭ（Random Access Memory）３と、撮像装置１０との間で画像を入出力するための入出力Ｉ／Ｆ（インターフェイス）５を備えている。
入出力Ｉ／Ｆ５は、ＵＳＢケーブル等を使用した通信を可能とするＵＳＢポートであってもよく、メモリカードのスロットでも良い。

図１（ｂ）に示すように、ＣＰＵ２は、校正対象のカメラ１０により校正対象物２０を撮像した校正対象画像１３から、校正の際の特徴点となる特徴点座標（特徴点座標Ｓ）を取得する特徴点座標取部３０と、校正の際の真値としての理想座標を算出（取得）する理想座標取得部３１と、校正対象画像１３をＮ個の小領域に分割する領域分割処理部３１と、特徴点座標取得部３０及び理想座標取得部３１により得られた座標データを用いて、歪み補正式の係数を最小二乗近似により算出する補正式算出部３２と、歪曲特性に近似した歪みモデル式を用いて撮影画像を補正し、図示しない画像補正部３３と、を実行する。
なお、画像補正部３３は、必ずしもキャリブレーション装置１に備える必要はなく、補正式算出部３２により算出した歪み補正式を、校正対象のカメラ１０に備えた記憶手段に格納し、カメラ１０が備える画像補正手段により撮影画像に補正を行う際に、算出された補正式を使用することが出来る。
さらに、キャリブレーション装置１の機能が、カメラ１０自体に組み込まれていてもよい。このようにすれば、カメラ単体で、キャリブレーション及び画像補正を行うことが出来る。この場合、キャリブレーション装置１の機能は、カメラ１０が有する図示しないＣＰＵによって実行可能である。

また、ＣＰＵ２２は、補正された画像をカメラ（撮像装置）１０に対して出力したり、図示しないキャリブレーション装置１に備えたディスプレイ、メモリカード等に出力することが出来る。
なお、図１は、ＣＰＵを使用したソフトウェア処理を行う装置を示しているが、ＡＳＩＣ等によるハードウェア処理を行う装置であっても良い。

図２乃至４を用いて、本発明の第１の実施形態に係るキャリブレーション処理を説明する。
図２は、第１の実施形態に係るキャリブレーション処理の基本的な流れを表すフローチャートである。
本実施形態は、特に、ステップＳ１３の係数算出処理（補正式算出処理）に特徴を有するものである。
ステップＳ１１ａの特徴点座標取得処理では、ＣＰＵ２は、図１の校正対象物（被写体）２０を撮影した校正対象画像１３から、校正対象カメラ１０が有する固有の歪曲特性を表す特徴点座標Ｓ（ｘ’，ｙ’）を検出（取得）する。
これは、カメラ固有の特性、特にレンズの歪曲特性の影響を含んでいる。
なお、本実施形態では、図１１に示したものと同様のマトリックスチャートの交点を特徴点として検出する。
この特徴点座標Ｓは、レンズ１１による歪みや、焦点距離、画像中心（光軸と撮像面との交点座標）の設計値からのずれによる影響を含んでおり、理想位置Ｑからは外れたものとなっている。

次に、ステップＳ１１ｂの理想座標算出処理では、ＣＰＵ２は、校正対象物２０が本来結像するべき理想位置Ｑを算出する。
この理想位置Ｑは、校正対象カメラ１０の設計値より得られるものであり、図３に示すピンホールカメラモデルより得られる。
ピンホールモデルでの理想座標Ｑ（ｘ，ｙ）は、校正対象物２０の３次元座標［Ｘ，Ｙ，Ｚ］、及びピンホール（Pinhole）からの焦点距離ｆより式（１）で表される。

・・・・・（１）

次に、ステップＳ１２の領域分割処理では、ＣＰＵ２は、校正対象カメラ１０より取得した校正対象画像１３をＮ分割し、Ｎ個の小領域に分割する。
図４は、小領域に分割した校正対象画像を説明する図である。
本実施形態では、図４に示すように、校正対象画像１３をＡＲＥＡ１〜ＡＲＥＡ４の４領域に分割する。しかしながら、分割方法および分割数はこれに限定しない。
なお、校正対象カメラ１０より取得する校正対象画像１３からは、そのカメラが持つ固有の歪曲特性を検出する必要があるため、３次元空間上の位置が既知な特徴を有する校正対象物２０を撮影する必要がある。
本実施形態では、図４、図１１に示すようなマトリックス状のチャートを校正対象物とする。ただし、校正対象カメラ１０の歪曲特性が得られれば良いので、校正対象物はこれに限定しない。

図５は、校正対象画像における座標系を説明する図であり、図５（ａ）は、歪み特性の影響を含まない校正対象画像の理想的な座標系を示し、図５（ｂ）は歪み特性の影響を受けた歪曲された座標系を示している。
ステップＳ１３の係数算出処理では、ＣＰＵ２は、ステップＳ１１ａ、ステップＳ１１ｂで算出した座標データＳ、Ｐを元に、校正対象カメラ１０が持つ歪曲特性を歪みモデル式で近似する。歪曲特性を近似できる歪み式（モデル式）の係数を決定する。
ここでは、ステップＳ１１ａで算出した実際の校正対象カメラ１０の歪曲特性の影響を含んだ特徴点座標Ｓ（ｘ’，ｙ’）と、ステップＳ１１ｂで算出したレンズ特性の影響を含まない理想座標Ｑ（ｘ，ｙ）と、を対応付ける関係式を歪みモデル式として近似する。
このとき、図５（ｂ）の各ＡＲＥＡにはＡＲＥＡ１：（ｘ’，ｙ’）＝ｆ（ｘ，ｙ）、ＡＲＥＡ２：（ｘ’，ｙ’）＝ｇ（ｘ，ｙ）、ＡＲＥＡ３：（ｘ’，ｙ’）＝ｈ（ｘ，ｙ）、ＡＲＥＡ４：（ｘ’，ｙ’）＝ｌ（ｘ，ｙ）と、それぞれ異なる歪みモデル式を用いる。

本実施形態では、各ＡＲＥＡの歪みモデル式として、ＡＲＥＡごとに係数の異なる３次多項式（式（２）参照）で近似を行う。
なお、歪みモデル式は次数の異なる多項式でも良く、これに限定はしない。

・・・（２）

図６は、各領域で近似を行った結果の、校正対象画像の座標系を示す図である。
図６に示すように、各ＡＲＥＡの境界部で、図５（ｂ）において各領域が共有していた特徴点座標Ａ〜Ｌ（中心座標は除く）は、歪み補正量が不連続になっている（Ａ１≠Ａ２、Ｂ１≠Ｂ２、Ｃ１≠Ｃ２…）。
そこで、これらの近似曲面が滑らかな曲面になるよう拘束条件を付加する。
拘束条件は、式（３）に示すように、隣り合う領域の１次微分および２次微分が等しくなるように条件を付ける。これにより、図７に示すように各ＡＲＥＡの境界部分の座標Ａ’〜Ｌ’が滑らかに繋がった高精度な近似を行うことが出来、分割領域の境界部でも高精度なキャリブレーションを実現することが出来る。

・・・（３）

式（２）、式（３）を用いて最小二乗法により歪みモデル式を推定する。
ステップＳ１４では、ＣＰＵ２は、推定した歪みモデル式を用いて画像の補正を行う。
歪みを有する特徴点座標Ｓ（ｘ’，ｙ’）から歪みを除去した座標（ｘ’’，ｙ’’）は、式（４）を用いて算出することが可能である。

・・・（４）
以上の処理により、高精度にキャリブレーション及び歪み補正処理を行うことが可能になる。

［第２の実施形態］
次に、図８、図９を使用して、本発明に係る第２の実施形態を説明する。
図８は、第２の実施形態に係るキャリブレーション処理を説明するフローチャートである。
図８に示す第２の実施形態では、図２のステップＳＳ１２においてカメラより取得した画像を小領域に分割した後に、各小領域の最適な歪みモデル式を選択するステップＳ２３（最適歪みモデル選択処理）を有する。
なお、特徴点座標算出ステップＳ２１ａ、理想座標算出ステップＳ２１ｂ、画像分割ステップＳ２２、歪みモデル推定ステップＳ２４、画像補正ステップＳ２５は、第１の実施形態と同様であり、説明は割愛する。

図９は、最適歪みモデル選択処理を詳しく説明するフローチャートである。
図９に示す歪みモデル選択処理は、図１に示すＣＰＵ２が、画像の小領域ごとに最適な歪みモデル式を選択するステップである。
第２の実施形態では、歪みモデル式をｎ次多項式とし、各領域で最適な次数を算出する。なお、歪みモデル式としては、非特許文献２のＷｅｎｇらのモデル式が既に提案され良く知られており、予め複数のモデル式を定義しておき、それらの中から最適なモデルを選択するとしても良い。
歪みモデルの選択は、特徴点座標算出ステップＳ２１ａで算出した特徴点座標Ｓ（ｘ’，ｙ’）と、歪みモデルを用いて計算した特徴点座標Ｓ（ｘ’’’，ｙ’’’）の差を評価関数とした最適化処理により行われる。

まず、図５のステップＳ２２で画像をＮ個の領域に分割後、ＣＰＵ２は、校正対象物２０を分割したある領域に対して、多項式の次数の初期値ｎを設定する（ステップＳ３１）。この次数は、低次の次数から設定すると良い。本実施形態では次数３を初期値とする。
次に、ステップＳ３２では、ＣＰＵ２は、特徴点群の差を算出する。この特徴点群の差が小さいほど、歪曲特性を正確に表していることになる。
次に、ステップＳ３３では、ＣＰＵ２は、この特徴点群間の差を評価関数として最適化を行うことで、歪曲特性を多項式で近似する。
次に、ステップＳ３４では、ＣＰＵ２は、最適化が十分であるかを判別する。
すなわち、最適化の残差と予め設定した閾値ＴＨを比較し、閾値を満たしていれば（ステップＳ３４でＹｅｓ）、歪曲特性を正確に再現したと判断して処理を終了し、図８のステップＳ２４の係数算出処理に進む。
逆に、閾値を満たさないときは（ステップＳ３４でＮｏ）、多項式の次数に＋１をして、再度最適化処理を行う（ステップＳ３２、ステップＳ３３）。
以上の処理を、分割した全ての小領域（ＡＲＥＡ１〜４）に行い、各領域に最適な多項式の次数を決定する。
本実施形態では、この最適歪みモデル選択処理を加えることにより、領域毎により最適な補正式を算出し、より高精度なキャリブレーションが可能である。

１ キャリブレーション装置、２ ＣＰＵ、３ ＲＡＭ、４ ＲＯＭ、５ 入力Ｉ／Ｏ、１０ 校正対象カメラ、１１ レンズ、１２ 撮像素子、１３ 校正対象画像、
２０ 校正対象物、３０特徴点座標取部、３１ 理想座標取得部、３１ 領域分割処理部、３２ 補正式算出部、３３ 画像補正部

特開２０１１−０４９７３３公報

Z.Zhang，"A Flexible New Technique for Camera Calibration"，Technical Report MSR-TR-98-71，Microsoft Research, 1998 J.Weng，P.Cohen and M.Hemiou，"Camera calibration with distortion models and accuracy evaluation"，pp.965-980，IEEE Transaction on Pattern Analysis and Machine Intelligence，1992

Claims (8)

1. 歪曲特性を有した撮像装置によって撮像された撮影画像を補正する際に、前記歪曲特性に近似した歪み補正式を算出する補正式算出方法であって、
   前記撮影画像を分割した領域毎に、各領域の境界部における歪みの補正量を等しくする歪み補正式を算出することを特徴とする補正式算出方法。
2. 請求項１に記載の補正式算出方法において、
   前記撮影画像における所定の特徴点の座標を取得する特徴点座標取得ステップと、
   前記撮影画像における、前記特徴点が本来結像する理想座標を取得するする理想座標取得ステップと、
   前記撮影画像を複数の領域に分割した各領域における、前記特徴点の座標と、前記理想座標と、の関係に基づいて、各領域における歪曲特性を補正する歪み補正式を算出する補正式算出ステップと、
   を実行し、
   前記補正式算出ステップは、各領域の境界において共有する特徴点の補正後の座標が、各領域において等しくなるように歪み補正式を算出することを特徴とする補正式算出方法。
3. 前記補正式算出ステップは、隣接する各領域の補正式における一次微分及び二次微分が等しくなるようにすることを特徴とする、請求項２に記載の補正式算出方法。
4. 前記歪みモデル算出ステップにおいて、各領域において異なる次数の歪み補正式を適用することを特徴とする請求項１又は２に記載の補正式算出方法。
5. 請求項２乃至４の何れか一項に記載の補正方法において、
   前記理想座標は、前記被写体の３次元座標及び前記撮像装置における焦点距離に基づいて算出されることを特徴とする補正式算出方法。
6. 請求項１乃至５の何れか一項に記載の補正式算出方法によって算出した歪み補正式によって、前記撮影画像を補正する補正方法。
7. 歪曲特性を有した撮像装置によって撮像された撮影画像における所定の特徴点の座標を取得する特徴点座標取得手段と、
   前記撮影画像において前記特徴点が本来結像する理想座標を取得する理想座標取得手段と、
   前記撮影画像を複数の領域に分割した各領域における、前記特徴点の座標と、前記理想座標と、の関係に基づいて、各領域における歪曲特性を補正する歪み補正式を算出する補正式算出手段と、
   算出された前記歪み補正式に基づいて、前記撮影画像を補正する手段と、を備え、
   前記補正式算出手段は、各領域の境界において共有する特徴点の補正後の座標が、各領域において等しくなるように前記歪み補正式を算出することを特徴とする補正装置。
8. 撮像手段と、
   該撮像手段により撮像された撮影画像における所定の特徴点の座標を取得する特徴点座標取得手段と、
   前記撮影画像において前記特徴点が本来結像する理想座標を取得する理想座標取得手段と、
   前記撮影画像を複数の領域に分割した各領域における、前記特徴点の座標と、前記理想座標と、の関係に基づいて、各領域における歪曲特性を補正する歪み補正式を算出する補正式算出手段と、
   算出された前記歪み補正式に基づいて、前記撮影画像を補正する手段と、を備え、
   前記補正式算出手段は、各領域の境界において共有する特徴点の補正後の座標が、各領域において等しくなるように前記歪み補正式を算出することを特徴とする撮像装置。

Images