JP2019161278A - 校正基準点取得システム、及び校正基準点取得方法 - Google Patents

Abstract

【課題】校正基準点の取得精度を向上させることを課題とする。【解決手段】開示の技術の一態様に係る校正基準点取得システムは、撮像装置の幾何歪を校正するための校正基準点を取得する校正基準点取得システムであって、前記撮像装置に撮像させるパターン光を表示するパターン光表示手段と、前記撮像装置と前記校正基準点取得システムとの相対的な姿勢を変化させる相対姿勢可変手段と、前記姿勢を変化させながら、前記撮像装置が撮像した前記パターン光の画像に基づき、前記校正基準点を算出する処理手段と、を有し、前記パターン光表示手段は、前記パターン光を形成する領域毎の光量を、多段階に調整して、前記パターン光を表示することを特徴とする。【選択図】図４

Description

本発明は、校正基準点取得システム、及び校正基準点取得方法に関する。

コンピュータビジョンの分野では、カメラ等の撮像装置により得られる２次元画像から３次元幾何情報を復元する技術が盛んに研究されている。２次元画像から精度良く幾何情報を取得するためには、レンズの収差等で生じる画像の幾何歪を補正する撮像装置の校正が重要となる。このような校正方法として、市松模様等の２次元パターン（図１参照）を有するチャートの撮影画像から格子状の点群配列を算出し、点群配列を校正基準点として、校正で用いる補正データを取得する方法が知られている。

校正基準点を取得する方法には、校正対象の撮像装置に対して広がりのない光を照射し、撮像装置の向きを変えながら校正基準点を取得することで、従来のようなチャートを不要とし、小規模な校正環境で、高精度に校正基準点を取得する技術が開示されている（例えば、特許文献１参照）。

また、撮像装置と被写体との間に未知の屈折層が存在する場合に、画素と光線を対応付けるためのデータを取得する撮像装置の校正技術が開示されている（例えば、特許文献２参照）。

しかしながら、特許文献１及び２の技術では、照明条件等の校正基準点取得システム側の要因、或いはレンズや撮像素子（画像センサ）による周辺光量落ち等の撮像装置側の要因により、校正基準点の取得精度が低下する場合があった。

本発明は、上記の点に鑑みてなされたものであって、校正基準点の取得精度を向上させることを課題とする。

開示の技術の一態様に係る校正基準点取得システムは、撮像装置の幾何歪を校正するための校正基準点を取得する校正基準点取得システムであって、前記撮像装置に撮像させるパターン光を表示するパターン光表示手段と、前記撮像装置と前記校正基準点取得システムとの相対的な姿勢を変化させる相対姿勢可変手段と、前記姿勢を変化させながら、前記撮像装置が撮像した前記パターン光の画像に基づき、前記校正基準点を算出する処理手段と、を有し、前記パターン光表示手段は、前記パターン光を形成する領域毎の光量を、多段階に調整して、前記パターン光を表示することを特徴とする。

本発明の実施形態によれば、校正基準点の取得精度を向上させることができる。

従来の市松模様のパターンを示す図である。 第1の実施形態の校正基準点取得システムの構成要素の一例を機能ブロックで示す図である。 第１の実施形態の画像処理部のハードウェア構成の一例を示すブロック図である。 第１の実施形態のパターン光表示部が表示するパターンの一例を示す図である。 第1の実施形態の画像処理部の構成要素の一例を機能ブロックで示す図である。 第1の実施形態の校正基準点取得システムによる校正基準点取得の実施工程を示すフローチャートである。 第1の実施形態の相対姿勢可変部により撮像装置を回動させる構成の一例を説明する図である。 第1の実施形態の相対姿勢可変部により撮像装置を並進させる構成の一例を説明する図である。 第1の実施形態の相対姿勢可変部によりパターン光表示部の相対姿勢を変化させる構成の一例を説明する図である。 第２の実施形態の校正基準点取得システムの構成の一例を示す図である。 第３の実施形態の校正基準点取得システムの構成の一例を示す図である。 第４の実施形態の画像処理部が有する構成要素の一例を機能ブロックで示す図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

［第１の実施形態］
図２は本実施形態の校正基準点取得システムの構成要素の一例を機能ブロックで示す図である。校正基準点取得システム１００は、パターン光表示部１０と、相対姿勢可変部３０と、相対姿勢可変制御部４０と、画像処理部５０と、画像出力部６０とを有している。

パターン光表示部１０は、撮像装置２０に撮像させるためのパターン光を、パターン光を形成する領域毎で、光量を多段階に調整して表示する。換言すれば、パターン光表示部１０は、パターン光を形成する領域毎の光量を、３次元空間座標以外の次元で調整して表示することで、撮像装置２０に向けてパターン光を照射する。

パターン光表示部１０は、例えば有機ＥＬ（Electro-Luminescence）ディスプレイ等により実現される。但し、これに限定はされず、パターン光を形成する領域毎の光量を、３次元空間座標以外の次元で調整可能であって、各領域の寸法が既知のものであれば、パターン光表示部１０として用いることができる。尚、３次元空間座標以外の次元とは、具体的には、例えば時間、分光（波長）、偏光、又はライトフィールド等である。ライトフィールドは、被写体からの光線を三次元的な情報も含めて記録した情報である。

尚、パターン光表示部１０は、「パターン光表示手段」の一例である。

撮像装置２０は、校正基準点が取得され、幾何歪が校正される対象となる撮像装置である。撮像装置２０は、パターン光表示部１０が表示するパターン光の画像を撮像し、画像処理部５０に出力する。

相対姿勢可変部３０は、パターン光表示部１０に対する撮像装置２０の相対的な姿勢を変化させる機構を有している。このような機構は、例えば回動ステージ、又は並進ステージ等により実現される。撮像装置２０は、図３に矢印で示されているＸ軸、Ｙ軸、又はＺ軸を軸にして回動自在な回動ステージに固定される。回動ステージを所定の角度に回動させることで、パターン光表示部１０に対する撮像装置２０の相対的な姿勢を、所定の姿勢に変化させる。撮像装置２０は、所定の姿勢毎で、パターン光表示部１０に表示されるパターン光を撮像する。これにより、撮像される画像の全体で、校正基準点が取得可能になる。

但し、上記は一例であり、これに限定はされない。撮像される画像の全体で校正基準点が取得可能であって、一つの３次元平面で表現できない、或いは相対姿勢を正確に取得できる方法であれば、本実施形態に適用することができる。

尚、相対姿勢可変部３０は、「相対姿勢可変手段」の一例である。

相対姿勢可変制御部４０は、パターン光表示部１０に対する撮像装置２０の相対的な姿勢を変化させるために、相対姿勢可変部３０に対して回動角度、又は並進移動量の指令を与える。相対姿勢可変制御部４０は、例えばステージコントローラ等により実現される。

相対姿勢可変制御部４０は回動角度、又は並進移動量の指令を相対姿勢可変部３０に与え、相対姿勢可変部３０は指令に応じて回動、又は並進することで、撮像装置２０の姿勢を変化させる。尚、相対姿勢可変部３０と相対姿勢可変制御部４０の両方の機能を備えた専用のハードウェアを構築し、本実施形態に適用することも可能である。このようなハードウェアは、例えばロボットハンドである。

画像処理部５０は、撮像装置２０により撮像されたパターン光の画像に基づき、撮像装置２０の各画素と校正基準点取得システム１００との座標の対応関係を算出する。画像処理部５０は、この対応関係に基づき、校正基準点を取得する。

また画像処理部５０は、パターン光を生成し、生成したパターン光を表示させるための指令をパターン光表示部１０に与える機能を有している。さらに画像処理部５０は、撮像装置２０のシャッタースピード等の各設定を調整する機能を有している。

画像処理部５０の機能構成と、画像処理部５０による対応関係の算出方法については、別途詳述する。尚、画像処理部５０は、「処理手段」の一例である。

図３は、本実施形態の画像処理部５０のハードウェア構成の一例を示すブロック図である。画像処理部５０は、ＣＰＵ（Central Processing Unit）５１と、ＲＯＭ（Read Only Memory）５２と、ＲＡＭ（Random Access Memory）５３と、ＨＤＤ（Hard Disk Drive）５４等の外部記憶装置と、入出力Ｉ／Ｆ（Interface）５５とを有している。これらは、システムバス５６を介して相互に接続されている。画像処理部５０は、例えばＰＣ（Personal Computer）等により実現される。

ＣＰＵ５１は、画像処理部５０の動作を統括的に制御する。またＣＰＵ５１は、撮像装置２０で撮像した画像の画像処理等を実行する。ＣＰＵ５１は、ＲＡＭ５３をワークエリア（作業領域）としてＲＯＭ５２等に格納されたプログラムを実行することで、上記の制御及び処理を実行し、後述する各種機能を実現する。尚、ＣＰＵ５１の有する機能の一部、又は全部をワイヤードロジックによるハードウェアにより実現させてもよい。

図２に戻り、画像処理部５０により処理された画像は、画像出力部６０に転送される。画像出力部６０は転送された画像を表示する。校正作業者は画像出力部６０により処理画像を視認することができる。また、撮像装置２０により撮像した画像における画素毎で、パターン光表示部１０の各領域の座標を計算し、画像出力部６０に出力することが可能である。さらに座標を別ファイルとして出力することや、補正用データを撮像装置２０の主記憶装置に書き込むことが可能である。以上の処理を行う画像処理プログラムは、ＲＯＭ等に格納されている。

画像出力部６０は、例えば液晶モニタにより実現される。但し、これに限定はされない。画像処理部５０により転送された画像データや座標データを出力可能なものを用いてもよい。

本実施形態によれば、パターン光表示部１０、相対姿勢可変部３０、及び相対姿勢可変制御部４０を備えることにより、小規模な校正環境で校正基準点を取得することができる。換言すると、本実施形態によれば、撮像装置２０の焦点距離や画角に応じて、撮像対象物となるチャートと撮像装置２０との間の距離が長くなったり、チャートが大きくなったりすることを防ぐことができる。尚、チャートとは、図１に示されているような市松模様の２次元パターン１が画像形成された媒体等である。

尚、図２に示されている各構成要素を装置として構成しても構わない。すなわちパターン光表示部１０をパターン光表示装置とし、相対姿勢可変部３０を相対姿勢可変装置とし、相対姿勢可変制御部４０を相対姿勢可変制御装置とし、画像処理部５０を画像処理装置とし、画像出力部６０を画像出力装置として、校正基準点取得システム１００を構成してもよい。

次に、本実施形態のパターン光表示部１０が表示するパターン光と、パターン光を利用した校正基準点の取得方法を、図４を参照して説明する。

図４は、パターン光表示部１０が表示するパターン光の一例を示す図である。図４において、水平方向に長さＬ_ｘを有するパターン光表示部１０は、濃淡を示すパターン光を表示している。パターン光は、パターン光表示部１０の水平方向の位置に応じて、正弦波状に濃度が変化する。パターン光表示部１０に表示された黒丸１１は、パターン光表示部１０の左端を基準にした場合の座標Ｘの画素を示している。

このようなパターン光の濃度は、「光量」の一例である。正弦波状に濃度が変化するパターン光は、「パターン光を形成する領域毎の光量を、多段階に調整したパターン光」の一例であり、また「領域毎の光量の分布が正弦波状であるパターン光」の一例である。

本実施形態では、このパターン光を時刻に応じて変化させる。図４の右下に示した画像２１〜２４は、時刻ｔに応じて変化するパターン光を示している。画像２１〜２４は何れも水平方向に正弦波状に濃度が変化するパターン光である。例えばパターン光の最も黒い領域が、時間に応じて画像２１〜２４に変化するにつれ、徐々に左方向に動いている。

パターン光の１周期の変化にかかる時間をＴとした場合、画像２１は初期状態でのパターン光であり、画像２２はＴ／４だけ時間が経過した場合のパターン光である。また画像２３はＴ／２だけ時間が経過した場合のパターン光であり、画像２４は３×Ｔ／４だけ時間が経過した場合のパターン光である。このような時刻に応じて変化するパターン光は、「時系列に変化するパターン光」の一例である。

パターン光の時間変化に応じて、黒丸１１では、画素の濃度が変化する。図４の右上に示したグラフは、時刻ｔに応じた黒丸１１の位置での濃度の変化を示している。横軸は時刻ｔを表し、縦軸は濃度Ｉ_１を表している。実線のグラフは、黒丸１１の画素での時刻に伴う濃度の変化を表している。破線のグラフは、黒丸１１から、初期位相Ｂだけずれたパターン光の時刻に伴う濃度の変化を表している。

本実施形態では、このように時刻に応じて変化するパターン光を、パターン光表示部１０に表示させる。撮像装置２０は、時刻に応じて変化するパターン光を連続撮像する。撮像装置２０によるパターン光の画像は、画像処理部５０に転送される。画像処理部５０は、時系列に撮像されたパターン光の画像に基づき、校正基準点を算出する。以下に、算出の手順を示す。尚、パターン光表示部１０における画素の明るさは濃度と称し、撮像装置２０における画素の明るさは輝度と称している。

撮像装置２０とパターン光表示部１０の反応特性の線形性を仮定すれば、撮像された画像の任意の位置の画素（ｘ、ｙ）における輝度値の時間的変化Ｉ_２（ｘ、ｙ、ｔ）は、次の（１）式のように表される。（１）式は１周期分の正弦波状の輝度変化を有するパターン光の輝度値の時間的変化Ｉ_２（ｘ、ｙ、ｔ）を示している。尚、上記の「反応特性」については、第４の実施形態で詳述する。

...．．（１）
尚、（１）式において、ｘ、ｙは図中水平、垂直方向の座標値を示している。またｔは時刻、Ｔは正弦波状のパターン光を１周期変化させるためにかかる時間を示している。パターン光の正弦波状の輝度変化について、Ａは振幅、Ｂ（ｘ、ｙ）は初期位相、Ｃはバイアス（直流）成分を表している。

（１）式を加法定理で変形し、Ａ_ｃｏｓ、Ａ_ｓｉｎを次の（２）式のように表すと、初期位相Ｂ（ｘ、ｙ）は（３）式のように表すことができる。

...．．（２）

...．．（３）
（３）式を最小二乗法で解くと、次の（４）式のようになる。

...．．（４）
（３）式、及び（４）式から、任意の座標（ｘ、ｙ）の画素の輝度変化から初期位相Ｂ（ｘ、ｙ）を算出できる。このようにパターン光に時間変化を与えながら、初期位相Ｂを算出する手法を、以下では「位相シフト法」と称する場合がある。

初期位相Ｂ（ｘ、ｙ）から次の（５）式により、任意の画素に対応するパターン光表示部１０上の座標Ｘを求めることができる。

...．．（５）
尚、Ｌ_ｘはパターン光表示部１０の水平方向の長さである。

上記は水平方向の座標Ｘの算出処理について示したが、垂直方向の座標Ｙの算出処理においても同様である。すなわちパターン光表示部１０に、垂直方向の位置に応じて、正弦波状に濃度変化するパターン光を表示する。パターン光を時刻に応じて変化させながら、撮像装置２０によりパターン光を連続撮像する。撮像した画像を用い、またパターン光表示部１０の水平方向の長さＬ_ｘに代えて垂直方向の長さＬ_ｙとして、上記（１）〜（５）式により演算することで、垂直方向の座標Ｙを算出できる。

ここで、上記の（１）式において、パターン光表示部１０の領域毎の濃度のばらつきや、撮像装置２０の周辺光量落ち等の成分は、振幅Ａに乗じられるスケール係数ａに該当する。また照明条件等の成分は、バイアス成分Ｃに該当する。（１）式〜（５）式の演算を行う中で、スケール係数ａと、バイアス成分Ｃはキャンセルされるため、これらの成分は、取得される校正基準点には影響しない。従って、上述の位相シフト法の適用により、照明条件等の校正基準点取得システム１００側の要因、或いはレンズや撮像素子による周辺光量落ち等の撮像装置２０側の要因は、校正基準点の取得精度に影響しなくなる。

図５は、本実施形態の画像処理部５０が有する構成要素の一例を機能ブロックで示す図である。尚、図５に図示される各機能ブロックは概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。各機能ブロックの全部又は一部を、任意の単位で機能的又は物理的に分散・結合して構成することが可能である。各機能ブロックにて行われる各処理機能は、その全部又は任意の一部が、上述のＣＰＵ５１にて実行されるプログラムにて実現され、或いはワイヤードロジックによるハードウェアとして実現されうる。

画像処理部５０は、パターン光表示指令部５０１と、撮像条件設定部５０２と、撮像指令部５０３と、校正基準点算出部５０４とを有している。

パターン光表示指令部５０１は、所定のパターン光を生成し、生成したパターン光を表示させるための指令をパターン光表示部１０に与える。この指令には、生成したパターン光をパターン光表示部１０に送信することも含まれる。

所定のパターン光は、上述の（１）式に示される濃度分布を有するパターンである。所定のパターンには、時系列に変化させたパターン光が含まれる。「時系列に変化させたパターン光」とは、（１）式の時刻ｔを変化させたときのパターン光である。パターン光表示部１０は、指令に応じてパターン光を表示する。

撮像条件設定部５０２は、撮像装置２０に電気信号を送信し、撮像装置２０のシャッタースピードの調整制御や、パターン光表示部１０の階調やルックアップテーブルの補正を行う等、校正基準点を最適に取得するための調整を行う。

撮像指令部５０３は、パターン光表示部１０が表示するパターン光を撮像させるための指令を撮像装置２０に与える。

校正基準点算出部５０４は、撮像装置２０が撮像したパターン光を入力し、入力したパターン光に基づいて、上述したように校正基準点を算出し、出力する。

図６は、本実施形態の校正基準点取得システム１００による校正基準点取得の実施工程を示すフローチャートである。

先ず、撮像装置２０は、相対姿勢可変部３０に設置され、固定される（ステップＳ１）。

次に、相対姿勢可変部３０に固定された撮像装置２０とパターン光表示部１０との位置関係が調整される（ステップＳ２）。

次に、相対姿勢可変制御部４０は、相対姿勢可変部３０に撮像装置２０の姿勢を変化させる指令を与える。相対姿勢可変部３０は、指令に応じて撮像装置２０を回動、又は並進させる（ステップＳ３）。相対姿勢可変制御部４０への相対姿勢の入力は、作業者が手動で入力してもよいし、事前にプログラミングされた相対姿勢可変制御プログラムにより自動入力してもよい。

次に、パターン光表示指令部５０１は、所定のパターン光を生成し、生成したパターン光を表示させる指令をパターン光表示部１０に与える（ステップＳ４）。指令に応じ、パターン光表示部１０は、パターン光を表示する。換言すると、パターン光表示部１０から撮像装置２０にパターン光が入射する。パターン光が入射した状態で、撮像条件設定部５０２は、撮像装置２０に電気信号を送信し、撮像装置２０のシャッタースピード等の各設定を調整する。

次に、撮像指令部５０３は、パターン光の画像を撮像させるための指令を撮像装置２０に与える。指令に応じ、撮像装置２０はパターン光を撮像する。校正基準点算出部５０４は、撮像装置２０が撮像したパターン光の画像を入力する（ステップＳ５）。

次に、パターン光表示指令部５０１は、位相を時系列に変化させたパターン光を生成する（ステップＳ６）。尚、本実施形態では、上述のように位相シフト法に基づく演算を実行するが、撮像装置２０の画素とパターン光表示部１０の座標を一意に対応付け可能であれば、これに限定しない。例えば、一意に対応付け可能な方法として乱数列を用いたパターン光を生成してもよい。

次に、校正基準点算出部５０４は、パターン光の時系列の変化が１周期したかを判断する（ステップＳ７）。

パターン光の時系列の変化が１周期していない場合（ステップＳ７、Ｎｏ）、ステップＳ４に戻り、パターン光表示指令部５０１は、生成したパターン光を表示させるための指令をパターン光表示部１０に与える。

パターン光の時系列の変化が１周期した場合（ステップＳ７、Ｙｅｓ）、校正基準点算出部５０４は、校正基準点の座標を算出する（ステップＳ８）。或いは一意に対応付け可能な情報が取得できた場合は、校正基準点算出部５０４は、校正基準点の座標を算出することにしてもよい。

次に、校正基準点算出部５０４は、必要とする基準点が取得できているかを判断する（ステップＳ９）。

必要とする基準点が取得できていると判断された場合（ステップＳ９、Ｙｅｓ）、校正基準点取得の実施工程は終了する。一方、必要とする基準点が取得できていないと判断された場合（ステップＳ９、Ｎｏ）、撮像装置２０の相対姿勢が変化されて設定され（ステップＳ１０）、ステップＳ３に戻り、ステップＳ３〜Ｓ９が繰り返される。

このようにして校正基準点を取得することができる。尚、図６では、校正基準点取得の実施工程の一部が、画像処理部５０により自動化された例を説明したが、これに限定はされない。画像処理部５０の備えるパターン光表示指令、撮像条件設定、及び撮像指令を校正作業者が行うことにしてもよい。

次に図７は、相対姿勢可変部３０を回動させることで、撮像装置２０の相対姿勢を変化させながら、校正基準点を取得する方法の一例を説明する図である。

図７では、簡略化のため、パターン光表示部１０、撮像装置２０、及び相対姿勢可変部３０のみが図示され、他の構成要素は図示が省略されている。図７では、相対姿勢可変部３０を回動ステージとした場合が例示されている。図中に矢印で示されているＸ軸、Ｙ軸、Ｚ軸は、回動ステージの回動の軸を示している。

撮像装置２０は、１つ以上のレンズを備える光学系と、ＣＣＤ（Charge Coupled Device）、又はＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子と、を有している。

図７において、（ａ）は、Ｙ軸回りに回動ステージを回動する場合、（ｂ）はＺ軸回りに回動ステージを回動する場合を示している。（ａ）では撮像装置２０はＹ軸回りにφだけ回動している。また、（ｂ）では撮像装置２０はＺ軸回りにθだけ回動している。それぞれの回動に伴い、撮像素子上でのパターン光の結像位置が変化している。このように、撮像装置２０を回動させて姿勢変化させることで、画角領域（φ、θ）を変化させることができる。

取得したい校正基準点の画角領域（φ、θ）に合わせて回動角φ、及びθを設定し、撮像装置２０の相対姿勢を変化させながら校正基準点を算出する。これにより、同一の３次元平面で表せない２つ以上の相対姿勢で、かつ画角領域（φ、θ）の全域において、校正基準点群を取得することができる。

尚、図７で説明した例は、校正対象となる撮像装置２０の画角が広い場合に適している。例えば、半画角９０度以上の魚眼カメラの場合、従来、校正に用いられてきたようなチャートを物理的に大きくしたり、並進で相対位置を調整したりすることでは、光線を結像させることが物理的に不可能になる。このような場合でも、本実施形態のように撮像装置２０の相対姿勢を回動により変化させれば、校正基準点の取得が可能となる。

尚、Ｚ軸ではなく、Ｘ軸回りの回動によっても画角領域の全域で校正基準点を取得できる。

次に、図８は、相対姿勢可変部３０を並進させることで、撮像装置２０の相対姿勢を変化させながら、校正基準点を取得する場合の一例を説明する図である。

図８では、簡略化のため、パターン光表示部１０、撮像装置２０、及び相対姿勢可変部３０のみが図示され、他の構成要素は図示が省略されている。図８では、相対姿勢可変部３０を並進ステージとした場合が例示されている。図中に矢印で示されているＸ軸、Ｙ軸、Ｚ軸は、並進ステージの並進方向を示している。

図７の場合と同様に、撮像装置２０は、1つ以上のレンズを備える光学系と、ＣＣＤやＣＭＯＳ等の撮像素子とを有している。

図８に示されているように、撮像装置２０をパターン光表示部１０に対して、Ｚ軸方向に並進量ｔ_ｚだけ並進させると、撮像素子上のパターン光の結像位置が変化する。取得したい校正基準点の画角領域に合わせて並進量ｔ_ｚを設定し、撮像装置２０のＺ軸方向の位置を変化させながら校正基準点を算出する。これにより、同一の３次元平面で表せない２つ以上の相対姿勢で、かつ画角領域の全域において、校正基準点群を取得することができる。

尚、図８で説明した例は、校正対象となる撮像装置２０の画角が狭い場合に適している。例えば、画角の狭い望遠レンズ等で備える撮像装置２０の校正基準点を、回動ステージで取得しようとした場合、広角レンズと比べて微小な回転角度でもパターン光表示部１０によるパターン光が撮像装置２０の視野から外れやすくなる。そのため、パターン光が撮像装置２０の視野内に入るように調整するには、回動ステージに高い回動分解能が要求される。

このような場合でも、並進ステージを用いれば、パターン光を撮像装置２０の視野内に入れる調整を比較的容易に行うことができる。

本実施形態によれば、画角が狭い望遠レンズ等を備えた撮像装置２０の校正基準点の取得において、一般的に用いられるサイズの液晶ディスプレイや有機ＥＬディスプレイ等と、並進量ｔ_ｚの設定とを組み合わせる。これにより、パターン光表示部１０を大型化しなくても、画角領域の全域の校正基準点を取得することができる。

次に、図９は、パターン光表示部１０の相対姿勢を相対姿勢可変部３０で変化させる場合の一例を説明する図である。

図９では、簡略化のため、パターン光表示部１０、撮像装置２０、及び相対姿勢可変部３０のみが図示され、他の構成要素は図示が省略されている。

図９の例では、相対姿勢可変部３０ａとしてロボットアームが示されている。撮像装置とロボットアームで構成されたピッキングシステムでは、撮像装置とロボットアームとの相対位置関係が重要である。本実施形態のように、ロボットアームで構成した相対姿勢可変部３０ａに、パターン光表示部１０を固定することで、両者の相対位置関係を崩すことなく、撮像装置２０の校正基準点を取得することが可能となる。

以上説明してきたように、本実施形態によれば、パターン光表示部１０にさせ、位相をシフトさせたパターン光から、パターン光の初期位相を算出し、算出された初期位相に基づき、校正基準点を取得する。これにより、照明条件等の校正基準点取得システム側の要因、並びに撮像装置の備えるレンズや撮像素子による周辺光量落ち等の撮像装置側の要因の影響を抑制し、校正基準点の取得精度を向上させることができる。

本実施形態によれば、相対姿勢可変部３０により撮像装置２０の相対姿勢を可変とし、所定の姿勢毎で、パターン光表示部１０に表示されるパターン光を撮像することで、小規模な校正環境で校正基準点を取得することができる。

本実施形態によれば、相対姿勢可変部３０に回動ステージや並進ステージを用いることで、例えば広角の魚眼レンズを有するカメラや望遠レンズを有するカメラであっても、小規模な校正環境で画角領域の全域で校正基準点を取得することができる。

［第２の実施形態］
次に、第２の実施形態における画像形成装置の一例を、図１０を用いて説明する。尚、第１の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

図１０は、本実施形態の校正基準点取得システム１００ａの構成の一例を示す図である。尚、図１０では、簡略化のため、パターン光表示部１０ａ、撮像装置２０、及び相対姿勢可変部３０のみが図示され、他の構成要素は図示が省略されている。

校正基準点取得システム１００ａは、パターン光表示部１０ａを曲面ディスプレイにより実現している。ここで、曲面ディスプレイとは、表示画面が平面ではなく、湾曲しているディスプレイをいう。また曲面が固定ではなく、柔軟に曲げられるようにしたフレキシブルディスプレイであってもよい。このような曲面は、微分可能な関数で表現される形状を有している。

微分可能な関数で表現される形状を有する曲面ディスプレイ等は、様々な姿勢の微小な平面ディスプレイが組み合わさったディスプレイとみなすことができる。つまり相対姿勢可変部３０により変化させる相対姿勢が、一度の設定で実現されている。

従って曲面ディスプレイ等でパターン光表示部１０ａを構成することで、相対姿勢可変部３０により撮像装置２０の相対姿勢を変化させながら、校正基準点を取得する回数を削減することができ、校正基準点の取得時間の短縮、及び作業の簡易化を図ることができる。

尚、これ以外の効果は、第１の実施形態で説明したものと同様である。

［第３の実施形態］
次に、第３の実施形態における画像形成装置の一例を、図１１を用いて説明する。尚、第１〜２の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

図１１は、本実施形態の校正基準点取得システム１００ｂの構成の一例を示す図である。尚、図１１では、簡略化のため、パターン光表示部１０ｂ、撮像装置２０、及び相対姿勢可変部３０のみが図示され、他の構成要素は図示が省略されている。

校正基準点取得システム１００ｂは、パターン光表示部１０ｂが拡散板１０１ｂを有している。ここで拡散板とは、拡散板に入射する光を非常に広い範囲に拡散させ、元の光源の輝度分布をなだらかにする効果を有する光学部材をいう。

拡散板１０１ｂがパターン光表示部１０ｂと撮像装置２０との間に設けられることで、パターン光表示部１０ｂの解像度が低い場合でも、画素をぼかして目立たせないようにすることができ、滑らかな濃度変化を有するパターン光を表示することが可能となる。これにより、パターン光表示部１０ｂの解像度が低い場合でも、位相シフト法を精度よく実施でき、校正基準点の取得精度を確保することができる。

尚、これ以外の効果は、第１〜２の実施形態で説明したものと同様である。

［第４の実施形態］
次に、第４の実施形態における画像形成装置の一例を、図１２を用いて説明する。尚、第１〜３の実施形態において、既に説明した実施形態と同一構成部分についての説明は省略する場合がある。

図１２は、本実施形態の画像処理部５０ｃが有する構成要素の一例を機能ブロックで示す図である。画像処理部５０ｃは、反応特性調整部５０５を有している。

反応特性調整部５０５は、パターン光表示部１０の光量の反応特性と、撮像装置２０の備える画素輝度の反応特性とが線形の関係になるように、パターン光表示部１０の光量と、撮像装置２０の備える画素輝度を調整する。反応特性調整部５０５は、「反応特性調整手段」の一例である。

パターン光表示部１０の光量とは、例えばパターン光表示部１０の備える画素の濃度である。パターン光表示部１０の光量の反応特性とは、例えばパターン光表示部１０の画素濃度を制御するための入力信号の電圧に対する、パターン光表示部１０の画素濃度の特性である。撮像装置２０の反応特性とは、例えば撮像装置２０の画素が受光した光量に対する出力信号の電圧の大きさである。

反応特性調整部５０５は、例えば、入力電圧に対するパターン光表示部１０の画素濃度のゲインと、撮像装置２０の画素が受光した光量に対する出力電圧のゲインとを調整する。調整により、パターン光表示部１０の光量の反応特性と、撮像装置２０の備える画素輝度の反応特性とが線形の関係になるようにする。両者が線形の関係となるように調整することで、本実施形態の校正基準点取得システム１００ｃが実施する位相シフト法による初期位相Ｂ（ｘ、ｙ）の算出誤差を抑制でき、校正基準点の取得精度を向上させることができる。

尚、これ以外の効果は、第１〜３の実施形態で説明したものと同様である。

以上、実施形態に係る校正基準点取得システム、及び校正基準点取得方法について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

１０、１０ａ、１０ｂ パターン光表示部（パターン光表示手段の一例）
１０１ｂ 拡散板
２０ 撮像装置
３０、３０ａ 相対姿勢可変部（相対姿勢可変手段の一例）
４０ 相対姿勢可変制御部
５０ 画像処理部（処理手段の一例）
５０１ パターン光表示指令部
５０２ 撮像条件設定部
５０３ 撮像指令部
５０４ 校正基準点算出部
５０５ 反応特性調整部（反応特性調整手段の一例）
５１ ＣＰＵ
５２ ＲＯＭ
５３ ＲＡＭ
５４ ＨＤＤ
５５ 入出力Ｉ／Ｆ
５６ システムバス
６０ 画像出力部
１００、１００ａ、１００ｂ、１００ｃ 校正基準点取得システム

特許５６５４２９８号公報 特開２０１７‐１１５３７号公報

Claims (10)

1. 撮像装置の幾何歪を校正するための校正基準点を取得する校正基準点取得システムであって、
   前記撮像装置に撮像させるパターン光を表示するパターン光表示手段と、
   前記撮像装置と前記校正基準点取得システムとの相対的な姿勢を変化させる相対姿勢可変手段と、
   前記姿勢を変化させながら、前記撮像装置が撮像した前記パターン光の画像に基づき、前記校正基準点を算出する処理手段と、を有し、
   前記パターン光表示手段は、前記パターン光を形成する領域毎の光量を、多段階に調整して、前記パターン光を表示する
   ことを特徴とする校正基準点取得システム。
2. 前記パターン光表示手段は、時系列に変化する前記パターン光を表示する
   ことを特徴とする請求項１に記載の校正基準点取得システム。
3. 前記パターン光表示手段は、前記領域毎の前記光量の分布が正弦波状である前記パターン光を表示する
   ことを特徴とする請求項１、又は２に記載の校正基準点取得システム。
4. 前記処理手段は、
   前記パターン光表示手段に、前記パターン光を表示させるパターン光表示指令部と、
   前記撮像装置に、前記パターン光を撮像させる撮像指令部と、
   撮像された前記パターン光に基づき、前記校正基準点を算出する校正基準点算出部と、を有する
   ことを特徴とする請求項１乃至３の何れか１項に記載の校正基準点取得システム。
5. 前記パターン光表示手段は、微分可能な関数で表現される形状を有する
   ことを特徴とする請求項１乃至４の何れか１項に記載の校正基準点取得システム。
6. 前記パターン光表示手段は、曲面ディスプレイである
   ことを特徴とする請求項５に記載の校正基準点取得システム。
7. 前記パターン光表示手段は、前記パターン光を、拡散板を介して表示する
   ことを特徴とする請求項１乃至６の何れか１項に記載の校正基準点取得システム。
8. 前記パターン光表示手段の前記光量の反応特性と、前記撮像装置の画素輝度の反応特性と、を調整する反応特性調整手段を有する
   ことを特徴とする請求項１乃至７の何れか１項に記載の校正基準点取得システム。
9. 前記反応特性調整手段は、前記パターン光表示手段が表示する、前記領域毎の前記光量の分布が正弦波状である前記パターン光に基づき、前記光量の反応特性と、前記画素輝度の反応特性と、を調整する
   ことを特徴とする請求項８に記載の校正基準点取得システム。
10. 撮像装置の幾何歪を校正するための校正基準点を取得する校正基準点取得方法であって、
    前記撮像装置に撮像させるパターン光を表示するパターン光表示工程と、
    前記撮像装置と前記校正基準点取得システムとの相対的な姿勢を変化させる相対姿勢可変工程と、
    前記姿勢を変化させながら、前記撮像装置が撮像した前記パターン光の画像に基づき、前記校正基準点を算出する処理工程と、を有し、
    前記パターン光表示工程は、前記パターン光を形成する領域毎の光量を、多段階に調整して、前記パターン光を表示する
    ことを特徴とする校正基準点取得方法。