JP2022154446A

JP2022154446A - カメラキャリブレーションのキャリブレーションボード

Info

Publication number: JP2022154446A
Application number: JP2021057489A
Authority: JP
Inventors: 智之 ▲高▼畑; Tomoyuki Takahata; 慧岡田; Kei Okada
Original assignee: University of Tokyo NUC
Current assignee: University of Tokyo NUC
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2022-10-13

Abstract

【課題】可視カメラに使用されるカメラキャリブレーションを赤外カメラに対しても実行することができるカメラキャリブレーションのためのキャリブレーションボードを提供する。
【解決手段】カメラと、キャリブレーションボードと、制御機器を有するカメラキャリブレーションシステムにおいて、キャリブレーションボード４は、第１の板４１と、第２の板４２と、温度調整部４４と、を備える。第１の板は、正面視において第１の色を有するように視認可能である。第２の板は、正面視において、第１の色とは異なる第２の色を有するように視認可能である。正面視において、第１の板に対して、所定のパターンを形成するように複数配置される。温度調整部は、第１の板及び第２の板の一方を加熱又は冷却することで、その他方に対し温度差を生じさせる。
【選択図】図４

Description

本発明は、カメラキャリブレーションのキャリブレーションボードに関する。

カメラキャリブレーションは、レンズ焦点距離などの内部パラメータ、カメラの位置・姿勢を表す外部パラメータ、およびレンズの歪収差係数を求め、撮像対象となる実空間と、これを２次元に射影した画像平面との対応関係を補正する処理である。

特許文献１には、キャリブレーション用の画像としてキャリブレーションボード（市松模様）のパターンを用いた技術が開示されている。

特開２０１１－２１７６０１号

ところが、特許文献１に開示されている技術等は、可視カメラを前提としたものであり、これを赤外カメラのキャリブレーションには適用することができない。

本発明の一態様によれば、カメラキャリブレーションのためのキャリブレーションボードが提供される。このキャリブレーションボードは、第１の板と、第２の板と、温度調整部とを備える。第１の板は、正面視において第１の色を有するように視認可能に構成される。第２の板は、正面視において、第１の色とは異なる第２の色を有するように視認可能に構成される。正面視において、第１の板に対して、所定のパターンを形成するように複数配置される。温度調整部は、第１の板及び第２の板の一方を加熱又は冷却することで、その他方に対し温度差を生じさせるように構成される。

このようなカメラキャリブレーションのキャリブレーションボードによれば、色の違いに加えて温度差によるパターンの違いが実現されるため、可視カメラに使用されるカメラキャリブレーションを赤外カメラに対しても実行することができる。

カメラキャリブレーションシステム１を表した模式図である。本実施形態に係るカメラ３を表した概略図である。電源制御モジュール３７のハードウェア構成を表したブロック図である。実施形態に係るキャリブレーションボード４の一例を表した図である。実施形態に係る第２の板４２が円形のキャリブレーションボード４の一例を表した図である。第２の板４２の稜線４２ａが面取り加工された第２の板４２を表した断面図である。制御機器５のハードウェア構成を表したブロック図である。第２実施形態に係るカメラ３を表した概略図である。第２実施形態に係る温度調整部４４を表した断面図である。

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－ＴｒａｎｓｉｔｏｒｙＣｏｍｐｕｔｅｒ－ＲｅａｄａｂｌｅＭｅｄｉｕｍ）として提供されてもよいし、外部のサーバーからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、電圧・電流といった信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（ＳｉｍｐｌｅＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（ＣｏｍｐｌｅｘＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ））等を含むものである。

１．全体構成
第１章では、本実施形態に係るカメラキャリブレーションシステムについて説明する。図１は、カメラキャリブレーションシステム１を表した模式図である。カメラキャリブレーションシステム１は、レンズ焦点距離などの内部パラメータと、カメラ３の位置・姿勢を表す外部パラメータと、レンズの歪収差係数とを求め、画像を補正する処理システムである。以下、可視カメラ３１と赤外カメラ３２の機能を備えたカメラ３を例に本カメラキャリブレーションシステム１について説明する。

カメラキャリブレーションシステム１は、カメラ３と、キャリブレーションボード４と、制御機器５とを備える。各構成要素についてさらに説明する。

１．１カメラ３
図２は、本実施形態に係るカメラ３を表した概略図である。カメラ３は、光等のエネルギーを用いて、被写体を視覚的に識別可能な画像として記録する光学機器である。カメラ３は、可視カメラ３１と、赤外カメラ３２と、プレートフォルダ３３と、ビームスプリッタ３４と、レンズホルダ３５と、カメラレンズ３６とをさらに備える。

可視カメラ３１は、カメラ３の内部に備え付けられる。図２に表されたように、可視カメラ３１は、可視カメラ３１の光軸がカメラレンズ３６の光軸に対して略直角になるように配置される。可視カメラ３１は、人間の目が感知可能な波長範囲の電磁波を用いて被写体を撮像する。可視カメラ３１は、さらに第１撮像素子３１１を備える。第１撮像素子３１１は、画像を電気信号に変換する素子である。第１撮像素子３１１は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅＤｅｖｉｃｅｓ）イメージセンサー、ＣＭＯＳ（ＣｏｍｐｌｅｔｅｌｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー等の固体撮像素子である。

赤外カメラ３２は、カメラ３の内部に備え付けられる。図２に表されたように、赤外カメラ３２は、赤外カメラ３２の光軸がカメラレンズ３６の光軸と同軸になるように、配置される。赤外カメラ３２は、人間の目が感知不能な赤外波長領域の電磁波を検出し可視化する。赤外カメラ３２は、さらに第２撮像素子３２１を備える。第２撮像素子３２１は、赤外線検出器であり、赤外波長領域の電磁波を検出し電気信号に変換する素子である。第２撮像素子３２１は、例えば、マイクロボロメーター、サーモパイル、ＩｎＧａＡｓセンサー等の赤外線検出器である。第２撮像素子３２１は、第１撮像素子３１１と同様に、ＣＭＯＳイメージセンサー等の固体撮像素子であってもよい。赤外線Ｌｉは、可視光線Ｌｖと比べて光子のエネルギーが低いため、赤外線Ｌｉの固体撮像素子の仕様は、可視光線Ｌｖの固体撮像素子の仕様とは異なってもよい。

プレートフォルダ３３は、カメラ３の本体内部に備え付けられ、後述するカメラレンズ３６の後方に配置される。プレートフォルダ３３は、その上部にビームスプリッタ３４が配置され、ビームスプリッタ３４を固定する。プレートフォルダ３３の形状、材質、ビームスプリッタ３４の取り付け方等は、限定されない。

ビームスプリッタ３４は、プレートフォルダ３３の上部に取り付けられ、後述するカメラレンズ３６と、可視カメラ３１及び赤外カメラ３２との間に配置される。ビームスプリッタ３４は、入射光を２つに分割する光学分野の装置である。ビームスプリッタ３４に入射した可視光線Ｌｖは反射し、ビームスプリッタ３４に入射した赤外線Ｌｉは透過する。ビームスプリッタ３４の構造は、特に限定されず、例えばプリズム型、平面型、ウェッジ基板型等が適宜採用されうる。

レンズホルダ３５は、円形状に貫通した穴を有し、穴の内面に後述するカメラレンズ３６が嵌合される。レンズホルダ３５は、カメラ３の本体に貫通された穴の周囲に接合され、外部から可視光線Ｌｖ及び赤外線Ｌｉがカメラレンズ３６に入射されるように構成される。

カメラレンズ３６は、レンズホルダ３５の内側に配置される。このように配置されることで、外部の可視光線Ｌｖ及び赤外線Ｌｉは、カメラレンズ３６を通じて、カメラ３の内部に入射することができる。

本実施形態では、可視カメラ３１の光軸と赤外カメラ３２の光軸とは、同軸に構成されている。可視カメラ３１と赤外カメラ３２とを並置させる場合と比べて、視差が生じにくい。このように２つのカメラの光軸を同軸に構成しているため、カメラレンズ３６には可視光線Ｌｖと赤外線Ｌｉとが同一の光軸で入射される。

カメラレンズ３６は、可視用レンズ３６１と、赤外用レンズ３６２とを備える。図２に表したように、カメラレンズ３６は、中心部を含んで中心部周辺に形成される内側領域に可視用レンズ３６１が設けられているとともに、内側領域を囲むようにして当該内側領域に隣接して形成された外側領域に赤外用レンズ３６２が設けられた構成を有する。ここで、可視用レンズ３６１は、例えばガラスやプラスチック等の素材からなり、可視光線Ｌｖを透過しうる一方で、赤外線Ｌｉを吸収することにより、可視光線Ｌｖのみを透過させてビームスプリッタ３４に導光しうるように構成される。これに対して、赤外用レンズ３６２は、例えばシリコンやゲルマニウム等の素材からなり、赤外線Ｌｉを透過しうる一方で、可視光線Ｌｖを反射させることにより、赤外線Ｌｉのみを透過させてビームスプリッタ３４に導光しうるように構成される。

図３は、電源制御モジュール３７のハードウェア構成を表したブロック図である。電源制御モジュール３７は、カメラ３の有する第１撮像素子３１１、第２撮像素子３２１等の電子機器に電力を供給する。さらに、電子機器を制御したり、撮像した画像を表示したり、記憶したりすることができる。そのため、電源制御モジュール３７は、バッテリー（不図示）と、記憶部３７１と、制御部３７２と、表示部３７３とを備える。これらの構成要素がカメラ３の内部において通信バス３７０を介して電気的に接続されていてもよい。以下、これらの構成要素のうち主な要素について説明する。
（記憶部３７１）

記憶部３７１は、例えばソリッドステートドライブ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部３７１は、可視カメラ３１と赤外カメラ３２が撮像した画像データを記憶する。また、記憶部３７１は、後述する制御部３７２が実行する種々の機能を実行させるプログラムを記憶する。

（制御部３７２）
制御部３７２は、例えば不図示の中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）である。制御部３７２は、記憶部３７１に記憶された所定のプログラムを読み出すことによって、カメラ３に係る種々の機能（例えば、カメラキャリブレーション及び撮像された画像の表示部３７３への表示制御）を実現する。すなわち、記憶部３７１に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部３７２によって具体的に実現されることで、制御部３７２に含まれる各機能部として実行されうる。

（表示部３７３）
表示部３７３は、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスである。当該表示デバイスは、制御部３７２における制御信号に応答し、表示画面を生成する。表示画面には、可視カメラ３１又は赤外カメラ３２で、撮像された画像が視認可能に表示される。

カメラ３は、上述した２つの機能を備えることで、人・物や風景等の被写体の色が付されたカラー画像（以下、色画像と呼ぶ）と、赤外光を受光して被写体の温度の分布を示した画像（以下、温度画像と呼ぶ）とを両方取得することが可能である。そのためカメラ３は、平日のみならず夜間においても被写体を撮像することができ、さらにより多くの情報量を取得することで、被写体を精確に識別することができる。

１．２キャリブレーションボード４
キャリブレーションボード４は、カメラキャリブレーションのためのキャリブレーションボードである。図４は、実施形態に係るキャリブレーションボード４の一例を表した図である。キャリブレーションボード４は、第１の板４１と、第２の板４２と、スペーサー４３と、温度調整部４４とを備える。

図４に表されるように、第１の板４１は、正面視において第１の色を有するように視認可能に構成される。また、第２の板４２は、正面視において、第１の色とは異なる第２の色を有するように視認可能に構成される。第１の板４１は、一枚の板であってもよいし、複数の板を張り合わせて、第１の板４１としてもよい。第２の板４２は、正面視において、第１の板４１に対して、所定のパターンを形成するように複数配置される。図４に表す第２の板４２は、同図に表した第２の板４２－１～第２の板４２－ｎのうちの任意のものである。

第２の板４２の形状は、矩形であってもよい。例えば、第２の板４２の形状は、正方形であってもよい。また、第２の板４２が配置される所定のパターンは市松模様（チェッカーボード）であってもよい。規則正しいパターンであれば、キャリブレーションボード４上の各点の位置座標（以下、特徴点と呼ぶ）が検出されやすい。

キャリブレーションボード４上に配置される第２の板４２の縦方向及び横方向の数は、限定されない。これらの数は、カメラ３の機能、仕様、用途等の条件によって決定されるのが好ましい。

また、第２の板４２の縦の長さ及び横の長さは、カメラ３の仕様、被写体の種類等の条件によるが、０ｍｍより大きく、かつ２００ｍｍより小さいことが好ましい。具体的には例えば、第２の板４２の縦の長さ及び横の長さは、１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９，２０，２１，２２，２３，２４，２５，２６，２７，２８，２９，３０，３１，３２，３３，３４，３５，３６，３７，３８，３９，４０，４１，４２，４３，４４，４５，４６，４７，４８，４９，５０，５１，５２，５３，５４，５５，５６，５７，５８，５９，６０，６１，６２，６３，６４，６５，６６，６７，６８，６９，７０，７１，７２，７３，７４，７５，７６，７７，７８，７９，８０，８１，８２，８３，８４，８５，８６，８７，８８，８９，９０，９１，９２，９３，９４，９５，９６，９７，９８，９９，１００，１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１２，１１３，１１４，１１５，１１６，１１７，１１８，１１９，１２０，１２１，１２２，１２３，１２４，１２５，１２６，１２７，１２８，１２９，１３０，１３１，１３２，１３３，１３４，１３５，１３６，１３７，１３８，１３９，１４０，１４１，１４２，１４３，１４４，１４５，１４６，１４７，１４８，１４９，１５０，１５１，１５２，１５３，１５４，１５５，１５６，１５７，１５８，１５９，１６０，１６１，１６２，１６３，１６４，１６５，１６６，１６７，１６８，１６９，１７０，１７１，１７２，１７３，１７４，１７５，１７６，１７７，１７８，１７９，１８０，１８１，１８２，１８３，１８４，１８５，１８６，１８７，１８８，１８９，１９０，１９１，１９２，１９３，１９４，１９５，１９６，１９７，１９８，１９９，２００であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。さらに好ましくは、第２の板４２の縦の長さ及び横の長さは、１００ｍｍ以下である。

図５は、実施形態に係る第２の板４２が円形のキャリブレーションボード４の一例を表した図である。第２の板４２は、楕円であってもよいが、好ましくは、図５に表されたように第２の板４２の形状は、円形であるとよい。また、第２の板４２は、縦方向及び横方向に、所定の間隔で配置されてもよい。規則正しいパターンであれば、前述した市松模様と同様、キャリブレーションボード４上の特徴点が検出されやすい。

また、第２の板４２の形状が円形の場合、その直径は、カメラ３の仕様、被写体の種類等の条件によるが、０ｍｍより大きく、かつ２００ｍｍより小さいことが好ましい。具体的には例えば、第２の板４２の直径の長さは、１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１７，１８，１９，２０，２１，２２，２３，２４，２５，２６，２７，２８，２９，３０，３１，３２，３３，３４，３５，３６，３７，３８，３９，４０，４１，４２，４３，４４，４５，４６，４７，４８，４９，５０，５１，５２，５３，５４，５５，５６，５７，５８，５９，６０，６１，６２，６３，６４，６５，６６，６７，６８，６９，７０，７１，７２，７３，７４，７５，７６，７７，７８，７９，８０，８１，８２，８３，８４，８５，８６，８７，８８，８９，９０，９１，９２，９３，９４，９５，９６，９７，９８，９９，１００，１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０，１１１，１１２，１１３，１１４，１１５，１１６，１１７，１１８，１１９，１２０，１２１，１２２，１２３，１２４，１２５，１２６，１２７，１２８，１２９，１３０，１３１，１３２，１３３，１３４，１３５，１３６，１３７，１３８，１３９，１４０，１４１，１４２，１４３，１４４，１４５，１４６，１４７，１４８，１４９，１５０，１５１，１５２，１５３，１５４，１５５，１５６，１５７，１５８，１５９，１６０，１６１，１６２，１６３，１６４，１６５，１６６，１６７，１６８，１６９，１７０，１７１，１７２，１７３，１７４，１７５，１７６，１７７，１７８，１７９，１８０，１８１，１８２，１８３，１８４，１８５，１８６，１８７，１８８，１８９，１９０，１９１，１９２，１９３，１９４，１９５，１９６，１９７，１９８，１９９，２００ｍｍであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。さらに好ましくは、第２の板４２が円形の場合、その直径の長さは、１００ｍｍ以下である。

キャリブレーションボード４に配置される第２の板４２の色が第１の板４１の色と異なることで、その境界において特徴点を検出することができる。すなわち、キャリブレーションボード４は、可視カメラ３１のキャリブレーションに適用することができる。好ましくは、第１の板４１の色は、白色及び黒色の一方であり、第２の板４２の色は、当該一方に対する他方であるとよい。白色と黒色とを採用することで、一般的なキャリブレーションボードと外見が近くなり、既存の認識アルゴリズムを適用することができる。色を付ける塗料は、第１の板４１及び第２の板４２の上面に塗装される。

スペーサー４３は、円筒又は多角柱形状の部品で、第１の板４１と第２の板４２との間に配置され、両板の間に空隙を形成する。形成された空隙には、後述する温度調整部４４が配置される。図４に表すスペーサー４３は、同図に表したスペーサー４３－１～スペーサー４３－ｍのうちの任意のものである。

温度調整部４４は、第１の板４１及び第２の板４２の一方を加熱又は冷却することで、その他方に対し温度差を生じさせるように構成される。このような温度調整部４４は、赤外カメラ３２のカメラキャリブレーションに使用される。赤外カメラ３２は、被写体の温度に基づいて温度画像を撮像するため、キャリブレーションボード４上の温度差による濃淡の違いに基づいて、キャリブレーションされる。

好ましくは、温度調整部４４は、ペルチェ素子４４１であるとよい。ここで、ペルチェ素子４４１（温度調整部４４）は、電子部品であり、ペルチェ効果を有する熱電素子の一種である。ペルチェ効果は、電気エネルギーを熱エネルギーに変換する効果であり、２種類の異種金属（または半導体）の両端を接続し電流を流すと、両端に温度差が生じる現象である。ペルチェ素子４４１は、第１の板４１と第２の板４２との間に設けられるとよい。このように配置されることで、ペルチェ素子４４１は、第１の板４１及び第２の板４２の一方を加熱し、その他方を冷却するように構成される。本実施形態では、例えば、第１の板４１を冷却し、第２の板４２を加熱するものとして説明する。

具体的には、図４に表されたように、第２の板４２の下方に少なくとも１つスペーサー４３を配設することで、第２の板４２と第１の板４１との間に、ペルチェ素子４４１が配置される空隙が形成される。第１の板４１と第２の板４２との間の熱移動によって、双方の温度差が解消されることを防ぐために、スペーサー４３は、断熱性を有する材質であることが好ましい。

第１の板４１及び第２の板４２の材質は、非鉄金属であってもよい。熱伝導性が高い材質であれば、迅速に第１の板４１を冷却し、第２の板４２を加熱することができるため、キャリブレーションボード４によるカメラキャリブレーションの実施時間を削減することができる。好ましくは、第１の板４１及び第２の板４２の材質は、アルミニウムである。アルミニウムの材質は、キャリブレーションボード４を軽量化するに資するからである。

第１の板４１及び第２の板４２の加熱又は冷却を迅速に行い、さらにキャリブレーションボード４を軽量化するために、第１の板４１及び第２の板４２の肉厚は、薄い方が好ましい。そのため第１の板４１及び第２の板４２の肉厚は、０ｍｍより大きく、かつ１０ｍｍより小さいことがより好ましい。具体的には例えば、第１の板４１及び第２の板４２の肉厚は、０．１，０．２，０．３，０．４，０．５，０．６，０．７，０．８，０．９，１，１．１，１．２，１．３，１．４，１．５，１．６，１．７，１．８，１．９，２，２．１，２．２，２．３，２．４，２．５，２．６，２．７，２．８，２．９，３，３．１，３．２，３．３，３．４，３．５，３．６，３．７，３．８，３．９，４，４．１，４．２，４．３，４．４，４．５，４．６，４．７，４．８，４．９，５，５．１，５．２，５．３，５．４，５．５，５．６，５．７，５．８，５．９，６，６．１，６．２，６．３，６．４，６．５，６．６，６．７，６．８，６．９，７，７．１，７．２，７．３，７．４，７．５，７．６，７．７，７．８，７．９，８，８．１，８．２，８．３，８．４，８．５，８．６，８．７，８．８，８．９，９，９．１，９．２，９．３，９．４，９．５，９．６，９．７，９．８，９．９，１０であり、ここで例示した数値の何れか２つの間の範囲内であってもよい。さらに好ましくは、第１の板４１及び第２の板４２の肉厚は、５ｍｍ以下である。

キャリブレーションボード４の上面がカメラ３の光軸に対して、斜めに配置された場合、第２の板４２の側面が表れる。カメラキャリブレーションでは、キャリブレーションボード４がどのように配置されても、第２の板４２が同じ形態で視認されることが好ましい。図６は、第２の板４２の稜線４２ａが面取り加工された第２の板４２を表した断面図である。図６に表したように、第２の板４２の上面の少なくとも１つの稜線４２ａは、面取り加工されてもよい。このような構造にすることで、キャリブレーションボード４がカメラ３の光軸に対して、垂直に配置されても、斜めに配置されても、面取り加工されている第２の板４２の側面が視認される。即ち、キャリブレーションボード４がどのように配置されても、第２の板４２は、同じ形態で視認される。カメラキャリブレーションに用いられるキャリブレーションボード４上の第２の板４２が精確に認識される。その結果、特徴点が精確に検出される。

１．３制御機器５
制御機器５は、主にペルチェ素子４４１の温度を制御するように構成される。例えば、制御機器５は、ＰＬＣ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＣｏｎｔｒｏｌｌｅｒ）であってもよいし、温度調節器であってもよい。ペルチェ素子４４１の温度が制御されれば、制御機器５は、限定されない。図７は、制御機器５のハードウェア構成を表したブロック図である。制御機器５は、入力部５１と、記憶部５２と、制御部５３と、電圧出力部５４とを有し、これらの構成要素が制御機器５の内部において通信バス５０を介して電気的に接続されている。各構成要素についてさらに説明する。

（入力部５１）
入力部５１は、ユーザーからのペルチェ素子４４１の温度の設定値を受け付ける。また、入力部５１は、カメラキャリブレーションの開始及び終了を受け付ける。例えば、入力部５１は、マウス等のポインティングデバイス、キーボード等の入力デバイスでもよい。入力部５１は、グラフィカルユーザインターフェース（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ：ＧＵＩ）を用いることにしてもよい。これらの入力部５１は、制御機器５に内蔵されてもよいし、外付けされてもよい。また、ユーザーは、音声を発して、ペルチェ素子４４１の温度を設定してもよい。そのため、入力部５１は、マイクロフォンであってもよい。ユーザーは、スイッチを用いて、カメラキャリブレーションの開始及び終了をさせてもよい。スイッチは、プッシュスイッチ、トグルスイッチ、ロッカスイッチ、スライドスイッチ等の種類に分けられるが、どの種類のスイッチでもよい。

（記憶部５２）
記憶部５２は、例えばソリッドステートドライブ（ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。特に、記憶部５２は、ペルチェ素子４４１の温度制御を実行するプログラムを記憶する。

（制御部５３）
制御部５３は、主にペルチェ素子４４１の温度制御を実行する。制御部５３は、例えば不図示の中央処理装置（ＣＰＵ）である。制御部５３は、記憶部５２に記憶された所定のプログラムを読み出すことによって、主にペルチェ素子４４１の温度制御の機能を実現する。制御部５３は、ペルチェ素子４４１の温度制御に限らず、タイマー機能を備える等のカメラキャリブレーションに有用な機能を実現する。図７においては、単一の制御部５３として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部５３を有するように実施してもよい。またそれらの組合せであってもよい。

（電圧出力部５４）
電圧出力部５４は、電子機器であり、ペルチェ素子４４１に印加する電圧を出力する。電圧出力部５４から出力される印加電圧の値は、制御部５３によって制御される。このような構成により、ペルチェ素子４４１で変換される熱エネルギーが制御され、第１の板４１又は第２の板４２は、所定の温度を保つことができる。

２．第２実施形態
本章では、第２実施形態について説明する。第２実施形態において、カメラ３の備える可視カメラ３１の光軸と、赤外カメラ３２の光軸とは、同軸ではない。また、温度調整部４４は、第２の板４２を加熱する材料である。前記の実施形態と重複する部分の説明は、適宜省略する。

２．１カメラ３
図８は、第２実施形態に係るカメラ３を表した概略図である。カメラ３は、可視カメラ３１と、赤外カメラ３２と、レンズホルダ３５と、カメラレンズ３６とをさらに備える。前記の実施形態と異なり、可視カメラ３１の光軸と赤外カメラ３２の光軸とは、同軸に構成されておらず、レンズホルダ３５は、可視用レンズホルダ３５１と赤外用レンズホルダ３５２とを備えている。

可視用レンズホルダ３５１及び赤外用レンズホルダ３５２は、それぞれ円形状に貫通した穴を有し、穴の内面に可視用レンズ３６１と赤外用レンズ３６２とが嵌合される。可視用レンズホルダ３５１と赤外用レンズホルダ３５２とは、カメラ３の本体に貫通された穴の周囲に接合され、外部から可視光線Ｌｖが可視用レンズ３６１に入射され、赤外線Ｌｉが赤外用レンズ３６２に入射されるように構成される。このようにカメラ３は、可視カメラ３１と赤外カメラ３２とを独立して備えることにより、簡便な構造となる。

２．１温度調整部４４
温度調整部４４は、第１の板４１及び第２の板４２の一方を覆う発熱材４４２である。図９は、第２実施形態に係る温度調整部４４を表した断面図である。第２実施形態では、発熱材４４２は、第２の板４２の上面を覆っている例を挙げて説明する。ここで発熱材４４２（温度調整部４４）は、火を使うこと無く化学反応（発熱反応）を用いて第２の板４２を加熱するための物体である。具体的には、化学反応は、鉄の酸化反応である。鉄が空気中の酸素と反応して酸化鉄（水酸化第二鉄）になる化学反応が起こるときに出る熱を用いて、第２の板４２を加熱する。また、生石灰（酸化カルシウム）が、水分と反応して、消石灰になる化学反応が起こるときに発生する熱を用いて、第２の板４２を加熱してもよい。そのため、発熱材４４２は、カイロに用いられる鉄粉、水、バーミキュライト、活性炭等の物質であってもよい。また、発熱材４４２は、生石灰でもよい。発熱材４４２は、発熱効果のある物質であれば限定されない。

発熱材４４２は、封止材４５によって封止される。図９に表す封止材４５は、同図に表した封止材４５－１～封止材４５－ｎのうちの任意のものである。このような構造であるため、封止材４５による封止が解除されると、発熱材４４２が空気中の水分に触れ、例えば、酸化反応が起こり、第２の板４２の上面で熱が発生する。その結果、発熱材４４２は、第２の板４２を加熱することで、第１の板４１に対し温度差を生じさせるように構成される。封止材４５は、液体や気体などの物質が部品の内部に入り込まないようにする材料で、シール材である。封止材４５は、例えばエポキシ系樹脂であるが、これに限定されない。ユーザーは、封止材４５を剥がして封止を解除して、発熱材４４２を空気中の酸素と触れさせて発熱させうる。また、発熱材４４２が生石灰の場合、ユーザーは、封止材４５を剥がして封止を解除し、さらに水分を生石灰に供給して発熱効果を高めてもよい。

発熱材４４２は、第１の板４１の上面又は下面に設けられてもよい。発熱材４４２は、第１の板４１を加熱することで、第２の板４２に対し温度差を生じさせるように構成されてもよい。

このように、温度調整部４４が発熱材４４２である場合、温度調整部４４がペルチェ素子４４１の場合と比べて、温度調整部４４を簡便な構造とすることができる。また、第１の板４１又は第２の板４２を加熱する上で、制御機器５が必要ないため、温度調整部４４は、低コストで製造されうる。

ユーザーは、前記実施形態の構成要素と、第２実施形態の構成要素とを適宜選択して、新たな実施形態として、カメラキャリブレーションを実行してもよい。構成要素を適宜選択することで、ユーザーは、カメラ３の機能及び用途に、最も適したカメラキャリブレーションを実行することができる。

３．カメラキャリブレーション
本章では、キャリブレーションボード４を用いたカメラキャリブレーションの一例を説明する。カメラキャリブレーションは、カメラ３固有の内部パラメータと、ワールド座標系における位置姿勢を意味する外部パラメータとを求める処理である。具体的には、カメラキャリブレーションを行うために形状が既知のキャリブレーションボード４を、姿勢を変えながらカメラ３により撮像及び観測することで、キャリブレーションボード４上の各点（特徴点）と、画像上の各点（特徴点）とを対応付けし、内部パラメータ（姿勢によらない）及び外部パラメータ（姿勢による）に関する未知数からなる連立方程式を解くこととなる。次に実行手順を述べる。

ユーザーは、カメラ３を使用する前に、カメラキャリブレーションを実行する。実行にあたり、ユーザーは、カメラ３の前方の所定位置に、キャリブレーションボード４を配置する。

ユーザーは、可視カメラ３１及び赤外カメラ３２に対して、カメラキャリブレーションを実行する。赤外カメラ３２に対して、カメラキャリブレーションが実行される前に、ユーザーは、制御機器５の電源をオンにし、第１の板４１又は第２の板４２の設定温度を、入力部５１を介して入力する。次に、ユーザーは、第１の板４１及び第２の板４２の一方を加熱又は冷却するために、入力部５１を介して電圧出力部５４のスイッチを入れる。

ユーザーは、カメラキャリブレーションの実行にあたり、カメラ３の前面に配置されたキャリブレーションボード４を撮像する。ユーザーは、キャリブレーションボード４を、その正面、左斜め、右斜め、上斜め及び下斜めから撮像する。

ユーザーは、キャリブレーションボード４を撮像することで、キャリブレーションボード４の特徴点を検出する。特徴点は、第２の板４２が矩形の場合、第２の板４２の頂点であってもよい。特徴点は、第２の板４２が円形の場合、円の重心であってもよい。特徴点は、カメラ３の制御部３７２によって、画像処理に係るプログラムが実行されて、自動的に検出されてもよい。以下の数１（幾何変換パラメータ推定式）より、内部パラメータｋが求められる。ここで、ｋは、色画像及び温度画像のピクセル座標軸（Ｘ軸及びＹ軸）の距離である。ｆは、焦点距離である。（Ｕ，Ｖ）は、画像平面に投影された点の座標である。また、（Ｘ，Ｙ，Ｚ）はワールド座標系の３次元座標である。

ユーザーは、同様に以下の数２（幾何変換パラメータ推定式）より、外部パラメータを求める。ここで、ｔ（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）は、レンズの中心座標である。ｒは、レンズ光軸の方向を表す回転行列である。（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、カメラ座標系の値であり、（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）は、ワールド座標系の値である。ワールド座標系の値は、キャリブレーションボード４の特徴点の値である。

上述した内部パラメータ及び外部パラメータを算出するプログラムは、カメラ３の記憶部３７１に記憶され、制御部３７２によって実行されてもよい。

上述した式を用いて、カメラ３は、キャリブレーションボード４を撮像して特徴点を検出し、カメラレンズ３６による半径方向の歪及び円周方向の歪を補正する。その結果、可視用レンズ３６１及び赤外用レンズ３６２の双方で半径方向の歪及び円周方向の歪が補正される。カメラキャリブレーションの補正後、カメラレンズ３６による歪が解消し、現実世界と同一の形態が認識可能な色画像及び温度画像が撮像される。

従来から、カメラキャリブレーションに用いられるキャリブレーションボード４の所定のパターンは、市松模様が用いられている。そのため、このようなキャリブレーションボード４を用いて、ユーザーが内部パラメータ及び外部パラメータを算出するアルゴリズムを使用することができる。また、当該アルゴリズムを実行するプログラムも市場に流通されている。可視カメラ３１と赤外カメラ３２のカメラキャリブレーションに、市松模様のキャリブレーションボード４を用いることで、ユーザーは、容易にカメラキャリブレーションを行うことができる。同様に、従来から、第２の板４２の形状が円形であるキャリブレーションボード４もカメラキャリブレーションに用いられている。可視カメラ３１と赤外カメラ３２のカメラキャリブレーションに、第２の板４２の形状がキャリブレーションボード４を用いることで、ユーザーは、容易にカメラキャリブレーションを行うことができる。

４．その他
下記のような態様によって前述の実施形態を実施してもよい。
（１）カメラキャリブレーションシステム１では、可視カメラ３１と赤外カメラ３２とを別々に用意してもよい。換言すると、ユーザーは、可視カメラ３１と赤外カメラ３２に対して、それぞれキャリブレーションボード４を用いて、カメラキャリブレーションを実行してもよい。
（２）制御機器５は、クローズドループ制御を用いて、ペルチェ素子４４１を温度制御するために、温度センサー（不図示）を備えてもよい。温度センサーは、熱電対、測温抵抗体、サーミスタ等のように温度差によって、電位差又は抵抗値が変化する原理に基づいて、温度を検出する。温度センサーは、第１の板４１又は第２の板４２に備え付けられ、制御機器５は、温度センサーから電流値、電圧値等のアナログデータを取り込む。当該アナログデータは、アナログ－デジタル変換器（不図示）によってデジタルデータに変換され、ペルチェ素子４４１を温度制御する入力値となる。制御部５３は、当該入力値に基づいて後述する電圧出力部５４の出力値を制御する。温度制御は、ＯＮ・ＯＦＦ動作、比例動作、積分動作、微分動作、ＰＩＤ動作等の動作であり、プログラム化されて制御部５３で実行される。
（３）温度調整部４４は、電熱線（不図示）であってもよい。電熱線は、電流を流すと熱を発生する電気抵抗の大きな金属線である。電熱線は、ニクロム線、鉄クロム線等の電熱合金であってもよい。ユーザーは、電熱線から発生する熱を第１の板４１又は第２の板４２に与えて、その他方に対し温度差を生じさせるように構成されてもよい。
（４）温度調整部４４は、ヒートパイプ（不図示）であってもよい。ヒートパイプは、蒸発と凝縮の潜熱を利用した熱輸送素子で、小さな温度差で大きな熱を輸送することができる。ユーザーは、第１の板４１又は第２の板４２にヒートパイプの一端を配置し、ヒートパイプの他端に熱源を配置し、第１の板４１又は第２の板４２の一方を加熱又は冷却することで、その他方に対し温度差を生じさせるように構成されてもよい。
（５）キャリブレーションボード４の第１の板４１又は第２の板４２の下面は、放熱フィン（不図示）を備えてもよい。放熱フィンを備えることで、ユーザーは、第１の板４１又は第２の板４２の加熱を防止することができる。

さらに、次に記載の各態様で提供されてもよい。
前記キャリブレーションボードにおいて、前記温度調整部は、ペルチェ素子であり、前記ペルチェ素子は、前記第１の板と前記第２の板との間に設けられ、前記第１の板及び前記第２の板の一方を加熱し、その他方を冷却するように構成される、もの。
前記キャリブレーションボードにおいて、前記第２の板の形状は、矩形であり、前記所定のパターンは市松模様である、もの。
前記キャリブレーションボードにおいて、前記第２の板の縦の長さ及び横の長さは、１００ｍｍ以下である、もの。
前記キャリブレーションボードおいて、前記第２の板の形状は、円形であり、前記第２の板は、縦方向及び横方向に、所定の間隔で配置された、もの。
前記キャリブレーションボードにおいて、前記第１の板の色は、白色及び黒色の一方であり、前記第２の板の色は、前記一方に対する他方である、もの。
前記キャリブレーションボードにおいて、前記第１の板及び前記第２の板の材質は、非鉄金属である、もの。
前記キャリブレーションボードにおいて、前記第１の板及び前記第２の板の肉厚は、５ｍｍ以下である、もの。
前記キャリブレーションボードにおいて、前記第２の板の上面の少なくとも１つの稜線部は、面取り加工されている、もの。
前記キャリブレーションボードにおいて、前記温度調整部は、前記第１の板及び前記第２の板の一方を覆う発熱材であり、封止材によって封止され、前記一方を加熱することで、前記一方に対する他方に対し温度差を生じさせるように構成される、もの。
もちろん、この限りではない。

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１：カメラキャリブレーションシステム
３：カメラ
３１：可視カメラ
３１１：第１撮像素子
３２：赤外カメラ
３２１：第２撮像素子
３３：プレートフォルダ
３４：ビームスプリッタ
３５：レンズホルダ
３５１：可視用レンズホルダ
３５２：赤外用レンズホルダ
３６：カメラレンズ
３６１：可視用レンズ
３６２：赤外用レンズ
３７：電源制御モジュール
３７０：通信バス
３７１：記憶部
３７２：制御部
３７３：表示部
４：キャリブレーションボード
４１：第１の板
４２：第２の板
４２－１：第２の板
４２－２：第２の板
４２－３：第２の板
４２－ｎ：第２の板
４２ａ：稜線
４３：スペーサー
４３－１：スペーサー
４３－２：スペーサー
４３－３：スペーサー
４３－ｍ：スペーサー
４４：温度調整部
４４－１：温度調整部
４４－２：温度調整部
４４－３：温度調整部
４４－ｎ：温度調整部
４４１：ペルチェ素子
４４１－１：ペルチェ素子
４４１－２：ペルチェ素子
４４１－３：ペルチェ素子
４４１－ｎ：ペルチェ素子
４４２：発熱材
４４２－１：発熱材
４４２－２：発熱材
４４２－３：発熱材
４５：封止材
４５－１：封止材
４５－２：封止材
４５－３：封止材
４５－ｎ：封止材
５：制御機器
５０：通信バス
５１：入力部
５２：記憶部
５３：制御部
５４：電圧出力部
Ｌｉ：赤外線
Ｌｖ：可視光線

Claims

カメラキャリブレーションのためのキャリブレーションボードであって、
第１の板と、第２の板と、温度調整部とを備え、
前記第１の板は、正面視において第１の色を有するように視認可能に構成され、
前記第２の板は、
前記正面視において、前記第１の色とは異なる第２の色を有するように視認可能に構成され、
前記正面視において、前記第１の板に対して、所定のパターンを形成するように複数配置され、
前記温度調整部は、前記第１の板及び前記第２の板の一方を加熱又は冷却することで、その他方に対し温度差を生じさせるように構成される、もの。
請求項１に記載のキャリブレーションボードにおいて、
前記温度調整部は、ペルチェ素子であり、
前記ペルチェ素子は、
前記第１の板と前記第２の板との間に設けられ、
前記第１の板及び前記第２の板の一方を加熱し、その他方を冷却するように構成される、もの。
請求項１又は請求項２に記載のキャリブレーションボードにおいて、
前記第２の板の形状は、矩形であり、
前記所定のパターンは市松模様である、もの。
請求項１～請求項３の何れか１つに記載のキャリブレーションボードにおいて、
前記第２の板の縦の長さ及び横の長さは、１００ｍｍ以下である、もの。
請求項１又は請求項２に記載のキャリブレーションボードおいて、
前記第２の板の形状は、円形であり、
前記第２の板は、縦方向及び横方向に、所定の間隔で配置された、もの。
請求項１～請求項５の何れか１つに記載のキャリブレーションボードにおいて、
前記第１の板の色は、白色及び黒色の一方であり、
前記第２の板の色は、前記一方に対する他方である、もの。
請求項１～請求項６の何れか１つに記載のキャリブレーションボードにおいて、
前記第１の板及び前記第２の板の材質は、非鉄金属である、もの。
請求項１～請求項７の何れか１つに記載のキャリブレーションボードにおいて、
前記第１の板及び前記第２の板の肉厚は、５ｍｍ以下である、もの。
請求項１～請求項８の何れか１つに記載のキャリブレーションボードにおいて、
前記第２の板の上面の少なくとも１つの稜線部は、面取り加工されている、もの。
請求項１～請求項９の何れか１つに記載のキャリブレーションボードにおいて、
前記温度調整部は、
前記第１の板及び前記第２の板の一方を覆う発熱材であり、
封止材によって封止され、
前記一方を加熱することで、前記一方に対する他方に対し温度差を生じさせるように構成される、もの。