JP2018166308A

JP2018166308A - カメラ校正装置

Info

Publication number: JP2018166308A
Application number: JP2017063790A
Authority: JP
Inventors: 豪河口; Takeshi Kawaguchi
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2017-03-28
Filing date: 2017-03-28
Publication date: 2018-10-25
Anticipated expiration: 2037-03-28
Also published as: JP6482589B2

Abstract

【課題】カメラにより撮像した画像における当該カメラの光軸中心座標を正確に算出する。【解決手段】カメラ校正装置１０は、カメラ１４により略均一な入射光を撮像した撮像画像を取得する画像取得手段５０と、撮像画像に含まれる複数の注目輝度値ごとに、撮像画像から注目輝度値を有する画素を抽出する等輝度画素抽出手段６０と、注目輝度値ごとに、等輝度画素抽出手段６０が抽出した画素の重心座標を算出する重心算出手段６２と、注目輝度値に対する重心座標の変動量を算出する変動量算出手段６４と、重心座標のうち変動量が所定値以下である重心座標から光軸中心座標を決定する光軸中心決定手段６６と、を備える。【選択図】図１

Description

本発明は、カメラにより撮像した画像における当該カメラの光軸中心座標を算出するカメラ校正装置に関する。

従来から、監視カメラで撮像した画像を用いて人物の三次元位置や高さ、幅を算出する等、物体の計測を行う技術が知られている（例えば、特許文献１参照）。

監視カメラで人物を撮像し、撮像した画像から人物の三次元位置や高さ、幅等を正確に計測するには、少なくとも撮像した画像における光軸中心の座標が正確に分かっている必要がある。多くの場合、画像の中心を光軸中心とみなして計測に利用する。

特開２０１２−２１２２４８号公報

監視カメラの中には、撮像素子の中心と光軸中心のアライメントがずれている個体があり、画像の中心と光軸中心が一致しない場合がある。このような場合、画像の中心を光軸中心とみなしていると、物体を正確に計測できない問題があった。

また、魚眼レンズを搭載した監視カメラ（魚眼カメラ）では、矩形の画像中にレンズを通した円形の像が現れ、円形の像の外側には鏡筒の黒色の像（ケラレ）が現れる。これを利用して、魚眼カメラで撮像した画像からエッジ画像を生成してケラレによる円を検出し、検出した円の中心座標を光軸中心座標とする方法も考えられる。しかし、ケラレによる円にはボケが生じる場合があり、また魚眼カメラの中には撮像素子の中心と鏡筒の中心のアライメントがずれている個体があり、ケラレの像のボケや鏡筒のアライメントずれが光軸中心座標の精度を低下させる原因となる。さらに、この方法は、鏡筒によるケラレが得られない監視カメラ（魚眼カメラ以外）に適用することができない。

そこで、本発明の目的は、撮像素子の中心と光軸中心のアライメントずれ、ケラレの像のボケ、または鏡筒のアライメントずれがあっても、撮像した画像における光軸中心座標を正確に算出することができるカメラ校正装置を提供することである。

本発明のカメラ校正装置は、カメラにより撮像した画像における当該カメラの光軸中心座標を算出するカメラ校正装置であって、前記カメラにより略均一な入射光を撮像した撮像画像を取得する画像取得手段と、前記撮像画像に含まれる複数の注目輝度値ごとに、前記撮像画像から前記注目輝度値を有する画素を抽出する等輝度画素抽出手段と、前記注目輝度値ごとに、前記等輝度画素抽出手段が抽出した画素の重心座標を算出する重心算出手段と、前記注目輝度値に対する前記重心座標の変動量を算出する変動量算出手段と、前記重心座標のうち前記変動量が所定値以下である重心座標から前記光軸中心座標を決定する光軸中心決定手段と、を備える、ことを特徴とする。

本発明のカメラ校正装置において、前記重心算出手段は、前記注目輝度値ごとに、前記等輝度画素抽出手段が抽出した画素の位置を円で近似し、当該円の円中心座標を前記重心座標として算出する円中心算出手段である、としても好適である。

本発明のカメラ校正装置において、前記光軸中心決定手段は、前記注目輝度値に対する前記変動量が所定値以下である重心座標のうち、注目輝度値が所定の輝度値の幅にある重心座標から前記光軸中心座標を決定する、としても好適である。

本発明のカメラ校正装置において、前記光軸中心決定手段は、前記注目輝度値に対する前記変動量が所定値以下である重心座標のうち、より大きい注目輝度値の重心座標を優先して用いて前記光軸中心座標を決定する、としても好適である。

また、本発明のカメラ校正装置は、カメラにより撮像した画像における当該カメラの光軸中心座標を算出するカメラ校正装置であって、前記カメラにより略均一な入射光を撮像した撮像画像を取得する画像取得手段と、前記撮像画像に含まれる複数の注目輝度値ごとに、前記撮像画像から前記注目輝度値を有する画素を抽出する等輝度画素抽出手段と、前記注目輝度値ごとに前記等輝度画素抽出手段が抽出した画素の位置を円近似して当該円の大きさと円中心座標とを算出する円中心算出手段と、前記円の大きさに対する前記円中心座標の変動量を算出する変動量算出手段と、前記円中心座標のうち前記変動量が所定値以下である円の大きさにおける円中心座標から前記光軸中心座標を決定する光軸中心決定手段と、を備える、ことを特徴とする。

本発明のカメラ校正装置において、前記光軸中心決定手段は、前記変動量が所定値以下である注目輝度値における重心座標、又は、前記変動量が所定値以下である円の大きさにおける円中心座標の平均値を前記光軸中心座標に決定する、としても好適である。

本発明によれば、撮像素子の中心と光軸中心のアライメントずれ、ケラレの像のボケ、または鏡筒のアライメントずれがあっても、撮像した画像における光軸中心座標を正確に算出することができる。

本発明の実施形態におけるカメラ校正システムの概略構成を示すブロック図である。撮像画像の一例を模式的に表した図である。本発明の実施形態におけるデータの流れを示すブロック図である。本発明の実施形態における円中心座標を算出する処理の様子を示す模式図である。本発明の実施形態における輝度値に対する円中心座標の変動量（距離の和）の一例を示す図である。本発明の実施形態におけるカメラ校正装置が実行する処理の流れを示すフローチャートである。本発明の実施形態におけるカメラ校正装置が実行する処理の流れを示すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。

図１は、本実施形態のカメラ校正システム１の概略構成を示すブロック図である。本実施形態のカメラ校正システム１は、レンズ３６（魚眼レンズ）を有するカメラ１４により撮像された撮像画像から、カメラ１４の光軸中心座標を算出するものである。カメラ校正システム１は、照明部１２と、校正対象のカメラ１４と、通信部１６と、画像処理部１８と、記憶部２０と、出力部２２とを備えている。このうち、校正対象のカメラ１４を除いた構成が、カメラ校正装置１０の構成である。

照明部１２は、積分球３０と光源３２とを有している。本実施形態では、照明部１２は、２つの光源３２を有している。積分球３０は、内部に球面が形成された空洞体であり、内部の球面に高反射率かつ高拡散性の塗料が塗布されている。２つの光源３２は、例えば白色のＬＥＤ（Light Emitting Diode）や白熱電球である。２つの光源３２は、積分球３０の内部の球面に配置されている。２つの光源３２が発光した際には、積分球３０の内部の空間が、２つの光源３２の配向特性に依存することなく略均一な照明強度分布となる。照明部１２は、均一標準光源として機能し、略均一な照明環境の空間を生成する。

校正対象のカメラ１４は、入射光を撮像素子へ集光するレンズ３６と、光を電圧に変換する撮像素子３８と、撮像素子３８のアナログ電圧をデジタル信号に変換するＡ／Ｄ変換部４０と、デジタル信号を画像化して撮像画像を生成する信号処理部４２とを備えている。本実施形態のカメラ１４は、監視カメラである。また、本実施形態のレンズ３６は、魚眼レンズである。レンズ３６は、鏡筒３４に収容されている。撮像素子３８は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal？Oxide？Semiconductor）素子等である。カメラ１４は、所定の通信線により外部の通信部１６に接続されている。

カメラ１４は、照明部１２の２つの光源３２が発光した状態での積分球３０を撮像することにより略均一な入射光を撮像して撮像画像を生成する。本実施形態では、撮像画像はカラー画像である。しかし、撮像画像はモノクロ画像であってもよい。撮像画像は、信号処理部４２から通信部１６へ出力される。

通信部１６は、カメラ１４と画像処理部１８と出力部２２との間でデータをやりとりする為の通信回路を含んでいる。通信部１６は、カメラ１４と、画像処理部１８と、出力部２２とに接続されている。通信部１６は、カメラ１４から撮像画像を取得する画像取得手段５０として機能する。通信部１６が取得した撮像画像は、画像処理部１８へ出力される。また、通信部１６は、画像処理部１８からカメラ１４の校正情報を受け取り、校正情報を出力部２２へ出力する校正情報出力手段５２として機能する。校正情報は、画像処理部１８が生成する情報であり、カメラ１４の光軸中心座標が含まれた情報である。

画像処理部１８は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を含んで構成されている。画像処理部１８は、記憶部２０からプログラムを読み出して実行することにより、各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部２０から読み出し、生成したデータを記憶部２０に記憶（記録）する。記憶部２０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等であり、画像処理部１８が実行するプログラムや、各種データを記憶する。

画像処理部１８は、通信部１６経由でカメラ１４から取得した撮像画像を用いて、カメラ１４の光軸中心座標を算出する。画像処理部１８は、光軸中心座標を算出するために、後述する、等輝度画像生成手段６０（等輝度画素抽出手段）と、円中心算出手段６２（重心算出手段）と、変動量算出手段６４と、光軸中心決定手段６６として機能する。画像処理部１８は、算出した光軸中心座標を含めた校正情報を、通信部１６に出力する。

出力部２２は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置である。出力部２２は、通信部１６経由で画像処理部１８から入力された校正情報（光軸中心座標を含む）を表示する。

次に、本実施形態における光軸中心座標の算出方法について説明する。

図２は、撮像画像の一例を模式的に表した図である。撮像画像１００には、鏡筒３４の像である黒色の像（ケラレ）（図２の斜線部分）と積分球３０の像（図２の白抜き部分）とが含まれている。図２の撮影画像１００には、光軸中心座標１０１と、鏡筒中心座標１０２と、等輝度線１０３，１０４とが示されている。等輝度線１０３は、ケラレからも鏡筒中心座標１０２からも離れた領域に現れる輝度が同一の画素群を結んだ線である。等輝度線１０４は、ケラレ付近に現れる輝度が同一の画素群を結んだ線である。図２の下部には、横軸に画素位置をとり、縦軸に輝度値をとったグラフ１１０が示されている。グラフ１１０は、図２の上部に示した線分ＡＢ上の各画素の輝度値をプロットしたものである。

ケラレから離れた領域にある等輝度線１０３は、レンズ３６の周辺光量比の変化による影響を強く受ける。周辺光量比の変化は光軸中心座標１０１を中心に起こることから、等輝度線１０３は、ほぼ円を形成し、その円の中心は光軸中心座標１０１とほぼ一致する。すなわち、等輝度線１０３が存在する画素位置（領域１１２ａ及び１１２ｂ）の各画素は、ケラレによる減光の影響が小さく、レンズ３０の周辺光量比の変化の影響が支配的なため、光軸中心座標１０１の算出に適している。

一方、ケラレ付近に現れる等輝度線１０４は、周辺光量比よりもケラレによる減光の影響を強く受けており、等輝度線１０４が形成する円の中心は、鏡筒中心座標１０２とほぼ一致する。すなわち、等輝度線１０４が存在する画素位置（領域１１１ａ及び１１１ｂ）の各画素は、ケラレによる減光の影響を強く受けるため、この領域の各画素を用いて光軸中心座標１０１を算出することは適切でない。

また、撮像画像の中心付近の画素位置（領域１１３）の各画素は、領域１１２ａ，１１２ｂよりもさらにレンズ３６の周辺光量比の変化の影響が支配的であるものの、周辺光量比の変化量が小さく、ノイズ等の影響を受けやすい。そのため、この領域の各画素を用いて光軸中心座標１０１を算出することは適切でない。

そこで、本実施形態では、ケラレ付近の画素位置（領域１１１ａ及び１１１ｂ）の画素と、ノイズ等の影響を受けやすい撮像画像の中心付近の画素位置（領域１１３）の画素ではなく、それらの間の画素位置（領域１１２ａ及び１１２ｂ）の画素を用いて光軸中心座標１０１を算出する。換言すれば、ケラレ付近に現れる等輝度線１０４と、撮像画像の中心付近のノイズ等の影響を受けやすい領域の画素ではなく、それらの間に位置する等輝度線１０３から光軸中心座標１０１を算出する。

図３は、本実施形態における光軸中心座標を算出するための各手段と、それらによって生成されたデータの流れを示すブロック図である。まず、通信部１６の画像取得手段５０が、撮像手段であるカメラ１４から撮像画像を取得する。撮像画像は、カメラ１４により照明部１２の積分球３０を撮像した画像、すなわち、カメラ１４により略均一な入射光を撮像した画像である。図３に示すように、画像取得手段５０は、取得した撮像画像を、画像処理部１８の等輝度画像生成手段６０に出力する。

等輝度画像生成手段６０は、撮像画像の中の輝度範囲における複数の注目輝度値を設定する。例えば、カラーの撮像画像をモノクロ化して、その各画素が取り得る輝度値の範囲０〜６５５３５内で３００おきに注目輝度値を設定する。そして、撮像画像から各注目輝度値を有する画素を抽出することによって注目輝度値ごとの等輝度画像を生成する。等輝度画像は、例えば、画素値が注目輝度値である画素の画素値を１、そうでない画素の画素値を０に設定した二値画像である。等輝度画像生成手段６０は、生成した複数の等輝度画像を、円中心算出手段６２（重心算出手段）へ出力する。

円中心算出手段６２は、等輝度画像のそれぞれにおいて注目輝度値の画素の重心の座標（重心座標）を算出する。具体的には、等輝度画像の注目輝度値の画素の位置を円近似すると共に、その円の円中心座標を重心座標として算出する。円中心算出手段６２は、例えば、等輝度画像にハフ（Hough）変換を施し、等輝度画像の注目輝度値の画素の位置を円近似し、その円の円中心座標を算出する。すなわち、等輝度画像において注目輝度値を有する画素群を円で近似し（円を検出し）、円中心座標をハフ変換により導出する。この際、ハフ変換により円の大きさ（半径）も導出される。そして、円中心算出手段６２は、導出した円中心座標を、注目輝度値と対応付ける。円中心算出手段６２は、注目輝度値ごとの円中心座標を、変動量算出手段６４へ出力する。

図４は、円中心算出手段６２による円中心座標の算出処理の様子を示す模式図である。図４の上側には、ある注目輝度値の等輝度画像２００の一例が示されている。等輝度画像２００には、注目輝度値を有する画素群２０１が現れている。図４の下側には、等輝度画像２００にハフ変換を施した後の画像２１０が示されている。図４の下側に示すように、等輝度画像２００にハフ変換を施すと、画素群を近似する円２１１の円中心座標２１２と半径とを導出することができる。

図３に戻り、変動量算出手段６４は、注目輝度値ごとの円中心座標について、輝度値の変化に対する円中心座標の変動量を算出する。具体的には、変動量を算出する対象の注目輝度値（対象注目輝度値）の円中心座標と、対象注目輝度値に隣り合う２つの注目輝度値の円中心座標の各々との距離（第１距離および第２距離）を算出し、第１距離と第２距離との和（距離の和）を、対象注目輝度値における円中心座標の変動量として算出する。詳細には、次のようになる。Ｉ_MAX（注目輝度値の最大値）からＩ_MIN（注目輝度値の最小値）までの各注目輝度値に対して順番に番号０，１，２，３，…，Ｎを付与し、これらの注目輝度値について算出した円中心座標をＣ₀，Ｃ₁，Ｃ₂，…Ｃ_Nとする。そして、ｎ番目の注目輝度値（対象注目輝度値）の円中心座標をＣ_nとし、その円中心座標Ｃ_nの変動量をΔＣ_nとする。その場合の変動量ΔＣ_n（円中心座標の変動量）は、以下の（数１）式により算出される。

ΔＣ_n＝Ｄ（Ｃ_n-1，Ｃ_n）＋Ｄ（Ｃ_n，Ｃ_n+1）（数１）

但し、上記の（数１）式において、ｎは、１≦ｎ≦（Ｎ−１）である。また、上記の（数１）式のＤは２点間の距離であり、Ｄ（Ｃ_n-1，Ｃ_n）が第１距離であり、Ｄ（Ｃ_n，Ｃ_n+1）が第２距離である。変動量算出手段６４は、注目輝度値と円中心座標と変動量ΔＣ_n（円中心座標の変動量）とを対応付けた変動量情報を光軸中心決定手段６６に出力する。

光軸中心決定手段６６は、少なくとも、円中心座標のうち円中心座標の変動量が所定値（閾値Ｔ₁）以下である注目輝度値における円中心座標から光軸中心座標を決定する。

図５は、注目輝度値に対する円中心座標の変動量ΔＣ_nの一例を示すグラフである。図５に示すように、グラフ３００は、横軸が注目輝度値、縦軸が変動量ΔＣ_n[画素（pixel）]となっている。グラフ３００には、注目輝度値ごとの変動量がプロットされている。光軸中心決定手段６６は、例えば閾値Ｔ₁＝１[画素]とし、１画素以下である変動量を有する注目輝度値の円中心座標を抽出する。なお、閾値Ｔ₁の値は、要求される校正の精度に応じて予め設定しておいてもよい。図５のグラフ３００では、変動量が１画素以下である注目輝度値が、低輝度な領域３０１，３０２に存在している。このように、変動量が閾値Ｔ₁以下であるという条件を満たす注目輝度値の円中心座標を選出する。これにより、図５の高輝度な区間３０５は、変動量が閾値Ｔ₁より大きいため、光軸中心座標を決定する際の対象から除かれる。つまり、画素位置に対する輝度値の変化が小さくノイズの影響を受けやすいレンズ中心付近の画像領域（高輝度な領域、図２の領域１１３）から検出された不安定な円の円中心座標を除いて、高い精度で光軸中心座標が決定される。また、ケラレのボケから生じる減光の影響を強く受けた等輝度円の円中心座標（ほぼ鏡筒中心座標を表す座標）を、光軸中心座標に決定する誤決定を防止することができる。

また、光軸中心決定手段６６は、円中心座標の変動量が所定値（閾値Ｔ₁）以下である円中心座標のうち、所定の輝度値の幅にある円中心座標から光軸中心座標を決定する。換言すれば、円中心座標の変動量が閾値Ｔ₁以下である注目輝度値の円中心座標であって、注目輝度値同士が近接している（所定の輝度値の幅にある）円中心座標から光軸中心座標を決定する。具体的には、円中心座標の変動量が閾値Ｔ₁以下である輝度値であって、輝度値が閾値Ｔ₂[個（回）]以上連続している領域における輝度値の円中心座標から光軸中心座標を決定する。例えば、光軸中心決定手段６６は、閾値Ｔ₂＝３として、注目輝度値が３個以上連続している連続区間における注目輝度値の円中心座標を抽出する。注目輝度値が３個以上連続している連続区間とは、例えば、注目輝度値が３００刻みで設定されている場合における、注目輝度値１３５００，１３２００，１２９００のような区間である。このように、近傍の複数の注目輝度値（近傍の複数の円）であって、変動量ΔＣ_nが閾値Ｔ₁以下である注目輝度値（円）の円中心座標を抽出し、この抽出した円中心座標から光軸中心座標を決定する。それにより、光軸中心座標の決定処理の信頼性が向上する。すなわち、例えば、ノイズ等の影響によって、ある輝度値の円中心座標の変動量が離散的に閾値Ｔ₁以下となり、その輝度値の円中心座標が用いられて、光軸中心座標が決定される事態を避けることができる。なお、閾値Ｔ₂の値は、レンズ３６、照明部１２、注目輝度値の間隔などに依存するため、予め実験等を通じて設定しておいてもよい。

図５のグラフ３００では、低輝度な領域３０１，３０２において、連続する３個以上の注目輝度値で、変動量が１画素以下となっている区間３０３，３０４が存在している。光軸中心決定手段６６は、これらの区間３０３，３０４を抽出する。

また、光軸中心決定手段６６は、円中心座標の変動量が閾値Ｔ₁以下である注目輝度値の円中心座標のうち、より大きい注目輝度値の円中心座標を優先して用いて光軸中心座標を決定する。具体的には、図５に示すように、抽出された連続区間が２つある（区間３０３および区間３０４）場合には、注目輝度値が最大の連続区間である区間３０４が選択され、区間３０４に含まれている連続するＴ₂個以上の注目輝度値の円中心座標が抽出される。そして、この抽出した円中心座標から光軸中心座標を決定する。これにより、ケラレ境界付近の画像領域の注目輝度値（図５の区間３０３、注目輝度値が小さい区間）の円中心座標が排除されて、光軸中心座標が決定されることになる。換言すれば、図５の区間３０２よりもケラレのボケから生じる減光の影響を強く受けている可能性があるケラレ付近の画像領域（図２の領域１１１ａ及び１１１ｂ）の注目輝度値（図５の区間３０１）を除いて、高精度に光軸中心座標を決定することができる。

光軸中心決定手段６６は、抽出した円中心座標の平均値を算出することで、光軸中心座標を決定する。図５に示すグラフ３００の場合には、区間３０４にある注目輝度値の円中心座標の平均値を算出し、その平均値を光軸中心座標とする。光軸中心決定手段６６は、光軸中心座標を含めた校正情報を生成する。この際、光軸中心決定手段６６は、画像の中心座標から光軸中心座標までの距離（ズレ量）をさらに算出して、ズレ量を含ませた校正情報を生成してもよい。光軸中心決定手段６６は、決定した光軸中心座標を含めた校正情報を通信部１６の校正情報出力手段５２に出力する。

校正情報出力手段５２は、光軸中心決定手段６６から入力された校正情報を、出力部２２に出力する。出力部２２は、入力された校正情報を表示し、検査員に伝達する。検査員は表示された光軸中心座標を読み取って、光軸中心座標を画像監視装置に設定する。なお、校正情報にズレ量を含ませる場合には、検査員は、表示されたズレ量を読み取って、或いは、さらにズレ量を統計分析して、カメラ１４の製造精度をレポートすることができる。

次に、カメラ校正装置１０が実行する詳細な処理の流れについて説明する。

図６，図７は、本実施形態におけるカメラ校正装置１０が実行する処理の流れを示すフローチャートである。まず、照明部１２において、積分球３０の内部は２つの光源３２によって照らされた状態にされる。積分球３０の内部の照明強度分布は均一になっており、カメラ１４は、その積分球３０の内部を撮像して撮像画像を出力する。図６，図７のフローは、その状態で開始される。

図６に示すように、まず、Ｓ１００で、通信部１６は画像取得手段５０として機能して撮像画像を取得し、撮像画像を画像処理部１８へ出力する。

撮像画像を受け取った画像処理部１８は、等輝度画像生成手段６０および円中心算出手段６２（重心算出手段）として機能し、注目輝度値を順次設定してＳ１０２〜Ｓ１１２の処理を繰り返し行う。Ｓ１０２で、等輝度画像生成手段６０は、撮像画像の中の輝度範囲において注目輝度値を設定する。注目輝度値の設定範囲は、例えば、６５５３５から−３００刻みで０までとする。或いは、例えば、４９２００から−３００刻みで４５００までとする。画像処理部１８は、Ｓ１０２で注目輝度値を設定して、Ｓ１０４〜Ｓ１１２の処理を実行し、再びＳ１０２に戻って、注目輝度値を３００だけ減じて再びＳ１０４〜Ｓ１１２の処理を実行する。画像処理部１８は、この一連の処理を繰り返す。

Ｓ１０４で、等輝度画像生成手段６０は、カラー画像の撮像画像をモノクロ化し、モノクロ化した撮像画像から注目輝度値を抽出して等輝度画像を生成する。

次に、Ｓ１０６で、画像処理部１８は円中心算出手段６２（重心算出手段）として機能し、等輝度画像において注目輝度値の画素の重心座標を算出する。具体的には、等輝度画像を用いて、円を検出する注目輝度値の画素の位置を円で近似すると共に、その円の円中心座標を重心座標として算出する。そして、円中心算出手段６２は、算出した円中心座標を注目輝度値と対応付ける。

次に、Ｓ１０８で、円中心算出手段６２は、等輝度画像から円が検出されたかを確認する。円が検出された場合（Ｓ１０８：Ｙｅｓ）には、その円の円中心座標を注目輝度値と対応付けて記憶部２０に記録する（Ｓ１１０）。一方、円が検出されなかった場合（Ｓ１０８：Ｎｏ）には、Ｓ１１０は省略される。次に、Ｓ１１２で、画像処理部１８は、注目輝度値が最小輝度値に達したか、すなわち、最小輝度値の等輝度画像まで処理を行ったかを確認する。注目輝度値が最小輝度値に達していた場合（Ｓ１１２：Ｙｅｓ）には、図７のＳ１１４に進む。一方、注目輝度値が最小輝度値に達していない場合（Ｓ１１２：Ｎｏ）には、Ｓ１０２に戻って次の注目輝度値を処理する。

次に、図７のＳ１１４で、画像処理部１８は変動量算出手段６４として機能し、注目輝度値ごとの円中心座標から注目輝度値に対する円中心座標の変動量を算出する。具体的には、上記した（数１）式により変動量ΔＣ_nを算出する。なお、（数１）式において、円近似することができなかったことにより記録の無い円中心座標Ｃ_n-1，Ｃ_nまたはＣ_n+1がある場合には、それらを算出要素に含む変動量ΔＣ_nは算出せずに、値を無しとしておく。

Ｓ１１４の後はＳ１１６に進む。Ｓ１１６で、画像処理部１８は光軸中心決定手段６６として機能し、Ｓ１１４で算出した変動量のそれぞれを閾値Ｔ₁と比較して、閾値Ｔ₁以下である変動量を抽出する。これにより、ノイズ等の影響を受けやすい撮像画像の中心付近の画素位置（図２の領域１１３）の画素に基づいて得られた円中心座標が排除されて、光軸中心座標が決定されることになる。

次に、Ｓ１１８で、光軸中心決定手段６６は、Ｓ１１６で抽出した変動量と対応付いた注目輝度値のうち、所定の輝度値の幅にある注目輝度値の円中心座標を抽出する。具体的には、円中心座標の変動量が閾値Ｔ₁以下である輝度値（注目輝度値）であって、輝度値が閾値Ｔ₂個以上連続している連続区間の輝度値の円中心座標を抽出する。このように円中心座標を抽出することにより、例えば、ノイズ等の影響によって、ある注目輝度値の円中心座標の変動量が離散的に閾値Ｔ₁以下となり、その注目輝度値の円中心座標が用いられて、光軸中心座標が決定される事態を避けることができる。

次に、Ｓ１２０で、光軸中心決定手段６６は、Ｓ１１８で抽出した連続区間が複数個あるかを確認する。連続区間が複数個ある場合（Ｓ１２０：Ｙｅｓ）には、注目輝度値が最大の連続区間を選択する（Ｓ１２２）。そして、光軸中心決定手段６６は、この選択した連続区間の注目輝度値の円中心座標から光軸中心座標を決定する。これにより、ケラレのボケから生じる減光の影響を強く受けている可能性があるケラレ付近の区間を除いて、高精度に光軸中心座標を決定することができる。

一方、図７のＳ１２０で、光軸中心決定手段６６は、複数の連続区間がなかった場合（Ｓ１２０：Ｎｏ）には、Ｓ１２２を省略する。次に、Ｓ１２４で、光軸中心決定手段６６は、Ｓ１２２で選択した連続区間の注目輝度値の円中心座標、或いは、複数の連続区間がなかった場合にはＳ１１８で抽出された連続区間の注目輝度値の円中心座標から光軸中心座標を算出する。具体的には、連続区間の注目輝度値の円中心座標の平均を算出し、その平均値を光学中心座標と決定する。換言すれば、連続区間に含まれる全ての円中心座標の平均値を光軸中心座標として算出する。

Ｓ１２４の後はＳ１２６に進む。Ｓ１２６で、光軸中心決定手段６６は、決定した光軸中心座標を含めた校正情報を生成する。光軸中心決定手段６６は、校正情報を通信部１６の校正情報出力手段５２に出力する。校正情報出力手段５２は、画像処理部１８の光軸中心決定手段６６から入力された校正情報を、出力部２２に出力する。出力部２２は、入力された校正情報を表示し、検査員に伝達する。検査員は表示された光軸中心座標を読み取って、光軸中心座標を画像監視装置に設定する。

以上説明した本実施形態のカメラ校正装置１０によれば、撮像素子の中心と光軸中心のアライメントずれ、ケラレの像のボケ、または鏡筒のアライメントずれがあっても、撮像した画像における光軸中心座標を正確に算出することができる。

なお、以上説明した実施形態のカメラ校正装置１０では、円中心座標の変動量が閾値Ｔ₁以下である輝度値の円中心座標から、さらに、図７のＳ１１８〜Ｓ１２２の処理を行って、光軸中心座標の算出に用いる円中心座標を選んだ。しかし、Ｓ１１８〜Ｓ１２２の処理を省略して、円中心座標の変動量が閾値Ｔ₁以下である輝度値の円中心座標から光軸中心座標を算出してもよい。この場合であっても、少なくとも、レンズ中心付近の画像領域から検出された不安定な円の円中心座標を確実に排除して、光軸中心座標を算出することができる。

以上説明した実施形態のカメラ校正装置１０は、等輝度画像における注目輝度値の画素の位置を円で近似して当該円の円中心座標を重心座標として算出した。しかし、重心座標は円中心座標でなくても良い。例えば、等輝度画像の注目輝度値の画素の中から互いに略等間隔に位置が離れた数個（例えば３個）の画素を選択し、それらの選択した画素の位置の重心を重心座標として算出しても良い。また、例えば、等輝度画像の注目輝度値の画素の位置を多角形（例えば六角形）に近似すると共に、その多角形の重心となる座標を重心座標として算出しても良い。

以上説明した実施形態のカメラ校正装置１０は、変動量算出手段６４が、注目輝度値に対する円中心座標の変動量を算出した。そして、光軸中心決定手段６６が、円中心座標のうちの円中心座標の変動量が閾値Ｔ₁以下である注目輝度値における円中心座標から光軸中心座標を決定した。しかし、変動量算出手段６４が、円の大きさに対する円中心座標の変動量を算出してもよい。そして、光軸中心決定手段６６が、円中心座標のうち円中心座標の変動量が所定値以下である円の大きさにおける円中心座標から光軸中心座標を決定してもよい。図２に示すように、円の大きさが大きい等輝度線（例えば、等輝度線１０４）の注目輝度値は低く、円の大きさが小さい等輝度線（例えば、等輝度線１０３）の注目輝度値は高い。このように、円の大きさと注目輝度値とは対応関係があるため、上記で説明した実施形態の「注目輝度値」を「円の大きさ」に置き換えた実施形態を考えることができる。次に、この「注目輝度値」を「円の大きさ」に置き換えた実施形態（以下、「円の大きさの実施形態」と言う）について説明する。

等輝度画像生成手段６０は、撮像画像に含まれる複数の注目輝度値ごとに、撮像画像から注目輝度値を有する画素を抽出して等輝度画像を生成する。この時点までは、上記の実施形態（以下、「輝度値の実施形態」と言う）と同じである。円中心算出手段６２は、等輝度画像のそれぞれにおいて注目輝度値の画素の位置を円で近似すると共に、当該円の大きさ（ここでは、半径とする）と円中心座標とを算出し、円の大きさと円中心座標とを対応付ける。円の半径と円中心座標とは、「輝度値の実施形態」と同様に、等輝度画像にハフ変換を施すことで導出される。次に、変動量算出手段６４は、円の大きさに対する円中心座標の変動量を算出する。具体的には、変動量を算出する対象の円の半径（以下、「対象の円の半径」と言う）の円中心座標と、「対象の円の半径」に隣り合う（半径の大きさにおいて隣り合う）２つの円の半径の円中心座標の各々との距離（第１距離および第２距離）を算出し、それら第１距離と第２距離との和を、「対象の円の半径」の円中心座標の変動量として算出する。すなわち、変動量の算出方法は、上記の「輝度値の実施形態」の（数１）式と同様である。

そして、光軸中心決定手段６６は、円中心座標のうち円中心座標の変動量が閾値Ｔ₁以下である円の半径（円の大きさ）における円中心座標から光軸中心座標を決定する。なお、「輝度値の実施形態」では、図５に示したグラフは横軸が注目輝度値となっていたが、「円の大きさの実施形態」では、図５に示すグラフは、横軸が円の半径となる。そして、図５に示すグラフは、算出した円の半径ごとの変動量ΔＣ_nがプロットされることになる。また、輝度値が高くなる程、円の大きさは小さくなる傾向がある為、「輝度値の実施形態」における図５に対応させたグラフとする場合には、グラフの横軸の左から右に向かって、円の半径が小さくなるように目盛を配置する。

光軸中心決定手段６６は、「輝度値の実施形態」と同様に、円中心座標のうち円中心座標の変動量が閾値Ｔ₁以下である円の大きさにおける円中心座標から光軸中心座標を決定する。また、光軸中心決定手段６６は、「輝度値の実施形態」と同様に、変動量が閾値Ｔ₁以下である円中心座標のうち、所定の円の大きさの幅における円中心座標から光軸中心座標を決定する。具体的には、円中心座標の変動量が閾値Ｔ₁以下である円の半径であって、円の半径が閾値Ｔ₂［個（回）］以上連続している領域の円中心座標を抽出し、この抽出した円中心座標から光軸中心座標を決定する。例えば、光軸中心決定手段６６は、閾値Ｔ₂＝３として、円の半径が３個以上連続している連続区間における円の半径の円中心座標を抽出し、この抽出した円中心座標から光軸中心座標を決定する。また、光軸中心決定手段６６は、「輝度値の実施形態」と同様に、変動量が閾値Ｔ₁以下である円中心座標のうち、より小さい円の円中心座標を優先して用いて光軸中心座標を決定する。すなわち、「円の大きさの実施形態」において、図５のように、抽出された連続区間が２つある（区間３０３と区間３０４）場合には、円の半径が最小の連続区間が選択され（図５において、グラフの横軸の左から右に向かって円の半径が小さくなるように目盛が配置されている場合には、区間３０４が選択され）、選択された連続区間の円の半径の円中心座標を用いて光学中心座標を決定する。詳細には、選択された連続区間の円の半径の円中心座標の平均値を光軸中心座標と決定する。このように、光軸中心決定手段６６は、変動量が閾値Ｔ₁以下である円中心座標のうち、円の大きさが最小の円から算出した円中心座標を含む区間から光軸中心座標を決定する。

以上説明した「円の大きさの実施形態」のカメラ校正装置１０においても、撮像素子の中心と光軸中心のアライメントずれ、ケラレの像のボケ、または鏡筒のアライメントずれがあっても、撮像した画像における光軸中心座標を正確に算出することができる。

なお、以上説明した「円の大きさの実施形態」のカメラ校正装置１０では、円中心座標の変動量が閾値Ｔ₁以下である円の大きさの円中心座標から、さらに、閾値Ｔ₂等を用いて、光軸中心座標の算出に用いる円中心座標を選んだ。しかし、その選ぶ処理を省略して、円中心座標の変動量が閾値Ｔ₁以下である円の大きさの円中心座標から光軸中心座標を算出してもよい。この場合であっても、少なくとも、レンズ中心付近の画像領域から検出された不安定な円の円中心座標を確実に排除して、光軸中心座標を算出することができる。

以上説明した実施形態では、照明部１２は積分球３０を利用したものであったが、均一発光面照明等を用いて、カメラ１４に略均一な入射光を撮像させてもよい。以上の実施形態ではカメラ１４は監視カメラであったが、カメラ１４はスチルカメラ、ビデオカメラ等であってもよい。また、以上の実施形態ではレンズ３６は魚眼レンズであったが、レンズ３６は広角レンズや望遠レンズであってもよい。また、以上の実施形態では撮像画像はカラー画像であったが、撮像画像はモノクロ画像であってもよい。

また、以上説明した実施形態では、等輝度画像生成手段６０は、カラー画像をモノクロ化してその濃淡値を用いたが、カラー画像のＲ成分、Ｇ成分またはＢ成分等の成分値を用いてもよい。ただし、光源に含まれる成分を用いる必要がある。

また、以上説明した実施形態では、円中心算出手段６２は、ハフ変換を用いて円中心座標を算出したが、最小二乗法によって円中心座標を算出してもよい。等輝度画像において、最小二乗法により、注目輝度値を有する画素群の座標を近似する円の方程式を導出する。また、円中心算出手段６２は、パターンマッチングによって円中心座標を算出してもよい。画像中心付近に複数の円中心候補を設定すると共に、各円中心候補に対して複数の半径候補を設定する。そして、円中心候補と半径候補の組み合わせごとに、円中心候補を中心とし、半径候補を半径とする円パターン画像を生成する。そして、円パターン画像と等輝度画像のそれぞれの一致度を算出し、最も一致度の高い組み合わせにおける円中心候補を、その等輝度画像の円中心座標として出力することができる。

また、以上説明した実施形態では、変動量算出手段６４が、注目輝度値または円の大きさが連続する３つの円中心座標を用いて第１距離と第２距離とを求め、第１距離と第２距離との和を変動量として算出した。しかし、３つに限らず、４つ、５つ等その他の数の円中心座標を用いて、距離の総和を求め、その総和した値を変動量としてもよい。或いは、注目輝度値の間隔を広くした場合等においては、注目輝度値または円の大きさが連続する２つの円中心座標の距離を変動量としてもよい。

また、変動量算出手段６４は、円中心座標の変動量として、円中心座標の距離に代えて、円中心座標の分散を算出してもよい。この場合、変動量算出手段６４は、注目輝度値または円の大きさの範囲に複数の区間を設定して、各区間に含まれる注目輝度値または円の大きさの円中心座標の分散を算出する。この際、区間はオーバーラップさせてもよい。

また、以上説明した「円の大きさの実施形態」では、変動量算出手段６４は、円の大きさを表す尺度として半径を用いたが、半径に代えて直径、円周長、注目輝度値を有する画素数（円周長に準ずる値）、面積、または注目輝度値を有する画素に囲まれた領域の画素数（面積に準ずる値）等を用いてもよい。

また、カメラ校正装置１０は、画像監視装置に組み込まれていてもよい。その場合、画像処理部１８および記憶部２０を、画像監視装置と共用にしてもよい。光軸中心決定手段６６は、決定した光軸中心座標を記憶部２０に記憶させ、画像監視装置は、記憶部２０にある光軸中心座標を用いることができる。

また、以上説明した「輝度値の実施形態」では、光軸中心決定手段６６は、輝度値が最大の円中心座標を含む区間を選択した（図７のＳ１２２）。また、「円の大きさの実施形態」では、光軸中心決定手段６６は、円の大きさが最小の円中心座標を含む区間を選択した。しかし、これに限らず割合や個数に基づいて選択することもできる。その場合、例えば、光軸中心決定手段６６は、連続した閾値Ｔ₂個以上の注目輝度値について、変動量が閾値Ｔ₁以下である区間が複数抽出された場合に、注目輝度値が大きいものから順に所定割合（例えば５０％など）の個数の円中心座標を選択する、或いは、所定割合を超えない範囲で規定個数（例えば１０個）を選択してもよい。また、輝度値に代えて円の大きさを用いる場合も同様にして、例えば、光軸中心決定手段６６は、連続した閾値Ｔ₂個以上の円の大きさについて変動量が閾値Ｔ₁以下である区間が複数抽出された場合に、円の大きさが小さいものから順に所定割合の個数の円中心座標を選択する、或いは所定割合を超えない範囲で規定個数を選択してもよい。

また、以上説明した実施形態では、光軸中心決定手段６６は、選択した円中心座標の平均値を光軸中心座標とした。しかし、これに限らず他の代表値を光軸中心座標とすることができる。例えば、光軸中心決定手段６６は、選択した円中心座標の中央値を光軸中心座標としてもよい。或いは、選択した円中心座標の数が所定個数以上であり多い場合は、光軸中心決定手段６６は、最頻値の円中心座標を光軸中心座標としてもよい。

１カメラ校正システム、１０カメラ校正装置、１２照明部、１４カメラ、１６通信部、１８画像処理部、２０記憶部、２２出力部、３０積分球、３２光源、３４鏡筒、３６レンズ、３８撮像素子、４０Ａ／Ｄ変換器、４２信号処理部、５０画像取得手段、５２校正情報出力手段、６０等輝度画像生成手段（等輝度画素抽出手段）、６２円中心算出手段（重心算出手段）、６４変動量算出手段、６６光軸中心決定手段。

校正対象のカメラ１４は、入射光を撮像素子へ集光するレンズ３６と、光を電圧に変換する撮像素子３８と、撮像素子３８のアナログ電圧をデジタル信号に変換するＡ／Ｄ変換部４０と、デジタル信号を画像化して撮像画像を生成する信号処理部４２とを備えている。本実施形態のカメラ１４は、監視カメラである。また、本実施形態のレンズ３６は、魚眼レンズである。レンズ３６は、鏡筒３４に収容されている。撮像素子３８は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal−Oxide−Semiconductor）素子等である。カメラ１４は、所定の通信線により外部の通信部１６に接続されている。

Claims

カメラにより撮像した画像における当該カメラの光軸中心座標を算出するカメラ校正装置であって、
前記カメラにより略均一な入射光を撮像した撮像画像を取得する画像取得手段と、
前記撮像画像に含まれる複数の注目輝度値ごとに、前記撮像画像から前記注目輝度値を有する画素を抽出する等輝度画素抽出手段と、
前記注目輝度値ごとに、前記等輝度画素抽出手段が抽出した画素の重心座標を算出する重心算出手段と、
前記注目輝度値に対する前記重心座標の変動量を算出する変動量算出手段と、
前記重心座標のうち前記変動量が所定値以下である重心座標から前記光軸中心座標を決定する光軸中心決定手段と、を備える、
ことを特徴とするカメラ校正装置。
請求項１に記載のカメラ校正装置であって、
前記重心算出手段は、前記注目輝度値ごとに、前記等輝度画素抽出手段が抽出した画素の位置を円で近似し、当該円の円中心座標を前記重心座標として算出する円中心算出手段である、
ことを特徴とするカメラ校正装置。
請求項１または２に記載のカメラ校正装置であって、
前記光軸中心決定手段は、前記注目輝度値に対する前記変動量が所定値以下である重心座標のうち、注目輝度値が所定の輝度値の幅にある重心座標から前記光軸中心座標を決定する、
ことを特徴とするカメラ校正装置。
請求項１から３のいずれか一項に記載のカメラ校正装置であって、
前記光軸中心決定手段は、前記注目輝度値に対する前記変動量が所定値以下である重心座標のうち、より大きい注目輝度値の重心座標を優先して用いて前記光軸中心座標を決定する、
ことを特徴とするカメラ校正装置。
カメラにより撮像した画像における当該カメラの光軸中心座標を算出するカメラ校正装置であって、
前記カメラにより略均一な入射光を撮像した撮像画像を取得する画像取得手段と、
前記撮像画像に含まれる複数の注目輝度値ごとに、前記撮像画像から前記注目輝度値を有する画素を抽出する等輝度画素抽出手段と、
前記注目輝度値ごとに前記等輝度画素抽出手段が抽出した画素の位置を円近似して当該円の大きさと円中心座標とを算出する円中心算出手段と、
前記円の大きさに対する前記円中心座標の変動量を算出する変動量算出手段と、
前記円中心座標のうち前記変動量が所定値以下である円の大きさにおける円中心座標から前記光軸中心座標を決定する光軸中心決定手段と、を備える、
ことを特徴とするカメラ校正装置。
請求項１から５のいずれか一項に記載のカメラ校正装置であって、
前記光軸中心決定手段は、前記変動量が所定値以下である注目輝度値における重心座標、又は、前記変動量が所定値以下である円の大きさにおける円中心座標の平均値を前記光軸中心座標に決定する、
ことを特徴とするカメラ校正装置。