JP2013174547A - ステレオ３次元計測装置 - Google Patents

Abstract

【課題】刻印文字などの微細な凹凸を有する計測対象物を計測する場合にも、演算時間の増大を招くことなく精度の高い計測を行うことができるステレオ３次元計測装置を提供する。
【解決手段】ステレオ３次元計測装置は、計測対象物にプロジェクタから２値ランダムドットパターンを照射してステレオカメラで左右画像を撮影する。対応点探索部による対応点探索によって得られる距離画像に対し、ステレオ平行化後の画像に補正部の微分系のフィルタを適用して得られる補正画像を所定の比率で合成する。この合成で文字のエッジが強調された合成画像を２値化部で２値化することで、精度の高い文字読み取り結果を得る。
【選択図】図１１

Description

この発明は、複数のカメラを用いて３次元計測を行い、計測対象物に含まれる文字などの形状の読み取りを行うためのステレオ３次元計測装置に関する。

複数のカメラを用いて計測対象物までの距離や計測対象物の形状などを計測するステレオ３次元計測装置が実用化されている。ステレオ３次元計測の手法としては、一般に「相関法」と呼ばれる方法が知られている。

この「相関法」を用いたステレオ３次元計測の処理フローを図１３に示し、以下でその概要を説明する。まず、カメラを左右に配置して計測対象物を同時に撮影し、左右のキャプチャ画像の組を得る(ステップＳ５２１ａ,Ｓ５２１ｂ)。

ところで、複数のカメラを用いてステレオ３次元計測を行う場合、レンズの歪みや撮像素子の中心ずれ、左右カメラの位置関係のずれなどの誤差要因によって計測誤差が生じる。これを補正するため、計測の前に「キャリブレーション」と呼ばれる作業が必要となる。

すなわち、形状が既知の幾何学的パターンを印刷した「キャリブレーションボード」と呼ばれる被写体を異なる距離および角度で複数枚撮影し、それらの画像情報から誤差要因に関する情報を含むキャリブレーションパラメータを算出しておく(ステップＳ５２２)。その後、ステレオ計測を行う際に、撮影した左右画像にキャリブレーションパラメータを適用し、誤差要因を取り除いた補正後の左右画像対を生成する(ステップＳ５２３)。この補正後の左右画像対を用いて対応点の探索および視差の算出を行うこと(ステップＳ５２４)で、誤差の少ない計測を行うことができる。

上記「相関法」では、ステレオ平行化処理(ステップＳ５２３)後の左右画像から、対応する画素の組、すなわち対応点を探索する(ステップＳ５２４)。この左右画像の対応点同士が左右方向にどれだけ離れているか(すなわち視差)を求め、これを画像内の全画素について行うことで視差画像を得る。この視差に三角測量の原理を適用すると、計測対象物までの距離を算出することができる。これにより、ステレオカメラから計測対象物までの距離を画像の濃淡で表した距離画像が得られる(ステップＳ５２５)。この距離画像や、そこから計算される距離の値などを、計測結果として画面に表示する(ステップＳ５２６)。

上記「相関法」を用いたステレオ３次元計測では、計測対象物の表面のテクスチャが乏しい場合やコントラストが低い場合には、左右画像の対応点を見いだせないため、距離画像が得られないことがある。

これに対し、特許文献１(特開２００１−９１２３２号公報)に開示されたステレオ３次元計測装置では、不規則なパターンを計測対象物に投光し、これをステレオカメラで撮影して対応点の探索を行っている。これにより、テクスチャに乏しい表面やコントラストの低い表面を有する計測対象物であっても左右画像の対応点を探索し、距離画像を得ることができる。

しかし、このような「相関法」を用いるステレオカメラによる３次元計測を、ステレオカメラからの距離が不連続に変化する部分を有する計測対象物の計測に適用する場合、その不連続な部分を撮像した画素について、左右画像の対応関係を正しく求めることができないという問題が存在する。

これに対し、特許文献２(特開２０００−１２１３１９号公報)に開示されたステレオ３次元計測装置では、計測対象物までの距離が不連続に変化する境界領域などで「相関法」で求めた左右画像の対応づけ関係の確実性が低い場合について、別のアルゴリズムで求めた対応づけ関係の確実性が高い画素による置換を行っている。これにより、距離に不連続な変化のある計測対象物においても、誤差の少ない３次元計測結果を得ている。

特開２００１−９１２３２号公報 特開２０００−１２１３１９号公報

しかし、上述の特許文献２に示されたステレオ３次元計測装置では、計測対象物の距離が不連続となる境界領域が孤立している場合は、その周囲から適切な代替画素を得ることができるが、例えば、計測対象物が微細な刻印文字などである場合には、短い距離の中に多数の境界領域が存在するので、代替となる対応づけ関係の確実性が高い画素が得られない場合がある。また、上述の特許文献２に示されたステレオ３次元計測装置では、通常の相関法による対応点探索を行った後に、左右画像の対応づけ関係の確実性が低い画素について、１画素ごとに代替すべき画素を個別に求めて置換処理を行う必要があるので、演算時間が長くなってしまうという問題がある。

この発明は、上記従来の問題点に鑑みてなされたものであって、刻印文字などの微細な凹凸を有する計測対象物を計測する場合にも、演算時間の増大を招くことなく精度の高い計測を行うことができるステレオ３次元計測装置を提供することにある。

上記課題を解決するために、この発明のステレオ３次元計測装置は、計測対象物を撮影して画像を取得する複数のカメラと、
上記複数のカメラから得られた各画像に対し、上記複数のカメラに起因する画像の歪み,傾きおよびずれのうちの少なくとも一つを含む誤差を補正して、複数のステレオ平行化画像を生成するステレオ平行化手段と、
上記複数のステレオ平行化画像間の互いに対応する画素を対応点として探索すると共に、探索された複数の上記対応点間の距離であって上記複数のカメラのうちの少なくとも２つが配列されている方向への距離を表す視差情報を生成し、上記計測対象物までの距離に関する情報を含む距離画像を上記視差情報から生成する距離画像生成手段と、
上記ステレオ平行化画像に対して予め定められた画像処理を行って上記ステレオ平行化画像の画素値の変化に対応する補正画像を生成する補正画像生成手段と、
上記距離画像と上記補正画像とを合成して合成画像を生成する合成画像生成手段と、
上記合成画像を２値化して上記計測対象物の形状に関する情報を抽出する２値化手段と
を備えることを特徴としている。

この発明のステレオ３次元計測装置によれば、計測対象物の高さ方向の情報を有する距離画像に、上記計測対象物のステレオ平行化画像の画素値変化に対応する補正画像を合成することで、上記計測対象物の形状のエッジを明確化でき、演算時間の増大を招くことなく２値化時の誤差を低減して形状に関する情報の抽出精度を高めることができる。

また、一実施形態では、上記合成画像生成手段は、
上記距離画像に対する上記補正画像の合成の割合が９分の１以上かつ１分の１以下で上記合成画像を生成する。

この実施形態によれば、上記距離画像と上記補正画像との合成比率を最適な値として、上記計測対象物の形状に関する情報の抽出効果をより高めることができる。

また、一実施形態では、上記補正画像生成手段は、
上記ステレオ平行化画像に対して、微分処理もしくは画素値変化を抽出する処理を行う２次元画像フィルタを用いて上記補正画像を生成する。

この実施形態によれば、上記２次元画像フィルタを用いて、上記ステレオ平行化画像に対して微分処理もしくは画素値変化を抽出する処理を行うことで、照明などによる影響を排除した均一な補正画像を生成し、画像全体として均一な形状抽出効果を得ることが可能になる。

また、一実施形態では、上記計測対象物の形状に関する既知の情報または上記距離画像から得られる情報に応じて、
上記距離画像を上記合成画像生成手段で上記補正画像と合成して上記合成画像として上記２値化手段によって２値化させる第１の制御と、
上記距離画像を上記合成画像生成手段で上記補正画像と合成せずに上記２値化手段によって２値化させる第２の制御と、
上記距離画像のうちの上記合成画像生成手段で上記補正画像と合成する領域を設定する第３の制御とのうちのいずれかの制御を選択して行う制御手段
を備える。

この実施形態によれば、上記計測対象物の形状に関する既知の情報や上記距離画像から得られる情報に応じて、上記距離画像に対する上記補正画像の合成の有無や合成する領域の変更を行うことで、誤計測を防ぐとともに、不要な演算を省いて計測時間を短縮できる。

また、一実施形態では、上記計測対象物に対して、２次元平面状のテクスチャを投影する投影手段を有する。

この実施形態によれば、上記計測対象物に上記２次元平面状のテクスチャを投影することで、上記計測対象物表面のコントラストが低い場合や上記計測対象物表面に明確なテクスチャが存在しない場合であっても、ステレオカメラによる対応点の探索ができて、上記計測対象物の形状に関する情報を抽出できる。

また、一実施形態では、上記投影手段から投影されるテクスチャは、２値ランダムドットパターンである。

この実施形態によれば、上記投影手段から投影されるテクスチャとして２値ランダムドットテクスチャを用いることで、位置精度の高い対応点の探索ができて、上記計測対象物の形状に関する情報を抽出する精度を高めることができる。

また、一実施形態では、上記計測対象物における計測対象となる形状の最小幅をＷ(ｍｍ)、上記計測対象物の位置における上記カメラによる撮像画像の画素ピッチをＰobj(ｍｍ)とすると、
上記投影手段から投影されるテクスチャの上記計測対象物の位置における最小間隔Ｐtext(ｍｍ)は、
上記画素ピッチＰobj(ｍｍ)の２倍以上かつ上記最小幅Ｗ(ｍｍ)の４分の１以下である。

この実施形態によれば、上記投影手段から投影されるテクスチャの最小間隔を、上記撮像画像の画素ピッチと上記計測対象となる形状の最小幅から決まる最適範囲に設定することができ、対応点探索における位置検出精度をさらに高め、与えられた条件で最適な形状抽出精度を得ることができる。

また、一実施形態では、上記計測対象物は平面または曲面に凹または凸の形状で文字が形成されており、
上記２値化手段によって得られた２値化画像から上記文字の情報を抽出する文字認識手段を有する。

この実施形態によれば、形状抽出精度の高いステレオ３次元計測を行って得られた２値化画像から、通常のカメラでは判別できない細かな凹凸文字の情報を抽出できて、文字認識することができる。

この発明のステレオ３次元計測装置によれば、計測対象物の高さ方向の情報を有する距離画像に、上記計測対象物のステレオ平行化画像の画素値変化に対応する補正画像を合成することで、上記計測対象物の形状のエッジを明確化でき、２値化時の誤差を低減して形状に関する情報の抽出精度を高めることができる。

この発明におけるステレオ３次元計測装置の実施形態である文字読取装置の全体構成を示すブロック図である。 上記文字読取装置による文字読み取りの手順を示すフローチャートである。 上記文字読取装置で用いられる投影用テクスチャの一例であるランダム２値ドットパターンを示す図である。 上記ランダム２値ドットパターンの部分拡大図である。 上記文字読取装置のステレオカメラでタイヤの刻印文字を撮影した画像の例(テクスチャを投影しない場合)を示す図である。 タイヤの刻印文字を撮影した画像の例(ランダム２値ドットテクスチャを投影した場合)を示す図である。 上記文字読取装置における視差画像生成までの手順におけるキャプチャ画像(Ａ)と上記視差画像生成までの手順におけるステレオ平行化後画像(Ｂ)と上記視差画像生成までの手順における対応点探索処理の原理説明図(Ｃ)と上記視差画像(Ｄ)を示す図である。 上記文字読取装置におけるキャリブレーションで使用されるキャリブレーションボードのパターンの一例(チェッカー(市松)パターン)を示す図である。 キャリブレーションボードのパターンの別の一例(グリッド(水玉)パターン)を示す図である。 上記文字読取装置の境界部分における計測の問題点を説明するための対象物の高さ分布(ａ)と、注目画素が計測対象物の凹部に対応する位置にある時の計測対象物の凸部の画像と相関窓との位置関係(ｂ)と、注目画素が上記凹部と凸部との境界領域付近に対応する位置にある時の上記凸部の画像と相関窓との位置関係(ｃ),(ｄ)と、注目画素が上記凸部に対応する位置にある時の上記凸部の画像と相関窓との位置関係(ｅ)とを示す図である。 計測対象物の凹部領域から凸部領域に亘る対応点探索の結果得られる視差値の分布を示す図である。 図７Ａの(ｂ)の位置関係に対応するスライド量と評価関数の値の変化とを示す図である。 図７Ａの(ｃ)の位置関係に対応するスライド量と評価関数の値の変化とを示す図である。 図７Ａの(ｄ)の位置関係に対応するスライド量と評価関数の値の変化とを示す図である。 図７Ａの(ｅ)の位置関係に対応するスライド量と評価関数の値の変化とを示す図である。 相関窓に対して文字幅が十分に広い場合の視差値の分布を示す図である。 相関窓に対して文字幅が狭い場合の視差値の分布を示す図である。 補正前の左カメラ非テクスチャ画像の一例を示す図である。 微分フィルタによる補正後の左カメラ非テクスチャ画像の一例を示す図である。 計測対象物の高さ分布(Ａ)と距離画像の画素値の分布(Ｂ)と補正画像の画素値の分布(Ｃ)と合成画像の画素値の分布(Ｄ)とを示す図である。 計測対象物であるタイヤの刻印文字「Ａ」を補正画像と距離画像の合成比率(０：１００)で読み取った場合の合成画像と２値化画像を示す図である。 上記刻印文字「Ａ」を合成比率(２５：７５)で読み取った場合の合成画像と２値化画像を示す図である。 上記刻印文字「Ａ」を合成比率(５０：５０)で読み取った場合の合成画像と２値化画像を示す図である。 上記刻印文字「Ａ」を合成比率(１００：０)で読み取った場合の合成画像および２値化画像を示す図である。 従来のステレオ３次元計測の処理フローを示す図である。

以下、この発明を図示の実施の形態により詳細に説明する。

図１は、この発明のステレオ３次元計測装置の実施の一形態である文字読取装置１のブロック図である。この文字読取装置１は、計測対象物６にランダムパターンを照射してステレオ計測を行い、例えばタイヤなどのコントラストの低い物体の表面に刻印されている文字を認識することができる。

上記文字読取装置１は、ステレオカメラ２、計測演算部３、表示部４、図示しない筐体、およびランダムパターン投影用のプロジェクタ７から構成される。

上記計測演算部３は、ＣＰＵ(中央演算処理装置)３０、ステレオ平行化部３１、対応点探索部３２、キャリブレーション演算部３３、キャリブレーションパラメータ記憶部３４、距離画像生成部３５、補正部３６、合成部３７、２値化部３８、文字認識部３９から構成される。上記ステレオ平行化部３１とキャリブレーション演算部３３とキャリブレーションパラメータ記憶部３４とが、ステレオ平坦化手段を構成している。また、上記対応点探索部３２と距離画像生成部３５が距離画像生成手段を構成している。また、上記補正部３６が補正画像生成手段を構成し、上記合成部３７が合成画像生成手段を構成し、上記２値化部３８が２値化手段を構成し、上記文字認識部３９が文字認識手段を構成している。また、上記ＣＰＵ３０が制御手段を構成している。

上記計測対象物６は、タイヤなど表面に凹凸のある文字を有する物体である。

上記ステレオカメラ２は、左カメラ２１、右カメラ２２が対になったものであり、左カメラ２１と右カメラ２２間の距離すなわち基線長、および左カメラ２１と右カメラ２２とのなす角すなわち輻輳角が一定の値となるように、筐体(図示せず)の内部で機械的に固定されて配置されている。

この文字読取装置１では、左カメラ２１の撮像素子の光軸中心を原点として、左カメラ２１の撮像素子の光軸中心と右カメラ２２の撮像素子の光軸中心とを結ぶ方向をｘ方向(左右方向)としている。また、左カメラ２１の撮像素子面内で上記ｘ方向に直交する方向をｙ方向(上下方向)と定義する。また、上記ｘ方向およびｙ方向に直交する方向をｚ方向(奥行き方向)と定義する。左カメラ２１および右カメラ２２は、それぞれＣＭＯＳ(complementary metal oxide semiconductor：相補型金属酸化膜半導体)撮像素子、集光用のレンズおよび制御用のＤＳＰ(Ｄigital Ｓignal Ｐrocessor)が一体となったカメラモジュールであり、上記ＤＳＰに外部から制御信号を与えることで、撮影画像サイズや焦点距離,露出,ホワイトバランスなどのカメラパラメータを電気的に制御することができる。

上記文字読取装置１を用いた３次元計測の全体的な流れを、図２のフローチャートを用いて説明する。

まず、ステレオカメラ２を計測対象物６に相対する適切な位置に配置し、焦点距離や露出等を調整した後、ＣＰＵ３５による制御でもって、左カメラ２１と右カメラ２２による画像撮影が同じタイミングで行われる(ステップＳ１０１ａ,Ｓ１０１ｂ)。この画像撮影の際に、投影手段としてのプロジェクタ７は、計測対象物６に対して、図３Ａに示すような２次元ランダムテクスチャを投影する。

上記ステレオカメラ２は、上記２次元ランダムテクスチャを上記計測対象物６に投影した状態での左カメラ２１による撮像画像と、上記２次元ランダムテクスチャを計測対象物６に投影した状態での右カメラ２２による撮像画像と、上記２次元ランダムテクスチャを計測対象物６に投影していない状態での左カメラ２１による撮像画像の計３枚の画像を撮影する。

尚、以下では、上記２次元ランダムテクスチャを計測対象物６に投影した状態での左カメラ２１による撮像画像を、「左カメラテクスチャ画像」と言う。また、上記２次元ランダムテクスチャを計測対象物６に投影した状態での右カメラ２１による撮像画像を、「右カメラテクスチャ画像」と言う。また、上記２次元ランダムテクスチャを計測対象物６に投影していない状態での左カメラ２１による撮像画像を、「左カメラ非テクスチャ画像」と言う。さらに、上記２次元ランダムテクスチャを計測対象物６に投影していない状態での右カメラ２１による撮像画像を、「右カメラ非テクスチャ画像」と言う。

カメラキャリブレーションを行う場合には、後に詳述するキャリブレーションボードが左カメラ２１と右カメラ２２とで撮影され、キャリブレーションボード撮影画像がキャリブレーション演算部３３に送出される。ステップＳ１０２で、キャリブレーション演算部３３によって、後に詳述するようなカメラキャリブレーション処理が行われる。そして、算出されたキャリブレーションパラメータがキャリブレーションパラメータ記憶部３４に記憶される。

上記撮影によって得られた左カメラテクスチャ画像および右カメラテクスチャ画像は、計測演算部３内のステレオ平行化部３１に送られる。このステレオ平行化部３１では、予めキャリブレーション演算部３３で計算されてキャリブレーションパラメータ記憶部３４に記憶されているキャリブレーションパラメータに基づいて、上記左カメラテクスチャ画像および右カメラテクスチャ画像に対してステレオ平行化処理を施す(ステップＳ１０３)。このステレオ平行化処理についても後に詳述する。

上記ステレオ平行化処理によってステレオ平行化処理されたステレオ平行化画像としての左カメラテクスチャ画像および右カメラテクスチャ画像は、対応点探索部３２に送られる。ここで、プレフィルタ処理として左カメラテクスチャ画像と右カメラテクスチャ画像の輝度差や画像内の局所的な輝度レベルの変動などを吸収するためのエッジ強調処理が施される(ステップＳ１０４ａ)。その後、対応点探索部３２によって、後に詳述するような対応点探索処理が実際に行われる(ステップＳ１０４ｂ)。この対応点探索後の視差画像にポストフィルタを適用して画像整形を行う(ステップＳ１０４ｃ)。

これにより、上記対応点探索部３２から、画素ごとの視差の大小を濃淡で表した視差画像が出力される。この視差画像は、距離画像生成部３５で距離の遠近を濃淡で表した距離画像に変換されて出力される(ステップＳ１０５)。

一方、上記ステレオカメラ２で撮影された左カメラ非テクスチャ画像は、テクスチャ画像と同様、ステレオ平行化部３１でステレオ平行化処理が施される(ステップＳ１０３)。このステレオ平行化処理が施された左カメラ非テクスチャ画像は、補正部３６に入力され、この補正部３６で微分系の画像フィルタによるエッジ強調処理が施され、補正画像として出力される(ステップＳ１０６)。

上記補正部３６で生成された補正画像および距離画像生成部３５で得られた距離画像は、合成部３７に送られ、この合成部３７で上記距離画像と上記補正画像とを合成する画像合成が行われる(ステップＳ１０７)。これにより、元の距離画像のエッジが強調され、文字の輪郭が抽出しやすい合成画像が得られる。上記合成部３７で得られた合成画像は、２値化部３８で２値化されて２値化画像となる(ステップＳ１０８)。上記２値化画像は文字認識部３９に送られ、文字認識部３９の内部でＯＣＲ(Ｏptical Ｃharacter Ｒeader：光学式文字読取装置)により文字認識されて文字情報が抽出される(ステップＳ１０９)。上記文字認識部３９で得られた文字情報は、読み取り結果として表示部４に表示される(ステップＳ１１０)。これらの計測演算部３内での処理は、制御手段としての上記ＣＰＵ３０から他の各部に送信される制御信号に基づいて、適切なタイミングで実行される。

以下では、図２のフローチャートに沿って説明した各手順について詳細に説明する。

まず、上記ステレオカメラ２による計測対象物６の撮影時には、プロジェクタ７から計測対象物６に対してテクスチャが投影される。このテクスチャは、後述する対応点探索時の誤検出を防ぐために、可能な限り周期性を排除した２次元的にランダムなパターンであることが望ましい。この実施形態の文字読取装置１では、図３Ａに示すランダム２値ドットパターンを使用している。このランダム２値ドットパターンは、図３Ａの６画素×６画素の部分拡大図である図３Ｂに示すように、１画素ごとにランダムに白／黒のドットが連続して配置されており、白：黒の比率は５０：５０である。同じ解像度のテクスチャで比較すると、このパターンが最も白／黒のエッジの密度を高めることができるため、左カメラテクスチャ画像と右カメラテクスチャ画像との対応点を探索する際に手掛かりが多くなるという利点がある。

また、上記プロジェクタ７からのテクスチャをコントラストの低い計測対象物６に照射することで、コントラストを向上させる効果も存在する。したがって、このプロジェクタ７からのテクスチャによる投影パターンを用いることにより、文字読み取りの分解能を高めることができるという効果がある。なお、上記計測対象物６のコントラストが十分高い場合などは、それに適した他の種類の投影パターンを用いることも可能である。

上記プロジェクタ７は、市販の小型プロジェクタを用いることもできるし、この用途に合わせて設計した専用の投影装置を用いることもできる。専用の投影装置は、例えば白色ＬＥＤなどの光源、光拡散用の拡散板、ガラスの表面に前述のランダムパターンをレーザー等で形成したレチクル、および投射用レンズなどで構成される。上記光源の前方に拡散板およびレチクルを配置し、これらを透過した光を、レンズを経由して計測対象物に投射させることで、計測対象物の表面にテクスチャを投影することができる。

上記プロジェクタ７によるテクスチャ投影は、上記計測対象物６がタイヤのようにコントラストが低く、表面のテクスチャ変化に乏しい物体である場合に、上記左カメラテクスチャ画像と右カメラテクスチャ画像との対応点の検出精度を上げるために用いられる。

例えば、図４Ａに示すようなタイヤの刻印文字「Ａ」を読み取る場合、タイヤの表面は一様な黒色であり、下地面および文字「Ａ」の上面それぞれの面内で殆ど輝度変化が存在しない。このため、上記タイヤの表面にテクスチャを投影しないと、上記左カメラテクスチャ画像と右カメラテクスチャ画像との対応点を検出することが非常に困難になる。また、輝度変化が存在する場所でも、文字の横方向エッジなど、左右方向に一様な輝度変化が生じる部分では対応点を一意に決定することができない。そのため、結果として文字「Ａ」の縦(上下)方向のエッジしか検出できないことになり、タイヤの刻印文字「Ａ」を正しく認識することが非常に困難になる。

これに対し、プロジェクタ７からタイヤの表面にランダムなテクスチャを投影すると、図４Ｂに示すようにタイヤ表面の下地面および文字上面にそれぞれ上記テクスチャに起因する細かい輝度変化が付与される。上記対応点探索部３２は、上記テクスチャのランダム性により、これらの輝度変化を左,右のカメラテクスチャ画像で一対一に対応づけて認識することができる。したがって、上記テクスチャをタイヤ表面に投影した場合、テクスチャを投影しない場合と比較して、表面に刻印されている文字の認識率を飛躍的に高めることができる。その結果として、上記計測対象物６の表面のテクスチャの変化が乏しい場合やコントラストの低い場合であっても、安定した計測が可能になる。

上記プロジェクタ７から計測対象物６に投影するテクスチャが粗すぎると計測対象となる文字を正確に読み取ることができなくなる一方、上記テクスチャが細かすぎると左右のカメラ２１,２２がテクスチャを判別することができなくなる。したがって、上記テクスチャの最適な細かさは、以下のように考えられる。

上記計測対象物６の計測すべき文字の最小の線幅をＷ(ｍｍ)とし、プロジェクタ７から投影される２値ランダムドットテクスチャの、計測対象となる文字の位置での最小間隔がＰtext(ｍｍ)であるとする。上記２値ランダムドットテクスチャにおいては、白黒のドットがランダムに配置されているので、白ばかりまたは黒ばかりが連続して並ぶ場合が存在する。縦横(上下左右)に白または黒がＮ個連続して並んだ場合、１つのドットの大きさが縦横Ｎ倍になったのと同等であるため、その部分での実質的な分解能は低下することになる。このような状態でも文字の線幅を十分検出できるためには、次式(１)を満たす必要がある。
Ｎ×Ｐtext ≦ Ｗ … (１)

縦横に白または黒がＮ個連続して並ぶ確率は、１／２^２Ｎ−１であり、Ｎ＝３のとき１／３２、Ｎ＝４のとき１／１２８、Ｎ＝５のとき１／５１２となる。テクスチャの配置が原因となる対応点探索の許容誤り率を１％すなわち１／１００以下とすると、Ｎが４以上であればこれを満たすので、式(１)より次式(２)の関係が得られる。
４×Ｐtext ≦ Ｗ 、すなわち、Ｐtext ≦ Ｗ／４ … (２)

一方、計測対象物６の位置におけるステレオカメラ２の撮像画像の画素ピッチをＰobjとすると、標本化定理より、２×Ｐobjより細かい物体を認識することができない。したがって、計測対象物６の位置でのテクスチャのドットの細かさは、２×Ｐobjよりも大きい必要がある。すなわち、次式(３)の関係が得られる。
２×Ｐobj ≦ Ｐtext … (３)

上式(２)および上式(３)から、投影手段であるプロジェクタ７から投影されるテクスチャの計測対象物６の位置における最小間隔Ｐtextは、次式(４)で表される範囲にあることが望ましいことが分かる。
２×Ｐobj ≦ Ｐtext ≦ Ｗ／４ … (４)

例えば、計測対象物６の位置における画素ピッチＰobj＝４０μｍ、文字の最小の線幅Ｗ＝１.０ｍｍの場合、計測対象物６の位置でのテクスチャの最小間隔Ｐtextは８０μｍから２５０μｍの範囲に設定することが望ましい。

このように、この実施形態の文字読取装置１では、プロジェクタ７から計測対象物６に２値ランダムドットテクスチャを投影することで、対応点探索部３２により位置精度の高い対応点探索を行い、形状抽出精度を高めることができる。さらに、プロジェクタ７から投影するテクスチャの最小間隔を、ステレオカメラ２の画素ピッチＰobjと計測すべき形状の最小幅Ｗから決まる最適範囲に設定することで、位置検出精度をさらに高め、与えられた条件で最適な形状抽出精度を得ることができる。

なお、計測対象物６そのものが表面に細かなテクスチャを有し、プロジェクタ７によるテクスチャの投影を行わなくても、対応点探索部３２により十分に対応点が得られる場合は、プロジェクタ７によるテクスチャ投影を行わないこともできる。その場合、ステレオカメラ７が撮影する画像は、上記「左カメラ非テクスチャ画像」および「右カメラ非テクスチャ画像」の２枚のみであり、この２枚の画像から上記対応点探索部３２による対応点探索および上記距離画像生成部３５による距離画像生成を行い、この距離画像を上記「左カメラ非テクスチャ画像」を補正して得られる補正画像と合成することになる。

次に、図５(Ａ)〜図５(Ｄ)を参照して、上記ステレオ平行化部３１によるステレオ平行化処理、および上記対応点探索部３２による対応点探索の詳細について説明する。

ステレオカメラ２が撮影したキャプチャ画像は、レンズの歪みや左,右のカメラ２１,２２の角度ずれ等が存在するため、図５(Ａ)に示すように歪みや傾き,ずれを含む画像となっている。この歪みや傾きを補正して、左,右のカメラ２１,２２の撮像画像に対する上記対応点探索部３２による対応点探索を容易にするために、カメラキャリブレーションと呼ばれる作業が事前に行われる。

ここで、左右のカメラ２１,２２による撮像画像のステレオ平行化処理を行うためのカメラキャリブレーションについて説明する。

上記ステレオカメラ２の左カメラ２１と右カメラ２２でキャプチャした左右画像は、様々な誤差要因によって歪みや傾き、ずれを含んだ画像となっている。具体的な誤差要因は、単体要因すなわちカメラ単体の誤差要因と、相対要因すなわち左カメラ２１と右カメラ２２との間の位置関係に関する要因とに分類できる。単体要因は、レンズの半径方向および円周方向の歪み、撮像素子の中心ずれなどであり、相対要因は左,右のカメラ２１,２２間の回転行列および並進行列で表される。これらは直接計測することができない。

そこで、キャリブレーションボードと呼ばれる幾何的な形状および寸法が既知であるパターンを印刷した平板を用意し、これをステレオカメラ２の前に様々な距離および角度で配置し、なるべく多くの回数撮影する。キャリブレーションボードとしては、例えば、図６Ａに示すようなチェッカー(市松)パターンや、図６Ｂに示すようなグリッド状のドット(水玉)パターンなどが用いられるが、これらに限定されない。

撮影したキャリブレーションボードの画像から、チェッカーボードであればコーナー点、グリッドであればグリッドの中心のような特徴となる点を見出す。次に、左右カメラ画像の組において、対応する特徴点がどれであるかを探索する。

このようにして求めた左右のカメラ画像上の特徴点の座標の組と、キャリブレーションボード上の相対距離が既知である２点が撮影画像上の２点に対応付けられるという条件、および上記キャリブレーションボード上の１点が左右のカメラ画像上の各１点と同一であるという条件から、複数の方程式を立てることができる。例えば、上記キャリブレーションボードとして図６Ａのチェッカーパターンを用いる場合、チェッカーのコーナー数を１２×８、撮影回数を１０回とすると、１２×８×１０＝９６０個の式が得られる。これらを連立方程式として解くことにより、未知数であるキャリブレーションパラメータを求めることができる。

このようなキャリブレーションの具体的な手順については、例えば、非特許文献「Ｚ.Ｚhang，“ＩＥＥＥ Ｔransactions on Ｐattern Ａnalysis and Ｍachine Ｉntelligence”，＃２２(２０００)，１３３０−１３３４」等に記載されている。

このようなキャリブレーションパラメータの算出は、上記カメラキャリブレーション演算部３３によって実施され、予めキャリブレーションパラメータ記憶部３４に記憶されている。計測時には、記憶されているキャリブレーションパラメータに基づき、ステレオ平行化部３１でもって左カメラ２１による左カメラキャプチャ画像および右カメラ２２による右カメラキャプチャ画像にステレオ平行化処理が施される。ここで、上記左カメラキャプチャ画像は上記左カメラテクスチャ画像または上記左カメラ非テクスチャ画像であり、上記右カメラキャプチャ画像は、上記右カメラテクスチャ画像または上記右カメラ非テクスチャ画像である。

こうしてステレオ平行化された左右のカメラキャプチャ画像は、図５(Ｂ)に示すように、互いに対応する点が画像の上下方向に揃っていると考えられる。すなわち、ステレオ平行化後では、左カメラキャプチャ画像のある画素に対し、右カメラキャプチャ画像の対応する画素は必ず同一の列に存在する。したがって、エピポーラ線上の画素を探索すれば、左右画像の対応関係を探し出すことが可能となる。

上記ステレオ平行化後の左,右のカメラキャプチャ画像は、対応点探索部３２に送られる。この対応点探索部３２では、まず、ステレオ平行化後の左右のカメラキャプチャ画像に対し、プレフィルタによるプレフィルタ処理が適用される(ステップＳ１０４ａ)。このプレフィルタは、Ｓobelフィルタなどの微分系のフィルタであり、照明などに起因する画像の緩やかな輝度レベルの変化を打ち消す代わりに局所的な輝度変化を強調し、後の対応点探索を容易にする効果を有する。

上記プレフィルタ処理に続いて、対応点探索部３２による対応点探索(ステップＳ１０４ｂ)が行われる。この対応点探索の手順を、図５(Ｃ)を参照して説明する。

まず、平行化後の左カメラキャプチャ画像の注目する画素を中心として、縦横それぞれｐ画素の正方形状の「相関窓」と呼ばれる領域５６を設定する。また、右カメラキャプチャ画像における同一列に、相関窓５６と同じ大きさの相関窓５７を設定し、この相関窓５７を左右方向にスライドさせながら、左右の相関窓５６,５７に含まれる画素間の相関度合いを示す評価量を計算して行く。この相関度合いを示す評価量としては、例えばＳＡＤ(Ｓum of Ａbsolute Ｄifferrence：差分絶対値和)等の画素演算で計算できる量が用いられる。

所定の相関探索範囲の端から端まで探索した場合に、相関度合いが最も高くなる状態、すなわち、上記ＳＡＤを評価関数とした場合はそれが最小の値となる状態での右カメラキャプチャ画像の相関窓５７の中心点が、左カメラキャプチャ画像の注目画素に対する対応点(対応画素)となる。このとき、左カメラキャプチャ画像の注目画素と右カメラキャプチャ画像の対応画素との距離を、水平方向の画素単位で表したものが視差ｄと定義される。

このような対応点探索処理を平行化後の左カメラキャプチャ画像の全画素に対して実施することで、各画素に対して視差の値がそれぞれ一意に定まる。この視差値をグレースケール画像として表すと、図５(Ｄ)に示すような視差画像が得られる。

この実施形態では、左カメラ２１を基準として左カメラキャプチャ画像の注目画素に対する右カメラキャプチャ画像の対応画素を探索して視差を求めたので、視差画像は左カメラ基準の画像となる。この視差探索の左右の関係を逆にして、右カメラ基準の視差画像を得ることもできる。
尚、相関探索範囲の端から端まで探索しても相関度合いが予め設定された値以上にならない場合は、相関点が存在しないと見なされる。左カメラ２１からは見えているが右カメラ２２からは見えない部分(オクルージョン領域)を計測する場合や、計測対象物６のコントラストが低い場合に相関点が存在しなくなることが多い。
上記対応点探索において対応点が見出せなかったり対応点を誤って検出したりすると、視差画像の一部にノイズが混じることがある。特に、対応点探索時の相関窓のサイズが比較的小さい場合、計測精度が高まる代わりにノイズの割合が大きくなる傾向にある。このようなノイズ成分を低減するために、対応点探索後の視差画像にポストフィルタを適用して画像整形を行う(ステップＳ１０４ｃ)。このポストフィルタとしては、例えばガウシアン、メディアン等の平滑化フィルタや膨張収縮などのモルフォロジー処理が用いられる。

上記対応点探索によって得られた視差画像上の任意の画素の視差値ｄは、三角測量の原理により、左カメラ２１における撮像素子の光軸中心である原点Ｏからの奥行き方向の距離Ｚに変換できる。具体的には、ステレオカメラ２の基線長をＡとし、左カメラ２１の焦点距離をｆとすると、次式で計算できる。
Ｚ＝Ａ・ｆ／ｄ

また、上記奥行き方向の距離Ｚだけでなく、左右方向距離Ｘ、上下方向距離Ｙについても同様に三角測量の原理で算出することができる。

この実施形態の文字読取装置１では、計測対象物６であるタイヤの文字面がステレオカメラ２の左カメラ２１と正対していると考えられる。この場合、上記タイヤの文字の凹凸は上記ステレオカメラ２の左カメラ２１からの奥行き方向(Ｚ方向)距離とほぼ一対一に対応している。Ｚ方向距離は視差に比例するため、このような場合には、視差画像から距離画像への変換は単位の換算のみとなる。文字情報を得ることのみが目的で、文字の高さに関する情報が必要ない時は、視差画像をそのまま距離画像として後段の合成処理を行う合成部３７および２値化処理を行う２値化部３８に送ることも可能である。

これに対し、計測対象物６の計測面がステレオカメラ２の左カメラ２１と正対していない場合は、上記視差画像から上記左右方向距離Ｘ，上下方向距離Ｙおよび奥行き方向距離Ｚを算出し、適当な座標変換を行うことで計測対象物６の凹凸の高さを距離画像として生成し、この距離画像を合成部３７に送る必要がある。
ところで、計測対象物６との間の距離が不連続に変化する領域では上述の対応点探索だけでは、対応点が得られない。

これについて、図７Ａ,図７Ｂを参照して説明する。凹凸のある計測対象物６が、図７Ａの(ａ)欄に示すような高さ分布を有しているとする。図７Ａの(ａ)欄において、縦軸は計測対象物６の高さを示し、横軸は左右方向の位置を示している。また、図７Ａの(ｂ)欄〜(ｅ)欄において、ハッチングを施した四角形部が上記計測対象物６の凸部の画像を示している。

このとき、計測対象物６の凹部と凸部はステレオカメラ２から見て異なる距離(奥行き方向)にあるので、上記凹部と凸部とでは、左右画像の異なる視差を持つ。以下では、上記凹部の視差をｄ１、上記凸部の視差をｄ２とする。右カメラキャプチャ画像上で相関窓を左右方向にスライドさせて対応点を探索する場合、図７Ａの(ｂ)欄に示すように、左カメラキャプチャ画像の相関窓６６の全体が上記計測対象物６の凹部の画像に対応する位置にある状態では、上記右カメラキャプチャ画像の相関窓のスライド量がｄ１のときに左右のカメラキャプチャ画像の相関窓内の画素値が全て一致する。このとき、図８Ａに示すように、対応点探索部３２による対応点探索における評価関数は最も低い値(すなわち、最も評価の高い値)をとる。したがって、上記スライド量がｄ１のときの右カメラキャプチャ画像の相関窓の中心点が対応点(対応画素)であると容易に決定できる。

同様に、図７Ａの(ｅ)欄に示すように、左カメラキャプチャ画像の相関窓６６の全体が、上記計測対象物６の凸部の画像に対応する位置にある状態では、上記右カメラキャプチャ画像の相関窓のスライド量がｄ２のときに左右のカメラキャプチャ画像の相関窓内の画素値が全て一致する。よって、このとき、図８Ｄに示すように、対応点探索部３２による対応点探索における評価関数は最も低い(すなわち、最も評価の高い)値をとる。したがって、上記スライド量がｄ２のときの右カメラキャプチャ画像の相関窓の中心点が対応点(対応画素)であることが分かる。

これに対し、図７Ａの(ｃ),(ｄ)欄に示すように、上記左カメラキャプチャ画像の相関窓６６の一部が上記計測対象物６の凹部の画像の位置にあり、相関窓６６の残りの一部が上記凹部の画像の位置にある場合には、上記スライド量がｄ１のときに、左右のカメラキャプチャ画像の相関窓内の画素値が部分的に一致し、上記スライド量がｄ２のときに、左右のカメラキャプチャ画像の相関窓内の画素値が部分的に一致する。このため、図８Ｂ,図８Ｃに示すように、上記評価関数は、上記スライド量がｄ１とｄ２において、２つの極小値を持つ。

上記対応点探索部３２による対応点探索においては、ノイズ等による対応点の誤検出を防止するために、最も評価の高い対応点候補と２番目に評価の高い対応点候補との差が一定値以内であれば、その対応点候補を対応点と見なさないという処理が適用される。このため、上記スライド量ｄ１での評価関数の極小値と上記スライド量ｄ２での評価関数の極小値との差が予め設定された値よりも小さい場合は、対応点を明確に決定できないことになる。

このように対応点が決定できない場合には、その画素についての視差の値は、事後処理によって周囲の視差値から線形補間もしくは多項式補間が行われる。その結果得られる視差の分布は、図７Ｂに示すように、計測対象物６の凹部の領域および凸部の領域では正しい値となるが、上記凹部の領域と凸部の領域との境界領域では誤差を生じ、丁度、計測対象物６の元の高さ分布形状に対応する視差情報にローパスフィルタを適用したような分布形状になる。図７Ｂにおいて、縦軸は視差値を示し、横軸は上記左右方向の位置を示している。

この境界領域の長さは、対応点探索に用いる相関窓の大きさに比例している。計測の誤差を低減し、計測対象物６の元の高さ分布形状に近い形状を表す視差情報を得るためには、相関窓の大きさをなるべく小さくすることが望ましい。しかし、相関窓を小さくしすぎると、相関窓内に含まれる画素およびテクスチャ(この実施形態の場合は投影パターンのドットの数)が少なくなり、対応点探索部３２による対応点探索処理において、真の対応点と異なる対応点を対応点とする可能性が高くなる。すなわち、対応点探索部３２が出力する視差画像のノイズが増えることになる。このため、相関窓を極端に小さくすることはできず、上記境界領域ではどうしても一定の誤差が残ることになる。

計測対象となる文字の幅が相関窓に対して十分に広い場合の計測対象物の高さ分布と視差値分布を図９Ａ示す。図９Ａにおいて、横軸は左右方向の位置を示す。図９Ａに示すように、上記凹部と凸部との境界領域の影響を受けても視差値の分布に文字の形状が比較的残っている。よって、後の２値化部３８による２値化処理によって文字形状を正しく復元することができる。

これに対し、文字の幅が相関窓に対して狭い場合の計測対象物の高さ分布と視差値分布を図９Ｂに示す。図９Ｂにおいて、横軸は左右方向の位置を示す。図９Ｂに示すように、境界領域の影響を受けて視差値の分布はつぶれた形状となってしまう。このような場合、視差値の分布が２値化のしきい値を下回っているため、距離画像生成部３５による距離画像への変換後に２値化部３８による２値化処理を行っても、文字形状を正しく復元できないこととなる。

このように、対応点探索処理において、上記凹部と凸部の境界領域の視差が正しく求められない場合には、微細な文字の形状を正しく読み出せなくなる。

そこで、この発明のステレオ３次元計測装置の実施の一形態である文字読取装置１では、上述の不具合を解消するために、補正部３６と合成部３７を備えている。上記補正部３６は、上記ステレオ平行化部３１からの元の画像のエッジを強調して得られる補正画像を生成して、上記合成部３７に出力し、この合成部３７では、上記補正画像を上記距離画像生成部３５からの距離画像に合成する。これにより、つぶれた文字のエッジを明確にし、文字の形状を復元しやすくする処理を行っている。この補正部３６と合成部３７による処理について以下に説明する。

上記補正部３６は、ステレオ平行化部３１で予め平行化された左カメラ非テクスチャ画像に対して画像フィルタを適用し、補正画像を生成する。上記補正部３６で用いる画像フィルタとしては、Ｓｏｂｅｌフィルタなどの微分系フィルタや、注目画素の画素値と注目画素周囲の移動平均の画素値との差分処理を行う移動平均フィルタなどが用いられる。ステレオ平行化処理後の左カメラ非テクスチャ画像に対する補正画像を生成するのは、左カメラテクスチャ画像と同じ変換を行うことにより、後の合成部３７で画素ごとの合成処理ができるようにするためである。

上記補正部３６による補正前の左カメラ非テクスチャ画像は、図１０Ａに示すように、照明などの影響による緩やかな輝度変化が含まれているが、この補正前の左カメラ非テクスチャ画像に補正部３６による画像フィルタによる処理を適用する。これにより、図１０Ｂに示す補正後の左カメラ非テクスチャ画像では、緩やかな輝度変化がキャンセルされて輝度レベルが正規化され、凹部と凸部との境界部分などの局所的な輝度変化が強調された画像が得られる。なお、上記画像フィルタと同等の効果を有する画像フィルタであれば他の種類のフィルタを用いることもできる。上記画像フィルタは対応点探索部３２のプレフィルタと同一とすることもできるし、別のフィルタを選択することもできる。また、上記左カメラ非テクスチャ画像のエッジを強調しすぎることを防止するために、一定の上限および下限を設け、上記画像フィルタによる処理後の画素値がその上限および下限の範囲を越える場合に、画素値を切り捨てるリミッタ処理などを付加することも可能である。

上記補正部３６で生成された補正画像(つまり補正後の左カメラ非テクスチャ画像)および上記距離画像生成部３５で得られた距離画像は、上記合成部３７に送られ、この合成部３７において、上記補正画像と距離画像との画像合成が行われる。

この実施形態では、上記補正画像と距離画像は、共に左カメラ２１の平行化後の画像と同じ視点の画像となっているので、視点変換処理を加えることなくそのまま合成処理を行うことができる。上記合成部３７による画像合成は、上記補正画像の画素と距離画像の画素とを所定の比率で混合することで得られる。すなわち、上記補正画像の画素値をＩｃ、距離画像の画素値をＩｄ、混合比をα：βとすると、合成画像の画素値Ｉｍは次式(５)で与えられる。
Ｉｍ＝(α・Ｉｃ＋β・Ｉｄ)／(α＋β) … (５)

上記距離画像は、前述の通り境界領域の対応付けが不完全である場合、図１１の(Ｂ)欄に示すように、エッジが不明確な距離画像となっている。図１１の(Ｂ)欄では、縦軸は距離画像の画素値を示し、横軸は左右方向の位置を示している。また、図１１の(Ａ)欄は上記左右方向の計測対象物の高さ分布を示している。また、図１１の(Ｃ)欄では、縦軸は上記補正画像の画素値を示し、横軸は左右方向の位置を示している。

これに対し、上記補正画像は、図１１の(Ｃ)欄に示すように、エッジが強調された画像であるので、上記視差画像と上記補正画像とを適切な混合比で混合することにより、図１１の(Ｄ)欄に示すような合成画像が得られる。図１１の(Ｄ)欄では、縦軸は上記合成画像の画素値を示し、横軸は左右方向の位置を示している。

このように、上記距離画像に上記補正画像を合成することにより、文字抽出のための２値化が容易になり、また２値化後の文字の輪郭を明確にすることができる。

なお、上記補正画像は文字のエッジを強調するために使用しているので、その元となる左カメラ非テクスチャ画像を撮影する際は、なるべく文字の両側のエッジを抽出できるようにするために、方向依存性のない均一な照明で撮影することが望ましい。ただし、照明状態が不完全で、上記補正画像において文字のエッジの片側しか得られない場合であっても、上記距離画像と合成することで少なくとも片側のエッジが強調されることになる。よって、上記補正画像と視差画像とを合成することにより、上記補正画像と視差画像とを合成しない場合と比較して、２値化時の文字形状の抽出効果は高まると考えられる。

上記補正画像と距離画像との最適な混合比を見出すため、上記混合比α：βを変えて合成画像および２値化画像を取得した実験結果を、図１２Ａ〜図１２Ｄに示す。この結果から、図１２Ｂに示すように、補正画像：距離画像の混合比が２５：７５程度の条件で良好な２値化画像が得られることが分かる。

一方、図１２Ｃ,図１２Ｄに示すように、補正画像の混合比率が５０％を超えると、距離画像よりも補正画像の影響の方が強くなるため、エッジが強調されすぎて２値化後に２重線となったり、文字のエッジと関係ないキズなどの成分が強調されて誤検出の要因となったりすることがある。また、図１２Ａに示すように、補正画像の混合率が１０％以下であると、エッジ強調効果が不十分となり、合成を行わない場合と比較して顕著な改善効果が期待できない。

これらのことから、上記補正画像：距離画像の混合比の値は１０：９０から５０：５０の間にあることが望ましく、さらに２０：８０から４０：６０の間にあることがより好ましいと考えられる。なお、実際に使用する混合比の値は、現物での確認を行って最適値を決定することが望まれる。

このように、この実施形態によれば、距離画像生成部３５からの距離画像と補正部３６からの補正画像との合成比率を最適な値とすることで、計測対象物６の形状の抽出効果をより高めることができる。

なお、先述の如く特許文献２(特開２０００−１２１３１９号公報)に示される補正アルゴリズムを適用することにより、計測対象物６の凹部と凸部の境界領域の画像に存在する対応付けの不明確な画素の距離情報を、その画素の周辺に存在する対応付けの確実性の高い画素の情報を利用して置換することで、計測精度を改善できることが知られている。しかし、特に大きさが小さく線幅の細い文字を読み取る場合には、短い距離の中に文字面と下地面とからなる凹凸が連続して存在するため、凹と凸との境界領域が連続しており、置換に用いることができる対応付けの確実性の高い画素が周辺に存在しないことが多い。したがって、このような場合は特許文献２に示される補正方法は効果を有しないことになる。

また、文字の読み取りにおいては、アルファベットの「Ｂ」と数字の「８」など、輪郭の細かい部分の差異で全く別の文字に認識されてしまうことがある。このため、境界領域の対応付けにわずかの誤差があっても、文字の読み取り精度が大きく低下する恐れがある。

これに対し、この実施形態の文字読取装置では、距離画像に補正画像を合成することで、細かな文字の認識において特に重要な文字輪郭部分の計測精度を高め、認識精度を向上させることができる。上記距離画像および補正画像はそれぞれ単独では２値化しても文字の正しい形状が得られないが、合成することで正確に読み取ることが可能になる。

また、この実施形態における補正部３６での微分フィルタ処理、および合成部３７での混合処理はいずれも簡単な演算であるので、これらを追加することによる演算時間の増加は全体としては無視できるレベルである。すなわち、この発明を用いることで、演算時間を大きく増加させることなく文字のエッジが明確な画像を得ることができ、文字の読み出し精度を高めることができる。

その後、合成部３７で得られた合成画像は、２値化部３８で２値化され２値化画像が得られる。この２値化の処理は、通常、しきい値よりも高い画素値を有する画素を白、上記しきい値以下の低い画素値を有する画素を黒として白黒画像を得る単純２値化の手法が用いられるが、計測対象物６がタイヤである場合、下地面が曲面であるので、単純２値化では下地面と文字面との分離ができない場合がある。その場合は、以下に示す適応２値化の手法が用いられる。すなわち、注目画素の画素値と、この注目画素の周囲のＮ画素×Ｎ画素の移動平均の画素値とを計算し、上記注目画素の画素値と上記移動平均の画素値との差分に対して２値化処理を適用する。

これにより、下地面のゆるやかな形状変化に伴う高低差がキャンセルされ、下地面と文字面との局所的な凹凸のみを抽出することができる。移動平均の画素サイズＮは、タイヤの下地面の曲面の曲率などから最適な値を予め求めておくことが望ましい。その他、２値化処理の前後でも、ノイズの除去や画像整形等の処理を適宜追加することができる。

上記２値化後の画像は、文字認識部３９に送られ、この文字認識部３９の内部でＯＣＲ(文字認識)により文字情報が抽出される。この文字認識部３９で最終的に得られた文字情報は読み取り結果として表示部４に表示される。この表示部４には、文字情報とあわせて、認識された文字の領域、基準となる文字との比較、文字認識できたか否かを表すＮＧ／ＯＫ判定など、様々な付加的な情報を表示することができる。

以上の説明では、ステレオカメラ２による撮像画像の全体にわたって補正画像と距離画像の合成を行うフロー(第１の制御)について説明したが、条件によって合成部３７による合成処理をスキップしてもよい(第２の制御)。この第２の制御では、上記距離画像を上記合成部３７で上記補正画像と合成せずに上記２値化部３８によって２値化させる。また、上記撮像画像内の一部領域のみに対して合成部３７による合成処理を行ってもよい(第３の制御)。この第３の制御では、上記距離画像のうち上記合成部３７で上記補正画像と合成する領域を設定する。これら第１〜第３の制御のうちのいずれかの制御を、制御手段としてのＣＰＵ３０によって、選択して行うようにすることができる。例えば、撮像画像内部で文字が存在しない領域が予め分かっていれば、ＣＰＵ３０による制御で、その領域については合成部３７による合成処理を行わないようにすることができる。

また、上記第３の制御では、先に距離画像を求めておき、この距離画像の中で、文字が存在すると想定される一定の距離範囲にない領域については、距離画像と補正画像との画像合成をスキップすることも可能である。さらに、先に距離画像を求めた結果、文字のサイズが所定の大きさ以上であると見込まれる場合は、エッジ強調を行わなくても文字の判別が可能であると判断し、距離画像と補正画像との画像合成をスキップすることもできる(第２の制御)。

このように、計測対象物６に関する既知の情報や距離画像から得られる遠近,大小などの情報に基づいて、合成部３７による画像合成の実施可否を判断することや、画像合成を行う領域を変更することができる。これにより、撮像画像の不要な部分を合成することによって生じる誤計測を防いだり、計測時間を短縮したりすることができる。

以上で説明したとおり、この発明では、計測対象物の距離画像に、計測対象物のエッジを含む２次元情報を有する補正画像を合成することで、計測対象物の形状のエッジを明確化し、２値化時の誤差を低減して計測対象物の形状情報の抽出精度を高めることができる。また、形状抽出精度の高い文字読取装置として、通常のカメラでは判別できない細かな凹凸文字を抽出し、認識することができる。

(その他の実施形態)
上述の実施形態では、本発明のステレオ３次元計測装置の一例である文字読取装置１がタイヤの刻印文字などを読み取る一例について説明したが、本発明で適用可能な計測対象物はこれに限らない。本発明は、例えば、磁気カードの刻印文字読み取りなど、凹凸のある文字の読み取り全般に適用することができる。

また、本発明のステレオ３次元計測装置は、文字の読み取り以外であっても適用でき、例えば、シールやテープなど厚みのある物体の形状の認識や、貼り付け位置が正常であるか否かを確認する場合や、製品表面のキズの有無を検査する用途などにも用いることができる。

また、上述の実施形態では、ステレオカメラ２として左右２つのカメラを搭載し、左右２枚の画像対から対応点探索を行っているが、カメラの個数は２つに限らず、３眼、４眼などの多眼ステレオの場合においても本発明を適用することは可能である。Ｎ眼カメラ(Ｎ≧３)の場合には、いずれか１つのカメラを基準のカメラとし、他の(Ｎ−１)個のカメラのキャリブレーションおよびキャリブレーションずれ補正を行うことが望ましい。すなわち、基準のカメラに対して(Ｎ−１)個のカメラのキャリブレーションを行い、(Ｎ−１)セットのキャリブレーションパラメータをキャリブレーションパラメータ記憶部３４に記憶しておく。キャリブレーションずれが発生した場合は、(Ｎ−１)個のカメラの夫々について基準カメラに対して上下方向にスライドさせてキャリブレーションのずれ補正を行って、上記最適値を求めることになる。

また、上記実施形態においては、簡略化のため計測対象物６が静止物体である場合について説明したが、計測対象物が動く物体であっても、左右のカメラ２１,２２を同期させて動画像を撮影し、動画像の各フレームを静止画像として取り出すことで上記実施形態と同様の処理を行うことができる。例えば、計測対象物６がタイヤの場合は、ステレオカメラ２を固定してタイヤを回転させるか、タイヤを固定してステレオカメラ２を回転させるかして、タイヤの円周上に記載されている文字を順番に読み取ることができる。但し、動画像からの計測を行う場合、１フレーム期間内に対応点探索,視差演算処理を行う必要があるので、高速な演算回路が必要となる。

この発明の３次元計測装置は、独立した計測装置として、産業用や民生用その他用途に用いることができる他、汎用的な携帯情報端末などの一部に組み込むことや、演算回路の一部または全部を集積回路(ＩＣ)化して利用することもできる。その他、この発明の趣旨を損なわない範囲で種々の変更を加えることが可能である。

この発明は、複数のカメラを用いて３次元計測を行い、計測対象物に含まれる文字などの形状の読出しを行うためのステレオ３次元計測装置に関するものであり、独立した計測装置として産業用,民生用その他用途に用いる他、汎用的な携帯情報端末などの一部に組み込んで利用したり、演算回路の一部または全部を集積回路(ＩＣ)化して利用したりすることも可能である。

１ 文字読取装置
２ ステレオカメラ
３ 計測演算部
４ 表示部
６ 計測対象物
７ プロジェクタ
２１ 左カメラ
２２ 右カメラ
３０ ＣＰＵ
３１ ステレオ平行化部
３２ 対応点探索部
３３ キャリブレーション演算部
３４ キャリブレーションパラメータ記憶部
３５ 距離画像生成部
３６ 補正部
３７ 合成部
３８ ２値化部
３９ 文字認識部

Claims (8)

1. 計測対象物を撮影して画像を取得する複数のカメラと、
   上記複数のカメラから得られた各画像に対し、上記複数のカメラに起因する画像の歪み,傾きおよびずれのうちの少なくとも一つを含む誤差を補正して、複数のステレオ平行化画像を生成するステレオ平行化手段と、
   上記複数のステレオ平行化画像間の互いに対応する画素を対応点として探索すると共に、探索された複数の上記対応点間の距離であって上記複数のカメラのうちの少なくとも２つが配列されている方向への距離を表す視差情報を生成し、上記計測対象物までの距離に関する情報を含む距離画像を上記視差情報から生成する距離画像生成手段と、
   上記ステレオ平行化画像に対して予め定められた画像処理を行って上記ステレオ平行化画像の画素値の変化に対応する補正画像を生成する補正画像生成手段と、
   上記距離画像と上記補正画像とを合成して合成画像を生成する合成画像生成手段と、
   上記合成画像を２値化して上記計測対象物の形状に関する情報を抽出する２値化手段と
   を備えることを特徴とするステレオ３次元計測装置。
2. 請求項１に記載のステレオ３次元計測装置において、
   上記合成画像生成手段は、
   上記距離画像に対する上記補正画像の合成の割合が９分の１以上かつ１分の１以下で上記合成画像を生成することを特徴とするステレオ３次元計測装置。
3. 請求項１または２に記載のステレオ３次元計測装置において、
   上記補正画像生成手段は、
   上記ステレオ平行化画像に対して、微分処理もしくは画素値変化を抽出する処理を行う２次元画像フィルタを用いて上記補正画像を生成することを特徴とするステレオ３次元計測装置。
4. 請求項１から３のいずれか１つに記載のステレオ３次元計測装置において、
   上記計測対象物の形状に関する既知の情報または上記距離画像から得られる情報に応じて、
   上記距離画像を上記合成画像生成手段で上記補正画像と合成して上記合成画像として上記２値化手段によって２値化させる第１の制御と、
   上記距離画像を上記合成画像生成手段で上記補正画像と合成せずに上記２値化手段によって２値化させる第２の制御と、
   上記距離画像のうちの上記合成画像生成手段で上記補正画像と合成する領域を設定する第３の制御とのうちのいずれかの制御を選択して行う制御手段
   を備えることを特徴とするステレオ３次元計測装置。
5. 請求項１から４のいずれか１つに記載のステレオ３次元計測装置において、
   上記計測対象物に対して、２次元平面状のテクスチャを投影する投影手段を有することを特徴とするステレオ３次元計測装置。
6. 請求項５に記載のステレオ３次元計測装置において、
   上記投影手段から投影されるテクスチャは、２値ランダムドットパターンであることを特徴とするステレオ３次元計測装置。
7. 請求項５または６に記載のステレオ３次元計測装置において、
   上記計測対象物における計測対象となる形状の最小幅をＷ(ｍｍ)、上記計測対象物の位置における上記カメラによる撮像画像の画素ピッチをＰobj(ｍｍ)とすると、
   上記投影手段から投影されるテクスチャの上記計測対象物の位置における最小間隔Ｐtext(ｍｍ)は、
   上記画素ピッチＰobj(ｍｍ)の２倍以上かつ上記最小幅Ｗ(ｍｍ)の４分の１以下であることを特徴とするステレオ３次元計測装置。
8. 請求項１から７のいずれか１つに記載のステレオ３次元計測装置において、
   上記計測対象物は平面または曲面に凹または凸の形状で文字が形成されており、
   上記２値化手段によって得られた２値化画像から上記文字の情報を抽出する文字認識手段を有することを特徴とするステレオ３次元計測装置。