JP2019100852A - 画像処理システム、及び画像処理方法 - Google Patents

Abstract

【課題】対象物の３次元点群情報を好適に生成することを可能とする画像処理システム、及び画像処理方法を提供する。【解決手段】３次元形状を特定するためのパターン光を対象物に投光する第１投光部と、照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光部による投光と略同一角度で前記対象物に投光する第２投光部と、前記対象物を撮像する撮像部と、前記第１投光部による前記対象物への投光時に前記撮像部により撮像された第１撮像画像に係る成分を、前記第２投光部による前記対象物への投光時に前記撮像部により撮像された第２撮像画像に係る成分で除算することにより除算画像を生成する生成部と、前記除算画像を用いて、前記対象物の３次元位置を計算する計算部とを備える。【選択図】図２

Description

本発明は、画像処理システム、及び画像処理方法に関する。

近年、対象物にコード化されたパターンやランダムドットパターンといった光を投光し、当該投光時に当該対象物を撮像することにより得られる画像を解析することにより、当該対象物の３次元マップを生成するシステムが考えられている（例えば、特許文献１及び特許文献２参照）。

特表２００９−５１１８９７号公報 米国特許出願公開第２００８／０２４０５０２号明細書

ここで、３次元マップを生成しようとする対象物の表面に凹凸があると、照射光が乱反射してしまうために、好適に反射光が得られない。同様に、対象物の表面で光が浸透又は散乱する場合等にも、同様に、好適な反射光が得られない。このように好適な反射光が得られない被写体に対して、特許文献１及び特許文献２に記載の手法のように対象物の撮像画像を単純に用いて３次元マップを生成すると、十分な反射光が得られない領域でのデータ抜け等が生じるため、適切な３次元マップを生成することができない。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、対象物の３次元点群情報を好適に生成することを可能とする画像処理システム、及び画像処理方法を提供することを目的の１つとする。

本発明の一態様に係る画像処理システムは、３次元形状を特定するためのパターン光を対象物に投光する第１投光部と、照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光部による投光と略同一角度で前記対象物に投光する第２投光部と、前記第１投光部による前記対象物への前記パターン光の投光を制御する第１投光制御部と、前記第２投光部による前記対象物への前記略均一照明の投光を制御する第２投光制御部と、前記対象物を撮像する撮像部と、前記撮像装置による撮像を制御する撮像制御部と、前記第１投光制御部が前記パターン光の投光するようを制御し、かつ、前記第２投光制御部が前記略均一照明の投光しないよう制御した状態で、前記撮像部により撮像された第１撮像画像を記録する第１撮像画像記録部と、前記第１投光制御部が前記パターン光の投光しないようを制御し、かつ、前記第２投光制御部が前記略均一照明の投光するよう制御した状態で、前記撮像部により撮像された第２撮像画像を記録する第２撮像画像記録部と、前記第１撮像画像に係る成分を前記第２撮像画像に係る成分で除算することにより除算画像を生成する生成部と、前記除算画像を用いて、前記対象物の３次元位置を計算する計算部とを備える。

当該構成では、パターン光を対象物に投光し、それを撮像することにより第１撮像画像を撮像し、また略均一照明を対象物に投光し、それを撮像することにより第２撮像画像を撮像する。パターン光の投光と、略均一光の投光とを略同一角度で対象物に投光することにより、対象物表面での反射特性を近似させることができる。この結果、第１撮像画像の成分を第２撮像画像の成分で除算することで、除算画像において対象物表面の反射率に応じた係数成分の影響を低減させることができるため、好適に対象物の３次元点群情報を計算することが可能となる。

なおここで、第１撮像画像の成分とは、第１撮像画像の輝度値、又は、第１撮像画像の輝度値を一次変換（所定係数で乗算、及び／又は所定値を加減算）したものを含みうる。第２撮像画像の成分についても同様である。

上記構成において、前記生成部は、前記第１投光部及び前記第２投光部の非投光時に、環境光が前記対象物に投光された第３撮像画像に係る成分を前記第１撮像画像に係る成分から減算して得られる画像に係る成分を、前記第２撮像画像に係る成分から前記第３撮像画像に係る成分を減算して得られる画像に係る成分で除算することにより前記除算画像を生成する、ように構成されてもよい。

当該構成では、環境光のみが投光された第３撮像画像を撮像し、第１撮像画像及び第２撮像画像の両者から、当該第３撮像画像を減算する。これにより、第１撮像画像及び第２撮像画像の両者から、環境光の影響を低減させることができる。当該環境光の影響が低減された画像から除算画像を求め、当該除算画像を用いて３次元位置を計算することで、好適に対象物の３次元点群情報を計算することが可能となる。

なおここで、第３撮像画像の成分とは、第３撮像画像の輝度値、又は、第３撮像画像の輝度値を一次変換（所定係数で乗算、及び／又は所定値を加減算）したものを含みうる。第３撮像画像に係る成分を前記第１撮像画像に係る成分から減算して得られる画像に係る成分、及び、前記第２撮像画像に係る成分から前記第３撮像画像に係る成分を減算して得られる画像に係る成分についても同様である。

上記構成において、前記第１撮像画像の撮像時における前記第１投光部の投光時間よりも、前記第２撮像画像の撮像時における前記第２投光部の投光時間の方が短い、ように構成されてもよい。

当該構成では、第１撮像画像の輝度値と第２撮像画像の輝度値を近づけることが可能となる。これにより、撮像画像でのハレーションの発生を抑制することで、好適に対象物の３次元点群情報を計算することが可能となる。

上記構成において、前記第１撮像画像の撮像時における前記撮像部の露光時間よりも、前記第２撮像画像の撮像時における前記撮像部の露光時間の方が短い、ように構成されてもよい。

当該構成では、第１撮像画像の輝度値と第２撮像画像の輝度値を近づけることが可能となる。これにより、撮像画像でのハレーションの発生を抑制することで、好適に対象物の３次元点群情報を計算することが可能となる。

上記構成において、前記第１投光部及び前記第２投光部は、同一の投光レンズを用いて投光する、ように構成されてもよい。

当該構成では、パターン光の投光、及び略均一光の投光を同一軸により投光することができる。この結果、第１撮像画像及び第２撮像画像における、対象物表面の反射率に応じた係数成分の特性を近似させることができるため、除算画像において好適に当該係数成分を低減させることができる。

上記構成において、前記第１投光部及び前記第２投光部は、同一の光源を用いて投光する、ように構成されてもよい。

当該構成では、パターン光の投光、及び略均一光の投光の波長特性を一致させることができる。この結果、第１撮像画像及び第２撮像画像における、対象物表面の反射率に応じた係数成分の特性を近似させることができるため、除算画像において好適に当該係数成分を低減させることができる。

上記構成において、前記第１投光部は、第１光源を用いて投光し、前記第２投光部は、前記第１光源と別に設けられた第２光源を用いて、前記第１投光部と略同一角度で前記対象物に投光する、ように構成されてもよい。

当該構成では、パターン光の投光、及び略均一光の投光のために、光源から照射される光を分離する部品（例えば、ビームスプリッタ）等の部品を不要とすることが可能となる。

上記構成において、前記第１投光部は、第１光源及び第１投光レンズを用いて投光し、前記第２投光部は、前記第１光源及び前記第１投光レンズとは別に設けられた第２光源及び第２投光レンズを用いて、前記第１投光部による投光と略同一角度で前記対象物に投光する、ように構成されてもよい。

当該構成では、パターン光の投光、及び略均一光の投光のために、光源から照射される光を分離及び合波する部品（例えば、ビームスプリッタや偏光ビームスプリッタ）等を不要とすることが可能となる。

上記構成において、前記第１光源の強度は、前記第２光源の強度よりも強い、ように構成されても良い。

当該構成では、第１撮像画像の輝度値と第２撮像画像の輝度値を近づけることが可能となる。これにより、撮像画像でのハレーションの発生を抑制することで、好適に対象物の３次元点群情報を計算することが可能となる。

上記構成において、前記対象物の３次元構造データを読み込む読込部と、前記対象物に係る前記３次元構造データと、前記３次元位置とを照合する照合部とを更に備える、ように構成されてもよい。

当該構成では、パターン光の投光、及び略均一光の投光のために、光源から照射される光を分離及び合波する部品（例えば、ビームスプリッタや偏光ビームスプリッタ）等を不要とすることが可能となる。

本発明の一態様に係る画像処理方法は、３次元形状を特定するためのパターン光を対象物に投光する第１投光処理と、照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光処理による投光と略同一角度で前記対象物に投光する第２投光処理と、前記対象物を撮像する撮像処理と、前記第１投光処理による前記対象物への投光時に撮像された第１撮像画像に係る成分を、前記第２投光処理による前記対象物への投光時に撮像された第２撮像画像に係る成分で除算することにより除算画像を生成する生成処理と、前記除算画像を用いて、前記対象物の３次元位置を計算する計算処理とを画像処理システムが行う。

当該構成では、環境光のみが投光された第３撮像画像を撮像し、第１撮像画像及び第２撮像画像の両者から、当該第３撮像画像を減算する。これにより、第１撮像画像及び第２撮像画像の両者から、環境光の影響を低減させることができる。当該環境光の影響が低減された画像から除算画像を求め、当該除算画像を用いて３次元位置を計算することで、好適に対象物の３次元点群情報を計算することが可能となる。

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されてもよい。

実施形態に係る画像処理システムの適用性を説明するための図である。 実施形態に係る画像処理システムの構成の一例を模式的に例示するための図である。 実施形態に係る画像処理システムの処理手順の一例を例示するフローチャートである。 実施形態に係る投光装置の構成の一例を模式的に例示するための図である。 実施形態に係る投光装置の構成の一例を模式的に例示するための図である。 実施形態に係る投光装置の構成の一例を模式的に例示するための図である。 実施形態に係る投光装置の構成の一例を模式的に例示するための図である。 実施形態に係る画像処理システムのハードウェア構成の一例を模式的に例示するための図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

［１ 適用例］
［１．１ 概要］
まず、図１を参照しながら、実施形態に係る画像処理システムの動作の一例を説明する。図１は、本実施形態に係る画像処理システムの動作原理を説明するための図である。

対象物の３次元計測を行う手法の１つとして、三角測距を基本原理として対象物に一定のパターンを持つパターン光を投光する手法がある。この手法には、投光する光のパターンを複数用意し、それらを高速で時間的に切換えて投光する時間的な手法と、空間的にコード化された単一のパターン光を投光する空間的な手法の大きく２つの手法がある。本実施形態に係る画像処理システムでは空間的手法を用いる。空間的手法では、複雑なパターンを持つコード化されたパターン光を対象物に投光し、そのパターン光が投光された対象物を撮像装置で撮像して得られたパターン画像から距離計算することにより３次元形状を取得する。

空間的手法の具体的例としては、例えば、対象物への投光に用いる３次元計測を行うために、所定のパターン光を投光する投光装置と、撮像装置とを平行に配置した上で、投光装置での投光に用いるパターン光と、撮像装置で撮像された撮像画像（以下「３Ｄ用画像」ともいう）との間で、対応付け（ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行う方法が考えられる。この手法では、パターン光の投光に用いた画像と３Ｄ用画像との間で対応画素を求めることで、パターン光の投光に用いた画像と３Ｄ用画像の対応列を特定する。この対応列により特定される平面と、対応画素間の線分により特定されるエピポーラ線とから、処理対象の画素が投影された対象物の３次元座標を特定する。このような処理を全ての画素に対して行うことで、対象物の各点の３次元座標を得ることができる。

このように、空間的なパターン投影手法による３次元計測では、複雑なパターンを３次元形状の対象物に投光し、そのパターンを撮像装置（カメラ）で撮影することにより、対象物の各々の位置の３次元座標が特定される。しかしながら、対象物が複雑な３次元形状を有していたり、或いは複雑なテクスチャを有していたりすると、撮像装置での撮像画像で特定すべきパターンが十分な精度で認識できない場合がある。例えば、対象物が表面研磨されていなかったり、傷や凹みがあったりする工業製品である場合等には、凹凸形状によりパターンが歪むことで正常なパターンが読み取れないために、３次元点群を特定することが困難である。同様に、対象物の表面で光が浸透又は散乱する場合等にも同様の問題が生じ得る。当該課題は、投光装置及び撮像装置が対象物の近距離に位置するほど顕著となる。

図１に記載するように、本実施形態に係る画像処理システムでは、複雑なパターン（以下「３Ｄ用照明」ともいう）を３Ｄ投光装置１１で対象物（計測面）に投光する機能に加え、２Ｄ投光装置１３でパターンを持たない略均一光（以下、「２Ｄ用照明」ともいう）で対象物に投光する機能を持つ。なお、図１では、３Ｄ投光装置１１及び２Ｄ投光装置１３を異なるものとして図示しているがこれに限られるものではなく、単一の投光装置から３Ｄ用照明及び２Ｄ用照明の両者を投光できるように構成してもよい。投光装置の構成の具体例については、図４乃至図７を参照しながら後述する。ここで、３Ｄ投光装置１１及び２Ｄ投光装置１３はそれぞれ、本発明の「第１投光部」及び「第２投光部」の一例である。

ここで、対象物表面上の各位置において３Ｄ用照明及び２Ｄ用照明の両者がほぼ同じ反射率で反射されるように、３Ｄ用照明と２Ｄ用照明とは、対象物表面に対して略同一角度で投光される（θ_A≒θ_B）。このため、３Ｄ投光装置１１による投光の中心軸Ａと、２Ｄ投光装置１３による投光の中心軸Ｂとは、同一であるか、同一でないとしても近傍かつ略並行となることが好ましい。前者の場合、例えば、３Ｄ投光装置１１及び２Ｄ投光装置１３を一体的に設ければよい。後者の場合、例えば、３Ｄ投光装置１１及び２Ｄ投光装置１３を、平行に隣接して配置すればよい。

撮像装置１５では、３Ｄ投光装置１１での投光時に得られる３Ｄ用画像、及び２Ｄ投光装置１３での投光時に得られる２Ｄ用画像を撮像する。画像処理システムは、３Ｄ用画像を２Ｄ用画像で除算することにより、対象物（計測面）における反射率に応じた係数成分（後述のαに相当）による影響を低減し、好適なパターン画像を得ることができる。ここで、撮像装置１５は、本発明の「撮像部」の一例であり、３Ｄ用画像及び２Ｄ用画像はそれぞれ、本発明の「第１撮像画像」及び「第２撮像画像」の一例である。

また、特に環境光の影響が大きい場合には、これに加えて、３Ｄ用照明及び２Ｄ用照明を投光せずに、環境光のみが対象物に投光された状態で撮像装置１５が撮像した環境光画像も撮影してもよい。この場合、３Ｄ用画像及び２Ｄ用画像の各々から環境光画像を減算した上で、除算することにより、環境光の成分及び対象物表面の反射率に応じた成分を除去することができる。なお、環境光画像は、本発明の「第３撮像画像」の一例である。

［１．２ 原理］
以下、図１を参照しながら、原理を説明する。ここでは、２Ｄ用照明及び３Ｄ用照明のエネルギーをそれぞれＰ_2D-projector及びＰ_3D-projector、環境光のエネルギーをＰ_ambientとする。また、対象物表面に投光される光の反射率に依存する係数成分であり、２Ｄ用照明及び３Ｄ用照明のエネルギーを撮像素子で受光するエネルギーに変換する輝度値変換係数をαとする。同じく対象物表面の反射率に依存する成分であり、自然光や外部照明からの光である環境光のエネルギーを撮像素子で受光するエネルギーに変換する輝度値変換係数をβ、とする。なおここでは、２Ｄ用照明及び３Ｄ用照明により生じるα成分は、３Ｄ用照明及び２Ｄ用照明を略同一角度（θ_A≒θ_B）で対象物表面に投光することでほぼ同一とみなせるものとする。

このとき、３Ｄ用照明が投光された対象物を撮像装置１５の画素（ｘ，ｙ）で受光した際の輝度値Ｉ_3D（ｘ，ｙ）（すなわち、３Ｄ用画像の画素（ｘ，ｙ）の輝度値）は、以下の式で表される。

同様に、略均一光である２Ｄ用照明が投光された対象物を撮像装置１５の画素（ｘ，ｙ）で受光した際の輝度値Ｉ_2D（ｘ，ｙ）（すなわち、２Ｄ用画像の画素（ｘ，ｙ）の輝度値）は、以下の式により表される。

また、２Ｄ用照明及び３Ｄ用照明が投光されず、環境光のみが投光された対象物を撮像装置１５の画素（ｘ，ｙ）で受光した際の輝度値Ｉ_ambient（ｘ，ｙ）（すなわち、環境光画像の画素（ｘ，ｙ）の輝度値）は、以下の式により表される。

すなわち、３Ｄ用画像の輝度値Ｉ_3D（ｘ，ｙ）及び２Ｄ用画像の輝度値Ｉ_2D（ｘ，ｙ）の各々から、環境光画像Ｉ_ambient（ｘ，ｙ）を減算することにより、環境光による影響を除去することができる。よって、環境光による影響が除去された３Ｄ用画像の輝度値Ｉ_3D（ｘ，ｙ）を２Ｄ用画像の輝度値Ｉ_2D（ｘ，ｙ）で除算して得られる除算画像の輝度値Ｉ_p（ｘ，ｙ）は、以下の式により表現される。

すなわち、除算画像においては対象物に投光された反射率に依存するα成分を除去することができる。略均一光である２Ｄ用照明のエネルギーＰ_2D-projectorは位置によらずほぼ一定であることから、除算画像の輝度値Ｉ_p（ｘ，ｙ）は、以下の式により単純化することができる。以下の式においてγは定数である。

よって、除算画像を用いれば、対象物の反射率に応じたα成分及び環境光の成分Ｐ_ambientが除去された状態で、３次元計測を行うためのパターンを識別することができる。すなわち、対象物表面の凹凸形状や傷、光の散乱や浸透等による影響を抑え、好適に対象物の３次元形状を取得可能となる。

なお、例えば対象物が暗い環境下にある等、環境光がほぼ無視できる（Ｐ_ambient≒０）場合には、上記数１及び上記数２の第２項が無視できるため、環境光画像の減算を行わずに、単純に３Ｄ用画像の輝度値を２Ｄ用画像の輝度値で除算して得られる除算画像を用いればよい。

なお先述のとおり、対象物表面の反射率の影響は、３Ｄ投光装置１１及び撮像装置１５と対象物とが近距離にあるほど影響が大きいが、このように除算画像を用いてパターンを識別することで、対象物表面の反射率の影響を低減させることができる。すなわち、除算画像を用いない場合に比べ、近距離でも３次元形状を好適に取得することができる。

ここで、近距離での投光及び撮像を考えると、一般に撮像装置１５の撮像素子が受光する受光量が大きくなるため、撮像画像におけるハレーションが起きやすくなる。一般的に３Ｄ用照明及び２Ｄ用照明に同程度の強度の光源（全く同一の光源である場合も含む）を用いるとすると、略均一光を撮像した２Ｄ用画像の方が、パターン光を撮像した３Ｄ用画像よりも、輝度値が高くなる。よって、２Ｄ用画像撮像時の２Ｄ用照明の照射時間を、３Ｄ用画像撮像時の３Ｄ用照明の照射時間よりも短くする、或いは、２Ｄ用画像撮像時の撮像装置１５の撮像素子の露光時間を３Ｄ用画像撮像時の撮像装置１５の撮像素子の露光時間よりも短くすることにより、３Ｄ用画像及び２Ｄ用画像の輝度値を近づけることが考えられる。或いは、３Ｄ用照明と２Ｄ用照明とで異なる照明を用いる場合には、２Ｄ用照明の光源の強度を３Ｄ用照明の光源の強度よりも弱くすることが考えられる。

［２ 動作構成例］
以下、図２を参照しながら、本実施形態に係る画像処理システム１が動作するための構成例を説明する。画像処理システム１は、大きく、３Ｄ投光装置１１、２Ｄ投光装置１３、撮像装置１５、制御部１１０、及び認識部１５０を含む。なお、制御部１１０及び認識部１５０が有する各構成は、プロセッサ上で動作するプログラムとして実現されてもよいし、或いは専用の半導体等のハードウェアとして構成されてもよい。

［２．１ ３Ｄ投光装置１１、２Ｄ投光装置１３、及び撮像装置１５］
３Ｄ投光装置１１は、制御部１１０の駆動制御部１１１に含まれる３Ｄ用投光制御部１１３による制御のもと、複雑なパターンを持つ３Ｄ用照明を対象物に対して投光する。２Ｄ投光装置１３は、同じく駆動制御部１１１に含まれる２Ｄ用投光制御部１１５による制御のもと、中心軸Ｂに垂直な平面（投光方向の断面方向）上の各位置において照射エネルギーがほぼ一定となる（すなわちパターンを持たない）略均一光を対象物に対して投光する。このとき、３Ｄ投光装置１１による３Ｄ用照明の投光時間を２Ｄ投光装置１３による２Ｄ用照明の投光時間よりも長く、又は、３Ｄ投光装置１１の光源の強度を２Ｄ投光装置１３の光源の強度よりも強くしても良い。これにより、撮像装置１５により撮像される３Ｄ用画像及び２Ｄ用画像の輝度値を近づけることができる。

先述のとおり、３Ｄ投光装置１１及び２Ｄ投光装置１３は、対象物表面の各位置に対して略同一角度で３Ｄ用照明及び２Ｄ用照明が投光されるように構成／配置される。そのために、３Ｄ投光装置１１及び２Ｄ投光装置１３は、投光の中心軸Ａ及びＢが一致する、又は一致しないまでも中心軸Ａ及びＢが略平行かつ近傍となるように配置される。３Ｄ投光装置１１及び２Ｄ投光装置１３の具体的構成例は、図４乃至図７を参照しながら後述する。

撮像装置１５は、制御部１１０の駆動制御部１１１に含まれる撮像制御部１１７による制御のもと、対象物を撮像する。より具体的には、３Ｄ投光装置１１による３Ｄ用照明の投光時、及び２Ｄ投光装置１３による２Ｄ投光装置１３による２Ｄ用投光時、の少なくとも２回撮影を行うことで、それぞれ３Ｄ用画像及び２Ｄ用画像を生成する。このとき、３Ｄ用画像の撮像時における露光時間を、２Ｄ用画像の撮像時における露光時間よりも長くしても良い。これにより、３Ｄ用画像及び２Ｄ用画像の輝度値を近づけることができる。

また、環境光に対する影響も除去するのであれば、撮像装置１５は、３Ｄ投光装置１１及び２Ｄ投光装置１３による投光が行われていない、環境光のみが対象物に投光されているタイミングでも撮影し、環境光画像を生成する。なお、環境光の影響を考慮しないのであれば、環境光画像を生成しなくともよい。

［２．２ 制御部１１０］
制御部１１０は、駆動制御部１１１、画像入力部１１９、３Ｄ用画像記録部１２１、２Ｄ用画像記録部１２３、環境光画像記録部１２５、除算画像生成部１２７、パターン光用画像読込部１２９、３次元位置計算部１３１、及び３次元点群出力部１３３を含む。なお、除算画像生成部１２７は、本発明の「生成部」の一例であり、３次元位置計算部１３１は、本発明の「計算部」の一例である。

駆動制御部１１１は、３Ｄ投光装置１１を駆動制御するための３Ｄ用投光制御部１１３、２Ｄ投光装置１３を駆動制御するための２Ｄ用投光制御部１１５、及び撮像装置１５を駆動制御するための撮像制御部１１７を含む。ここで、３Ｄ用投光制御部１１３、２Ｄ用投光制御部１１５、及び撮像制御部１１７はそれぞれ、本発明の「第１投光制御部」、「第２投光制御部」、及び「撮像制御部」の一例である。

３Ｄ用投光制御部１１３は、先述のとおり３Ｄ投光装置１１を駆動制御することにより、３Ｄ投光装置１１による３Ｄ用照明の投光／非投光を切り換える。２Ｄ用投光制御部１１５も同様に、２Ｄ投光装置１３を駆動制御することにより、２Ｄ投光装置１３による２Ｄ用照明の投光／非投光を切り換える。

撮像制御部１１７は、撮像装置１５を駆動制御することにより、任意のタイミングで撮像装置１５による撮像を行う。具体的には、３Ｄ用投光制御部１１３による３Ｄ用照明投光制御時に３Ｄ用画像の撮像、２Ｄ用投光制御部１１５による２Ｄ用照明投光制御時に２Ｄ用画像の撮像を行うように、撮像制御部１１７は撮像装置１５を制御する。また、環境光による影響を考慮する場合には、３Ｄ用投光制御部１１３及び２Ｄ用投光制御部１１５により３Ｄ用照明及び２Ｄ用照明の非投光制御が行われているタイミングで、環境光画像の撮像を行うように、撮像制御部１１７は撮像装置１５を制御する。

画像入力部１１９は、撮像装置１５により撮像された画像の入力を受ける。具体的には、３Ｄ用画像、及び２Ｄ用画像の入力を撮像装置１５から入力される。入力された画像は、それぞれ３Ｄ用画像記録部１２１及び２Ｄ用画像記録部１２３により、図示しない記憶媒体に記憶される。環境光の影響も考慮する場合には、画像入力部１１９は、撮像装置１５により撮像された環境光画像の入力を受ける。入力された環境光画像は、環境光画像記録部１２５により、図示しない記憶媒体に記憶される。なお、環境光の影響を考慮しない場合には、環境光画像が不要となるため、制御部１１０は環境光画像記録部１２５に相当する構成を有さなくともよい。また、３Ｄ用画像記録部１２１及び２Ｄ用画像記録部１２３はそれぞれ、本発明の「第１撮像画像記録部」及び「第２撮像画像記録部」の一例である。

除算画像生成部１２７は、３Ｄ用画像記録部１２１及び２Ｄ用画像記録部１２３が記録した３Ｄ用画像及び２Ｄ用画像を用いて除算画像を生成する。環境光の影響を考慮しない場合には、除算画像は、３Ｄ用画像の各画素の輝度値を２Ｄ用画像の各画素の輝度値で除算することにより得られる。なおこのとき、除算画像生成部１２７は、３Ｄ用画像を２Ｄ用画像で単純に除算するのではなく、３Ｄ用画像の輝度値を所定係数で乗算したものを、２Ｄ用画像の輝度値を所定係数で乗算したもので除算することとしてもよい。

環境光の影響を考慮する場合には、除算画像は、３Ｄ用画像の各画素の輝度値から環境光画像の各画素の輝度値を減算した画像を、２Ｄ用画像の各画素の輝度値から環境光画像の各画素の輝度値を減算した画像で除算することにより得られる。なおこのとき、除算画像生成部１２７は、３Ｄ用画像及び２Ｄ用画像の輝度値をそのまま用いるのではなく、３Ｄ用画像及び２Ｄ用画像の輝度値を一次変換（所定係数で乗算、及び／又は所定値を加減算）したものを用いてもよい。

パターン光用画像読込部１２９は、３Ｄ投光装置１１がパターン光の投光に使用する画像を図示しない記憶媒体から読み込む。３次元位置計算部１３１は、除算画像生成部１２７が生成した除算画像に含まれるパターンと、パターン光用画像読込部１２９が読み込んだ画像に含まれるパターンとの対応関係を求めることにより、対象物上の各点の３次元位置を計算する。３次元点群出力部１３３は、３次元位置計算部１３１が算出した各点の３次元座標の情報からなる３次元点群情報を出力する。

［２．３ 認識部１５０］
認識部１５０は、ＣＡＤモデル読込部１５１、ＣＡＤ照合部１５３、及び照合結果出力部１５５を含む。

ＣＡＤモデル読込部１５１は、図示しない記憶媒体に予め記憶された、対象物の３次元情報であるＣＡＤモデル情報を読み込む。ＣＡＤ照合部１５３は、ＣＡＤモデル読込部１５１が読み込んだ対象物のＣＡＤモデル情報と、３次元点群出力部１３３から出力された、制御部１１０により計測された対象物の３次元点群情報との照合（マッチング）を行う。これにより、対象物の向きや位置等を特定することができる。

照合結果出力部１５５は、ＣＡＤ照合部１５３による照合結果、すなわち対象物の向きや位置等の情報を任意の記憶媒体や外部装置等に出力する。例えば、照合結果出力部１５５が、ロボットアームを有するロボットに対して照合結果を出力することで、当該ロボットは、対象物を把持できるようになる。

［３ 処理の流れ］
以下、図３を参照しながら、画像処理システム１の処理の流れを説明する。図３は、画像処理システム１の処理の流れを示すフローチャートである。

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加してもよい。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、駆動制御部１１１の３Ｄ用投光制御部１１３は、３Ｄ投光装置１１により、３次元位置を特定するためのパターンを持つ３Ｄ用照明を被写体へ向けて投光させる（Ｓ３０１）。撮像制御部１１７は、３Ｄ用照明が投光された対象物を撮像することにより、３Ｄ用画像を生成する（Ｓ３０３）。生成された３Ｄ用画像は３Ｄ用画像記録部１２１により

また、駆動制御部１１１の２Ｄ用投光制御部１１５は、２Ｄ投光装置１３により２Ｄ用照明（略均一光）を被写体へ向けて投光させる（Ｓ３０５）。撮像制御部１１７は、２Ｄ用照明が投光された対象物を撮像することにより、２Ｄ用画像を生成する（Ｓ３０７）。

更に、環境光による影響を考慮するのであれば、３Ｄ投光装置１１及び２Ｄ投光装置１３が非投光の状態において、駆動制御部１１１の撮像制御部１１７は被写体を撮像することにより、環境光画像を生成する（Ｓ３０９）。もし環境光の影響を考慮しないのであれば、Ｓ３０９の処理は不要である。

なお、Ｓ３０１及びＳ３０３の処理、Ｓ３０５及びＳ３０７の処理、並びにＳ３０９の処理の順序は任意に入れ替えることが可能である。例えば、最初に環境光画像の撮影を行うＳ３０９の処理を行い、次に２Ｄ用画像を撮影するためのＳ３０５及びＳ３０７の処理を行い、最後に３Ｄ用画像を撮影するためのＳ３０１及びＳ３０３の処理を行うことも可能である。

除算画像生成部１２７は、生成された３Ｄ用画像、２Ｄ用画像、及び環境光画像を用いて除算画像を生成する。除算画像は、先述のとおり、３Ｄ用画像の各画素の輝度値から環境光画像の各画素の輝度値を減算した画像を、２Ｄ用画像の各画素の輝度値から環境光画像の各画素の輝度値を減算した画像で除算することにより生成できる。もし環境光による影響を考慮しないのであれば、除算画像は、３Ｄ用画像の各画素の輝度値を、２Ｄ用画像の各画素の輝度値で除算することにより生成できる。

３次元位置計算部１３１は、このようにして生成された除算画像を用いて、対象物上の各々の点の３次元座標の情報である３次元点群情報（３次元マップ）を生成する（Ｓ３１３乃至Ｓ３２１）。３Ｄ用パターンが投光された対象物の画像（ここでは、３Ｄ用パターンが投光された対象物の３Ｄ用画像から生成された除算画像）から、対象物上の各位置の３次元座標を求める手法は種々考えられる。例えば、除算画像から、３Ｄ用パターンに係る処理対象画素を抽出し（Ｓ３１３）、当該処理対象画素周囲のワードから、パターン光の投光に用いた３Ｄ用パターンを持つ画像中の対応画素及び対応列を特定し（Ｓ３１５）、対応列により特定される平面と、パターン光投光に用いた画像と除算画像との対応画素間を結ぶ直線との交点として、撮像画像の処理対象画素に係る、対象物上の位置までの距離を算出する（Ｓ３１７）こと等が考えられる。このような処理を、撮像画像の全ての画素に対する処理が終わるまで（Ｓ３１９のＮｏ）繰り返せばよい。なお、ワードとは、例えば、３Ｄ用パターンを持つ画像内における一定の領域により構成されるものであり、当該ワードを構成するパターンによって、画像内における位置を特定することができる。

このようにして、対象物上の各点での三次元座標を求めると、３次元点群出力部１３３は、これらを集めて３次元点群情報（３次元マップ）として出力する（Ｓ３２１及びＳ３２３）。

ＣＡＤ照合部１５３は、生成された対象物の３次元マップと、予め記憶された対象物のＣＡＤモデルとを照合することにより、撮像画像中の対象物の位置及び方向を特定する（Ｓ３２５）。照合結果出力部１５５は、当該照合結果を、例えばロボットアームを持つロボット等の外部装置や記憶媒体等へ出力する（Ｓ３２５）。当該照合結果の入力を受けたロボットは、当該照合結果に基づいて、対象物の把持すべき位置等を特定することができる。

［４ 投光装置の構成例］
以下、図４乃至図７を参照しながら、３Ｄ投光装置１１及び２Ｄ投光装置１３の構成例を説明する。

［４．１ 第１構成例］
まず、図４を参照しながら、３Ｄ投光装置１１及び２Ｄ投光装置１３の第１構成例を説明する。第１構成例では、３Ｄ投光装置１１及び２Ｄ投光装置１３は、投光装置４０として一体的に構成される。

投光装置４０は、光源４０１、レンズ４０３、ビームスプリッタ（ＢＳ）４０５、ミラー４０７、マスク４０９、ミラー４１１、マスク４１３、偏光ビームスプリッタ（ＰＢＳ）４１５、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）４１７、及び投光レンズ４１９を含む。

光源４０１は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、ＬＤ（Ｌａｓｅｒ Ｄｉｏｄｅ）、ＶＣＳＥＬ（Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）、又はランプ等により実現可能であり、単色波長の光束を投光する。

光源４０１から照射された光束は、レンズ４０３により、マスク４０９及び４１３へと導光される。導光経路において、光束はＢＳ４０５によりＳ偏光成分とＰ偏光成分とに分離される。分離された光束のうち、ＢＳ４０５に反射された成分（ここではＰ偏光とする）は、ミラー４０７により反射され、３Ｄ用照明とするための３Ｄ用フォトマスクパターンを持つマスク４０９を透過し、ＰＢＳ４１５に入射する。

一方、ＢＳ４０５により分離された光束のうち、ＢＳ４０５を透過した成分（ここではＳ偏光とする）は、ミラー４１１により反射され、略均一光である２Ｄ用照明とするためのマスク４１３を透過し、ＰＢＳ４１５に入射する。ここで、マスク４１３は、開口若しくは光束が均一化される拡散面などであることが考えられる。或いは、ＢＳ４０５で反射された光束の光路長とＢＳ４０５を透過した光束の光路長とを同等にするためのガラス板によりマスク４１３を実現することも考えられる。

ＰＢＳ４１５は、マスク４０９を透過した光束（ここではＰ偏光）を透過させ、及びマスク４１３を透過した光束（ここではＳ偏光）を反射させることにより合波する。合波された光束はＬＣＤ４１７に入射する。ＬＣＤ４１７は、電気信号により、Ｐ偏光及びＳ偏光の透過／不透過を時間分割的に切り換える。投光レンズ４１９は、ＬＣＤ４１７を透過した光、すなわちＰ偏光（ここでは３Ｄ用照明）又はＳ偏光（ここでは２Ｄ用照明）を投光する。

図４に係る投光装置４０は、３Ｄ用照明及び２Ｄ用照明を同一の光源、同一の投光レンズ等を用いて投光する。これにより、３Ｄ用照明及び２Ｄ用照明の投光の中心軸や画角、強度分布、波長特性等を同等とすることができる。すなわち、３Ｄ用照明及び２Ｄ用照明を対象物へ投光した際の反射特性を正確に一致させることが可能である。これにより、３Ｄ用照明及び２Ｄ用照明を対象物に投光し、それを撮像することにより得られる３Ｄ用画像及び２Ｄ用画像での反射特性に応じた影響も同等となる。この結果、画像処理システム１が除算画像を生成すると、除算画像において、対象物表面での反射率に応じた係数成分の影響を極めて小さく抑えることができる。

［４．２ 第２構成例］
次に、図５を参照しながら、３Ｄ投光装置１１及び２Ｄ投光装置１３の第２構成例を説明する。第２構成例でも第１構成例と同様に、３Ｄ投光装置１１及び２Ｄ投光装置１３は、投光装置５０として一体的に構成される。しかしながら、第１構成例とは異なり、投光装置５０では、３Ｄ用照明に用いる光源５０１と２Ｄ用照明に用いる光源５０７とを独立して設けている。

投光装置５０は、光源５０１、レンズ５０３、マスク５０５、光源５０７、レンズ５０９、マスク５１１、ＰＢＳ５１３、ＬＣＤ５１５、及び投光レンズ５１７を含む。

光源５０１及び光源５０７は、例えばＬＤやＶＣＳＥＬ等により実現可能であり、偏光成分が均一であることが望ましい。ここでは、光源５０１がＰ偏光、光源５０７がＳ偏光であるものとする。光源５０１及び光源５０７の波長特性は異なっていてもよい。なお、対象物に照射される３Ｄ用照明の強度と２Ｄ用照明の強度が均一化するように、３Ｄ用照明に用いる光源５０１の強度を、２Ｄ用照明に用いる光源５０７の強度よりも強くしても良い。

光源５０１から照射された光束は、レンズ５０３により、マスク５０５へと導光される。同様に、光源５０７から照射された光束は、レンズ５０９により、マスク５１１へと導光される。マスク５０５、マスク５１１、ＰＢＳ５１３、ＬＣＤ５１５、及び投光レンズ５１７については、各々、上記第１構成例のマスク４０９、マスク４１３、ＰＢＳ４１５、ＬＣＤ４１７、及び投光レンズ４１９と同様とすることができる。

図５に係る投光装置５０は、３Ｄ照明及び２Ｄ用照明を同一の投光レンズで投光する。これにより、３Ｄ用照明及び２Ｄ用照明の投光の中心軸や画角、強度分布等を同等とすることができる。これにより、３Ｄ用照明及び２Ｄ用照明を対象物へ投光した際の反射特性をほぼ一致させることが可能である。この結果、３Ｄ用画像の成分を２Ｄ用画像の成分で除算して得られる除算画像を生成すると、除算画像において、対象物表面での反射率に応じた係数成分（上述のαに相当）の影響を極めて小さく抑えることができる。
また、第２構成例では、ビームスプリッタやミラーが不要であるため、第１構成例よりもサイズを小さくしたり、コストを抑制したりできる場合がある。

［４．３ 第３構成例］
続いて、図６を参照しながら、３Ｄ投光装置１１及び２Ｄ投光装置１３の第３構成例を説明する。第３構成例では、投光装置６０が３Ｄ投光装置１１に、投光装置６１が２Ｄ投光装置１３に、それぞれ相当する。

投光装置６０は、光源６０１、レンズ６０３、マスク６０５、及び投光レンズ６０７を含む。また投光装置６１は、光源６１１、レンズ６１３、マスク６１５、投光レンズ６１７を含む。

光源６０１及び光源６１１は、例えばＬＤやＶＣＳＥＬ等の偏光成分が均一なものが適しているが、他にも、ＬＥＤやランプ等によっても実現可能である。波長は単色波長でもよいし、単色波長でなくともよい。光源６０１及び光源６１１の波長特性は異なっていてもよい。なお、対象物に照射される３Ｄ用照明の強度と２Ｄ用照明の強度が均一化するように、３Ｄ用照明に用いる光源６０１の強度を、２Ｄ用照明に用いる光源６１１の強度よりも強くしても良い。

光源６０１から照射された光束は、レンズ６０３により、マスク６０５へと導光される。同様に、光源６１１から照射された光束は、レンズ６１３により、マスク６１５へと導光される。

マスク６０５及びマスク６１５は、それぞれ、第１構成例のマスク４０９及びマスク４１３に対応する。マスク６０５及びマスク６１５を透過した光束は、それぞれ、投光レンズ６０７及び投光レンズ６１７を投光する。ここで、投光レンズ６０７及び投光レンズ６１７は、投射する光の画角、強度分布等の特性がほぼ同等であることが望ましい。

投光レンズ６０７及び６１７の画角及び強度分布を同等とし、また、３Ｄ用照明に用いる投光レンズ６０７及び２Ｄ用照明に用いる投光レンズ６１７を近接させて配置し、更に両者の投光の中心軸を略平行とすることにより、３Ｄ用照明と２Ｄ用照明とを略同軸とみなすことができる。これにより、３Ｄ用照明及び２Ｄ用照明を対象物に投光し、それを撮像することにより得られる３Ｄ用画像及び２Ｄ用照明での反射特性に応じた影響も同等となる。この結果、３Ｄ用画像の成分を２Ｄ用画像の成分で除算して得られる除算画像を生成すると、除算画像において、対象物表面の反射率に応じた係数成分の影響を低く抑えることができる。

また、第３構成例では、ビームスプリッタやＰＢＳ、ミラー、ＬＣＤが不要であるため、第１構成例よりもサイズを小さくしたり、コストを抑制したりできる場合がある。

［４．４ 第４構成例］
図７を参照しながら、３Ｄ投光装置１１及び２Ｄ投光装置１３の第４構成例を説明する。第４構成例では、投光装置７０が３Ｄ投光装置１１に、光源モジュール７１が２Ｄ投光装置１３に、それぞれ相当する。
投光装置７０は、第３構成例に示した投光装置６０と同様に、光源７０１、レンズ７０３、マスク７０５、及び投光レンズ７０７を含む。

光源モジュール７１は、光源７１１及びレンズ７１３を含む。光源７１１は、ＬＥＤ、ＬＤ、ＶＣＳＥＬ、又はランプにより実現可能である。波長は単色波長であってもよいし、単色波長でなくともよい。光源７０１及び光源７１１の波長特性は異なっていてもよい。なお、対象物に照射される３Ｄ用照明の強度と２Ｄ用照明の強度が均一化するように、３Ｄ用照明に用いる光源７０１の強度を、２Ｄ用照明に用いる光源７１１の強度よりも強くしても良い。

光源７０１から照射された光束は、レンズ７１３により２Ｄ用光源（略均一光）として投光される。この際、レンズ７１３から投光される２Ｄ用照明の画角は、投光レンズ７０７による投光の画角と略同一であることが望ましい。

投光レンズ７０７とレンズ７１３の画角を同等とし、また、３Ｄ用照明に用いる投光レンズ７０７及び２Ｄ用照明に用いる光源モジュール４１を近接させて配置し、更に両者の投光の中心軸を略並行とすることにより、３Ｄ用照明と２Ｄ用照明とを略同軸とみなすことができる。これにより、３Ｄ用照明及び２Ｄ用照明を対象物に投光し、それを撮像することにより得られる３Ｄ用画像及び２Ｄ用照明での反射特性に応じた影響も同等となる。この結果、３Ｄ用画像の成分を２Ｄ用画像の成分で除算して得られる除算画像を生成すると、除算画像における対象物表面の反射率に応じた係数成分の影響を低く抑えることができる。

また、第４構成例では、光源モジュール７１を簡易チップＬＥＤ等の簡素な構成で実現することができる。この結果、第１構成例乃至第３構成例に比べ、低コストで実現することができる。

［５ ハードウェア構成］
以下、図８を参照しながら、画像処理システム１を実現可能なハードウェア構成を説明する。図８は、本実施形態に係る画像処理システム１のハードウェア構成の一例を模式的に例示する。

図８の例に示す画像処理システム１は、制御部８０１、記憶部８０５、通信インタフェース（Ｉ／Ｆ）部８１１、入力部８１３、及び出力部８１５を含み、各部はバスライン８１７を介して相互に通信可能に接続され得る。

制御部８０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３、ＲＯＭ（ＲＥＡＤＯｎｌｙ Ｍｅｍｏｒｙ）等を副意味、情報処理に応じて各構成要素の制御を行う。記憶部８０５は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり制御部８０１で実行される画像処理プログラム８０７、及び、パターン光の投光に用いる画像や、撮像される３Ｄ用画像、２Ｄ用画像、及び環境光画像等である画像データ８０９等を記憶する。この他、ＣＡＤモデルデータ等も記憶部８０５に記憶される。

画像処理プログラム８０７は、図１乃至図３を参照しながら説明してきた、画像処理システム１の処理を実行させるためのプログラムである。特に、図２に示した制御部１１０及び認識部１５０の各構成は、画像処理プログラム８０７として実現しうる。

通信インタフェース（Ｉ／Ｆ）部８１１は、例えば、有線又は無線により他の装置と通信するための通信モジュールである。通信Ｉ／Ｆ部８１１が他の装置との通信に用いる通信方式は任意であるが、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等が挙げられる。特に、３Ｄ投光装置１１、２Ｄ投光装置１３、及び撮像装置１５は、通信Ｉ／Ｆ部８１１を介して、制御部８０１等と通信可能に設けることが可能である。

入力部８１３は、例えば、マウスやキーボード、タッチパネル等で実現しうる、ユーザからの各種入力操作を受け付けるためのデバイスである。出力部８１５は、例えば、ディスプレイやスピーカ等、表示や音声等により、画像処理システム１を利用するユーザ等へ各種情報を報知するための装置である。

［６ 本実施形態の効果］
以上説明したように、本実施形態に係る画像処理システム１では、３次元計測用のパターン光を対象物に投光し、それを撮像することにより得られる３Ｄ用画像に加えて、略均一光である２Ｄ用照明を投光し、２Ｄ用画像を撮像する。３Ｄ用画像の成分を２Ｄ用画像の成分で除算することで、３次元計測で課題となる、対象物表面の凹凸形状や光の反射／浸透等の反射率に応じた係数成分の影響を除去することができる。これにより、表面の形状が複雑な対象物であっても、好適に３次元形状を計測することができる。

［７ 付記］
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

（付記１）
３次元形状を特定するためのパターン光を対象物に投光する第１投光部（１１）と、
照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光部（１１）による投光と略同一角度で前記対象物に投光する第２投光部（１３）と、
前記第１投光部（１１）による前記対象物への前記パターン光の投光を制御する第１投光制御部（１１３）と、
前記第２投光部（１３）による前記対象物への前記略均一照明の投光を制御する第２投光制御部（１１５）と、
前記対象物を撮像する撮像部（１５）と、
前記撮像部（１５）による撮像を制御する撮像制御部（１１７）と、
前記第１投光制御部（１１３）が前記パターン光の投光するように制御し、かつ、前記第２投光制御部（１１５）が前記略均一照明の投光しないよう制御した状態で、前記撮像部（１５）により撮像された第１撮像画像を記録する第１撮像画像記録部（１２１）と、
前記第１投光制御部（１１３）が前記パターン光の投光しないように制御し、かつ、前記第２投光制御部（１１５）が前記略均一照明の投光するよう制御した状態で、前記撮像部（１５）により撮像された第２撮像画像を記録する第２撮像画像記録部（１２３）と、
前記第１撮像画像に係る成分を前記第２撮像画像に係る成分で除算することにより除算画像を生成する生成部と、
前記除算画像を用いて、前記対象物の３次元位置を計算する計算部と
を備える画像処理システム。

（付記２）
前記生成部（１２７）は、前記第１投光部及び前記第２投光部の非投光時に、環境光が前記対象物に投光された第３撮像画像に係る成分を前記第１撮像画像に係る成分から減算して得られる画像に係る成分を、前記第２撮像画像に係る成分から前記第３撮像画像に係る成分を減算して得られる画像に係る成分で除算することにより前記除算画像を生成する、
付記１記載の画像処理システム（１）。

（付記３）
前記第１撮像画像の撮像時における前記第１投光部（１１）の投光時間よりも、前記第２撮像画像の撮像時における前記第２投光部（１３）の投光時間の方が短い、
付記１又は付記２記載の画像処理システム（１）。

（付記４）
前記第１撮像画像の撮像時における前記撮像部（１５）の露光時間よりも、前記第２撮像画像の撮像時における前記撮像部（１５９）の露光時間の方が短い、
付記１又は付記２記載の画像処理システム（１）。

（付記５）
前記第１投光部（１１）及び前記第２投光部（１３）は、同一の投光レンズ（４１９、５１７）を用いて投光する、
付記１乃至付記４のいずれか１項記載の画像処理システム（１）。

（付記６）
前記第１投光部（１１）及び前記第２投光部（１３）は、同一の光源（４０１）を用いて投光する、
付記５記載の画像処理システム（１）。

（付記７）
前記第１投光部（１１）は、第１光源（５０１、６０１、７０１）を用いて投光し、
前記第２投光部（１３）は、前記第１光源（５０１、６０１、７０１）と別に設けられた第２光源（５０７、６１１、７１１）を用いて、前記第１投光部（１１）と略同一角度で前記対象物に投光する、
付記１乃至付記４のいずれか１項記載の画像処理システム（１）。

（付記８）
前記第１投光部（１１）は、第１光源（６０１）及び第１投光レンズ（６０７）を用いて投光し、
前記第２投光部（１３）は、前記第１光源（６０１）及び前記第１投光レンズ（６０７）とは別に設けられた第２光源（６１１）及び第２投光レンズ（６１７）を用いて、前記第１投光部（１１）による投光と略同一角度で前記対象物に投光する、
付記１乃至付記４のいずれか１項記載の画像処理システム（１）。

（付記９）
前記第１光源の強度は、前記第２光源の強度よりも強い、
付記７又は付記８記載の画像処理システム（１）。

（付記１０）
前記対象物の３次元構造データを読み込む読込部（１５１）と、
前記対象物に係る前記３次元構造データと、前記３次元位置とを照合する照合部（１５３）と
を更に備える、付記１乃至付記９のいずれか１項記載の画像処理システム（１）。

（付記１１）
３次元形状を特定するためのパターン光を対象物に投光する第１投光部（１１）を制御する第１投光処理と、
照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光処理による投光と略同一角度で前記対象物に投光する第２投光部（１３）を制御する第２投光処理と、
前記対象物を撮像する撮像部（１５）を制御する撮像処理と、
前記第１投光処理で前記パターン光の投光するように制御し、かつ、前記第２投光処理で前記略均一照明の投光しないよう制御した状態で、前記撮像部により撮像された第１撮像画像を記録する第１撮像画像記録処理と、
前記第１投光処理で前記パターン光の投光しないように制御し、かつ、前記第２投光処理で前記略均一照明の投光するよう制御した状態で、前記撮像部により撮像された第２撮像画像を記録する第２撮像画像記録処理と、
前記第１撮像画像に係る成分を、前記第２撮像画像に係る成分で除算することにより除算画像を生成する生成処理と、
前記除算画像を用いて、前記対象物の３次元位置を計算する計算処理と
を画像処理システム（１）が行う、画像処理方法。

１…画像処理システム、１１…３Ｄ投光装置、１３…２Ｄ投光装置、１５…撮像装置、４０…投光装置、４１…光源モジュール、５０…投光装置、６０…投光装置、６１…投光装置、７０…投光装置、７１…光源モジュール、１１０…制御部、１１１…駆動制御部、１１３…３Ｄ用投光制御部、１１５…２Ｄ用投光制御部、１１７…撮像制御部、１１９…画像入力部、１２１…３Ｄ用画像記録部、１２３…２Ｄ用画像記録部、１２５…環境光画像記録部、１２７…除算画像生成部、１２９…パターン光用画像読込部、１３１…３次元位置計算部、１３３…３次元点群出力部、１５０…認識部、１５１…ＣＡＤモデル読込部、１５３…ＣＡＤ照合部、１５５…照合結果出力部、８０１…制御部、８０５…記憶部、８０７…画像処理プログラム、８０９…画像データ、８１１…通信インタフェース部、８１３…入力部、８１５…出力部、８１７…バスライン

Claims (11)

1. ３次元形状を特定するためのパターン光を対象物に投光する第１投光部と、
   照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光部による投光と略同一角度で前記対象物に投光する第２投光部と、
   前記第１投光部による前記対象物への前記パターン光の投光を制御する第１投光制御部と、
   前記第２投光部による前記対象物への前記略均一照明の投光を制御する第２投光制御部と、
   前記対象物を撮像する撮像部と、
   前記撮像部による撮像を制御する撮像制御部と、
   前記第１投光制御部が前記パターン光の投光するように制御し、かつ、前記第２投光制御部が前記略均一照明の投光しないよう制御した状態で、前記撮像部により撮像された第１撮像画像を記録する第１撮像画像記録部と、
   前記第１投光制御部が前記パターン光の投光しないように制御し、かつ、前記第２投光制御部が前記略均一照明の投光するよう制御した状態で、前記撮像部により撮像された第２撮像画像を記録する第２撮像画像記録部と、
   前記第１撮像画像に係る成分を前記第２撮像画像に係る成分で除算することにより除算画像を生成する生成部と、
   前記除算画像を用いて、前記対象物の３次元位置を計算する計算部と
   を備える画像処理システム。
2. 前記生成部は、前記第１投光部及び前記第２投光部の非投光時に、環境光が前記対象物に投光された第３撮像画像に係る成分を前記第１撮像画像に係る成分から減算して得られる画像に係る成分を、前記第２撮像画像に係る成分から前記第３撮像画像に係る成分を減算して得られる画像に係る成分で除算することにより前記除算画像を生成する、
   請求項１記載の画像処理システム。
3. 前記第１撮像画像の撮像時における前記第１投光部の投光時間よりも、前記第２撮像画像の撮像時における前記第２投光部の投光時間の方が短い、
   請求項１又は請求項２記載の画像処理システム。
4. 前記第１撮像画像の撮像時における前記撮像部の露光時間よりも、前記第２撮像画像の撮像時における前記撮像部の露光時間の方が短い、
   請求項１又は請求項２記載の画像処理システム。
5. 前記第１投光部及び前記第２投光部は、同一の投光レンズを用いて投光する、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
6. 前記第１投光部及び前記第２投光部は、同一の光源を用いて投光する、
   請求項５記載の画像処理システム。
7. 前記第１投光部は、第１光源を用いて投光し、
   前記第２投光部は、前記第１光源と別に設けられた第２光源を用いて、前記第１投光部と略同一角度で前記対象物に投光する、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
8. 前記第１投光部は、第１光源及び第１投光レンズを用いて投光し、
   前記第２投光部は、前記第１光源及び前記第１投光レンズとは別に設けられた第２光源及び第２投光レンズを用いて、前記第１投光部による投光と略同一角度で前記対象物に投光する、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
9. 前記第１光源の強度は、前記第２光源の強度よりも強い、
   請求項７又は請求項８記載の画像処理システム。
10. 前記対象物の３次元構造データを読み込む読込部と、
    前記対象物に係る前記３次元構造データと、前記３次元位置とを照合する照合部と
    を更に備える、請求項１乃至請求項９のいずれか１項記載の画像処理システム。
11. ３次元形状を特定するためのパターン光を対象物に投光する第１投光部を制御する第１投光処理と、
    照射エネルギーが投光方向の断面方向において略均一な略均一照明を、前記第１投光処理による投光と略同一角度で前記対象物に投光する第２投光部を制御する第２投光処理と、
    前記対象物を撮像する撮像部を制御する撮像処理と、
    前記第１投光処理で前記パターン光の投光するように制御し、かつ、前記第２投光処理で前記略均一照明の投光しないよう制御した状態で、前記撮像部により撮像された第１撮像画像を記録する第１撮像画像記録処理と、
    前記第１投光処理で前記パターン光の投光しないように制御し、かつ、前記第２投光処理で前記略均一照明の投光するよう制御した状態で、前記撮像部により撮像された第２撮像画像を記録する第２撮像画像記録処理と、
    前記第１撮像画像に係る成分を、前記第２撮像画像に係る成分で除算することにより除算画像を生成する生成処理と、
    前記除算画像を用いて、前記対象物の３次元位置を計算する計算処理と
    を画像処理システムが行う、画像処理方法。

Images