JP2019219208A - 画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】信頼性の高い計測結果を得ることを支援する画像処理装置を提供する。【解決手段】画像処理システムは、対象物の撮像によって得られた撮像画像に基づいて、対象物の三次元形状を計測する計測部と、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出する信頼度算出部と、算出された指標が予め定められた基準を満たすか否かを領域毎に評価する信頼度評価部と、三次元形状の計測結果と、撮像画像において基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部とを備える。【選択図】図１

Description

本発明は、画像処理システムおよび画像処理方法に関する。

従来、対象物の三次元計測を行う三次元計装置が知られている。
このような三次元計測装置として、たとえば特許文献１には、ステレオ画像間の対応位置を探索することによって静止物体（対象物）の三次元計測を行うステレオ三次元計測システムが開示されている。このステレオ三次元計測システムは、静止物体までの距離を計測し、計測して得られた計測結果を表示装置に表示させる。

特開２００８−２７５３６６号公報

三次元計測に関し、信頼性の高い計測結果を得るためには、三次元計測についての信頼度を示す指標が基準を満たしている必要がある。

しかしながら、特許文献１のステレオ三次元計測システムにおいては、ユーザが計測結果あるいは撮像画像を視認しても、ユーザは上記指標が基準を満たしているか否かを判断することはできない。特に、ユーザが、計測結果あるいは撮像画像を目視したところで、上記指標が基準を満たしていない領域を特定することは極めて困難である。

本開示は、上記の問題点に鑑みなされたものであって、その目的は、信頼性の高い計測結果を得ることを支援する画像処理装置および画像処理方法を提供することにある。

本開示のある局面に従うと、画像処理システムは、対象物の撮像によって得られた第１の撮像画像に基づいて、対象物の三次元形状を計測する計測部と、第１の撮像画像に基づいて、三次元形状の計測についての信頼度を示す第１の指標を領域毎に算出する信頼度算出部と、算出された第１の指標が予め定められた第１の基準を満たすか否かを領域毎に評価する信頼度評価部と、三次元形状の計測結果と、第１の撮像画像において第１の基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部とを備える。

上記の構成によれば、ユーザが表示部に表示された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。それゆえ、三次元計測システムによれば、信頼性の高い計測結果を得ることを支援することができる。

好ましくは、信頼度算出部は、第１の撮像画像に基づいて、信頼度を示す第２の指標を領域毎にさらに算出する。信頼度評価部は、算出された第２の指標が予め定められた第２の基準を満たすか否かを領域毎にさらに評価する。結果画像は、第１の撮像画像において第２の基準を満たさない領域をさらに示す。

上記の構成によれば、ユーザは、算出された各指標が領域毎に基準を満たしているか否かを知ることができる。

好ましくは、表示部は、第１の基準を満たさない領域を第１の態様で表示し、かつ第２の基準を満たさない領域を第２の態様で表示する。

上記の構成によれば、ユーザは、第１の指標について第１の基準を満たさなかった領域と、第２の指標について第２の基準を満たさない領域とを区別して視認することが可能となる。

好ましくは、表示部は、第１の撮像画像に重畳させた状態で結果画像を表示する。
上記の構成によれば、ユーザは、対象物の撮像によって得られた撮像画像とともに結果画像を視認することが可能となる。

好ましくは、表示部は、計測結果に重畳させた状態で結果画像を表示する。
上記の構成によれば、ユーザは、計測結果とともに結果画像を視認することが可能となる。

好ましくは、画像処理システムは、予め定められた空間パターンを被写体に投影する投影部と、対象物を撮像する撮像部とをさらに備える。撮像部は、対象物に空間パターンが投影された状態で対象物を撮像することより第１の撮像画像を生成する。計測部は、第１の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、対象物の三次元形状を計測する。撮像部は、空間パターンが投影されていない状態で対象物をさらに撮像することにより第２の撮像画像を生成する。表示部は、第２の撮像画像に重畳させた状態で結果画像を表示する。

上記の構成によれば、ユーザは、空間パターンが投影されていない状態の対象物の撮像画像とともに、結果画像を視認することが可能となる。

好ましくは、表示部は、対象物の撮像が複数回行われた場合には、複数回の撮像により得られた複数の第１の撮像画像のうちの一つが指定されると、指定された第１の撮像画像に重畳させた状態で当該第１の撮像画像によって得られた結果画像を表示する。

上記の構成によれば、画像処理システムは、複数の撮像画像が得られた場合、指定された１つの撮像画像について結果画像を表示することができる。

好ましくは、表示部は、対象物の撮像が複数回行われた場合には、複数回の撮像により得られた複数の第１の撮像画像の各々に当該第１の撮像画像によって得られた結果画像を重畳した状態で複数の結果画像を表示する。

上記の構成によれば、画像処理システムは、複数の撮像画像の各々に結果画像を重畳して表示する。それゆえ、ユーザは、各回の計測において算出された各指標が領域毎に各基準を満たしているか否かを、１つの画面表示で確認することができる。

好ましくは、複数回の撮像は、互いに異なる位置からの撮像である。
上記の構成によれば、撮像位置の適否（良否）を客観的に評価可能となる。

好ましくは、第１の態様と第２の態様とでは、色、ハッチングパターン、または点滅パターンが異なる。

上記の構成によれば、ユーザは、表示部の表示を視認するだけで、第１の指標および第２の指標のうちの何れの指標が基準を満たしていなかったかを知ることができる。

好ましくは、投影部は、結果画像を対象物に投影する。
上記の構成によれば、ユーザが対象物に投影された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。

好ましくは、画像処理システムは、予め定められた空間パターンを被写体に投影する投影部と、対象物を撮像する撮像部とをさらに備える。撮像部は、対象物に空間パターンが投影された状態で対象物を撮像することより第１の撮像画像を生成する。計測部は、第１の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、対象物の三次元形状を計測する。第１の指標は、計測時の光量、第１の撮像画像に現れるパターンの崩れ、および第１の撮像画像に現れるパターンのボケの三つの指標のうちの一つである。第２の指標は、三つの指標のうち、第１の指標とは異なる一つの指標である。

上記の構成によれば、ユーザは、計測時の光量、第１の撮像画像に現れるパターンの崩れ、および第１の撮像画像に現れるパターンのボケがそれぞれに設定された基準を満たしているか否かを判断することができる。

好ましくは、信頼度評価部は、第１の基準を満たさない領域と、第２の基準を満たさない領域とが重複している場合、当該重複している領域の周囲の領域の計測結果に基づいて、当該重複している領域において予め定められた事象が起こっているか否かをさらに推定する。結果画像は、予め定められた事象が起こっていると判断された領域をさらに示す。

上記の構成によれば、重複している領域において予め定められた事象が起こっている場合には、ユーザは、当該事象の発生を知ることができる。

好ましくは、信頼度評価部は、第１の基準を満たさない領域と、第２の基準を満たさない領域とが重複している場合、第１の指標と第１の基準との差分および第２の指標と第２の基準との差分とに基づいて、第１の指標および第２の指標のうち信頼度を低下させている度合いの大きい方の指標を特定する。表示部は、第１の態様と第２の態様とのうち、特定された指標に応じた態様で結果画像を表示する。

上記の構成によれば、ユーザは、第１の基準を満たさない領域と、第２の基準を満たさない領域とが重複している場合、当該重複している領域において信頼度を低下させている度合いの大きい要因（指標）を知ることができる。

本開示の他の局面に従うと、画像処理方法は、対象物を撮像するステップと、撮像により得られた撮像画像に基づいて、対象物の三次元形状を計測するステップと、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出するステップと、算出された指標が予め定められた基準を満たすか否かを領域毎に評価するステップと、三次元形状の計測結果と、基準を満たさない領域を示す結果画像とを、同時または選択的に表示するステップとを備える。

上記の方法によれば、ユーザが表示部に表示された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。それゆえ、三次元計測システムによれば、信頼性の高い計測結果を得ることを支援することができる。

本開示によれば、信頼性の高い計測結果を得ることを支援することができる。

三次元計測システムにおける処理の概要を説明するための図である。 三次元計測システムの概略構成を説明するための図である。 ３Ｄ計測センサの概略構成を表した図である。 空間パターンの一例を表した図である。 空間コード化法の計測原理を説明するための図である。 空間パターンの投影時の大きさを説明するための図である。 ユーザインターフェイスを生成するための処理を説明するための図である。 表示例を説明するための図である。 他の表示例を説明するための図である。 さらに他の表示例を説明するための図である。 第２の具体例の変形例を説明するための図である。 三次元計測システムの機能的構成を説明するためのブロック図である。 三次元計測システムにおいて実行される処理の流れを表したフロー図である。 被写体の撮像が複数回行われた場合の表示例を表した図である。 結果画像を被写体に投影した状態を表した図である。 他の形態の三次元計測システムにおける３Ｄ計測センサの概略構成を表した図である。

以下において、本発明の実施の形態について図面を参照しつつ説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについては詳細な説明は繰り返さない。

§１ 適用例
図１は、三次元計測システムにおける処理の概要を説明するための図である。

図１を参照して、三次元計測システムは、撮像部と、画像処理システムとを備える。画像処理システムは、画像処理装置と、表示部とを備える。画像処理装置は、図示しない、計測部と、信頼度算出部と、信頼度評価部とを有する。

撮像部は、状態（Ａ）に示すように、被写体である対象物を撮像する。撮像部による撮像によって得られた撮像画像は、画像処理装置に送られる。

画像処理装置の計測部は、対象物の撮像によって得られた撮像画像に基づいて、当該対象物の三次元形状を計測する。

信頼度算出部は、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出する。

信頼度評価部は、信頼度算出部によって算出された指標が予め定められた基準を満たすか否かを上記領域毎に評価する。

表示部は、三次元形状の計測結果を表示する。また、表示部は、状態（Ｂ）に示すように、撮像画像において上記基準を満たさない領域Ｖ１１，Ｖ１２，Ｖ１３を示す画像（以下、「結果画像」とも称する）を表示する。詳しくは、表示部は、上記計測結果と上記結果画像とを、同時または選択的に表示する。たとえば、表示部は、計測結果に結果画像を重畳させた状態で、これらの画像を表示する。

上記の構成によれば、ユーザが表示部に表示された結果画像を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを知ることができる。それゆえ、本例の三次元計測システムによれば、信頼性の高い計測結果を得ることを支援することができる。

また、撮像部の設置位置を変更することにより、各設置位置において、結果画像を得ることができる。それゆえ、本例の三次元計測装置によれば、撮像部の設置位置を客観的に評価することも可能となる。

§２ 構成例
［実施の形態１］
＜Ａ．システム構成＞
図２は、三次元計測システム１０００の概略構成を説明するための図である。本例では、空間コード化法を用いて三次元計測を行う場合を説明する。

図２を参照して、三次元計測システム１０００は、３Ｄ（dimensions）計測センサ１と、画像処理システム５０とを備える。画像処理システム５０は、画像処理装置２と、ディスプレイ３と、キーボード４とを備える。画像処理装置２は、センサコントローラあるいは視覚センサとも称される。

３Ｄ計測センサ１は、画像処理装置２と通信可能に接続されている。画像処理装置２は、ディスプレイ３に接続されている。キーボード４は、画像処理装置２に接続されている。

３Ｄ計測センサ１は、典型的には、建物９内に設置される。３Ｄ計測センサ１は、設備等の対象物（被写体）を撮像する。なお、本例では、ワークＷがコンベア上を搬送されている状態を表している。対象物の撮像により、設備とワークＷとを含む撮像画像が得られる。

詳細については後述するが、三次元計測システム１０００は、空間コード化法を用いて、被写体の三次元計測を行う。

＜Ｂ．３Ｄセンサ＞
図３は、３Ｄ計測センサ１の概略構成を表した図である。

図３を参照して、３Ｄ計測センサ１は、投影部１１と、撮像部１２とを備えている。
投影部１１は、光源１１１と、フォトマスク１１２と、光学系１１３とを有する。撮像部１２は、受光素子１２１と、光学系１２２とを有する。

光源１１１は、所定の波長の光をフォトマスク１１２の方向に向けて照射する。フォトマスク１１２には、所定のパターンが形成されている。フォトマスク１１２を通過した光は、光学系１１３を介して、外部に照射される。これにより、外部空間に空間パターンが投影される。

撮像部１２は、空間パターンが投影された状態の被写体を撮像する。詳しくは、光学系１２２を通過した光を受光素子１２１が受光することにより、撮像画像が得られる。

なお、光学系１１３，１２２の各々は、１または複数のレンズを含んで構成される。
＜Ｃ．空間コード化法＞
三次元計測システム１０００において用いられる空間コード化法について説明する。

（ｃ１．原理）
図４は、空間パターンの一例を表した図である。図４を参照して、空間パターンＰは、フォトマスク１１２を光源１１１からの光が通過することによって生じる。

空間パターンＰは、被写体に投影される。撮像部１２は、被写体に空間パターンＰが投影された状態で、当該被写体を撮像する。

図５は、空間コード化法の計測原理を説明するための図である。
図５（Ａ）は、４種類のコードを表した図である。４種類のコードによって、０〜３の４つの数値を表現できる。

図５（Ａ）を参照して、各コードは、４つの大きな正方形Ｑａ，Ｑｂ，Ｑｃ，Ｑｄと、中心部に位置する１つの小さな正方形Ｑｅとで構成される。正方形Ｑａ〜Ｑｄの各々は、コードの中心位置Ｒがコーナとなるように配置されている。中心位置Ｒは、小さな正方形Ｑｅの中心位置でもある。

４つの大きな正方形Ｑａ，Ｑｂ，Ｑｃ，Ｑｄは、「グリッド」と称される。グリッドの交点に位置する小さな正方形Ｑｅは、「プリミティブ」と称される。後述するように、２種類のグリッドと、２種類のプリミティブとの組み合わせで、４種類のコードが表現される。

左上の正方形Ｑａが黒色のとき、所定の変数ｐ_１の値を０（ｐ_１＝０）とする。正方形Ｑａが白色のとき、変数ｐ_１の値を１（ｐ_１＝１）とする。

中心の小さな正方形Ｑｅの色が黒色のときに、所定の変数ｐ_０の値を０（ｐ_０＝０）とする。正方形Ｑｅの色が白色のときに、変数ｐ_０の値を１（ｐ_０＝１）とする。さらに、２ｐ_１とｐ_０との和（２ｐ_１＋ｐ_０）を、コードの値とする。

たとえば、正方形Ｑａが黒色、かつ正方形Ｑｅが黒色の場合、当該コードの値は、「０」となる。正方形Ｑａが黒色、かつ正方形Ｑｅが白色の場合、当該コードの値は、「１」となる。正方形Ｑａが白色、かつ正方形Ｑｅが黒色の場合、当該コードの値は、「２」となる。正方形Ｑａが白色、かつ正方形Ｑｅが白色の場合、当該コードの値は、「３」となる。

このように、４種のコードにより、「０」，「１」，「２」，「３」の４つの数値を表現できる。

図５（Ｂ）は、空間パターンＰ（図４参照）の一部と等価な行列を説明するための図である。図５（Ｂ）を参照して、投影された空間パターンの各コードの種類を数値で表現することにより、空間パターンと等価な行列Ｋを生成できる。

図５（Ｃ）は、空間パターンと等価な行列Ｋの部分行列を説明するための図である。行列Ｋに対して、高さＨ_wordかつ幅Ｗ_wordの部分行列を考える。なお、このような部分行列を「ワード」とも称する。

行列Ｋから全てのワードが取り出される。図の例では、取り出された３つのワードを示している。各ワードは、他のワードと一部が重複する。

本例の場合、高さおよび幅が「３」に設定されている。つまり、ワードが、３×３の行列に設定した場合を示している。このように、ワードが、３×３の行列とした場合、１つのワードで、２^９＝５１２通りの並びを表現できる。

この点に関し、詳しく説明すると、以下のとおりである。コードは、上記のように４種類ある。しかしながら、１種類のプリミティブの隣に表現されるコードは実質的には２種類である。これは、グリッドが固定されるためである。グリッドは、実質的には、プリミティブの位置だけを表現し、ワードを表現するコード情報はプリミティブの２種類となる。このため、１コードあたり、１bitの情報となる。したがって、３×３のワードの場合、２の９乗、すなわち９ｂｉｔの情報となり、１つのワードで、５１２通りの表現が可能となる。

空間パターンＰでは、全てのワードの各々が唯一のものとなるように、コードが配置されている。ワードを３×３の行列とする場合、２^９通りの中から、重複しないように各ワードの並びが設定されている。

全てのワードを取り出したときに、数値の並びが唯一のものであるワードについては、空間パターンにおける位置（ワードの位置）が特定できる。

図６は、空間パターンＰの投影時の大きさを説明するための図である。図６を参照して、被写体に空間パターンＰを投影する場合、投影部１１から遠いものほど、被写体には大きなコードが投影されることになる。このため、被写体に空間パターンＰが投影された状態で被写体を撮像する場合、撮像部１２から遠いほど、大きなコードが撮像されることになる。空間コード化法では、このような撮像により得られたコードの大きさに基づき、被写体との距離を計測することができる。

以上のようにして、空間コード化法では、位置と距離との情報を得ることができる。
（ｃ２．計測の信頼度の指標）
画像処理装置２は、三次元形状の計測についての信頼度を示す複数の指標の各々を、撮像画像の領域（以下、「単位領域」とも称する）毎に算出する。各領域のサイズは、典型的には、三次元計測の解像度（換言すれば、空間パターンＰにおけるコードの密度）、受光素子の解像度等に基づいて予め決められている。後述する指標の種別に応じて、単位領域の大きさを異ならせてもよいし、同じとしてもよい。

三次元計測システム１０００による空間コード化法を用いた計測においては、当該計測についての信頼度として、たとえば以下の（１）〜（４）に示す複数の指標が挙げられる。

（１）パターンのボケ
被写体（被写体の一部）が計測レンジから外れた場合に、パターンのボケが生じる。パターンのボケが生じると、三次元形状の計測についての信頼度が低下する。

空間周波数解析を行うことにより、パターンのボケ具合を評価できる。具体的には、解析結果である周波数が高い程、ボケが小さいと評価できる。周波数が低い程、ボケが大きいと評価できる。空間周波数解析には、二次元ＦＦＴ（Fast Fourier Transform）などが利用できる。

本例では、画像処理システム５０の画像処理装置２は、周波数が予め定められた閾値Ｔａよりも低い領域については、ボケが大きいと判断する。つまり、画像処理装置２は、当該領域の計測の信頼度が低いと判断する。

また、画像処理装置２は、周波数が閾値Ｔａよりも高い領域については、ボケが大きくない（ボケが通常程度または小さい）と判断する。つまり、画像処理装置２は、当該領域の計測の信頼度は高いと判断する。

なお、計測の信頼度（換言すれば、計測安定性）の高い領域は「安定状態」の領域であり、かつ当該信頼度の低い領域は「不安定状態」の領域とも言える。

（２）計測時の光量
空間パターンＰの投影時の光量が不足している場合、あるいは空間パターンＰの投影時の光量が過多となっている場合には、三次元形状の計測についての信頼度が低下する。

具体的には、画像処理装置２は、光量については、以下のような手法により基準を満たしているか否かを判断する。

画像処理装置２は、空間パターンＰの投影時において受光素子１２１で受光した光の輝度値と、空間パターンＰを投影していない時の輝度値との差分を、受光素子１２１の画素毎に算出する。画像処理装置２は、差分が、予め定められた基準を満たすか否かを画素毎に評価する。

詳しくは、画像処理装置２は、差分が閾値Ｔｂ１以下の画素の領域については、光量不足と判断する。つまり、画像処理装置２は、当該領域の計測の信頼度が低いと判断する。また、画像処理装置２は、上記差分が閾値Ｔｂ２（Ｔｂ２＞Ｔｂ１）以上の画素の領域については、光量過多と判断する。この場合も、画像処理装置２は、当該領域の計測の信頼度が低いと判断する。

なお、上記では、画素毎に光量不足および光量過多との判断をしているが、複数の連続する画素からなる領域毎に、光量が基準を満たしているか否かを判断してもよい。

（３）パターンの崩れ
「パターン崩れ」の原因として、撮像部１２の光軸に垂直な面に対する被写体（被写体の一部）傾き（０度から９０度の範囲）が大きい場合と、被写体（被写体の一部）の形状が１つのワード（投影された状態での１つのワード）よりも細かい場合とが典型例として挙げられる。このような原因でパターン崩れが生じると、三次元形状の計測についての信頼度が低下する。

（４）周囲光の影響
周囲光の影響は、パターン照明が無い場合の撮像画像の輝度値から評価できる。画像処理装置２は、輝度値が閾値Ｔｃ（たとえばダイナミックレンジの５０％）を超えた領域について、計測の信頼度が低いと判断する。

＜Ｄ．ユーザインターフェイス＞
（ｄ１．概要）
図７は、ユーザインターフェイスを生成するための処理を説明するための図である。

図７を参照して、三次元計測システム１０００は、撮像部１２によって、被写体に空間パターンＰが投影された状態で、被写体を撮像する。その後、画像処理システム５０は、ディスプレイ３に撮像画像Ｇ１を表示する。

画像処理システム５０は、被写体の撮像画像に現れるパターンを検出する。画像処理システム５０は、当該検出結果に基づいて、被写体の三次元形状を計測する。画像処理システム５０は、典型的には、計測が終了すると、計測結果を表す画像Ｇ２を表示する。

画像処理システム５０は、各指標を満たさなかった領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を示す画像Ｅ（すなわち結果画像）を、ディスプレイ３に表示させる。詳しくは、画像処理システム５０は、各指標の基準を満たさなかった領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を示す画像Ｅを、基準を満たさないと判断された指標（指標の種別）に応じた態様でディスプレイ３に表示する。

たとえば、領域Ｘ２１の信頼度が基準を満たしていない判断された指標（要因）が「パターンのボケ」であるとすると、画像処理システム５０は、領域Ｘ２１を第１の色（たとえば、赤色）で表示する。また、領域Ｙ２１，Ｙ２２の信頼度が基準を満たしていない判断された指標（要因）が「光量不足」であるとすると、画像処理システム５０は、領域Ｙ２１，Ｙ２２を第２の色（たとえば、青色）で表示する。さらに、領域Ｚ２１の信頼度が基準を満たしていない判断された指標（要因）が「パターン崩れ」であるとすると、画像処理システム５０は、領域Ｚ２１を第３の色（たとえば、黄色）で表示する。

これによれば、ユーザは、各指標について基準を満たさなかった領域を指標別に区別して視認することが可能となる。

（ｄ２．具体例）
以下では、信頼度が基準を満たさいと判断された領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１の典型的な表示例について説明する。

（１）第１の具体例
図８は、表示例を説明するための図である。図８（Ａ）は、被写体に空間パターンＰが投影された状態で当該被写体を撮像したときに得られる撮像画像Ｇ１を表した図である。

図８（Ｂ）に示すように、画像処理システム５０は、予め定められた入力（たとえばユーザ指示）を受け付けると、撮像画像Ｇ１に結果画像Ｅを重畳させた状態の合成画像Ｊ１をディスプレイ３に表示する。典型的には、画像処理システム５０は、領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を表す画像を、たとえば矩形等の範囲を示す図形を用いて表示する。詳しくは、画像処理システム５０は、撮像画像Ｇ１中の領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を、基準を満たさないと判断された指標に応じた態様で表示する。

（２）第２の具体例
図９は、他の表示例を説明するための図である。図９（Ａ）は、計測結果を表す画像Ｇ２を表した図である。

図９（Ｂ）に示すように、画像処理システム５０は、予め定められた入力（たとえばユーザ指示）を受け付けると、計測結果を表す画像Ｇ２に結果画像Ｅを重畳させた状態の合成画像Ｊ２をディスプレイ３に表示する。典型的には、画像処理システム５０は、図８（Ｂ）と同様に、領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を表す画像を、たとえば矩形等の範囲を示す図形を用いて、基準を満たさないと判断された指標に応じた態様で表示する。

（３）第３の具体例
図１０は、さらに他の表示例を説明するための図である。

三次元計測システム１０００は、撮像部１２によって、空間パターンＰが投影されていない状態で被写体をさらに撮像する。図１０（Ａ）は、被写体に空間パターンＰが投影されていない状態で当該被写体を撮像したときに得られる撮像画像Ｇ３を表した図である。

図１０（Ｂ）に示すように、画像処理システム５０は、予め定められた入力（たとえばユーザ指示）を受け付けると、撮像画像Ｇ３に結果画像Ｅを重畳させた状態の合成画像Ｊ３をディスプレイ３に表示する。典型的には、画像処理システム５０は、図８（Ｂ）と同様に、領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を表す画像を、たとえば矩形等の範囲を示す図形を用いて、基準を満たさないと判断された指標に応じた態様で表示する。

（４）小括
このように、画像処理システム５０は、対象物の撮像画像に基づいて、各々が三次元形状の計測についての信頼度を示す複数の指標を領域毎に算出する。画像処理システム５０は、算出された各指標が各指標の基準を満たすか否かを領域毎に評価する。画像処理システム５０は、三次元形状の計測結果（画像Ｇ２）と、撮像画像において各基準を満たさない領域を示す結果画像Ｅとを、ディスプレイ３に同時または選択的に表示させる。

それゆえ、ユーザが結果画像Ｅ（典型的には、結果画像Ｅが重畳された合成画像Ｊ１，Ｊ２，Ｊ３）を視認することにより、ユーザは、算出された指標が領域毎に基準を満たしているか否かを直観的に知ることができる。それゆえ、三次元計測システム１０００によれば、信頼性の高い計測結果を得ることを支援することができる。

また、３Ｄ計測センサ１の設置位置を変更することにより、各設置位置において、結果画像Ｅを得ることができる。それゆえ、三次元計測システム１０００によれば、３Ｄ計測センサ１の設置位置を客観的に評価することも可能となる。

さらに、画像処理システム５０は、基準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じた態様で表示する。それゆえ、ユーザは、信頼度が基準を満たしていないと判定された領域について、どの指標に関して基準を満たしていないのかを知ることができる。つまり、ユーザは、何が問題で信頼度が低い状態となっているのかを知ることができる。

なお、以下では、説明の便宜上、被写体に空間パターンＰが投影された状態で当該被写体を撮像したときに得られる撮像画像（たとえば撮像画像Ｇ１）を、「計測画像」とも称する。また、被写体に空間パターンＰが投影されていない状態で当該被写体を撮像したときに得られる撮像画像（たとえば撮像画像Ｇ３）を、「２Ｄ画像」とも称する。

（５）変形例
図１１は、第２の具体例の変形例を説明するための図である。

三次元計測システム１０００は、三次元計測を実行することによって、３Ｄ計測センサ１と被写体との間の距離の情報を得ることができる。なお、計測結果を表す画像Ｇ２においては、当該距離の情報が、色の濃淡で表現されている。

三次元計測システム１０００は、計測結果について視点を変更する機能を有し、変更後の画像をディスプレイ３に表示できる。たとえば、図１１（Ａ）に示すように、三次元計測システム１０００は、計測結果を表す画像Ｇ２のときの視点（基準となる視点）から、被写体に対して斜視の方向の視点に変更することにより、たとえば画像Ｇ４をディスプレイ３に表示する。

図１１（Ｂ）に示すように、画像処理システム５０は、予め定められた入力（たとえばユーザ指示）を受け付けると、計測結果を表す画像Ｇ４に結果画像Ｅ’（単体では図示せず）を重畳させた状態の合成画像Ｊ４をディスプレイ３に表示する。典型的には、画像処理システム５０は、領域Ｘ２２，Ｙ２３を表す画像を、たとえば矩形等の範囲を示す図形を用いて、基準を満たさないと判断された指標に応じた態様で表示する。

本例においては、領域Ｘ２３の信頼度が基準を満たしていない判断された指標（要因）が「パターンのボケ」であるとする。また、領域Ｙ２３の信頼度が基準を満たしていない判断された指標（要因）が「光量不足」であるとする。

この場合、画像処理システム５０は、計測レンジの領域（３Ｄ計測センサ１の撮影距離方向の範囲）についても表示するために、立体図形（たとえば、錐台）を用いて領域Ｘ２２を表示する。このように、画像Ｊ４のように斜視方向の画像を表示しているときには、パターンのボケ（計測レンジから外れたこと）が基準を満たさなかった場合には、図形を用いて計測レンジの情報を斜視方向の画像に組み込むことができる。

ユーザは、このような計測レンジの情報を確認することにより、３Ｄ計測センサ１の設置位置を決定しやすくなる。

＜Ｅ．機能的構成＞
図１２は、三次元計測システム１０００の機能的構成を説明するためのブロック図である。

図１２を参照して、三次元計測システム１０００は、上述したように、３Ｄ計測センサ１と、画像処理装置２と、ディスプレイ３と、キーボード４とを備える。画像処理システム５０は、画像処理装置２と、ディスプレイ３と、キーボード４とを備える。

３Ｄ計測センサ１は、上述したように、投影部１１と、撮像部１２とを備える（図３参照）。

画像処理装置２は、制御部２０を有する。制御部２０は、投影制御部２１と、撮像制御部２２と、計測部２３と、信頼度算出部２４と、信頼度評価部２５と、表示制御部２６とを備える。

制御部２０は、画像処理装置２の全体的な動作を制御する。制御部２０は、キーボード４からの入力を受け付ける。制御部２０は、当該入力応じた動作を実行する。たとえば、制御部２０は、３Ｄ計測センサ１の動作およびディスプレイ３への出力を制御する。また、制御部２０は、キーボードからの入力が計測結果を表す画像の視点の変更である場合、当該入力応じた画像表示をディスプレイ３に行う。

制御部２０における各処理は、典型的には、画像処理装置２のメモリ（図示せず）に予め記憶されたプログラムを、画像処理装置２のプロセッサ（図示せず）が実行することにより実現される。

投影制御部２１は、投影部１１の動作を制御する。たとえば、投影制御部２１は、光源１１１のオンおよびオフを制御する。

撮像制御部２２は、撮像部１２の動作を制御する。たとえば、撮像制御部２２は、撮像の指令を撮像部１２に送り、撮像画像を撮像部１２から得る。なお、撮像画像としては、三次元計測のときの撮像（３Ｄモードでの撮像）で得られる画像（すなわち計測画像）と、三次元計測を行わない通常の撮像（２Ｄモードでの撮像）のときに得られる画像（２Ｄ画像）とがある。

撮像制御部２２は、計測画像を計測部２３に送る。撮像制御部２２は、計測画像および２Ｄ画像を、信頼度算出部２４と表示制御部２６とに送る。

計測部２３は、被写体（対象物）の撮像によって得られた撮像画像に基づいて、被写体の三次元形状を計測する。詳しくは、計測部２３は、被写体の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、被写体の三次元形状を計測する。計測部２３は、計測結果を表示制御部２６に送る。

信頼度算出部２４は、撮像画像に基づいて、三次元形状の計測についての信頼度を示す指標を領域毎に算出する。典型的には、信頼度算出部２４は、複数の指標の各々を算出する。たとえば、当該指標としては、上述したように、「パターンのボケ」、「計測時の光量」、「パターンの崩れ」、「周囲光の影響」等が挙げられる。信頼度算出部２４は、算出された指標を信頼度評価部２５に送る。

信頼度評価部２５は、算出された各種の指標が、各々に対して予め定められた基準を満たすか否かを上記領域毎に評価する。たとえば、信頼度評価部２５は、算出されたパターンのボケが、ボケに関して予め定められた基準を満たすか否かを判定する。また、信頼度評価部２５は、算出された計測時の光量が、光量に関して予め定められた基準を満たすか否かを判定する。さらに、「パターンの崩れ」、「周囲光の影響」についても、所定の基準を満たすか否かを判断する。なお、信頼度評価部２５は、各基準（具体的には閾値）を予め記憶している。

さらに、信頼度評価部２５は、各指標に関し、基準を満たさなかった領域を示す領域特定情報を表示制御部２６に通知する。具体的には、信頼度評価部２５は、パターンのボケが基準を満たさなかった領域と、光量が基準を満たさなかった領域と、パターンの崩れが基準を満たさなかった領域と、周囲光の影響が基準を満たさなかった領域とを、指標毎に識別可能な状態で、表示制御部２６に通知する。

表示制御部２６は、計測部２３から計測結果を受信する。表示制御部２６は、撮像制御部２２から計測画像と２Ｄ画像とを受信する。表示制御部２６は、信頼度評価部２５から指標別の領域特定情報を受信する。

表示制御部２６は、計測結果、計測画像、および２Ｄ画像のうち、指定された画像をディスプレイ３に表示する。なお、当該指定は、典型的には、キーボード等の入力装置を用いたユーザ操作によってなされる。

さらに、表示制御部２６は、上記基準を満たさない領域を示す結果画像をディスプレイに３に表示する。結果画像には、指標毎に識別可能な態様で、基準を満たさなかった領域が示されている。

たとえば、表示制御部２６は、結果画像として、「パターンのボケ」の基準を満たさない領域を赤色で表示する。表示制御部２６は、「計測時の光量」の基準を満たさない領域を青色で表示する。表示制御部２６は、「パターンの崩れ」の基準を満たさない領域を黄色で表示する。表示制御部２６は、「周囲光の影響」の基準を満たさない領域を緑色で表示する。

表示制御部２６は、少なくとも、計測結果と結果画像とを同時または選択的に表示する。

表示制御部２６は、ある局面においては、撮像画像（詳しくは、計測画像）に重畳させた状態で結果画像をディスプレイ３に表示する（図８（Ｂ）参照）。表示制御部２６は、別の局面においては、計測結果に重畳させた状態で結果画像をディスプレイ３に表示する（図９（Ｂ）参照）。表示制御部２６は、さらに別の局面においては、２Ｄ画像に重畳させた状態で結果画像をディスプレイ３に表示する（図１０（Ｂ）参照）。三次元計測システム１０００においては、結果画像を何れの画像を重畳させて表示するかについては、表示画面の切替操作をユーザが行うことにより、ユーザが決定可能となっている。

＜Ｆ．制御構造＞
図１３は、三次元計測システム１０００において実行される処理の流れを表したフロー図である。

図１３を参照して、ステップＳ１において、三次元計測システム１０００は、３Ｄ計測センサ１によって、空間パターンＰを被写体上に投影する。ステップＳ２において、三次元計測システム１０００は、３Ｄ計測センサ１によって、空間パターンＰが投影された状態の被写体を撮像する。

ステップＳ３において、三次元計測システム１０００の画像処理装置２は、被写体の撮像画像に現れるパターンに基づいて、被写体の三次元形状を計測する。ステップＳ４において、画像処理装置２は、撮像画像に基づいて、各指標（パターンのボケ、計測時の光量、パターンの崩れ等）を領域毎に算出する。

ステップＳ５において、画像処理装置２は、指標毎に、指標別に設定された基準を満たすか否かを評価する。ステップＳ６において、画像処理装置２は、全ての指標について基準を満たしているか否かを判断する。画像処理装置２は、全ての指標について基準を満たしていると判断した場合（ステップＳ６においてＮＯ）、一連の処理を終了する。この場合、たとえば、画像処理装置２は、計測結果をディスプレイ３に表示する。

画像処理装置２は、少なくとも１つの指標について基準を満たしていないと判断された場合（ステップＳ６においてＹＥＳ）、ステップＳ７において、基準を満たさない領域を指標に応じた態様（たとえば、赤色、青色、黄色）でディスプレイ３に表示する。

＜Ｇ．変形例＞
（ｇ１．指標に応じた表示態様）
上記においては、三次元計測システム１０００が、基準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じた色（たとえば、赤色、青色、黄色）で表示する例を挙げたが、これに限定されるものではない。

三次元計測システム１０００は、準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じたハッチングパターンで表示してもよい。あるいは、三次元計測システム１０００は、基準を満たさないと判断された領域を、基準を満たさないと判断された指標に応じた点滅パターンで表示してもよい。

三次元形状が計測できなかった領域の表示態様を、ユーザが選択可能なように、三次元計測システム１０００を構成してもよい。

（ｇ２．複数回の撮像を実行した場合）
被写体に空間パターンＰが投影された状態で、被写体を複数回撮像した場合の表示例について説明する。なお、以下の各例においても、三次元計測システム１０００が、結果画像（たとえば図７の結果画像Ｅ）を、基準を満たさないと判断された指標（指標の種別）に応じた態様でディスプレイに表示させる。

（１）第１の例
三次元計測システム１０００は、複数回の撮像により得られた複数の撮像画像（すなわち複数の計測画像）のうちの一つが指定されると、指定された撮像画像に重畳させた状態で当該撮像画像によって得られた結果画像を表示する。なお、当該指定は、たとえば、キーボード４、図示しないマウス等の入力装置を用いて行われる。

このような構成の場合、三次元計測システム１０００は、複数の撮像画像が得られた場合であっても、指定された１つの撮像画像に結果画像を重畳させることができる。この場合にも、ユーザがディスプレイ３に表示部に表示された結果画像を視認することにより、ユーザは、算出された各指標が領域毎に各基準を満たしているか否かを知ることができる。

また、上記複数回の撮像は、互いに異なる位置からの撮像であってもよい。つまり、上記複数の撮像画像は、３Ｄ計測センサ１の設置位置の移動と撮像とを繰り返すことにより得られたものであってもよい。この場合には、ユーザは、指定する撮像画像を適宜変更することにより、３Ｄ計測センサ１の各設置位置の適否を評価可能となる。

なお、このような構成の場合にも、計測結果を表す画像または２Ｄ画像に結果画像を重畳させて表示してもよい。

（２）第２の例
三次元計測システム１０００は、被写体の撮像が複数回行われた場合には、複数回の撮像により得られた複数の撮像画像（すなわち複数の計測画像）の各々に当該撮像画像によって得られた結果画像を重畳した状態で複数の結果画像を表示する。

図１４は、被写体の撮像が複数回行われた場合の表示例を表した図である。図１４を参照して、三次元計測システム１０００は、各撮像画像（Ｎｏ．１〜Ｎｏ．４の各計測画像）に、当該撮像画像によって得られた結果画像を重畳させた状態で、複数の結果画像を表示する。

このように、三次元計測システム１０００は、複数の撮像画像の各々に結果画像を重畳して表示する。それゆえ、ユーザは、各回の計測において算出された各指標が領域毎に各基準を満たしているか否かを、１つの画面で確認することができる。

また、上記複数回の撮像は、互いに異なる位置からの撮像であってもよい。つまり、上記複数の撮像画像は、３Ｄ計測センサ１の設置位置の移動と撮像とを繰り返すことにより得られたものであってもよい。この場合には、ユーザは、撮像画像を指定することなく、３Ｄ計測センサ１の各設置位置の適否を評価可能となる。

（３）第３の例
三次元計測システム１０００は、図８（Ｂ）の画像と、図９（Ｂ）の画像と、図１０（Ｂ）の画像とを、１つの画面内に同時に表示してもよい。

（ｇ３．推定または特定処理）
ある領域において、複数の指標のうちの少なくとも２つが当該指標に対応付けられた基準を満たさなかった場合の処理例について説明する。このような場合として、たとえば、パターンのボケが基準よりも大きい領域と、計測時の光量が基準よりも少ない領域とが重複（領域同士の一部または全部が重複）している場合が挙げられる。なお、以下では、このような領域を、説明の便宜上、「重複領域」とも称する。

（１）第１の例
信頼度評価部２５は、重複領域の周囲の領域の計測結果に基づいて、当該重複領域において予め定められた事象が起こっているか否かをさらに推定する。表示制御部２６は、上記予め定められた事象が起こっていると判断された領域を結果画像に含めてディスプレイ３に表示する。また、当該領域を、上述した指標に応じた色（赤、青、黄等）とはさらに異なる色で表示することが好ましい。

上記予め定められた事象の例として、多重反射が挙げられる。ワークＷに光が２回反射すると、パターンのボケの現象と、光量過多（ハレーション）といった現象とが生じる。パターンのボケと光量との両指標で評価すれば、それぞれの指標において基準を満たしていないとの評価がなされる。しかしながら、本質的な原因は、ボケでも光量過多でもなく、多重反射である。

このため、信頼度評価部２５は、重複領域の周辺の領域の計測結果が異常な飛び値を示したりあるいは無かったりした場合、または傾斜が強い計測結果がある場合には、多重反射が起こっていると評価する。

このように、画像処理装置２は、重複領域の周囲の情報から、予め定められた事象が起こっているか否かを判定する。また、画像処理装置２が重複領域をディスプレイ３に表示させることにより、ユーザは、当該事象の発生を知ることができる。

（２）第２の例
信頼度評価部２５は、重複領域が存在する場合、当該重複領域において基準を満たしていなかった複数の指標の各々について、基準との差分を算出する。たとえば、重複領域で、パターンのボケが基準よりも大きく、かつ計測時の光量が基準よりも低かったとする。この場合、信頼度評価部２５は、パターンのボケと当該ボケの基準との差分と、計測時の光量と当該光量の基準との差分を算出する。

信頼度評価部２５は、これらの複数の差分に基づいて、基準を満たさなかった複数の指標のうち、信頼度を低下させている度合いの大きい指標を特定する。

表示制御部２６は、特定された指標に応じた態様で結果画像を表示する。信頼度評価部２５によってパターンのボケの方が光量よりも信頼度を低下させていると判断された場合、表示制御部２６は、ディスプレイ３に、重複領域をボケに対応付けられた態様（たとえば、赤色）で表示する。
［実施の形態２］
本実施の形態に係る三次元計測システムについて説明する。以下では、実施の形態１と異なる点に着目して説明する。

実施の形態１では、計測結果を表す画像に、各指標に関して基準を満たさない領域を示す結果画像を重畳させた状態で、これらの画像を表示させる構成を説明した。本実施の形態では、投影部１１によって当該結果画像を被写体に投影する構成について説明する。

図１５は、結果画像を被写体に投影した状態を表した図である。なお、図１５においては、建物９の室内の設備７等の記載は図示していない。

このように、基準を満たさなかった領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１を示す結果画像を、被写体に直接投影することにより、ユーザは、リアリティをもって当該領域の存在および位置を把握することができる。また、基準を満たさないと判断された指標（指標の種別）に応じた態様で領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１が被写体に投影されることにより、ユーザは、信頼度が基準を満たしていないと判定された領域Ｘ２１，Ｙ２１，Ｙ２２，Ｚ２１について、どの指標に関して基準を満たしていないのかを知ることができる。

図１６は、本実施の形態の三次元計測システム１０００における３Ｄ計測センサ１Ａの概略構成を表した図である。

図１６を参照して、３Ｄ計測センサ１Ａは、投影部１１Ａと、撮像部１２とを備えている。

投影部１１Ａは、光源１１１と、液晶パネル１１４と、光学系１１３とを有する。投影部１１Ａは、フォトマスク１１２の代わりに液晶パネル１１４を備える点において、実施の形態１の投影部１１とは異なる。

光源１１１は、所定の波長の光を液晶パネル１１４の方向に向けて照射する。液晶パネル１１４は、画像処理装置２からの指示に基づき駆動する。

ある局面では、液晶パネル１１４は、空間パターンＰを表示する。これにより、投影部１１Ａは、空間パターンを被写体に投影することができる。

また、別の局面では、液晶パネル１１４は、結果画像を表示することにより、これにより投影部１１Ａは、結果画像を被写体に投影することができる。

このように、液晶パネル１１４に表示させる画像を切り替えることにより、空間パターンＰの投影と、結果画像の投影とが可能となる。

なお、上記の各実施の形態においては、空間コード化法を用いて三次元計測を行う場合を説明したが、空間コード化法の代わりに、位相シフト法、ステレオ法、またはパターン照明法を用いてもよい。

＜付記＞
〔構成１〕
対象物の撮像によって得られた第１の撮像画像に基づいて、前記対象物の三次元形状を計測する計測部（２３）と、
前記第１の撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す第１の指標を領域毎に算出する信頼度算出部（２４）と、
算出された前記第１の指標が予め定められた第１の基準を満たすか否かを前記領域毎に評価する信頼度評価部（２５）と、
前記三次元形状の計測結果と、前記第１の撮像画像において前記第１の基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部（３）とを備える、画像処理システム（５０）。

〔構成２〕
前記信頼度算出部（２４）は、前記第１の撮像画像に基づいて、前記信頼度を示す第２の指標を領域毎にさらに算出し、
前記信頼度評価部（２５）は、算出された前記第２の指標が予め定められた第２の基準を満たすか否かを前記領域毎にさらに評価し、
前記結果画像は、前記第１の撮像画像において前記第２の基準を満たさない領域をさらに示す、構成１に記載の画像処理システム（５０）。

〔構成３〕
前記表示部（３）は、前記第１の基準を満たさない領域を第１の態様で表示し、かつ前記第２の基準を満たさない領域を第２の態様で表示する、構成２に記載の画像処理システム（５０）。

〔構成４〕
前記表示部（３）は、前記第１の撮像画像に重畳させた状態で前記結果画像を表示する、構成１から３のいずれか１項に記載の画像処理システム（５０）。

〔構成５〕
前記表示部（３）は、前記計測結果に重畳させた状態で前記結果画像を表示する、構成１から３のいずれか１項に記載の画像処理システム（５０）。

〔構成６〕
予め定められた空間パターンを被写体に投影する投影部（１１）と、
前記対象物を撮像する撮像部（１２）とをさらに備え、
前記撮像部（１２）は、前記対象物に前記空間パターンが投影された状態で前記対象物を撮像することより前記第１の撮像画像を生成し、
前記計測部（２３）は、前記第１の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
前記撮像部（１２）は、前記空間パターンが投影されていない状態で前記対象物をさらに撮像することにより第２の撮像画像を生成し、
前記表示部（３）は、前記第２の撮像画像に重畳させた状態で前記結果画像を表示する、構成１から３のいずれか１項に記載の画像処理システム（５０）。

〔構成７〕
前記表示部（３）は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第１の撮像画像のうちの一つが指定されると、指定された前記第１の撮像画像に重畳させた状態で当該第１の撮像画像によって得られた前記結果画像を表示する、構成１から３のいずれか１項に記載の画像処理システム（５０）。

〔構成８〕
前記表示部（３）は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第１の撮像画像の各々に当該第１の撮像画像によって得られた前記結果画像を重畳した状態で複数の前記結果画像を表示する、構成１から３のいずれか１項に記載の画像処理システム（５０）。

〔構成９〕
前記複数回の撮像は、互いに異なる位置からの撮像である、構成７または８に記載の画像処理システム（５０）。

〔構成１０〕
前記第１の態様と前記第２の態様とでは、色、ハッチングパターン、または点滅パターンが異なる、構成３に記載の画像処理システム（５０）。

〔構成１１〕
前記投影部（１１）は、前記結果画像を前記対象物に投影する、構成６に記載の画像処理システム（５０）。

〔構成１２〕
予め定められた空間パターンを被写体に投影する投影部（１１）と、
前記対象物を撮像する撮像部（１２）とをさらに備え、
前記撮像部（１２）は、前記対象物に前記空間パターン（Ｐ）が投影された状態で前記対象物を撮像することより前記第１の撮像画像を生成し、
前記計測部（２３）は、前記第１の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
前記第１の指標は、前記計測時の光量、前記第１の撮像画像に現れるパターンの崩れ、および前記第１の撮像画像に現れるパターンのボケの三つの指標のうちの一つであり、
前記第２の指標は、前記三つの指標のうち、前記第１の指標とは異なる一つの指標である、構成２または３に記載の画像処理システム（５０）。

〔構成１３〕
前記信頼度評価部（２５）は、前記第１の基準を満たさない領域と、前記第２の基準を満たさない領域とが重複している場合、当該重複している領域の周囲の領域の前記計測結果に基づいて、当該重複している領域において予め定められた事象が起こっているか否かをさらに推定し、
前記結果画像は、前記予め定められた事象が起こっていると判断された領域をさらに示す、構成２または３に記載の画像処理システム（５０）。

〔構成１４〕
前記信頼度評価部（２５）は、前記第１の基準を満たさない領域と、前記第２の基準を満たさない領域とが重複している場合、前記第１の指標と前記第１の基準との差分および前記第２の指標と前記第２の基準との差分とに基づいて、前記第１の指標および前記第２の指標のうち前記信頼度を低下させている度合いの大きい方の指標を特定し、
前記表示部（３）は、前記第１の態様と前記第２の態様とのうち、特定された前記指標に応じた態様で前記結果画像を表示する、構成３に記載の画像処理システム（５０）。

〔構成１５〕
対象物を撮像するステップと、
前記撮像により得られた撮像画像に基づいて、前記対象物の三次元形状を計測するステップと、
前記撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す指標を領域毎に算出するステップと、
算出された前記指標が予め定められた基準を満たすか否かを前記領域毎に評価するステップと、
前記三次元形状の計測結果と、前記基準を満たさない領域を示す結果画像とを、同時または選択的に表示するステップとを備える、画像処理方法。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ 計測センサ、２ 画像処理装置、３ ディスプレイ、４ キーボード、９ 建物、１１，１１Ａ 投影部、１２ 撮像部、２０ 制御部、２１ 投影制御部、２２ 撮像制御部、２３ 計測部、２４ 信頼度算出部、２５ 信頼度評価部、２６ 表示制御部、５０ 画像処理システム、１１１ 光源、１１２ フォトマスク、１１３，１２２ 光学系、１１４ 液晶パネル、１２１ 受光素子、１０００ 三次元計測システム、Ｅ 結果画像、Ｇ１，Ｇ３ 撮像画像、Ｊ１，Ｊ２，Ｊ３，Ｊ４ 合成画像、Ｋ 行列、Ｐ 空間パターン、Ｑａ，Ｑｂ，Ｑｃ，Ｑｄ，Ｑｅ 正方形、Ｒ 中心位置、Ｖ１１，Ｖ１２，Ｖ１３，Ｘ２１，Ｘ２２，Ｘ２３，Ｙ２１，Ｙ２２，Ｙ２３，Ｚ２１ 領域。

Claims (15)

1. 対象物の撮像によって得られた第１の撮像画像に基づいて、前記対象物の三次元形状を計測する計測部と、
   前記第１の撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す第１の指標を領域毎に算出する信頼度算出部と、
   算出された前記第１の指標が予め定められた第１の基準を満たすか否かを前記領域毎に評価する信頼度評価部と、
   前記三次元形状の計測結果と、前記第１の撮像画像において前記第１の基準を満たさない領域を示す結果画像とを、同時または選択的に表示する表示部とを備える、画像処理システム。
2. 前記信頼度算出部は、前記第１の撮像画像に基づいて、前記信頼度を示す第２の指標を領域毎にさらに算出し、
   前記信頼度評価部は、算出された前記第２の指標が予め定められた第２の基準を満たすか否かを前記領域毎にさらに評価し、
   前記結果画像は、前記第１の撮像画像において前記第２の基準を満たさない領域をさらに示す、請求項１に記載の画像処理システム。
3. 前記表示部は、前記第１の基準を満たさない領域を第１の態様で表示し、かつ前記第２の基準を満たさない領域を第２の態様で表示する、請求項２に記載の画像処理システム。
4. 前記表示部は、前記第１の撮像画像に重畳させた状態で前記結果画像を表示する、請求項１から３のいずれか１項に記載の画像処理システム。
5. 前記表示部は、前記計測結果に重畳させた状態で前記結果画像を表示する、請求項１から３のいずれか１項に記載の画像処理システム。
6. 予め定められた空間パターンを被写体に投影する投影部と、
   前記対象物を撮像する撮像部とをさらに備え、
   前記撮像部は、前記対象物に前記空間パターンが投影された状態で前記対象物を撮像することより前記第１の撮像画像を生成し、
   前記計測部は、前記第１の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
   前記撮像部は、前記空間パターンが投影されていない状態で前記対象物をさらに撮像することにより第２の撮像画像を生成し、
   前記表示部は、前記第２の撮像画像に重畳させた状態で前記結果画像を表示する、請求項１から３のいずれか１項に記載の画像処理システム。
7. 前記表示部は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第１の撮像画像のうちの一つが指定されると、指定された前記第１の撮像画像に重畳させた状態で当該第１の撮像画像によって得られた前記結果画像を表示する、請求項１から３のいずれか１項に記載の画像処理システム。
8. 前記表示部は、前記対象物の撮像が複数回行われた場合には、前記複数回の撮像により得られた複数の前記第１の撮像画像の各々に当該第１の撮像画像によって得られた前記結果画像を重畳した状態で複数の前記結果画像を表示する、請求項１から３のいずれか１項に記載の画像処理システム。
9. 前記複数回の撮像は、互いに異なる位置からの撮像である、請求項７または８に記載の画像処理システム。
10. 前記第１の態様と前記第２の態様とでは、色、ハッチングパターン、または点滅パターンが異なる、請求項３に記載の画像処理システム。
11. 前記投影部は、前記結果画像を前記対象物に投影する、請求項６に記載の画像処理システム。
12. 予め定められた空間パターンを被写体に投影する投影部と、
    前記対象物を撮像する撮像部とをさらに備え、
    前記撮像部は、前記対象物に前記空間パターンが投影された状態で前記対象物を撮像することより前記第１の撮像画像を生成し、
    前記計測部は、前記第１の撮像画像に現れるパターンを検出し、当該検出結果に基づいて、前記対象物の三次元形状を計測し、
    前記第１の指標は、前記計測時の光量、前記第１の撮像画像に現れるパターンの崩れ、および前記第１の撮像画像に現れるパターンのボケの三つの指標のうちの一つであり、
    前記第２の指標は、前記三つの指標のうち、前記第１の指標とは異なる一つの指標である、請求項２または３に記載の画像処理システム。
13. 前記信頼度評価部は、前記第１の基準を満たさない領域と、前記第２の基準を満たさない領域とが重複している場合、当該重複している領域の周囲の領域の前記計測結果に基づいて、当該重複している領域において予め定められた事象が起こっているか否かをさらに推定し、
    前記結果画像は、前記予め定められた事象が起こっていると判断された領域をさらに示す、請求項２または３に記載の画像処理システム。
14. 前記信頼度評価部は、前記第１の基準を満たさない領域と、前記第２の基準を満たさない領域とが重複している場合、前記第１の指標と前記第１の基準との差分および前記第２の指標と前記第２の基準との差分とに基づいて、前記第１の指標および前記第２の指標のうち前記信頼度を低下させている度合いの大きい方の指標を特定し、
    前記表示部は、前記第１の態様と前記第２の態様とのうち、特定された前記指標に応じた態様で前記結果画像を表示する、請求項３に記載の画像処理システム。
15. 対象物を撮像するステップと、
    前記撮像により得られた撮像画像に基づいて、前記対象物の三次元形状を計測するステップと、
    前記撮像画像に基づいて、前記三次元形状の計測についての信頼度を示す指標を領域毎に算出するステップと、
    算出された前記指標が予め定められた基準を満たすか否かを前記領域毎に評価するステップと、
    前記三次元形状の計測結果と、前記基準を満たさない領域を示す結果画像とを、同時または選択的に表示するステップとを備える、画像処理方法。