JP2019191020A - 表面特性取得装置、表面特性取得システム及びプログラム - Google Patents

Abstract

【課題】触覚センサや多眼カメラを用いず簡易な構成で対象物の表面特性を取得し得る技術を提供する。【解決手段】照射装置１０から幾何学パターンを対象物１６に照射し、その反射光をカメラ１２で取得する。画像処理装置１８は、幾何学パターンを基準対象物に照射してその反射光を撮影して得られた基準パターン画像に対する幾何学パターンを評価対象物に照射してその反射光を撮影して得られた評価パターン画像の像鮮明度を検出し、予め設定された像鮮明度と表面粗さとの関係を用いて、検出された像鮮明度に対応する評価対象物の表面粗さを算出する。【選択図】図１

Description

本発明は、表面特性取得装置、表面特性取得システム及びプログラムに関する。

特許文献１には、物体表面の質感を計測することが可能な質感計測装置が記載されている。装置は、触覚センサと、触覚センサ及び質感計測部を有する質感計測装置とを備える。質感計測部は、紙幣が搬送路を移動するのに伴って、触覚センサからの抵抗値を計測し、データ処理部は、計測データの時間変化を高速フーリエ変換して周波数成分を抽出する。

特許文献２には、多視点画像データから被写体の形状を推定し、推定された形状の確からしさを示す信頼度を算出し、推定された形状と信頼度と多視点画像データとから、少なくとも二つの方向から観察した際の被写体の反射率を示す質感情報を推定する画像処理装置が記載されている。

特開２０１３−０６１２０１号公報 特開２０１３−０２５７６２号公報

触覚センサ及び質感計測部を有する質感計測装置は、一般に高価で装置構成も大型化する。また、多視点画像データの取得手段としては、多眼カメラや複数台カメラが必要となり、同様に装置構成が複雑化する。

本発明は、触覚センサや多眼カメラを用いず簡易な構成で対象物の表面特性、特に表面の微小な凹凸である表面粗さを取得し得る技術を提供する。

請求項１に記載の発明は、幾何学パターンを基準対象物に照射してその反射光を撮影して得られた基準パターン画像に対する前記幾何学パターンを評価対象物に照射してその反射光を撮影して得られた評価パターン画像の像鮮明度を検出する検出部と、予め設定された像鮮明度と表面粗さとの関係を用いて、検出された前記像鮮明度に対応する前記評価対象物の表面粗さを算出する算出部とを備える表面特性取得装置である。

請求項２に記載の発明は、前記像鮮明度は、検知領域における最大輝度値Ｍａｘと最小輝度値Ｍｉｎに対し、
（Ｍａｘ−Ｍｉｎ）／（Ｍａｘ＋Ｍｉｎ）
を用いて算出される請求項１に記載の表面特性取得装置である。

請求項３に記載の発明は、前記幾何学パターンを表示する表示装置を備える請求項１に記載の表面特性取得装置である。

請求項４に記載の発明は、前記幾何学パターンは、その照射位置が変化する請求項１，３のいずれかに記載の表面特性取得装置である。

請求項５に記載の発明は、前記幾何学パターンは、格子線パターンあるいは点パターンであり、前記検出部は、前記格子線パターンにおける格子点あるいは点パターンにおける像鮮明度を検出する請求項１〜４のいずれかに記載の表面特性取得装置である。

請求項６に記載の発明は、前記基準対象物からの反射光及び前記評価対象物からの反射光を撮影するカメラを備える請求項１に記載の表面特性取得装置である。

請求項７に記載の発明は、幾何学パターンを基準対象物に照射してその反射光を撮影することで基準パターン画像を取得するとともに、前記幾何学パターンを評価対象物に照射してその反射光を撮影することで評価パターン画像を取得するカメラと、前記カメラで取得された前記基準パターン画像及び前記評価パターン画像を記憶するサーバと、前記サーバに記憶された前記基準パターン画像に対する前記評価パターン画像の像鮮明度を検出し、予め設定された像鮮明度と表面粗さとの関係を用いて、検出された前記像鮮明度に対応する前記評価対象物の表面粗さを算出する画像処理装置とを備える表面特性取得システムである。

請求項８に記載の発明は、コンピュータに、幾何学パターンを基準対象物に照射してその反射光を撮影して得られた基準パターン画像を取得するステップと、前記幾何学パターンを評価対象物に照射してその反射光を撮影して得られた評価パターン画像を取得するステップと、前記基準パターン画像に対する前記評価パターン画像の像鮮明度を検出するステップと、予め設定された像鮮明度と表面粗さとの関係を用いて、検出された前記像鮮明度に対応する前記評価対象物の表面粗さを算出するステップとを実行させるプログラムである。

請求項１−８に記載の発明によれば、触覚センサや多眼カメラを用いず簡易な構成で対象物の表面特性としての表面粗さが取得される。

請求項４に記載の発明によれば、さらに、異なる位置において対象物の表面特性が取得され、より詳細な表面特性が取得される。

請求項５に記載の発明によれば、さらに、簡易な幾何学パターンで表面特性が取得される。

実施形態の装置構成図である。 格子線パターン照射説明図である。 点パターンの照射説明図である。 画像処理装置の機能ブロック図である。 像鮮明度（コントラスト）と表面粗さの相関関係を示すグラフ図である。 実施形態の処理フローチャートである。 格子線パターンの変化説明図である。 実施形態の他の処理フローチャートである。 点パターンの変化説明図である。 変形例のシステム構成図である。

以下、図面に基づき本発明の実施形態について説明する。

図１は、本実施形態の装置構成図を示す。表面特性取得装置は、画像処理装置１８を備え、さらに照射装置１０、及びカメラ１２を備える。なお、表面特性取得装置は、画像処理装置１８として構成されてもよく、画像処理装置１８とカメラ１２として一体構成されてもよく、あるいは画像処理装置１８と照射装置１０とカメラ１２として一体構成成されてもよい。画像処理装置１８とカメラ１２、あるいは画像処理装置１８と照射装置１０とカメラ１２は有線あるいは無線でデータ送受信可能に接続される。

照射装置１０は、幾何学パターンをサンプルステージ１４に保持された対象物１６に照射する。照射装置１０は、液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイと、ディスプレイからの光を対象物１６に照射する投射レンズ等の光学系を備え、幾何学パターンとして、例えば格子線パターンや点パターンをディスプレイに表示し、これを対象物１６に照射する。

カメラ１２は、照射装置１０から照射され、対象物１６の表面から反射した幾何学パターンの光をパターン画像として撮影する。

画像処理装置１８は、照射装置１０及びカメラ１２に接続され、照射装置１０から照射される一定パターンを制御するとともに、カメラ１２で撮影されたパターン画像を取得し、取得したパターン画像を処理する。

各部のサイズは任意であり、例えば照射装置１０とサンプルステージ１４の距離は２７０ｍｍ、サンプルステージ１４とカメラ１２との距離は１０００ｍｍ、サンプルステージ１４の幅は１００ｍｍ等とし得るが、これに限定されない。また、ディスプレイとしては、例えば１０．４インチのＸＧＡ、１３００ｃｄ／ｍ^２が用いられるが、これに限定されない。

画像処理装置１８の基本処理は以下の通りである。すなわち、まず、対象物１６として表面特性が既知（例えば表面が平坦であることが既知）の基準対象物をサンプルステージ１４で保持し、この基準対象物に対して一定パターンを照射し、基準対象物から反射したパターンをカメラ１２で撮影して基準パターン画像を取得する。次に、表面特性を取得すべき評価対象物をサンプルステージ１４で保持し、この評価対象物に対して同一の一定パターンを照射し、評価対象物から反射したパターンをカメラ１２で撮影して評価パターン画像を取得する。画像処理装置１８は、取得した基準パターン画像と評価パターン画像とを比較し、両者の相違を検出し、両者の相違を用いて評価対象物の表面特性として表面粗さ（表面の微小凹凸）を取得する。画像処理装置１８については、さらに詳述する。

図２は、基準対象物及び評価対象物に対して縦横複数の線からなる格子線パターンを照射した場合のパターン画像を示す。

図２（ａ）は、基準対象物に対して格子線パターンを照射した場合にカメラ１２で撮影して得られる基準パターン画像である。また、図２（ｂ）は、評価対象物に対して格子線パターンを照射した場合にカメラ１２で撮影して得られる評価パターン画像である。

基準対象物と評価対象物の表面特性の相違、より特定的には表面粗さの相違に応じて基準パターン画像と評価パターン画像には相違が生じる。図２（ｃ）は、図２（ｂ）に示す評価パターン画像から基準パターン画像と比較するために格子線パターンの線のみを抽出した画像である。

画像処理装置１８は、図２（ａ）に示すパターン画像中の格子線パターンと、図２（ｃ）に示す評価パターン画像中の格子線パターンの位置の相違、具体的には格子交点における像鮮明度（コントラスト）を検出する。例えば、図２（ａ）における矩形領域内の格子交点と、これに対応する図２（ｃ）における矩形領域内の格子交点のコントラストを検出する。このコントラストは、評価対象物の表面粗さにより生じたものであり、表面粗さとコントラストとの間には一定の相関関係がある。

そこで、画像処理装置１８は、予めコントラストと表面粗さとの間の相関関係を求めてメモリに記憶しておき、基準パターン画像に対する評価パターン画像のコントラストを検出する。そして、メモリに記憶された相関関係を参照することで、検出したコントラストから評価対象物の表面粗さを算出する。

なお、幾何学パターンとしての格子線パターンは一例であり、図３に示すように複数の点がマトリクス状に配置された点パターンであってもよい。

図３（ａ）は基準対象物に対して点パターンを照射した場合にカメラ１２で撮影して得られる基準パターン画像であり、図３（ｂ）は評価対象物に対して同一パターンを照射した場合にカメラ１２で撮影して得られる評価パターン画像である。両画像において対応する点のコントラストを検出することで、検出したコントラストから評価対象物の表面粗さが算出される。

ここで、本実施形態における像鮮明度（コントラスト）は、検知領域における最大輝度値Ｍａｘと最小輝度値Ｍｉｎを用いて
コントラスト＝（Ｍａｘ−Ｍｉｎ）／（Ｍａｘ＋Ｍｉｎ）
で与えられる。

図４は、画像処理装置１８の機能ブロック図を示す。画像処理装置１８は、機能ブロックとして、照射装置駆動部１８０と、カメラ画像取得部１８１と、コントラスト検出部１８２と、表面粗さ算出部１８３と、基準パターン画像記憶部１８４と、評価パターン画像記憶部１８５と、相関関係記憶部１８６と、写像性情報記憶部１８７を備える。

照射装置駆動部１８０は、照射装置１０のオン／オフ、及び照射装置１０から照射されるパターンを制御する。

カメラ画像取得部１８１は、カメラ１２で撮影して得られた画像を取得する。カメラ１２で撮影して得られた画像には、基準対象物にパターンを照射して得られた基準パターン画像と、評価対象物に同一パターンを照射して得られた評価パターン画像がある。カメラ画像取得部１８１は、取得した基準パターン画像を基準パターン画像記憶部１８４に格納し、取得した評価パターン画像を評価パターン画像記憶部１８５に格納する。

コントラスト検出部１８２は、基準パターン画像記憶部１８４に記憶された基準パターン画像と、評価パターン画像記憶部１８５に記憶された評価パターン画像を比較し、両画像の対応する位置におけるコントラストを検出する。パターンが格子線パターンの場合、両画像の対応する位置は、格子線パターンの交点位置である。

相関関係記憶部１８６は、予め求められたコントラストと表面粗さとの相関関係を記憶する。相関関係はテーブル形式あるいは関数形式のいずれでもよい。

表面粗さ算出部１８３は、コントラスト検出部１８２で検出されたコントラストと、相関関係記憶部１８６に記憶された相関関係を用いて、評価対象物の表面粗さを算出して写像性情報記憶部１８７に格納する。表面粗さは、評価対象物の位置毎に写像性情報記憶部１８７に記憶される。写像性情報記憶部１８７に記憶された表面粗さは、適宜読み出されて外部装置に出力され、各種処理、例えば評価対象物の質感をＣＧ（コンピュータグラフィックス）画像として表現するための画像処理に供され得る。

画像処理装置１８は、具体的にはプロセッサ、メモリ、及び入出力インターフェイスを備えるコンピュータで構成され得る。プロセッサは、ＲＯＭやＨＤＤ、あるいはＳＳＤ等に記憶された処理プログラムを読み出して実行することで、照射装置駆動部１８０、カメラ画像取得部１８１、コントラスト検出部１８２、及び表面粗さ算出部１８３の機能を実現する。また、ＨＤＤ等のメモリは、基準パターン画像記憶部１８４、評価パターン画像記憶部１８５、相関関係記憶部１８６、及び写像性情報記憶部１８７として機能する。

図４では、基準パターン画像記憶部１８４、評価パターン画像記憶部１８５、相関関係記憶部１８６、及び写像性情報記憶部１８７が別個の機能ブロックとして示されているが、これらを物理的に一つのメモリで構成してもよく、別個のメモリで構成してもよい。また、基準パターン画像記憶部１８４、評価パターン画像記憶部１８５、相関関係記憶部１８６、及び写像性情報記憶部１８７の少なくともいずれかを画像処理装置１８とは別の外部装置、例えばネットワークに接続されたサーバに設けてもよい。例えば、相関関係記憶部１８６、及び写像性情報記憶部１８７をサーバに設ける等である。

図５は、像鮮明度（コントラスト）と表面粗さの相関関係の一例をグラフ形式で示す。図５において、横軸は像鮮明度（コントラスト）であり、百分率で
コントラスト（％）＝（Ｍａｘ−Ｍｉｎ）／（Ｍａｘ＋Ｍｉｎ）×１００
で算出される。縦軸は表面粗さである。表面粗さが大きいほど、コントラストは低下する傾向にある。予め既知の表面粗さに対するコントラストを算出してプロットすることで、図５に示す相関関係が得られる。この関係から、任意のコントラストに対応する表面粗さが決定される。例えば、コントラストが
（２００−１００）／（２００＋１００）×１００＝３３．３（％）
であれば、図５の相関関係から表面粗さは
表面粗さ＝０．０８
が得られる。また、コントラストが
（２５０−５０）／（２５０＋５０）×１００＝６６．７（％）
であれば、図５の相関関係から表面粗さは
表面粗さ＝０．０４
が得られる。

図６は、本実施形態の処理フローチャートを示す。なお、この処理の前提として、コントラストと表面粗さとの相関関係が相関関係記憶部１８６に記憶されており、かつ、基準対象物に一定パターンを照射した場合にカメラ１２で撮影して得られた基準パターン画像も基準パターン画像記憶部１８４に記憶されているものとする。因みに、相関関係の算出処理は、以下の処理ステップから構成される。
（１）基準対象物に対して格子線パターンを照射し、カメラ１２で撮影して基準パターン画像を取得する。
（２）表面粗さが既知のサンプル対象物に対して格子線パターンを照射し、カメラ１２で撮影してサンプルパターン画像を取得する。
（３）サンプル画像を取り替えて（２）の処理を繰り返す。
（４）基準パターン画像とサンプルパターン画像の画像を比較し、格子線パターンの交点のコントラストを検出する。
（５）コントラストと表面粗さの相関関係を算出する。

画像処理装置１８の照射装置駆動部１８０は、照射装置１０を駆動して一定パターン（例えば格子線パターン）を評価対象物に照射し、カメラ画像取得部１８１は、カメラ１２で撮影して得られた評価パターン画像を取得する。評価パターン画像は評価パターン画像記憶部１８５に記憶される。コントラスト検出部１８２は、評価パターン画像から格子の線を検出し（Ｓ１０１）、写像性検知領域としてコントラスト検知領域を抽出して（Ｓ１０２）（図２（ｃ）の矩形領域参照）、検知領域内で格子の交点を検知する（Ｓ１０３）。そして、基準パターン画像記憶部１８４に記憶されている基準パターン画像における交点位置と、評価パターン画像から検知した交点位置を比較し、基準パターン画像に対する評価パターン画像のコントラストを検知する（Ｓ１０４）。

次に、表面粗さ算出部１８３は、相関関係記憶部１８６に記憶されたコントラストと表面粗さとの相関関係を参照し、検知したコントラストを表面粗さに変換し、評価対象物の写像性情報として写像性情報記憶部１８７に記憶する（Ｓ１０５）。

以上の処理を格子線パターンの全ての交点について実行し、格子線パターンの各交点における表面粗さを取得して記憶する。取得した表面粗さは、既述したように入出力インターフェイスを介して外部装置に出力してもよく、あるいはネットワークを介してサーバに出力してもよい。

上記の処理では、格子線パターンの交点における表面粗さが取得されるが、格子線パターンの位置を変化させる（シフトさせる）ことで、格子線パターンの交点位置を変化させ、評価対象物の異なる位置における表面粗さが取得される。

図７は、格子線パターンの位置を変化させる場合の一例を示す。図７（ａ）は、格子線パターンの位置を変化させた場合の基準パターン画像の変化を示し、図７（ｂ）は、評価パターン画像の変化を示す。位置ずれ検知領域内の格子の交点が順次変化していることが分かる。順次変化するそれぞれの格子の交点で表面粗さが取得される。

図８は、この場合の処理フローチャートを示す。

画像処理装置１８の照射装置駆動部１８０は、照射装置１０を駆動して一定パターン（例えば格子線パターン）を照射し（Ｓ２０１）、カメラ画像取得部１８１は、カメラ１２で撮影して得られた評価パターン画像を取得する。コントラスト検出部１８２は、評価パターン画像から格子の線を検出し（Ｓ２０２）、写像性検知領域としてコントラスト検知領域を抽出し（Ｓ２０３）（図２（ｃ）の矩形領域参照）、検知領域内で格子の交点を検知する（Ｓ２０４）。そして、基準パターン画像における交点位置と、評価パターン画像から検知した交点位置を比較し、両位置におけるコントラストを検知する（Ｓ２０５）。

次に、表面粗さ算出部１８３は、相関関係記憶部１８６に記憶されたコントラストと表面粗さとの相関関係を参照し、検知したコントラストを表面粗さに変換し、評価対象物の写像性情報として写像性情報記憶部１８７に記憶する（Ｓ２０６）。以上の処理を格子の全ての交点について実行し、格子の各交点における表面粗さを取得する。

次に、表面粗さ算出部１８３は、評価対象物の全面の表面粗さを取得したか否かを判定し（Ｓ２０７）、取得していなければＳ２０１以降の処理を繰り返す。この際、照射装置駆動部１８０は、格子線パターンの位置を変化させて照射し、表面粗さ算出部１８３は、変化した交点の位置において表面粗さを取得する。以上の処理を格子線パターンの位置を順次変化させながら繰り返し実行することで、評価対象物の全面の表面粗さが取得される。

なお、一定パターンとして格子線パターンではなく、マトリクス状に配置された点パターンとする場合も、同様に点パターンの位置を変化させて法線ベクトルを取得してもよい。

図９は、点パターンの位置を変化させる一例を示す。図９（ａ）は、点パターンの位置を変化させた場合の基準パターン画像の変化を示し、図９（ｂ）は、評価パターン画像の変化を示す。検知領域内の点拡がり量が順次変化していることが分かる。順次位置が変化するそれぞれの点で表面粗さが取得される。

格子線パターンや点パターンの照射位置を変化させることで、より細かく評価対象物の表面をサンプリングし、局所的に詳細な表面粗さが取得されるといえる。

格子線パターンの格子間隔を縮小する、あるいは点パターンの間隔を縮小することも可能であるが、この場合にはコントラストの検出演算量が増大し、誤検出の可能性が生じ得る。

以上、本発明の実施形態について説明したが、本発明はこれに限定されず種々の変形が可能である。

＜変形例＞
例えば、格子線パターンの各交点において表面粗さを算出した後、交点の間の任意の位置の表面粗さについては、隣接する交点の表面粗さを用いた補間処理により算出され得る。

また、実施形態では、一定パターンとして格子線パターン及び点パターンを例示したが、これらに限定されるものではなく、対象物に照射した場合に対象物の表面上の任意の位置特定し得る任意の幾何学パターンを用い得る。

さらに、実施形態において、カメラ１２で撮影して得られた基準パターン画像及び評価対象画像をネットワークに接続されたサーバに送信して格納し、ネットワーク上に接続された画像処理装置１８が当該サーバにアクセスしてこれらの画像を取得し、両画像を比較して点拡がり量を検出してもよい。

図１０は、この場合のシステム構成を示す。表示特性取得システムは、照射装置１０から照射され、対象物１６で反射したパターン光を撮影するカメラ１２と、画像処理装置１８と、サーバ１００を備え、カメラ１２，画像処理装置１８及びサーバ１００はネットワークに接続される。

カメラ１２は、撮影して得られた基準パターン画像及び評価パターン画像をネットワークを介してサーバ１００に送信する。サーバ１００は、これらの画像を格納する。

画像処理装置１８は、サーバ１００に格納された基準パターン画像及び評価パターン画像を読み出し、上記の実施形態と同様の処理によりコントラストを検出し、さらに表面粗さを算出する。相関関係は画像処理装置１８に記憶されていてもよく、あるいはサーバ１００に記憶され、画像処理装置１８がサーバ１００にアクセスして相関関係を読み出してもよい。

１０ 照射装置、１２ カメラ、１４ サンプルステージ、１６ 対象物、１８ 画像処理装置、１００ サーバ。

Claims (8)

1. 幾何学パターンを基準対象物に照射してその反射光を撮影して得られた基準パターン画像に対する前記幾何学パターンを評価対象物に照射してその反射光を撮影して得られた評価パターン画像の像鮮明度を検出する検出部と、
   予め設定された像鮮明度と表面粗さとの関係を用いて、検出された前記像鮮明度に対応する前記評価対象物の表面粗さを算出する算出部と、
   を備える表面特性取得装置。
2. 前記像鮮明度は、検知領域における最大輝度値Ｍａｘと最小輝度値Ｍｉｎに対し、
   （Ｍａｘ−Ｍｉｎ）／（Ｍａｘ＋Ｍｉｎ）
   を用いて算出される
   請求項１に記載の表面特性取得装置。
3. 前記幾何学パターンを表示する表示装置
   を備える請求項１に記載の表面特性取得装置。
4. 前記幾何学パターンは、その照射位置が変化する
   請求項１，３のいずれかに記載の表面特性取得装置。
5. 前記幾何学パターンは、格子線パターンあるいは点パターンであり、
   前記検出部は、前記格子線パターンにおける格子点あるいは点パターンにおける像鮮明度を検出する
   請求項１〜４のいずれかに記載の表面特性取得装置。
6. 前記基準対象物からの反射光及び前記評価対象物からの反射光を撮影するカメラ
   を備える請求項１に記載の表面特性取得装置。
7. 幾何学パターンを基準対象物に照射してその反射光を撮影することで基準パターン画像を取得するとともに、前記幾何学パターンを評価対象物に照射してその反射光を撮影することで評価パターン画像を取得するカメラと、
   前記カメラで取得された前記基準パターン画像及び前記評価パターン画像を記憶するサーバと、
   前記サーバに記憶された前記基準パターン画像に対する前記評価パターン画像の像鮮明度を検出し、予め設定された像鮮明度と表面粗さとの関係を用いて、検出された前記像鮮明度に対応する前記評価対象物の表面粗さを算出する画像処理装置と、
   を備える表面特性取得システム。
8. コンピュータに、
   幾何学パターンを基準対象物に照射してその反射光を撮影して得られた基準パターン画像を取得するステップと、
   前記幾何学パターンを評価対象物に照射してその反射光を撮影して得られた評価パターン画像を取得するステップと、
   前記基準パターン画像に対する前記評価パターン画像の像鮮明度を検出するステップと、
   予め設定された像鮮明度と表面粗さとの関係を用いて、検出された前記像鮮明度に対応する前記評価対象物の表面粗さを算出するステップと、
   を実行させるプログラム。