JP2008042581A - スキャナ装置、画像質感向上装置、画像質感呈示装置、および画像質感呈示システム - Google Patents

Abstract

【課題】多数の光源を必要としないため、構成が簡素であり、容易に操作可能なスキャナ装置を実現することにある。また、対象物から得られる画像を、触覚呈示手段、ユーザの手等によって遮られることがなく、高いリアリティをもって、凹凸形状の触感を擬似的に再現することが可能な画像質感呈示装置を実現することにある。
【解決手段】傾斜ステージ方式スキャナ１は、傾斜ステージ１３上には、対象物１００が載置される精密回転台１４が備えられ、精密回転台１４は、対象物１００が載置される面に対して垂直方向を軸として回転する。また、視触覚呈示装置は、触覚デバイスとユーザの視点との間に、ディスプレイによって表示された画像を投影する整合装置を備えている。
【選択図】図１

Description

本発明は、対象物に光を照射する光源と、対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、対象物への光入射角度を一方向に変化させるステージとを備えたスキャナ装置に関する。また、スキャナ装置と、スキャナ装置の動作を制御するとともに、スキャナ装置が取得した画像データから、対象物の質感を向上させた画像データを得る画像質感向上手段とを備えた画像質感向上装置に関する。

また、本発明は、画像を表示する画像表示手段と、ユーザに画像の触覚情報を呈示する触覚呈示手段と、上記画像表示手段に表示される画像の凹凸形状を算出し、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置に関する。さらに、画像質感向上装置と、画像質感呈示装置とを備え、画像表示手段が、画像質感向上手段によって得られた、対象物の質感を向上させた画像データに基づいて画像を表示する画像質感呈示システムに関する。

従来、映画、テレビ等の映像メディアをはじめ、デジタルアーカイブ、オンラインショッピング等の様々な分野において、例えばコンピュータグラフィックスのように、仮想空間上に物体を表現する方法が用いられている。また、コンピュータグラフィックスの技術を用いて仮想環境を構築し、ユーザがあたかもその場にいるような臨場感あふれる体験を提供する技術（バーチャルリアリティ；仮想現実環境）は、都市工学、交通工学、医療、アミューズメント等の分野において活用されている。このため、実世界の物体と同じようなリアリティある仮想空間上の物体をコンピュータグラフィックスによって生成する技術の向上は、ますます重要になってきている。

また、仮想空間上に表現された物体を、より実物に近いものとしてユーザに認識させるためには、視覚だけではなく、その他の感覚、とりわけ触覚に働きかける必要があると考えられている。このため、近年、コンピュータグラフィックスによる仮想空間上の物体に触れることが可能な触覚デバイスを使用することにより、視覚からではわからない対象物の柔軟性、重さ等を表現することが可能となっている。

例えば、特許文献１〜３には、質感等の視覚情報を得る装置または方法が開示されている。

特許文献１では、カメラ、ＣＣＤ（Charge Coupled Devices）センサ等により入力される実画像情報を、赤外線やレーザ光を照射して測距するアクティブ方式、または、複数視点からの画像のマッチングから距離画像を得るパッシブ方式により入力される３次元情報を用いて、質感強調した画像に変換する画像質感強調装置が開示されている。具体的には、３次元形状に基づいて、勾配量または勾配量の変化を計算し、コントラストまたはシャープネスの制御を行うことによって、実画像の光沢を強調するとともに、凹凸を際立たせている。

また、特許文献２では、ゴニオ・スペクトロ・メータを用いて計測された変角分光反射率から演算される、分光波長および変角にそれぞれ依存する２つの特徴量に基づいて、色と質感とを考慮した被塗装物の塗装色を再現する方法が開示されている。これにより、任意角度における光源および視点での質感または色情報を再現することができ、メタリック粒子感等を精度よく再現することが可能となる。

しかしながら、特許文献１において、実画像を取得する実画像入力部と対象物との距離を測定することにより３次元情報を得ているため、対象物表面の微細な形状を高精細に復元するためには、精密に距離を測定する必要がある。従って、精度のよい質感情報を得るためには、上記距離の測定を精密に行う制御部を備えなくてはならないため、画像質感強調装置の簡素化を図ることはできない。

なお、特許文献１では、金属、陶器等の光沢への対応、または、織物、紙類等の微細反射への対応等、対象となる素材に対応した質感処理を行うことが困難である。

また、特許文献２では、鋼板等への塗布のために質感情報を得るものであるため、実画像を取得することによって質感情報を得る構成とはなっていない。

さらに、ゴニオ・スペクトロ・メータは、対象の測定をスポット単位で行っており、質感に関係のないスペクトルデータも測定している。このため、１画素当たりの情報量は、数百バイトとなるため、高精細に大きな面積における質感および色情報を計測する場合には、画像処理に膨大な時間がかかってしまう虞がある。

なお、ゴニオ・スペクトロ・フォトメータを用いているため、鋼板等の一様な反射特性をもつ素材に対する変角分光反射率を計測することは可能であるが、織物等の一様な反射特性を持たない素材に対しては計測することができない虞がある。

ここで、特許文献３には、対象物の測定をスポット単位ではなく、面単位で行うことを可能としたマルチアングルスキャナが開示されている。具体的には、マルチアングルスキャナは、被写体で反射された反射光を読み取るラインＣＣＤを備えており、読取り光学系の光軸に対して、少なくとも垂直を含む所望の対応角度に調整可能となるように傾動する傾動ステージを備えた構成となっている。

また、触覚デバイスとしては、例えば、特許文献４〜６に開示されている。

特許文献４では、画像情報に関連する触覚情報に対応する電流が流れる刺激電極が蜜に配置された触覚呈示部を備えた視触覚情報呈示装置が開示されている。また、特許文献５では、対象物が表示されている画面上にカーソルを配置し、触感呈示ボタンを押圧して該画面上をドラッグさせることにより、対象物の表面の触感を再現するポインティングデバイスを備えた触覚呈示装置が開示されている。さらに、特許文献６では、ディスプレイ上に、映像に対応した微小な凹凸や振動が呈示される触覚兼タッチパネルを備えた触覚情報伝達装置が開示されている。
特開２００２−３２９１９８号公報（２００２年１１月１５日公開） 特開平８−２２１５６０号公報（１９９６年８月３０日公開） 特開２００５−３３１９３４号公報（２００５年１２月２日公開） 特開２００５−１２８８９１号公報（２００５年５月１９日公開） 特開２００１−３０６２００号公報（２００１年１１月２日公開） 特開２０００−１４８３９３号公報（２０００年５月２６日公開）

しかしながら、特許文献３では、傾動ステージは、傾動ステージ上の載置台が移動する方向と直交する方向、すなわち、読取り光学系の光軸方向を軸として傾動している。従って、この軸に対して垂直な面内の方向に対象物への光入射角度を変化させながら対象物のテクスチャ画像を取得することは可能であるが、垂直な面内の方向以外の方向、例えば、傾動ステージ上の載置台が移動する方向に垂直な面内の方向に対象物への光入射角度を変化させながらテクスチャ画像を取得することはできない。すなわち、上記傾動軸に対して垂直な面内の方向以外の方向に対象物への光入射角度を変化させながらテクスチャ画像を撮影することができない。

このため、任意の方向に対象物への光入射角度を変化させながらテクスチャ画像を得ることができないため、例えば、ＢＴＦ（Bidirectional Texture Function；双方向テクスチャ関数）計測等を行って質感情報を取得するために必要なテクスチャ画像データを充分に得ることができない。

また、特許文献５に記載のポインティングデバイスは、対象物が表示されている画面を直接触れるわけではないので、ポインティングデバイスと対象物とが視線一致していない。このため、視線一致している触覚デバイスと比較して、対象物そのものに触れている感覚が損なわれる。

さらに、特許文献４に記載の触覚呈示部、および、特許文献６に記載の触覚兼タッチパネルは、画像出力部に表示される対象物の画像と、ユーザの視点との間に備えられている。このため、ユーザが、対象物に擬似的に触れるために、触覚呈示部または触覚兼タッチパネルに手で触れた場合、ユーザの手等によって、対象物の画像が遮られてしまう虞がある。

本発明は、上記の問題点を鑑みてなされたものであり、その目的は、多数の光源を必要としないため、構成が簡素であり、容易に操作可能なスキャナ装置を実現することにある。また、対象物から得られる画像を、触覚デバイス、ユーザの手等によって遮られることがなく、高いリアリティをもって、凹凸形状の触感を擬似的に再現することが可能な画像質感呈示装置を実現することにある。

本発明に係るスキャナ装置は、上記課題を解決するため、対象物に光を照射する光源と、上記対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、上記対象物への光入射角度を一方向に変化させるように回動するステージとを備えたスキャナ装置であって、上記ステージ上には、上記対象物が載置される回転台が備えられ、上記回転台は、上記対象物が載置される面に対して垂直方向を軸として回転する。

上記構成によれば、スキャナ装置は、ステージに、対象物が載置される面に対して垂直方向を軸として回転する回転台を備えている。ステージは、対象物への光入射角度を一方向に変化させるように回動するため、該ステージと回転台とによって、１つの固定された光源から照射される光を、対象物に対して任意の角度から入射させることが可能となる。

これにより、画像データの取得を行う所望の角度に多数の光源を備えている構成、または、画像データの取得を行う所望の角度に光源を移動させる構成でない場合であっても、光入射角を複数の方向に異ならせた画像データを得ることが可能となる。従って、スキャナ装置の構成を簡素にし、スキャナ装置を容易に操作することが可能となる。

上記受光手段は、ラインセンサであり、上記回転台は、上記ステージに平行で、かつ上記ラインセンサの長手方向に直交する方向に移動することが好ましい。

上記構成によれば、上記回転台が、上記ステージに平行で、かつ上記ラインセンサの長手方向に直交する方向に移動することによって、ラインセンサが、上記対象物全体を走査することができる。これにより、対象物からラインとして取得した１次元的な画像データを結合させて２次元的な画像を取得することが可能となる。従って、通常のカメラを使用した場合よりも、高精細な画像データを取得することが可能となる。また、ラインセンサを移動させる必要がないため、対象物を回転させた場合であっても、画像データを取得することが可能となる。

上記ステージは、上記ステージを回動させる第１の駆動手段と、上記回転台を回転させる第２の駆動手段とがさらに備えられていることが好ましい。

上記構成によれば、スキャナ装置は、光入射角を複数の方向に異ならせた画像データを得るために、ステージを回動させる第１の駆動手段と、回転台を回転させる第２の駆動手段とを備えている。これにより、ステージおよび回転台の制御を自動で行うことが可能となるため、スキャナ装置をさらに容易に操作することが可能となる。

本発明に係る画像質感向上装置は、上記記載のスキャナ装置と、上記スキャナ装置の動作を制御するとともに、該スキャナ装置が取得した、光入射方向の異なる複数枚の画像データから、上記対象物の質感を向上させた画像データを生成する画像質感向上手段とを備えることが好ましい。

上記構成によれば、簡素化された構成のスキャナ装置で、操作容易に得られた対象物の画像データは、画像質感向上手段によって、対象物の質感を向上させた画像データに処理される。これにより、光入射角を複数の方向に異ならせた画像データから、高精細なテクスチャ画像データを再現することが可能となる。

上記画像質感向上手段は、上記ステージおよび回転台の位置情報を格納する位置情報格納手段と、上記位置情報格納手段から位置情報を取得し、該位置情報に基づいて、上記第１および第２の駆動手段を制御する駆動制御手段と、上記第１および第２の駆動手段によって上記ステージおよび回転台が所望の位置まで移動すると、上記ラインセンサから画像データを取得し、取得した画像データから、上記対象物の質感を向上させた画像データを生成する画像処理手段とを備えることが好ましい。

上記構成によれば、駆動制御手段は、画像データの取得を行う所望の角度である位置情報を、位置情報格納手段から取得し、該位置情報に基づいて駆動手段を制御することにより、スキャナ装置に備えられたステージおよび回転台を、画像データの取得を行う所望の角度に移動させる。ステージおよび回転台が所望の角度（位置）に設定されると、駆動制御手段は、ステージが走査することによって、ラインセンサが対象物の画像データを取得するように制御信号を出力する。取得された画像データは、画像処理手段に出力され、該画像処理手段によって、対象物の質感を向上させた画像データを生成する。

これにより、スキャナ装置を画像質感向上手段によって制御することが可能となるため、スキャナ装置で得られた、光入射角を複数の方向に異ならせた画像データから、高精細なテクスチャ画像データを再現することが可能となる。また、高精細なテクスチャ画像データを再現させることが可能となるため、対象物表面の傷を検査することが可能となる。

上記画像処理手段は、上記対象物から得られる、上記対象物上の位置および光入射角度に応じた反射率の変化を、上記ラインセンサによって得られた画像から計測するとともに、計測結果を画像データとして出力する第１の計測手段と、上記画像データの各画素毎に輝度と色度とを分離し、正規化された光の入射ベクトルと定数とからなる２次元多項式を用いて、各画素毎の輝度値を近似する第２の計測手段とを備えることが好ましい。

上記構成によれば、画像データから、対象物上の位置および光入射角度に応じた反射率の変化を計測をし、この計測から得られた画像データに基づいて、画像データの各画素毎に輝度と色度とを分離し、正規化された光の入射ベクトルと定数とからなる２次元多項式を用いて計測することによって、画像データの各画素の輝度値を近似する。

これにより、色度の値を調整することができ、各画素の最終的な色の再現処理を行うことができるため、高精細なテクスチャ画像データを得ることが可能となる。

また、第２の計測手段は、定数からなる２次元多項式を用いているため、該定数の評価を行うことによって、第１の計測手段から出力された画像データのデータ量を圧縮することができるため、通常のＰＣ等であっても、高速に画像データを処理することが可能となる。

本発明に係る画像質感呈示装置は、上記課題を解決するため、対象物の画像を表示する画像表示手段と、ユーザに対し、上記対象物の触覚情報を上記画像に対応させて呈示する触覚呈示手段と、上記画像表示手段に表示される対象物の凹凸形状を表す凹凸形状データに基づいて、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置であって、上記触覚呈示手段とユーザの視点との間に、上記画像表示手段によって表示された画像を投影する投影手段を備えている。また、上記投影手段は、上記触覚呈示手段とユーザの視点との間に配置され、上記画像表示手段からの光をユーザの視点の方向に反射させるハーフミラーを含んでいることが好ましい。

上記構成によれば、触覚呈示手段とユーザの視点との間に、画像表示手段から提供される画像を投影する投影手段を備えている。これにより、触覚呈示手段、ユーザの手等によって遮られることがなく、投影手段に投影された画像の任意の位置と、触覚呈示手段の位置とを（ユーザの視点から見て）重ね合わせることが可能となる。従って、ユーザに対して、画像表示手段に表示される画像に対応した対象物に、あたかも触っているように感じさせることができ、高いリアリティをもって、該対象物の凹凸形状の触感を擬似的に再現することが可能となる。

光入射方向の異なる複数枚の画像データから、これら画像データの差分画像を生成し、該差分画像に基づいて上記凹凸形状データを算出する凹凸形状算出手段をさらに備えることが好ましい。

上記構成によれば、凹凸形状算出手段は、対象物への光入射角を変化させながら取得した複数枚の画像データから、凹凸形状を算出する。これにより、対象物の凹凸形状を示す位置情報のデータ量を低減させることが可能となる。

本発明に係る画像質感呈示システムは、上記記載の画像質感向上装置と、上記記載の画像質感呈示装置とを備え、上記画像質感呈示装置の画像表示手段は、上記画像質感向上装置の画像質感向上手段によって得られた、対象物の質感を向上させた画像データに基づいて画像を表示することが好ましい。

上記構成によれば、画像質感向上装置によって得られた、対象物の質感を向上させた画像データに基づく画像が、画像質感呈示装置の画像表示手段に表示され、該画像が、投影手段に投影されることとなる。これにより、画像質感向上装置によって得られた、対象物の質感に対応した微細な凹凸形状に、擬似的に触れることが可能になる。従って、対象物を、視認することによる検査だけでなく、擬似的に触れることによる検査をすることが可能となる。また、上記構成によれば、高精細なテクスチャ画像を表示することが可能となる。

本発明に係るスキャナ装置は、以上のように、対象物に光を照射する光源と、上記対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、上記対象物への光入射角度を一方向に変化させるように回動するステージとを備えたスキャナ装置であって、上記ステージ上には、上記対象物が載置される回転台が備えられ、上記回転台は、上記対象物が載置される面に対して垂直方向を軸として回転する。これにより、画像データの取得を行う所望の角度に多数の光源を備えている構成、または、画像データの取得を行う所望の角度に光源を移動させる構成でない場合であっても、光入射角を複数の方向に異ならせた画像データを得ることが可能となる。また、上記構成により、スキャナ装置の構成を簡素にし、スキャナ装置を容易に操作することが可能となる。

また、本発明に係る画像質感呈示装置は、以上のように、対象物の画像を表示する画像表示手段と、ユーザに対し、上記対象物の触覚情報を上記画像に対応させて呈示する触覚呈示手段と、上記画像表示手段に表示される対象物の凹凸形状を表す凹凸形状データに基づいて、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置であって、上記触覚呈示手段とユーザの視点との間に、上記画像表示手段によって表示された画像を投影する投影手段を備えている。これにより、触覚呈示手段、ユーザの手等によって遮られることがなく、投影手段に投影された画像の任意の位置と、触覚呈示手段の位置とを（ユーザの視点から見て）重ね合わせることが可能となるため、ユーザに対して、画像表示手段に表示される画像に対応した対象物に、あたかも触っているように感じさせることができ、高いリアリティをもって、該対象物の凹凸形状の触感を擬似的に再現することが可能となる。

〔実施形態１〕
本発明の一実施形態について図１ないし図６に基づいて説明すると以下の通りである。

図２は、実施形態１に係る傾斜ステージ方式スキャナの概略構成を示す斜視図である。

本実施形態に係る傾斜ステージ方式スキャナ（スキャナ装置、画像質感向上装置）１は、図２に示されるように、ラインセンサ（受光手段）１１と、光源１２と、傾斜ステージ（ステージ）１３と、精密回転台（回転台）１４と、支持板１５とを備えている。

ラインセンサ１１は、光学解像度４００ｄｐｉのＣＣＤセンサであり、精密回転台１４に載置される油彩画等の対象物１００から反射される反射光を読み取ることにより、対象物１００の画像データを取得する。この画像データは、該画像データの質感を向上させるために、後述の画像処理部２４に出力される。なお、図１に示されるように、精密回転台１４には対象物１００が載置されている。

なお、ラインセンサ１１を用いているが、これに限られたものではなく、通常のカメラでもよい。しかしながら、ラインセンサ１１は、対象物１００を走査して、対象物１００からラインとして取得した１次元的な画像データを結合させて２次元的な画像を取得するため、一括で２次元的な画像を取得する通常のカメラを使用した場合よりも、高精細な画像を取得することが可能である。また、ＣＣＤセンサを使用した場合には、通常のカメラを使用した場合に生ずる周辺歪の問題も考慮する必要がない。

光源１２は、精密回転台１４に載置される対象物１００に走査光を照射するものである。これにより、ラインセンサ１１は、対象物１００から反射される反射光を読み取り、画像を取得することができる。また、光源１２は、蛍光灯等の線光源であり、ラインセンサ１１と平行に備えられている。なお、光源１２は、対象物１００を照射できる位置であればどこに固定されていてもよい。

また、ラインセンサ１１および光源１２は、傾斜ステージ方式スキャナ１上であり、傾斜ステージ方式スキャナ１が載置されている面と平行な面で、傾斜ステージ方式スキャナ１に接触しない位置、例えば、傾斜ステージ方式スキャナ１上の天井に備えられている。

傾斜ステージ１３は、傾斜ステージ方式スキャナ１の下部両側に立設された１対の支持板１５によって支持されており、精密回転台１４と、輸送ベルト１６とを備えている。

精密回転台１４は、対象物１００が載置および固定される台であり、精密回転台１４の中心から対象物１００が載置される面に対して垂直な方向の回転軸ａを中心として３６０°回転する。精密回転台１４の機構については、後述する。

支持板１５は、傾斜ステージ１３を支持している。具体的には、傾斜ステージ１３の両側に突設させた支軸を、支持板１５に設けた軸受に枢支させている。これにより、例えば図３に示されるように、傾斜ステージ１３をラインセンサ１１の長手方向を軸として傾動させることが可能となる。傾斜ステージ１３の支軸は、ベルト、歯車等の伝動部を介して、モータ等の駆動装置（第１の駆動手段）と接続することにより、角度調整を自動で行うことができるようになっており、後述する駆動制御部（駆動制御手段、画像質感向上手段）２２によって傾動を制御されている。なお、図２および図３では、伝動部および駆動装置の構成要素の図示は省略している。

また、傾斜ステージ１３の支軸を制御する構成は、これに限られたものではなく、傾斜ステージ１３の角度調整を手動で行ってもよい。手動の場合には、ラインセンサ１１の長手方向に直交する方向と光源１２から照射される走査光とのなす角（経度方向の角度）、すなわち、傾斜ステージ１３の水平面に対する傾斜角度を確認するために、例えば、表示板（図示しない）が付設されていてもよい。

輸送ベルト１６は、精密回転台１４と平行に連結されており、精密回転台１４を傾斜ステージ１３の面において、ラインセンサ１１の長手方向に直交する方向に所定の速度で移動させる。ラインセンサ１１は、精密回転台１４が移動する間に、精密回転台１４に載置された対象物１００の画像を取得する。

図１は、精密回転台１４が回転軸ａの周りに回転する機構の概略を示す断面図である。

駆動装置１７は、回転軸ａの方向に、精密回転台１４に関してラインセンサ１１とは反対の位置に備えられており、精密回転台１４を回転軸ａの周りに３６０°回転させる。駆動装置（第２の駆動手段）１７は、モータ等を備える構成となっており、後述する駆動制御部２２によって回転を制御されている。なお、駆動装置１７は、これに限られたものではなく、手動で回転させる構成であってもよい。この場合には、回転角度を確認するために、例えば、表示板（図示しない）が付設されていてもよい。また、駆動装置１７は、精密回転台１４と、輸送ベルト１６とに連結されている。

上記より、傾斜ステージ１３の支軸によって傾斜ステージ１３を傾動させ、駆動装置１７によって傾斜ステージ１３に備えられた精密回転台１４を回転軸ａの周りに回転させることができる。これに連動して、精密回転台１４に載置された対象物１００を傾動させ、回転軸ａの周りを回転させることができる。従って、光源１２が固定されている場合であっても、対象物１００を中心にドーム状に囲むように、多数の光源１２を備えている構成、または、光源１２を移動させる構成と同じ機能を持たせることが可能となる。

従って、傾斜ステージ方式スキャナ１は、光源１２を１つ固定して設けた構成であるものの、多数の光源１２をドーム状に配置した構成と同様の画像データを得ることが可能である。従って、光源１２をドーム状に配置した構成と比べ多数の光源を必要としないため、スキャナ装置の構成の簡素化を図ることができるとともに、該スキャナ装置を容易に操作することが可能となる。

図４は、傾斜ステージ方式スキャナ１を用いて、入力された画像データのＢＴＦ計測を行う画像質感計測装置（画像質感向上装置）の構成を示すブロック図である。画像質感計測装置は、図２に示す傾斜ステージ方式スキャナ１と、制御・画像処理装置とで構成されている。なお、図２では、傾斜ステージ方式スキャナ１におけるラインセンサ１１および駆動部（第１および第２の駆動手段）２３を除く構成要素については、省略している。なお、精密回転台１４には対象物１００が載置されているものとする。

制御・画像処理装置は、本実施形態では１つのＰＣ（Personal Computer）で実現されており、位置情報テーブル（位置情報格納手段、画像質感向上手段）２１と、駆動制御部２２と、画像処理部（画像処理手段、画像質感向上手段）２４と、画像出力部２５とを備えている。

位置情報テーブル２１は、傾斜ステージ１３を傾動させ、精密回転台１４を回転させるために、傾斜ステージ１３の傾斜角度と、精密回転台１４の回転角度とが位置情報として格納されており、該位置情報を駆動制御部２２に出力する。なお、位置情報テーブル２１は、ＰＣに備えられているＲＯＭ（Read Only Memory）等のメモリに格納されている。

駆動制御部２２は、位置情報取得信号を位置情報テーブル２１に出力することにより、位置情報テーブル２１から画像データの取得を行うべき位置の位置情報を取得する。この位置情報に基づいて、傾斜ステージ１３を傾動させ、精密回転台１４を回転させるために、駆動部２３に駆動制御信号を出力する。

駆動部２３は、傾斜ステージ１３を傾動させる駆動装置と、精密回転台１４を回転させる駆動装置１７と、輸送ベルト１６用の駆動装置（図示しない）とを含んでいる。駆動部２３は、駆動制御信号に基づいて、所望の位置（角度）に傾斜ステージ１３および精密回転台１４を移動させる。これにより、画像データの取得を行うべき所望の位置に設定することができるため、画像データの取得を行うべき所望の角度で、光源１２から照射される走査光を対象物１００に入射させることが可能となる。

駆動部２３は、傾斜ステージ１３および精密回転台１４を移動させると、所望の位置への設定が完了したことを、設定完了信号として、駆動制御部２２に出力する。

なお、本実施形態では、位置情報として、経度方向の角度が、１０°〜８０°の範囲を１０°毎、および、４５°となるように設定されている。さらに、位置情報として、精密回転台１４の回転方向（緯度方向）の角度が、０°〜３００°の範囲を６０°毎となるように設定されている。

駆動制御部２２は、駆動部２３から設定完了信号が入力されると、ラインセンサ１１および駆動部２３に作動信号を出力する。

ラインセンサ１１は、作動信号が入力されると、この位置設定における対象物１００の画像データの取得を開始する。また、駆動部２３に作動信号が入力されると、輸送ベルト１６用の駆動装置が作動し、ラインセンサ１１の長手方向に直交する方向に精密回転台１４を移動させる。これにより、この位置設定における画像データを取得することができる。この位置設定における画像データの取得が完了すると、ラインセンサ１１は、駆動制御部２２に取得完了信号を出力する。

駆動制御部２２は、取得完了信号が入力されると、別の位置から走査光が照射された場合の画像データを取得するために、位置情報取得信号を位置情報テーブル２１に出力する。

位置情報テーブル２１は、位置情報取得信号が入力されると、位置情報を駆動制御部２２に出力する。これにより、駆動部２３は、傾斜ステージ１３および精密回転台１４を所望の位置に移動させるとともに、移動が完了すると、ラインセンサ１１が対象物１００を走査することによって、別の位置設定における画像データを取得する。

これにより、光源１２は、対象物１００に対して５４箇所から走査光を照射することができるため、ラインセンサ１１は、５４種類の画像データを取得することが可能となる。

ラインセンサ１１が５４種類の画像データを取得すると、該画像データは、画像処理部２４に出力される。

画像処理部２４は、得られた画像データの質感を高精細に再現する処理を、通常のＰＣ等であっても高速に処理することができるように、ＢＴＦ計測部（第１の計測手段）２４ａとＰＴＭ計測部（第２の計測手段）２４ｂとを備えている。

なお、駆動制御部２２および画像処理部２４とは、ＰＣに備えられているＣＰＵ（Central Processing Unit）等の制御または処理される。

ＢＴＦ計測部２４ａは、得られた画像データのＢＴＦを計測する。ＢＴＦ計測では、変角分光計測におけるＢＲＤＦ（Bidirectional Reflectance Distribution Function；双方向反射分布関数）計測では実現されなかった、対象物１００の一定の面積から得られる、対象物１００上の位置および光入射角度に応じた反射率の変化を、ラインセンサ１１によって得られた画像データから計測する。本実施形態においては、ＢＴＦは、ＲＧＢの波長領域における６次元反射率分布を示す関数である。

ＢＴＦ計測を行ったデータは、画像データとしてＰＴＭ計測部２４ｂに出力される。ＢＴＦ計測部２４ａに入力される画像データの画素数は、対象物１００が約２０ｃｍ四方であるとき、３０００×３０００ｐｉｘｅｌとなる。また、ＲＧＢのダイナミックレンジをそれぞれ８ｂｉｔ（１ｂｙｔｅ）、ＢＴＦ計測部２４ａで計測される画像データが５４種類とすると、ＢＴＦ計測部２４ａで計測された画像データのデータ量は、
５４×３０００×３０００×３＝１４５８００００００ｂｙｔｅ
となる。このため、ＢＴＦ計測を行った場合、約１．４Ｇｂｙｔｅのデータ量をもつ画像データをレンダリングすることとなるため、通常のＰＣ等では、高速に処理することは困難である。

そこで、ＢＴＦ計測部２４ａで計測された画像データを圧縮してレンダリングするために、該画像データは、ＰＴＭ計測部２４ｂに出力される。

ＰＴＭ計測部２４ｂは、ＰＴＭ（Polynomial Texture Mapping；多項式テクスチャマッピング）によって、上記画像データの圧縮およびレンダリングを行う。

具体的には、視点と対象物１００とを固定し、走査光の入射方向のみを変化させた場合、画素データの輝度値のみが変化し、色度は変化せずに一定であることが知られている。このため、画像データの任意座標（ｕ，ｖ）における画素の色（Ｒ，Ｇ，Ｂ）は、
Ｒ（ｕ，ｖ）＝Ｌ（ｕ，ｖ）×Ｒｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）＝Ｌ（ｕ，ｖ）×Ｇｎ（ｕ，ｖ）
Ｂ（ｕ，ｖ）＝Ｌ（ｕ，ｖ）×Ｂｎ（ｕ，ｖ）
となり、各画素毎に輝度値Ｌと色度（Ｒｎ，Ｇｎ，Ｂｎ）に分離し、モデル化することができる。

しかしながら、本実施形態では、画像データのサンプリング数が５４種類と離散的であるため、位置情報データのない方向から走査光が照射された場合の画像データに対して色の再現処理を行うこと、すなわち、連続的に色の再現処理を行うことが困難である。

そこで、ＢＴＦ計測部２４ａで得られた画像データに対し、正規化された走査光の入射ベクトル（ｌｕ，ｌｖ）、定数ａｉ（ｉ＝０〜５）を引数とした２次元多項式、
Ｌ（ｕ，ｖ;ｌｕ，ｌｖ）＝
ａ０（ｕ，ｖ）ｌｕ^２＋ ａ１（ｕ， ｖ）ｌｖ^２＋ａ２（ｕ， ｖ）ｌｕｌｖ
＋ａ３（ｕ，ｖ）ｌｕ＋ａ４（ｕ， ｖ）ｌｖ＋ａ５（ｕ，ｖ）
を用いてモデル化することによって、各画素の輝度値Ｌの近似値を求めることができ、この近似値に基づいて色度（Ｒｎ，Ｇｎ，Ｂｎ）の値を調整することができる。これにより、各画素の最終的な色の再現処理を行うことが可能となる。

また、上記モデル化された画像データの圧縮率を向上させるために、定数ａｉは、スケール変換処理等を行うことによって、８ｂｉｔの整数データであることが好ましい。しかしながら、スケール変換処理を行った場合であっても、全ての定数ａｉを８ｂｉｔにすることは困難である。

このため、圧縮ファイルへの格納値ａｉ´、スケール値λ、バイアス値Ωを用いることにより、定数ａｉは、
ａｉ＝λ（ａｉ´−Ω）
で表され、８ｂｉｔの範囲を超える場合であっても、８ｂｉｔ以内の格納値ａｉ´で圧縮ファイルに格納されることになる。

上記モデル化および定数ａｉの評価によって、表１に示されるように、ＢＴＦ計測された画像データは、約８８％圧縮することが可能である。この圧縮された画像データをレンダリング処理することになるため、通常のＰＣ等を用いて高精細な質感を再現する場合であっても、高速に処理することが可能となる。

ＰＴＭ計測部２４ｂで圧縮され、レンダリング処理された画像データは、画像出力部２５を介して、ユーザに提供されることとなる。

上記処理によって、対象物１００から得られた画像データから、高精細なテクスチャ画像データを得ることが可能となる。なお、図５は、ラインセンサ１１が取得した対象物１００の画像を示しており、図６は、該画像から上記処理によって得られたテクスチャ画像を示すものである。図５と図６との比較から、上記処理によって得られたテクスチャ画像は、対象物１００表面上の陰影などの質感が高精細に表現できていることが分かる。

上記より、傾斜ステージ方式スキャナ１は、傾斜ステージ１３が傾動するとともに、精密回転台１４が回転軸ａの周りを回転できる構成となっているため、ＢＴＦ計測を行うために必要な画像データを、固定された１つの光源によって得ることができる。従って、光源を多数必要とした、または、光源を移動させることを必要とした、ＢＴＦ計測のスキャナ装置を簡素化することができるとともに、該スキャナ装置を容易に操作することが可能となる。

また、ラインセンサ１１を用いているため、高精細なテクスチャ画像を画像出力部２５に表示させることができる。これにより、傾斜ステージ方式スキャナ１を用いて、上記テクスチャ画像処理を行うことにより、精密なグラビアの凸版印刷における表面の傷などを検査することが可能となる。また、ラインセンサ１１の解像度をさらに向上させることにより、半導体素子を作成するときの３次元マスクの検査を行うことが可能となる。

なお、本実施形態では、Ａ４サイズよりも少し小さい２０ｃｍ四方の大きさの対象物１００を用いているが、傾斜ステージ方式スキャナ１では、Ａ３サイズの対象物の画像データであっても、高精細な質感を再現することが可能である。

また、本実施形態に係る傾斜ステージ方式スキャナ１では、ラインセンサ１１で得られた画像データは、その質感を向上させるために画像質感計測装置に出力されている。しかしながら、これに限られたものではなく、該画像データの出力をそのまま利用して、例えば、ユーザに対して、複数の光入射角度の変化による陰影の変化を示すようにしてもよい。

〔実施形態２〕
本発明の他の実施形態について説明すれば、以下の通りである。なお、実施形態１と同一の機能を有する部材については、同一の符号を付記し、その説明は省略する。

図７は、視触覚呈示装置（画像質感呈示装置）２の概略構成を示す説明図である。

本実施形態に係る視触覚呈示装置２は、ＰＣ（触覚呈示制御手段、凹凸形状算出手段）３１と、ディスプレイ（画像表示手段）３２と、整合装置（投影手段）３３と、触覚デバイス（触覚呈示手段）３４とを備えている。

ＰＣ３１は、ディスプレイ３２と触覚デバイス３４とを制御している。具体的には、ディスプレイ３２に画像として表示される対象物の凹凸形状を、該凹凸形状に一致するように、また、ディスプレイ３２に表示される画像に対応するように、触覚デバイス３４の操作部３４ａに反力として伝える。このため、ＰＣ３１は、ディスプレイ３２に画像として表示される対象物の凹凸形状に一致する反力に対応する制御信号を生成し、触覚デバイス３４に出力する。

画像データから画像データ内の対象物の凹凸形状を再現する方法として、連結した三角形の集合によるポリゴンでの近似が一般的である。ポリゴンを形成するための頂点の位置情報は、主にレーザ計測器等によって計測されるが、計測された位置情報のデータ量は膨大になってしまう。

しかしながら、例えば、実施形態１に係る傾斜ステージ方式スキャナ１を用いて対象物１００への光入射角度が異なる複数枚の画像データを取得する場合、すなわち、対象物１００への光入射角度を変化させながら画像データを取得する場合には、ラインセンサ１１で取得した２枚の画像データから、これら画像データの差分画像を生成することができる。これにより、上記差分画像からHeight Fieldによって、画像データ内の対象物１００の凹凸形状を再現することができるため、位置情報のデータ量を低減させることが可能となる。

Height Fieldは、２次元画像から３次元の凹凸形状を復元する手法であり、主に等高線地図等から地形の３次元形状を再現するために用いられている。なお、視触覚呈示装置２において、視覚特性および凹凸形状は、ユーザに対して表現物体のリアリティを増すために、視覚特性の補助的な役割を行うことが目的であるため、Height Fieldによって充分に凹凸形状を復元することが可能である。

なお、Height Fieldによる具体的な凹凸形状の復元は、次に示すように行われる。

まず、２枚の画像データから得られる差分画像を、任意の平面（例えば、ｘ−ｙ平面）に１×１の大きさで投影させる。次に、差分画像の濃淡（輝度値）を、０〜１の高さデータに変換する。このとき、高さデータは、輝度値Ｌ＝１のときに最も高くなり、輝度値Ｌ＝０のときに最も低くなる。この変換された高さデータに基づいて、差分画像を前記任意の平面（投影面）に垂直な方向の何れか（例えば、＋ｚ軸方向）に隆起させる。これにより、２枚の画像データから得られた差分画像によって、画像データ内の対象物表面の凹凸形状の復元を行うことができる。

ディスプレイ３２は、ＰＣ３１から出力される画像データを表示する。ディスプレイ３２には、高精細なテクスチャ画像を表示できるように、高精細ＴＦＴカラー液晶ディスプレイが使用されているが、これに限られたものではなく、テクスチャ画像を表示できるものであればよい。また、例えば、傾斜ステージ方式スキャナ１で得られたテクスチャ画像を用いる場合、画像出力部２５に出力されているテクスチャ画像は、ディスプレイ３２に表示されている。

整合装置３３は、ミラー３３ａとハーフミラー３３ｂと備えており、ディスプレイ３２に表示された画像と、触覚デバイス３４の操作部３４ａとの位置を（ユーザの視点から見て）重ね合わせる。すなわち、整合装置３３は、視覚情報と、仮想空間に構築された触覚情報とを結びつけている。

ミラー３３ａは、ハーフミラー３３ｂに反射される画像の上下左右方向と、ディスプレイ３２に表示される画像の上下左右方向とを同一にする。ミラー３３ａは、ディスプレイ３２からの光を反射させてハーフミラー３３ｂに導く。

ハーフミラー３３ｂは、反射および透過の性質を併せ持つものであり、触覚デバイス３４とユーザの視点との間に、ミラー３３ａを介して入射するディスプレイ３２からの光がユーザの視点に向かって反射されるような方向に、斜めに傾けて備えられている。これにより、ハーフミラー３３ｂに反射される、ミラー３３ａを介したディスプレイ３２の画像が、触覚デバイス３４、ユーザの手等によって遮られることなく、該画像の任意の位置と、触覚デバイス３４の操作部３４ａの位置とを（ユーザの視点から見て）重ね合わせることが可能となる。

触覚デバイス３４は、ハーフミラー３３ｂに関して、ユーザの視点とは反対の位置に備えられており、ＰＣ３１によって制御されている。また、触覚デバイス３４は、操作部３４ａを有している。

操作部３４ａは、ＰＣ３１によって生成された反力に対応する制御信号に基づいて、ディスプレイ３２にテクスチャ画像として表示される、対象物表面の凹凸形状を再現するように反力を発生させる。これにより、ユーザは、操作部３４ａからの反力を指先で受けることにより、操作部３４ａ表面（この場合にはペン先）で対象物表面の凹凸形状に触れているように感じることが可能となる。なお、操作部３４ａは、ペン形状をしているが、これに限られたものではなく、グローブ形状であってもよい。ハーフミラー３３ｂにおけるユーザの視点とは反対側の空間は、外部から光が入らないようになっており、操作部３４ａにおける対象物に触れる部分（ペン先やグローブの先など）が光を発するようになっていることが好ましい。これにより、ディスプレイ３２の画像に操作部３４ａの像が混じることを抑制することができる。また、ユーザが、対象物１００の凹凸形状のどこを触っているかを認識し易くなる。

従って、整合装置３３によって、ハーフミラー３３ｂに反射されたディスプレイ３２の画像と、操作部３４ａのペン先の位置とを一致させることが可能になるとともに、操作部３４ａによって、該画像として表示される対象物の凹凸形状に触れているようにユーザが感じることが可能となる。これにより、ユーザに対して、ディスプレイ３２に画像として表示される対象物に、あたかも触っているように感じさせることが可能である。

また、例えば、傾斜ステージ方式スキャナ１を用いた場合、ラインセンサ１１によって取得された、対象物１００への光入射角度が異なる複数枚の画像データと、画像出力部２５から出力された、対象物１００のテクスチャ画像データとが、ＰＣ３１に出力される。ＰＣ３１は、テクスチャ画像データをディスプレイ３２に出力するとともに、２枚の画像データから差分画像を生成することによって、画像データ内の対象物表面の凹凸形状の復元を行う。

これにより、傾斜ステージ方式スキャナ１から得られたテクスチャ画像に対応した微細な凹凸形状に、擬似的に触れることが可能となる。これにより、精密なグラビアの凸版印刷等の検査を、検査者が、視認して検査するだけではなく、擬似的に触れることで検査することが可能となる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明に係る画像質感計測装置および画像質感呈示装置は、特に、油彩画、古文書、紙類、石版、タイル等のほぼ平らで微細な凹凸を有する形状の対象物を、仮想環境で高精細に表現するために有効である。また、画像質感計測装置は、高精細なテクスチャ画像を得ることができるため、上記対象物の検査、または、半導体素子の３次元マスクの検査に用いるのに有効であり、画像質感呈示装置は、高精細なテクスチャ画像を用いることで、擬似的に触れることによる検査に用いるのに有効である。

本実施形態１を示すものであり、傾斜ステージ方式スキャナの概略構成を示す断面図である。 図１に示される傾斜ステージ方式スキャナの概略構成を示す斜視図である。 図１に示される傾斜ステージ方式スキャナの傾斜ステージが傾動したときの、傾斜ステージ方式スキャナの概略構成を示す斜視図である。 図１に示される傾斜ステージ方式スキャナの動作と、対象物の画像データの処理とを示すブロック図である。 図１に示される傾斜ステージ方式スキャナが取得した画像データに基づく画像を示す写真である。 図１に示される傾斜ステージ方式スキャナが取得した画像データに、画像処理を行って得られたテクスチャ画像データに基づくテクスチャ画像を示す写真である。 本発明の実施形態２を示すものであり、触覚呈示装置の概略構成を示す説明図である。

符号の説明

１ 傾斜ステージ方式スキャナ（スキャナ装置、画像質感向上装置）
２ 視触覚呈示装置（画像質感呈示装置）
１１ ラインセンサ（受光手段）
１２ 光源
１３ 傾斜ステージ（ステージ）
１４ 精密回転台（回転台）
１７ 駆動装置（第２の駆動手段）
２１ 位置情報テーブル（位置情報格納手段、画像質感向上手段）
２２ 駆動制御部（駆動制御手段、画像質感向上手段）
２３ 駆動部（第１および第２の駆動手段）
２４ 画像処理部（画像処理手段、画像質感向上手段）
２４ａ ＢＴＦ計測部（第１の計測手段）
２４ｂ ＰＴＭ計測部（第２の計測手段）
３１ ＰＣ（触覚呈示制御手段、凹凸形状算出手段）
３２ ディスプレイ（画像表示手段）
３３ 整合装置（投影手段）
３３ｂ ハーフミラー
３４ 触覚デバイス（触覚呈示手段）
１００ 対象物

Claims (10)

1. 対象物に光を照射する光源と、
   上記対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、
   上記対象物への光入射角度を一方向に変化させるように回動するステージとを備えたスキャナ装置であって、
   上記ステージ上には、上記対象物が載置される回転台が備えられ、
   上記回転台は、上記対象物が載置される面に対して垂直方向を軸として回転することを特徴とするスキャナ装置。
2. 上記受光手段は、ラインセンサであり、
   上記回転台は、上記ステージに平行で、かつ上記ラインセンサの長手方向に直交する方向に移動することを特徴とする請求項１に記載のスキャナ装置。
3. 上記ステージを回動させる第１の駆動手段と、
   上記回転台を回転させる第２の駆動手段とがさらに備えられていることを特徴とする請求項１または２に記載のスキャナ装置。
4. 請求項３に記載のスキャナ装置と、
   上記スキャナ装置の動作を制御するとともに、該スキャナ装置が取得した、光入射方向の異なる複数枚の画像データから、上記対象物の質感を向上させた画像データを生成する画像質感向上手段とを備えることを特徴とする画像質感向上装置。
5. 上記画像質感向上手段は、
   上記ステージおよび回転台の位置情報を格納する位置情報格納手段と、
   上記位置情報格納手段から位置情報を取得し、該位置情報に基づいて、上記第１および第２の駆動手段を制御する駆動制御手段と、
   上記第１および第２の駆動手段によって上記ステージおよび回転台が所望の位置まで移動すると、上記ラインセンサから画像データを取得し、取得した画像データから、上記対象物の質感を向上させた画像データを生成する画像処理手段とを備えることを特徴とする請求項４記載の画像質感向上装置。
6. 上記画像処理手段は、
   上記対象物から得られる、上記対象物上の位置および光入射角度に応じた反射率の変化を、上記ラインセンサによって得られた画像から計測するとともに、計測結果を画像データとして出力する第１の計測手段と、
   上記画像データの各画素毎に輝度と色度とを分離し、正規化された光の入射ベクトルと定数とからなる２次元多項式を用いて、各画素毎の輝度値を近似する第２の計測手段とを備えることを特徴とする請求項５に記載の画像質感向上装置。
7. 対象物の画像を表示する画像表示手段と、
   ユーザに対し、上記対象物の触覚情報を上記画像に対応させて呈示する触覚呈示手段と、
   上記画像表示手段に表示される対象物の凹凸形状を表す凹凸形状データに基づいて、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置であって、
   上記触覚呈示手段とユーザの視点との間に、上記画像表示手段によって表示された画像を投影する投影手段を備えていることを特徴とする画像質感呈示装置。
8. 上記投影手段は、上記触覚呈示手段とユーザの視点との間に配置され、上記画像表示手段からの光をユーザの視点の方向に反射させるハーフミラーを含んでいることを特徴とする請求項７に記載の画像質感呈示装置。
9. 光入射方向の異なる複数枚の画像データから、これら画像データの差分画像を生成し、該差分画像に基づいて上記凹凸形状データを算出する凹凸形状算出手段をさらに備えることを特徴とする請求項７または８に記載の画像質感呈示装置。
10. 請求項４〜６の何れか１項に記載の画像質感向上装置と、
    請求項７〜９の何れか１項に記載の画像質感呈示装置とを備え、
    上記画像質感呈示装置の画像表示手段は、上記画像質感向上装置の画像質感向上手段によって得られた、対象物の質感を向上させた画像データに基づいて画像を表示することを特徴とする画像質感呈示システム。