JP2003132350A - 画像表示方法、画像処理方法、画像処理装置、走査読取装置および画像信号作成方法 - Google Patents

画像表示方法、画像処理方法、画像処理装置、走査読取装置および画像信号作成方法

Info

Publication number
JP2003132350A
JP2003132350A JP2001327982A JP2001327982A JP2003132350A JP 2003132350 A JP2003132350 A JP 2003132350A JP 2001327982 A JP2001327982 A JP 2001327982A JP 2001327982 A JP2001327982 A JP 2001327982A JP 2003132350 A JP2003132350 A JP 2003132350A
Authority
JP
Japan
Prior art keywords
image
signal
gloss
subject
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001327982A
Other languages
English (en)
Other versions
JP3964646B2 (ja
Inventor
Setsuji Tatsumi
節次 辰巳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2001327982A priority Critical patent/JP3964646B2/ja
Priority to US10/280,070 priority patent/US7224360B2/en
Publication of JP2003132350A publication Critical patent/JP2003132350A/ja
Application granted granted Critical
Publication of JP3964646B2 publication Critical patent/JP3964646B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models

Abstract

(57)【要約】 【課題】被写体表面の光沢感や繊維織りの細かなテクス
チャー等の被写体の質感を画像表示する画像表示方法、
この画像表示のための画像処理方法および画像処理装
置、上記画像表示のための走査読取装置および画像信号
作成方法を提供する。 【解決手段】光源の照明位置および照明方向の少なくと
も一方を変えて静止被写体を照明して複数の静止被写体
の読取画像を得、この複数の読取画像に基づき順番付け
られたフレーム画像を作成し、このフレーム画像を、選
択されたフレーム画像を切り替えながら画像表示する。
例えば、フレーム画像の順番に連続的に切り換え、順番
付けられたフレーム画像を少なくとも1往復以上繰返し
て連続的に画像表示する。このフレーム画像の画像信号
は、被写体の鏡面反射画像信号と拡散反射画像信号とを
用いて光沢信号を生成し、この光沢信号にウィンドウ処
理を行って作成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、静止被写体表面の
光沢感や繊維織りの細かなテクスチャー等の被写体の質
感を表示するための画像表示方法、この画像表示のため
の画像処理方法、この画像処理方法を実施する画像処理
装置、上記画像表示を行うための読取画像を得る走査読
取装置および、上記被写体の質感を表示するための画像
信号作成方法に関する。
【0002】
【従来の技術】今日、被写体をスキャナやカメラで読み
取って高画質の画像を得ることはできるが、略平面状の
被写体を撮影して得られる読取画像によって、被写体の
光沢感や被写体表面の細かな凹凸等の質感を再現するこ
とは難しい。被写体の質感を表現する方法として、コン
ピュータグラフィック(CG)による処理が挙げられ
る。例えば、被写体を表すコンピュータ上の3次元デー
タにおいて、質感を表す情報として鏡面反射率や拡散反
射率等を定義し、レンダリング処理を行って2次元デー
タを計算し、2次元画像として表示する。
【0003】一般に、被写体の光沢感等の人が感じる質
感は、人が物を評価する際、物を手にとって揺らしなが
ら評価するように、見る人の視点の変化により被写体の
鏡面反射の状態が変化することによって得られる。従っ
て、上記CGにおいても、被写体の照明方向を微妙に変
化させて、鏡面反射光が動的に変化するように、繰り返
しレンダリング処理を行う必要がある。このレンダリン
グ処理は処理量が多いため、レンダリング処理にかかる
時間は極めて長い。今後コンピュータの処理速度が一層
向上しても、リアル感のある被写体の形状データと質感
の情報を上記CGの手法を用いて迅速に作成すること
は、依然として困難である。
【0004】一方、コンピュータを用いて被写体の質感
の情報を持った3次元データのモデリングを、被写体を
撮影した画像を用いて行うことが提案されている。特公
平7−66436号公報や特開2001−108421
号公報では、異なる視点から複数の画像を撮影し、3次
元データを求る方法が提案されている。しかし、この方
法は、鏡面反射光と拡散反射光を分離していないので、
十分な被写体の質感の情報を得ることができない。一
方、被写体の3次元モデリングを行うために鏡面反射光
と拡散反射光を分離する方法として、2色性反射モデル
に基づく方法が提案されている(「多視点カラー画像と
距離画像を用いたスペキュラ反射の分離」、大槻他、電
子情報通信学会論文誌 D-II Vol.J-80-D-II No.6 pp.1
352-1359 1997年 6月) 。しかし、この方法では、色ベ
クトルを推定するための統計的な処理が必要であり、あ
る程度の大きさの同一の質感の被写体の面が必要とされ
る。このため、被写体に異なる材質や色が細かく組合わ
さっている場合、この被写体に対して上記方法を用いる
ことは難しい。
【0005】
【発明が解決しようとする課題】一方、特開平8−39
841号公報には、照明方向の異なる被写体画像を撮像
し、反射光が大きい状態の信号と小さい状態の信号とを
得、この2つの信号から被写体の光沢を表す光沢信号を
得、これを用いて画像形成手段によって光沢を施す方法
が提案されている。しかし、この方法において用いられ
る画像形成手段は、被写体の画像に動的な変化を与えな
いため、光沢感を画像上で再現することはできない。ま
た、反射光が大きい状態の信号から小さい状態の信号を
減算して光沢信号を求めるので、被写体の微妙な凹凸に
よって光沢に方向性があるような繊維の織り等の質感を
表すこともできない。さらに、上記画像形成手段での光
沢は熱転写による再加熱で行われるため、再加熱による
熱の広がりにより、被写体の細かなテクスチャーの制御
ができない。従って、繊維の織りやしぼの感じが十分に
表現できないといった問題があった。
【0006】そこで、本発明は、上記問題点を解決する
ために、被写体表面の光沢感や繊維織りの細かなテクス
チャー等の被写体の質感を十分に表示することのできる
画像表示方法、この画像表示方法を実現する画像信号を
生成する画像処理方法および画像処理装置、さらに、こ
のような画像信号を生成するための画像信号を得ること
のできる走査読取装置、および被写体の質感を表示する
ための画像信号作成方法を提供することを目的とする。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、照明により静止被写体の鏡面反射状態が
異なる静止被写体の複数の原画像を得、この複数の原画
像に基づき静止被写体の複数のフレーム画像を作成する
フレーム画像作成工程と、前記複数のフレーム画像から
選択されたフレーム画像に切り替えて画像表示する画像
表示工程とを有することを特徴とする画像表示方法を提
供する。
【0008】ここで、前記複数の原画像は、光源の照明
位置および照明方向の少なくとも一方を変えて静止被写
体を照明して得られた複数の静止被写体の読取画像であ
るのが好ましく、さらに、前記フレーム画像作成工程
は、順番付けられたフレーム画像を作成し、前記画像表
示工程は、順番付けられたフレーム画像をフレーム画像
の順番に選択して、所定の時間間隔でフレーム画像を連
続的に切り替え、最後のフレーム画像に切り替えられた
後、さらにこの順番と逆の順番にフレーム画像を連続的
に切り替えることによって、順番付けられたフレーム画
像を少なくとも1往復以上繰返して連続的に画像表示す
るのが好ましい。また、前記読取画像は、被写体の拡散
反射光によって読み取られた拡散反射画像を含み、前記
フレーム画像作成工程は、前記拡散反射画像を除く前記
読取画像の領域のうち、画像信号値が前記拡散反射画像
の対応する画像信号値に比べて低い領域について、この
領域の画像信号値とこの画像信号値に対応する前記拡散
反射画像の画像信号値とを合成することによって合成画
像を作成し、この合成画像を前記フレーム画像とするの
が好ましい。
【0009】また、本発明は、照明により静止被写体の
鏡面反射状態が異なる静止被写体の複数の原画像から静
止被写体のフレーム画像の画像信号を生成する画像処理
方法であって、前記複数の原画像の画像信号から静止被
写体の光沢度を表す光沢信号を生成する光沢信号生成工
程と、前記光沢信号によって表される光沢画像の画素配
列に基づいて選択された移動位置にウィンドウ関数を移
動し、このウィンドウ関数内に位置する画素の前記光沢
信号の信号値を取り出し、この信号値に対応する前記ウ
ィンドウ関数の値を乗算するウィンドウ処理工程と、こ
のウィンドウ処理工程で得られた乗算結果を用いて所定
の演算を行い、前記ウィンドウ関数の移動位置に対応し
たフレーム画像の画像信号を生成するフレーム画像信号
生成工程とを有することを特徴とする画像処理方法を提
供する。
【0010】ここで、前記複数の原画像の画像信号は、
平面状の基台に載置されて照明された静止被写体の反射
光の反射方向が、この静止被写体の照明光の入射方向と
前記基台の平面に対して略鏡面反射の関係にある反射光
を読み取って得られた静止被写体の読取画像の第1の読
取画像信号と、前記静止被写体の反射光の反射方向が、
静止被写体の照明光の入射方向と、前記基台の平面に対
して拡散反射の関係にある反射光を読み取って得られた
静止被写体の読取画像の第2の読取画像信号であるのが
好ましい。その際、前記第1および第2の読取画像信号
は、光沢信号生成工程の前に予め明補正処理が施される
のが好ましい。
【0011】また、前記ウィンドウ処理工程における前
記ウィンドウ関数の移動位置は、前記光沢画像およびこ
の光沢画像の外周領域上の一方向に一定の間隔離れた複
数の位置であり、前記ウィンドウ処理工程は、前記ウィ
ンドウ関数を前記移動位置のうち隣り合う移動位置に順
次移動させ、移動のたびに前記ウィンドウ関数の値を、
このウィンドウ関数内に位置する対応する画素の前記光
沢信号の信号値に乗算し、前記フレーム画像信号生成工
程は、前記ウィンドウ関数の移動位置に対応したフレー
ム画像を前記ウィンドウ関数の移動の順番に対応させて
順番付けを行うのが好ましい。その際、前記ウィンドウ
関数の隣り合う移動位置の間隔は、このウィンドウ関数
の移動方向における前記光沢画像の画像幅に所定の幅の
2倍の幅を加算し、この加算結果を前記フレーム画像の
画像数で除算した幅に相当するのが好ましい。その際、
前記ウィンドウ処理工程において、前記ウィンドウ関数
は、前記光沢画像の一方の画像端から外側に前記所定の
幅離れた位置を移動開始位置とし、前記光沢画像の他方
の画像端から外側に前記所定の幅離れた位置を折り返し
位置として移動し、さらに、この折り返し位置から移動
開始位置まで前記移動位置に順次移動するのが好まし
い。
【0012】なお、前記原画像は、例えば、静止被写体
に対して読取位置を相対的に移動させながら、静止被写
体全体を読み取った走査読取画像である。また、前記第
2の読取画像信号は、異なる2方向から静止被写体を同
時に照明して得られた画像信号であり、あるいは、前記
第2の読取画像信号は、異なる2方向から静止被写体を
別々に照明して得られた第3の読取画像信号と第4の読
取画像信号からなるのが好ましい。前記第2の読取画像
信号が、異なる2方向から静止被写体を同時に照明して
得られた画像信号である場合、前記異なる2方向から静
止被写体を照明する照明光はともに、第1の読取画像信
号を得る際に用いる照明光に比べて拡散光成分を多く含
むのが好ましい。また、前記光沢信号生成工程は、前記
第1の読取画像信号値を色変換した変換値から前記第2
の読取画像信号値を色変換した変換値を差し引いて光沢
信号を生成するのが好ましい。その際、前記フレーム画
像信号生成工程における前記所定の演算は、前記ウィン
ドウ処理工程で得られた乗算結果に対し前記色変換の逆
変換を行って逆変換値を求めた後、この逆変換値に前記
第2の読取画像信号の信号値を加算することで前記フレ
ーム画像の画像信号を生成するのが好ましい。
【0013】前記第2の読取画像信号が、異なる2方向
から静止被写体を別々に照明して得られた第3の読取画
像信号と第4の読取画像信号からなる場合、前記異なる
2方向から静止被写体を照明する照明光はともに、第1
の読取画像信号を得る際に用いる照明光に比べて拡散光
成分を多く含むのが好ましく、この場合、前記光沢信号
は、第1、第2および第3の光沢信号を含み、前記光沢
信号生成工程は、前記第1、3および4の読取画像信号
の信号値をそれぞれ色変換した第1、3および4の変換
値を求め、前記第1の変換値が、前記第2の変換値と前
記第3の変換値の平均値以上である第1の条件を満たす
場合、前記第1の変換値から前記平均値を差し引いた差
分を第2の光沢信号の信号値とするほか、前記第1およ
び第3の光沢信号の信号値を0とし、前記第1の条件を
満たさず、前記第3の変換値が前記第4の変換値以上で
ある第2の条件を満たす場合、前記第3の変換値から前
記第1の変換値を差し引いた差分を第3の光沢信号の信
号値とするほか、前記第1および第2の光沢信号の信号
値を0とし、前記第1の条件および前記第2の条件のい
ずれも満たさない場合、前記第4の変換値から前記第1
の読取画像信号の信号値を差し引いた差分を第1の光沢
信号の信号値とするほか、前記第2および第3の光沢信
号の信号値を0とするのが好ましい。また、前記ウィン
ドウ処理工程において、前記ウィンドウ関数は、前記第
1、第2および第3の光沢信号のそれぞれに対応して用
いられ、前記第1および第3の光沢信号に対応するウィ
ンドウ関数が、前記第2の光沢信号に対応するウィンド
ウ関数を基準として移動方向前方および後方に所定の距
離離れて配置され、前記第2の光沢信号に対応するウィ
ンドウ関数とともに移動するのが好ましい。その際、前
記ウィンドウ処理工程は、前記第1、第2および第3の
光沢信号に対応するウィンドウ関数の値を、このウィン
ドウ関数内に位置する対応する画素の前記第1、第2お
よび第3の光沢信号の信号値にそれぞれ乗算し、前記フ
レーム画像信号生成工程における前記所定の演算は、前
記第1、第2および第3の光沢信号に対応して得られた
乗算結果を加算し、この加算結果に対し前記色変換の逆
変換を行って逆変換値を求めた後、この逆変換値に前記
第3の読取画像信号の信号値と前記第4の読取画像信号
の信号値の平均値を加算することで前記フレーム画像の
画像信号を生成するのが好ましい。
【0014】また本発明は、照明により静止被写体の鏡
面反射状態が異なる静止被写体の複数の原画像から静止
被写体のフレーム画像の画像信号を生成する画像処理装
置であって、前記原画像の画像信号から静止被写体の光
沢度を表す光沢信号を生成する光沢信号生成部と、前記
光沢信号によって表される光沢画像の画素配列に基づい
て選択された移動位置にウィンドウ関数を移動し、この
ウィンドウ関数内に位置する対応する画素の前記光沢信
号の信号値を取り出し、この信号値に前記ウィンドウ関
数の値を乗算するウィンドウ処理部と、このウィンドウ
処理部で得られた乗算結果を用いて所定の演算を行い、
前記ウィンドウ関数の移動位置に対応したフレーム画像
の画像信号を生成するフレーム画像信号生成部とを有す
ることを特徴とする画像処理装置を提供する。
【0015】ここで、前記複数の原画像の画像信号は、
平面状の基台に載置されて照明された静止被写体の反射
光の反射方向が、静止被写体の照明光の入射方向と前記
基台の平面に対して略鏡面反射の関係にある反射光を読
み取って得られた静止被写体の読取画像の第1の読取画
像信号と、この静止被写体の反射光の反射方向が、静止
被写体の照明光の入射方向と、前記基台の平面に対して
拡散反射の関係にある反射光を読み取って得られた静止
被写体の読取画像の第2の読取画像信号であるのが好ま
しい。また、前記ウィンドウ処理部における前記ウィン
ドウ関数の移動位置は、前記光沢画像およびこの光沢画
像の外周領域上の一方向に一定の間隔離れた複数の位置
であり、前記ウィンドウ処理部は、前記ウィンドウ関数
を前記移動位置のうち隣り合う移動位置に順次移動さ
せ、移動のたびに前記ウィンドウ関数の値を、このウィ
ンドウ関数内に位置する対応する画素の前記光沢信号の
信号値に乗算し、前記フレーム画像信号生成部は、前記
ウィンドウ関数の移動位置に対応したフレーム画像を、
前記ウィンドウ関数の移動の順番に対応させて順番付け
を行うのが好ましい。
【0016】さらに、本発明は、照明された静止被写体
と読取位置とを相対的に移動させながら、照明された静
止被写体の反射光を前記読取位置で読み取る走査読取装
置であって、静止被写体を載置する平面状の基台と、前
記読取位置における静止被写体の照明光の入射方向が、
前記読取位置における静止被写体の読取方向と、前記基
台の平面に対して略鏡面反射の関係になるように配置さ
れた第1の光源と、前記読取位置における静止被写体の
照明光の入射方向が、読取位置における静止被写体の読
取方向と、前記基台の平面に対して拡散反射の関係にな
るように配置された第2の光源とを有し、前記第1の光
源と前記第2の光源を別々に用いて静止被写体を読み取
ることを特徴とする走査読取装置を提供する。
【0017】ここで、前記読取方向は、前記基台の平面
に対して垂直方向であり、前記第2の光源は、この読取
方向に対して略同一の角度を成す異なる2方向から静止
被写体を照明する2つの光源からなるのが好ましい。前
記2つの光源は、静止被写体を同時に照明してもよい
し、静止被写体を別々に照明してもよい。
【0018】さらに、本発明は、照明により静止被写体
の鏡面反射状態が異なる静止被写体の複数の原画像に基
づき静止被写体のフレーム画像の画像信号を生成するた
めの画像信号を作成する方法であって、前記原画像の画
像信号から静止被写体の光沢度を表す光沢信号を生成す
る工程と、前記フレーム画像中の静止被写体の光沢領域
が選択された位置に移動するように前記光沢信号によっ
て表される光沢画像の画素配列に基づいて移動して前記
光沢信号の情報を取り出すウィンドウ関数のパラメータ
情報を作成する工程と、少なくとも前記光沢信号を信号
情報に含ませ、前記ウィンドウ関数のパラメータ情報を
ヘッダ情報に含ませてフレーム画像の画像信号を作成す
る工程とを有することを特徴とする画像信号作成方法を
提供する。
【0019】その際、前記原画像の画像信号は、平面状
の基台に載置されて照明された静止被写体の反射光の反
射方向が、この静止被写体の照明光の入射方向と前記基
台の平面に対して略鏡面反射の関係にある反射光を読み
取って得られた静止被写体の読取画像の鏡面反射画像信
号と、前記静止被写体の反射光の反射方向が、静止被写
体の照明光の入射方向と、前記基台の平面に対して拡散
反射の関係にある反射光を読み取って得られた静止被写
体の読取画像の拡散反射画像信号であり、前記信号情報
に、前記光沢信号の他に、前記拡散反射画像信号を含ま
せるのが好ましい。
【0020】
【発明の実施の形態】以下、本発明の画像表示方法、画
像処理方法、画像処理装置、走査読取装置および画像信
号作成方法について、添付の図面に示される好適実施例
を基に詳細に説明する。
【0021】図1は、本発明の画像表示方法を実施する
一連の流れを表している。まず、略平面状の物体や布地
等の静止した被写体を基台に載置して、静止被写体への
照明位置および照明方向の少なくとも一方を順次変えて
光源から被写体を照明して被写体の読み取りを行い、複
数の読取画像を得る(ステップ100)。この後、画像
処理を行い(ステップ102)、読取画像に基づいて複
数のフレーム画像を作成し、この複数のフレーム画像か
ら、選択されたフレーム画像に切り換えて画像表示する
(ステップ104)。また、以降で説明する例は、複数
の読取画像を得ることによって、フレーム画像を生成す
るものであるが、本発明においては、読取画像の替わり
に、照明により静止被写体の鏡面反射状態が異なる複数
の原画像をCGを用いて作成して得てもよい。すなわ
ち、本発明における静止被写体の複数の原画像とは、静
止被写体を表す複数の原画像を意味し、CGを用いて作
成されるCG画像をも含むものである。
【0022】ここで、被写体の読み取りは、カメラ撮影
による読み取りと、スキャナを用いた読み取りを有す
る。まず、カメラを用いた読み取りは、図2に示すよう
に、静止した被写体10を基台12に置き、2つの異な
る照明方向から方向を変えながらストロボ14や16を
別々に発光させて、撮影カメラ18で撮影するものであ
る。あるいは、図3に示すように、基台12に載置され
た被写体10に対して光源1を光源移動レールに沿って
矢印Aのように移動しながら照明し、この移動中に一定
の時間毎にカメラ18で撮影する。その後、同様に、光
源2を光源移動レールに沿って矢印Bのように移動しな
がら照明し、この移動中に一定の時間毎にカメラ18で
撮影し、複数の読み取り画像を得る。
【0023】また、光源を移動させる替わりに複数の光
源〜を用意し、基台12に載置した被写体10の直
上にカメラ18を設置する。光源→光源→光源→
光源→光源→光源→光源→光源の順に光源を
順次発光させ、その都度カメラ18で撮影して被写体1
0を読み取る。このような被写体10の読み取りによっ
て、被写体10を照明する照明光の鏡面反射光が種々変
化する読取画像が得られる。なお、図4に示す被写体の
読み取りの場合、読取画像が少ないため、後述するよう
に、表示された被写体の画像において被写体の光沢感等
の質感が十分に再現されない場合がある。この場合、画
像処理(ステップ102)において、例えば光源と
間の読取画像を補間することによって画像を作成し画像
数を増やすとよい。
【0024】一方、被写体の読み取りで得られる読取画
像は、光源を移動しあるいは切り換えて照明方向や位置
を変えるので、照明のたびに被写体上の照明光の強度分
布が変わる。そこで、被写体10の読み取りの前に、予
め、図5に示すように、基台12に拡散度の高い基準白
色板(基準グレー板)20を載置し、照明光の強度分布
のデータをシェーディング補正データとして獲得して記
憶しておく。その後、被写体10を基台12上に載置し
て撮影し、撮影して読み取られた読取画像を記憶したシ
ェーディング補正データを用いてシェーディング補正
(明度補正)を行う。このシェーディング補正は以下に
示す画像処理として行う。なお、100%の強度でシェ
ーディング補正を行うと画像表示の際の画像の奥行き感
が失われる場合があるため、補正の強度は適宜調整され
る。
【0025】このようなカメラによる被写体の読み取り
は、光源を移動させあるいは切り換えることで被写体の
鏡面反射光の発生する領域を変化さて読取画像を得るも
のであるが、被写体の鏡面反射光を読み取ると、コント
ラストの強い画像となり、暗部領域がつぶれたり、光量
不足によりノイズ成分が目立つ。そのため、鏡面反射光
を得るために照明する上記光源の他に、常時被写体を鏡
面反射を起こさないようにして照明する拡散光を同時に
用いてもよい。例えば、図4に示すような光源の切り替
えの場合、鏡面反射光を得るための光源の他、別の光源
も弱く発光させて拡散光として用いてもよい。
【0026】また、被写体の読み取りの際、鏡面反射光
を用いて被写体を読み取る他、拡散光を用いて拡散反射
画像として被写体を読み取るが、鏡面反射光を用いて読
み取った読取画像の暗部領域のうち、画像信号値が対応
する拡散反射画像の画像信号値に比べて小さい領域につ
いて、読取画像の信号値と拡散反射画像の信号値を合成
して合成画像を作成する画像処理を行ってもよい。これ
によって、読取画像において暗部領域を拡散反射画像と
同程度の明るさとすることができ、読取画像のコントラ
ストが強くなる傾向を抑制することができる。この合成
の比率は適宜調整される。
【0027】次に、カメラによって撮影された読取画像
に基づいて、順番付けられたフレーム画像の作成を行
う。例えば図3に示す光源の移動の場合、光源の移動の
順番にフレーム画像の順番付けを行い、読取画像をフレ
ーム画像とする。この順番付けられたフレーム画像を、
所定の時間間隔で、フレーム画像の順番に連続的に切り
替え、最後のフレーム画像に切り換えられた後、さらに
この順番と逆の順番にフレーム画像を連続的に切り換え
ることによって、順番付けられたフレーム画像を少なく
とも1往復以上繰返して連続的にディスプレイに画像表
示する。この一往復の時間は0.5〜10秒の範囲とす
るのが好ましく、一往復の時間に対してフレーム画像の
画像数が少ない場合、画像表示される被写体の質感が出
にくい傾向にあることから、読取画像を補間してフレー
ム画像を作成してもよい。
【0028】上記例では、フレーム画像を順番に画像表
示するが、本発明においては、選択されたフレーム画像
に切り替えられながらディスプレイに画像表示されても
よい。例えば、選択されるフレーム画像は、ディスプレ
イを見るモニタ観察者の視点の動きに応じて変わり、モ
ニタ観察者から見て、画像表示された被写体の反射領域
が変動するように、ウィンドウ処理におけるウィンドウ
関数の位置が選択される。この選択された位置において
ウィンドウ処理の施されたフレーム画像が選択されてデ
ィスプレイ上で切り替わる。モニタ観察者のディスプレ
イ上の視点は、例えば、モニタ観察者をモニタリングす
るカメラをディスプレイに設け、絶えずモニタ観察者の
顔部を撮影し、この撮影画像からモニタ観察者の目領域
およびこの目領域の瞳の位置をパターンマッチング等の
方法を用いて求めることによって求めてもよい。カメラ
撮影による被写体の読み取り、画像処理および画像表示
は以上のように行われる。
【0029】次に、スキャナによる被写体の読み取りに
ついて説明する。図6は、本発明の走査読取装置の一例
であるスキャナ30の主要部の断面を示している。スキ
ャナ30は、静止した被写体32を載置する平面状のガ
ラス基台34と、被写体32を矢印C方向にスキャンす
るように照明する照明ユニット36と、照明ユニット3
6で得られた被写体32の反射光を読み取る読取ユニッ
ト38と、照明ユニット36から反射光を読取ユニット
38に導くミラー40a,40bからなるミラー群42
とを有する。被写体32の読み取り面は、ガラス基台3
4の面側に向けられる。
【0030】照明ユニット36は、スキャナ30の読取
位置Lにおける被写体32の照明光の入射方向が、この
読取位置Lにおける読取方向と、ガラス基台34の平面
に対して略鏡面反射の関係になるように配置された、紙
面垂直方向に延在した光源(第1の光源)44と、スキ
ャナ30の読取位置Lにおける被写体32の照明光の入
射方向が、読取位置L’における読取方向と、ガラス基
台34の平面に対して拡散反射の関係になるように配置
された、紙面垂直方向に延在した光源46(第2の光
源)と、被写体の反射光を位置規制するスリット48,
50と、スリット48,50で位置規制された反射光を
ミラー40aに向けて導くミラー52とを有する。ここ
で、略鏡面反射の関係とは、基台34の平面に対する照
明光の入射角度と、被写体上で反射したスキャナ読取位
置における反射光の、基台34の平面に対する反射角度
(読取位置における読取方向の角度)が、略等しい関係
をいう。拡散反射の関係とは、上記照明光の入射角度と
スキャナ読取位置における被写体上で反射した反射光
の、基台34の平面に対する反射角度(読取位置におけ
る読取方向の角度)が、等しくない関係をいう。
【0031】光源46は、図7に示すように、紙面垂直
方向に延在した光源46aおよび紙面垂直方向に延在し
た光源46bからなり、ガラス基台34の平面の垂直方
向に対して異なる方向に略同一の傾斜角度で傾斜した2
方向から被写体32を照明するように配される。また、
光源46a,46bは、ともに照明光を拡散する拡散板
47を備え、光源46a,46bの照明光は拡散板47
を持たない光源44の照明光に比べて拡散光成分を多く
含む。
【0032】ミラー52は、光源46a,46bから照
明されて被写体32で拡散反射した反射光が、ガラス基
台34の平面に対して垂直方向から読み取られようにミ
ラーの位置およびミラー面の向きが配される。さらに、
ミラー52は、読取位置Lにおける被写体32の反射光
がミラー40aに向けて導かれるように、ミラー面の向
きが自在に調整できるように構成される。ミラー群42
は、照明ユニット36からの反射光を読取ユニット38
へ導く部位であり、位置調整が可能なように矢印C方向
に移動可能となっている。
【0033】一方、読取ユニット38は、反射光の光量
を絞るための絞り54、色フィルタやNDフィルタから
構成されるフィルタ群56、結像レンズ58およびライ
ンCCDセンサ60を有する。
【0034】このような構成のスキャナ30は、被写体
32と、スキャナ30の読取位置L,L’とを相対的に
移動させながら、照明された被写体32の反射光を読取
位置L,L’で読み取る装置である。スキャナ30で
は、光源44と光源46が別々に用いられて被写体32
が読み取られ、光源44を用いて照明した場合鏡面反射
光による画像(以降、鏡面反射画像という)が、光源4
6を用いて照明した場合拡散反射光による画像(以降、
拡散反射画像という)が読み取られる。なお、光源44
を用いて照明した時に読取ユニット38で読み取る反射
光の光路と光源46を用いて照明した時に読取ユニット
38で読み取る反射光の光路とが略等しくなるように、
照明ユニット36に対するミラー群42の位置が調整さ
れる。
【0035】また、光源44を用いて被写体32を読み
取る読取位置Lと、光源46を用いて被写体32を読み
取る読取位置L’は異なっているため、鏡面反射画像と
拡散反射画像における被写体の位置合わせを行う必要が
ある。この位置合わせは、後述する画像処理によって行
われる。例えば、予め読取位置Lと読取位置L’の移動
方向における距離をミラー52のミラー面の設定角度に
基づいて求め、この距離に基づいて被写体32の画像の
画素位置補正を行う。あるいは、被写体32の非注目領
域にマークを付し、このマークを基準にして鏡面反射画
像と拡散反射画像における被写体の画素位置補正を行っ
てもよい。また、上述したカメラ撮影による読み取りの
場合と同様に、ガラス基台34に拡散度の高い基準白色
板(基準グレー板)20を載置し、反射光の強度分布の
データをシェーディング補正データとして獲得して記憶
し、このシェーディング補正データを用いて、鏡面反射
画像と拡散反射画像に画像処理としてシェーディング補
正(明補正)を施す。基準白色板20の読み取りの際、
読取ユニット38に入射する鏡面反射光の強度が強くラ
インCCDセンサ60の受光許容範囲を超える場合があ
るため、フィルタ群56のNDフィルタを用いて反射光
の強度調整を行って読み取り、後述する画像処理により
補正を施してもよい。
【0036】上記スキャナ30による読み取りは、被写
体32が略平面状で表面の凹凸が少ないものが好適に用
いられるが、繊維織り等のように、表面に微小凹凸を有
する被写体の場合、被写体表面の微妙な傾斜によって鏡
面反射の発生する被写体上の領域も種々変わる。そこ
で、以下に述べるように、被写体の微小凹凸を考慮し
て、光源46a,46bを被写体32に対して別々に照
明して、異なる読取画像を得る。
【0037】図8(a),(b)は、被写体33の微小
凹凸の表面と反射光との関係を示している。(図8
(a),(b)の各々は、照明する一方の光源しか表示
していない。) 被写体33の表面に微小凹凸がなければ読取位置Lにお
いて鏡面反射光がミラー52で反射され、ミラー群42
を介して読取ユニット38に至り読み取られるが、図8
(a)に示すように、被写体33が局部傾斜面(図中、
右上がり傾斜)33a,33bを有する凹凸を持つ場
合、読取位置Lにおける被写体の面は傾斜しているた
め、図8(a)に示す状態では、鏡面反射した反射光の
大部分が、読取ユニット38に到達しない。図8(a)
に示すような局所傾斜面33aで鏡面反射した鏡面反射
光が読取ユニット38において強度の強い状態で読み取
られるのは、図8(a)に示す状態から照明ユニット3
6が矢印C方向にしばらく移動した後である。従って、
図8(a)に示す状態では、読取ユニット38で読み取
られる局部傾斜面33aの反射光は強度が弱くなる。一
方、被写体33の表面に凹凸がなければ読取位置L’に
おいて光源46aの照明光の拡散反射光が読取ユニット
38で読み取られるが、読取位置L’における被写体の
面が傾斜しているため、光源46aの照明光は、拡散板
47を備えて拡散光成分が多い照明光にもかかわらず、
読取ユニット38で読み取られる局部傾斜面33bの反
射光は、読取位置L’において強度が強くなる。
【0038】図8(b)に示すように、傾斜方向が局部
傾斜面33a、33bと異なる向きに持つ局部傾斜面
(図中、左上がり傾斜)33c,33dの場合、読取ユ
ニット38で読み取られる局部傾斜面33cの反射光
は、読取位置Lにおいて強度が弱くなる。この場合、図
8(b)に示す状態より以前の状態で、強度の強い鏡面
反射光が読取ユニット38で読み取られる。一方、読取
ユニット38で読み取られる局部傾斜面33dの反射光
は、読取位置L’において強度が強くなる。
【0039】このように、図8(a),(b)からわか
るように、読取位置で読み取られる鏡面反射光は被写体
の傾斜に応じて鏡面反射光や拡散反射光の強度は変化す
る。このような変化に対応するために、後述する画像処
理では、光源46aと光源46bを別々に照明して得ら
れた拡散反射画像と光源44を用いて得られた鏡面反射
画像とを用いて方向性のある光沢信号を作成し、この光
沢信号と、一定距離離間した3つのウィンドウ関数とを
用いて、反射光に方向性を持たせて被写体の光沢感を表
すフレーム画像の作成を行う。なお、光沢信号とは、被
写体の光沢度を表す信号である。このような被写体の読
み取りがスキャナ30によって行われ、1つの鏡面反射
画像と1つあるいは2つの拡散反射画像が得られ、図9
に示す画像処理装置70に送られる。
【0040】なお、スキャナ30は、光源44,46は
紙面垂直方向に延在した光源であるため、鏡面反射光の
情報は、1方向(図6中の紙面左右方向)の情報しか得
られない。従って、被写体の鏡面反射の情報を2次元で
得る場合、ガラス基台34に載置する被写体を90度回
転させて、上記方法で鏡面反射画像を読み取るとよい。
なお、2方向の鏡面反射画像を読み取った場合に行う処
理も以降に述べる処理と同様の方法で行われるので、以
降において、1方向の鏡面反射画像を読み取った場合に
ついて説明する。
【0041】図9に示す画像処理装置70は、本発明に
かかる画像処理装置の一例であり、スキャナ30から供
給された鏡面反射画像と拡散反射画像の読取画像信号を
用いて、フレーム画像を作成する装置である。図10に
は、画像処理装置70で実施する処理工程が示されてい
る。処理工程では 信号変換処理(ステップ150)
と、光沢信号の生成(ステップ152)と、ウィンドウ
処理(ステップ154)と、信号逆変換処理(ステップ
156)と、加算処理(ステップ158)とを有する。
【0042】画像処理装置70は、前処理部72と、信
号変換処理部74と、光沢信号生成部76と、ウィンド
ウ処理部78と、フレーム画像信号生成部80とを有す
る装置である。画像処理装置70は、各部位が回路によ
って構成された専用装置であってもよいし、ソフトウェ
アを起動させて各部位の機能を発揮させるコンピュータ
によって構成されてもよい。
【0043】前処理部72は、読取画像信号に対して、
上記被写体の画素位置補正やシェーディング補正や位置
合わせの処理等の他、ラインCCDセンサ60に基づく
欠陥補正や暗補正やγ補正等公知の処理を行う。処理さ
れた読取画像信号は、信号変換処理部74とフレーム画
像信号生成部80に送られる。
【0044】信号変換処理部74は、読取画像信号がR
信号、G信号、およびB信号からなる場合、このR信号
の信号値Sr 、G信号の信号値Sg およびB信号の信号
値S b を、変換マトリクスTによって、信号変換値
1 ,S2 ,S3 に変換し、例えばY成分、I成分およ
びQ成分の色信号値に変換する。すなわち、図10に示
すステップ150の工程を行う。
【0045】ここで、読取画像信号は、鏡面反射画像信
号の信号値Sr (1) ,Sg (1) ,S b (1) と、2つの拡
散反射画像信号の信号値Sr (2) ,Sg (2) ,Sb (2)
(図8(a)に示す光源46aを用いて読み取られた拡
散反射画像の画像信号)と拡散反射画像信号の信号値S
r (3) ,Sg (3) ,Sb (3) (図8(b)に示す光源4
6bを用いて読み取られた拡散反射画像の画像信号)が
供給された場合、供給された画像信号それぞれについて
変換を行う。変換マトリクスTは、後述する光沢信号を
どの色信号成分で生成するかによって定まるマトリクス
である。例えば、輝度成分(Y成分)で光沢信号を生成
する場合、変換マトリクスTは、Y、IおよびQ成分と
R、GおよびB信号の公知の変換マトリクスとなる。な
お、光沢信号は、例えば、スキャナ30における光源4
4や光源46の照明光の分光強度特性に応じて、また、
被写体の色味に応じて、設定すべき色信号成分を定める
とよい。読取画像の各画素毎の信号変換値S1,S2
3 は、光沢信号生成部76に送られる。
【0046】光沢信号生成部76は、例えばY,Iおよ
びQ成分であれば、Y成分(輝度成分)のように、信号
変換値S1 ,S2 ,S3 から注目する色信号成分の信号
変換値を取り出して、以下の処理を行い、被写体の光沢
度を表す光沢信号を生成する(図10におけるステップ
152)部位である。なお、注目する色信号成分の信号
変換値を信号変換値S1 とする。
【0047】鏡面反射画像における注目する色信号成分
の信号変換値をS1 (1) 、2つの拡散反射画像における
注目する色信号成分の信号変換値をS1 (2) ,S1 (3)
として、図11に示す流れにそって処理される。読取画
像上の同一の画素位置毎に、信号変換値S1 (1) ,S1
(2) およびS1 (3) の値が比較され(ステップ20
0)、信号変換値S1 (1) が信号変換値S1 (2) とS1
(3) との平均値以上である場合、第1光沢信号R1 およ
び第3光沢信号R3 の信号値を0とし、第2光沢信号R
2 の信号値を、信号変換値S1 (1) から信号変換値S1
(2) とS1 (3) との平均値を差し引いた差分とする(ス
テップ202)。なお、強度の強い鏡面反射光を読み取
って鏡面反射画像が得られ、強度の弱い拡散反射光を読
み取って拡散反射画像が得られた場合、ステップ200
において、信号変換値S1 (1) が信号変換値S1 (2)
1 (3) との平均値以上となる条件を満たす。
【0048】次に、ステップ200で否定された場合、
信号変換値S1 (2) とS1 (3) が比較される(ステップ
204)。すなわち、信号変換値S1 (2) が信号変換値
1 (3) 以上である場合、第1光沢信号R1 および第2
光沢信号R2 の信号値を0とし、第3光沢信号R3 の信
号値を、信号変換値S1 (2) から信号変換値S1 (1)
差し引いた差分とする(ステップ206)。なお、図8
(a)に示すように光源46aを用いて照明した時に強
い拡散反射光を読み取った場合、すなわち、被写体33
の局部傾斜面33bを読み取った場合、ステップ204
における、信号変換値S1 (2) が信号変換値S1 (3)
上となる条件を満たす。
【0049】ステップ204で否定された場合、すなわ
ち、信号変換値S1 (2) が信号変換値S1 (3) より小さ
い場合、第2光沢信号R2 および第3光沢信号R3 の信
号値を0とし、第1光沢信号R1 の信号値を、信号変換
値S1 (3) から信号変換値S 1 (1) を差し引いた差分と
する(ステップ208)。なお、信号変換値S1 (2)
信号変換値S1 (3) より小さい状態は、図8(b)に示
すように光源46bを用いて照明した時に強い拡散反射
光を読み取った場合、すなわち、被写体33の局部傾斜
面33dを読み取った場合に発生する。こうして、注目
する色信号成分について光沢信号(第1光沢信号R1
第3光沢信号R3 )が生成される。
【0050】一方、図7に示すように、光源46a,4
6bを同時に照明して、1つの拡散反射画像を読み取っ
た場合、信号変換処理部74において、鏡面反射画像信
号の信号値Sr (1) ,Sg (1) ,Sb (1) と、1つの拡
散反射画像信号の信号値(この拡散反射画像信号をSr
(4) ,Sg (4) ,Sb (4) とする)を変換して、注目す
る色信号成分の信号変換値(この信号変換値を
1 (1) ,S1 (4) とする)を求め、光沢信号生成部7
6において、注目する鏡面反射画像の信号変換値S1 (1
から注目する拡散反射画像の信号変換値S1 (4) を差し
引いた差分を求め、このの差分を光沢信号の信号値とす
る。この場合、図7に示すように、略平面状の被写体3
2であるので、信号変換値S1 (1) の方が信号変換値S
1 (4) に比べて大きい。生成された光沢信号はウィンド
ウ処理部78に送られる。
【0051】ウィンドウ処理部78は、図12に示すウ
ィンドウ関数Fの中心位置を選択された位置に移動さ
せ、移動のたびにウィンドウ関数Fの値を、ウィンドウ
関数F内に位置する画素の光沢信号の信号値に乗算す
る、すなわち、ウィンドウ処理を行う(図10における
ステップ154)部位である。ウィンドウ関数Fは、ス
キャナ30において鏡面反射の情報を得た方向、すなわ
ち、走査読み取り方向をx方向とすると、このx方向に
底辺の幅4w、上辺の幅2w、高さhの台形形状の分布
を持つ関数である。
【0052】このようなウィンドウ関数Fは、第1光沢
信号R1 、第2光沢信号R2 および第3光沢信号R3
対応してウィンドウ関数F1 ,F2 およびF3 を持ち、
ウィンドウ関数F2 の中心位置は、図13(a)に示す
ように拡散反射画像および鏡面反射画像等の読取画像の
横幅(画像幅)の画素数をWとした場合、図13(b)
に示すように、一回の移動量を(W+2・X0 )/N
(=α)として−X0 〜W+X0 の範囲を移動し、−X
0 〜W+X0 の範囲を往復する。すなわち、第1光沢信
号R1 、第2光沢信号R2 および第3光沢信号R3 の光
沢信号によって表される被写体の光沢画像の横幅(画像
幅)の画素数は上記Wとなるので、ウィンドウ関数F2
の中心位置は、図13(d)に示すように、光沢画像の
画素配列に基き、一回の移動量を(W+2・X0 )/N
(=α)として、−X0 〜W+X0の範囲を移動し往復
する。ここで、X0 は、ウィンドウ関数F(x)の移動
開始位置と、折り返し位置を規定する所定の幅の画素数
を表すパラメータである。すなわち、移動開始位置は、
ウィンドウ関数F(x)の移動方向における光沢画像の
一方の画像端から外側にX0 離れた位置であり、折り返
し位置は、ウィンドウ関数F(x)の移動方向における
光沢画像の他方の画像端から外側にX0 離れた位置であ
る。このパラメータはオペレータにより設定され、ある
いは予め設定されたものが用いられる。また、Nは後述
するディスプレイ上で被写体を表示する際のフレーム画
像の画像数の半分の数である。このようにウィンドウ関
数F2 は、上記αによって隣り合う間隔が定められた複
数の移動位置に移動する。
【0053】ウィンドウ関数F1 ,F3 の中心位置は、
図13(c)および(e)に示すように、第2光沢信号
2 に対応するウィンドウ関数F2 を基準として、ウィ
ンドウ関数F1 は移動方向前方に、ウィンドウ関数F3
は移動方向後方に、それぞれ所定距離に相当する画素数
δ離れた状態で、ウィンドウ関数F2 とともに同時に移
動する。ここで、画素数δは、オペレータにより設定さ
れ、あるいは予め設定されたパラメータである。この画
素数δは、被写体の読み取りの際に説明したように、被
写体表面の微小凹凸による傾斜に応じて、被写体の鏡面
反射光の強度が変化することに対応して設けられたパラ
メータである。このパラメータは被写体表面の微小凹凸
の情報を含んだ被写体の光沢感等の質感を再現するため
に用いられ、オペレータにより設定され、あるいは予め
設定される。これによって、鏡面反射に方向性を持た
せ、被写体の光沢に方向性を持たせることができる。
【0054】ウィンドウ処理は、具体的には、第2光沢
信号R2 (x)(xは、走査読み取り方向であるx方向
の光沢画像の一方の端の位置をx=0とする座標値であ
る)にウィンドウ関数F2 =F(x−n・α+X0
(−X0 〜W+X0 の範囲の往路)を乗算し、第1光沢
信号R1 (x)にウィンドウ関数F2 よりも移動方向前
方に位置するウィンドウ関数F1 =F(x−n・α+X
0 −δ)を乗算し、第3光沢信号R3 (x)にウィンド
ウ関数F2 よりも移動方向後方に位置するウィンドウ関
数F3 =F(x−n・α+X0 +δ)を乗算する。な
お、ウィンドウ関数F1 ,F2 , 3 が光沢画像の画像
領域から外れる場合、外れた領域における光沢信号を0
として乗算を行う。すなわち、この場合、乗算結果は0
となる。
【0055】なお、上記ウィンドウ関数F1 =F(x−
n・α+X0 +δ)、F2 =F(x−n・α+X0 )お
よびF3 =F(x−n・α+X0 +δ)は、x方向への
往路の移動の場合の関数であり、復路の移動の場合は、
ウィンドウ関数F1 はF(x+n・α−(2・W+3・
0 )−δ)、ウィンドウ関数F2 はF(x+n・α−
(2・W+3・X0 )およびウィンドウ関数F3 はF
(x+n・α−(2・W+3・X0 )+δ)とされる。
ここで、nは移動開始位置からの順番で、後述するフレ
ーム画像の順番を示し、0〜2・N−1の整数である。
n=0〜Nの場合ウィンドウ関数の移動は往路に当た
り、n=N+1以降は復路に当たる。こうして、ウィン
ドウ関数F1 ,F2 およびF3 の移動に伴う、すなわち
nによって変動する乗算結果が得られフレーム画像信号
生成部80に送られる。
【0056】フレーム画像信号生成部80では、ウィン
ドウ処理部78で演算された乗算結果が加算されて光沢
変動成分ΔS1 が求められ、この光沢変動成分ΔS1
対して上記変換マトリクスTによる変換の逆変換が行わ
れてR信号、G信号およびB信号に対応する逆変換値Δ
r ,ΔSg ,ΔSb が求められ(図10におけるステ
ップ156)、その後、この逆変換値ΔSr ,ΔSg
ΔSb に、2つの拡散反射画像信号Sr (2)
g (2) ,Sb (2) と拡散反射画像信号Sr (3) ,Sg
(3) ,Sb (3) のR信号の平均値1/2・(Sr (2)
r (3) )、G信号の平均値1/2・(Sg (2) +Sg
(3) )およびB信号の平均値1/2・(Sb (2)+Sb
(3) )がそれぞれ加算され(図10におけるステップ1
58)、nによって順番付けられた、0〜2・N−1の
フレーム画像信号が生成される。
【0057】得られたフレーム画像信号は、0〜2・N
−1の被写体のフレーム画像として(n=1〜N−1の
フレーム画像は、ウィンドウ関数の往路の際のフレーム
画像となり、復路の際のフレーム画像となる)、フレー
ム画像の順番、すなわち、nの順番に一定時間間隔でデ
ィスプレイに順次供給され、ディスプレイ上で順番付け
られたフレーム画像の切り換えが2・N−1回以上行わ
れ、すなわち、ウィンドウ関数F1 ,F2 およびF3
移動が少なくとも1往復以上行われ、画像中の被写体の
反射領域が時間的に変動するようにディスプレイ上で表
示される。
【0058】このように、図11に示す方法で被写体の
微小凹凸による傾斜面の向きに応じた第1光沢信号R1
〜第3光沢信号R3 を求め、この第1光沢信号R1 〜第
3光沢信号R3 とウィンドウ関数を用いて、反射領域が
時間的に変動するフレーム画像を作成し、このフレーム
画像をディスプレイ上で連続的に切り換えて表示するこ
とることで、被写体表面に微小の凹凸があり傾斜する被
写体の光沢感を方向性を持たせて表わすことができる。
【0059】上記例は、読取画像信号として、鏡面反射
画像信号Sr (1) ,Sg (1) ,Sb (1) と、2つの拡散
反射画像信号Sr (2) ,Sg (2) ,Sb (2) と拡散反射
画像信号Sr (3) ,Sg (3) ,Sb (3) が供給された場
合について説明したが、図7に示すようにスキャナ30
において、光源46a,46bを同時に被写体32に照
明して読み取った場合、すなわち、読取信号が、鏡面反
射画像信号Sr (1) ,Sg (1) ,Sb (1) と、1つの拡
散反射画像信号Sr (4) ,Sg (4) ,Sb (4)が画像処
理装置70に供給された場合について説明する。
【0060】この場合、図10に示す処理と同様に、信
号変換処理(ステップ150)と、光沢信号の生成(ス
テップ152)と、ウィンドウ処理(ステップ154)
と、信号逆変換処理(ステップ156)と、加算処理
(ステップ158)とが行われる。
【0061】信号変換処理では、上記変換マトリクスT
で、鏡面反射画像信号Sr (1) ,S g (1) ,Sb (1)
色変換され、信号変換値の3成分の中から注目する色信
号成分の信号変換値S1 (1) が取り出される。同様に、
拡散反射画像信号Sr (4) ,Sg (4) ,Sb (4) につい
ても同様の処理が施され、信号変換値S1 (4) が取り出
される。
【0062】次に、光沢信号の生成が、下記式に従って
光沢信号Rが求められる。 R = S1 (1) − S1 (4) ウィンドウ処理では、ウィンドウ関数F4 =F(x−n
・α+X0 )(往路)およびF(x+n・α−(2・W
+3・X0 ))(復路)が用いられ、上記ウィンドウ関
数F2 と同様に光沢信号によって表される被写体の光沢
画像上を移動する。そして、ウィンドウ関数F4 の値が
このウィンドウ関数F4 内に位置する画素の光沢信号R
の値と乗算される。
【0063】信号逆変換処理では、上記乗算結果が光沢
変動成分ΔS1 とされ、上記変換マトリクスTによる変
換の逆変換が行われてR信号、G信号およびB信号に対
応する逆変換値ΔSr ,ΔSg ,ΔSb が求められ、こ
の逆変換値ΔSr ,ΔSg ,ΔSb に、拡散反射画像信
号Sr (4) ,Sg (4) ,Sb (4) が各成分それぞれ加算
され(図10におけるステップ158)、nによって順
番付けられたフレーム画像信号値が生成される。生成さ
れたフレーム画像信号は、nの順番により一定時間間隔
でディスプレイに順次供給される。
【0064】このように、鏡面反射画像信号の信号変換
値から拡散反射画像信号の変換値を差し引いて光沢信号
を求め、この光沢信号とウィンドウ関数を用いて、反射
領域が時間的に変動するフレーム画像を作成し、このフ
レーム画像をディスプレイ上で順番に連続的に切り換え
て表示することることで、被写体表面に微小凹凸がなく
滑らかな略平面状の被写体の光沢感を表すことができ
る。
【0065】上記例で用いたウィンドウ関数は、一方向
に分布を持ちその方向に移動を行う関数であったが、ウ
ィンドウ関数は、2次元的な分布を持ち、移動方向も画
像上を自在に移動する関数であってもよい。なお、上記
例における、光沢信号は、色変換された色信号成分によ
って作成されるが、本発明はこれに限定されるわけでな
く、R信号、G信号およびB信号における、拡散反射画
像の画像信号値と鏡面反射画像の画像信号値との差分の
うち最大の差分を光沢信号の信号値としてもよい。
【0066】上記例では、フレーム画像をウィンドウ関
数の移動の順番にディスプレイ上に画像表示するが、本
発明においては、ディスプレイを見るモニタ観察者の視
点の動きに応じて、選択されたフレーム画像に切り替え
られながらディスプレイに画像表示されてもよい。
【0067】このように被写体の光沢感等の質感を表す
フレーム画像を生成するための光沢信号を拡散反射画像
信号とともに、規格化された画像信号として1つにまと
めて作成し、画像処理装置70に記憶保持してもよい
し、各種記録媒体に記録してもよい。このような規格化
された画像信号のデータ構成とその作成方法について説
明する。
【0068】図14には、規格化された画像信号フォー
マットの一例が示されている。画像信号は32ビット信
号である。32ビット信号は、それぞれが8ビット信号
のR信号、G信号およびB信号と、それぞれが2ビット
の第1〜第4反射信号を有する。
【0069】ここで、拡散反射画像信号は、図7に示す
光源46a,46bによって照明されて得られた拡散反
射画像信号や、図10に示すように2つの拡散反射画像
信号が供給された場合、この2つの拡散反射画像信号の
平均値で表された信号が対応する。
【0070】一方、第1〜第4反射信号は、上述したよ
うに、被写体の鏡面反射光による鏡面反射画像信号と被
写体の拡散反射光による拡散反射画像信号とに基づいて
生成される、被写体の光沢度を表す信号であり、下記に
示すヘッダ情報によって、各信号の属性が定まってい
る。第1〜第4反射信号は、例えば、図14に示すよう
に、上述したx方向の鏡面反射光による第1光沢信号R
1 〜第3光沢信号R3 と、x方向と異なる一方向、例え
ばx方向と直交するy方向や、x方向から角度θ傾斜し
た方向等における光沢信号(第4光沢信号)が対応す
る。第1〜第4反射信号を表す光沢信号は、鏡面反射画
像信号と拡散反射画像信号とに基づいて、上述したよう
に、例えば、図10に示すステップ150〜152の方
法で生成される。
【0071】ここで、第1〜4反射信号の属性に関する
情報として、例えば鏡面反射移動方向、鏡面反射強度情
報、鏡面反射サイズ、鏡面反射移動周期、鏡面反射位相
および鏡面反射移動距離の情報が挙げられ、これらの情
報はオペレータの指示に従って設定され、あるいは、予
めデフォルト設定され、画像信号のヘッダ情報の一部と
して作成される。
【0072】鏡面反射移動方向の情報は、x方向、y方
向、あるいは、x方向から角度θ傾斜した方向等、上述
したウィンドウ関数の移動方向の情報であり、鏡面反射
強度の情報は、ウィンドウ関数の最大値の情報、例え
ば、図12に示すウィンドウ関数Fの場合高さhの情報
であり、鏡面反射サイズの情報は、ウィンドウ関数の横
幅を表す情報、例えば図12に示すウィンドウ関数Fの
場合幅wの情報であり、鏡面反射移動周期の情報は、画
像表示するフレーム画像の画像数2・Nを、ディスプレ
イ上で行うフレーム画像切り替え周波数で除した周期を
定める情報、すなわち、Nの情報であり、鏡面反射位相
の情報は、図13(c)〜(e)で示される画素数δの
情報であり、鏡面反射移動距離の情報は、ウィンドウ関
数の移動する範囲に関し、図13(b)に示すx方向の
移動におけるX0 の値やy方向の移動におけるY0 の値
や角度θ方向におけるL0 の値等の情報である。
【0073】このように、第1〜4反射信号の属性に関
する情報は、フレーム画像中の被写体の光沢領域が所定
の位置に移動するように光沢画像の画素配列内を移動し
て、第1〜4反射信号となる光沢信号の情報を取り出す
ウィンドウ関数のパラメータ情報である。このパラメー
タ情報をヘッダ情報の一部として含ませ、拡散反射画像
信号と光沢信号である第1〜4反射信号を信号情報と
し、フレーム画像の画像信号を作成する。
【0074】このフレーム画像の画像信号、すなわち、
ヘッダ情報としてのウィンドウ関数のパラメータ情報と
第1〜第4反射信号と、拡散反射画像信号とを用いて、
図10に示すステップ154〜158の処理を行うこと
によって、静止する被写体の光沢領域がフレーム画像の
順番に従って移動するフレーム画像を作成し、このフレ
ーム画像がディスプレイに表示される。そして、図15
に示すように、鏡面反射光による照明光の写り込みの帯
82が被写体上で時間的に図中の矢印方向に、あるいは
この反対方向に移動するように、ディスプレイ上で再現
される。あるいは、ディスプレイを見るモニタ観察者の
視点の動きに応じてフレーム画像が作成されてディスプ
レイに表示される。
【0075】このような規格化されたフレーム画像を作
成する画像信号は、上記スキャナ30を用いて読み取る
場合に好適に作成することができるが、光源を移動しあ
るいは切り換えて照明方向や位置を変えて被写体を読み
取る上述のカメラ撮影の場合、以下に示す方法によっ
て、作成される。
【0076】例えば、図16(a),(b)に示すよう
に、被写体10が基台12に載置され、一方向に延在す
る線状の光源84a〜84fが配置され、光源84a〜
84fを順番に切り換えて照明された被写体10をカメ
ラ18で撮影する場合、被写体10の領域を図17に示
すように、領域Ra 〜Rd 等のように多分割し、各領域
における被写体表面の微小凹凸による傾斜面を右上がり
傾斜、水平、左上がり傾斜に分け、光源84a〜84f
と各領域との位置関係から、上述した第1光沢信号R1
に該当する第1反射信号(図14参照)が得られるか、
上述した第2光沢信号R2 に該当する第2反射信号(図
14参照)が得られるか、あるいは、上述した第3光沢
信号R3 に該当する第3反射信号(図14参照)が得ら
れるか、予め光源と領域のすべての組み合わせについて
調べる。そして、下記表1に示すような光源と領域の組
み合わせと第1〜第3反射信号の対応関係を設定する。
なお、光源84a〜84fの照明による読み取りの他
に、拡散反射光成分が光源84a〜84fの照明光より
も多く含む照明光を用いて読み取られた被写体の拡散反
射画像信号を得ておく。
【0077】
【表1】
【0078】表1では、例えば領域Raにおいて、被写
体表面が右上傾斜面である場合、光源84aによる鏡面
反射光を読み取り、被写体表面が略水平面である場合、
光源84bによる鏡面反射光を読み取り、被写体表面が
左上傾斜面である場合、光源84c〜84fによる鏡面
反射光を読み取ることを示している。このような光源8
4a〜84fと被写体の分割された領域Ra〜Rdの組
み合わせによる分類分けによって、第1〜第3反射信号
を得る場合が設定され、これに基づいて、下記方法によ
って、第1〜3反射信号が設定される。
【0079】例えば、領域Rbにおいて、上記表1から
わかるように、光源84aと84bによる照明の場合に
第1反射信号を得る。すなわち、光源84a、84bそ
れぞれを用いて照明した際の画像信号値を、図10に示
すステップ150と同様の変換マトリクスTを用いて変
換した信号変換値のうちの最大値が、拡散画像信号の変
換マトリクスTを用いて変換した信号変換値に比べて大
きい場合、この最大値から、拡散画像信号の信号変換値
を差し引いて求めた差分を第1反射信号の信号値とし、
第2、3反射信号の信号値を0とする。
【0080】同様に、光源84d〜84fによる照明の
場合第3反射信号を得る。すなわち、光源84d〜84
fのそれぞれを用いて照明した際の画像信号値の信号変
換値の内の最大値が、拡散画像信号の信号変換値に比べ
て大きい場合、この最大値から、拡散画像信号の信号変
換値を差し引いて求めた差分を第3反射信号の信号値と
し、第1、第2反射信号の信号値を0とする。第2反射
信号を得る場合も同様である。上記例では、信号変換値
が複数ある場合、複数の中から最大値を選びだし、この
最大値を拡散画像信号の信号変換値と比較するが、この
最大値の替わりに、複数の信号変換値の平均値を用いて
もよい。
【0081】このように、基台12上に載置された被写
体10をカメラ18で撮影して読み取る場合において
も、スキャナ30を用いて被写体を読み取る場合と同様
に、平面状の基台12に載置されて照明された被写体1
0の反射光の反射方向が、この被写体10の照明光の入
射方向と基台12の平面に対して略鏡面反射の関係にあ
る反射光を読み取って得られた被写体10の読取画像の
鏡面反射画像信号と、被写体10の反射光の反射方向
が、被写体10の照明光の入射方向と、基台12の平面
に対して拡散反射の関係にある反射光を読み取って得ら
れた被写体10の読取画像の拡散反射画像信号とから、
図10に示すステップ150の信号変換処理を行った
後、上記方法によって第1〜3光沢信号R1 〜R3 に対
応する第1〜3反射信号、さらに第4反射信号を生成
し、拡散反射画像信号とともに、規格化された画像信号
の信号情報とされる。さらに、被写体の画像中の光沢領
域がフレーム画像の順番に従って移動するように、光沢
信号の情報を拡散反射画像信号に載せるための、上記ウ
ィンドウ関数のパラメータ情報が、規格化された画像信
号のヘッダ情報の一部として作成される。これにより、
ステップ154〜ステップ158と同様の方法で、順番
付けられた複数のフレーム画像の画像信号を生成するこ
とができる。
【0082】あるいは、ディスプレイを見るモニタ観察
者の視点の動きに応じて、画像表示された被写体の光沢
領域が変わるように、モニタ観察者の視点の動きに応じ
て、ウィンドウ処理で演算された複数のフレーム画像か
らフレーム画像が選択されてディスプレイの表示画像が
切り替わるものであってもよい。また、上記実施例はい
ずれも、フレーム画像をスキャナやカメラによって撮影
された読取画像から作成されるものであるが、上述した
ように、照明により鏡面反射状態が異なる画像をCGに
より作成し、この画像をフレーム画像を作成するための
原画像として用いてもよい。
【0083】以上、本発明の画像表示方法、画像処理方
法、画像処理装置、走査読取装置および画像信号作成方
法について詳細に説明したが、本発明は上記実施例に限
定はされず、本発明の要旨を逸脱しない範囲において、
各種の改良および変更を行ってもよいのはもちろんであ
る。
【0084】
【発明の効果】以上、詳細に説明したように、被写体を
ディスプレイに表示する際、鏡面反射光として反射する
反射領域を画像上で時間的に変化させて、光源の写り込
みの変化を再現するので、光沢感等の質感をディスプレ
イ上で再現することができる。さらに、被写体の微小凹
凸による反射面に応じて反射光に方向性を持たせた画像
信号を作成するので、ディスプレイでの表示の際にも、
被写体上の反射領域の発生に、被写体の微小凹凸に応じ
た時間的変動を与え、より現実感のある質感を再現する
ことができる。特に、立体物の質感の再現も可能とな
る。
【0085】また、本発明の画像信号作成方法では、ウ
ィンドウ関数を規定するパラメータをヘッダ情報に含ま
せ、拡散反射画像信号の他に信号情報として各反射信号
を含ませるので、鏡面反射による反射領域が時間的に変
動するフレーム画像を作成する場合、従来の3次元CG
に比べてデータ量が少なくて済み、しかも、処理演算が
容易に行うことができる。また、拡散反射画像信号や各
反射信号が、画像信号として規格化されるので、規格化
された画像信号を用いてネットワーク上の通信データと
して有効に用いることができる。
【図面の簡単な説明】
【図1】 本発明の画像表示方法の一例の流れを示す図
である。
【図2】 本発明の画像表示方法を実施するための、被
写体の読み取りの一例を説明する図である。
【図3】 本発明の画像表示方法を実施するための、被
写体の読み取りの他の例を説明する図である。
【図4】 本発明の画像表示方法を実施するための、被
写体の読み取りの他の例を説明する図である。
【図5】 本発明の画像表示方法を実施するための、被
写体の読み取りの際の補正を説明する図である。
【図6】 本発明の走査読取装置の一例であるスキャナ
の要部を説明する図である。
【図7】 図6に示すスキャナによって行われる被写体
の読み取りの一例を説明する図である。
【図8】 (a),(b)は、 図6に示すスキャナに
よって行われる被写体の読み取りの他の例を説明する図
である。
【図9】 本発明の画像処理装置の一例の構成を示すブ
ロック図である。
【図10】 本発明の画像処理方法の一例の流れを示す
フロ−チャートである。
【図11】 図10に示すフローの要部の流れを示すフ
ロ−チャートである。
【図12】 本発明の画像処理方法で用いられるウィン
ドウ関数を説明する図である。
【図13】 (a)〜(e)は、本発明の画像処理方法
で用いられるウィンドウ関数の移動を説明する図であ
る。
【図14】 本発明の画像信号作成方法で作成される画
像信号のデータ構成を説明する図である。
【図15】 本発明の画像表示方法を説明する図であ
る。
【図16】 (a),(b)は、本発明の画像信号作成
方法を行うためになされる被写体の読み取りを説明する
図である。
【図17】 本発明の画像信号作成方法を行うためにな
される被写体の読み取りを説明する図である。
【符号の説明】
10,32,33 被写体 12 基台 14,16 ストロボ 18 カメラ 20 基準白色板 30 スキャナ 34 ガラス基台 36 照明ユニット 38 読取ユニット 40a,40b,52 ミラー 42 ミラー群 44,46,46a,46b 光源 48,50 スリット 54 絞り 56 フィルター群 58 結像レンズ 60 ラインCCDセンサ 70 画像処理装置 72 前処理部 74 信号変換処理部 76 光沢信号生成部 78 ウィンドウ処理部 80 フレーム画像信号生成部 82 帯 1,2,84a〜84f 光源

Claims (29)

    【特許請求の範囲】
  1. 【請求項1】照明により静止被写体の鏡面反射状態が異
    なる静止被写体の複数の原画像を得、この複数の原画像
    に基づき静止被写体の複数のフレーム画像を作成するフ
    レーム画像作成工程と、 前記複数のフレーム画像から選択されたフレーム画像に
    切り替えて画像表示する画像表示工程とを有することを
    特徴とする画像表示方法。
  2. 【請求項2】前記複数の原画像は、光源の照明位置およ
    び照明方向の少なくとも一方を変えて静止被写体を照明
    して得られた複数の静止被写体の読取画像であることを
    特徴とする請求項1に記載の画像表示方法。
  3. 【請求項3】前記フレーム画像作成工程は、順番付けら
    れたフレーム画像を作成し、 前記画像表示工程は、順番付けられたフレーム画像をフ
    レーム画像の順番に選択して、所定の時間間隔でフレー
    ム画像を連続的に切り替え、最後のフレーム画像に切り
    替えられた後、さらにこの順番と逆の順番にフレーム画
    像を連続的に切り替えることによって、順番付けられた
    フレーム画像を少なくとも1往復以上繰返して連続的に
    画像表示することを特徴とする請求項1または2に記載
    の画像表示方法。
  4. 【請求項4】前記読取画像は、静止被写体の拡散反射光
    によって読み取られた拡散反射画像を含み、 前記フレーム画像作成工程は、前記拡散反射画像を除く
    前記読取画像の領域のうち、画像信号値が前記拡散反射
    画像の対応する画像信号値に比べて低い領域について、
    この領域の画像信号値とこの画像信号値に対応する前記
    拡散反射画像の画像信号値とを合成することによって合
    成画像を作成し、この合成画像を前記フレーム画像とす
    ることを特徴とする請求項2または3に記載の画像表示
    方法。
  5. 【請求項5】照明により静止被写体の鏡面反射状態が異
    なる静止被写体の複数の原画像から静止被写体のフレー
    ム画像の画像信号を生成する画像処理方法であって、 前記複数の原画像の画像信号から静止被写体の光沢度を
    表す光沢信号を生成する光沢信号生成工程と、 前記光沢信号によって表される光沢画像の画素配列に基
    づいて選択された移動位置にウィンドウ関数を移動し、
    このウィンドウ関数内に位置する画素の前記光沢信号の
    信号値を取り出し、この信号値に対応する前記ウィンド
    ウ関数の値を乗算するウィンドウ処理工程と、 このウィンドウ処理工程で得られた乗算結果を用いて所
    定の演算を行い、前記ウィンドウ関数の移動位置に対応
    したフレーム画像の画像信号を生成するフレーム画像信
    号生成工程とを有することを特徴とする画像処理方法。
  6. 【請求項6】前記複数の原画像の画像信号は、平面状の
    基台に載置されて照明された静止被写体の反射光の反射
    方向が、この静止被写体の照明光の入射方向と前記基台
    の平面に対して略鏡面反射の関係にある反射光を読み取
    って得られた静止被写体の読取画像の第1の読取画像信
    号と、前記静止被写体の反射光の反射方向が、静止被写
    体の照明光の入射方向と、前記基台の平面に対して拡散
    反射の関係にある反射光を読み取って得られた静止被写
    体の読取画像の第2の読取画像信号であることを特徴と
    する請求項5に記載の画像処理方法。
  7. 【請求項7】前記第1および第2の読取画像信号は、光
    沢信号生成工程の前に予め明補正処理が施されることを
    特徴とする請求項6に記載の画像処理方法。
  8. 【請求項8】前記ウィンドウ処理工程における前記ウィ
    ンドウ関数の移動位置は、前記光沢画像およびこの光沢
    画像の外周領域上の一方向に一定の間隔離れた複数の位
    置であり、 前記ウィンドウ処理工程は、前記ウィンドウ関数を前記
    移動位置のうち隣り合う移動位置に順次移動させ、移動
    のたびに前記ウィンドウ関数の値を、このウィンドウ関
    数内に位置する対応する画素の前記光沢信号の信号値に
    乗算し、 前記フレーム画像信号生成工程は、前記ウィンドウ関数
    の移動位置に対応したフレーム画像を前記ウィンドウ関
    数の移動の順番に対応させて順番付けを行うことを特徴
    とする請求項6または7に記載の画像処理方法。
  9. 【請求項9】前記ウィンドウ関数の隣り合う移動位置の
    間隔は、このウィンドウ関数の移動方向における前記光
    沢画像の画像幅に所定の幅の2倍の幅を加算し、この加
    算結果を前記フレーム画像の画像数で除算した幅に相当
    することを特徴とする請求項8に記載の画像処理方法。
  10. 【請求項10】前記ウィンドウ処理工程において、前記
    ウィンドウ関数は、前記光沢画像の一方の画像端から外
    側に前記所定の幅離れた位置を移動開始位置とし、前記
    光沢画像の他方の画像端から外側に前記所定の幅離れた
    位置を折り返し位置として移動し、さらに、この折り返
    し位置から移動開始位置まで前記移動位置に順次移動す
    ることを特徴とする請求項9に記載の画像処理方法。
  11. 【請求項11】前記原画像は、静止被写体に対して読取
    位置を相対的に移動させながら、静止被写体全体を読み
    取った走査読取画像であることを特徴とする請求項6〜
    10のいずれかに記載の画像処理方法。
  12. 【請求項12】前記第2の読取画像信号は、異なる2方
    向から静止被写体を同時に照明して得られた画像信号で
    あることを特徴とする請求項6〜11のいずれかに記載
    の画像処理方法。
  13. 【請求項13】前記異なる2方向から静止被写体を照明
    する照明光はともに、第1の読取画像信号を得る際に用
    いる照明光に比べて拡散光成分を多く含むことを特徴と
    する請求項12に記載の画像処理方法。
  14. 【請求項14】前記光沢信号生成工程は、前記第1の読
    取画像信号値を色変換した変換値から前記第2の読取画
    像信号値を色変換した変換値を差し引いて光沢信号を生
    成することを特徴とする請求項12または13に記載の
    画像処理方法。
  15. 【請求項15】前記フレーム画像信号生成工程における
    前記所定の演算は、前記ウィンドウ処理工程で得られた
    乗算結果に対し前記色変換の逆変換を行って逆変換値を
    求めた後、この逆変換値に前記第2の読取画像信号の信
    号値を加算することで前記フレーム画像の画像信号を生
    成することを特徴とする請求項14に記載の画像処理方
    法。
  16. 【請求項16】前記第2の読取画像信号は、異なる2方
    向から静止被写体を別々に照明して得られた第3の読取
    画像信号と第4の読取画像信号からなることを特徴とす
    る請求項6〜11のいずれかに記載の画像処理方法。
  17. 【請求項17】前記異なる2方向から静止被写体を照明
    する照明光はともに、第1の読取画像信号を得る際に用
    いる照明光に比べて拡散光成分を多く含むことを特徴と
    する請求項16に記載の画像処理方法。
  18. 【請求項18】前記光沢信号は、第1、第2および第3
    の光沢信号を含み、 前記光沢信号生成工程は、前記第1、3および4の読取
    画像信号の信号値をそれぞれ色変換した第1、3および
    4の変換値を求め、 前記第1の変換値が、前記第2の変換値と前記第3の変
    換値の平均値以上である第1の条件を満たす場合、前記
    第1の変換値から前記平均値を差し引いた差分を第2の
    光沢信号の信号値とするほか、前記第1および第3の光
    沢信号の信号値を0とし、 前記第1の条件を満たさず、前記第3の変換値が前記第
    4の変換値以上である第2の条件を満たす場合、前記第
    3の変換値から前記第1の変換値を差し引いた差分を第
    3の光沢信号の信号値とするほか、前記第1および第2
    の光沢信号の信号値を0とし、 前記第1の条件および前記第2の条件のいずれも満たさ
    ない場合、前記第4の変換値から前記第1の読取画像信
    号の信号値を差し引いた差分を第1の光沢信号の信号値
    とするほか、前記第2および第3の光沢信号の信号値を
    0とすることを特徴とする請求項16または17に記載
    の画像処理方法。
  19. 【請求項19】前記ウィンドウ処理工程において、前記
    ウィンドウ関数は、前記第1、第2および第3の光沢信
    号のそれぞれに対応して用いられ、前記第1および第3
    の光沢信号に対応するウィンドウ関数が、前記第2の光
    沢信号に対応するウィンドウ関数を基準として移動方向
    前方および後方に所定の距離離れて配置され、前記第2
    の光沢信号に対応するウィンドウ関数とともに移動する
    ことを特徴とする請求項18に記載の画像処理方法。
  20. 【請求項20】前記ウィンドウ処理工程は、前記第1、
    第2および第3の光沢信号に対応するウィンドウ関数の
    値を、このウィンドウ関数内に位置する対応する画素の
    前記第1、第2および第3の光沢信号の信号値にそれぞ
    れ乗算し、 前記フレーム画像信号生成工程における前記所定の演算
    は、前記第1、第2および第3の光沢信号に対応して得
    られた乗算結果を加算し、この加算結果に対し前記色変
    換の逆変換を行って逆変換値を求めた後、この逆変換値
    に前記第3の読取画像信号の信号値と前記第4の読取画
    像信号の信号値の平均値を加算することで前記フレーム
    画像の画像信号を生成することを特徴とする請求項19
    に記載の画像処理方法。
  21. 【請求項21】照明により静止被写体の鏡面反射状態が
    異なる静止被写体の複数の原画像から静止被写体のフレ
    ーム画像の画像信号を生成する画像処理装置であって、 前記原画像の画像信号から静止被写体の光沢度を表す光
    沢信号を生成する光沢信号生成部と、 前記光沢信号によって表される光沢画像の画素配列に基
    づいて選択された移動位置にウィンドウ関数を移動し、
    このウィンドウ関数内に位置する対応する画素の前記光
    沢信号の信号値を取り出し、この信号値に前記ウィンド
    ウ関数の値を乗算するウィンドウ処理部と、 このウィンドウ処理部で得られた乗算結果を用いて所定
    の演算を行い、前記ウィンドウ関数の移動位置に対応し
    たフレーム画像の画像信号を生成するフレーム画像信号
    生成部とを有することを特徴とする画像処理装置。
  22. 【請求項22】前記複数の原画像の画像信号は、平面状
    の基台に載置されて照明された静止被写体の反射光の反
    射方向が、静止被写体の照明光の入射方向と前記基台の
    平面に対して略鏡面反射の関係にある反射光を読み取っ
    て得られた静止被写体の読取画像の第1の読取画像信号
    と、この静止被写体の反射光の反射方向が、静止被写体
    の照明光の入射方向と、前記基台の平面に対して拡散反
    射の関係にある反射光を読み取って得られた静止被写体
    の読取画像の第2の読取画像信号であることを特徴とす
    る請求項21に記載の画像処理装置。
  23. 【請求項23】前記ウィンドウ処理部における前記ウィ
    ンドウ関数の移動位置は、前記光沢画像およびこの光沢
    画像の外周領域上の一方向に一定の間隔離れた複数の位
    置であり、 前記ウィンドウ処理部は、前記ウィンドウ関数を前記移
    動位置のうち隣り合う移動位置に順次移動させ、移動の
    たびに前記ウィンドウ関数の値を、このウィンドウ関数
    内に位置する対応する画素の前記光沢信号の信号値に乗
    算し、 前記フレーム画像信号生成部は、前記ウィンドウ関数の
    移動位置に対応したフレーム画像を、前記ウィンドウ関
    数の移動の順番に対応させて順番付けを行うことを特徴
    とする請求項21または22に記載の画像処理装置。
  24. 【請求項24】照明された静止被写体と読取位置とを相
    対的に移動させながら、照明された静止被写体の反射光
    を前記読取位置で読み取る走査読取装置であって、 静止被写体を載置する平面状の基台と、 前記読取位置における静止被写体の照明光の入射方向
    が、前記読取位置における静止被写体の読取方向と、前
    記基台の平面に対して略鏡面反射の関係になるように配
    置された第1の光源と、 前記読取位置における静止被写体の照明光の入射方向
    が、読取位置における静止被写体の読取方向と、前記基
    台の平面に対して拡散反射の関係になるように配置され
    た第2の光源とを有し、 前記第1の光源と前記第2の光源を別々に用いて静止被
    写体を読み取ることを特徴とする走査読取装置。
  25. 【請求項25】前記読取方向は、前記基台の平面に対し
    て垂直方向であり、 前記第2の光源は、この読取方向に対して略同一の角度
    を成す異なる2方向から静止被写体を照明する2つの光
    源からなることを特徴とする請求項24に記載の走査読
    取装置。
  26. 【請求項26】前記2つの光源は、静止被写体を同時に
    照明することを特徴とする請求項25に記載の走査読取
    装置。
  27. 【請求項27】前記2つの光源は、静止被写体を別々に
    照明することを特徴とする請求項25に記載の走査読取
    装置。
  28. 【請求項28】照明により静止被写体の鏡面反射状態が
    異なる静止被写体の複数の原画像に基づき静止被写体の
    フレーム画像の画像信号を生成するための画像信号を作
    成する方法であって、 前記原画像の画像信号から静止被写体の光沢度を表す光
    沢信号を生成する工程と、 前記フレーム画像中の静止被写体の光沢領域が選択され
    た位置に移動するように前記光沢信号によって表される
    光沢画像の画素配列に基づいて移動して前記光沢信号の
    情報を取り出すウィンドウ関数のパラメータ情報を作成
    する工程と、 少なくとも前記光沢信号を信号情報に含ませ、前記ウィ
    ンドウ関数のパラメータ情報をヘッダ情報に含ませてフ
    レーム画像の画像信号を作成する工程とを有することを
    特徴とする画像信号作成方法。
  29. 【請求項29】前記原画像の画像信号は、平面状の基台
    に載置されて照明された静止被写体の反射光の反射方向
    が、この静止被写体の照明光の入射方向と前記基台の平
    面に対して略鏡面反射の関係にある反射光を読み取って
    得られた静止被写体の読取画像の鏡面反射画像信号と、
    前記静止被写体の反射光の反射方向が、静止被写体の照
    明光の入射方向と、前記基台の平面に対して拡散反射の
    関係にある反射光を読み取って得られた静止被写体の読
    取画像の拡散反射画像信号であり、 前記信号情報に、前記光沢信号の他に、前記拡散反射画
    像信号を含ませることを特徴とする請求項28に記載の
    画像信号作成方法。
JP2001327982A 2001-10-25 2001-10-25 画像処理方法、画像処理装置、および画像信号作成方法 Expired - Fee Related JP3964646B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001327982A JP3964646B2 (ja) 2001-10-25 2001-10-25 画像処理方法、画像処理装置、および画像信号作成方法
US10/280,070 US7224360B2 (en) 2001-10-25 2002-10-25 Image display method, image processing method, image processing apparatus, scan capturing apparatus and image signal generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001327982A JP3964646B2 (ja) 2001-10-25 2001-10-25 画像処理方法、画像処理装置、および画像信号作成方法

Publications (2)

Publication Number Publication Date
JP2003132350A true JP2003132350A (ja) 2003-05-09
JP3964646B2 JP3964646B2 (ja) 2007-08-22

Family

ID=19144129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001327982A Expired - Fee Related JP3964646B2 (ja) 2001-10-25 2001-10-25 画像処理方法、画像処理装置、および画像信号作成方法

Country Status (2)

Country Link
US (1) US7224360B2 (ja)
JP (1) JP3964646B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126632A (ja) * 2004-10-29 2006-05-18 Fuji Xerox Co Ltd 画像読取装置
JP2006317672A (ja) * 2005-05-12 2006-11-24 Mitsubishi Electric Corp 質感表示装置
US7336431B2 (en) 2005-10-13 2008-02-26 Fuji Xerox Co., Ltd. Image reading device and image forming device
JP2009130461A (ja) * 2007-11-20 2009-06-11 Canon Inc 画像処理装置および画像処理方法
US7724402B2 (en) 2006-01-31 2010-05-25 Fuji Xerox Co., Ltd. Image reader
WO2012050218A1 (en) 2010-10-14 2012-04-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2014072595A (ja) * 2012-09-28 2014-04-21 Hitachi Consumer Electronics Co Ltd 映像処理装置
US8873848B2 (en) 2012-03-29 2014-10-28 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
WO2017042933A1 (ja) * 2015-09-10 2017-03-16 コヨミ株式会社 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造
JP2017194855A (ja) * 2016-04-21 2017-10-26 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム
US10553011B2 (en) 2015-06-17 2020-02-04 Toppan Printing Co., Ltd. Image processing system, method, and program
US10803630B2 (en) 2015-06-17 2020-10-13 Toppan Printing Co., Ltd. Image processing system, method, and program
US11062484B2 (en) 2015-06-17 2021-07-13 Toppan Printing Co., Ltd. Image processing device, method, and program for rendering display data of a material

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4189654B2 (ja) * 2003-04-18 2008-12-03 セイコーエプソン株式会社 画像処理装置
EP1679689B1 (en) * 2003-10-28 2014-01-01 Panasonic Corporation Image display device and image display method
JP4797593B2 (ja) * 2005-03-10 2011-10-19 富士ゼロックス株式会社 光沢測定装置及びプログラム
US20070117287A1 (en) * 2005-11-23 2007-05-24 Semiconductor Energy Laboratory Co., Ltd. Laser irradiation apparatus
TWI350111B (en) * 2006-09-21 2011-10-01 Etron Technology Inc Gamma correction method and device
US8054500B2 (en) * 2006-10-10 2011-11-08 Hewlett-Packard Development Company, L.P. Acquiring three-dimensional structure using two-dimensional scanner
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
EP2250623A4 (en) 2008-03-05 2011-03-23 Ebay Inc METHOD AND APPARATUS OF IMAGE RECOGNITION SERVICES
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US10127606B2 (en) 2010-10-13 2018-11-13 Ebay Inc. Augmented reality system and method for visualizing an item
JP2013003596A (ja) * 2011-06-10 2013-01-07 Sony Corp 情報処理装置、プログラム及び情報処理方法
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US9240059B2 (en) 2011-12-29 2016-01-19 Ebay Inc. Personal augmented reality
US10846766B2 (en) 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
US9336541B2 (en) 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
US9569464B1 (en) * 2014-05-28 2017-02-14 Pivotal Software, Inc. Element identification in database
JP6576059B2 (ja) * 2015-03-10 2019-09-18 キヤノン株式会社 情報処理、情報処理方法、プログラム
JP2016213718A (ja) * 2015-05-11 2016-12-15 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10003713B2 (en) * 2016-04-06 2018-06-19 Kabushiki Kaisha Toshiba Image forming method and image forming apparatus comprising a scanner section and a light reflection area determination section
US10568557B2 (en) * 2018-02-19 2020-02-25 Yoram BONNEH System and method for analyzing involuntary eye movements of a human subject in response to a masked visual stimulating content
US11183150B2 (en) 2019-01-04 2021-11-23 Ati Technologies Ulc Foveated illumination control at display device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4928250A (en) * 1986-07-02 1990-05-22 Hewlett-Packard Company System for deriving radiation images
DE69130549T2 (de) * 1990-06-11 1999-05-27 Hitachi Ltd Vorrichtung zur Erzeugung eines Objektbewegungsweges
JPH0766436B2 (ja) 1991-11-14 1995-07-19 株式会社エイ・ティ・アール通信システム研究所 連続シルエット画像による3次元モデル構成装置
JP3283973B2 (ja) 1993-08-24 2002-05-20 株式会社リコー 有機光起電力素子
US5552890A (en) * 1994-04-19 1996-09-03 Tricor Systems, Inc. Gloss measurement system
JPH0839841A (ja) 1994-08-01 1996-02-13 Victor Co Of Japan Ltd 光沢信号生成方法及び光沢画像印刷方法
US20020071028A1 (en) * 1997-05-28 2002-06-13 Nikon Corporation Image display and recording apparatus and a recording medium on which a category control program is recorded
US6771385B1 (en) * 1999-03-03 2004-08-03 Konica Corporation Method of using a server connected with a network and a server system
US6317126B1 (en) * 1999-03-09 2001-11-13 Silicon Graphics, Inc. Method and device for associating a pixel with one of a plurality of regions in a logarithm or cosine space
US6806974B1 (en) * 1999-09-22 2004-10-19 Konica Corporation Print order receiving apparatus
JP2001108421A (ja) 1999-10-13 2001-04-20 Sanyo Electric Co Ltd 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体
JP4482778B2 (ja) * 2000-09-11 2010-06-16 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
US6639594B2 (en) * 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126632A (ja) * 2004-10-29 2006-05-18 Fuji Xerox Co Ltd 画像読取装置
JP2006317672A (ja) * 2005-05-12 2006-11-24 Mitsubishi Electric Corp 質感表示装置
US7336431B2 (en) 2005-10-13 2008-02-26 Fuji Xerox Co., Ltd. Image reading device and image forming device
US7724402B2 (en) 2006-01-31 2010-05-25 Fuji Xerox Co., Ltd. Image reader
JP2009130461A (ja) * 2007-11-20 2009-06-11 Canon Inc 画像処理装置および画像処理方法
EP2627515A4 (en) * 2010-10-14 2014-06-18 Canon Kk IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD
EP2627515A1 (en) * 2010-10-14 2013-08-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2012050218A1 (en) 2010-10-14 2012-04-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9070074B2 (en) 2010-10-14 2015-06-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US8873848B2 (en) 2012-03-29 2014-10-28 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2014072595A (ja) * 2012-09-28 2014-04-21 Hitachi Consumer Electronics Co Ltd 映像処理装置
US10553011B2 (en) 2015-06-17 2020-02-04 Toppan Printing Co., Ltd. Image processing system, method, and program
US10803630B2 (en) 2015-06-17 2020-10-13 Toppan Printing Co., Ltd. Image processing system, method, and program
US11062484B2 (en) 2015-06-17 2021-07-13 Toppan Printing Co., Ltd. Image processing device, method, and program for rendering display data of a material
WO2017042933A1 (ja) * 2015-09-10 2017-03-16 コヨミ株式会社 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造
JPWO2017042933A1 (ja) * 2015-09-10 2018-05-24 コヨミ株式会社 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び画像データ構造
JP2017194855A (ja) * 2016-04-21 2017-10-26 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム

Also Published As

Publication number Publication date
JP3964646B2 (ja) 2007-08-22
US7224360B2 (en) 2007-05-29
US20030085894A1 (en) 2003-05-08

Similar Documents

Publication Publication Date Title
JP2003132350A (ja) 画像表示方法、画像処理方法、画像処理装置、走査読取装置および画像信号作成方法
JP4065488B2 (ja) 3次元画像生成装置、3次元画像生成方法及び記憶媒体
EP2299726B1 (en) Video communication method, apparatus and system
JP4072674B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4508878B2 (ja) 立体画像のためのビデオフィルタ処理
Phillips et al. Camera image quality benchmarking
US20120147224A1 (en) Imaging apparatus
US20070159476A1 (en) Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a steroscopic image master
JPH10504692A (ja) 立体ビデオ画像を表示装置上に表示する方法及び装置
KR20130103527A (ko) 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성
CN108154514A (zh) 图像处理方法、装置及设备
US7071953B2 (en) Image processing method and image processing apparatus for obtaining overlaid image
JP2004341642A (ja) 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体
JP4193292B2 (ja) 多眼式データ入力装置
JP2005181038A (ja) 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
JP2006211386A (ja) 立体画像処理装置、立体画像表示装置、及び立体画像生成方法
JP2006186795A (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JPH07240945A (ja) 仮想空間生成提示装置
KR20090012651A (ko) 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법
JP2000245700A (ja) 眼底計測装置及び眼底計測プログラムを記録した記録媒体
JP4129786B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2012053359A (ja) 画像処理装置およびその方法
JP2001118074A (ja) 3次元画像作成方法、3次元画像作成装置及びプログラム記録媒体
JP2004248213A (ja) 画像処理装置、撮像装置およびプログラム
Tsuchida et al. Development of a high-definition and multispectral image capturing system for digital archiving of early modern tapestries of Kyoto Gion Festival

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040318

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100601

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees