JP2021071964A - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP2021071964A
JP2021071964A JP2019198852A JP2019198852A JP2021071964A JP 2021071964 A JP2021071964 A JP 2021071964A JP 2019198852 A JP2019198852 A JP 2019198852A JP 2019198852 A JP2019198852 A JP 2019198852A JP 2021071964 A JP2021071964 A JP 2021071964A
Authority
JP
Japan
Prior art keywords
image
angle
unit
light source
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019198852A
Other languages
English (en)
Other versions
JP7409014B2 (ja
Inventor
和彦 堀川
Kazuhiko Horikawa
和彦 堀川
奥津　優
Masaru Okutsu
優 奥津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2019198852A priority Critical patent/JP7409014B2/ja
Priority to US16/882,756 priority patent/US11935255B2/en
Priority to CN202010452672.1A priority patent/CN112751982A/zh
Publication of JP2021071964A publication Critical patent/JP2021071964A/ja
Application granted granted Critical
Publication of JP7409014B2 publication Critical patent/JP7409014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024—Details of scanning heads ; Means for illuminating the original
    • H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/10—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using flat picture-bearing surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/024—Details of scanning heads ; Means for illuminating the original
    • H04N1/028—Details of scanning heads ; Means for illuminating the original for picture information pick-up
    • H04N1/02815—Means for illuminating the original, not specific to a particular type of pick-up head
    • H04N1/02845—Means for illuminating the original, not specific to a particular type of pick-up head using an elongated light source, e.g. tubular lamp, LED array
    • H04N1/0285—Means for illuminating the original, not specific to a particular type of pick-up head using an elongated light source, e.g. tubular lamp, LED array in combination with at least one reflector which is in fixed relation to the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

【課題】仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示可能とする表示装置を提供する。【解決手段】表示装置は、ある物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう前記物体を複数の角度から見たときの生成画像を生成する生成部と、生成画像のうち物体を第１の角度から第１画像を選択する選択部と、第１画像での仮想光源と物体との位置関係を保持したまま第１の角度と異なる第２の角度から物体を見た変換画像に変換する変換部と、変換画像を表示する表示部と、を備える。【選択図】図４

Description

この発明は、表示装置に関する。
従来、表示装置に関する技術としては、例えば、特許文献１等に開示されたものが既に提案されている。
特許文献１は、物体表面の拡散反射画像を取得する拡散反射画像取得部と、前記物体表面の鏡面反射画像を取得する鏡面反射画像取得部と、前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部と、を備えるように構成したものである。
特開２０１９−８２８３８号公報
この発明の目的は、仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示可能とすることにある。
請求項１に記載された発明は、ある物体の画像に基づいて仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの生成画像を生成する生成部と、
前記生成画像のうち前記物体を第１の角度から見た第１画像を選択画像として選択する選択部と、
前記第１画像での前記仮想光源と前記物体との位置関係を保持したまま前記第１の角度と異なる第２の角度から前記物体を見た変換画像に変換する変換部と、
前記変換画像を表示する表示部と、
を備える表示装置である。
請求項２に記載された発明は、前記第２の角度を指定する指定部を備える請求項１に記載の表示装置である。
請求項３に記載された発明は、前記指定部で指定された前記第２の角度に対して予め定められた角度範囲に属する前記物体の画像を前記第２の角度から見た前記物体の画像とする請求項２に記載の表示装置である。
請求項４に記載された発明は、前記指定部は、前記物体の画像の面積が最大の画像を前記第２の角度から見た前記物体の画像として自動的に指定する請求項２に記載の表示装置である。
請求項５に記載された発明は、前記第２の角度から見た前記物体の画像は、前記物体の平面画像である請求項３に記載の表示装置である。
請求項６に記載された発明は、前記表示部は前記生成画像も表示する表示部であって、前記生成画像及び前記変換画像を表示している際に、
前記仮想光源の位置及び照明強度を調節する調節部を備える請求項１に記載の表示装置である。
請求項７に記載された発明は、前記仮想光源は、点光源及び平行光の光源を含む請求項６に記載の表示装置である。
請求項８に記載された発明は、前記表示部は、前記選択画像を併せて表示する請求項１に記載の表示装置である。
請求項９に記載された発明は、前記表示部は、前記複数の角度から見た前記生成画像を表示する請求項１に記載の表示装置である。
請求項１０に記載された発明は、前記表示部は、前記複数の角度から見た前記生成画像を指定された指定順に表示する請求項９に記載の表示装置である。
請求項１１に記載された発明は、前記表示部は、前記複数の角度から見た前記生成画像を変化量がなだらかになるよう並べ替えて表示する請求項９に記載の表示装置である。
請求項１２に記載された発明は、前記生成部は、前記仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの前記物体の画像を生成する際に、前記物体表面の領域に応じて勾配を付けた係数を乗算した光沢成分を付加した画像を生成する請求項１に記載の表示装置である。
請求項１３に記載された発明は、前記物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配からなる請求項１２に記載の表示装置である。
請求項１に記載された発明によれば、仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示することができる。
請求項２に記載された発明によれば、第２の角度を指定する指定部を備えない場合に比べ、指定された角度から見た画像を表示することが可能となる。
請求項３に記載された発明によれば、指定時に詳細な指定をしなくても、意図した角度を指定することができる。
請求項４に記載された発明によれば、ユーザが選択する手間を省くことができる。
請求項５に記載された発明によれば、物体の平面画像を自動的に表示することができる。
請求項６に記載された発明によれば、仮想光源の位置及び照明強度を調節する調節部を備えない場合に比べ、物体の画像のバリュエーションが向上する。
請求項７に記載された発明によれば、仮想光源は、点光源及び平行光の光源を含まない場合に比べ、物体の画像の表現の幅が広くなる。
請求項８に記載された発明によれば、表示部は、生成部で生成された物体の画像を併せて表示しない場合に比べ、物体の画像の選択が容易となる。
請求項９に記載された発明によれば、表示部は、生成部で生成された複数の角度から見た物体の画像を表示しない場合に比べ、複数の角度から見た物体の画像から任意の画像を選択することができる。
請求項１０に記載された発明によれば、表示部は、生成部で生成された複数の角度から見た物体の画像を単に表示する場合に比べ、画像の選択が容易となる。
請求項１１に記載された発明によれば、表示部は、生成部で生成された複数の角度から見た物体の画像をランダムに表示する場合に比べ、物体の画像の変化を容易に識別することができる。
請求項１２に記載された発明によれば、生成部は、仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する際に、物体表面の領域に応じて勾配を付けた係数を乗算した光沢成分を付加した画像を生成しない場合に比べ、より実際に近い光沢等を表示することができる。
請求項１３に記載された発明によれば、物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配から構成しない場合に比べ、勾配の設定が容易となる。
この発明の実施の形態１に係る表示装置を適用した画像表示システムを示す概略構成図である。 サーバ装置をブロック図である。 ユーザ用端末装置を示すブロック図である。 この発明の実施の形態１に係る表示装置の要部を示すブロック図である。 タブレット端末装置を示す斜視構成図である。 質感スキャナを示す構成図である。 Ｌａｍｂｅｒｔの仮想モデルを適用する幾何学的条件を示す説明図である。 実際に測定されたＢＲＤＦを示すグラフである。 仮想光源の種類を示す説明図である。 Ｐｈｏｎｇの仮想モデルを適用する幾何学的条件を示す説明図である。 鏡面反射を示す模式図である。 反射モデルでのパラメータ推定の例で、図８に示す低カバレッジの場合の実測ＢＲＤＦにフィッティングした予測ＢＲＤＦを示すグラフである。 この発明の実施の形態１に係る表示装置の要部を示すブロック図である。 物体の三次元的な配置を示す斜視構成図である。 物体の三次元的な配置を示す斜視構成図である。 物体の画像を示す構成図である。 物体の三次元的な配置を示す斜視構成図である。 物体の画像を示す構成図である。 物体の回転を示す説明図である。 物体の画像を示す説明図である。 物体の画像を示す説明図である。 物体の三次元的な配置を示す斜視構成図である。 この発明の実施の形態２に係る表示装置の要部を示すブロック図である。 この発明の実施の形態２に係る表示装置で表示される物体の画像を示す説明図である。
以下に、この発明の実施の形態について図面を参照して説明する。
[実施の形態１]
図１は、実施の形態１に係る表示装置を適用した画像表示システムを示すものである。
＜表示装置を用いた画像表示システムの全体構成＞
オンデマンド印刷の可能性を新たな次元に引き上げるため、オンデマンドプリンタなどにおいては、貝殻、蝶やトンボの羽、あるいは金糸や銀糸などを織り込んだ帯、更には金箔や銀箔などで描いた日本画のように、光の変化や見る角度、視点によって変化する多様な色彩による画像などもプリント可能となってきている。
これに伴い、画像を表示する表示装置においても、光沢感や凹凸感など物体表面の質感を表示可能とすることが求められている。
この実施の形態１に係る表示装置を適用した画像表示システム１としては、図１に示されるように、３ＤＣＧ（Three-Dimensional Computer Graphics）などを用いて光沢感や凹凸感などを有する物体を表示可能とする表示装置の一例としてのユーザ用端末装置２と、図示しない無線ＬＡＮを介して通信可能であり、同じく３ＤＣＧなどを用いて光沢感や凹凸感などを有する物体を表示可能とする表示装置の一例としてのタブレット型端末装置７と、ユーザ用端末装置２やタブレット型端末装置７がネットワーク３を介して接続されるサーバ装置４と、光沢感や凹凸感などを有する物体の画像を読み取る画像読取装置の一例としての質感スキャナ６と、必要に応じて画像情報をプリントする画像形成装置５とを備えたものが挙げられる。
ユーザ用端末装置２は、例えば、パーソナルコンピュータとして構成される。ただし、ユーザ用端末装置２は、パーソナルコンピュータに限定されるものではなく、１または複数のプロセッサ、メモリ、入出力インターフェイス、通信インターフェイス及び表示部を備えるコンピュータであっても良い。
図２はこの実施の形態１に係る画像表示システム１を適用したサーバ装置４を示すブロック図である。
サーバ装置４は、図２に示されるように、制御手段の一例としての制御部４０１と、記憶部４０２と、操作部４０３と、通信部４０４とを備えている。
制御部４０１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。制御部４０１は、ハードディスク等からなる記憶部４０２に記憶された３ＤＣＧのプログラムによって作成された複数の３ＤＣＧのデータからなるデータベースなどの読み出しや読み込みなどを実行する。制御部４０１は、記憶部４０２や操作部４０３、あるいは通信部４０４を制御するとともに、通信部４０４及びネットワーク３を介してユーザ用端末装置２、タブレット型端末装置７、質感スキャナ６や画像形成装置５と接続されている。
図３はこの実施の形態１に係る画像表示システム１における表示装置の一例としてのユーザ用端末装置を示すブロック図である。なお、タブレット型端末装置７も基本的に図３に示されるユーザ用端末装置２と同様に構成されている。
ユーザ用端末装置２は、図３に示されるように、制御手段の一例としての制御部２０１と、記憶部２０２と、操作部２０３と、通信部２０４と、表示部２０５を備えている。
制御部２０１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。制御部２０１は、サーバ装置４から読み出されるか又は予めハードディスク等からなる記憶部２０２に記憶された３ＤＣＧのプログラムなどを実行するとともに、表示装置としての種々の機能を実行する。制御部２０１は、記憶部２０２や操作部２０３、通信部２０４あるいは表示部２０５を制御するとともに、通信部２０４を介してサーバ装置４及び画像形成装置５とデータの送受信などを行う。
また、制御部２０１は、図４に示されるように、物体の画像情報を取得する取得部２０６と、本実施形態における生成画像にあたる、物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する生成部２０７と、生成部２０７で生成された物体の画像のうち本実施形態における選択画像である、第１の角度から見た物体の画像を選択する選択部２０８と、本実施の形態における生成画像である、選択部２０８で選択された物体の画像を仮想光源と物体との位置関係を保持したまま第１の角度と異なる第２の角度から見た物体の画像に変換する変換部２０９として機能する。変換部２０９で変換された物体の画像は、表示部２０５によって表示される。また、本実施形態の表示部２０５は、変換画像だけでなく、生成画像も表示部２０５に表示されており、選択画像を表示する際にも表示部２０５を見ながら選択するようになっている。
選択部２０８は、例えば、ユーザ用端末装置２の操作部２０３の一例としてのキーボードやマウス等で構成される。また、表示部２０５は、ユーザ用端末装置２の液晶ディスプレイや有機ＥＬディスプレイで構成される。なお、タブレット型端末装置７は、図５に示されるように、ユーザ用端末装置２の表示部２０５と同様に液晶ディスプレイや有機ＥＬディスプレイで構成される表示部７１を備えているが、表示部７１の表面には、操作部の一例としてユーザが指でタッチすることにより操作するタッチパネル７２が設けられている。
表示装置の一例としてのユーザ用端末装置２の構成については、後に詳述する。
図６は平面物体の画像を取得するための画像読取装置の一例としての質感スキャナを示す構成図である。
質感スキャナ６は、図６に示されるように、物体の一例としての平面物体１０の表面特性を光学的に読み取り、その読取結果として画像信号（画像データ）を出力するものである。質感スキャナ６が出力する画像信号には、平面物体１０のカラー画像信号に加えて、拡散反射光に基づく拡散反射画像信号と鏡面反射光に基づく鏡面反射画像信号が含まれる。
質感スキャナ６は、その上端部に平面物体１０を載置する透明なガラス板等からなるプラテンガラス１１を備えている。質感スキャナ６は、プラテンガラス１１上に載置された平面物体１０を覆うことにより、外光を遮断する図示しないプラテンカバーを備えていてもよい。プラテンガラス１１の下方には、プラテンガラス１１の表面に沿って矢印Ａで示す方向に移動可能なキャリッジ１２が配置されている。キャリッジ１２には、カラー画像及び拡散反射画像を読み取るための第１の光源１３，１４と、鏡面反射画像を読み取るための第２の光源１５と、結像レンズや図示しないミラー等からなる結像光学系１６と、センサ１７等が搭載されている。
質感スキャナ６には、第１及び第２の光源１３，１４，１５、センサ１７及びキャリッジ１２等の部材が、図面に垂直な方向に沿って予め定められた幅で設けられている。この図面に垂直な方向は、質感スキャナ６の主走査方向である。また、図中矢印Ａが示す方向は、キャリッジ１２の移動方向である質感スキャナ６の副走査方向である。
キャリッジ１２は、平面物体１０の画像を読み取るとき、予め定められた読取速度で副走査方向Ａに沿って移動するよう構成されている。第１の光源１３は、フロント側光源であり、平面物体１０の読取位置における法線方向に対して第１の入射角度である例えば４５°の入射角度で光を照射することで、平面物体１０からの拡散反射光をセンサ１７で読み取るための光を照射する。第１の光源１４は、リア側光源であり、平面物体１０の法線方向に対して例えば４５°の入射角度で光を照射することで、平面物体１０からの拡散反射光を読み取るための光を照射する。また、第２の光源１５は、リア側光源であり、平面物体１０の読取位置における法線方向に対して第２の入射角度である例えば１０°の入射角度で光を照射することで、平面物体１０からの鏡面反射光を読み取るための光を照射する。
第２の光源１５は、その反射光の主光線を遮ることがない位置に設けられる。第２の光源１５が照射する光の入射角度は、この実施の形態１では１０°に設定されている。これに限らず、第２の光源１５が照射する光の入射角度は、５°〜１０°程度と小さい角度に設定しても良い。第２の光源１５により照射された光の反射光は、平面物体１０の読取位置における法線方向に進行するものが結像レンズ等の結像光学系１６を介してセンサ１７によって読み取られる。
また、第２の光源１５は、照射する光の角度が狭いことが望ましい。第２の光源１５が照射する光の角度が比較的大きい場合には、第２の光源１５が照射する光の角度を制限するカバー等を設けてもよい。さらに、第２の光源１５は、平面物体１０の鏡面反射による光沢情報を読み取るためのものであるため、第１の光源１３，１４に比べ、主走査方向についての輝度がなるべく一様かつ連続であることが望ましい。
第２の光源１５の要件を満たすものとしては、例えば、蛍光ランプや希ガス蛍光ランプ（キセノン蛍光ランプ等）が用いられる。また、第２の光源１５は、白色のＬＥＤを主走査方向に複数配列し、拡散板などを用いて主走査方向の輝度分布を均一化したものであってもよい。
キャリッジ１２は、さらに結像光学系１６及びセンサ１７を内部に備える。結像光学系１６は、反射ミラーや結像レンズで構成され、平面物体１０からの拡散反射光及び鏡面反射光成分をセンサ１７に結像させる。センサ１７は、結像光学系１６により結像された拡散反射光及び鏡面反射光成分を受け、受けた光に応じた画像信号を生成する。センサ１７は、ＣＣＤリニアイメージセンサやＣＭＯＳイメージセンサ等の受光素子で構成され、受光した光をその強弱を表す信号に変換する。また、センサ１７は、選択的に着脱可能なＲＧＢからなるカラーフィルタを備え、平面物体１０の色を表すカラー画像信号を生成する。センサ１７は、カラー画像信号以外に、拡散反射光を受光して得られた拡散反射画像信号及び鏡面反射光を受光して得られた鏡面反射画像信号をネットワーク３を介してユーザ用端末装置２、タブレット型端末装置７やサーバ装置４等の外部装置に出力する。
質感スキャナ６は、例えば、プラテンガラス１１上に載置された平面物体１０を３回走査することにより、カラー画像信号と、拡散反射画像信号と、鏡面反射画像信号を個別に出力する。カラー画像信号の出力は、センサ１７にカラーフィルタを装着し、プラテンガラス１１上に載置された平面物体１０を第１の光源１３，１４により照明することで行う。拡散反射画像信号の出力は、センサ１７からカラーフィルタを取り外し、プラテンガラス１１上に載置された平面物体１０を第１の光源１３，１４により照明することで行う。鏡面反射画像信号の出力は、センサ１７からカラーフィルタを取り外し、プラテンガラス１１上に載置された平面物体１０を第２の光源１５により照明することで行う。
なお、拡散反射の条件（光源入射角４５°）と鏡面反射の条件（光源入射角１０°）は、同一の白色校正板でキャリブレーションが行われている。そのため、プラテンガラス１１上に載置された平面物体１０から拡散反射光のみが生じて鏡面反射光が生じない場合は、センサ１７からの出力信号が等しくなり、簡易な差分演算で光沢情報を抽出することができる。
ところで、質感スキャナ６で読み取られる平面物体１０の画像としては、通常の文字や写真、イラスト等の画像にとどまらず、表面に光沢や凹凸を有する物体の画像が挙げられる。
シルバーやゴールドのメタリックカラーとＹＭＣＫ（イエロー、マゼンタ、シアン及びブラック）のカラートナーを用いて光沢を有する画像を形成することが可能なプリンターや、カラートナーの上に透明トナーを載せて光沢を付けたり、トナーを定着させた後のアイロンのような冷却装置によって光沢を上げた表現をする等のプリントが可能なプリンターがある。
表面に光沢や凹凸を有する物体の画像情報は、図６に示されるように、質感スキャナ６を用いて平面物体１０のカラー画像に加えて拡散反射画像及び鏡面反射画像の画像データを取得することにより得られる。
表面に光沢や凹凸を有する物体の画像情報は、ＢＲＤＦ（Bidirectional Reflectance Distribution Function)と呼ばれる双方向反射率分布関数を用いて表現される。光が物体の表面に照射されると、物体の表面で鏡面反射されたり、物体の内部を透過して吸収されたり、散乱して表面から出射される。図７は、ＢＲＤＦ（双方向反射率分布関数）の幾何学的な条件を示したものである。ＢＲＤＦは、反射表面上のある地点ｘにおいて、光源方向Ｌの微小立体角から入射する光の放射照度ｄＥに対する視線方向Ｖの微小立体角への反射光の放射輝度ｄＬ０の割合を表す関数である。一般的にはゴニオフォトメータ等の入射角や受光角を変更できる計測器で測定される。この測定値は、実測ＢＲＤＦと呼ばれる。
図７において、θｉは入射光が反射表面の地点ｘにおける法線ベクトルＮとなす角度、θｏは反射光が反射表面の地点ｘにおける法線ベクトルＮとなす角度、φｉは入射光が反射表面の地点ｘにおける接線ベクトルｔとなす角度、φｏは反射光が反射表面の地点ｘにおける接線ベクトルｔとなす角度である。
ＢＲＤＦは、次の数１式で表現される。
Figure 2021071964
図８は、シルバートナーを用いてカバレッジを変化させて電子写真方式で出力した印刷物の実測ＢＲＤＦの例を示すものである。図８において、光源方向ベクトルＬと視線方向ベクトルＶが同一平面上にあり（φ成分はなし）、入射角θｉが４５°で、横軸は受光角θ０を示している。入射角が４５°の場合の鏡面反射角度は４５°である。
この図８から明らかなように、シルバートナーのカバレッジ（金属光沢）が高いほど、鏡面反射光の輝度が高くなることが判る。
物体表面の光の反射の仕方を近似するモデルとしては、Ｐｈｏｎｇの反射モデルが使用される。Ｐｈｏｎｇの反射モデルでは、物体表面の反射を環境光と、直接光の拡散反射光と、直接光の鏡面反射光の３つの要素で近似する。
なお、光源としては、図９に示されるように、点光源と、平行光源に分けることができる。点光源は、空間中の有る位置から光がすべての方向に広がる光源である。平行光源は、空間中のあらゆる位置で同じ方向の光源である。
物体からの反射光の強度は、環境光と、直接光の拡散反射光と、直接光の鏡面反射光を加算したものとなる。
Ｉｒ＝Ｉａ＋Ｉｄ＋Ｉｓ
ここで、Ｉａ，Ｉｄ，Ｉｓはそれぞれ環境光、拡散反射光、鏡面反射光の輝度を示している。なお、環境光Ｉａは定数として扱うことができる。
物体からの拡散反射光の強度は、Ｌａｍｂｅｒｔの余弦則に従うことが知られている。Ｌａｍｂｅｒｔの余弦則とは、微小面から反射する放射強度は、次の式で示されるように、面法線と光線の入射角θｉの余弦に比例するというものである。なお、図１０はＬａｍｂｅｒｔの余弦則と次に述べるＰｈｏｎｇの反射モデルにおける幾何学的条件を示した図である。
Ｉ＝Ｉｉ・（ρｄ ・ｃｏｓθｉ）
ここで、Ｉｉは入射光の強度、ρｄは拡散反射率、θｉは入射角である。
物体からの鏡面反射光の強度は、金属やプラスチックなどの滑らかな表面で起こる反射である。完全な鏡面では、光は入射角の正反射方向にのみ反射するが、実際の物体では、図１１に示されるように、正反射方向を中心とした範囲に広がりを持っている。
Ｐｈｏｎｇの反射モデルでは、鏡面反射光の放射強度Ｉは次のように近似される。
Ｉ＝Ｉｉ・（ρｓ ・ｃｏｓｎγ）
ここで、ρｓは鏡面反射率、ｎは鏡面反射指数（ｎ≧１）、γは鏡面反射方向と視線方向のなす角度である。
したがって、物体からの反射光の強度は、直接光の拡散反射光と、直接光の鏡面反射光を加算したものとなり、次の式で表される。
Ｉ＝Ｉｉ・（ρｄ ・ｃｏｓθｉ）＋Ｉｉ・（ρｓ ・ｃｏｓｎγ）
この式では角度γ が小さくなるほど大きな値となる。また、ｎの値が大きいほど角度γに対する値が急激に減少する。
この反射モデルにおいては、質感スキャナ６から出力される拡散反射画像及び鏡面反射画像の画像データに基づいて拡散反射率ρｄ、鏡面反射率ρｓ及び鏡面反射指数ｎの各パラメータが求められる。
図１２は、反射モデルでのパラメータ推定の例で、図８に示す低カバレッジの場合の実測ＢＲＤＦにフィッティングした予測ＢＲＤＦを示す。この図１２から明らかなように、反射モデルにおいてパラメータを質感センサ６の出力に基づいて適宜推定して決定することにより、実測された低カバレッジのＢＲＤＦに適合することが判る。
ところで、この実施の形態１に係る表示装置２０は、次のように構成されている。
表示装置２０は、表面に光沢や凹凸を有する物体の画像を３ＤＣＧなどを用いて立体的に表示することが可能となっている。
表示装置２０は、表面に光沢や凹凸を有する物体の画像の表示に先立って、質感スキャナ６を用いて読み取られた平面物体１０の拡散反射画像及び鏡面反射画像の画像データに基づいて、平面物体１０の反射率分布関数を算出する。
図１３は質感スキャナ６を用いて読み取られた平面物体１０の拡散反射画像及び鏡面反射画像の画像データに基づいて、平面物体１０の反射率分布関数を算出する処理を示すブロック図である。
反射率分布関数の算出処理は、図１３に示されるように、拡散反射画像取得部２１と、鏡面反射画像取得部２２と、差分画像取得部２３と、拡散反射率分布関数算出部２４と、鏡面反射率分布関数算出部２５と、パラメータ調整部２６と、反射率分布関数算出部２７と、光源情報取得部２８と、カメラ情報取得部２９とを備えている。
拡散反射画像取得部２１及び鏡面反射画像取得部２２は、それぞれ質感スキャナ６で得られた拡散反射画像及び鏡面反射画像を取得する。拡散反射画像取得部２１及び鏡面反射画像取得部２２は、それぞれ質感スキャナ６に接続され、質感スキャナ６からこれらの画像を取得してもよく、あるいは質感スキャナ６にネットワーク３を介して接続されたサーバ装置４からこれらの画像を取得してもよい。
差分画像取得部２３は、拡散反射画像と鏡面反射画像の差分を演算して差分画像を取得する。差分画像取得部２３は、（鏡面反射画像−拡散反射画像）である差分画像を演算する。
拡散反射率分布関数算出部２４は、拡散反射画像を用いて平面物体１０の拡散反射率分布関数を算出する。例えば、拡散反射率分布関数算出部２４は、Ｌａｍｂｅｒｔの余弦則に従い、ρｄを入射光に対する拡散反射率、θｉを入射角として、拡散反射率分布関数をρｄ・ｃｏｓθｉとし、拡散反射画像からパラメータとしての拡散反射率ρｄを算出する。
鏡面反射率分布関数算出部２５は、差分画像を用いて平面物体１０の鏡面反射率分布関数を算出する。例えば、鏡面反射率分布関数算出部２５は、Ｐｈｏｎｇの反射モデルに従い、ρｓを鏡面反射率、γを鏡面反射方向と視線方向のなす角、ｎを鏡面反射指数として、鏡面反射率分布関数をρｓ・ｃｏｓｎγとし、差分画像からパラメータとしての鏡面反射率ρｓ，ｎを算出する。
反射率分布関数算出部２７は、拡散反射率分布関数算出部２４で算出された拡散反射率分布関数と、鏡面反射率分布関数算出部２５で算出された鏡面反射率分布関数を用いて平面物体１０の画素毎の反射率分布関数を算出する。例えば、反射率分布関数算出部２７は、Ｌａｍｂｅｒｔの余弦則とＰｈｏｎｇの反射モデルに従い、反射率分布関数＝拡散反射率分布関数＋鏡面反射率分布関数により反射率分布関数を算出する。
パラメータ調整部２６は、 反射率分布関数算出部２７で反射率分布関数を算出する際の各種のパラメータを調整する。光源情報取得部２８は、平面物体１０を照明する光源情報（光源方向）を取得する。また、カメラ情報取得部２９は、カメラ情報（視線方向）を取得する。
これらの各種パラメータや光源情報（光源方向）、あるいはカメラ情報（視線方向）は、ユーザ用端末装置２の操作部２０３などから適宜設定される。
この実施の形態１に係る表示装置２０は、図４に示されるように、物体の表面反射成分を含む画像を取得する取得部２０６と、取得部２０６で取得された物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する生成部２０７と、生成部２０７で生成された物体の画像のうち第１の角度から見た物体の画像を選択する選択部２０８と、選択部２０８で選択された物体の画像を仮想光源と物体との位置関係を保持したまま第１の角度と異なる第２の角度から見た物体の画像に変換する変換部２０９と、変換部２０９で変換された物体の画像を表示する表示部２０５と、種々の画像データを記憶する記憶部２０２とを備えるように構成されている。
取得部２０６は、質感スキャナ６で得られた拡散反射画像及び鏡面反射画像、更にはカラー画像を取得する。また、取得部２０６は、質感スキャナ６で得られた拡散反射画像及び鏡面反射画像に基づいて、上述したように反射率分布関数の算出処理を行う。取得部２０６が取得した拡散反射画像及び鏡面反射画像、更にはカラー画像の情報は、記憶部２０２に一時的に記憶される。
生成部２０７は、取得部２０６で取得された物体の画像に基づいて仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する。
更に説明すると、生成部２０７は、図１４に示されるように、３ＤＣＧのプログラムを用いて、ワールド座標系に配置された直方体の表面（上端面）に取得部で取得された物体１００の画像を貼り付けた画像を生成する。
取得部２０６で取得された物体の画像は、二次元の画像をそのまま用いても良いが、ここでは、二次元の画像が傾斜した状態を判り易く表示するため、二次元の画像を直方体の表面（上端面）に貼り付けた画像として生成している。
ワールド座標系において、上述した光源情報取得部２８で取得された平面物体１０を照明する光源情報（光源方向）として、点光源を座標（ＸＹＺ）に配置している。また、カメラ情報取得部２９は、カメラ情報（視線方向）として、Ｚ軸方向から直方体を見た画像を取得している。
生成部２０７は、図１５に示されるように、３ＤＣＧのプログラムを用いて、ワールド座標系に配置された直方体状の物体１００の画像を、ユーザ用端末装置２の操作部２０３としてのマウスで指定された方向に任意の角度だけ傾斜させたり回転させた画像情報を生成する。
生成部２０７で生成された画像情報は、図１６に示されるように、３ＤＣＧのプログラムを用いてレンダリング処理され、ユーザ用端末装置２の表示部２０５に三次元の画像として表示される。
選択部２０８は、生成部２０７で生成された物体１００の画像のうち第１の角度から見た物体の画像を選択するものである。ここで、第１の角度は、ユーザが任意に選択可能な角度である。選択部２０８は、ユーザ用端末装置２の操作部２０３としてのマウス等から構成される。選択部２０８の一例としてのユーザ用端末装置２の操作部２０３であるマウスは、ユーザ用端末装置２の表示部に表示される物体１００の画像を見て左クリックする動作を行うことにより、生成部２０７で生成された物体の画像のうち第１の角度から見た物体の画像を選択する処理が実行される。
変換部２０９は、図１７に示されるように、選択部２０８で選択された物体１００の画像を仮想光源と物体との位置関係を保持したまま第１の角度と異なる第２の角度から見た物体の画像に変換するものである。
表示装置２０は、第２の角度を指定する指定部を備えている。指定部は、例えば、ユーザ用端末装置２の操作部２０３としてのマウス等から構成される。指定部の一例としてのユーザ用端末装置２の操作部２０３であるマウスは、ユーザ用端末装置２の表示部に表示される物体の画像を見て左クリックする動作を行いつつ、ユーザが希望する第２の角度から見た前記物体の画像が表示部に表示されるようにマウスを移動させる処理である。
指定部で指定された第２の角度に対して予め定められた角度範囲（例えば、±５度）に属する物体の画像を、第２の角度から見た物体の画像とするよう構成される。より具体的には、例えば表示装置の解像度の関係で、水平より２．５７８８８°傾いたような角度で表示しようとすると、シャープに表示できない場合で２．５°で表示する方が綺麗に表示できる場合は、２．５°にして表示される。又例えば、物体の平面に対し、ほぼ垂直な角度が選ばれた場合には、ユーザは垂直に指示したかったのだろう、と推定される平面に対し垂直な角度を第２の角度として表示しても良い。
また、選択部２０８は、物体の画像の面積が最大の画像を第２の角度から見た物体の画像として自動的に選択するよう構成しても良い。第２の角度から見た物体の画像は、例えば、物体の平面画像である。
変換部２０９は、選択部２０８で選択された物体１００の画像を仮想光源と物体との位置関係を保持したまま第１の角度と異なる第２の角度から見た物体の画像に変換する処理を行う。
この変換部２０９が行う処理は、図１９に示されるように、座標系を回転させる回転処理であり、４×４の回転行列を（ＸＹＺ）座標に乗算することにより実行される。
表示部２０５は、変換部２０９で変換された物体の画像を含めて途中の物体の画像を表示する。
このとき、表示部２０５は、生成部２０７で生成された物体の画像を併せて表示するよう構成しても良い。また、表示部２０５は、生成部２０７で生成された生成画像のうち、物体を第１の角度から見た第１画像を選択画像として併せて表示するのが望ましい。
また、表示部２０５は、生成部２０７で生成された複数の角度から見た物体の画像をそれぞれ表示するように構成しても良い。このように、表示部２０５は、生成部２０７で生成された複数の角度から見た物体の画像をそれぞれ表示することにより、ユーザは、最も輝度の高い画像に限らず、自分の好みに合った物体の画像を選択することが容易に可能となる。
さらに、表示部２０５は、生成部２０７で生成された複数の角度から見た物体の画像を指定された指定順に表示するよう構成しても良い。ここで、指定された指定順とは、ユーザがマウス等によって順次指定した順序であっても良いし、物体の画像の輝度を自動的に演算により求め、予め輝度の高い順を指定することにより、指定された輝度の高い順に物体の画像を表示するように構成しても良い。
また、表示部２０５は、生成部２０７で生成された複数の角度から見た物体の画像を変化量がなだらかになるよう並べ替えて表示するよう構成することもできる。このように、生成部２０７で生成された複数の角度から見た物体の画像を変化量がなだらかになるよう並べ替えて表示することにより、ユーザは、物体の画像の変化量を認識し易くなるとともに、自分の好みに合った画像を選択することが容易となる。
<表示装置の動作>
この実施の形態にかかる表示装置２０では、次のようにして、仮想光源と物体との位置関係を保持したまま物体を他の角度から見た画像を表示することが可能となっている。
いま、図１４に示されるように、ワールド座標系（ＸＹＺ空間）において直方体状の物体１００が、その表面（上端面）１０１の中心Ｏ１の座標が（Ｘ１，Ｙ１，Ｚ１）であり、各側面１０２〜１０５及び底面１０６がＸＹ平面、ＹＺ平面、ＺＸ平面に対してそれぞれ平行となるよう配置されている場合を考える。
物体１００の表面１０１には、図２０に示されるように、その中央部に対角線の方向に沿って斜めに傾斜した状態では楕円形状に光ってみえる画像１０７が形成されている。画像１０７は、斜めに傾斜していない状態では光ってみえないが、表面がコーティングされていたり、シルバートナーのような乱反射せず強い指向性があるトナーで画像が形成されているなど、光沢がある部分である。
周りも同じように光沢があるが、仮想光源との関係で画像１０７のみが楕円に光って見える状態や、周りとは異なる画像で形成されていて、ある仮想光源の角度でそれが顕著に目立つなどの場合に、表示された部分がこのように光って見え、今回がそれが楕円状に光った画像１０７となっている。
物体１００の表面１０１の画像は、図１に示されるように、例えば、質感スキャナ６によって読み取られた画像が貼り付けられたものである。
この実施の形態１に係る表示装置２０は、質感スキャナ６によって読み取られた物体１００の表面１０１のカラー画像情報、拡散反射光に基づく拡散反射画像情報と鏡面反射光に基づく鏡面反射画像情報に基づいて、物体１００の画像をユーザ用端末装置２の表示部２０５に表示する。
表示装置２０では、図１３に示されるように、拡散反射率分布関数算出部２４によって、質感スキャナ６によって読み取られた物体１００の表面１０１の拡散反射光に基づく拡散反射画像情報と鏡面反射光に基づく鏡面反射画像情報に基づいて、平面物体１０の拡散反射率分布関数が算出される。
拡散反射率分布関数算出部２４は、Ｌａｍｂｅｒｔの反射モデルに従い、ρｄを入射光に対する拡散反射率、θｉを入射角として、拡散反射率分布関数をρｄ・ｃｏｓθｉとし、拡散反射画像からパラメータとしての拡散反射率ρｄを算出する。
鏡面反射率分布関数算出部２５は、差分画像を用いて平面物体１０の鏡面反射率分布関数を算出する。例えば、鏡面反射率分布関数算出部２５は、Ｐｈｏｎｇの反射モデルに従い、ρｓを鏡面反射率、γを鏡面反射方向と視線方向のなす角、ｎを鏡面反射指数として、鏡面反射率分布関数をρｓ・ｃｏｓｎγとし、差分画像からパラメータとしての鏡面反射率ρｓ，ｎを算出する。
そして、反射率分布関数算出部２７は、反射率分布関数＝拡散反射率分布関数＋鏡面反射率分布関数により反射率分布関数を算出する。
Ｉ＝Ｉｉ・（ρｄ ・ｃｏｓθｉ）＋Ｉｉ・（ρｓ ・ｃｏｓｎγ）
表示装置２０は、図４に示されるように、取得部２０６によって、上述したように反射率分布関数の算出処理を行う。
取得部２０６によって取得された反射率分布関数は、図２１に示されるように、カラー画像情報とともに、ユーザ用端末装置２の記憶部２０２に画素毎に一時的に記憶される。
次に、生成部２０７は、ユーザ用端末装置２の記憶部２０２に一時的に記憶された物体１００の画像情報に基づいて、図１５に示されるように、仮想光源に対する物体１００の角度が変更されるよう物体１００を複数の角度から見たときの物体の画像を生成する。ここで、複数の角度には、初期的に物体１００を見た角度も含まれる。
生成部２０７は、図１５に示されるように、３ＤＣＧのプログラムを用いて、ワールド座標系に配置された直方体の画像を、ユーザ用端末装置２の操作部２０３としてのマウスで指定された方向に任意の角度だけ傾斜させたり回転させた画像情報を生成する。
生成部２０７で生成された画像情報は、図１６に示されるように、３ＤＣＧのプログラムを用いてレンダリング処理され、ユーザ用端末装置２の操作部２０３に三次元の画像として表示される。この表示された画像が本実施形態における生成画像に相当する。
次に、ユーザは、ユーザ用端末装置２の選択部２０８の一例としてのマウスを操作することによって、生成部２０７で生成された物体１００の画像のうち、第１の角度から見た物体１００の画像を選択する。
このとき、ユーザは、ユーザ用端末装置２の選択部の一例としてのマウスを操作することによって、物体１００の画像を傾斜させたり回転させることで、固定された仮想光源４００により照明される物体１００の表面からの反射画像をユーザ用端末装置２の表示部２０５に表示される画像として目視することができる。
いま、ユーザが物体１００の画像を傾斜させ、物体の表面の楕円形状部分が仮想光源からの光を鏡面反射し、鏡面反射された光がカメラに入射される。
更に説明すると、ユーザが物体１００の画像を傾斜させることにより、次に示す反射率分布関数のうち、角度θｉ及び角度γが主に変化する。
Ｉ＝Ｉｉ・（ρｄ ・ｃｏｓθｉ）＋Ｉｉ・（ρｓ ・ｃｏｓｎγ）
すると、図２２において、入射角と反射角が等しくなるように物体を傾斜させたときに、楕円形状の部分から鏡面反射光の輝度が最も高くなる。本実施形態では、輝度が最も高くなる位置を第１の角度とし、この角度から見た物体１００の画像を選択している。
ユーザは、ユーザ用端末装置２の操作部２０３としてのマウスによって第２の角度を指定する。
次に、変換部２０９は、選択部２０８で選択された物体１００の画像を仮想光源４００と物体１００との位置関係を保持したまま第１の角度と異なる第２の角度から見た物体１００の画像に変換する。
そして、ユーザ用端末装置２の表示部２０５には、図１８に示されるように、変換部２０９で変換された物体１００の画像が表示される。
このように、上記実施の形態１に係る表示装置２０によれば、仮想光源４００と物体１００との位置関係を保持したまま物体を他の角度から見た画像を表示することが可能となる。
なお、本実施形態では、輝度が最も高くなる位置を第１の角度として指定したが、あまりギラギラ感を出したくない場合などは、輝度があまり高くない位置を第１の角度として指定しても良い。
また、第２の角度の指定は、第１の角度の選択や、そもそも物体を複数の角度で表示する前に、指定しても良い。
たとえば、複数の物体が各々ある角度で表示されていて、その中の１つの物体を選んで、表示される物体の光っぷりを変更したいという場合は、他の物体と一緒に表示されていた場合の角度を第２の角度として予め指定されているとしても良い。
また、今回はマウスによって、複数の角度を変化させたりしたが、手で持てるタイプの表示装置の場合には、表示装置自体を傾けることで、生成画像を変化させても良い。
表示装置で変換画像と生成画像を併せて表示している場合に、生成画像の方は、マウスや表示装置の傾き検出により表示角度が変わるように変化させ、変換画像の方は変化させないという風にしても良い。
[実施の形態２]
図２３及び図２４は、実施の形態２に係る表示装置を示すものである。この実施の形態２に係る表示装置では、生成部は、仮想光源に対する物体の角度が変更されるよう物体を複数の角度から見たときの物体の画像を生成する際に、物体表面の領域に応じて勾配を付けた係数αを乗算した光沢成分を付加した画像を生成するように構成されている。
また、この実施の形態２に係る表示装置では、物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配からなるよう構成されている。
すなわち、この実施の形態２に係る表示装置２０では、図２３に示されるように、質感スキャナ６によって読み取られた物体の画像のうち、光沢成分を示す拡散反射画像及び鏡面反射画像に対して仮想光源の種類に応じて乗算する係数（勾配）αを指定するよう構成されている。係数（勾配）αの指定は、パラメータ調整部２６によって行なわれる。
図２４（ａ）に示されるように、仮想光源４００としての点光源が平面状の物体１００の斜め上方においてある程度離れた距離に存在する場合は、同図（ｂ）に示されるように、平面状の物体１００の仮想光源４００に近い側の端部は相対的に光沢度が高く、仮想光源４００から離れた側の端部は相対的に光沢度が低くなるように、仮想光源４００からの光線に対して直交する方向に互いに平行な等高線を複数本設け、複数本の等高線に応じて徐々に光沢度が低くなるよう係数（勾配）αを指定する。
図２４（ｃ）に示されるように、仮想光源４００としての点光源が平面状の物体１００の中央部の上方においてある程度離れた距離に存在する場合は、仮想光源４００から平面状の物体１００に下した垂線を中心にして同心円状の等高線を複数本設け、複数本の等高線に応じて中心から外周へ行くにしたがって徐々に光沢度が低くなるよう係数（勾配）αを指定する。
こうすることにより、仮想光源４００の種類に応じたより自然な光沢等を表示することが可能となる。
その他の構成及び作用は、前記実施の形態１と同様であるので、その説明を省略する。
１…画像表示システム
２０…表示装置
２０５…表示部
２０６…取得部
２０７…生成部
２０８…選択部
２０９…変換部

Claims (13)

  1. ある物体の画像に基づいて仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの生成画像を生成する生成部と、
    前記生成画像のうち前記物体を第１の角度から見た第１画像を選択画像として選択する選択部と、
    前記第１画像での前記仮想光源と前記物体との位置関係を保持したまま前記第１の角度と異なる第２の角度から前記物体を見た変換画像に変換する変換部と、
    前記変換画像を表示する表示部と、
    を備える表示装置。
  2. 前記第２の角度を指定する指定部を備える請求項１に記載の表示装置。
  3. 前記指定部で指定された前記第２の角度に対して予め定められた角度範囲に属する前記物体の画像を前記第２の角度から見た前記物体の画像とする請求項２に記載の表示装置。
  4. 前記指定部は、前記物体の画像の面積が最大の画像を前記第２の角度から見た前記物体の画像として自動的に指定する請求項２に記載の表示装置。
  5. 前記第２の角度から見た前記物体の画像は、前記物体の平面画像である請求項３に記載の表示装置。
  6. 前記表示部は前記生成画像も表示する表示部であって、前記生成画像及び前記変換画像を表示している際に、
    前記仮想光源の位置及び照明強度を調節する調節部を備える請求項１に記載の表示装置。
  7. 前記仮想光源は、点光源及び平行光の光源を含む請求項６に記載の表示装置。
  8. 前記表示部は、前記選択画像を併せて表示する請求項１に記載の表示装置。
  9. 前記表示部は、前記複数の角度から見た前記生成画像を表示する請求項１に記載の表示装置。
  10. 前記表示部は、前記複数の角度から見た前記生成画像を指定された指定順に表示する請求項９に記載の表示装置。
  11. 前記表示部は、前記複数の角度から見た前記生成画像を変化量がなだらかになるよう並べ替えて表示する請求項９に記載の表示装置。
  12. 前記生成部は、前記仮想光源に対する前記物体の角度が変更されるよう前記物体を複数の角度から見たときの前記物体の画像を生成する際に、前記物体表面の領域に応じて勾配を付けた係数を乗算した光沢成分を付加した画像を生成する請求項１に記載の表示装置。
  13. 前記物体表面の領域に応じた勾配は、面光源に対応した平行線状の勾配及び点光源に対応した同心円状の勾配からなる請求項１２に記載の表示装置。
JP2019198852A 2019-10-31 2019-10-31 表示装置 Active JP7409014B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019198852A JP7409014B2 (ja) 2019-10-31 2019-10-31 表示装置
US16/882,756 US11935255B2 (en) 2019-10-31 2020-05-26 Display apparatus
CN202010452672.1A CN112751982A (zh) 2019-10-31 2020-05-26 显示装置及显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019198852A JP7409014B2 (ja) 2019-10-31 2019-10-31 表示装置

Publications (2)

Publication Number Publication Date
JP2021071964A true JP2021071964A (ja) 2021-05-06
JP7409014B2 JP7409014B2 (ja) 2024-01-09

Family

ID=75645279

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019198852A Active JP7409014B2 (ja) 2019-10-31 2019-10-31 表示装置

Country Status (3)

Country Link
US (1) US11935255B2 (ja)
JP (1) JP7409014B2 (ja)
CN (1) CN112751982A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4080657A1 (en) 2021-04-21 2022-10-26 Prime Planet Energy & Solutions, Inc. Power storage module and method of manufacturing same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216973A (ja) * 2002-01-21 2003-07-31 Canon Inc 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
JP2015045958A (ja) * 2013-08-27 2015-03-12 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
JP2015233240A (ja) * 2014-06-10 2015-12-24 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
JP2018124806A (ja) * 2017-02-01 2018-08-09 株式会社カブク 画像処理装置
JP2019527355A (ja) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558282B (zh) * 2007-02-13 2011-12-14 松下电器产业株式会社 图像处理系统、方法、装置、以及图像格式
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US20100002006A1 (en) * 2008-07-02 2010-01-07 Cisco Technology, Inc. Modal Multiview Display Layout
WO2010012289A1 (en) * 2008-07-30 2010-02-04 Panasonic Corporation Image generation device and method for super-resolution of 3d textures
CN101645259A (zh) * 2008-08-08 2010-02-10 鸿富锦精密工业（深圳）有限公司 电子相框及其图片显示方法
US9153004B2 (en) * 2010-08-30 2015-10-06 Rakuten, Inc. Product image interpolating device, method and non-transitory information recording medium
JPWO2012147363A1 (ja) * 2011-04-28 2014-07-28 パナソニック株式会社 画像生成装置
US20140192164A1 (en) * 2013-01-07 2014-07-10 Industrial Technology Research Institute System and method for determining depth information in augmented reality scene
CN106950687B (zh) * 2016-01-06 2021-01-01 松下知识产权经营株式会社 图像生成系统以及图像生成方法
JP6812271B2 (ja) * 2017-02-27 2021-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6833575B2 (ja) * 2017-03-15 2021-02-24 本田技研工業株式会社 歩行支援装置、歩行支援方法、及びプログラム
JP7027807B2 (ja) 2017-10-30 2022-03-02 富士フイルムビジネスイノベーション株式会社 表示装置、スキャナ、表示システム及びプログラム
US10235797B1 (en) * 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
JP7130385B2 (ja) * 2018-02-19 2022-09-05 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216973A (ja) * 2002-01-21 2003-07-31 Canon Inc 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
JP2015045958A (ja) * 2013-08-27 2015-03-12 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
JP2015233240A (ja) * 2014-06-10 2015-12-24 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
JP2019527355A (ja) * 2016-07-18 2019-09-26 ウニヴェアズィテート バーゼル デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法
JP2018124806A (ja) * 2017-02-01 2018-08-09 株式会社カブク 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4080657A1 (en) 2021-04-21 2022-10-26 Prime Planet Energy & Solutions, Inc. Power storage module and method of manufacturing same

Also Published As

Publication number Publication date
US11935255B2 (en) 2024-03-19
CN112751982A (zh) 2021-05-04
US20210132890A1 (en) 2021-05-06
JP7409014B2 (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
US10606545B2 (en) Display apparatus, scanner, and non-transitory computer readable medium
CN105701793B (zh) 用于数字化真实材料外观的方法及装置
JP6506507B2 (ja) 測定装置およびその制御方法
JP3575679B2 (ja) 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
US9958383B2 (en) Range camera
US9323490B2 (en) Image processing apparatus and image processing method
JP2006153846A (ja) 鏡面光沢予測装置、鏡面光沢予測方法、鏡面光沢予測装置の制御プログラム、および、記録媒体
JP2015028781A (ja) アピアランスデータをデジタル的に生成する方法および装置
JP7409014B2 (ja) 表示装置
JP2022048321A (ja) 画像処理装置、画像処理方法、及びプログラム
US11017564B2 (en) Image processing apparatus and non-transitory computer readable medium storing image processing program
JP7235038B2 (ja) 光沢値算出装置、光沢値測定装置、光沢色の色調定量化装置および光沢値算出方法
US20230260237A1 (en) Visualizing the appearance of at least two materials
US20230343051A1 (en) Visualizing the appearances of at least two materials
JP6745936B2 (ja) 測定装置およびその制御方法
JP6051890B2 (ja) 画像処理装置、画像処理方法、画像表示方法およびプログラム
JP2007256211A (ja) 情報処理装置、反射光量算出方法、プログラム、コンピュータ読み取り可能な記録媒体
US20230260193A1 (en) Generating a destination texture from a plurality of source textures
US20240104835A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
Wang et al. Reflectance Reconstruction of Objects with Spatially Varying Materials

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7409014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150