JP2002024818A - 拡散および鏡面反射成分の分離方法 - Google Patents

拡散および鏡面反射成分の分離方法

Info

Publication number
JP2002024818A
JP2002024818A JP2000211131A JP2000211131A JP2002024818A JP 2002024818 A JP2002024818 A JP 2002024818A JP 2000211131 A JP2000211131 A JP 2000211131A JP 2000211131 A JP2000211131 A JP 2000211131A JP 2002024818 A JP2002024818 A JP 2002024818A
Authority
JP
Japan
Prior art keywords
components
singular value
diffused
specular reflection
mirror reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000211131A
Other languages
English (en)
Other versions
JP3459981B2 (ja
Inventor
Shinji Umeyama
伸二 梅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2000211131A priority Critical patent/JP3459981B2/ja
Publication of JP2002024818A publication Critical patent/JP2002024818A/ja
Application granted granted Critical
Publication of JP3459981B2 publication Critical patent/JP3459981B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】拡散/鏡面反射両成分相互の確率的独立性が高
いという性質を利用して、拡散/鏡面反射成分の分離を
行なうことにより、一般的な光源等の位置関係において
も、ほぼ完全な両成分の分離を可能とすることを目的と
している。 【解決手段】本発明の拡散および鏡面反射成分の分離方
法は、偏光フィルタを回転させることにより、様々な鏡
面反射の強さを持つ観測対象の画像を複数観測し、この
観測した複数の画像から、鏡面反射成分が多く含まれる
部分を選択し、得られた画像集合の矩形領域集合に対し
て特異値分解を行ない、最大特異値とその次の大きさの
特異値に対応する成分を選択し、特異値分解を行った矩
形画像集合を拡散/反射成分に変換する変換行列を決定
し、この変換行列を画像全体に適用することにより、画
像全体の拡散/鏡面反射成分の分解をする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、物体の見えに含ま
れる拡散および鏡面反射成分を、両成分間の確率的独立
性を手がかりとして分離する拡散および鏡面反射成分の
分離方法に関する。
【0002】
【従来の技術】物体の「見え」は、光源からの光が物体
表面で反射することによって作られる。2色性反射モデ
ルによれば、物体表面での光の反射は、拡散反射と鏡面
反射の二つの成分の和で表現される。拡散反射成分が物
体表面形状を直接的に反映するのに対して、鏡面反射成
分は物体表面の限られた領域で非常に強く観測されるの
が特徴である。
【0003】鏡面反射は、物体を観測する場合に、しば
しば邪魔になる。例えば、 1. 水面ごしに水中の様子を観測したいが、水面からの
鏡面反射に邪魔されて良好に観測できない。 2. 自動車の窓ガラスごしに、その内部を撮影したい
が、ガラスからの鏡面反射に邪魔されて良好に観測でき
ない。 3. 多くの画像処理アルゴリズムは、拡散反射成分のみ
が観測されることを前提としている。このため、鏡面反
射成分が存在すると処理誤りの原因となる。
【0004】鏡面反射成分は多くの場合偏光しているた
め、偏光フィルタを用いることにより、全体輝度に対す
るその成分比を様々に変化させて観測することが可能で
ある図1は、このような観測をするための観測構成図で
あり、その観測例を図2に示している。偏光フィルタの
回転角度を、鏡面反射成分が最小となるように設定して
観測するというのが従来の手法であり、そのリアルタイ
ム化に向けての技術開発などが行なわれている(例え
ば、http://www.strl.nhk.or.jp/newstopics/research-
j.html#i9806) しかし、このような手法では、物体と光源およびカメラ
の位置関係が特別な場合(ブリュースター角を構成する
場合)には、鏡面反射成分を完全に 0 にできるが、一般
の位置関係では、ある程度の成分が残存してしまう(図
2の左上図)。
【0005】
【発明が解決しようとする課題】本発明は、拡散/鏡面
反射両成分相互の確率的独立性が高いという性質を利用
して、拡散/鏡面反射成分の分離を行なうことにより、
一般的な光源等の位置関係においても、ほぼ完全な両成
分の分離を可能とすることを目的としている。
【0006】
【課題を解決するための手段】本発明の拡散および鏡面
反射成分の分離方法は、以下のステップ1〜ステップ5
から成る。 ステップ1:偏光フィルタを回転させることにより、様
々な鏡面反射の強さを持つ観測対象の画像を複数観測す
る。 ステップ2:この観測した複数の画像から、鏡面反射成
分が多く含まれる部分を選択する。 ステップ3:得られた画像集合の矩形領域集合に対して
特異値分解を行ない、最大特異値とその次の大きさの特
異値に対応する成分を選択する。 ステップ4:特異値分解を行った矩形画像集合を拡散/
反射成分に変換する変換行列を決定する。 ステップ5:この変換行列を画像全体に適用することに
より、画像全体の拡散/鏡面反射成分の分解をする。
【0007】
【発明の実施の形態】図4は、本発明の処理ブロック図
である。ステップ1において、図1の観測構成により、
偏光フィルタを回転させることにより、様々な鏡面反射
の強さを持つ画像を複数観測する。図2は、観測した画
像を示している。
【0008】ステップ2において、この複数の画像か
ら、鏡面反射成分が多く含まれる部分を選択する。図2
においては、右下図に示された矩形領域を選択する。偏
光フィルタを回転させながら反射光を観測した場合、得
られる画像は、偏光フィルタの回転角度に応じて次のよ
うに変化する。
【0009】
【数1】 拡散/鏡面反射画像である。観測画像Iはそれらの線形
和となり、その係数は偏光フィルタ回転角に依存する。
係数の値は、光源、物体、カメラの幾何学的関係と、偏
光フィルタの偏光軸方向が分からなければ未知である。
【0010】ステップ3において、得られた画像集合の
矩形領域集合に対して特異値分解を行ない、最大特異値
とその次の大きさの特異値に対応する成分を選択する。
これは、画像集合の主成分分析を行ない、第一主成分と
第二主成分を取り出すことに等しい。具体的には、選ば
れた矩形領域をラスタ順序にスキャンして行ベクトル
とし、これらを縦に並べた行列をXとする。
【0011】
【数2】 また、選ばれた矩形領域の拡散反射成分dおよび鏡面反
射成分sをやはり行ベクトルとして並べたものをSとす
る。
【0012】
【数3】 式(1)から係数行列をAとして、
【数4】 次の関係が成立する。
【0013】
【数5】 拡散/鏡面反射成分の分離とは、観測行列XをA、Sの
積に分解することである。さて、行列SおよびAは階数
2であるから,行列Xを階数2の行列で近似し、それを
さらに2つの行列へと分解することを考える。一般に、
行列を低い階数の行列で(最小2乗の意味で)近似し、ま
たそれを2つの行列の積で表現すること(最大階数分解)
は、行列の特異値分解を利用することで可能である。行
列Xの特異値分解をX = UDVTとすると、このような分解
は次のように書ける。
【0014】
【数6】 ここでXの特異値をσ1≧σ2≧・・・≧σMとして、
【数7】 に対応する固有ベクトルのみを選んだものである。ま
た,Wは任意の 2×2正則行列である。これから、Aお
よびSの推定として
【数8】 が得られる.
【0015】次に、ステップ4において、矩形画像集合
を拡散/反射成分に変換する変換行列を決定する。以下
では、
【数9】 の決定を行うことにより、矩形画像集合を拡散/反射成
分に変換する変換行列を決定する。
【0016】まずモデルの式(1)から、Aの第一列ベク
トルは要素1のみからなるベクトルであるから、式
(7)の第一列ベクトルが、これにできるだけ近くなる
ようにWを定める。このため、次式を最小化するa、bを
求める。
【数10】
【数11】 となる。
【0017】次に c、dを定める。
【数12】 とすると、Wの行列式 Δは
【数13】 となる。
【0018】ここで、Δの絶対値は推定される鏡面反射
成分のスケールに対応する。式(1)からわかるように、
鏡面反射成分とその係数f(ψ)との間には不定性がある
ため、一般性を失わず|Δ| = 1とできる。この結果、β
を定めると、r2、つまりWが式(13)から定まり、β
を変化させながら拡散/鏡面反射成を推定し(式(8))、
相互の確率的独立性を相互情報量によって評価する。相
互情報量が最小となる点を拡散/鏡面反射成分の推定値
として採用する。相互情報量はデータの符号の反転に関
して不変であるから、βの探索範囲としては0からπの
範囲で良く、符号が反転した場合には、鏡面反射成分は
正であるという条件を用いて修正する。以上から、Wが
定まり、従って行列A’が定まる。A’の逆行列が矩形
画像集合を拡散/反射成分に変換する変換行列である。
【0019】ステップ5において、変換行列を画像全体
に適用することにより、画像全体の拡散/鏡面反射成分
の分解ができる。図3に、分解した拡散/鏡面反射成分
の画像を例示する。
【0020】
【発明の効果】本発明は、拡散/鏡面反射両成分相互の
確率的独立性が高いという性質を利用して、拡散/鏡面
反射成分の分離を行なうことにより、一般的な光源等の
位置関係においても、ほぼ完全な両成分の分離を行うこ
とができるという効果を生じる。
【図面の簡単な説明】
【図1】観測構成を例示する図である。
【図2】図1の観測構成により、偏光フィルタを回転さ
せることにより観測した様々な鏡面反射の強さを持つ複
数の画像を例示する図である。
【図3】分解した拡散/鏡面反射成分の画像を例示する
例示する図である。
【図4】本発明の処理ブロック図である。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 偏光フィルタを回転させることにより、
    様々な鏡面反射の強さを持つ観測対象の画像を複数観測
    し、 この観測した複数の画像から、鏡面反射成分が多く含ま
    れる部分を選択し、 得られた画像集合の矩形領域集合に対して特異値分解を
    行ない、最大特異値とその次の大きさの特異値に対応す
    る成分を選択し、 特異値分解を行った矩形画像集合を拡散/反射成分に変
    換する変換行列を決定し、 この変換行列を画像全体に適用することにより、画像全
    体の拡散/鏡面反射成分の分解をする、ことから成る拡
    散および鏡面反射成分の分離方法。
JP2000211131A 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法 Expired - Lifetime JP3459981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000211131A JP3459981B2 (ja) 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000211131A JP3459981B2 (ja) 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法

Publications (2)

Publication Number Publication Date
JP2002024818A true JP2002024818A (ja) 2002-01-25
JP3459981B2 JP3459981B2 (ja) 2003-10-27

Family

ID=18707296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000211131A Expired - Lifetime JP3459981B2 (ja) 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法

Country Status (1)

Country Link
JP (1) JP3459981B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
US7203362B2 (en) 2004-07-26 2007-04-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and image processing program
WO2009019887A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 画像処理装置および画像処理方法
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
US7688363B2 (en) 2006-05-29 2010-03-30 Panasonic Corporation Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
US7737975B2 (en) 2007-08-07 2010-06-15 Panasonic Corporation Normal vector information generating device and normal vector information generating method
WO2010074719A1 (en) * 2008-12-22 2010-07-01 Eastman Kodak Company Camera with rotating polarizing filter
US7792367B2 (en) 2007-02-13 2010-09-07 Panasonic Corporation System, method and apparatus for image processing and image format

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688244B (zh) * 2017-10-10 2020-01-31 联想(北京)有限公司 一种成像系统以及成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651921A (ja) * 1992-01-14 1994-02-25 Mitsubishi Electric Corp 赤外線撮像装置
JPH06187443A (ja) * 1992-09-14 1994-07-08 Nippon Telegr & Teleph Corp <Ntt> 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置
JPH11175702A (ja) * 1997-12-15 1999-07-02 Toyota Motor Corp 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651921A (ja) * 1992-01-14 1994-02-25 Mitsubishi Electric Corp 赤外線撮像装置
JPH06187443A (ja) * 1992-09-14 1994-07-08 Nippon Telegr & Teleph Corp <Ntt> 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置
JPH11175702A (ja) * 1997-12-15 1999-07-02 Toyota Motor Corp 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203362B2 (en) 2004-07-26 2007-04-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and image processing program
US7236630B2 (en) 2004-07-26 2007-06-26 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and image processing program
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
US7626585B2 (en) 2005-09-01 2009-12-01 Panasonic Corporation Image processing method, image processor, and image processing program
US7893971B2 (en) 2006-05-29 2011-02-22 Panasonic Corporation Light source estimation device that captures light source images when it is determined that the imaging device is not being used by the cameraman
US7688363B2 (en) 2006-05-29 2010-03-30 Panasonic Corporation Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
US7948622B2 (en) 2007-02-13 2011-05-24 Panasonic Corporation System, method and apparatus for image processing and image format
US7792367B2 (en) 2007-02-13 2010-09-07 Panasonic Corporation System, method and apparatus for image processing and image format
US7737975B2 (en) 2007-08-07 2010-06-15 Panasonic Corporation Normal vector information generating device and normal vector information generating method
US7936944B2 (en) 2007-08-07 2011-05-03 Panasonic Corporation Image processing device and image processing method
WO2009019887A1 (ja) * 2007-08-07 2009-02-12 Panasonic Corporation 画像処理装置および画像処理方法
JP4435865B2 (ja) * 2008-06-26 2010-03-24 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
JPWO2009157129A1 (ja) * 2008-06-26 2011-12-08 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
US8184194B2 (en) 2008-06-26 2012-05-22 Panasonic Corporation Image processing apparatus, image division program and image synthesising method
CN102017601B (zh) * 2008-06-26 2013-03-13 松下电器产业株式会社 图像处理装置及图像合成方法
WO2010074719A1 (en) * 2008-12-22 2010-07-01 Eastman Kodak Company Camera with rotating polarizing filter
US8508646B2 (en) 2008-12-22 2013-08-13 Apple Inc. Camera with internal polarizing filter

Also Published As

Publication number Publication date
JP3459981B2 (ja) 2003-10-27

Similar Documents

Publication Publication Date Title
US20220327334A1 (en) System and method for end-to-end-differentiable joint image refinement and perception
US7995072B2 (en) Texture replacement in video sequences and images
EP2202688B1 (en) System, method and apparatus for image processing and image format
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
CN113191953B (zh) 一种基于Transformer的人脸图像超分辨的方法
JP2002024818A (ja) 拡散および鏡面反射成分の分離方法
WO2005067572A2 (en) Method, system, storage medium, and data structure for image recognition using multilinear independent component analysis
US20220101497A1 (en) Video Super Resolution Method
US20070103482A1 (en) Image processing device, image processing method, program for the same, and computer readable recording medium recorded with program
US20130120438A1 (en) Methods and Apparatuses for Generating Co-Salient Thumbnails for Digital Images
Gibson et al. Example based depth from fog
CN104796624A (zh) 一种光场编辑传播方法
CN113870283A (zh) 人像抠图方法、装置、计算机设备及可读存储介质
EP2135448B1 (en) Methods and apparatuses for upscaling video
JP3537616B2 (ja) ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法
JP4652698B2 (ja) 画像認識装置、画像認識方法及びプログラム
Jiji et al. PCA Based Generalized Interpolation for Image Super-Resolution.
US20040032511A1 (en) Processing method for obtaining a high resolution digital image
CN111046745A (zh) 基于软块对角的多视聚类方法
CN113408635B (zh) 基于数字表面模型辅助的高光谱图像本征分解方法
Matveev et al. 3D surface reconstruction in automatic recognition system
WO2023010981A1 (zh) 编解码方法及装置
CN111968059A (zh) 一种多补丁匹配的金相图修复方法及装置
JP2001134755A (ja) 画像処理装置及び画像処理方法
Modaresi Meta-decomposition and evaluation processes in machine learning applications

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3459981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term