JP2008530628A - 画像における主光源の方向を求めるための方法 - Google Patents
画像における主光源の方向を求めるための方法 Download PDFInfo
- Publication number
- JP2008530628A JP2008530628A JP2006549741A JP2006549741A JP2008530628A JP 2008530628 A JP2008530628 A JP 2008530628A JP 2006549741 A JP2006549741 A JP 2006549741A JP 2006549741 A JP2006549741 A JP 2006549741A JP 2008530628 A JP2008530628 A JP 2008530628A
- Authority
- JP
- Japan
- Prior art keywords
- albedo
- matrix
- intensity
- illumination
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Collating Specific Patterns (AREA)
Abstract
【解決手段】未知の方向から主光源によって照明される対象物の入力画像Iが取得される。入力画像はピクセルの配列を含み、各ピクセルは強度I(x,y)を有する。入力画像の強度から強度ベクトルI(→)が構成される。対象物のアルベドマップρが定義される。アルベドマップからアルベドベクトルρ(→)が構成される。対象物の形状行列Nが生成される。アルベドベクトルρ(→)に形状行列Nが乗算され、それによって、形状アルベド行列Aが得られる。次に、強度ベクトルI(→)、反応能ベクトルρ(→)、および形状アルベド行列Aから、最適化の数式に従って主光源への方向s*が推定される。
Description
図1に示すように、本発明は、一般3D形状モデル101およびランバートモデルまたは拡散反射照明モデル102を使用して、たとえば、顔といった対象物の画像を測光法で正規化する。照明モデル102の拡散反射率は、一定の双方向反射率分布関数(BRDF)を有する。これらのモデルは、対象物の識別に使用される。本発明を説明するのに使用される用途の例は、顔識別および/または顔検証である。その点で、問題は、未知の顔画像を既知の顔画像のデータベースにおける画像と照合することである。
具体的には、図2に示すように、本発明では、入力画像I(x,y)201のすべての非ゼロの値を「スタック」することによってピクセル強度の列強度ベクトルI(→)211を構成する(210)。なお、(→)は、かっこの前の記号の上部に→が付されていることを意味している。対象物が、主光源103によってのみ照明されると仮定する場合、すなわち、周囲光がないと仮定する場合、ゼロ強度ピクセルは、おそらく影に存在する。したがって、これらのピクセルは、レイキャスティングが光源の位置を突き止めるのに使用されない限り、主光源への方向を示すことができない。実際の用途では、ある量の周囲光が常に存在する。したがって、本発明では、ピクセルを選択するための所定の非ゼロのしきい値または所定のマスクを使用して、強度ベクトルI(→)にスタックすることができる。
図3に示すように、入力画像201における指向性照明の推定s*251が与えられると、本発明では、顔のアルベド311または拡散皮膚テキスチャを推定すること(310)によって、照明を近似的に「取り消す」ことができ、次いで、一般形状モデル101と組み合わせて、たとえば、正面照明または純粋な拡散照明といった所望のどの照明の下でも、この特定のアルベドを再照明すること(320)ができる。
また、パラメータcによって表されるような任意の周囲照明をモデル化することも可能である。代表的な一組のN個のトレーニング画像を使用することによって、本発明では、下式(6)の最適性基準を使用して周囲照明の成分を数値的に推定することができる。
本発明は、測光法で較正されていない顔等の対象物の入力画像における主光源の方向を推定するための簡単でかつ実用的な方法を提供する。対象物の正確な形状およびアルベド(表面テクスチャ)は未知であるが、対象物のクラスの一般的な形状およびアルベドは既知である。さらに、この方法は、照明不変テンプレート照合および対象物識別のために、入力画像を測光法で正規化する。必要な計算は、入力画像の各ピクセルについて5つのドット積よりも少なくてすむ。
Claims (18)
- 画像における主光源の方向を求めるための方法であって、
未知の方向sから主光源によって照明される対象物であり、ピクセルの配列を含み、各ピクセルが強度I(x,y)を有する入力画像Iを、カメラを用いて取得することと、
前記入力画像の前記強度から強度ベクトルI(→)を構成することと、
前記対象物のアルベドマップρを定義することと、
前記アルベドマップからアルベドベクトルρ(→)を構成することと、
前記対象物の形状行列Nを生成することと、
形状アルベド行列Aを得るために、前記アルベドベクトルρ(→)に前記形状行列Nを乗算することと、
前記強度ベクトルI(→)、前記反応能ベクトルρ(→)、および前記形状アルベド行列Aから、前記主光源への推定された方向s*を、最適化
を含む画像における主光源の方向を求めるための方法。 - 前記対象物は、前記形状行列Nによって表されるような一般形状モデルにより表される対象物のクラスに属する請求項1に記載の方法。
- 前記対象物は、顔である請求項1に記載の方法。
- 未知の周囲照明によって前記対象物を照明することをさらに含む請求項1に記載の方法。
- 前記強度ベクトルを構成するために、前記入力画像Iにおける非ゼロの強度をスタックすることをさらに含む請求項1に記載の方法。
- 所定のしきい値に従って前記非ゼロの強度を選択することをさらに含む請求項6に記載の方法。
- 所定の基準に従って前記非ゼロの強度を選択することをさらに含む請求項6に記載の方法。
- マスクに従って前記非ゼロの強度を選択することをさらに含む請求項6に記載の方法。
- 対応するベクトル化されたアルベドマップから前記アルベドベクトルρ(→)を構成することをさらに含む請求項1に記載の方法。
- 拡散テキスチャから前記アルベドベクトルρ(→)を構成することをさらに含む請求項1に記載の方法。
- 前記一般形状モデルの面法線をスタックすることによって、前記形状行列を生成することをさらに含む請求項3に記載の方法。
- 特定のピクセルの前記強度が0である場合に、該特定のピクセルに平均アルベドを割り当てることをさらに含む請求項12に記載の方法。
- 行列P=A(ATA)−1を定義することと、
前記行列Pの等価な直交基底を推定し、QR因子分解P=QRを適用することと
をさらに含み、
前記ユニタリ行列Qは、前記行列Pのような部分空間にわたる3つの正規直交列を有し、R−1は、誤差共分散の行列平方根であるので、3×3の上三角行列Rは、前記推定の品質を定義する請求項2に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/057,828 US7324688B2 (en) | 2005-02-14 | 2005-02-14 | Face relighting for normalization of directional lighting |
US11/057,828 | 2005-02-14 | ||
PCT/JP2006/302398 WO2006085629A2 (en) | 2005-02-14 | 2006-02-06 | Method for determining direction of principal light source in image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008530628A true JP2008530628A (ja) | 2008-08-07 |
JP4718491B2 JP4718491B2 (ja) | 2011-07-06 |
Family
ID=36649046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006549741A Expired - Fee Related JP4718491B2 (ja) | 2005-02-14 | 2006-02-06 | 画像における主光源の方向を求めるための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7324688B2 (ja) |
EP (1) | EP1776656B1 (ja) |
JP (1) | JP4718491B2 (ja) |
CN (1) | CN100555309C (ja) |
DE (1) | DE602006006888D1 (ja) |
WO (1) | WO2006085629A2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5136965B2 (ja) * | 2008-09-03 | 2013-02-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR101375186B1 (ko) | 2009-07-14 | 2014-04-01 | 삼성테크윈 주식회사 | 감시 카메라 교란 검출 방법 |
JP2019508717A (ja) * | 2016-03-03 | 2019-03-28 | フォーディ インテレクチュアル プロパティーズ エルエルシー4D Intellectual Properties,Llc | 画像取得および解析用の能動パルス式4dカメラのための方法および装置 |
JP2019219928A (ja) * | 2018-06-20 | 2019-12-26 | 国立大学法人 筑波大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2022036319A (ja) * | 2020-09-27 | 2022-03-07 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像のレンダリング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7227977B1 (en) * | 2003-01-10 | 2007-06-05 | L-I Identity Solutions, Inc. | Lighting correction for the outdoor environment with extension to the self adjusting algorithm for general lighting conditions |
US20110102553A1 (en) * | 2007-02-28 | 2011-05-05 | Tessera Technologies Ireland Limited | Enhanced real-time face models from stereo imaging |
WO2008085815A1 (en) * | 2007-01-05 | 2008-07-17 | Objectvideo, Inc. | Video-based sensing for lighting controls |
DE602008001607D1 (de) | 2007-02-28 | 2010-08-05 | Fotonation Vision Ltd | Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen |
US8009880B2 (en) * | 2007-05-11 | 2011-08-30 | Microsoft Corporation | Recovering parameters from a sub-optimal image |
US20090172756A1 (en) * | 2007-12-31 | 2009-07-02 | Motorola, Inc. | Lighting analysis and recommender system for video telephony |
US8463072B2 (en) * | 2008-08-29 | 2013-06-11 | Adobe Systems Incorporated | Determining characteristics of multiple light sources in a digital image |
US8194072B2 (en) * | 2010-03-26 | 2012-06-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for synthetically relighting images of objects |
CN101872491B (zh) * | 2010-05-21 | 2011-12-28 | 清华大学 | 基于光度立体的自由视角重光照方法和系统 |
CN101917637B (zh) * | 2010-06-24 | 2012-10-10 | 清华大学 | 基于自由视角光照传输矩阵的重光照方法及系统 |
US9224233B2 (en) * | 2012-05-24 | 2015-12-29 | Google Inc. | Blending 3D model textures by image projection |
JP6360200B2 (ja) | 2014-05-13 | 2018-07-18 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
CN104331919B (zh) * | 2014-11-02 | 2017-04-19 | 北京理工大学 | 光动力治疗中投光方向的优化方法 |
CN104639843B (zh) * | 2014-12-31 | 2017-12-05 | 小米科技有限责任公司 | 图像处理方法及装置 |
CN106407977B (zh) * | 2016-09-05 | 2020-01-03 | 广东小天才科技有限公司 | 目标内容的定位搜索的方法和装置 |
US10491808B1 (en) * | 2017-06-27 | 2019-11-26 | Amazon Technologies, Inc. | Detecting sunlight in images |
RU2697627C1 (ru) | 2018-08-01 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ |
WO2020056693A1 (zh) * | 2018-09-20 | 2020-03-26 | 太平洋未来科技(深圳)有限公司 | 一种图片合成方法、装置及电子设备 |
US11361511B2 (en) * | 2019-01-24 | 2022-06-14 | Htc Corporation | Method, mixed reality system and recording medium for detecting real-world light source in mixed reality |
US11532400B2 (en) | 2019-12-06 | 2022-12-20 | X Development Llc | Hyperspectral scanning to determine skin health |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
US7319467B2 (en) * | 2005-03-29 | 2008-01-15 | Mitsubishi Electric Research Laboratories, Inc. | Skin reflectance model for representing and rendering faces |
US7609859B2 (en) * | 2005-06-14 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for generating bi-linear models for faces |
RU2367577C1 (ru) * | 2005-08-12 | 2009-09-20 | Рик Б. ЙЕГЕР | Система и способ для нанесения изменяющего отражательную способность вещества в целях улучшения визуальной привлекательности человеческой кожи |
EP2293222A1 (en) * | 2006-01-23 | 2011-03-09 | Digimarc Corporation | Methods, systems, and subcombinations useful with physical articles |
-
2005
- 2005-02-14 US US11/057,828 patent/US7324688B2/en not_active Expired - Fee Related
-
2006
- 2006-02-06 JP JP2006549741A patent/JP4718491B2/ja not_active Expired - Fee Related
- 2006-02-06 DE DE602006006888T patent/DE602006006888D1/de active Active
- 2006-02-06 WO PCT/JP2006/302398 patent/WO2006085629A2/en active Application Filing
- 2006-02-06 EP EP06713540A patent/EP1776656B1/en not_active Expired - Fee Related
- 2006-02-06 CN CNB2006800006035A patent/CN100555309C/zh not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
JPN6010067408, Shaohua Zhou, "Rank constrained recognition under unknown illuminations", Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures, 20031017, p.11−18, US, IEEE Computer Society * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5136965B2 (ja) * | 2008-09-03 | 2013-02-06 | 日本電気株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR101375186B1 (ko) | 2009-07-14 | 2014-04-01 | 삼성테크윈 주식회사 | 감시 카메라 교란 검출 방법 |
JP2019508717A (ja) * | 2016-03-03 | 2019-03-28 | フォーディ インテレクチュアル プロパティーズ エルエルシー4D Intellectual Properties,Llc | 画像取得および解析用の能動パルス式4dカメラのための方法および装置 |
JP2019219928A (ja) * | 2018-06-20 | 2019-12-26 | 国立大学法人 筑波大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP7084616B2 (ja) | 2018-06-20 | 2022-06-15 | 国立大学法人 筑波大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2022036319A (ja) * | 2020-09-27 | 2022-03-07 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像のレンダリング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム |
US11636646B2 (en) | 2020-09-27 | 2023-04-25 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for rendering image |
JP7293277B2 (ja) | 2020-09-27 | 2023-06-19 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像のレンダリング方法、装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE602006006888D1 (de) | 2009-07-02 |
EP1776656B1 (en) | 2009-05-20 |
US20060182367A1 (en) | 2006-08-17 |
EP1776656A2 (en) | 2007-04-25 |
WO2006085629A2 (en) | 2006-08-17 |
WO2006085629A3 (en) | 2006-10-19 |
CN100555309C (zh) | 2009-10-28 |
US7324688B2 (en) | 2008-01-29 |
CN101006451A (zh) | 2007-07-25 |
JP4718491B2 (ja) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4718491B2 (ja) | 画像における主光源の方向を求めるための方法 | |
Chen et al. | Deep photometric stereo for non-lambertian surfaces | |
Peng et al. | Optimized 3D lighting environment estimation for image forgery detection | |
US8090160B2 (en) | Automated method for human face modeling and relighting with application to face recognition | |
Sheikh et al. | Exploring the space of a human action | |
Kakadiaris et al. | 3D-2D face recognition with pose and illumination normalization | |
US7932913B2 (en) | Method and apparatus for collating object | |
Knorr et al. | Real-time illumination estimation from faces for coherent rendering | |
WO2010026983A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20070080967A1 (en) | Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects | |
Han et al. | 3D face texture modeling from uncalibrated frontal and profile images | |
Malassiotis et al. | Robust face recognition using 2D and 3D data: Pose and illumination compensation | |
Zhao et al. | Minimizing illumination differences for 3D to 2D face recognition using lighting maps | |
Kumar et al. | Non-Lambertian reflectance modeling and shape recovery of faces using tensor splines | |
Lee et al. | A practical face relighting method for directional lighting normalization | |
Nishino et al. | Using eye reflections for face recognition under varying illumination | |
Ono et al. | Practical BRDF reconstruction using reliable geometric regions from multi-view stereo | |
Singh et al. | Face liveness detection through face structure analysis | |
Fanfani et al. | FISH: Face intensity-shape histogram representation for automatic face splicing detection | |
Ibikunle et al. | Face recognition using line edge mapping approach | |
Kakadiaris et al. | Face recognition using 3D images | |
Gruna et al. | Feature-specific illumination patterns for automated visual inspection | |
Mazumdar et al. | Estimation of lighting environment for exposing image splicing forgeries | |
Shim | Probabilistic approach to realistic face synthesis with a single uncalibrated image | |
Riess | Physical Integrity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110331 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |