JP2023500739A - イメージングにおける照明補償 - Google Patents

イメージングにおける照明補償 Download PDF

Info

Publication number
JP2023500739A
JP2023500739A JP2022537389A JP2022537389A JP2023500739A JP 2023500739 A JP2023500739 A JP 2023500739A JP 2022537389 A JP2022537389 A JP 2022537389A JP 2022537389 A JP2022537389 A JP 2022537389A JP 2023500739 A JP2023500739 A JP 2023500739A
Authority
JP
Japan
Prior art keywords
body surface
illumination
information
lighting
imaging data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022537389A
Other languages
English (en)
Other versions
JP7209132B2 (ja
Inventor
ジョナサン アランブラ パレロ
シュテフィー ペトロネラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2023500739A publication Critical patent/JP2023500739A/ja
Application granted granted Critical
Publication of JP7209132B2 publication Critical patent/JP7209132B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

一実施形態において、方法100が説明される。本方法は、体表面の3次元表現を取得するステップ(102)を含む。本方法はさらに、基準軸に対する体表面の向きを示す3次元表現の照明情報を取得するステップを含む。本方法はさらに、照明補償情報を決定するステップ(104)を含む。照明補償情報を使用して、体表面の画像内の照明情報から明らかな照明変動が補償される(106)。

Description

本発明は、例えば特定の照明設定におけるイメージングで使用するための方法、装置、及び有形機械可読媒体に関する。
目立たない測定及びモニタリングの分野における関心のあるトピックは、パーソナルケア及びヘルスアプリケーション用のスキンセンシングに関する。皮膚の定量化や、検出するには小さすぎたり、気付くには微かすぎたり、追跡するには遅すぎたりする情報をユーザに提供し得る皮膚の特徴のモニタリングを可能にするスキンセンシングシステムが開発されている。スキンセンシングシステムは、ユーザが許容できる結果を出すには、スキンセンシングを実行する際に、感度及び特異性を提供する必要がある。このようなスキンセンシングシステムによる測定値が、堅牢で信頼性の高いものであることが証明されるならば、ユーザはスキンセンシングシステムを信頼できるようになる。
例えば、米国特許出願第2011/182520A1号から、被検者の画像から被検者を照明する光源の位置を得ることが知られている。これに基づいて、被検体の向きが決定される。
イメージングベースのスキンセンシングシステムは、周囲照明などの制御が困難なパラメータによって影響を受ける可能性のある情報を決定する必要がある。例えば、ユーザの自宅などの特定の非制御環境は、未定義の周囲照明及び/又は変動する可能性のある周囲照明を特徴とする。このような非制御環境では、ユーザの皮膚の誤った測定につながる可能性があり、これは、ユーザが許容できない又は信頼できない結果を招く可能性がある。そのため、このような結果に基づくパーソナルケア又は医療治療レジームはどれも損なわれる可能性がある。
皮膚以外の表面から情報を取得するための他のイメージングベースのセンシングシステムの性能も、特定の非制御環境によって悪影響を受ける場合がある。例えば、非制御環境で特定のアプリケーションのための物体の画像を取得することを望むユーザは、画像に許容できない照明変動があることがわかる場合がある。これは、画像がどのように認識される又は後で処理されるかに影響を与える可能性がある。
したがって、特定の照明設定でのイメージングを向上させることを目的とする。
本明細書に説明される態様又は実施形態は、特定の照明設定でのイメージングの向上に関する。本明細書に説明される態様又は実施形態は、非制御環境でのイメージングに関連する1つ以上の問題を取り除くことができる。
第1の態様では方法が説明される。本方法はコンピュータ実施の方法である。本方法は、体表面の3次元表現を取得することを含む。本方法はさらに、3次元表現の照明情報を取得することを含む。照明情報は基準軸に対する体表面の向きを示す。本方法はさらに、照明情報から明らかな照明の変動を補償するために、照明補償情報を決定することを含む。本方法はさらに、体表面の3次元再構成の解析に基づいて体表面の向きを決定することを含む。本方法はさらに、照明補償情報を使用して、体表面の画像内の照明の変動を補償することを含む。
3次元再構成は、体表面のイメージングデータから得られる。
いくつかの実施形態では、照明補償情報を決定することは、体表面の複数の空間的位置を表す正規化マップを決定することを含む。各空間的位置は、画像内の照明変動を補正するために、画像の対応する空間的位置に適用するための照明補償係数に関連付けられていてもよい。
いくつかの実施形態では、照明情報は、体表面の複数の空間的位置を表す3次元照明マップを含む。照明マップの各空間的位置は、照明源の特性、及び空間的位置に関する照明源の相対的位置のうちの少なくとも1つを示す照明パラメータに関連付けられていてもよい。
いくつかの実施形態では、本方法は、体表面のイメージングデータを取得することによって、照明情報を決定することを含む。本方法はさらに、取得されたイメージングデータの解析に基づいて、体表面の空間的位置の照明パラメータを推定することを含んでもよい。解析では、体表面の向きが考慮される場合がある。
いくつかの実施形態では、照明源の特性は、照明源の輝度及び照明源の発散のうちの少なくとも1つを含む。
いくつかの実施形態では、照明補償情報を決定することは、体表面のイメージングデータを取得すること含む。本方法はさらに、取得されたイメージングデータに基づいて照明情報を決定することを含む。本方法はさらに、照明情報から明らかな任意の照明変動を特定して、照明補償情報を決定することを含む。
いくつかの実施形態では、イメージングデータから照明情報を決定することは、イメージングデータと以前に取得されたイメージングデータとを比較して、イメージングデータが以前の時間枠で取得されているかどうかを決定することを含む。イメージングデータが以前に取得されていない場合、本方法は、イメージングデータから照明情報を生成することを含む。本方法はさらに、イメージングデータに関連付けられている照明情報をメモリに保存することを含む。イメージングデータが以前に取得されている場合、本方法は、イメージングデータに関連付けられている照明情報をメモリから取得することを含む。
いくつかの実施形態では、体表面の3次元表現を取得することは、体表面のイメージングデータを取得することを含む。本方法はさらに、取得されたイメージングデータに基づいて3次元表現を決定することを含む。
いくつかの実施形態では、イメージングデータから3次元表現を決定することは、任意の以前に特定された体表面のデータベースを保存しているメモリをチェックすることによって、体表面は認識可能であるかどうかを決定することを含む。体表面が認識されない場合、本方法は、イメージングデータから3次元表現を決定することを含む。本方法はさらに、体表面に関連付けられている3次元表現をメモリに保存することを含む。体表面が認識される場合、本方法は、認識された体表面に関連付けられている3次元表現をメモリから取得することを含む。
いくつかの実施形態では、体表面は被検者の顔面を含む。3次元表現は顔面の3次元再構成を含む。
いくつかの実施形態では、照明補償情報を使用して、体表面の画像内の照明変動を補償することは、体表面の画像を取得することを含む。本方法はさらに、照明補償情報を使用して、画像内の照明変動を補償することを含む。
第2の態様では装置が説明される。装置は処理回路を含む。処理回路は、取得モジュールを含む。取得モジュールは、体表面の3次元表現を取得する。取得モジュールはさらに、3次元表現の照明情報を取得する。照明情報は基準軸に対する体表面の向きを示す。処理回路はさらに、決定モジュールを含む。決定モジュールは、照明情報から明らかな照明変動を補償するために、照明補償情報を決定する。処理回路はさらに、補正モジュールを含む。補正モジュールは、照明補償情報を使用して、体表面の画像内の照明変動を補償する。
いくつかの実施形態では、装置はさらに、イメージングモジュールを含む。イメージングモジュールは、イメージングデバイスに体表面の画像を収集させる。
第3の態様では有形機械可読媒体が説明される。有形機械可読媒体は命令を保存しており、該命令は、少なくとも1つのプロセッサによって実行されると、該少なくとも1つのプロセッサに、体表面の3次元表現を取得させる。命令はさらに、少なくとも1つのプロセッサに、3次元表現の照明情報を取得させる。照明情報は基準軸に対する体表面の向きを示す。命令はさらに、少なくとも1つのプロセッサに、照明情報から明らかな照明変動を補償するために、照明補償情報を決定させる。命令はさらに、少なくとも1つのプロセッサに、照明補償情報を使用して、体表面の画像内の照明変動を補償させる。
本発明のこれらの及び他の態様は、以下に説明される実施形態から明らかになり、また、当該実施形態を参照して説明される。
本発明の例示的な実施形態を、実施形態としてのみ、次の図面を参照して以下に説明する。
図1は、一実施形態による特定の照明設定でのイメージングを向上させる方法を示す。 図2は、一実施形態による特定の照明設定でのイメージングを向上させるためのシステムの概略図である。 図3は、一実施形態による特定の照明設定でのイメージングを向上させる方法を示す。 図4は、一実施形態による特定の照明設定でのイメージングを向上させるための装置の概略図である。 図5は、一実施形態による特定の照明設定でのイメージングを向上させるための装置の概略図である。 図6は、一実施形態による特定の照明設定でのイメージングを向上させるための機械可読媒体の概略図である。
図1は、特定の照明設定でのイメージングを向上させる方法100(例えばコンピュータ実施の方法)を示している。例えば、イメージングは、照明が未定義である及び/又は変動する可能性がある非制御環境においてなど、特定の照明設定によって影響を受けることがある。以下により詳細に説明するように、方法100は、被検者の自宅などの非制御環境での未定義の及び/又は変動する可能性のある照明を補正する。
方法100は、ブロック102において、体表面の3次元表現を取得することを含む。
体表面の3次元表現は、体表面の3次元マップ又は表面プロファイルを指している。例えば、3次元表現は、人体の一部(例えば顔面、胴、又は手足)又は任意の他の本体(例えば製品又は他の物体などの無生物の本体を含む)などの本体の表面について生成される。3次元表現は、本体の表面上の位置に対応する頂点のマップ(例えば位置座標)を含む。いくつかの例では、3次元表現は、多角形メッシュを表す。これは、頂点のセット、隣接する頂点を接続するエッジ、エッジの閉じたセットによって定義される面(例えば三角形、四角形(quad face)、又は他の多角形)のうちの少なくとも1つによって定義される。
3次元表現は、体表面の特定の特徴を指すデータセットを含む。例えば、特定のデータセット要素は、体表面を定義する頂点及び/又は3次元表現の定義に使用できる任意の情報を示す。したがって、3次元表現は、体表面の3次元複製を説明又は生成するために使用できる任意の情報を指している。
方法100のブロック102はさらに、3次元表現の照明情報を取得することを含む。照明情報は基準軸に対する体表面の向きを示す。
3次元表現の照明情報は、体表面上の照明の分布を指している。この照明の分布は、基準軸に対する体表面の向きを示す。いくつかの例では、体表面は、体表面上の照明の分布が、照明源と体表面との関係に関する情報を提供する特定の照明設定にある。例えば、体表面の特定部分での照明の見かけの強度が、体表面の別の部分での照明の見かけの強度よりも大きい場合、これは、体表面の特定の部分が照明源に向いているか、及び/又は体表面の他の部分よりも照明源に近いことを示す。つまり、体表面上の照明の分布を解析することによって、基準軸に対する体表面の向きを決定又は推定することができる。
基準軸は、体表面が回転する軸を指しており、これにより、体表面の向きが定義される。少なくとも1つの軸の周りの回転によって体表面の向きを変化させるように、2つ以上の基準軸が定義されてもよい。基準軸は、3次元表現との関連で定義される。例えば、体表面の3次元表現が決定され、1つ以上の基準軸が3次元表現に関連して定義される。
方法100はさらに、ブロック104において、照明情報から明らかな照明変動を補償するために、照明補償情報を決定することを含む。
3次元表現の照明情報から明らかな照明変動は、体表面の照明が未定義であるか及び/又は変動する(例えば空間的に変動する及び/又は時間に応じて変動する)可能性があることを示している。例えば、体表面は、未定義の及び/又は変動する可能性のある照明の結果、不均一の照明分布を有する。照明補償情報は、特定の照明設定について収集されたイメージングデータから決定された照明の分布を補償する。
照明補償情報は、体表面上の空間的位置に関連付けられた照明補償係数を含む。体表面上の空間的位置の各々は、体表面のイメージングデータから測定できる強度及び/又はスペクトル成分(例えば赤、緑、及び青の強度レベル)などの特定の照明パラメータに関連付けられる。場合によっては、均一に分布する照明は、空間的位置の各々で同じ照明パラメータ値をもたらす。しかしながら、不均一に分布する照明は、体表面上の様々な空間的位置で様々な照明パラメータ値をもたらす。
照明補償係数は、特定の照明設定にある体表面に対して決定される特定の照明の分布に従って決定される。したがって、特定の空間的位置の照明補償係数を、その空間的位置の決定された照明パラメータ値に適用して、照明変動を補償できる。
いくつかの例では、照明補償情報は、体表面全体の照明変動を正規化する。例えば、体表面上の特定の空間的位置が、別の空間的位置よりも10%高い強度で照明されていると決定される場合、その特定の空間的位置及び別の空間的位置の一方又は両方の照明補償係数を計算して、照明変動を補償できる。この場合、特定の空間的位置の照明補償係数は、その特定の位置で検出された強度が(例えばその特定の位置での10%高い強度を補償するために)1.1倍に減少することを示していてもよい。しかし、照明変動を正規化するやり方は他にもある。
方法100はさらに、ブロック106において、照明補償情報を使用して、体表面の画像内の照明変動を補償することを含む。
特定の照明設定の照明補償情報が決定されると、体表面全体の照明分布が特定の基準を満たすように、体表面の画像内の照明変動が補償される。このような基準は、例えば、体表面上の各位置が均一に照明されているように見えるような照明分布の均一性を含む。
基準は、関係するアプリケーションで許容可能と見なされる照明パラメータ値(例えば強度レベル、スペクトル成分など)の範囲を定義してもよい。例えば、特定のアプリケーションが、画像から照明パラメータ値を決定し、そのアプリケーションが、照明変動はないと仮定して、照明パラメータ値に基づいて決定を行う。
つまり、アプリケーションは、照明設定が意図した目的に適していると誤って想定することがある。画像の照明パラメータ値が許容可能範囲内にない場合、意思決定において照明変動が考慮されないため、結果として生じる意思決定が損なわれる可能性がある。
したがって、方法100では、対処されなければ画像を使用するアプリケーションに誤った判断をさせてしまうことになる照明変動が補償されるため、特定の照明設定でのイメージングが向上される。したがって、方法100によって提供される画像を使用して、特定の照明設定において見られるような未定義の照明及び/又は変動する可能性のある照明の影響を受ける可能性のある任意のアプリケーションにおける意思決定を向上させることができる。このようなアプリケーションの例について、以下でより詳細に説明する。
さらに、前述のように、照明情報は体表面の向きを示す。特定のアプリケーションでは、体表面の向きは、体表面の移動に伴って、体表面の照明も変化するなど、時間の経過とともに移動することがある。
方法100は、体表面の移動に合わせて照明補償情報が更新されるように、体表面の移動に順応することができる。したがって、いくつかの例では、イメージングデータは繰り返し収集される(その頻度は、この移動の速度によって異なる)。イメージングデータによって体表面が移動したことが示される場合、照明情報が変化し、したがって照明補償情報が更新される。一方、体表面の大幅な移動がない場合は、照明情報は大幅に変更されない。この場合、照明補償情報は更新される必要はない。
したがって、向き及び/又は照明の変化が検出され、それに応じて照明補償情報が更新されるように、方法100の少なくとも1つのブロックは繰り返し実施される。体表面の移動に順応するこの機能は、イメージングデータの収集中に体表面が基準軸に対して移動するシナリオにおいて有用である。したがって、方法100は、体表面の時間的な追跡を容易にする一方で、照明変動を補償できる。この機能が使用される他の例については、以下でより詳細に説明する。
前述のように、体表面の3次元表現が取得される。この3次元表現は体表面の照明情報を決定するのに役立つ。
体表面の輪郭及び他の特徴は、照明設定によって特定のやり方で照明される。例えば、輪郭又は特徴の片側が、輪郭又は特徴の別の側よりも強い強度で照明される場合がある。この照明の分布は、イメージングデータ(2次元の照明マップを定義する)から明らかになる。これは、照明情報の決定に使用される。
3次元表現からの情報をこのイメージングデータと組み合わせて、(例えば3次元照明マップを定義するために)照明情報が決定される。例えば、輪郭又は特徴に関する情報を活用して、体表面と照明源との相対的な位置決めを決定するのに役立つ。
したがって、3次元表現を使用して、照明情報を決定する際の信頼性及び/又は精度を向上させることができる。つまり、2次元照明マップだけでは明らかにならない3次元表示によって提供される知識を活用することによって、照明設定に関する追加情報が決定できる。
図2は、本明細書に説明される特定の方法を実施するためのシステム200の概略図である。例えば、システム200は上記の方法100を実施する。したがって、システム200の次の説明では、方法100を参照する。
この実施形態のシステム200は、体表面の一例である被検者の顔面202の画像を収集する。この実施形態では、方法100で参照された体表面は被検者の顔面を含み、3次元表現は顔面202の3次元再構成を含む。
照明源204(例えば電球、発光ダイオード(LED)、太陽光などの自然光源、及び/又は他の照明源)は、顔面202に照明を提供する。
照明源204と顔面202との相対的な位置決めは、顔面202上の照明の分布に影響を及ぼす。例えば、照明源204は、顔面202の上方にあるものとして示されている。したがって、額はあごよりも照明源204に近いため、額があごよりも強い強度で照明されているように見える。同様に、顔面202の特定の部分は、顔面202の輪郭又は特徴により、より強い強度で照明されているように見える。例えば、顔面202の鼻の上部と前部は照明源204に向いている一方で、鼻の下部は照明源204から外方に向いている。これは、鼻の上部と前部が、鼻の下部よりも強い強度で照明されることを意味する。
したがって、顔面202上の照明の分布は、様々な要因によって不均一になる。いくつかの例では、顔面202と照明源204との関係が、顔面202上の照明の分布に影響を及ぼす。この関係は、例えば、照明源204に対する顔面202の距離及び/又は位置決め(顔面202の向きも指す)を指している。
前述のように、顔面202の移動は、顔面202上の照明の分布に影響を及ぼす。いくつかの例では、照明源204の特性が、顔面202上の照明の分布に追加的に又は代わりに影響を及ぼすことがある。照明源204の特性は、例えば、照明源によって提供される空間照明プロファイル(例えば発散及び/又は均一性)、その輝度、スペクトル成分、及び/又は顔面202上の照明の分布に影響を及ぼす可能性がある照明源の他の特性を指している。
システム200は、顔面202の画像(例えば「イメージングデータ」)を収集するためのイメージングデバイス206(例えばカメラ)と、画像を処理するための処理装置208とを含む。イメージングデバイス206と処理装置208は、相互に通信的に結合され、その間でイメージングデータ及び/又は画像収集命令を転送する。イメージングデバイス206及び処理装置208は、同じデバイス(例えば電話、タブレット、ミラー、又は画像収集及び処理機能を備えた他のデバイスといったスマートデバイス)の一部として提供されても、別々に提供されてもよい(例えばイメージングデバイス206は、通信ネットワークを介してサーバなどの別の処理エンティティと通信的に結合されていてもよい)。処理装置208は、本明細書に説明される特定の方法を実施する。この点に関し、処理装置208の機能について、方法100に関連して以下に説明する。
処理装置208は、顔面202の3次元表現を取得する。3次元表現は、(例えばイメージングデバイス206によって収集された1つ以上の画像を介して及び/又は処理装置208がアクセス可能であるメモリ内に提供されているデータから取得される)顔面202のイメージングデータから取得又は決定される。
このイメージングデータを処理して、3次元表現が決定される。例えば、3次元表現は、2次元イメージングデータから明らかな3次元特徴を再構成するためのモデルに基づいていてもよい。複数の画像を使用して3次元特徴が再構成される。例えば、顔面202に対して異なる角度で撮影された画像は、顔面202の3次元輪郭及び特徴の再構成を可能にする情報を集合的に提供する。
処理装置208はさらに、基準軸に対する顔面202の向きを示す3次元表現の照明情報を取得する。この実施形態では、顔面202の向きは、第1の直交基準軸210aと、第2の直交基準軸210bとによって定義される。第1の基準軸210a周りの回転は、被検者が頭を左右に回転するときの顔面202の移動に対応している。第2の基準軸210b周りの回転は、被検者が頭を上下に上げる/下げるときの顔面202の移動に対応している。
3次元表現の照明情報は、(例えばイメージングデバイス206によって収集された1つ以上の画像を介して及び/又は処理装置208がアクセス可能であるメモリ内に提供されているデータから取得される)顔面202のイメージングデータから取得される。
イメージングデータは、顔面204上の特定の空間的位置において、イメージングデバイス206によって観察される照明パラメータの指示を含む。照明パラメータは、例えば、イメージングデバイス206によって特定の位置で観察される強度値及び/又はスペクトル成分(例えば赤、緑、及び青の強度レベル)を指している。イメージングデバイス206によって観察される照明パラメータは、照明源204の輝度及び/又はスペクトル成分、照明源204と顔面202上の特定の空間的位置との距離、特定の空間的位置での反射及び又は散乱などといった特定の要因によって異なる場合がある。
照明パラメータの指示は、顔面204上の特定の空間的位置に対応するイメージングデータ内のピクセル強度値によって提供されてもよい。例えば、顔面202は、顔面202上の空間的位置が、表面上の他の空間的位置よりも高い強度を有するように観察されるように照明される。前述のように、図2に示す特定の照明設定では、あご及び/又は鼻の下部と比較して、額及び/又は鼻の上部又は前部で強度がより高い。額及び/又は鼻の上部又は前部などの空間的位置に対応するイメージングデータ内のピクセルは、あご及び/又は鼻の下部などの他の空間的位置に対応する他のピクセルよりも高い強度値を有する。したがって、イメージングデータから得られた情報を使用して、顔面202上の空間的位置の照明パラメータが決定又は推定される。
照明パラメータには時間依存性があるため、照明パラメータは時間に応じて変化する(例えば、照明レベルの変更、及び/又は照明源204に対する顔面202の移動などに起因する)。顔面202の一連の画像を使用して、一連の画像を比較することによって、照明パラメータの変動が特定される。
処理装置208は、照明情報から明らかな照明変動を補償するために、照明補償情報を決定する。
図2に示す照明設定に基づいて、照明補償情報は、顔面202の画像を取得するときに、照明補償係数が照明パラメータに適用されて、画像内に明らかな不均一な照明の分布が正規化されるように、顔面202上の様々な空間的位置における照明の分布を考慮する。つまり、照明補償情報は、画像内の照明変動を正規化する。
一実施形態では、照明補償情報を決定することは、体表面(例えば顔面202)の複数の空間的位置を表す正規化マップを決定することを含む。各空間的位置は、画像内の照明変動を補正するために、画像の対応する空間的位置に適用するための照明補償係数に関連付けられている。
処理装置208は、照明補償情報を使用して顔面202の画像内の照明変動を補償する。
したがって、処理装置208は、特定の照明設定の照明変動がないかどうかを決定するために分析できる情報(イメージングデータからの情報及び/又はデータベースに保存されている他の情報からの情報)を使用する。顔面202の画像では、照明補償情報を使用して、このような照明変動が補償(例えば正規化)される。
本明細書に説明される方法及び装置の様々な用途が想定されている。例えば、図2に示すシステム200に基づいて、顔面202に関する情報が画像から決定される。このような情報は、例えば顔面皮膚の特性評価に使用される。前述のように、目立たない測定及びモニタリングの分野における関心のあるトピックは、パーソナルケア及びヘルスアプリケーション用のスキンセンシングに関する。本明細書に説明される方法及び装置により、特定の照明設定における照明変動を考慮した顔面皮膚に関する特定の情報が特定される。
したがって、システム200を使用する被検者は、イメージングデバイス206によって撮影され、且つ特定のパーソナルケア又はヘルスアプリケーションに使用される画像が十分に堅牢で信頼性があり、被検者がシステム200を信頼できるようになる特定の信頼レベルを有する。パーソナルケア又はヘルスアプリケーションの例としては、皮膚の吹き出物の特性評価、皮膚又は皮膚表面下の組織の健康状態の判定、血液かん流の特徴付けなどがある。皮膚又は皮膚表面下の組織の健康状態を識別するアルゴリズムは、照明分布に関する特定の誤った仮定に基づいて決定を行ってしまうことがある。例えば、照明分布に関する誤った仮定は、皮膚又は皮膚下の組織の状態の分類又は特定が不正確になることがある。一例は、皮膚の吹き出物の特性評価である。(例えば照明分布に関する誤った仮定によってもたらされる)皮膚の吹き出物の種類の不正確な特定は、その皮膚の吹き出物の種類に対して不正確な治療レジームが推奨されることになる。
したがって、本明細書に説明される実施形態は、パーソナルケア又はヘルスアプリケーションの一環として一連の行動を決定するために、皮膚の目立たない測定を容易にする。ホームユーザは、自宅の非制御環境を考慮しないシステムと比較して、特定のアプリケーション(例えば特定のパーソナルケア又はヘルスアプリケーションに関連している)について特定の決定を行うためにイメージングデータが使用される本明細書に説明される実施形態が、イメージングに関して信頼性がより高く、堅牢であると考えるであろう。
本明細書に説明される装置及び方法は、非制御環境で使用できる一方で、対処されなければ被検者が許容又は信頼できない結果につながる、誤った測定結果を回避する。したがって、ホームユーザは、このような結果に基づくパーソナルケア又は健康治療レジームが、照明設定に起因する誤った測定の結果として損なわれていない又は損なわれている可能性が少ないというある程度の確信を持つことができる。
さらに、照明補償情報を決定する際に顔面202の向きを考慮することによって、被検者は、自分の顔面202の移動が結果に悪影響を及ぼさないという確信がより高くなる。同様に、自分の顔面202の画像を収集するときの顔面202の向きを気にする必要がないため、被検者は、システム200がより使い易いと考えるであろう。
図2は、顔面202を示しているが、システム200は、あらゆるタイプの体表面の照明変動を補償できる。したがって、本明細書に説明される方法及び装置は、顔面皮膚の特性評価以外の様々な用途で有用性がある。例えば、特定のパーソナルケア又は健康治療レジームのために、身体の他の部分の皮膚の特性評価を行ってもよい。
更なる用途は、皮膚の特性評価を越えて広がり、例えば、特定の体表面(無生物の本体又はオブジェクトを含む)の画像が照明設定及び/又は体表面の向きを考慮し、これにより、画像の後続の使用又は処理が照明設定によって悪影響を受けないことが確実にされる。
図3は、特定の照明設定でのイメージングを向上させる方法300(例えばコンピュータ実施の方法)を示している。方法300は、図1に関連して説明した特定のブロックを含むか又は参照する。方法300は、図2のシステム200に関して説明されたように、本明細書に説明される特定の装置又はシステムによって実施される。図2のシステム200を、参照しやすいように、以下で参照する。図2は、顔面皮膚の特性評価を行うシステムを示しているが、以下に説明する方法300は、有生物か否かに関わらず、任意の体表面又は物体表面のイメージングの向上において有用性がある。
一実施形態では、方法300は、ブロック302において、(例えばイメージングデバイス206に体表面の画像を捕捉させることで)体表面のイメージングデータを取得することを含む。このイメージングデータを使用して、体表面の3次元表現が取得又は決定される。したがって、方法300はさらに、取得されたイメージングデータに基づいて3次元表現を決定することを含む。方法300は、体表面のイメージングデータから得られた体表面の3次元再構成の解析に基づいて、体表面の向きを決定することを含む。3次元表現の決定は、以下のように実行される。
一実施形態では、イメージングデータから3次元表現を決定することは、ブロック304において、体表面が認識されるかどうかを決定することを含む。例えば、方法300は、以前に特定された体表面のデータベースを保存するメモリをチェックすること(306)を伴う。
体表面が認識されない場合(つまり、ブロック306の「ノー」)、方法300は、ブロック308において、イメージングデータから3次元表現を決定することを含む。この3次元表現は、3次元(3D)マップ又は3DプロファイルAと呼ばれ、「n」はブロック302において取得されたn番目の画像又は最新の画像を表す。体表面が顔面である例では、3次元表現は、3D顔面マップ又は3D顔面プロファイルと呼ばれる。
方法300はさらに、ブロック310において、体表面に関連する3次元表現(つまり、A)を、メモリ(スマートデバイス及び/又は他のユーザ装置のローカルメモリであっても、スマートデバイス、ユーザ装置、及び/又はイメージングデバイス206に通信可能に結合されているサーバ若しくはオンライン/クラウドストレージ内であってもよい)に保存することを含む。
体表面が認識された場合(つまり、ブロック306の「イエス」)、方法300は、ブロック312において、認識された体表面に関連付けられた3次元表現をメモリ(例えばブロック308及び310を介して取得された3次元表現の保存に使用されたものと同じメモリ)から取得することを含む。この3次元表現は以前に取得されているため、メモリから取得した3Dマップ又は3DプロファイルAn-1は、以前に取得された画像、即ち、「n-1番目」の画像に関連付けられている。
ブロック308及び310に従って3次元表現を決定することは、処理能力及び時間などの計算リソースを使用する。体表面認識を使用し、メモリから以前に決定された3Dマップ又は3DプロファイルAn-1を取り出すことによって、方法300を実施する際に使用される計算リソース(例えば処理能力及び/又は時間)を少なくすることができる。ユーザの観点から見ると、体表面の3次元表現がすでに以前に決定されている(そして、メモリから取り出される)場合、その体表面の特性評価がより迅速になることがわかる。
次に、ブロック308及び310又は312のいずれかを介して取得された3次元表現は、方法300の他のブロックで使用される。詳細については、以下に説明する。
体表面の3次元表現が決定されると、方法300はさらに、ブロック316において、3次元表現の照明情報を取得することを含む。照明情報は基準軸に対する体表面の向きを示す。
一実施形態では、ブロック314において、イメージングデバイス206が体表面の少なくとも1つの他の画像を収集して、これにより照明設定及び/又は向きに関する最新情報が取得される。画像がブロック302において取得された後に体表面が移動した場合、他の画像は基準軸に対する体表面の向きを示す情報を提供する。
したがって、(例えば追跡目的で)ブロック308において取得されたイメージングデータに基づいて、体表面のリアルタイムの向き(又は少なくともタイムスタンプ付きの向き)が決定される。体表面が移動していない場合、又は移動した可能性が低い場合は、ブロック316において照明情報を取得するために、以前に(例えばブロック302において)取得した同じ画像を使用できる。照明情報は、照明マップFと呼び、「n」はブロック314において取得されたn番目の画像を表す。
体表面の向きは、ブロック302と314の一方又は両方で取得されたイメージングデータから決定された情報に基づいて決定される。例えば、3次元表現を取得する際のイメージングデータの解析により、体表面の向きに関する情報が提供される。さらに又は或いは、照明情報を取得する際のイメージングデータの解析により、体表面の向きに関する情報が提供される。例えば、特定の照明分布は、体表面の向きを示す。
一実施形態では、一連のイメージングデータが取得される。これを使用して、例えば、体表面の向きが変更されたかどうか、及び/又は以前のイメージングデータが取得された後に照明設定が変更されたかどうかが決定される。変更があったかどうかを決定するために、方法300は、ブロック318において、n番目(つまり最新)の画像の照明情報Fとn-1番目(つまり、前)の画像について取得された照明とを比較することを含む。
一実施形態では、イメージングデータから照明情報を決定することは、ブロック318において、イメージングデータと以前に取得されたイメージングデータとを比較して、イメージングデータが以前の時間枠で取得されているかどうか(つまり、同様の、即ち、区別ができないイメージングデータが以前に取得されているかどうか)を決定することを含む。イメージングデータが以前に取得されていない場合(即ち、ブロック318の「ノー」)、方法300は、ブロック320において、イメージングデータ(即ち、n番目の画像のイメージングデータ)からの照明情報Bを生成することと、ブロック322において、イメージングデータに関連する照明情報をメモリ(上記メモリと同じであっても異なっていてもよい)に保存することとを含む。
イメージングデータが以前に取得されている場合(即ち、ブロック318の「イエス」)、方法300は、ブロック324において、メモリからイメージングデータに関連付けられた照明情報Bn-1(即ち、以前に取得されたn-1番目の画像の照明情報)を取得することを含む。
ブロック320及び322に従って照明情報を決定することは、処理能力及び時間などの計算リソースを使用する。メモリから以前に決定した照明情報Bn-1を取り出すことによって(例えばブロック324に従って)、方法300を実施する際に使用される計算リソース(例えば処理能力及び/又は時間)を少なくすることができる。ユーザの観点から見ると、照明情報がすでに以前に決定されている(そして、メモリから取り出される)場合、照明情報の決定がより迅速になることがわかる。
一実施形態では、ブロック320及び322又は324で決定される照明情報は、3次元照明マップを含む。3次元照明マップは、ブロック314で取得されたイメージングデータを使用して、体表面上の空間的位置の照明パラメータを3次元表現上の対応する空間的位置にマップすることによって生成される。したがって、3次元照明マップは、体表面の輪郭及び/又は特徴に関する情報だけでなく、これらの輪郭及び/又は特徴の対応する照明情報を含む。
一実施形態では、3次元照明マップは体表面の複数の空間的位置を表す。照明マップの各空間的位置は、照明源の特性、及び空間的位置に関する照明源の相対的位置のうちの少なくとも1つを示す照明パラメータに関連付けられていてもよい。
いくつかの実施形態では、体表面の空間的位置の照明パラメータは、取得されたイメージングデータの解析に基づいている。解析では体表面の向きが考慮される。
いくつかの実施形態では、照明源の特性は、照明源の輝度及び照明源の発散のうちの少なくとも1つを含む。いくつかの実施形態では、照明源の特性は、輝度、空間的照明プロファイル、発散、スペクトル成分、及び/又は照明源によって提供される照明の分布に影響を与える可能性のある任意の他の特性を指している。
照明マップの特定の空間的位置の照明パラメータと、照明源の特性の知識とに基づいて、空間的位置に関する照明源の相対的位置を決定することができる。つまり、照明マップの解析を使用して、体表面と照明源との関係が推定される。例えば、方法300は、照明源の特定の特性及び/又は体表面と照明源との関係を推定することを含む。この推定は、例えば、(例えばブロック314で取得された)イメージングデータを使用する数値計算によって、照明源の方向、輝度、発散などを推定することを指している。イメージングデータを使用する数値計算には、体表面の向きに関する情報を使用して、推定値を向上させる又は精緻化することも含まれる。数値計算は、例えばレイトレーシング方法を実施することで実行される。
方法300はさらに、ブロック326において(例えば方法100のブロック104で参照されたように)照明補償情報を決定することを含む。照明補償情報は、n番目の画像の正規化マップNと呼ばれる。一実施形態では、ブロック326は、照明情報B又はBn-1から明らかな照明変動を特定して、照明補償情報を決定することによって実施される。
方法100のブロック106で参照されたように、方法300はさらに、照明補償情報を使用して体表面の画像内の照明変動を補償することを含む。
この実施形態では、方法300は、ブロック328において、体表面の画像を取得することを含む。
方法300はさらに、ブロック330において、照明補償情報を使用して(例えばブロック328で取得された)画像内の照明変動を補償することを含む。例えば、正規化マップNは、該マップN内の特定の空間的位置の照明補償係数と、画像から明らかな体表面の対応する空間的位置とのマッピングを提供する。その後、照明補償係数は、対応する空間的位置の照明パラメータに適用されて、画像から明らかな照明変動が補償される。画像内の照明変動は、該画像が特定のアプリケーションで使用又は処理可能である一方で、対処されなければ該特定のアプリケーションでの画像の使用又は処理に影響を及ぼし得る照明設定及び/又は体表面の向きから生じる懸念事項に対処するように正規化される。
本明細書に説明される実施形態は、特定の被検者(例えばユーザ)の顔面(又は他の体表面又は物体表面)の認識、及び/又は特定の照明設定の認識を実施する。この認識により、例えば、同じ被検者がシステム200を使用する場合及び/又はセッション間で周囲の光源が変更されていない場合に、不要な測定を繰り返す必要が回避又は低減される。特定の測定が繰り返されないように、特定のテスト手順が実施される。例えば、顔面(又は体表面)認識を実行することによって、被検者(又は本体/物体)の3次元表現をデータベースに保存し、その後のセッションで保存された3次元表現を取り出すことができる。さらに、イメージングデータを取得する(例えば、顔の正面の単一画像をキャプチャする)ことによって、周囲照明の変更を推定できる。大幅な変更がない場合は、データベースから照明情報が取り出される(これにより、時間及び/又は処理リソースが節約される)。同じ被検者と同じ周囲照明が検出されるシナリオがある。この場合、方法100の特定のブロックを実施することなく(例えば、特定の時間/処理能力を必要とする3Dマッピング/照明情報決定ブロックを実施する必要がない)、照明補償情報(例えば正規化マップ)を取り出すことができる。
前述のように、本明細書に説明される実施形態は、照明源の特定の特性を決定することを可能にする。この決定を容易にするために、特定の情報が収集される。例えば、本明細書に説明される特定の方法では、(例えば、体表面のより正確及び/又は信頼性の高い特性評価を容易にするために)システム200の較正が必要になる。例えば方法100、300の特定のブロックに従って較正物体がイメージングされる。イメージングデバイス206には、特定の感度、イメージング特性、及び/又はイメージングデータの収集及び処理に使用されるハードウェア及び/又はソフトウェアの影響を受ける他の特性を有する。例えばイメージングデバイス206のイメージング特性は、処理装置208では不明な場合がある。球又は既知のサイズの他の形状などの較正物体を使用することによって、システム200は(例えば、3次元表現が正しいサイズを有するように)3次元表現の決定を向上させることができる。別の例では、スペクトル反射などの既知の表面特性を有する較正物体を使用することによって、照明源204からのスペクトル成分が決定される。反射照明のスペクトル強度成分を測定することによって、システム200は、照明源のスペクトル成分を決定することができ、これにより照明情報の決定が向上される。
図4は、方法100及び/又は方法300など、本明細書に説明される特定の方法の実施に使用できる装置400を示している。装置400は、図2の処理装置208など、図2のシステム200に関連して説明されている特徴に対応する機能を有しているモジュールを含む。
装置400は、処理回路402(例えば図2の処理装置208によって提供される)を含む。処理回路402は、体表面の3次元表現を取得する取得モジュール404を含む。取得モジュール404はさらに、3次元表現の照明情報を取得する。照明情報は、基準軸に対する体表面の向きを示す。処理回路402はさらに、照明情報から明らかな照明変動を補償するために、照明補償情報を決定する決定モジュール406を含む。処理回路402はさらに、照明補償情報を使用して、体表面の画像内の照明変動を補償する補正モジュール408を含む。
図5は、方法100及び/又は方法300など、本明細書に説明される特定の方法の実施に使用できる装置500を示している。装置500は、図2の処理装置208など、図2のシステム200、及び/又は図4の装置400に関連して説明されている特徴に対応する機能を有しているモジュールを含む。
装置500は、図4の処理回路402を含む処理回路502を含む。装置500はさらに、イメージングデバイス(例えば図2のイメージングデバイス206)に体表面の画像(又は実際には前述のイメージングデータのいずれか)を収集させるイメージングモジュール504を含む。例えば、イメージングモジュール504は、本明細書に説明される方法の特定のブロック及び/又は本明細書に説明される装置の機能モジュールで使用するための画像又はイメージングデータをイメージングデバイス206に収集させる指示を提供する。
図6は、少なくとも1つのプロセッサ604によって実行されると、該少なくとも1つのプロセッサ604に本明細書に説明される特定の方法(方法100及び/又は方法300など)を実施させる命令602を保存している有形機械可読媒体600を示している。命令602は、体表面の3次元表現を取得する命令606を含む。命令606はさらに、3次元表現の照明情報を取得する。照明情報は基準軸に対する体表面の向きを示す。命令602はさらに、照明情報から明らかな照明変動を補償するために、照明補償情報を決定する命令608を含む。命令602はさらに、照明補償情報を使用して、体表面の画像内の照明変動を補償する命令610を含む。
これまでに述べてきたように、実施形態は、顔面皮膚の特性評価を越える有用性を有する。例えば実施形態は、身体のどの部分の皮膚の特性評価においても有用性を有する。さらに、実施形態は、どの本体表面(有生物か否かに関わらず)の特性評価においても有用性を有する。
本発明は、図面及び上記の説明に詳細に例示及び説明されているが、このような例示及び説明は、例示的又は模範的と見なされるべきであって、限定的と見なされるべきではない。本発明は、開示された実施形態に限定されない。
1つの実施形態で説明される1つ以上の特徴を、別の実施形態で説明される特徴と組み合わせたり、置換したりすることができる。例えば、図1の方法100及び図3の方法300は、図2のシステム200、図4の装置400、及び図5の装置500に関連して説明された特徴に基づいて変更されてもよく、また、その逆も可能である。
本開示における実施形態は、方法、システム、又は機械可読命令と処理回路との組み合わせとして提供することができる。このような機械可読命令は、コンピュータ可読プログラムコードを有する非一時的機械(例えばコンピュータ)可読記憶媒体(ディスクストレージ、CD-ROM、光学記憶装置などを含むが、これらに限定されない)に含まれている場合がある。
本開示は、本開示の実施形態による方法、デバイス、及びシステムのフローチャート及びブロック図を参照して説明されている。上記のフローチャートは特定の実行順序を示しているが、実行順序は、図示されたものとは異なっていてもよい。1つのフローチャートに関連して説明されたブロックは、別のフローチャートのブロックと組み合わされてもよい。フローチャート及び/又はブロック図の各ブロック、並びにフローチャート及び/又はブロック図のブロックの組み合わせは、機械可読命令によって実現できることを理解されたい。
機械可読命令は、例えば、汎用コンピュータ、特殊用途コンピュータ、組み込みプロセッサ、又は他のプログラム可能データ処理デバイスのプロセッサによって実行されて、説明及び図で説明されている機能を実現することができる。特に、プロセッサ若しくは処理回路、又はそのモジュールが、機械可読命令を実行することができる。したがって、装置400、500の機能モジュール(例えば取得モジュール404、決定モジュール406、補正モジュール408、及び/又はイメージングモジュール504)及び本明細書に説明される他のデバイスは、メモリに保存されている機械可読命令を実行するプロセッサ又はロジック回路に組み込まれた命令に従って動作するプロセッサによって実施され得る。「プロセッサ」という用語は、CPU、処理ユニット、ASIC、ロジックユニット、又はプログラマブルゲートアレイなどを含むように広く解釈される。方法及び機能モジュールはすべて、1つのプロセッサによって実行されるか、又は複数のプロセッサに分割されてもよい。
このような機械可読命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスを特定のモードで動作させることができるコンピュータ可読記憶装置に保存することもできる。
このような機械可読命令はまた、コンピュータ又は他のプログラム可能なデータ処理デバイスにロードすることもできる。これにより、コンピュータ又は他のプログラム可能なデータ処理デバイスは、コンピュータ実施処理を生成するために一連の操作を実行する。したがって、コンピュータ又は他のプログラム可能デバイスで実行される命令は、フローチャート及び/又はブロック図のブロックで指定された機能を実現する。
さらに、本明細書における教示内容は、コンピュータプログラム製品の形態で実施できる。コンピュータプログラム製品は、記憶媒体に保存されており、コンピュータデバイスに本開示の実施形態に記載される方法を実施させるための複数の命令を含む。
1つの実施形態に関連して説明される要素又はステップは、別の実施形態に関連して説明される要素又はステップと組み合わせたり、置換したりすることができる。開示された実施形態の他の変形は、図面、開示及び添付の特許請求の範囲の検討から、請求項に係る発明を実施する際に当業者によって理解され、実行され得る。特許請求の範囲において、「含む」という語は、他の要素やステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されているいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを意味するものではない。コンピュータプログラムは、他のハードウェアと一緒に又はその一部として供給される、光記憶媒体又はソリッドステート媒体などの任意の適切な媒体に格納又は配布することができるが、インターネット又はその他の有線若しくは無線通信システムを介してなど他の形式で配布することもできる。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (14)

  1. 体表面の3次元表現、及び
    基準軸に対する前記体表面の向きを示す前記3次元表現の照明情報、
    を取得するステップと、
    前記照明情報から明らかな照明変動を補償するために、照明補償情報を決定するステップと、
    前記体表面のイメージングデータから得られた前記体表面の3次元再構成の解析に基づいて、前記体表面の前記向きを決定するステップと、
    前記照明補償情報を使用して、前記体表面の画像内の前記照明変動を補償するステップと、
    を含む、コンピュータ実施の方法。
  2. 前記照明補償情報を決定するステップは、前記体表面の複数の空間的位置を表す正規化マップを決定するステップを含み、各空間的位置は、前記画像内の前記照明変動を補正するために、前記画像の対応する空間的位置に適用するための照明補償係数に関連付けられている、請求項1に記載の方法。
  3. 前記照明情報は、前記体表面の複数の空間的位置を表す3次元照明マップを含み、前記3次元照明マップの各空間的位置は、照明源の特性及び前記空間的位置に関する前記照明源の相対的位置のうちの少なくとも1つを示す照明パラメータに関連付けられている、請求項1又は2に記載の方法。
  4. 前記体表面のイメージングデータを取得することと、前記体表面の前記向きを考慮する前記取得されたイメージングデータの解析に基づいて、前記体表面の前記空間的位置の前記照明パラメータを推定することと、
    によって前記照明情報を決定するステップを含む、請求項3に記載の方法。
  5. 前記照明源の前記特性は、前記照明源の輝度及び前記照明源の発散のうちの少なくとも1つを含む、請求項3又は4に記載の方法。
  6. 前記照明補償情報を決定するステップは、
    前記体表面のイメージングデータを取得するステップと、
    前記取得されたイメージングデータに基づいて前記照明情報を決定するステップと、
    前記照明情報から明らかな任意の照明変動を特定して、前記照明補償情報を決定するステップと、
    を含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記イメージングデータから前記照明情報を決定するステップは、
    前記イメージングデータを以前に取得されたイメージングデータと比較して、前記イメージングデータが以前の時間枠で取得されているかどうかを決定するステップを含み、
    前記イメージングデータが以前に取得されていない場合、前記方法は、前記イメージングデータから前記照明情報を生成し、前記イメージングデータに関連付けられている前記照明情報をメモリに保存するステップを含み、
    前記イメージングデータが以前に取得されている場合、前記方法は、前記イメージングデータに関連付けられている前記照明情報を前記メモリから取得するステップを含む、請求項6に記載の方法。
  8. 前記体表面の前記3次元表現を取得するステップは、
    前記体表面のイメージングデータを取得するステップと、
    前記取得されたイメージングデータに基づいて前記3次元表現を決定するステップと、
    を含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記イメージングデータから前記3次元表現を決定するステップは、
    任意の以前に特定された体表面のデータベースを保存しているメモリをチェックすることによって、前記体表面は認識可能であるかどうかを決定するステップを含み、
    前記体表面が認識されない場合、前記方法は、前記イメージングデータから前記3次元表現を決定し、前記体表面に関連付けられている前記3次元表現をメモリに保存するステップを含み、
    前記体表面が認識される場合、前記方法は、前記認識された体表面に関連付けられている前記3次元表現を前記メモリから取得するステップを含む、請求項8に記載の方法。
  10. 前記体表面は、被検者の顔面を含み、前記3次元表現は、前記顔面の3次元再構成を含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記照明補償情報を使用して、前記体表面の前記画像内の前記照明変動を補償するステップは、
    前記体表面の前記画像を取得するステップと、
    前記照明補償情報を使用して、前記画像内の前記照明変動を補償するステップと、
    を含む、請求項1から10のいずれか一項に記載の方法。
  12. 処理回路を含む装置であって、
    前記処理回路は、
    体表面の3次元表現、及び
    基準軸に対する前記体表面の向きを示す前記3次元表現の照明情報、
    を取得する取得モジュールと、
    前記照明情報から明らかな照明変動を補償するために、照明補償情報を決定する決定モジュールと、
    前記体表面のイメージングデータから得られた前記体表面の3次元再構成の解析に基づいて、前記体表面の前記向きを決定することと、
    前記照明補償情報を使用して、前記体表面の画像内の前記照明変動を補償する補正モジュールと、
    を含む、装置。
  13. イメージングデバイスに前記体表面の前記画像を収集させるイメージングモジュールをさらに含む、請求項12に記載の装置。
  14. 命令を保存している有形機械可読媒体であって、前記命令は、少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
    体表面の3次元表現、及び
    基準軸に対する前記体表面の向きを示す前記3次元表現の照明情報、
    を取得させることと、
    前記照明情報から明らかな照明変動を補償するために、照明補償情報を決定させることと、
    前記体表面のイメージングデータから得られた前記体表面の3次元再構成の解析に基づいて、前記体表面の前記向きを決定させることと、
    前記照明補償情報を使用して、前記体表面の画像内の前記照明変動を補償させることと、を行わせる、有形機械可読媒体。
JP2022537389A 2019-12-20 2020-12-21 イメージングにおける照明補償 Active JP7209132B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19218928.0A EP3838117A1 (en) 2019-12-20 2019-12-20 Illumination compensation in imaging
EP19218928.0 2019-12-20
PCT/EP2020/087356 WO2021123404A1 (en) 2019-12-20 2020-12-21 Illumination compensation in imaging

Publications (2)

Publication Number Publication Date
JP2023500739A true JP2023500739A (ja) 2023-01-10
JP7209132B2 JP7209132B2 (ja) 2023-01-19

Family

ID=69005362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022537389A Active JP7209132B2 (ja) 2019-12-20 2020-12-21 イメージングにおける照明補償

Country Status (5)

Country Link
US (1) US20230026168A1 (ja)
EP (2) EP3838117A1 (ja)
JP (1) JP7209132B2 (ja)
CN (1) CN114845628A (ja)
WO (1) WO2021123404A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157595A (ja) * 2000-11-20 2002-05-31 Nec Corp 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体
WO2008056777A1 (fr) * 2006-11-10 2008-05-15 Konica Minolta Holdings, Inc. Système d'authentification et procédé d'authentification
US20110182520A1 (en) * 2010-01-25 2011-07-28 Apple Inc. Light Source Detection from Synthesized Objects
US20150109417A1 (en) * 2013-10-21 2015-04-23 Nokia Corporation Method, apparatus and computer program product for modifying illumination in an image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9339194B2 (en) * 2010-03-08 2016-05-17 Cernoval, Inc. System, method and article for normalization and enhancement of tissue images
KR102507567B1 (ko) * 2015-06-09 2023-03-09 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
US9922452B2 (en) * 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image
US9585549B1 (en) * 2016-05-26 2017-03-07 Dental Smartmirror, Inc. Avoiding dazzle from lights affixed to an intraoral mirror, and applications thereof
US11116407B2 (en) * 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
US11452455B2 (en) * 2018-05-02 2022-09-27 Canfield Scientific, Incorporated Skin reflectance and oiliness measurement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157595A (ja) * 2000-11-20 2002-05-31 Nec Corp 物体照合方法,物体照合装置,およびそのプログラムを記録した記録媒体
WO2008056777A1 (fr) * 2006-11-10 2008-05-15 Konica Minolta Holdings, Inc. Système d'authentification et procédé d'authentification
US20110182520A1 (en) * 2010-01-25 2011-07-28 Apple Inc. Light Source Detection from Synthesized Objects
US20150109417A1 (en) * 2013-10-21 2015-04-23 Nokia Corporation Method, apparatus and computer program product for modifying illumination in an image

Also Published As

Publication number Publication date
EP4076151A1 (en) 2022-10-26
JP7209132B2 (ja) 2023-01-19
EP3838117A1 (en) 2021-06-23
EP4076151B1 (en) 2023-06-21
WO2021123404A1 (en) 2021-06-24
US20230026168A1 (en) 2023-01-26
CN114845628A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
US11026624B2 (en) Measuring and monitoring skin feature colors, form and size
US11452455B2 (en) Skin reflectance and oiliness measurement
US10327633B2 (en) Computational array camera with dynamic illumination for eye tracking
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
CN107924564B (zh) 用于确定预定解剖特征的容积数据的方法和设备
US20230263463A1 (en) Osteoporosis diagnostic support apparatus
RU2628648C2 (ru) Устройство и способ получения и обработки показаний измерений живых существ
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
CN103330557B (zh) 基于曝光时间测定的激光散斑血流成像方法
JP2015527625A (ja) 身体測定
JP4999731B2 (ja) 顔画像処理装置
JP6822482B2 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
TW202103484A (zh) 具改善之影像擷取之用於外用劑之產生的系統及方法
Peng et al. Improved 3D lighting environment estimation for image forgery detection
JP2022039984A (ja) 顔画像から眼の領域を見つけるシステム及び方法
JP7209132B2 (ja) イメージングにおける照明補償
US20220335252A1 (en) Method and system for anonymizing facial images
Shimokawa et al. Computational model for human 3D shape perception from a single specular image
CN114979499A (zh) 灯光调节方法及装置
TW201742003A (zh) 測量裝置及測量方法
Economopoulos et al. Automatic correspondence on medical images: A comparative study of four methods for allocating corresponding points
CN114450567A (zh) 多/高光谱二维图像处理
Mehta et al. Selective quantifiable facial assessment of aging
JP2021061048A (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R150 Certificate of patent or registration of utility model

Ref document number: 7209132

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150