JP2020507103A - 被測定物の測定イメージをキャプチャする為のシステム及び方法 - Google Patents

被測定物の測定イメージをキャプチャする為のシステム及び方法 Download PDF

Info

Publication number
JP2020507103A
JP2020507103A JP2019534173A JP2019534173A JP2020507103A JP 2020507103 A JP2020507103 A JP 2020507103A JP 2019534173 A JP2019534173 A JP 2019534173A JP 2019534173 A JP2019534173 A JP 2019534173A JP 2020507103 A JP2020507103 A JP 2020507103A
Authority
JP
Japan
Prior art keywords
image
screen
measurement
camera
color channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019534173A
Other languages
English (en)
Other versions
JPWO2018115346A5 (ja
Inventor
ザイフェルト,ウド
ヘルツォグ,アンドレアス
バックハウス,アンドレアス
Original Assignee
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー., フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. filed Critical フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー.
Publication of JP2020507103A publication Critical patent/JP2020507103A/ja
Publication of JPWO2018115346A5 publication Critical patent/JPWO2018115346A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/247Telephone sets including user guidance or feature selection means facilitating their use
    • H04M1/2477Telephone sets including user guidance or feature selection means facilitating their use for selecting a function from a menu display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Stroboscope Apparatuses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本発明は、モバイル電子機器を備えた、被測定物の測定イメージをキャプチャする為のシステム(1)に関し、モバイル電子機器(2)が、−ハウジング(5)と、−ハウジング(5)内に一体化されたカメラ(6)であって、カメラ(6)の観測領域(20)内で被測定物(38)の測定イメージ(39)を記録する為のカメラ(6)と、−イメージの発光表示の為の、ハウジング(5)に一体化されたスクリーン(7)であって、カメラ(6)の観測領域(20)に面しているスクリーン(7)と、−前記ハウジング(5)内に一体化され、モバイル電子機器(2)のスクリーン(7)を、所定の照明イメージシーケンスの複数の異なる照明イメージ(23)を順次表示するように作動させるように構成された制御ユニット(8)を備え、制御ユニット(8)は、所定の照明イメージシーケンスの各照明イメージ(23)の表示と同時に、被測定物の測定イメージ(39)をキャプチャするように前記モバイル電子機器(2)の前記カメラ(6)を作動させるように構成されている。本発明は更に、対応する方法及びコンピュータプログラム製品にも関する。【選択図】図1

Description

本発明は、被測定物の測定イメージをキャプチャする為のシステムに関すると共に、被測定物の測定イメージをシステムによってキャプチャする為の方法に関し、更に、対応するコンピュータプログラム製品に関する。
多くの技術的及び非技術的アプリケーションにおいて、関心対象(of interest)物体の特性は、その物体の(生物)化学的組成に依存する。表面に近く、また、裸眼では見えない物体の表面又は層上の構造は、特定のスペクトル領域におけるそれらの透過性によって、物体の何らかの特性に影響を与える可能性もある。この為、物体のサイズ、形状及び色の光学的検出又は物体の巨視的(裸眼でも認識可能)表面テクスチャの光学的検出は、そのような特性の満足なアセスメントには適切でない。食料品の鮮度及び未処理状態に関する状態のレンズ検出、事故による破損後の自動車の塗装面の隠蔽修理ばかりでなく、文書、医薬及び高品質テキスタイル偽造の認識が、例として挙げられる。
物体のハイパースペクトルイメージキャプチャは、多くの事例で、取り分け商業的用途及び研究に適用されている。ここで、ハイパースペクトル測定イメージが物体からキャプチャされ、これらは物体のスペクトル反射特性を、空間的に分解された態様で表す。関心対象物体の対応する特性は、これらの測定イメージを元に評価され得る。ハイパースペクトル測定イメージのキャプチャに関して2つの手法が知られている。第1の手法に関して、物体は広帯域光源で照明され、反射光は、狭帯域周波数フィルタ、プリズム又はグレーティングを介してスペクトル構成要素に分離され、スペクトルカメラによって個々にイメージングされる。広帯域均一照明が、大表面にわたり人工的に実現され得る、又は、日光を自然照明として利用できる。第2の手法によれば、この原理は逆転されて広帯域グレースケールカメラがイメージキャプチャに用いられ、物体は狭帯域光源で順次照明される。この変形例は取り分け、研究所又は顕微鏡の分野において小表面の物体で用いられる。例えばスペクトルに従ってソートされたLED又はフィルタホイールが次に照明として用いられる。
物体のハイパースペクトル測定イメージをキャプチャする既知の方法の1つの欠点は特に、必要な機器の高コストであり、そのような機器は一般に複合研究所測定機器であり、多くの場合、特定の用途向けに構成され最適化されている。試験される物体の測定イメージがキャプチャされる多くの他の方法も、この欠点を有する。従って、多くの実地の技術的に適切な方法は、特に消費者の分野で経済的に実行可能な態様で実装され得ない。試験される物体の測定イメージをキャプチャする多くの既知の方法の更なる欠点は更に、高い時間経費並びに機器の操作又は方法実行に際して特定の技術的知識が必要であるということである。
従って、被測定物とも呼ばれる、被験物の測定イメージをキャプチャする為のシステムを提案することが目的であり、そのシステムは可能な限り安価であり、可能な限り操作が単純であり、可能な限りフレキシブルに適用され得る。これにもかかわらず、測定イメージは、関心対象物体の特性の、可能な限り良いアセスメントを可能にするべきである。更に、対応する測定イメージをキャプチャする方法が提案され、前記方法は、可能な限り単純且つ安価に実行されることができ、フレキシブルな態様で適用され得る。最後に、対応するコンピュータプログラム製品も提案され、前記製品は提案システムの内部メモリに直接ロードされることができ、ソフトウェアコードを備え、コンピュータプログラム製品がシステム上で実行されるときに、そのソフトウェアコードによって提案方法のステップが実行される。
この目的は、主請求項に記載のシステム及び他の独立請求項に記載の方法及びコンピュータプログラム製品によって達成される。更なる展開と特定の実施例は、従属請求項、以下の説明及び図面から得られる。
被測定物の測定イメージをキャプチャする為の提案システムはここで、例えばスマートフォン又はタブレットコンピュータ又はその他の(デジタル)コンピュータなどの少なくとも1つのモバイル電子機器を備えている。以後、多くの場合単に「機器」と呼ぶ(少なくとも1つの)モバイル電子機器は(それぞれ)、
−ハウジングと、
−カメラの観測領域内で被測定物の測定イメージをキャプチャする為の、よって、カメラによってキャプチャされた空間領域の測定イメージをキャプチャする為の、ハウジング内に一体化されたカメラと、
−例えば、カメラの観測領域に面したスクリーン上に順次提示されるイメージの形態の所定の照明イメージシーケンスを表示する為に、スクリーン上に提示されるイメージの発光表示の為にハウジング内に一体化されたスクリーンと、
−ハウジング内に一体化され、所定の照明イメージシーケンスの幾つかの異なる照明イメージを順次表示するようにモバイル電子機器のスクリーンを作動させるように構成された制御ユニットであって、モバイル電子機器のカメラを、所定の照明イメージシーケンスの各照明イメージの表示と同時に、被測定物の測定イメージをキャプチャさせるように作動させる、制御ユニットと、を備えている。
被測定物の測定イメージをキャプチャする為の提案される方法は、本明細書で提案システムで実行されることができ、以下のステップを含む:
−制御ユニットによって、所定の照明イメージシーケンスの幾つかの異なる照明イメージを順次表示するようにモバイル電子機器のスクリーンを作動させる、
−モバイル電子機器のカメラを、所定の照明イメージシーケンスの各照明イメージの表示と同時に、被測定物の測定イメージをキャプチャさせるように作動させる。
電子モバイル機器は、機器のハウジングに一体化された少なくとも1つの内部データメモリを典型的に備えている。内部データメモリは典型的に、揮発性又は不揮発性データメモリ又はそれらの組み合わせであり、例えば、RAM、ROM、ハードディスクドライブ又はソリッドステートドライブ又はそれらの組み合わせである。
提案されるコンピュータプログラム製品は機器の内部データメモリに直接ロードされ得る。コンピュータプログラム製品はソフトウェアコードセクションを備え、コンピュータプログラム製品がモバイル電子機器にロードされて実行される場合に、そのソフトウェアコードセクションによって、少なくとも提案される方法の上記のステップ(及び、場合によっては方法の更なるステップ)が実行される。
コンピュータプログラム製品は例えば、データメモリに記憶されたコンピュータプログラム(「キャリア」)である。データメモリは、例えば、揮発性又は不揮発性データメモリなどのコンピュータハードウェアであり、例えば、言及した機器の内部メモリ又はモバイル電子機器の外部のシステムの更なるデータメモリであり、例えばコンピュータサーバなどのコンピュータのデータメモリ、或いは、例えばインターネット又は(コンピュータ)クラウドなどのコンピュータネットワークの一部である、又はコンピュータネットワーク(例えばインターネット又はクラウド)によって生成されるデータメモリである。コンピュータ又はコンピュータサーバ、コンピュータネットワーク(例えばインターネット又はクラウド)は例えば、システムの更なるコンポーネントであり得る。RAM、ROM、ハードディスクドライブ又はソリッドステートドライブ又はそれらの組み合わせ、或いはCD、DVD又はUSBスティックも、可能な(更なる)データメモリとして想定され得る。
機器は典型的に、例えば少なくとも1つのメインプロセッサ(CPU)である少なくとも1つの(デジタル)プロセッサを備え、メインプロセッサ自体が、例えばグラフィックプロセッサである1つ以上の集積ユニット(コプロセッサ)を備え得る。プロセッサは、例えば電子回路の態様で、例えば半導体チップとして実現され得る。上述の機器の制御ユニットは、プロセッサの(論理又は集積)ユニットであり得る。プロセッサは、データメモリにアクセスする為に、特に、内部データメモリにロードされたコンピュータプログラム製品を検索し、又はそのロードされたソフトウェアコードセクションを検索し、続いて方法の上述のステップを(機器の制御ユニットとして)実行する(スクリーンとカメラの同時起動)為に、例えば機器の内部データメモリに接続される。提案される方法のそれぞれのステップは、例えば機器のプロセッサによって実行され得る命令の形態でソフトウェアコードセクションに符号化され得る。これらの命令を実行すると、次にプロセッサは、機器の言及された制御ユニットとして機能する。
提案される方法は、以後詳述する更なるステップを備え得る。機器の制御ユニットは、これらの更なる方法を実行するように構成され得る。従って、コンピュータプログラム製品は、機器のプロセッサによって実行され得る対応する更なる命令が符号化され得る、更なるソフトウェアコードセクションも備えてよい。これらの更なる命令を実行すると、プロセッサは次に例えば言及した機器の制御ユニットとして、又は機器の更なるユニットとして、例えば機器の評価ユニットとして、再び機能する。
代替的に、更なる方法ステップはシステムの別のコンポーネントによって実行され得る。例えば、評価ユニットはモバイル電子機器の外部に配置され得る。従って評価ユニットは、対応して構成されたコンピュータ、例えば、コンピュータネットワークのコンピュータサーバ又はコンピュータのプロセッサの(論理又は集積)ユニットでもあり得る。評価ユニットがシステムの幾つかのコンポーネントに分散され、幾つかのプロセッサの(論理又は集積)ユニットによって、例えば、機器のプロセッサ又は言及したコンピュータ若しくはコンピュータサーバのプロセッサによって形成される混合形態も可能である。
幾つかの実施例では、方法は従って、モバイル電子機器のみを用いて全面的に実施され得る。別の実施形態では、方法は更に、部分的にシステムの別のコンポーネントによって、例えば、1つ以上のコンピュータ(例えばインターネット又はクラウドなど)によっても実行され、機器と他のコンポーネントの間の通信とデータ伝送は、インターネットを介して、又はクラウドを介して行われ得る。
外部メモリシステムへの(例えばクラウドメモリへの)、データ又はアプリケーション関連情報の記憶は、機能上でもセキュリティ関連理由でも必要ないが、本明細書に記載の概念に相反するものでもない。例えば、モバイル機器の内部データメモリへの何らかのデータの記憶が何らかの理由により可能でない場合、例えば、大量データにより、ライセンス理由及び/又はセキュリティ上の理由により可能でない場合に、外部データメモリの使用が想定され得る。
モバイル機器によるデータの、主に又はローカル専用の処理及び/又は記憶は、一般的に提供される、又は例えば以下の特定の場合に提供される:
(1)モバイル機器から外部サーバ/メモリに伝送(転送)されるデータ量を低減する為、
(2)それぞれの測定場所でのモバイルデータ接続の帯域幅が不十分である、又は欠如している場合(例えば、農場地又は鋼コンクリートビル)、及び、
(3)特にモバイル機器にGPSが装備されている場合に、例えば被測定物、測定位置又はユーザ自身の位置に関連し得る極秘データが与えられた場合。例えば、秘密の物体又は秘密の化学表面組成の測定、並びに例えば、或る位置がそれぞれの被測定物を記憶するように働く場合、又は測定又は測定データの位置が、例えばユーザの健康状態、ユーザの住い、ユーザの消費者挙動などの、ユーザへの望ましくない推論を容認する可能性がある場合の、秘密に保持される位置での測定が例として挙げられる。
例えば、モバイル機器の制御ユニット、及び/又は、存在する場合、モバイル機器の評価ユニットは、一般に、又は少なくとも規定されたアプリケーションにおいて、測定データの評価を完全に自身で実行し、発生する全データを内部データメモリのみに記憶するように構成され得る。制御ユニットは更に、測定データ及び/又はそこから導出されたデータ(特にGPSデータ)の、外部機器への転送を回避又はブロックするように構成され得る。更に、システムの機能性は、GPSデータに基づいて制御、統制又は完全にブロックされ得る。
以下のテキスト及び請求項において、制御ユニット又は評価ユニットが、更なる操作を実行するように「構成されている」と記載された場合はいつでも、これらの操作は、提案される方法の可能な(随意の)ステップとしても理解される。従って、コンピュータプログラム製品はソフトウェアコードセクションを備えてよく、ソフトウェアコードセクションでは、これらの更なる操作を実行する為の命令が、例えば機器のプロセッサ又はシステムの別のコンポーネントのプロセッサによって実行される為に符号化されている。逆に、コンポーネントで「構成される」は、以後、記載された場合はいつでも、方法ステップが、システムの対応するコンポーネント、例えば制御ユニット、評価ユニット又は他のコンポーネントによって実行され得るということを暗示する。その場合この「構成される」ということは、相応に設計されたコンピュータプログラム製品を、機器に、又はシステムの言及した更なるコンピュータにロードすることによって可能にされ得る。
所定の照明イメージシーケンスは照明パラメータによって、典型的に部分的に、又は好ましくは完全に規定される。照明パラメータの特定の例を以下に説明する。照明パラメータは典型的に、システムの少なくとも1つのデータメモリに記憶される、例えば、モバイル電子機器の内部データメモリに、及び/又はシステムの別のコンポーネント、例えば言及したコンピュータのデータメモリに記憶される。例えば、機器の内部メモリへの照明パラメータの自動記憶は、機器へのコンピュータプログラム製品のローディングによって行われ得る。例えば、コンピュータプログラム製品のソフトウェアコードは、照明パラメータの定義及び/又は値を含み得る。モバイル電子機器の制御ユニットは、少なくとも1つのデータメモリに記憶されている照明パラメータをデータメモリから検索して、所定の照明イメージシーケンスを、検索された照明パラメータに基づいて決定するように構成され得る。典型的に、その後初めて制御ユニットは、このように決定された所定の照明イメージシーケンスの照明イメージを表示するようにスクリーンを作動させ、これと同時に、測定イメージをキャプチャするようにカメラを作動させる。
モバイル電子機器はユーザインターフェースを備えてよく、ユーザインターフェースの補助によって、機器は、例えば、提案される方法を実行する為に操作され得る。例えば、所定の照明イメージシーケンスは、例えばユーザインターフェースを介して照明パラメータのうち少なくとも1つを調整又は変更することによって調整又は少なくとも影響され得る。付加的に、又は代替的に、異なる(記憶された)所定の照明イメージシーケンス間での選択は、ユーザインターフェースによって可能にされることができ、照明イメージシーケンスは、例えば1つ以上の照明パラメータによって互いに異なっている。付加的に、又は代替的に、検査対象の被測定物のタイプが、ユーザインターフェースによって入力されることも更に可能である。そのような入力とは別に、更なる入力、例えば、関心対象であるそれぞれ選択された被測定物の特性の選択が、ユーザインターフェースによって可能にされ得る。照明イメージシーケンスの定義とは別に、測定イメージの後続の評価は、ユーザインターフェースを介したそのような入力にも依存し得る。例えば、入力は更に、以下に更に説明するように、システムの評価ユニットによって考慮に入れられ得る。
例えば、所定の幾つかの測定されたイメージのうち1つをそれぞれ定義し、上述のように、言及したデータメモリのうち1つ以上に記憶された、幾つかの異なる照明イメージシーケンス又は幾つかの異なる所定セットの照明パラメータを想定することができる。異なる所定の照明イメージシーケンス又は照明パラメータセットは例えば、幾つかの異なる所定(測定)アプリケーションのうち1つに割り当てられ得る(例えば、それぞれの被測定物、関心対象特性及び/又は推奨行動によって定義される)。(異なるアプリケーションの例については以下に詳述する)。例えば、ユーザが特定のアプリケーションを(例えばモバイル機器のユーザインターフェースを介して)選択して(例えばユーザインターフェースによって表示される少なくとも1つのアプリケーションリストから)、続いて制御ユニットが、データメモリから、選択されたアプリケーションに属する所定の照明イメージシーケンス(又は照明パラメータ)を、選択されたアプリケーションに依存して読み出し、続いて、説明したように、読み出された照明イメージシーケンス(又は読み出された照明パラメータ)での測定を実行することを想定してもよい。付加的に、又は代替的に、測定イメージの評価が、選択されたアプリケーションに依存するということも可能である。
スクリーンはタッチスクリーンとして設計されることができ、従って、例えば、タッチスクリーン上に提示される入力フィールドを備えたグラフィックユーザ表面の表示を介して、機器の言及したユーザインターフェースとして働く。
ユーザインターフェースは更に、周囲光の影響が甚大すぎると評価された場合、或いは、測定イメージの実施されたイメージレジストレーション又は物体認識が、例えば物体の特性又はユーザの挙動によって上手く実行され得ないと評価された場合に警報を出力するように構成され得る。
ユーザインターフェースは、例えば、言及した警報を生成できる機器の音響出力を備え得る。ユーザインターフェースは、例えば、言及した警報を生成できる機器の振動モジュールを備え得る。例えば、スマートウォッチやヘッドマウントディスプレイなどのディスプレイを備えた更なる通信機器によって更なるユーザインターフェースが実現され得る。存在する限り、様々なモジュールが、本明細書において組み合わせて用いられ得る。
機器の少なくとも1つの内部データメモリ、又は、例えば言及した更なるコンピュータの外部データメモリは、キャプチャされた測定イメージの(中間)記憶用に働き得る。従って、制御ユニットは、キャプチャされた測定イメージの、この少なくとも1つのデータメモリへの転送を実行又は開始するように構成され得る。
更に、制御ユニットは、例えば、測定イメージのキャプチャ後に自動的に、キャプチャされた測定イメージを表示するようにスクリーンを作動させるように構成され得る。例えば、測定結果は、測定中又は測定直後に機器のスクリーンに表示されることができ、例えば、キャプチャされた被測定物のイメージ又はカメラの瞬間的ライブイメージは、こうして例えば現実拡張技法を実施する為にスクリーンに重畳され得る。
例えば、例えばiOS、アンドロイド、ウィンドウズ(登録商標)、リナックス(登録商標)、ブラックベリーOSなどの機器のオペレーティングシステム、又は他のオペレーティングシステム、並びに例えばインターネットブラウザ及び/又はアップルストアアプリケーションなどの典型的な更なるアプリケーションプログラムが、機器の少なくとも1つの内部データメモリにインストールされ得る。アップルストアへの機器の(インターネット)接続、即ち、例えば、アップルのアップルストアやグーグルのプレイスストアなどのアプリケーションソフトウェア用のインターネットベースのデジタルマーケティングプラットフォームは、アップルストアアプリケーションを介して作成され得る。一実施例では、コンピュータプログラム製品は、このアップルストアアプリケーションを介して機器の内部データメモリにアプリ(app)としてロードされることができ、そこに例えば恒久的に記憶される(例えば、ユーザによって開始及び/又は確認される削除手順まで)。更なる可能性は、対応するオペレーティングシステムによってブロックされない限り、コンピュータプログラム製品又はアプリを機器に、特にスマートフォンに直接(例えばUSBケーブルによって)にコピーすることである。更なる実施例では、コンピュータプログラム製品は、機器のインターネットブラウザを介してプロバイダーのインターネットページからウェブアプリとして機器の内部メモリにロードされ得る。ウェブアプリは例えば、一時的に(例えば所定期間、又は方法の所定回数の実施のみ)内部メモリに記憶され、その後機器の内部メモリから自動的に消去される。しかしながら、全ての場合において、コンピュータプログラム製品は機器上で動作することができ、ユーザによって、好ましくは機器の内部メモリにロードされた直後に、方法を実行する為に使用され得る。
機器は、機器を例えばインターネットに接続する為、又はシステムの可能な更なるコンポーネントに接続する為、例えばインターネットを介して例えば1つ以上のコンピュータサーバに接続する為に、例えば少なくとも1つのラジオインターフェースなどの、1つ以上のケーブル接続された、又は好ましくは無線データインターフェースを備えている。
モバイル(携帯式)電子機器は、両手又は好ましくは片手のみで、被測定物に対して適切な位置に位置合わせされて、ユーザによって(特に、上述の方法ステップ中に、即ち、照明イメージの表示及び測定イメージのキャプチャ中に)快適に保持される為に、可能な限り軽量である。従って機器の重量は好ましくは3kg未満、2kg未満又は1kg未満である。ハウジングの最大エッジ長さは典型的に30cm以下、典型的には25cm未満又は20cm未満である。例えば、ハウジングは本質的に直方体状に設計され得る。最小エッジ長さは典型的に5cm未満、好ましくは2cm未満である。
カメラは一般に、ケーシングの正面側に配置されてカメラの観測領域を画定するレンズを備えている。その場合スクリーンも同様にハウジングの正面側に配置されている。カメラ(少なくともカメラの対物レンズ)とスクリーンは典型的にハウジングの同じ側、つまり、ハウジングの同じ側から見える側に配置されている。カメラは典型的に更に、例えばCCD又はCMOSセンサ又はInGaAsセンサなどの例えば感光性半導体チップなどのイメージセンサを備えている。
機器は更に、例えば内部メモリにインストールされた電話アプリケーションによって、モバイルラジオ電話ネットワークを介した、又はインターネットを介した電話の会話を可能にする為にラウドスピーカー又はマイクロフォンを備え得る。機器は更に、機器、特に機器のスクリーン、カメラ及び制御ユニットに電気エネルギーを供給する為の(充電式)エネルギー蓄積部を備えている。
システムによる方法を実行するにあたり、機器のスクリーンは照明イメージの表示中に発光する。カメラの観測領域内に配置された被測定物はこうして、スクリーンがカメラの観測領域に面しているという事実によって、スクリーンによって照明され得る。照明すると、照明イメージを表示することで発せられたスクリーンからの光は、被測定物に達し、被測定物で反射してカメラによってキャプチャされる。ここで、反射光は典型的にカメラのレンズを通過してカメラに入り、カメラのイメージセンサ上にイメージングされる。
カメラのイメージセンサは典型的に、全体グリッドに配置された多数のセンサユニットを備えている。センサユニットそれぞれはイメージセンサの1つ以上のセンサ素子を備え得る。例えば、各センサユニットは、カメラによってキャプチャされる測定イメージの像点(ピクセル)に対応する。センサユニットと、イメージセンサ内でのそれらのセンサ素子との位置は、それぞれのセンサユニットの2つのセンサ座標(XY)によって定義される。
従って測定イメージそれぞれは同様に、多数の像点(ピクセル)を備え、像点(ピクセル)は全体グリッドに配置され、イメージセンサのセンサユニットに割り当てられ、それぞれの測定イメージ内の位置が、それぞれのセンサユニットのセンサ座標に典型的に対応する2つのイメージ座標(XY)によって定義される。測定イメージは更に、イメージ情報が符号化されたイメージデータを備えている。例えば、測定イメージのそれぞれの像点の輝度値がイメージデータに符号化される。測定イメージの像点の輝度値は典型的に、それぞれの測定イメージをキャプチャしたときのセンサユニットの感光センサ素子の充電又は放電状態に典型的に依存する。
異なる測定イメージは、照明イメージにおける差による被測定物に関する異なる情報を含む。例えば、照明イメージは、表示されたときにスクリーンによって発せられる光のスペクトル組成によって互いに異なり得る。代替的に又は付加的に、被測定物が、カメラから見て異なる方向から照明されるように、照明イメージがスクリーンの異なる領域に配置されることが可能である。
従って、有利なことにそれぞれキャプチャされた測定イメージから、被測定物の、反射特性又は他の特性に関する異なる情報を得ることが可能である。更に、測定イメージの情報内容は、照明イメージシーケンスを変更することによって非常に単純に影響される。
更なる重要な利点は、モバイル電子機器が、例えば、スマートフォン、タブレットコンピュータ(タブレット)、ラップトップ又は同様に広く普及したモバイル電子機器であり得るという事実にある。有利なことに、ユーザ/消費者が、提案される方法を実行する為のそのような市販の機器を非常に簡単に構成することができ、例えば、上述のようにアップルストアから、又はコンピュータプログラム製品のプロバイダーのウェブサイトから推奨コンピュータプログラム製品を機器にロードすることによって行われる。従って、システム及び方法は、多くの従来型測定機器と比べて非常に安価であり、照明イメージシーケンスと、以下に説明するようなモバイル機器に一体化されるデータ評価の為の評価ユニットとを介して非常に可変な態様に構成可能であり、更に、多くのユーザにとって直感的な方式で適用又は実行され得る。既知のシステムに対する更なる利点は、分散光学効果を生成する為にも、照明の及び/又はイメージキャプチャの特定のパラメータの制御の為にも、更なる(外部)光学的ハードウェアを追加導入する必要がないという事実である。従って、ここで説明する方法は、機器に更なる光学又は電子コンポーネントを追加導入せずに有利に実行され得る。特に、本方法は、モバイル機器に、例えばフィルタ、レンズ、ミラー、絞り、スクリーン、光源、センサなどの付加的なコンポーネントを追加導入することを要さず、方法の実行中にモバイル機器と被測定物の間にそのようなコンポーネントを配置することも要さない。
測定イメージをキャプチャする前に、カメラがオフにされるか、又は動作停止されることで自動的に実行され得る前処理ステップを想定してもよい。例えば、キャプチャされたイメージの色温度の調整を想定してもよいが、色温度の調整は、カメラがオフにされるか、又は、色温度が例えば固定値に設定され次に測定イメージを評価するときに考慮されることで、自動的に実行される。これはそれぞれ、感度、露出時間及びホワイトバランスなどのカメラの他のキャプチャ/記録パラメータの自動調整に適用する。
従って、スクリーンの自動輝度調整(制御ユニットによる)がオフにされ、照明が例えば最高可能輝度に設定されることを想定できる。
モバイル電子機器のスクリーンは一般に、主に可視スペクトル領域内に、又は可視スペクトル領域内に限定して、即ち400nm〜約800nmの波長の光を発する。スクリーンは典型的にカラースクリーンであり、従って、カラーイメージを表示するように構成される。スクリーンは例えば幾つかのカラーチャネルを備え得る。スクリーンはチャネル固有のスペクトル発光特性を有し、それは以後、カラーチャネルそれぞれにおいてD(λ)と表示される。従って、カラーチャネルで発光された光は、このカラーチャネルで予め定義されたスペクトル強度分布を有し、スクリーンで提示され得るスクリーンの基本色に対応する。例えば、スクリーンは赤色カラーチャネル、青色カラーチャネル及び緑色カラーチャネルを備え得る。因ってカラーチャネルの色、従って例えば赤色、緑色及び青色は、スクリーンの基本色を表す。スクリーンとカメラは典型的に人間の視覚系に適合されている。約485mnまでの波長の可視光は青色として知覚され、約500nm〜約550nmの波長の可視光は緑色として、約630nmの波長の可視光は赤色として知覚される。従って、赤色カラーチャネルは(主に)赤色波長領域で発光し、緑色チャネルは(主に)緑色波長領域で発光し、スクリーン光の青色カラーチャネルは(主に)緑色波長領域で発光する。
スクリーンは典型的に、スクリーンの全体グリッド内に配置され、スクリーンの像点(ピクセル)を形成し、スクリーンの全イメージ領域を合同で満たす複数の光学素子を備えている。するとカラーチャネルそれぞれはスクリーンの光学素子のサブセットによって形成され、前記光学素子のスペクトル発光特性は、それぞれのカラーチャネルのチャネル固有のスペクトル発光特性に対応する。スクリーンの各像点は例えば、異なるカラーチャネルに属する一組の隣接する光学素子によって形成される。共通の像点に属する異なるカラーチャネルの光学素子はスクリーンのサブピクセルとも呼ばれる。各カラーチャネルの光素子はそれぞれグリッドに配置される。カラーチャネルのグリッドは互いに空間的に重畳され、従ってスクリーンの像点の全体グリッドを形成する。
モバイル電子機器のカメラは典型的にカラーカメラであり、それは故に約400nm〜約800nmの波長での光に感応し、幾つかの異なるカラーチャネルを備えている。カメラは典型的に、カラーチャネルそれぞれに関してチャネル固有の感度を含み、前記感度は以後C(λ)とも表示される。例えば、カメラは赤色カラーチャネル、青色カラーチャネル及び緑色カラーチャネルを有し得る。多くの場合、対になったカメラのカラーチャネルの波長領域がスクリーンのカラーチャネルに大部分(典型的に大部分、しかし完全にではなく)対応する。
カメラのカラーチャネルそれぞれは、イメージセンサのセンサ素子のサブセットによって形成され、そのスペクトル感度はカメラのそれぞれのカラーチャネルのチャネル固有のスペクトル感度に対応する。カメラのイメージセンサの各センサユニットは、例えば、カメラの異なるカラーチャネルに属するイメージセンサの一組の隣接するカラーチャネルによって形成される。従って各カラーチャネルのセンサ素子はそれぞれ、イメージセンサに渡って延在するサブグリッドに配置されている。異なるカラーチャネルのセンサ素子のサブグリッドは互いに空間的に重畳し、それによってイメージセンサのセンサユニットの全体グリッドを形成する。例えば、赤色カラーチャネルのセンサ素子は赤色光に最も感応し、緑色カラーチャネルのセンサ素子は緑色光に最も感応し、青色カラーチャネルのセンサ素子は青色光に最も感応する。赤色光は例えば約605nm以上の波長を有し、緑色光は約555nmの波長、青色光は約450nm以上の波長を有する。異なる色に関する波長領域の更なる例は上記に記載されている。
例えば、モバイル電子機器の制御ユニットは、以下によって、所定の照明イメージシーケンスの照明イメージのうち1つ以上又はそれぞれを表示するようにモバイル電子機器のスクリーンを作動させるように構成される:
−スクリーンの単一のカラーチャネルのみの光学素子を作動させることによって、また、このカラーチャネルの全ての作動された光学素子を、このカラーチャネルに関して予め定められた均一な輝度値で作動させることによって、又は、
−幾つかのカラーチャネルの光学素子を作動させることによって、また、全ての作動された光学素子を、それぞれのカラーチャネルに関して予め定められた均一な輝度値で作動させることによって、又は、
−上述の均一な輝度値を勾配と置き換えることによって。均一な輝度値で作動される代わりに、所与のカラーチャネルの作動された光学素子は、例えばこのカラーチャネルに関して規定された勾配に従って互いに異なっている異なる輝度値で作動され得る。それぞれのカラーチャネルの勾配は例えば、全スクリーンにわたり例えば均一であり得る(即ち、一定である)予め定められたベクトルであり得る。すると、このカラーチャネルの光学素子の輝度値は、勾配ベクトルの大きさに従って、勾配ベクトルの方向に沿って均一に増加する(又は代替的に均一に減少する)。
カラーチャネルの光学素子の作動は、例えばこれらの光学素子をオンにすることによって、又は、光学素子の最小可能輝度値よりも大きな均一な輝度値で作動させることによって行われ得る。作動された光学素子によって、被測定物の可能な限り明るい照明を達成する為に、それぞれの均一な輝度値は好ましくは、光学素子の最大可能輝度値に対応する。
従って、残りのカラーチャネルのそれぞれの作動されていない光学素子は、オフにされて、オフのままを保つか、又はそれぞれ最小可能輝度値で作動され得る。
均一な輝度値での作動は、それぞれの照明イメージが均一な色を有することを可能にし、それによってスクリーンの各像点がこの均一な色で照明することを可能にするか、又は、照明イメージがスクリーン全体をフィルしない、例えば、このスクリーンのイメージ領域全体をフィルしない場合、オフにされるか、又は最小可能輝度のみで照明する。こうして、被測定物は、スクリーンによって、均質な態様で、予め定められたスペクトル強度分布の光で空間的に照明され得る。
例えば、スクリーンの単一のカラーチャネルのみが作動された場合、スクリーンはスクリーンのそれぞれの基本色、例えば、赤色、緑色又は青色で均一に照明する。例えば、照明シーケンスは、赤色照明イメージ、緑色照明イメージ及び青色照明イメージ、又はこれらの照明イメージのうち1つか2つのみを包含し得る。制御ユニットは例えば、スクリーンを以下のように作動させるように構成される:
−スクリーンの赤色カラーチャネルのみの光学素子を作動させ、赤色カラーチャネルの全ての作動された光学素子を、赤色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって赤色照明イメージを表示する、
−スクリーンの緑色カラーチャネルのみの光学素子を作動させ、緑色カラーチャネルの全ての作動された光学素子を、緑色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって緑色照明イメージを表示する、及び/又は、
−スクリーンの青色カラーチャネルのみの光学素子を作動させ、青色カラーチャネルの全ての作動された光学素子を、青色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって青色照明イメージを表示する。照明イメージのシーケンスは任意であり得る。
幾つかのカラーチャネルを作動させることによってスクリーンの基本色の均一な混合がもたらされ得る。照明イメージのうち1つは例えば白色照明イメージであり得るが(以後白色イメージとも呼ぶ)、それに関してスクリーンの全光学素子が作動されると共に、最大可能輝度値で作動される。更なる照明イメージは例えば黒色照明イメージであり得るが(以後黒色イメージとも呼ぶ)、それに関してスクリーンの全光学素子がオフにされるか、動作停止されるか、又は、最小可能輝度値で作動される。白色照明イメージと黒色照明イメージは例えば、残りの測定イメージを較正する為、及び周囲光の影響を推定する為に用いられ得る。周囲光の影響を考慮する為に或る最大及び最小輝度に基づく較正は、例えば線形関数(シフティングとスケーリング)によって達成され得る。較正は、例えば、イメージ内の暗領域を強調する為に、又はイメージ内の明領域を低減する為に、非線形関数によっても達成され得る。
照明イメージを規定する為に、以下の照明パラメータのうち1つ以上が例えば用いられ得る:
−それぞれの照明イメージを表示するとスクリーンによって発光される光のスペクトル組成、及び/又は、
−スクリーンの各カラーチャネルに関して、均一な輝度値及び/又は、
−それぞれの照明イメージでフィルアウトされるスクリーン領域、特に、スクリーン領域のサイズ及び形状、及び/又は、
−スクリーンの全イメージ領域内で、それぞれの照明イメージによってフィルアウトされるスクリーン領域の配置。
照明イメージそれぞれは典型的に連続している。例えば、照明イメージのうち1つ、幾つか、又はそれぞれが、スクリーンの全イメージ領域を完全にフィルアウトしてもよい。しかしながら、照明イメージのうち1つ、2つ以上又はそれぞれが、スクリーンの全イメージ領域の一部の領域のみを満たすことも可能であり、スクリーンは典型的に、照明イメージによってフィルアウトされる一部領域の外部では黒色である(即ち、光学素子はオフにされるか又は作動されず、照明しないか又は最小可能輝度のみで照明する)。照明イメージによってそれぞれフィルアウトされるスクリーン領域は、スクリーンの全イメージ領域の例えば少なくとも1/6、1/5、1/4、1/3、1/2又はそれ以上に対応する。例えば、照明イメージシーケンスはスクリーンの全イメージ領域の概ね1/RのみをそれぞれフィルアウトするR照明イメージを備えてよく、Rは典型的に2より大きい自然数であり、例えば、20未満である。典型的にRは3〜10の間にある。例えば、R=3、4、5又は6である。典型的に、照明イメージのそれぞれフィルアウトされた部分領域は、スクリーン上で互いに重複しない。
照明イメージのフィルアウトされた部分領域は、スクリーンの全イメージ領域内の同じ位置に配置され得る。しかしながらその場合照明イメージは、典型的に、少なくともその色において互いに異なっている。代替的に、照明イメージがその色において異なっているばかりでなく、スクリーン上へのその配置において異なっていることも可能である。更に、照明イメージがその色では異ならないが、スクリーン上へのその配置のみが異なっていることも可能である。
例えば、照明イメージのそれぞれ個々のイメージ内容は、単色態様でフィルアウトされた領域(典型的に、言及した部分領域を完全にフィルアウトする領域)であり得、その色は例えば、上述したように、スクリーンの基本色(例えば、赤色、緑色又は青色)又は白色のうち1つ(全カラーチャネルが同じ、好ましくは最大輝度を有する)である。
照明イメージが同色を有し、それらのスクリーン上での位置のみが異なる場合、照明イメージは典型的に、単色態様でフィルアウトされる領域(それぞれの部分領域を完全にフィルアウトする)であり、色は例えばいずれの場合にもスクリーンの同じ基本色(例えば、赤色、緑色又は青色)又は白色である(全カラーチャネルが同じ、好ましくは最大輝度を有する)。
例えば、スクリーンの全イメージ領域は、上縁、下縁、左縁及び右縁を備えてよく、照明イメージのフィルアウトされた部分領域は、スクリーンの全イメージ領域の上縁からのそれらの距離が互いに異なっており、レンズはスクリーンの全イメージ領域の上縁の上方に配置されている。
例えば、照明イメージシーケンスは、以下の更なる照明パラメータのうち1つ又はいくつかによって規定され得る:
−照明イメージの総数
−照明イメージのシーケンス
−照明イメージの表示持続時間
−個々の照明イメージの表示間の時間間隔
照明イメージの総数は例えば、カメラとスクリーンのカラーチャネルの個数から得られる。例えば、後者が両方とも互いに対応する3カラーチャネル(例えば赤色、緑色及び青色)を有している場合、照明イメージシーケンスは、少なくとも3つの照明イメージを備えてよく、各カラーチャネル(赤色、緑色及び青色)向けに特定的に1つずつがある。付加的に、照明イメージシーケンスは上記の白色イメージと黒色イメージを備えてよく、その場合結果として、照明イメージシーケンスは例えば(少なくとも)5つの照明イメージを備える。シーケンスは例えば任意の方式に設定され得る。表示持続時間は、少なくとも、イメージセンサが、測定イメージをキャプチャしながら適切に照明されるに十分な程長く選択されなければならない。表示持続時間は典型的に、10ms〜500msの範囲、好ましくは100ms〜200msの範囲にある。照明イメージは典型的に時間的に連続した方式で表示され、同時には表示されない。個々の照明イメージの表示の間の時間間隔は典型的に1ms〜20msの間の範囲、好ましくは5msから10msの間の範囲にある。従って、測定イメージをキャプチャする為の総持続時間は典型的に60ms〜3000msの範囲にある。
記録された測定イメージそれぞれは、多数の像点並びに、それぞれの像点に割り当てられたイメージデータを備えている。上述のように、システムは評価ユニットを備えることができ、評価ユニットは、機器の一部(例えば機器のプロセッサの論理又は集積ユニットとして)、又はシステムの別のコンポーネント(例えばこのそれぞれのコンポーネントの論理又は集積ユニット)の一部、例えばコンピュータサーバの一部であり得る。
例えば、評価ユニットは、例えばコンピュータプログラム製品によって、測定イメージの諸像点をマージして、マージされた像点のイメージデータを、それぞれマージされた像点の測定データセットにグループ化するように構成される。像点のマージ処理は、典型的に測定イメージのイメージレジストレーションによって行われる。するとマージされた像点は単一のレジスタされた測定イメージを形成し、レジスタされた測定イメージの像点はそれぞれ割り当てられた測定データセットを含む。
記録されたイメージデータの更なる処理は、好ましくはこれらの測定データセットを用いて行われる。個々の測定イメージの個々の順次評価の代わりに、評価は全測定イメージにわたり行われることができ、また記述した測定データセットの使用によって全測定イメージに関して同時に行われ得る。測定イメージのイメージデータから得られる測定データセットは、測定イメージ内の共通の配置位置にそれぞれ割り当てられ、照明イメージシーケンス中にキャプチャされた測定イメージのうち一部又は全部の測定データを含む、例えば(ハイパー)スペクトルデータセット(更に以下ではスペクトル指紋とも呼ぶ)を表す。提案される測定データセットの使用によって(マージされた像点の測定データセットがそれぞれ個別に処理されることによって)測定データを空間分解方式で処理することが可能である。ここで、各測定データセットは、他の測定データセットから独立しており、測定されたデータセットによってそれぞれイメージングされる物体領域内の物体の局所的特性に依存する測定として理解され得る。カメラの解像度に依存した、測定データセットのうち1つによってそれぞれ提示される多数の個別の測定がこうして、提案される測定方法の一度限りの実施によってもたらされる。各測定で生じるデータセットが多数である為、測定データセットは特に、例えば分類方法、例えば人工ニューラルネットワークなどの機械学習の訓練アルゴリズム用の学習データとして適している。従って、測定データセットはそのようなアルゴリズムによる評価に丁度よく適している。評価ユニットは好ましくは、例えば分類方法、例えば人工ニューラルネットワークなどの機械学習の方法によって訓練されるか訓練可能であるアルゴリズムによって測定データセットを評価するように構成される。測定データセットのデータフォーマットも、照明イメージシーケンスが予め定められているという事実により、対応する方式で予め定められている。特に、照明イメージシーケンスの定義により、測定データセットのどのコンポーネントがどの照明イメージに属するか(因って例えばどの波長領域に属するか)を事前に決定できる。そのような決まった割り当ては、特定のデータフォーマットを処理する為に典型的に特定のデータフォーマットを要する、又はプログラムされている予め定められた評価アルゴリズム又は較正モデルによって測定データセットの更なる処理を簡略化する。
典型的に、測定イメージのイメージ変換、例えば(局所的)座標変換(回転、並進移動、傾斜及び/又は(局所的)リスケーリング、サブピクセル補間)が、測定イメージのキャプチャ中に、機器と被測定物の間の相対移動を補償又は差し引く為に、測定イメージのイメージレジストレーションが必要である。理想的な場合には、測定イメージの像点間に1:1対応が存在するが、典型的には1:X対応であり、X≠1である。X≠1である場合、マージされた像点の測定値は典型的に、測定データセットを決定する為に補間又は平均化される。
例えば、物体認識アルゴリズムが、測定イメージに基づいて、好ましくはレジスタされた測定イメージに基づいて、測定イメージ内の、又は被測定物をイメージングするレジスタされた測定イメージ内のこれらの像点を認識する為に実行され得る。これらの像点は以後、物体像点と呼ばれる。これらの認識された物体像点それぞれは、測定イメージ内又はレジスタされた測定イメージ内の物体の表面上の部分領域をイメージングする。これらの部分領域は以後、物点と呼ばれる。例えば、物体認識アルゴリズムは「領域成長」アルゴリズムを備え得る。第1の像点はこのアルゴリズムの開始時に定義され、その像点では物体像点であると仮定される。例えば、測定イメージのうち1つの、又は、レジスタされた測定イメージのうち1つの中間の像点は第1の像点として定義され得る。代替的に、第1の像点はユーザによってユーザインターフェースを介して、例えば、スクリーンで表示された測定イメージ上の領域をマークすることによって、又は、特にスクリーンがタッチスクリーンとして設計されている場合に、表示されたレジスタされた測定イメージをマークすることによっても定義され得る。次に、隣接する像点の測定データセットが、第1の像点の測定データセットとどの程度大きく異なるかに関して調査する。隣接する像点も同様に物体像点として分類されることで、適度に低い偏差のみが与えられる。このアルゴリズム(それぞれ新規として分類された物点から開始して)は、更なる像点が物点として分類されなくなるまで繰り返されか反復される。
スクリーンとカメラが幾つかのカラーチャネルを有し、照明イメージがその色において異なっていれば、上述のように、測定データセットそれぞれは、被測定物の関連する物点における被測定物の所謂「スペクトル指紋」であり得る。スクリーンが例えばM個のカラーチャネルを有しカメラが例えばN個のカラーチャネルを有する場合、測定データセットそれぞれはM×N個又はそれ以上の測定値を備え得る。例えば、照明イメージはスクリーンの各カラーチャネルに関して表示されることができ、これらの照明イメージそれぞれに関して測定イメージがキャプチャされ、カメラの個々のカラーチャネルにおいて測定された輝度値は、測定データセットに、個々の測定値として含まれる。物点の測定データセットの(第1の)M×N測定値はここで、例えば、カメラのカラーチャネルとのスクリーンのカラーチャネルの異なる可能な組み合わせに対応する。例えば、カメラとスクリーンがそれぞれ赤色、緑色及び青色のカラーチャネルを備える場合、M=3でN=3であり得る。上述の白色イメージと黒色イメージが付加的に表示され、各場合に測定イメージがキャプチャされる場合、各測定データセットは(M+2)×N測定値を備え得る。
カメラとスクリーンがそれぞれ幾つかのカラーチャネルを備えている場合、被測定物の物点又はその物体像点に属する測定データセットは、以後F(d,c)とも呼ばれる。指数dは照明イメージの色(又はスクリーンのカラーチャネル)を記述し、例えば数値的に定義されることができ、上記の例によれば、例えば、1≦d≦M又は1≦d≦M+2を満たし、例えばM=3である。代替的に、指数dは対応する文字によって定義されることもでき、上記の例によれば、例えばd={r,g,b}又はd={r,g,b,w,s}を満たし、r、g、bはスクリーンの赤色、緑色及び青色カラーチャネルを、又は各赤色、緑色及び青色照明イメージをそれぞれ表し、wは白色イメージを、sは黒色イメージを表す。従って、カメラのカラーチャネルを表す指数cもまた、数値的に定義されることができ、上記の例によれば、例えば、1≦c≦Nを満たし、例えばN=3である。代替的に、指数cは対応する文字によって定義されることができ、上記の例によれば、例えばc={r,g,b}を満たし、r、g、bはそれぞれカメラの赤色、緑色及び青色カラーチャネルを表す。例えば、測定データセットに含まれる測定データは、表の形式で提示され得る。d={r,g,b,w,s}及びc={r,g,b}は例えば以下である。
Figure 2020507103
例えば、F(d,c)は、被測定物のそれぞれの物点に関する輝度値を含み、前記輝度値は、カメラのカラーチャネルcのセンサ素子による基本色dの照明イメージでの照明中で測定されている。
しかしながら、個々の像点の測定データセットは色情報のない総輝度値でもあり得る。例えば、測定データセットは所謂「光沢測定ベクトル」であり得、それは以後G(a)とも呼ばれ、指数aは照明イメージシーケンスの個々の照明イメージを表す。
例えば、上述のように、R照明イメージが提供されることができ、これらは、上述のように、それぞれ総スクリーン領域の1/Rをカバーし、典型的に互いに重複しない。それらはスクリーン上の位置において異なっており、一体となって(これらが同時に表示されるとすると)、スクリーン全体をカバーする。照明イメージのフィルアウトされた部分領域は、スクリーンの全イメージ領域の上縁へのそれらの距離において互いに異なっており、レンズはスクリーンの全イメージ領域の上縁の上方に配置されている。更に、照明イメージシーケンスは、既に上記で述べた白色イメージと黒色イメージを備え得る。すると指数aは例えば数値的に定義されることができ、例えば1≦a≦R又は1≦a≦R+2を満たす(白色イメージと黒色イメージで)。R=3の「光沢測定ベクトル」G(a)は例えば、以下の成分を有する。
Figure 2020507103
典型的に、それぞれの部分領域内のスクリーンの全カラーチャネルは、これらの照明イメージが白く見えるように最大可能輝度値で作動される。例えば、光沢測定ベクトルG(a)は各指数aに関する総輝度値を備え、前記総輝度値は、各指数aの照明イメージでの照明の元で、それぞれの物体像点におけるカメラの全センサ素子で測定されている。
しかしながら、原則として、照明イメージシーケンスがスペクトル組成又は色において他とは異なる、並びに、上述のように、それぞれフィルアウトされた部分領域の位置aが異なっている照明イメージを備えることも可能である。例えば、上記のスペクトル指紋F(c,d)が各位置aに関して取得されることができ、このカラー照明イメージは、この位置aにおいてのみ、言及された部分領域をフィルアウトする。こうして、それぞれの物点における被測定物のスペクトル反射特性並びに光沢に関する情報を含む測定データセットH(c,d,a)が各物点に関して生成され得る。
例えば、被測定物の光沢特性に関する情報が、光沢測定ベクトルG(a)並びに測定データセットH(c,d,a)によって取得され得る。多くの他の可能な例、例えば、(人間又は動物の)毛、又は互いに隣接している多くの(人間の)髪によって形成される表面が、被測定物として考慮され得る。
照明イメージシーケンス中に測定イメージをキャプチャすることによって、測定イメージ内の像点又は物体像点の個数に依存して数百、数千又は数百万の被測定物の測定データセットが生成され得る。
例えば、評価ユニットは、例えば上記のスペクトル指紋F(c,d)、光沢測定ベクトルG(a)及び/又は測定データセットH(c,d,a)などの1つ、いくつか、又は各々の測定データセットを、少なくとも1つの予め定められた測定データセットと比較するように構成され得る。この比較の結果は例えば、それぞれの測定データセットがそれぞれの基準データセットとどの程度大きく異なるかを測る測定値であり得る。例えば、少なくとも1つの基準データセットはフィーチャ空間内に定義されることができ、測定データセットは、測定データセットと基準データセットのフィーチャ空間内での比較を引き続いて実行する為に、比較前に評価ユニットによってこのフィーチャ空間に変換され得る。
幾つかの基準データセットを与えられた場合、1つの結果は、それぞれの測定データセットの差が最小である基準データセットの特定であり得る。例えばランキングが生成されることができ、そこでそれぞれの測定データセットの基準データセットとの違いが少ないほど、この基準データセットが得るランクが上になる。それぞれの測定データセットの分類は、最高ランクの基準データセットを特定することによって評価ユニットによって行われ得る。
測定データセットのうち幾つか又は全部を(幾つかの)基準データセットと比較した後で、説明したランキングのトップに来る基準データセット、また、例えば最高ランクを最も高頻度で取得し、従って、最高総ランク(「多数決」により)を取得した基準データセットが特定され得る。被測定物の分類は全体としてこれによって評価ユニットによって行われ得る。
最高総ランキングで特定された基準データセットは、例えばユーザインターフェースを介して、例えば機器のスクリーンを介して測定結果として出力され得る。最高総ランキングで特定された基準データセットの代わりに、この基準データセットに対応する、又は被測定物の分類に対応する方式で対応する被測定物の特性も出力することができる。
本発明の幾つかの実施例は、記録された測定値の収集及び記憶のタイプ並びにそれらの、アプリケーション固有基準値とのそれらの比較に関する。一部の実施形態では、例えば、個々の測定データ又は測定データセット(スペクトル署名)の収集及び記憶、及びそれらの、データバンクからの対応するそれぞれの基準値(スペクトル署名)との直接比較は、評価ユニットの、アプリケーションに固有の実施形態の間に実行されない。例えば、全測定値にわたり実行された、記録された測定値の特性特徴の包括的収集及び記憶が行われることができ、例えば、これらの特性特徴と、同じ方式で決定された基準の特性特徴との比較が、アプリケーション固有の重み付けによって、例えば、人工ニューラルネットワークのシナプス要素で、又は、例えば分類方法などの機械学習の他の方法の同等のモジュールで実行され得る。モデルベース分析は、基準パターンとの単純な比較以上のものであり、代わりに、特定のケースのアプリケーション向けに実行され、アプリケーションドメイン内の測定信号の予測される典型的な偏差をカバーし、測定値から決定を導出する黙示的モデルを構築する系統的且つ包括的測定キャンペーンである。
評価ユニットは、測定データセットと基準データセットの前述の比較を、相応に訓練又は最適化された人工ニューラルネットワークによって実行するように構成され得る。測定データセットの、また被測定物全体の測定データセットの言及された分類は、この場合、この人工ニューラルネットワークを元に例えば数学的分類モデルによって行われ得る。人工ニューラルネットワークは、例えば2層又は2層を超える層、特に隠れた(内部)層を有し得る多層パーセプトロンであり得る。
例えば、測定タスクを解決する為に必要である、記録された測定データとアプリケーション関連情報の間の数学的関係のマッピングは、従って、予め定められた式の体系の解に基づく固定様式では行われず、自由に構成可能でありパラメータ化されるアルゴリズム、好ましくは機械学習分野からアプリケーションに固有の方式で行われる。
人工ニューラルネットワークは、訓練ケースによって訓練され得る。例えば、モニタ付き学習方法を与えられると、複数の訓練ケースはそれぞれ、入力ベクトルと出力ベクトルによって与えられ得る。提案される方法で生成され、その特徴的な特性が例えば前述の手法に従って決定されている既知の被測定物の測定イメージの前述の測定データセットが、入力ベクトルとして働き得る。典型的に、特徴的特性は単一の測定データセットから導出され得ず、多くの測定データセットの特性の一般化として決定され、言わばそれらは黙示的に決定される。測定イメージとは別個に取得され、被測定物の関心対象の特定の特性(例えば化学的組成、熟度、光沢特性又は、被測定物の関心対象の他の特性)を特徴づける測定値は、出力ベクトルとして働き得る。人工ニューラルネットワーク(即ちそのパラメータ)は、例えば誤差フィードバック(バックプロパゲーション)によってこれらの訓練ケースに関して後に最適化される。そのような技法に関する更なる詳細は、以下の学術書から例えば導き出され得る:
R.ロジャス(R.Rojas)著「ニューラルネットワークの理論:系統的導入(Theory of neural networks: A systematic introduction)」、シュプリンガー(Springer),1996年
R.ブラウス(R. Brause)著「ニューロンネットワーク:ニューロインフォマティクスへの導入(Neuronal networks: An introduction into neuroinformatics)」トイブナー(Teubner),1995年
J.ルンツェ(J. Lunze)著「エンジニアの為の人口知能(Artificial intelligence for engineers)」オルデンブルグ(Oldenbourg),2010年
予め定められた少なくとも1つの基準データセットは、モバイル電子機器、又は例えばコンピュータサーバ若しくはクラウド等のシステムの別のコンポーネントの、例えば内部メモリ等のデータメモリに記憶され得る。評価ユニットは、このデータメモリに自動的にアクセスして、説明された比較を実行できる為にデータメモリから基準データセットを取り出すように構成され得る。例えば、評価ユニットは、ユーザインターフェースを介した入力に依存して基準データセットの要求を実行するように構成され得る。例えば、調査されることになっている被測定物のタイプと、この被測定物のどの特性を調査するかを、ユーザインターフェースによって入力することが想定され得る。
評価ユニットは、測定データセットを評価するにあたり、カメラのスペクトル感度C(λ)又はスクリーンのスペクトル発光特性D(λ)又はそれら両方を考慮に入れるように構成され得る。(指数c及びdについては上記で説明済みである)。こうして、例えば、異なるスクリーンとカメラによって取得されている測定データセットの相互比較性、特に、前述のスペクトル指紋F(d,c)の、又は光沢測定ベクトルG(a)の相互比較性を改良することが可能になる。カメラのスペクトル感度C(λ)とスクリーンのスペクトル発光特性D(λ)は分光計によって測定されても、又は、それぞれの製造者の仕様から導出されてもよい。
上記の評価に加えて、又は上記の評価に代わって、評価ユニットは、カメラのスペクトル感度C(λ)とスクリーンのスペクトル発光特性D(λ)を考慮に入れながら測定データセットからの被測定物反射特性を決定するように構成され得る。言及した反射特性に関して、これは例えば、被測定物の反射度(それぞれの物点における)の、光の波長への依存性を測る被測定物の反射スペクトル(それぞれの物点における)であり得る。決定された反射スペクトルは多くの場合、被測定物の(少なくともその表面上での)(生)化学的組成又はこれに相関する被測定物の特性に関する情報を可能にする。
一般に、1つの物点における被測定物の測定された「スペクトル指紋」F(d,c)と、この物点における関心対象被測定物の実(未知)反射スペクトルS(λ)との間の関係は、波長領域全体にわたる積分として数学的に記述され得る:
Figure 2020507103
スクリーンのd={r,g,b,w,s}でのスペクトル発光特性D(λ)及びカメラのc={r,g,b}でのスペクトル感度C(λ)は、上記のように定義される。波長AとAk+1の間のそれぞれの波長領域[AAk+1]にわたる平均値としてのスペクトルチャネルSは、ΔA=Ak+1−Aによって定義され得る:
Figure 2020507103
するとスペクトル指紋F(d,c)の成分は、概ね、スペクトルチャネルSにわたる合計として、従って以下として見られ得る:
Figure 2020507103
それぞれの機器に固有の係数は以下である:
Figure 2020507103
スペクトルチャネルSは機器固有の変数D(λ)及びC(λ)に依存せず(又は比較的低度にのみ依存する)、従って、全タイプの機器にわたる適用に特に非常に適している。スペクトルチャネルSは典型的にディスプレイの、また、カメラの全スペクトル波長領域を包含する。機器固有変数D(λ)及びC(λ)が既知でありスペクトル指紋F(d,c)の測定値を与えられて、スペクトルチャネルSが未知である式の体系(式3)をもたらす。式の体系が適切に線形独立している場合、解を得たことになり、追求しているスペクトルチャネルSを得たことになる。スペクトルチャネルSの個数と位置は、この為に適切に選択され得る。しかしながらスペクトルチャネルSの個数が多く選択され過ぎた場合、式の体系はもはや適切に線形独立しないことになる。一部の適用例、例えば市販のスマートフォンでは、式の体系は多くの場合、例えば5乃至6の個数のチャネルとしてSを解決できる。一部の場合では、非線形効果を用いてより多数のチャネルSが達成され得る。計算され得るそれぞれの機器に対するチャネルSの可能な個数と位置は一般に、機器固有の変数D(λ)とC(λ)の差に、又はノイズの影響に依存する。一部の場合では、例えば15チャネルSも達成され得る。
上記の方式で決定された反射スペクトルS(λ)は、精度に限りがある概算である。それにもかかわらず、これによって有用な適用が実施され得る。
スペクトルチャネルSに代わって又はスペクトルチャネルSに加えて、言及した反射特性は例えば、被測定物への光の入射角(それぞれの物点における)への、被測定物反射度(それぞれの物点における)の依存性であり得る、又は依存性を含み得る。多くの場合、角度依存性反射度は、表面の光沢の客観的推論、従って、被測定物の表面に指向された反射光(分散反射光と対照的に)のシェア分への客観的推論を可能にする。例えば、この角度依存反射度は、各物点に関する前述の光沢測定ベクトルG(a)に基づいて、又は測定データセットH(c,d,a)に基づいて決定されてよく、或いは定量的に推定されてもよい。非常に光沢のある表面の場合、表面の角度依存性反射は典型的に、測定された反射光路の出射角が、入射ビームの入射角に厳密に対応する場合に、特に高く狭い強度最大値を示す。例えば、個々のピクセルの輝度のヒストグラムが計算され得る。例えば、角度に対する反射の寸法値(スクリーンの現在照明されている部分に対応する)が、ヒストグラム又はその特性を元に、例えば閾値又はヒストグラムの分析によって計算され得る。
測定データセットの文脈で既に説明したように、特に、スペクトル指紋F(c,d)、光沢因子G(a)及び測定データセットH(c,d,a)の文脈において、評価ユニットは付加的に、又は代替的に、被測定物の決定された反射特性、従って例えばスペクトルチャネルS又は角度依存性反射度の決定された値を、少なくとも1つの予め定められた基準反射特性と比較するように構成され得る。
非常に軽微ではありながらも完全に排除することはできない特性の機器依存性変動、特にスクリーンの、またモバイル機器(例えばスマートフォン)のカメラの特性の機器依存性変動の背景に対して、例えば、機器固有較正が、測定精度を増加させる為に実行されてよい。好ましくは、この材料の、従ってスペクトル特性の可能な限り低い変動を特徴とする既知の較正規準の一度限りの、又は繰り返される測定が、モバイル機器(例えばスマートフォン)で実行され得る。測定に関して、ここで提案される測定方法がモバイル機器で実行され、言及した較正規準の測定イメージがこうして生成される。引き続いて、測定によって取得された、スペクトルチャネルSの又は前述の反射特性の、例えば前述の測定データセットの形式での測定セットの、例えば評価ユニット内又はモバイル機器の内部データメモリ内に記憶されたこの較正規準の対応する基準データセットとの比較が行われる。この基準データセットは例えば、1つ以上の較正規準の使用によって、非常に精密な方法によって事前に決定されている。例えば、機器固有の変数D(λ)及びC(λ)の値は、スペクトルチャネルSの測定データの、スペクトルチャネルSの対応する基準値との比較に基づいて新たに計算され、将来の測定で使用する為に記憶され得る。例えば、制御ユニット及び/又はモバイル機器の評価ユニットは、較正に必要である変数D(λ)及びC(λ)の新たな計算を、機器の以前に作動された(例えばユーザによって、ユーザインターフェースを介して)較正モードで自動的に実行するように構成され得る。
例えばスペクトル的に特に一定である材料(PTFE、テフロン(登録商標))の、市販でありスペクトル較正された/特徴較正規準が、上述の較正規準の設計として用いられ得る。特に消費者によって好まれる使用及び、コストを伴う付加ハードウェアの意図的な回避に関する更なる設計可能性は、一般に容易にアクセス可能であり、紙幣などの別の用途を実際備えた可変度の少ない物体を較正規準として使用することにある。
上述の、特にモバイル機器(例えばスマートフォン)のスクリーンとカメラの特性の機器固有の変動が機器の通常の寿命と貯蔵寿命中に変化しないと仮定すると、この機器固有の較正は典型的に一度のみ必要である。特にモバイル機器のスクリーンとカメラの特性の機器固有の変動が大きい場合(例えば過度の磨耗によって)、この較正は基本的に、発生している変動を考慮に入れる為に望むだけ頻繁に繰り返され得る。そのような変動は、提案される較正によって低減され得る。これは、スマートフォン及び消費者向けの同等のモバイル機器の場合に特に有利であるが、それは、そのような機器が、ディスプレイの発光挙動並びにカラーカメラのフィルタ特性において多くの場合異なっており、多くの場合これらの特性が、大量の労力を伴う測定技術でのみ直接得ることができるからである。
異なるアプリケーションがシステム、方法及びコンピュータプログラムに生じ、そのアプリケーションのうち一部が、例として列挙され、アプリケーションコンプレックスに従ってソートされる。被測定物の例、関心対象のそれぞれの被測定物の可能な特性の例並びに推奨行動の例を列挙する。
アプリケーションコンプレックス1:
人−医薬:
−肌質
−髪質
−髪色
−変色(黒子、黒色腫)
−傷の治癒、炎症の色
−疾患(例えば、代謝性疾患、感染症、アレルギー)及び/又は髪又は肌(動物の場合は毛皮)における特定の変化に基づいて不全の発現を認識、客観的に査定及び/又は文書化する。例えばそれぞれの疾患の治療に関して、不全症状の治療に関して、栄養を最適化する為の、髪又は肌(動物の場合は毛皮)の手入れを最適化する為の、これに基づいた推奨行動の自動又は半自動推論(支援システムの文脈において)。例えば、ケア製品(例えばローション、シャンプー等など)又は特定の食料品(所謂「機能性食品」、果物、人工的に製造された食料品サプリメント製品等など)又は特定の食品原料成分(例えば、ビタミン、ミネラル等)が、栄養又は手入れを最適化する為に、例えば自動又は半自動方式で推奨され得る。

人−化粧品(ケア製品及び行動の推奨):
−肌質、肌色(全般的)
−化粧品の選択
−日焼け止めの選択
−染料の選択
−ケア製品の選択
−肌色(現在の)
−黒化度
−髪色(現在の)
−新たなカラーリング、カラーリングが必要か?

ペット及び家畜
−肌、毛皮
−ケア製品
−健康
アプリケーションコンプレックス2:
野菜製品の製造及び処理:
−農作物で生体内で、温室及び実験室で(あらゆるタイプの生物的及び非生物的ストレスで)栽培された製品の健康及び栄養状態を認識する
−農作物の農業生産の枠組み内で雑草と望ましくない植物を認識する
−収穫並びに貯蔵、販売及び更なる処理当時/その後の収穫物の品質パラメータを決定する
−収穫時/収穫後並びに貯蔵、販売及び更なる処理での、収穫物の望ましくない製品|物体|汚染|真菌及び害虫の侵入を認識する
植物栽培(選択)又は採種(品質保証)の枠組み内で種の数量パラメータを決定する
アプリケーションコンプレックス3:
レザー、毛皮、天然又は人造材料などのテキスタイルの特性を判定する
−色
−テクスチャ
−組成
−産地
−年齢
−清潔さ
−色のニュアンス、スタイルカウンセリング(どのテキスタイルがいつ適合するか)
アプリケーションコンプレックス4:
食料品(果物、野菜、魚、肉、きのこ、乳製品、加工食品)の特性を判定する
−貯蔵寿命
−鮮度、年齢、熟度
−純度、組成
−多様性
−処理度
−加工又は未加工
説明したアプリケーション例に関して、それぞれの言及した物体の測定イメージが例えば提案システムによってキャプチャされ、それらは次にシステムによって評価される。物体の特定の特性又はそれから派生する情報などの、各場合において関心対象である情報は、例えばモバイル機器の評価ユニットによって、システムによって決定される。例えば、それぞれの推奨行動が次に、このように決定された情報に基づいて(物体の決定された特性及び/又はこれから派生する情報)決定され得る。決定された情報及び/又は決定された推奨行動は、モバイル機器を介して、例えば、モバイル機器のディスプレイによって光学的に、及び/又はモバイル機器のラウドスピーカーによって音響的にユーザに出力され得る。例えば、ユーザが測定を実行する前にモバイル機器のユーザインターフェースを介して入力を請け負うことを想定してもよく、その入力によって被測定物の入力タイプ、関心対象である情報のタイプ及び/又は推奨行動のタイプが指定される。上記で既に述べたように、照明イメージシーケンスの照明パラメータ並びに測定イメージの評価はこの入力に依存し得る。
本明細書で提案されるシステム及び方法をもって、ユーザは物体の測定を実行でき、一般的に利用可能なモバイル機器によって、例えばスマートフォンによって単純な方式で、関心対象である物体の特性と、潜在的に、推奨行動の情報も得ることができる。本明細書で説明した実施例のうち多くの実施例では、システム又は方法は、モバイル機器と、系統的データ収集と、機械学習及びモデルベースのアプリケーション固有の認識の組み合わせである。この組み合わせによって、システムは、システムによる専門知識(例えば医者の知識)を学習する立場にもあることになり、例えば、どの特性からどの特定の推奨行動が導出され得るかを学習する立場にもあることになる。これによって、システムは場合によってはユーザを専門家に頼らなくてもよくし、更に、以前には存在しなかった配列でも使用され得る。
以下、本発明を図1乃至8に模式的に提示される特別な実施例によってより詳細に説明する。
本明細書で提案されるタイプのシステムの図である。 図1に示されるシステムのモバイル電子機器の図である。 乃至 図1に示されたシステムのモバイル電子機器の、正面から見た、それぞれ第1の照明イメージシーケンスの異なる照明イメージを表示した図である。 図1に示されたシステムのモバイル電子機器の、第1の照明イメージシーケンスの照明イメージと被測定物を示した側面図である。 乃至 図1に示されたシステムのモバイル電子機器の、正面から見た、それぞれ第2の照明イメージシーケンスの異なる照明イメージを表示した図である。 乃至 図1に示されたシステムのモバイル電子機器の、それぞれ第1の照明イメージシーケンスの異なる照明イメージと被測定物を表示した側面図である。 図1に示されるシステムの機器によって被測定物からキャプチャされた幾つかの測定イメージの模式図である。 本明細書で提案されるタイプの方法のステップでの流れ図である。
図において、同一の特徴又は互いに対応する特徴には同じ参照符号を付してある。
図1は、本明細書で提案されるタイプの、被測定物の測定イメージをキャプチャし評価する為のシステム1を示す。システム1は幾つかのモバイル機器2を備えるが、図1ではより全体を見やすくする為1つのみのモバイル機器2を提示している。この例においてシステム1は更に、例えばコンピュータサーバ又はPC又はクラウドなどの幾つかのコンピュータ3を備えるが、それらも同様にひとつのみが提示されている。以降の説明は機器2又はコンピュータ3それぞれに関し得るが、機器2のみ又はコンピュータ3のみが言及される。
図示の例において、機器2とコンピュータ3は、コンピュータネットワーク4を介して、例えばインターネット及び/又はクラウドを介して互いに接続されている。他の実施形態では、システムは更なるコンピュータ3を備えていない。
機器2は例えばスマートフォンであってよく、例えば、製造者アップル(Apple)のiPhone(登録商標)であってよい。しかしながら、機器2は、他の製造者のスマートフォン又は他のモバイル電子機器、例えばタブレットコンピュータであってもよい。
機器は、ハウジング5とカメラ6を備え、カメラ6は、カメラ6の観測領域内で被測定物の測定イメージをキャプチャする為にハウジング5に一体化されている。機器は更に、イメージの発光表示の為の、ハウジング4に一体化されたスクリーン7を備えている。スクリーン7はカメラ6の観測領域に面している。
図2は、機器2の幾つかのコンポーネントが示された、機器2の更なる模式図を示す。機器2は、ハウジングに一体化され、所定の照明イメージシーケンスの幾つかの異なる照明イメージを順次表示するようにスクリーン6を作動させるように構成された制御ユニット8を備えている。制御ユニット8は更に、所定の照明イメージシーケンスの各照明イメージの表示と同時に、被測定物の測定イメージをキャプチャするようにカメラ6を作動させるように構成されている。
機器2は、機器2のハウジング4に一体化されたインターネットデータメモリ9を備えている。インターネットデータメモリ9は、例えば揮発性及び不揮発性データメモリ、例えばRAM及びROMを、例えば1つ以上のソリッドステートドライブの形態で備えている。
ソフトウェアコードセクションを備えたコンピュータプログラム製品10が、機器2にロードされる。制御ユニットによって実行され得る命令が、ソフトウェアコードセクションに含まれている。これらの命令の実行にあたり、制御ユニットはスクリーン6及びカメラ5の前述の制御を実行すると共に、コンピュータプログラム製品が機器2で作動する場合に以下に説明する更なるステップを実行する。
コンピュータプログラム製品9はデータメモリ9に記憶されたコンピュータプログラムである。このコンピュータプログラムはコンピュータ3のデータメモリ11に、例えばコンピュータ3のハードディスクに、又はクラウドメモリにも記憶され、例えばコンピュータ3から機器2に、コンピュータネットワーク4を介してロードされている。
制御ユニット8は、プロセッサ12の(論理又は集積)ユニット、例えば半導体チップとして実現された電子回路の形態の、機器2の例えばメインプロセッサ(CPU)である。プロセッサ12は、データメモリ9にアクセスする為に、また特に、データメモリ9にロードされたコンピュータプログラム製品又はそのロードされたソフトウェアコードセクションを取り出して、その後上述のステップ(スクリーン7とカメラ6の同時作動)並びに更に後で説明するステップを(機器の制御ユニット8として)続いて実行する為に機器2のデータメモリ9に接続されている。
機器2は更に、同様に(デジタル)プロセッサ12の(論理又は集積)ユニットである評価ユニット13を備えている。評価ユニット13は、測定イメージを評価する為の方法ステップを実行するように構成される。コンピュータプログラム製品は、対応する命令が符号化された更なるソフトウェアコードセクションを備え、これらは、機器のプロセッサ12によって実行されることができ、その結果プロセッサ12は、これらの更なる命令を実行すると機器2の言及した評価ユニット13として機能する。
例えば、方法は、データ接続に依存しないように、及び/又は極秘データを保護する為に、伝送データをこうして極減する為に機器2によって完全に実行され得る。原則として、付加的に又は代替的に、対応する評価ステップが例えばコンピュータ3によって実行されることも可能である。この為、コンピュータは(同様に)相応に構成された評価ユニット14を備えることができ、それも同様にコンピュータ3のプロセッサ15の(論理又は集積)ユニットであり得る。測定イメージの評価が部分的に機器の評価ユニット13によって実行され、部分的にコンピュータ3の評価ユニット14によって実行されることも可能である。
この例での所定の照明イメージシーケンスは、以下に更に詳述する一組の照明パラメータによって完全に定義される。照明パラメータはモバイル電子機器2のデータメモリ9並びにコンピュータ3のデータメモリ11に記憶されている。例えば、コンピュータプログラム製品10のソフトウェアコードは、照明パラメータの定義と値を備えている。例えば、機器2のデータメモリ9への照明パラメータの自動記憶は、コンピュータプログラム製品10の機器2へのローディングによって行われる。前述の方法ステップを実行すると、制御ユニット8は機器2のデータメモリ9(又は代替的にコンピュータのデータメモリ11)から記憶された照明パラメータを検索し、次に検索した照明パラメータに基づいて所定の照明イメージシーケンスを決定し、次に、このように決定された予め定められた照明シーケンスの照明イメージを表示するようにスクリーン7を作動させ、これと同時に、測定イメージを記録するようにカメラ6を作動させる。
機器2のスクリーン7は、機器のユーザインターフェース16として機能するタッチスクリーンである。ユーザインターフェース16は特に、提案される方法を実行する為の機器の動作を可能にする。例えば、所定の照明イメージシーケンスはユーザインターフェース16を介して直接又は間接方式で設定され得る。例えば、異なる(記憶された)所定の照明イメージシーケンス間での選択が、ユーザインターフェース16によって可能となる。これは、ユーザインターフェース16によって、例えば、調査対象の被測定物のタイプを入力し、これらの選択された被測定物の関心対象の1つ以上の特性の選択がなされることで行われ得る。これらの入力に依存して、制御ユニット8は例えば照明イメージシーケンスの照明イメージを決定し、評価ユニット13は例えば評価のタイプを決定する。ユーザインターフェースは更に例えば、機器2の音響出力を備えてよく、それは、例えば周囲光の影響が強すぎると評価された場合、又は測定イメージの実装されたイメージレジストレーション又は物体認識が、例えば物体特性又はユーザ挙動によってうまく実行され得なかった場合に、例えば警報信号を生成する為に、例えばインストールされたラウドスピーカー及び/又は振動モジュールの形態である。
機器2のデータメモリ9はキャプチャされた測定イメージを記憶するように構成される。この為、制御ユニット8はキャプチャされた測定イメージをデータメモリ9に転送して記憶を開始する。例えば、機器の評価ユニット13は、評価を実行する為に、データメモリ9に記憶された測定イメージにアクセスできる。更に、制御ユニット8は、例えば、測定イメージのキャプチャ後にキャプチャされた測定イメージのうち1つ以上を自動的に表示するようにスクリーン7を作動させ得る。基本的に、測定イメージがコンピュータ3に転送されて、そこのデータメモリ11に記憶され、評価ユニット14によって評価されることも、付加的又は代替的に可能である。
更に、iOS並びに更なるアプリケーションプログラム、特にインターネットブラウザ及びアップルストアアプリケーションなどの機器2のオペレーティングシステムが機器2のデータメモリ9にインストールされている。機器2の、アップルストアへの(インターネット)接続は、アップルストアアプリケーションを介して実行され得る。例えばアプリとしてのコンピュータプログラム製品10が、このアップルストアアプリケーションを介してコンピュータ3のデータメモリ11から機器2のデータメモリ11にロードされ、そこに恒久的に記憶される。しかしながら、代替的に、コンピュータプログラム製品10が、コンピュータ3のデータメモリ11から機器のデータメモリ9に、プロバイダーのインターネットページから機器2のインターネットブラウザを介してウェブアプリとしてロードされることも可能である。コンピュータプログラムは次に、例えば方法を実行する為にデータメモリ9に一時的に記憶され、次に再び自動的に消去される。
機器は、機器をインターネットに接続できる為に、例えばラジオインターフェースなどの幾つかの(無線)データインターフェースロケーション17を備えている。
モバイル(携帯式)電子機器2は、照明イメージの表示及び測定イメージのキャプチャ中に片手のみで被測定物に対して適切な位置にユーザによって位置合わせされて保持され得るように、小型で軽量である。従って機器は好ましくは1kg未満、例えば約200gの重量である。略直方体ハウジング5の最大エッジ長さは例えば20cm未満、例えば約16cmであり、最小エッジ長さは例えば1cm未満、例えば約8mmである。
機器のカメラ6は、ハウジング5の正面側19に配置されカメラ6の観測領域20を画定するレンズ18を備えている。カメラ5はイメージセンサ21を備え、それは例えばCCDセンサ又はCMOSセンサ又はInGaAsセンサ等の感光半導体チップである。イメージセンサ21は、全体グリッドに配置された複数のセンサユニット(図示せず)を備えている。センサユニットそれぞれは、カメラ6の異なるカラーチャネルに属するイメージセンサ21の幾つかの隣接する感光センサ素子(図示せず)を備えている。各センサユニットは、カメラ6によってキャプチャされる測定されたイメージの像点(ピクセル)に対応する。イメージセンサ内でのセンサユニットと、それらのセンサ素子との位置は、それぞれのセンサユニットの2つのセンサ座標(XY)によって規定される。
カメラ5は、約400nm〜約800nmの波長の光に感応し、赤色、緑色及び青色カラーチャネルを備えている。カメラは、カラーチャネルそれぞれに関してチャネル固有のスペクトル感度C(λ)を有する。カメラのカラーチャネルそれぞれは、そのスペクトル感度が、カメラのそれぞれのカラーチャネルのチャネル固有のスペクトル感度に対応する、イメージセンサ21のセンサ素子のサブセットによって形成される。各カラーチャネルのセンサ素子は従ってそれぞれ、イメージセンサ21に渡って延在するサブグリッドに配置される。異なるカラーチャネルのセンサ素子のサブグリッドは、互いに空間的に重畳され、それによってイメージセンサ21のセンサユニットの全体グリッドを形成する。
スクリーン7はハウジング5の正面側19に同様に配置され、約400nm〜約800nmの可視スペクトル領域内で発光する。スクリーン7もカメラ6のように、赤色、緑色及び青色カラーチャネルを備えている。スクリーン7は、カラーチャネルそれぞれに関してスペクトル発光特性D(λ)を有し、前記特性は、スクリーン7の基本色の赤色、緑色及び青色に対応する。スクリーン7は、スクリーン7の全体グリッドに配置されスクリーン7の像点(ピクセル)を形成して共にスクリーン7の全イメージ領域22をフィルする複数の光学素子(図示せず)を備えている。カラーチャネルそれぞれはスクリーンの光学素子のサブセットによって形成され、そのスペクトル発光特性はそれぞれのカラーチャネルのチャネル固有のスペクトル発光特性に対応する。スクリーンの各像点は、異なるカラーチャネルに属する隣接する一群の光学素子によって形成される。
ラウドスピーカー又はマイクロフォン(両方とも図示せず)とは別に、例えば電話アプリケーション用に、機器は更に機器2のコンポーネントに電気エネルギーを供給する為の充電式エネルギー蓄積部45を備えている。
図1に示されたシステム1の電子機器が、図3A乃至3Eでは正面からの図で示されており、それぞれの場合に、第1の所定の照明イメージシーケンスの照明イメージがスクリーン7によって表示される。図示の例において、この第1の照明イメージシーケンスは、赤色照明イメージ23と、緑色照明イメージ24と、青色照明イメージ25と白色照明イメージ26(白色イメージ)を備えている。更に、黒色照明イメージ27(黒色イメージ)が表示される。
モバイル電子機器2の制御ユニット8は、モバイル電子機器2のスクリーン7を、以下のように作動させるように構成される:
−スクリーン7の赤色カラーチャネルのみの光学素子を作動させ、赤色カラーチャネルの全ての作動された光学素子を、赤色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって赤色照明イメージ23を表示し、
−スクリーン7の緑色カラーチャネルのみの光学素子を作動させ、緑色カラーチャネルの全ての作動された光学素子を、緑色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって緑色照明イメージ24を表示し、
−緑色の青色カラーチャネルのみの光学素子を作動させ、青色カラーチャネルの全ての作動された光学素子を、青色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって青色照明イメージ25を表示する。
均一な輝度値の代替として、それぞれのカラーチャネルの作動された光学素子は、例えば勾配(スクリーンにわたる)によって例えば互いに異なっている、異なる輝度値で作動されてもよい。
それぞれの残りのカラーチャネルの作動されていない光学素子はオフにされるか、又はそれぞれ最小可能輝度値で作動される。
白色イメージ26は、制御ユニット8によって、スクリーンの全光学素子を作動させ、それらを最大可能輝度値で作動させて生成される。黒色イメージ27は、スクリーン7の全光学素子をオフにするか非作動状態にするか、又はそれらを最小可能輝度値で作動させることによって生成される。白色照明イメージとバック照明イメージが、残りの測定イメージを較正する為、また周囲光の影響を推定する為に評価ユニット13によって用いられる。
第1の照明イメージシーケンスの照明イメージ23,24,25,26,27はそれぞれ、スクリーン7の全イメージ領域22を完全にフィルアウトする。上述の輝度値とは別に、第1の照明イメージシーケンスは以下の照明パラメータによって規定される:
−照明イメージの総数、この場合、全三色イメージ、白色イメージ及び黒色イメージ
−照明イメージのシーケンス、この場合、例えばシーケンス赤色、緑色、青色、白色、黒色(又は基本的に任意の他の予め定められたシーケンス)
−照明イメージの表示持続時間、この例では、100ms〜200msの範囲、例えば150ms
−個々の照明イメージの表示間の持続時間、この例では5ms〜10msの範囲、例えば7ms。
図4では、モバイル電子機器2が側面図で示されており、予め定められた第1の照明イメージシーケンスの照明イメージのうち1つ、例えば赤色照明イメージ23が、スクリーン7によって表示されている。更に、カメラ6の観測領域20内に配置された被測定物38の一部分が更に提示されている。照明イメージ23の表示中に、機器2のスクリーン7は赤色光を発光し(図4では破線で示されている)、被測定物38をこの赤色光で照明する。照明イメージ23に属する測定イメージを同時にキャプチャすると、被測定物23によって反射された光(図4では破線で示されている)はカメラ6によってキャプチャされてイメージセンサ21を照明する。これがこのように第1の照明イメージシーケンスの他の照明イメージに関して繰り返される。
図1に示されたシステム1の電子機器が、図5A乃至5Eに正面図で再び示されており、第2の所定の照明イメージシーケンスの照明イメージがスクリーン7によって表示されている。図示の例において、この第2の照明イメージシーケンスは、第1の照明イメージ28と、第2の照明イメージ29と、第3の照明イメージ30と白色照明イメージ31(白色イメージ)を備えている。更に、黒色照明イメージ32(黒色イメージ)が表示されている。白色イメージ31は第1の照明イメージシーケンスの白色イメージ26と差異はない。同様に黒色イメージ32は第1の照明イメージシーケンスの黒色イメージ27と差異はない。
第1、第2及び第3の照明イメージ28、29、30はそれぞれ連続しており、各々スクリーン7の全イメージ領域22の部分領域33のみをフィルする。例えば、それぞれフィルアウトされた部分領域33内のスクリーン7の光学素子は、各カラーチャネル内で最大可能輝度値で作動される。それぞれフィルアウトされた部分領域33外では、光学素子はオフにされて作動されず、因って照明しない、又は最小可能輝度でのみ照明する。照明イメージのそれぞれフィルアウトされた部分領域33はスクリーン7上で互いに重複しない。照明イメージによってそれぞれフィルアウトされた部分領域33は、この例においてスクリーン7の全イメージ領域22の1/3に相当する。しかしながら代替的に、照明イメージシーケンスは他の数のそのような照明イメージを備えてもよく、例えば、スクリーンの全イメージ領域の1/RのみをそれぞれフィルアウトするR照明イメージを備えてもよく、Rは例えば3より大きく20未満である自然数である。
第1、第2及び第3の照明イメージ28,29,30のフィルアウトされた部分領域33は、スクリーン7上でのそれらの配置において異なっている。示された図において、スクリーン7の全イメージ領域23は、上縁34、下縁35、左縁36及び右縁37を有する。照明イメージ28,29,30のフィルアウトされた部分領域33は、上縁34からのそれらの距離が異なっており、従って、スクリーン7の全イメージ領域23の上縁34の上方に配置されたカメラ5のレンズ18から距離も異なっている。
上記で規定した輝度値とは別に、第2の照明イメージは以下の更なる照明パラメータによって規定される;
−照明イメージの総数、この場合、スクリーン7の部分領域33のみをそれぞれフィルアウトする3つの白色照明イメージ並びに1つの白色イメージと1つの黒色イメージ
−照明イメージのシーケンス、この場合、例えば第1、第2、第3の照明イメージ、白色イメージ31、黒色イメージ32シーケンス(又は基本的に任意の他の予め定められたシーケンス)、
−照明イメージの表示持続時間、この例では、100ms〜200msの範囲、例えば150ms
−個々の照明イメージの表示間の時間間隔、この例では5ms〜10msの範囲、例えば7ms。
モバイル電子機器2の制御ユニット8は従って、第1の照明イメージシーケンスの文脈で既に説明したように、第2の照明イメージシーケンスの照明イメージを表示し、これと同時に測定イメージをキャプチャするようにモバイル電子機器2のスクリーン7を作動させるように構成される。
図6A及び6Cにおいて、モバイル電子機器2はそれぞれ側面図で示されており、第2の照明イメージシーケンスの第1、第2及び第3の照明イメージ28,29,30がスクリーン7によって表示されている。更に、カメラ6の観測領域20内に配置された被測定物38の一部が再び示されている。照明イメージ23の表示中に、機器2のスクリーン7は発光し(図4に破線で示される)、いずれの場合にも異なる方向から被測定物38を照明する。照明イメージ23に属する測定イメージを同時にキャプチャすると、被測定物23によって反射された光(図4に破線で示される)はカメラ6によってキャプチャされてイメージセンサ21を照明する。
例えば、第1の照明イメージシーケンスか第2の照明イメージシーケンスかを、機器2のユーザインターフェース16を介して選択することが可能である。制御ユニット8が、例えば被測定物38のタイプによって、又は調査される被測定物38の特性によって、第1の照明イメージシーケンスか第2の照明イメージシーケンスかを自動選択することを想定してもよい。例えば、被測定物38のタイプと、調査されるべき特性はユーザインターフェース16を介して入力され得る。評価ユニット13は、この入力に依存して測定イメージの評価を実行するように構成される。
評価は原則として、機器によって、例えば、測定イメージのキャプチャ中に現在時間及び機器2の現在位置によって決定される更なる変数に依存してよい。時間は例えば、機器のシステムクロックによって、機器2のGPSモジュール4による位置座標によって決定されている可能性がある。例えば、各測定イメージは対応する時間署名と位置署名を担持し得る。こうして、位置依存性影響変数が決定されることができ、前記影響変数は調査されることになっている、又はこれらに影響する被測定物の特性と相関する。これは例えば、調査されることになっている被測定物が例えば人の髪であり、調査されることになっている特性が例えば空気の光沢である場合に特に該当するが、それはそれぞれの支配的な髪の構造が地球の異なる領域では異なっているからである。更に、システムの機能性は、GPSデータに基づいて制御、制限又は完全に防止され得る。例えば、制御ユニット8は、方法を、他の国又はより小規模の地理的領域(例えば、製造場所、ショッピングセンター)では限定された又は修正された方式でのみ実行する(特に、測定イメージのキャプチャ及び/又はそれらの評価)為に、また、他の国又はより小規模の地理的領域(例えば、製造ロケーション、ショッピングセンター)では方法の実施を完全にブロックする為に、特定の国又はより小規模の地理的領域(例えば、製造ロケーション、ショッピングセンター)においてのみ無制限な方式で方法を実行するように構成され得る。
図7は、図1に示されたシステム1の機器によって被測定物238からキャプチャされた幾つかの測定イメージ39の模式図を示す。例えば、図示の測定イメージ39は、第1の照明イメージシーケンスの照明イメージ23乃至27を表示するのと同時にキャプチャされた測定イメージ又は、第2の照明イメージシーケンスの照明イメージ28乃至32を表示するのと同時にキャプチャされた測定イメージである。
カメラ6によって記録された測定イメージ39それぞれは、全体グリッドに配置され、イメージセンサのセンサユニットに割り当てられ、それぞれの測定イメージ内の位置が、それぞれのセンサユニットのセンサ座標に依存する、又はこれらに対応する2つのイメージ座標(XY)によって規定される複数の像点40(ピクセル)を備えている。測定イメージ39は、イメージ情報、特に、測定イメージのそれぞれの像点の輝度値が符号化されたイメージデータを備えている。測定イメージ39の像点40の輝度値は例えば、それぞれの測定イメージ39をキャプチャしたときのイメージセンサ21のそれぞれ割り当てられたセンサユニットのセンサ素子の充電又は放電状態に依存する。
同様に図6に提示されるように、測定イメージ39の像点40が、例えばイメージレジストレーションによって機器の評価機器13によって(代替的に、コンピュータ3の評価ユニット14によって)レジスタされた測定イメージ41に統合され、マージされた像点40のイメージデータが、レジスタされた測定イメージ41のそれぞれのマージされた像点40の測定データセットにグループ化される。測定イメージ38のイメージレジストレーションの為に、必要に応じ、測定イメージ39のイメージ変換、例えば、(局所的)座標変換(回転、並進移動、チルト及び/又は(局所的)リスケーリング、サブピクセル補間)が実行される。
更に、物体認識アルゴリズムが、レジスタされた測定イメージ41内の物体像点42を、即ち被測定物38の物点43をイメージングする像点40を認識する為に、レジスタ測定イメージ40に基づいて例えば機器の評価ユニット13によって(代替的にコンピュータ3の評価ユニット14によって)実行される。物体認識アルゴリズムは、上記に更に説明したように例えば領域成長アルゴリズムに基づいていてよい。
測定イメージ39が、第1の照明イメージシーケンスの照明イメージ23及び27の表示と同時にキャプチャされたものである場合、測定データセットそれぞれは例えば前述の被測定物38のそれぞれの関連する物点43における被測定物の「スペクトル指紋」F(d,c)であり得、それらの成分は例えば表1に記載のように規定される。指数dはd={r,g,b,w,s}によって定義され、式中r,g,gはそれぞれ赤色、緑色及び青色照明イメージ23,24,25を表し、wは白色イメージ26、sは黒色イメージ27を表す。従って、指数cはカメラ6のカラーチャネルを表し、c={r,g,b}によって定義され、式中r,g,gはそれぞれカメラ6の赤色、緑色及び青色カラーチャネルを表す。
測定イメージ39が、第2の照明イメージシーケンスの照明イメージ28乃至32の表示と同時にキャプチャされた測定イメージである場合、個々の物体像点52のグループ化された測定データセットは例えば「光沢測定ベクトル」G(a)であり、指数aは第1の照明イメージシーケンスの個々の照明イメージを表す。第2の照明イメージシーケンスの第1、第2及び第3の照明イメージ28,29,30に関して上述したように、スクリーン7の全カラーチャネルは、これらの照明イメージが白色に見えるように、それぞれの部分領域33内で最大可能輝度値で作動される。例えば、光沢測定ベクトルG(a)は、各指数aに関してカメラ6の全センサ素子で(物体像点42において)測定された総輝度値を含む。
原則として、任意の付加的な数の更なる照明イメージシーケンスが規定されることができ、これらはそれぞれのアプリケーションケースに適合される、即ち、それぞれの被測定物と、調査される被測定物のそれぞれの特性に適合される。既に上記で説明したように、照明イメージシーケンスは、スクリーン上のそれらの位置a並びにそれらの色において互いに異なっている照明イメージを備え得る。例えば、前述のスペクトル指紋F(c,d)が各位置aに関して取得されることができ、カラー照明イメージは、対応する位置における言及した部分領域33のみをフィルアウトする。こうして、例えば前述の測定データセットH(c,d,a)が各物点に関して生成されることができ、この測定データセットは、スペクトル反射特性並びにそれぞれの物点における被測定物の光沢に関する情報を含む。
評価ユニット13は例えば、物体像点42に属する各測定データセットF(c,d)(又は代替的にG(a)又はH(c,d,a))を、幾つかの予め定められた基準データセットと比較するように構成される。基準データセットは例えばモバイル電子機器2のデータメモリ9に記憶される。比較は、例えば、相応に訓練された人工ニューラルネットワークに基づいて数理的分離モデルによって行われる。例えば分類に関してランキングが生成され、そのランキングにおいて、基準データセットからのそれぞれの測定データセットの差異が少ないほど、この基準データセットの得るランクが大きくなる。全測定データセットの、基準データセットとの比較の後で、評価ユニット12は最高ランクを最高回数得た基準データセットを認識する。その後、被測定物の特性のアセスメントが行われ、前記アセスメントはこの認識された基準データセットに属しており、又は、被測定物の分類が、ユーザインターフェース16を介して出力される。
評価ユニットは更に、カメラのスペクトル感度C(λ)及びスクリーンのスペクトル発光特性D(λ)を考慮に入れながら、被測定物の反射測定を測定データセットから決定するように構成される。
例えばユーザインターフェース16を介して指定され得るアプリケーションのケースによって、決定されるべき反射特性は例えば、被測定物の反射スペクトルS(λ)(それぞれの物点における)である。例えば、評価ユニット13は、上記で説明した式1乃至4を用いながら測定された「スペクトル指紋」F(d,c)から反射スペクトルS(λ)を(概して)決定するように構成され得る、又は、反射スペクトルS(λ)の概算としてスペクトルチャネルSの値を決定するように構成され得る。
代替的に、決定されるべき反射特性は例えば、被測定物上への入射光(それぞれの物点における)の角度への、被測定物の反射度依存性(それぞれの物点における)である。例えば、評価ユニットは、角度依存性反射度を、各物点の前述の光沢測定ベクトルG(a)(又は測定データセットH(c,d,a))に基づいて推定するように構成され得る。
評価ユニット13は更に、被測定物の決定された反射特性、即ち例えばスペクトルチャネルS又は角度依存性反射度に関する決定された値を、少なくとも1つの予め定められた基準反射特性と比較して、被測定物をそれに従って、例えば上述のような人工ニューラルネットワークに基づく分類モデルによって分類するように構成される。
評価の結果は次にスクリーン7上に表示されて機器のデータメモリ11に記憶される。
システムで実行され得る方法は、図7に、流れ図の形式で提示されている。

ステップ1は以下を含む:
−制御ユニット8によって、所定の照明イメージシーケンスの幾つかの異なる照明イメージを順次表示するようにモバイル電子機器2のスクリーン7を作動させ、
−所定の照明イメージシーケンスの各照明イメージの表示と同時に、被測定物38の測定イメージ39をキャプチャするようにモバイル電子機器2のカメラ6を作動させる。

ステップ2は以下を含む:
−測定イメージ39を、レジスタされた測定イメージ41にレジスタする。

ステップS3は以下を含む:
−例えば、特に、例えばオフにされたディスプレイの場合又は黒色照明イメージの表示中に記録された被測定物の1つ以上の測定イメージを用いた周囲光の影響の考慮などのスペクトル前処理。周囲光の影響が甚大すぎる場合、対応する警告が、例えばスクリーン7によって、又は音声又は振動警報によってユーザに出力され得る。

ステップS4は以下を含む:
−レジスタされた測定イメージ41の像点又は物体像点42に属する測定データセットが、例えば人工ニューラルネットワークに基づく数理的分類モデルによって分類される、ピクセル毎のパターン分類。

ステップS5は以下を含む:
例えば、ランキング及び/又は多数決による結果の集計。

ステップ6は以下を含む:
例えばスクリーン7による結果表示と、例えば機器のデータメモリ9及び/又はコンピュータ3のデータメモリ11による結果の表示。
原則として、ステップS2乃至S6を機器2の評価ユニット13のみで実行することが可能であり、又は、測定イメージ39の対応する転送後に、コンピュータ3の評価ユニット14で実行することが可能である。
被測定物38は人の(又は代替的に動物の)髪によって形成され得る。調査すべき特性は、例えば髪の光沢である。被測定物38の他の可能な例と、調査すべき特性は、上記に記載したアプリケーションコンプレックス1乃至4に記載されている。
取り分け、提案される方法に関して以下の実施例が説明される。

1.本明細書で提案されるタイプのシステムで被測定物の測定イメージをキャプチャする方法であって、
−制御ユニットによって、所定の照明イメージシーケンスの幾つかの異なる照明イメージを順次表示するようにモバイル電子機器のスクリーンを作動させるステップと、
−所定の照明イメージシーケンスの各照明イメージの表示と同時に、被測定物の測定イメージをキャプチャするようにモバイル電子機器のカメラを作動させるステップと、を含む方法。

2.例1に記載の方法であって、モバイル電子機器のスクリーンが幾つかのカラーチャネルを備え、スクリーンが、カラーチャネルそれぞれに関してチャネル固有のスペクトル発光特性を有し、スクリーンが、グリッド内に配置された複数の光学素子を備え、カラーチャネルそれぞれは、そのスペクトル発光特性がそれぞれのカラーチャネルのチャネル固有のスペクトル発光特性に対応する、スクリーンの光学素子のサブセットによって形成される方法。

3.例2に記載の方法であって、更に、
−スクリーンの単一のカラーチャネルのみの光学素子を作動させ、このカラーチャネルの全ての作動された光学素子を、このカラーチャネルに関して予め定められた均一な輝度値で作動させることによって、又は、
−幾つかのカラーチャネルの光学素子を作動させ、全ての作動された光学素子を、それぞれのカラーチャネルに関して予め定められた均一な輝度値で作動させることによって、
−1つ以上のカラーチャネルの光学素子を作動させ、全ての作動された光学素子を、それぞれのカラーチャネルに関して予め定められた勾配をもって作動させることによって、
所定の照明イメージシーケンスのうち1つ以上の照明イメージを表示するようにモバイル電子機器のスクリーンを作動させることを含む方法。

4.例2又は3のうちいずれかに記載の方法であって、モバイル電子機器のスクリーンが赤色カラーチャネル、緑色カラーチャネル及び青色カラーチャネルを備え、照明シーケンスが赤色照明イメージ、緑色照明イメージ及び青色照明イメージを備え、方法が、
−スクリーンの赤色カラーチャネルのみの光学素子を作動させ、赤色カラーチャネルの全ての作動された光学素子を、赤色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって赤色照明イメージを表示し、
−スクリーンの緑色カラーチャネルのみの光学素子を作動させ、緑色カラーチャネルの全ての作動された光学素子を、緑色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって緑色照明イメージを表示し、及び/又は、
−スクリーンの青色カラーチャネルのみの光学素子を作動させ、青色カラーチャネルの全ての作動された光学素子を、青色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって青色照明イメージを表示する、
ようにスクリーンを作動させることを含む方法。

5.例1乃至4に記載の方法において、所定の照明イメージシーケンスの各照明イメージのうち以下のイメージ特性の1つ以上が予め定められている:
−それぞれの照明イメージを表示したときにスクリーンによって発光される光のスペクトル組成、及び/又は、
−スクリーンの各カラーチャネルに関して、例2乃至4のうちいずれか1つにこの例が戻って関連する限りの、均一な輝度値、及び/又は、
−それぞれの照明イメージによってフィルアウトされるスクリーン領域、及び/又は、
−スクリーンの全イメージ領域内でそれぞれの照明イメージによってフィルアウトされるスクリーン領域の配置。

6.例1乃至5に記載の方法であって、照明イメージそれぞれはスクリーンの全イメージ領域の部分領域のみをフィルアウトし、照明イメージのフィルアウトされた部分領域は、スクリーンの全イメージ領域上でのそれらの配置において互いに異なっている、方法。

7.例6に記載の方法であって、スクリーンの全イメージ領域は上縁、下縁、左縁及び右縁を備え、照明イメージのフィルアウトされた部分領域は、スクリーンの全イメージ領域の上縁からのそれらの距離において互いに異なっており、レンズはスクリーンの全イメージ領域の上縁の上方に配置されている、方法。

8.例1乃至7に記載の方法であって、システムは、所定の照明イメージシーケンスを部分的に又は完全に規定する照明パラメータが記憶されている少なくとも1つのデータメモリを備え、方法が、
−少なくとも1つのデータメモリに記憶された照明パラメータをデータメモリから検索し、
−検索された照明パラメータに基づいて所定の照明イメージシーケンスを決定する、
ことを含む、方法。

9.例1乃至8に記載の方法であって、モバイル電子機器のカメラが幾つかの異なるカラーチャネルを備え、カメラは、カラーチャネルそれぞれに関してチャネル固有のスペクトル感度を有し、カメラはグリッドで配置された複数のセンサ素子を備えたイメージセンサを備え、カメラのカラーチャネルそれぞれは、そのスペクトル感度がカメラのそれぞれのカラーチャネルのチャネル固有の感度に対応するイメージセンサのセンサ素子のサブセットによって形成される、方法。

10.モバイル電子機器のカメラは赤色カラーチャネル、緑色カラーチャネル及び青色カラーチャネルを備えている、例9に記載の方法。

11.例1乃至10のいずれかに記載の方法であって、測定イメージそれぞれは複数の像点並びに像点に割り当てられたイメージデータを備え、方法が、
−測定イメージの像点をマージし、
−マージされた像点のイメージデータを、それぞれのマージされた像点の測定データセットにグループ化する、ことを含む方法。

12.例11に記載の方法であって、測定イメージの像点は、測定イメージ(39)のイメージレジストレーションによって纏められる方法。

13.例11及び12のうちいずれかに記載の方法であって、測定データセットは、機械学習によって較正又は訓練されたアルゴリズムによって評価される方法。

14.例13に記載の方法であって、アルゴリズムは、モニタされた学習方法によって、又は、モニタされない学習方法によって訓練されている方法。

15.例11乃至14のうちいずれかに記載の方法であって、測定データセットは分類方法によって評価される方法。

16.例11乃至15のいずれかに記載の方法であって、測定データセットは人工ニューラルネットワークによって評価される方法。

17.例11乃至16のいずれかに記載の方法であって、
−測定データセットそれぞれを少なくとも1つの予め定められた基準データセットと比較することを含む方法。

18.例11乃至17のいずれかに記載の方法であって、
−カメラのスペクトル感度とスクリーンのスペクトル発光特性を考慮に入れながら測定データセットからの被測定物の少なくとも1つの反射特性を決定することを含む、方法。

19.例11乃至18のいずれかに記載の方法であって、
−被測定物の決定された少なくとも1つの反射特性を、少なくとも1つの予め定められた基準反射特性と比較する、ことを含む方法。

20.例2乃至5のうち1つ及び例9又は10のうち1つと組み合わせた、例11乃至19のうちいずれかに記載の方法であって、スクリーンがM個のカラーチャネルを備えカメラがN個のカラーチャネルを備え、M>1であってN>1であり、各測定データセットが少なくともM×N測定値を備え(F(d,c)、1≦d≦Mであり1≦c≦N)、M×N測定値は、カメラのカラーチャネルとのスクリーンのカラーチャネルのM×Nの異なる組み合わせに対応する方法。

21.例1乃至20のいずれかに記載の方法であって、モバイル電子機器はユーザインターフェースを備え、方法は更に、
−所定の照明イメージシーケンスをユーザインターフェースを介して設定又は指定する、及び/又は、
−ユーザインターフェースを介して異なる所定の照明イメージシーケンス間で選択する、及び/又は、
−ユーザインターフェースを介して、異なる被測定物間で、及び/又は関心対象の被測定物の異なる特性間で選択し、被測定物及び/又は関心対象の特性のなされた選択に則して、幾つかの記憶された所定の照明イメージシーケンス間で、所定の照明イメージシーケンスを選択する(例えば、モバイル機器の制御ユニットによって自動的に)、ことを含む方法。

22.例1乃至21のいずれかに記載の方法であって、
−較正規準の測定イメージをキャプチャし、
−較正規準の測定イメージと、較正規準に属する記憶された基準データセットとを用いながらモバイル機器を較正し、特に、モバイル機器のカメラ及び/又は較正スクリーンを較正する、ことを含む方法。

23.スクリーンはタッチスクリーンとして設計されている例1乃至22のいずれかに記載の方法。

24.モバイル電子機器はスマートフォン又はタブレットコンピュータである、例1乃至23のいずれかに記載の方法。
モバイル電子機器の内部データメモリにロードされ得る提案のコンピュータプログラム製品は、モバイル電子機器上でコンピュータプログラム製品が動作する場合に、例えば例1乃至24のうちいずれかに記載の方法のステップがそれで実行されるソフトウェアコードセクションを備えている。
更に、機器2の較正モードは、モバイル機器2のユーザインターフェース16を介して作動され得る。モバイル機器2の制御ユニット8及び評価ユニット13は、言及した較正モードでの較正規準の測定イメージをキャプチャして評価するように構成される。このキャプチャの為、較正規準はユーザによってカメラ6の観測領域20内に保持される。説明したように、スペクトルチャネルSの値は、評価ユニット13によって測定イメージから計算され、次にこの較正規準に属しておりモバイル機器2のデータメモリ9に記憶されている基準データセットと比較される。変数D(λ)及びC(λ)の値は、この比較に基づいて自動的に再計算されて、更なる測定に備えてデータメモリ9に記憶される。
1 システム
2 機器
3 コンピュータ
4 コンピュータネットワーク
5 ハウジング
6 カメラ
7 スクリーン
8 制御ユニット
9 データメモリ
10 コンピュータプログラム製品
11 データメモリ
12 プロセッサ
13 評価ユニット
14 評価ユニット
15 プロセッサ
16 ユーザインターフェース
17 データインターフェース
18 レンズ
19 正面側
20 観測領域
21 イメージセンサ
22 全イメージ領域
23〜32 照明イメージ
33 部分領域
34 上縁
35 下縁
36 左縁
37 右縁
38 被測定物
39 測定イメージ
40 像点
41 測定イメージ
42 物体像点
43 物点
44 GPSモジュール
45 エネルギー蓄積部

Claims (26)

  1. モバイル電子機器(2)を備えた、被測定物の測定イメージをキャプチャする為のシステム(1)であって、前記モバイル電子機器(2)が、
    −ハウジング(5)と、
    −前記ハウジング(5)内に一体化されたカメラ(6)であって、前記カメラ(6)の観測領域(20)内で被測定物(38)の測定イメージ(39)をキャプチャする為のカメラ(6)と、
    −イメージの発光表示の為の、前記ハウジング(5)に一体化されたスクリーン(7)であって、前記カメラ(6)の観測領域(20)に面しているスクリーン(7)と、
    −前記ハウジング(5)内に一体化され、前記モバイル電子機器(2)のスクリーン(7)を、所定の照明イメージシーケンスの幾つかの異なる照明イメージ(23)を順次表示するように作動させるように構成された制御ユニット(8)であって、所定の照明イメージシーケンスの各照明イメージ(23)の表示と同時に、被測定物の測定イメージ(39)をキャプチャさせるように前記モバイル電子機器(2)の前記カメラ(6)を作動させるように構成された制御ユニット(8)と、を備えたシステム(1)。
  2. 請求項1に記載のシステム(1)であって、前記モバイル電子機器(2)のスクリーン(7)が幾つかのカラーチャネルを備え、前記スクリーン(7)が前記カラーチャネルそれぞれにおいてチャネル固有のスペクトル発光特性を有し、前記スクリーン(7)はグリッドに配置された複数の光学素子を備え、前記カラーチャネルそれぞれは、そのスペクトル発光特性が、それぞれのカラーチャネルのチャネル固有のスペクトル発光特性に対応する、前記スクリーン(7)の光学素子のサブセットによって形成されることを特徴とするシステム(1)。
  3. 請求項2に記載のシステム(1)であって、前記モバイル電子機器(2)の前記制御ユニット(8)が、
    −前記スクリーン(7)の単一のカラーチャネルのみの光学素子を作動させ、このカラーチャネルの全ての作動された光学素子を、このカラーチャネルに関して予め定められた均一な輝度値で作動させることによって、又は、
    −幾つかのカラーチャネルの光学素子を作動させ、全ての作動された光学素子を、それぞれのカラーチャネルに関して予め定められた均一な輝度値で作動させることによって、又は、
    −1つ以上のカラーチャネルの光学素子を作動させ、全ての作動された光学素子を、それぞれのカラーチャネルに関して予め定められた勾配をもって作動させることによって、
    所定の照明イメージシーケンスの照明イメージ(23)の1つ以上を表示するように前記モバイル電子機器(2)のスクリーン(7)を作動させるように構成されていることを特徴とするシステム(1)。
  4. 請求項2又は3のうちいずれか一項に記載のシステム(1)であって、
    前記モバイル電子機器(2)のスクリーン(7)が赤色カラーチャネル、緑色カラーチャネル及び青色カラーチャネルを備え、前記照明シーケンスが赤色照明イメージ(23)、緑色照明イメージ(24)及び青色照明イメージ(25)を備え、前記モバイル電子機器(2)の制御ユニット(8)が、
    −前記スクリーン(7)の赤色カラーチャネルのみの光学素子を作動させ、前記赤色カラーチャネルの全ての作動された光学素子を、前記赤色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって赤色照明イメージ(23)を表示し、
    −前記スクリーン(7)の緑色カラーチャネルのみの光学素子を作動させ、前記緑色カラーチャネルの全ての作動された光学素子を、前記緑色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって緑色照明イメージ(24)を表示し、及び/又は、
    −前記スクリーン(7)の青色カラーチャネルのみの光学素子を作動させ、前記青色カラーチャネルの全ての作動された光学素子を、前記青色カラーチャネルに関して予め定められた均一な輝度値で作動させることによって青色照明イメージ(25)を表示する、
    ように前記スクリーン(7)を作動させることを特徴とするシステム(1)。
  5. 請求項1乃至4に記載のシステム(1)であって、所定の照明イメージシーケンスの各照明イメージ(23)のうち以下のイメージ特性:
    −それぞれの照明イメージを表示したときに前記スクリーン(7)によって発光される光のスペクトル組成、及び/又は、
    −前記スクリーン(7)の各カラーチャネルに関して、請求項2乃至4のうちいずれか一項にこの請求項が戻って関連する限りの、均一な輝度値、及び/又は、
    −それぞれの照明イメージ(28,29,30)によってフィルアウトされるスクリーン領域、及び/又は、
    −前記スクリーン(7)の全イメージ領域(22)内でそれぞれの照明イメージ(28,29,30)によってフィルアウトされるスクリーン領域の配置、
    のうち1つ以上が予め定められているシステム(1)。
  6. 請求項1乃至5のいずれか一項に記載のシステム(1)であって、前記照明イメージそれぞれは前記スクリーン(7)の全イメージ領域の部分領域(33)のみをフィルアウトし、前記照明イメージのフィルアウトされた部分領域(33)は、前記スクリーン(7)の全イメージ領域上でのそれらの配置において互いに異なっていることを特徴とするシステム(1)。
  7. 請求項6に記載のシステム(1)であって、前記スクリーン(7)の全イメージ領域は上縁(34)を備え、前記照明イメージのフィルアウトされた部分領域(33)は、前記スクリーン(7)の全イメージ領域の前記上縁(34)からのそれらの距離において互いに異なっており、前記レンズは前記スクリーン(7)の全イメージ領域の前記上縁(34)の上方に配置されていることを特徴とするシステム(1)。
  8. 請求項1乃至7に記載のシステム(1)であって、前記システム(1)は、所定の照明イメージシーケンスを部分的に又は完全に規定する照明パラメータが記憶されている少なくとも1つのデータメモリ(9,11)を備え、前記モバイル機器(2)の制御ユニット(8)が、前記少なくとも1つのデータメモリ(9,11)に記憶された照明パラメータを前記データメモリ(9,11)から検索し、前記検索された照明パラメータに基づいて所定の照明イメージシーケンスを決定するように構成されていることを特徴とするシステム(1)。
  9. 請求項1乃至8に記載のシステム(1)であって、前記モバイル電子機器(2)のカメラ(6)が幾つかの異なるカラーチャネルを備え、前記カメラ(6)は、カラーチャネルそれぞれに関してチャネル固有のスペクトル感度を有し、前記カメラ(6)はグリッドで配置された複数のセンサ素子を備えたイメージセンサを備え、前記カメラ(6)のカラーチャネルそれぞれは、そのスペクトル感度が前記カメラ(6)のそれぞれのカラーチャネルのチャネル固有の感度に対応するイメージセンサのセンサ素子のサブセットによって形成されることを特徴とするシステム(1)。
  10. 前記モバイル電子機器(2)のカメラ(6)は赤色カラーチャネル、緑色カラーチャネル及び青色カラーチャネルを備えていることを特徴とする請求項9に記載のシステム(1)。
  11. 請求項1乃至10のいずれか一項に記載のシステム(1)であって、前記測定イメージ(39)それぞれは複数の像点(40)並びに前記像点(40)に割り当てられたイメージデータを備え、前記システム(1)が、前記測定イメージ(39)の像点(40)をマージし、前記マージされた像点のイメージデータを、それぞれのマージされた像点(40)の測定データセットにグループ化するように構成された評価ユニット(13,14)を備えていることを特徴とするシステム(1)。
  12. 請求項11に記載のシステム(1)であって、前記評価ユニット(13,14)は、前記測定イメージ(39)の像点(40)を前記測定イメージ(39)のイメージレジストレーションによってマージするように構成されていることを特徴とするシステム(1)。
  13. 請求項11及び12のうちいずれか一項に記載のシステム(1)であって、前記評価ユニット(13,14)は、測定データセットを、機械学習によって較正又は訓練されたアルゴリズムによって評価するように構成されているシステム(1)。
  14. 請求項13に記載のシステム(1)であって、前記アルゴリズムは、モニタされた学習方法によって、又は、モニタされない学習方法によって訓練されていることを特徴とするシステム(1)。
  15. 請求項11乃至14のうちいずれか一項に記載のシステム(1)であって、前記評価ユニット(13,14)は、前記測定データセットを分類方法によって評価するように構成されていることを特徴とするシステム(1)。
  16. 請求項11乃至15のいずれか一項に記載のシステム(1)であって、前記評価ユニット(13,14)は、前記測定データセットを人工ニューラルネットワークによって評価するように構成されているシステム(1)。
  17. 請求項11乃至16のいずれか一項に記載のシステム(1)であって、前記評価ユニット(13,14)は、測定データセットそれぞれを少なくとも1つの予め定められた基準データセットと比較するように構成されているシステム(1)。
  18. 請求項11乃至17のいずれか一項に記載のシステム(1)であって、前記評価ユニット(13,14)は、前記カメラ(6)のスペクトル感度と前記スクリーンのスペクトル発光特性を考慮に入れながら前記測定データセットからの被測定物(38)の少なくとも1つの反射特性を決定するように構成されていることを特徴とするシステム(1)。
  19. 請求項18に記載のシステム(1)であって、前記評価ユニット(13,14)は、前記被測定物の決定された少なくとも1つの反射特性を、少なくとも1つの予め定められた基準反射特性と比較するように構成されていることを特徴とするシステム(1)。
  20. 請求項2乃至5のうちいずれか一項及び請求項9又は10のうちいずれか一項と組み合わせた、請求項11乃至19のうちいずれか一項に記載のシステム(1)であって、前記スクリーン(7)がM個のカラーチャネルを備え前記カメラ(6)がN個のカラーチャネルを備え、M>1であってN>1であり、各測定データセットが少なくともM×N測定値を備え(F(d,c)、1≦d≦Mであり1≦c≦N)、M×N測定値は、前記スクリーンのカラーチャネルと前記カメラ(6)のカラーチャネルのM×N個の異なる組み合わせに対応することを特徴とするシステム(1)。
  21. 請求項1乃至20のいずれかに記載のシステム(1)であって、前記モバイル電子機器(2)はユーザインターフェース(16)を備え、
    −所定の照明イメージシーケンスをユーザインターフェース(16)を介して設定でき及び/又は、
    −前記ユーザインターフェース(16)を介して異なる所定の照明イメージシーケンス間での選択が可能となり、及び/又は、
    −前記ユーザインターフェース(16)を介して、異なる被測定物間で、及び/又は関心対象の被測定物の異なる特性間での選択が可能となり、前記制御機器は、前記被測定物及び/又は関心対象の特性のなされた選択に則して、幾つかの記憶された所定の照明イメージシーケンス間で、所定の照明イメージシーケンスを選択するように構成されていることを特徴とするシステム(1)。
  22. 請求項1乃至21のいずれか一項に記載のシステム(1)であって、前記モバイル機器(2)は較正モードに切替可能であることを特徴とし、前記モバイル機器(2)は前記較正モードにおいて、言及した前記較正規準の測定イメージをキャプチャし、前記較正規準と、前記較正規準に属する記憶された基準データセットの測定イメージを用いながら前記モバイル機器(2)の較正、特に、前記カメラ(6)及び/又は較正スクリーン(7)の較正を実行するように構成されているシステム(1)。
  23. 前記スクリーン(7)はタッチスクリーンとして設計されていることを特徴とする請求項1乃至22のいずれか一項に記載のシステム(1)。
  24. 前記モバイル電子機器はスマートフォン又はタブレットコンピュータである、請求項1乃至23のいずれか一項に記載のシステム(1)。
  25. 請求項1乃至24のいずれか一項に記載のシステムによって被測定物の測定イメージをキャプチャする方法であって、
    −制御ユニット(8)によって、所定の照明イメージシーケンスの幾つかの異なる照明イメージを順次表示するように前記モバイル電子機器(2)のスクリーン(7)を作動させるステップと、
    −所定の照明イメージシーケンスの各照明イメージの表示と同時に被測定物の測定イメージをキャプチャするように前記モバイル電子機器のカメラ(6)を作動させるステップと、を含む方法。
  26. 請求項1乃至18のいずれか一項に記載の前記システムのモバイル機器(2)の内部データメモリ(11)に直接ロードされ得るコンピュータプログラム製品(10)であって、ソフトウェアコードセクションを備え、前記コンピュータプログラム製品(10)が前記モバイル電子機器(2)上で稼働するときに、前記ソフトウェアコードによって請求項19に記載の方法のステップが実行される、コンピュータプログラム製品(10)。
JP2019534173A 2016-12-23 2017-12-21 被測定物の測定イメージをキャプチャする為のシステム及び方法 Pending JP2020507103A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016226206.8A DE102016226206A1 (de) 2016-12-23 2016-12-23 System und Verfahren zum Erfassen von Messbildern eines Messobjekts
DE102016226206.8 2016-12-23
PCT/EP2017/084212 WO2018115346A1 (de) 2016-12-23 2017-12-21 System und verfahren zum erfassen von messbildern eines messobjekts

Publications (2)

Publication Number Publication Date
JP2020507103A true JP2020507103A (ja) 2020-03-05
JPWO2018115346A5 JPWO2018115346A5 (ja) 2022-01-12

Family

ID=60915526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019534173A Pending JP2020507103A (ja) 2016-12-23 2017-12-21 被測定物の測定イメージをキャプチャする為のシステム及び方法

Country Status (10)

Country Link
US (2) US10951831B2 (ja)
EP (1) EP3560185B1 (ja)
JP (1) JP2020507103A (ja)
KR (1) KR102454562B1 (ja)
CN (1) CN110383805B (ja)
AU (1) AU2017383047B2 (ja)
CA (1) CA3048123A1 (ja)
DE (1) DE102016226206A1 (ja)
RU (1) RU2758914C2 (ja)
WO (1) WO2018115346A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150163410A1 (en) * 2013-12-10 2015-06-11 Semiconductor Energy Laboratory Co., Ltd. Display Device and Electronic Device
DE102016226206A1 (de) 2016-12-23 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Erfassen von Messbildern eines Messobjekts
US11436858B2 (en) 2017-07-09 2022-09-06 Ringo Ai, Inc. Characterizing reflectance, illuminance, and sensor response for electromagnetic radiation
US10303920B2 (en) 2017-07-09 2019-05-28 Lumenetix, Inc. Techniques for creating characterization matrices for reflectance, illuminance, or sensor response
US11263428B2 (en) 2017-07-09 2022-03-01 Ringo Ai, Inc. Electromagnetic emitters and detectors for electronic devices
DE102018114005A1 (de) 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen
US11354811B2 (en) * 2018-06-20 2022-06-07 Centric Software, Inc. Transforming digital images to create material swatches with a capture guide
CN109269643B (zh) * 2018-11-02 2021-05-11 天津津航技术物理研究所 基于移动设备屏幕光源的光谱解调系统及方法
WO2020186163A1 (en) 2019-03-13 2020-09-17 Ringo Ai, Inc. White balance with reference illuminants
GB2583905A (en) * 2019-04-24 2020-11-18 Univ Ulster Method and system for generating optical spectra
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11348334B1 (en) * 2019-06-30 2022-05-31 George Douglas MacEwen Methods and systems for skin color matching using an imaging device and a controlled light source
DE102019210405A1 (de) 2019-07-15 2021-01-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Untersuchung von Substanzen, Computerprogrammprodukt zur Verwendung in diesem Verfahren, sowie mobiles elektronisches Gerät
JP7483002B2 (ja) 2019-11-26 2024-05-14 エフ ホフマン-ラ ロッシュ アクチェン ゲゼルシャフト 分析測定を実行するための方法および装置
US11887088B2 (en) * 2020-01-22 2024-01-30 Salesforce, Inc. Smart moderation and/or validation of product and/or service details in database systems
EP4264234A1 (en) * 2020-12-18 2023-10-25 Terramera, Inc. Systems and methods for spectral analysis of plants
CN112837299B (zh) * 2021-02-09 2024-02-27 浙江工业大学 一种纺织品图像指纹检索方法
DE102021117494A1 (de) 2021-07-07 2023-01-12 Schneider Electric Industries Sas Anzeigevorrichtung, Verfahren und mobiles Endgerät zur optischen Ausgabe eines internen Betriebszustands eines elektrischen Geräts

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129560A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp 物体検出装置
JP2011106931A (ja) * 2009-11-16 2011-06-02 Roland Dg Corp 3次元形状測定システムおよび携帯電話機
JP2014025935A (ja) * 2012-07-25 2014-02-06 Google Inc ピクセル・ディスプレイの色及び輝度変調の使用
JP2014240830A (ja) * 2013-05-15 2014-12-25 キヤノン株式会社 測定装置およびその制御方法
JP2015513077A (ja) * 2012-02-17 2015-04-30 カラー グレイル リサーチColor Grail Research 物体の色を測定するための方法および装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002228571A1 (en) 2002-02-07 2003-09-02 Rgb Technologies Ab Test method
US10230880B2 (en) * 2011-11-14 2019-03-12 Tseng-Lu Chien LED light has built-in camera-assembly for colorful digital-data under dark environment
MX2014007569A (es) * 2011-12-21 2014-08-27 Sca Hygiene Prod Ab Metodo para medir la absorcion de fluido en un producto absorbente.
US20150363481A1 (en) * 2012-09-06 2015-12-17 Michael N. Haynes Systems, Devices, and/or Methods for Managing Information
WO2014113770A1 (en) * 2013-01-21 2014-07-24 Cornell University Smartphone-based apparatus and method for obtaining repeatable, quantitative colorimetric measurement
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
US9525811B2 (en) * 2013-07-01 2016-12-20 Qualcomm Incorporated Display device configured as an illumination source
EP2821762A1 (en) * 2013-07-03 2015-01-07 Akzo Nobel Coatings International B.V. Process of measuring color properties of an object using a mobile device
JP2015127680A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 計測装置、システムおよびプログラム
US10478127B2 (en) * 2014-06-23 2019-11-19 Sherlock Solutions, LLC Apparatuses, methods, processes, and systems related to significant detrimental changes in health parameters and activating lifesaving measures
US9897434B2 (en) * 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
RU2601678C2 (ru) * 2014-12-15 2016-11-10 Самсунг Электроникс Ко., Лтд. Портативное устройство для измерения хромофоров в коже и способ применения устройства
US9230140B1 (en) * 2014-12-30 2016-01-05 Hand Held Products, Inc. System and method for detecting barcode printing errors
US10475361B2 (en) * 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
US9521331B2 (en) * 2015-04-21 2016-12-13 Hand Held Products, Inc. Capturing a graphic information presentation
US9786101B2 (en) * 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9507974B1 (en) * 2015-06-10 2016-11-29 Hand Held Products, Inc. Indicia-reading systems having an interface with a user's nervous system
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) * 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) * 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
JP6829529B2 (ja) * 2015-09-30 2021-02-10 カラー・グレイル・リサーチColor Grail Research 物体の反射率を決定するための方法及び関連するデバイス
EP3184977A1 (en) * 2015-12-23 2017-06-28 IMEC vzw User device
DE102016226206A1 (de) 2016-12-23 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Erfassen von Messbildern eines Messobjekts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007129560A (ja) * 2005-11-04 2007-05-24 Toyota Motor Corp 物体検出装置
JP2011106931A (ja) * 2009-11-16 2011-06-02 Roland Dg Corp 3次元形状測定システムおよび携帯電話機
JP2015513077A (ja) * 2012-02-17 2015-04-30 カラー グレイル リサーチColor Grail Research 物体の色を測定するための方法および装置
JP2014025935A (ja) * 2012-07-25 2014-02-06 Google Inc ピクセル・ディスプレイの色及び輝度変調の使用
JP2014240830A (ja) * 2013-05-15 2014-12-25 キヤノン株式会社 測定装置およびその制御方法

Also Published As

Publication number Publication date
RU2758914C2 (ru) 2021-11-03
AU2017383047A1 (en) 2019-07-11
RU2019121249A3 (ja) 2021-03-04
DE102016226206A1 (de) 2018-06-28
US11588979B2 (en) 2023-02-21
US20200195826A1 (en) 2020-06-18
CN110383805B (zh) 2021-08-24
EP3560185A1 (de) 2019-10-30
AU2017383047B2 (en) 2022-06-02
WO2018115346A1 (de) 2018-06-28
CA3048123A1 (en) 2018-06-28
KR20190118562A (ko) 2019-10-18
KR102454562B1 (ko) 2022-10-17
US10951831B2 (en) 2021-03-16
EP3560185B1 (de) 2021-07-21
US20210185212A1 (en) 2021-06-17
CN110383805A (zh) 2019-10-25
RU2019121249A (ru) 2021-01-26

Similar Documents

Publication Publication Date Title
KR102454562B1 (ko) 측정된 물체의 측정 이미지를 포착하는 시스템 및 방법
Vesali et al. Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging
Gómez-Sanchís et al. Hyperspectral system for early detection of rottenness caused by Penicillium digitatum in mandarins
Shahin et al. A machine vision system for grading lentils
Stevens et al. Studying primate color: towards visual system-dependent methods
Müller-Linow et al. Plant Screen Mobile: an open-source mobile device app for plant trait analysis
CA3163631A1 (en) System and method for determining damage on crops
Cho et al. Determination of “Hass” avocado ripeness during storage based on smartphone image and machine learning model
AU2020104490A6 (en) Method and device for analyzing plants
Song et al. Evaluation of machine learning methods for organic apple authentication based on diffraction grating and image processing
Lopez-Ruiz et al. Portable multispectral imaging system based on Raspberry Pi
Mendoza et al. Automated prediction of sensory scores for color and appearance in canned black beans (Phaseolus vulgaris L.) using machine vision
Bratasanu et al. Interactive spectral band discovery for exploratory visual analysis of satellite images
Diaz-Garcia et al. GiNA, an efficient and high-throughput software for horticultural phenotyping
Yu et al. Optical filter net: A spectral-aware rgb camera framework for effective green pepper segmentation
Nansen et al. Experimental data manipulations to assess performance of hyperspectral classification models of crop seeds and other objects
Udayanga et al. Dual mode multispectral imaging system for food and agricultural product quality estimation
Logan et al. Assessing produce freshness using hyperspectral imaging and machine learning
Mollazade et al. Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks
Giuseppe et al. CIELab color measurement through RGB-D images
Muñoz-Postigo et al. Band selection pipeline for maturity stage classification in bell peppers: From full spectrum to simulated camera data
Petrellis A Windows Phone Application for Plant Disease Diagnosis.
Holmes et al. A development environment for predictive modelling in foods
Cherie et al. Advance models for camera-vision based oil content prediction of intact oil palm fruits (Elaeis Guineensis Jacq) on trees with nondestructive evaluation
Sarker et al. Feasibility of Smartphone-Based Color Matching in Fabrics for Smart Textiles Based on Color Modeling and Machine Learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221206