CN110383805B - 用于捕获被测对象的测量图像的方法和系统 - Google Patents

用于捕获被测对象的测量图像的方法和系统 Download PDF

Info

Publication number
CN110383805B
CN110383805B CN201780087346.1A CN201780087346A CN110383805B CN 110383805 B CN110383805 B CN 110383805B CN 201780087346 A CN201780087346 A CN 201780087346A CN 110383805 B CN110383805 B CN 110383805B
Authority
CN
China
Prior art keywords
image
screen
measurement
illumination
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087346.1A
Other languages
English (en)
Other versions
CN110383805A (zh
Inventor
乌多·赛费特
安德烈亚斯·赫尔佐克
安德烈亚斯·巴克豪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN110383805A publication Critical patent/CN110383805A/zh
Application granted granted Critical
Publication of CN110383805B publication Critical patent/CN110383805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/247—Telephone sets including user guidance or feature selection means facilitating their use
    • H04M1/2477—Telephone sets including user guidance or feature selection means facilitating their use for selecting a function from a menu display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Stroboscope Apparatuses (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

本发明涉及用于捕获待测对象的测量图像的系统，包括移动电子设备，其中移动电子设备包括：‑外壳，‑集成在所述外壳内的摄像头，用于记录所述摄像头的观察区域内的待测对象的测量图像，‑集成在所述外壳内的屏幕，用于以发光显示的方式显示图像，其中所述屏幕面对所述摄像头的所述观察区域，‑集成在所述外壳内控制单元，所述控制单元被配置为激活所述移动电子设备的所述屏幕，使其显示预定义的照明图像序列的多个不同的照明图像，其中所述控制单元被配置为激活所述移动电子设备的所述摄像头，使其在每种情况下与所述预定义的照明图像序列中的每个照明图像的显示相同步地捕获所述待测对象的测量图像。本发明还涉及对应的方法和计算机程序产品。

Description

用于捕获被测对象的测量图像的方法和系统
技术领域
本发明涉及一种用于捕获被测对象的测量图像的系统、一种通过该系统捕获被测对象的测量图像的方法，以及相应的计算机程序产品。
背景技术
在许多技术和非技术应用中，一个感兴趣的对象的特征取决于该对象的(生物-)化学成分。裸眼不可见的位于对象表面上、或者接近对象表面的层上的结构，取决于其在某光谱区域的透明度，也会影响该对象的某些特征。因此，对于对象的大小、形状和颜色，或对该对象宏观的(裸眼认可识别的)表面质地的光学检测，通常不足以得出对此类特征令人满意的评估。对食品的新鲜度和未处理状态、事故损坏后汽车漆面的隐蔽修补的镜片检测，以及对文件、药品和优质纺织品赝品的识别，均可作为示例。
对象的高光谱图像捕获在许多情况下都得到了应用，尤其是在商业应用和研究领域。在这里，高光谱测量图像是从对象捕获的，这些图像以空间解析的方式呈现对象的光谱反射特征。可根据这些测量图像评估感兴趣对象的各个特征。有两种已知的捕获高光谱测量图像的方法。关于第一种方法，对象被宽带光源照亮，反射光通过窄带频率滤波器、棱镜或光栅分离成其光谱成分部分，并通过光谱摄像头单独成像。宽带均匀照明可以在大面积表面上人工实现，也可以利用日光作为自然照明。根据第二种方法，该原理是相反的，使用宽带灰度摄像头进行图像捕获，使用窄带光源循序照亮对象。这种方法首要应用于实验室或显微镜领域的小表面的对象。此时分类(例如根据光谱)的LED或过滤轮被用于照明。
已知的捕获对象高光谱测量图像的方法，一个特别的缺点是所需设备的高昂成本，这些设备通常是复杂的实验室测量设备，并且在许多情况是针对某些应用进行了配置和优化的。用于捕获被检查对象的测量图像的许多其他的方法，也有这个缺点。因此，实践中许多技术上合适的方法不能以经济上可行的方式实施，特别是在消费者领域。许多已知的捕获被检查对象的测量图像的方法，还具有高时间成本以及对操作设备或执行该方法的专门的技术知识的需求的缺点。
发明内容
因此，目的是建议一种用于捕获被检对象(也称为被测对象)测量图像的系统，该系统尽可能便宜、尽可能操作简单、尽可能灵活地被应用。尽管如此，测量图像应能使得对感兴趣的对象的特征进行尽可能好的评估。此外，还建议一种捕获相应测量图像的方法，该方法能够尽可能简单、廉价地被执行，并且能够以灵活的方式被应用。最后，建议一种相应的计算机程序产品，该产品能够直接加载到所建议的系统的内部存储器中，该产品包含软件代码，该计算机程序产品在该系统上运行时，该软件代码用于执行所建议方法的步骤。
该目的是通过根据主权利要求所建议的系统以及根据其他独立权利要求所建议的方法和计算机程序产品实现的。进一步的发展和具体实施例来自从属权利要求、后续说明和附图。
建议的捕获被测对象的测量图像的系统包括至少一个移动电子设备，例如智能手机、平板电脑或其他(数字)计算机。(至少一个)移动电子设备，以下简称“设备”，(每个)包括：
-外壳，
-集成在外壳内的摄像头，用于捕获摄像头的观察区域内的被测对象的测量图像，即该摄像头可拍摄一定空间区域；
-集成在外壳内的屏幕，用于发光显示呈现在屏幕上的图像，例如，以图像的形式依次显示呈现在屏幕上的预定义的照明图像序列，其中屏幕面对摄像头的观察区域。
-集成在外壳内的控制单元，其被配置为激活移动电子设备的屏幕，以连续地显示预定义的照明图像序列的若干不同的照明图像，其中控制单元被配置为激活移动电子设备的摄像头，使其与预定义的照明图像序列中的每个照明图像的显示相同步地捕获被测对象的测量图像。
建议的捕获被测对象的测量图像的方法，可以使用此处建议的系统来执行，该方法包括以下步骤：
-控制单元激活移动电子设备的屏幕，以连续地显示预定义的照明图像序列中的若干不同的照明图像，
-激活移动电子设备的摄像头，使其与预定义的照明图像序列中的每个照明图像的显示相同步地捕获被测对象的测量图像。
电子移动设备通常包括至少一个集成到设备外壳内的内部数据存储器。内部数据存储器通常是易失性或非易失性数据存储器或其组合，例如RAM、ROM、硬盘驱动器或固态驱动器或其组合。
建议的计算机程序产品可以直接加载到设备的内部数据存储器中。计算机程序产品包括软件代码部分，通过该软件代码部分，当计算机程序产品加载到移动电子设备上并运行时，至少所建议方法的上述步骤(以及该方法可能的进一步步骤)被执行。
该计算机程序产品示例性地为存储在数据存储器(“载体”)上的计算机程序。数据存储器示例性地为诸如易失性或非易失性数据存储器的计算机硬件，示例性地为提及的设备的内部数据存储器，或者移动电子设备外部的系统其他的数据存储器，例如计算机服务器等的计算机数据存储器，或者作为诸如因特网、(计算机)云等计算机网络的一部分的数据存储器，或者由计算机网络(例如因特网或云)所生成的数据存储器。计算机或计算机服务器、计算机网络(例如因特网或云)可以示例性地作为系统的其他组件。RAM、ROM、硬盘驱动器或固态驱动器或其组合，或者CD、DVD或U盘都可以视为可能的(其他的)数据存储器。
该设备通常包括至少一个(数字)处理器，例如至少一个主处理器(CPU)，其本身可以包括例如一个或多个集成单元(协处理器)，例如图形处理器。处理器可以例如以电子电路的形式实现，例如作为半导体芯片。设备的上述控制单元可以是处理器的(逻辑或集成)单元。例如，处理器连接到设备的内部数据存储器，以便访问数据存储器，特别是为了检索加载到内部数据存储器的计算机程序产品，或者加载的软件代码部分，并随后(作为设备的控制单元)执行上述方法步骤(同步激活屏幕和摄像头)。建议的方法的各个步骤可以在软件代码部分进行编码，例如，以设备的处理器可执行的指令形式编码。在执行这些指令时，处理器示例性地作为设备的控制单元工作。
建议的方法可包括下文更详细描述的其他的步骤。设备的控制单元可以被配置为执行这些其他的方法步骤。因此，计算机程序产品还可以包括其他的软件代码部分，其中可以对通过设备的处理器可执行的相应的其他指令进行编码。在执行这些其他的指令时，处理器示例性地作为设备的控制单元工作，或者作为设备的其他的单元，例如作为设备的评估单元。
或者，还可以通过系统的其他组件执行其他的方法步骤。例如，评估单元可以设置在移动电子设备的外部。因此，评估单元也可以示例性地是相应配置的计算机，例如计算机网络的计算机服务器，或计算机的处理器的(逻辑或集成)单元。也可以采用混合形式，其中评估单元分布在系统的多个组件上，例如由若干处理器的(逻辑或集成)单元形成，该处理器示例性地为设备的处理器或提及的计算机或计算机服务器的处理器。
因此，在一些实施例中，该方法可以仅使用移动电子设备完全实现。在其他实施例中，该方法可部分地通过系统的其他组件来实现，例如通过一台或多台计算机(例如，因特网或云)，其中设备与其他组件之间的通信和数据传输可以示例性地通过因特网或云来实现。
在外部存储系统(例如云内存器)中存储数据或应用程序相关的其他信息既不是功能所必需的，也不是出于安全相关的原因，但也不有悖于本文所描述的概念。例如，如果由于某些原因(例如由于数据量大、许可证原因和/或安全原因)不能在移动设备的内部数据存储器上存储某些数据，则可以设想使用外部数据存储器。
通过移动设备对数据的主要或专门的本地处理和/或存储，可以广泛地应用或者在一些情况下应用，例如：
(1)为了减少从移动设备转发(发送)到外部服务器/存储器的数据量，
(2)移动数据连接的带宽不足或在测量的各个位置(例如在农业用地或钢筋混凝土建筑中)缺少带宽时，以及
(3)鉴于可能涉及(例如与被测对象、测量所在位置或用户本人有关的)敏感数据，特别是在移动设备配备GPS模块的情况下。例如，对保密对象、保密化学表面成分的测量，以及在保密位置进行的测量，比如说用于储存各个被测对象的位置、或者进行测量的位置、或者测量数据可能导致不希望出现的对用户的推测，例如用户的健康状况、居住地或消费习惯。
例如，移动设备的控制单元和/或移动设备的评估单元(如果有)可以被配置为一般性地的或至少在定义的应用中完全独立地执行对测量数据的评估，并将所有发生的数据专门存储在内部数据存储器中。控制单元可进一步被配置为避免或阻止测量数据和/或由其产生的数据 (尤其是GPS数据)传输到外部设备。此外，系统的功能可以基于GPS数据进行控制、限制或完全阻塞。
在下文和权利要求书中，当控制单元和评估单元被描述为“被配置为”执行进一步的操作时，这里的操作也可被理解为所提供方法的可能的(可选的)步骤。因此，计算机程序产品可以包括软件代码部分，其中对用于执行这些进一步操作的指令进行编码，由例如设备或者系统其他组件的处理器执行。相反，当后文中描述组件“被配置为”时，则表示方法步骤可以通过系统相应的组件来执行，例如通过控制单元、评估单元或者其他组件。这里的“被配置为”则可以示例性地通过向例如设备或者提及的系统其他的计算机加载设计的对应的计算机程序产品来提供。
预定义的照明图像序列通常部分地或者最好完全地由照明参数定义。照明参数的具体示例在后文进一步描述。照明参数通常存储在系统的至少一个数据存储器上，例如移动电子设备的内部数据存储器和/或系统的另一组件的数据存储器，例如提及的计算机的数据存储器。例如，通过将计算机程序产品加载到设备上，可以在设备的内部存储器上自动存储照明参数。例如，计算机程序产品的软件代码可以包含照明参数定义和/或取值。移动电子设备的控制单元可以被配置为从数据存储器中检索存储在至少一个数据存储器中的照明参数，并根据检索到的照明参数确定预定义的照明图像序列。通常，直到确定预定义的照明图像序列之后再激活屏幕，以显示由此确定的预定义的照明图像序列中的照明图像，并与此同步地，激活摄像头以捕获测量图像。
移动电子设备可以包括一个用户界面，借助该用户界面，可以操作该设备，例如以使得其执行所建议的方法。例如，可以通过用户界面调整或至少影响预定义的照明图像序列，例如通过调整或更改至少一个照明参数。附加性地，或者替代性地，通过用户界面可以在(存储的)预定义的照明图像序列中进行选择，其中照明图像序列彼此不同，例如一个或多个照明参数不同。附加性地，或者替代性地，还可以通过用户界面输入待检查的被测对象的类型。除了这样的输入之外，还可以通过用户界面来提供进一步的输入，例如对分别选定的被测对象的特征进行选择。除了对照明图像序列的定义，对测量图像的后续评估也可以依赖于这些通过用户界面所提供输入。例如，如下文进一步所描述的，系统的评估单元也可以考虑这些输入。
例如，可以设想几个不同的照明图像序列或几个不同的预定义的照明参数集，每个照明参数集定义了预先定义的、存储在一个或多个所提及的数据存储器中(如上文所述)的几个测量图像中的一个。例如，可以将不同的预定义的照明图像序列或照明参数集指定给几个不同的预定义的(测量)应用程序之一(例如，由各自的被测对象、感兴趣的特征和/或操作建议所定义的)。(不同应用程序的示例在下文中作了进一步说明)。例如，可以设想用户选择(例如通过移动设备的用户界面)特定的应用程序(例如，从通过用户界面所显示的至少一个应用程序列表中选择)，由控制单元随后从数据存储器读取属于所选应用程序的预定义的照明图像序列(或照明参数)，根据所选的应用程序，随后按照读取的照明图像序列(或读取的照明参数)执行测量。附加性地，或者替代性地，也可以根据所选的应用程序评估测量图像。
屏幕可以设计为触摸屏，因此可以作为所提及的设备的用户界面，例如通过呈现带有显示屏上的输入字段的图形用户界面。
此外，用户界面还可被配置为输出警告通知，例如，如果周围光线的影响被评估为太严重，或者已实施的对测量图像的图像配准或者对象识别不能被成功执行，例如由对象特征或用户行为造成的。
用户界面可以包括设备的声音输出，其例如可以产生所提及的警告通知。用户界面可以包括设备的振动模块，其例如可以产生所提及的警告通知。进一步地，用户界面可以通过例如其他带有显示器的通信设备(例如智能手表和头戴式显示器)来实现。各种模块(如果有) 此处也可以组合使用。
设备的至少一个内部数据存储器或外部数据存储器，例如提及的其他计算机，可用于(中间)存储捕获的测量图像。相应地，控制单元可以被配置为执行或启动向至少一个数据存储器传输捕获的测量图像。
此外，控制单元可以被配置为激活屏幕以显示捕获的测量图像，例如在捕获测量图像后自动显示。例如，测量结果可以在测量期间或测量后显示在设备的屏幕上，例如，被测对象的捕获图像或摄像头的瞬间的实时图像可以叠加在屏幕上，以实现，例如，增强现实技术。
例如，设备的操作系统(例如iOS、Android、Windows、Linux、BlackBerry OS或其他操作系统)以及常用的其他的应用程序(例如因特网浏览器和/或应用商店)可以安装在设备的至少一个内部数据存储器上。例如，设备与应用商店(即基于因特网的应用程序的数字营销平台，例如苹果的App Store或谷歌的Play Store)之间的(因特网)连接，可以通过应用商店应用程序创建。在一个实施例中，计算机程序产品可以作为应用程序、通过该应用商店应用程序被加载到设备的内部数据存储器上，并可示例性地永久存储在该内部存储器中(例如，直到用户发起和/或确认的删除过程)。另一种可能性是将计算机程序产品或应用程序直接复制到设备上(例如，通过USB电缆)，尤其是复制到智能手机上，只要这不会被各操作系统阻止。在又一实施例中，计算机程序产品可以作为网页应用程序，通过设备的因特网浏览器从提供者的因特网页面加载到设备的内部存储器。网页应用程序可临时性存储在内部存储器中(例如，仅限于预定义的时长内或仅限于预定义的方法实现次数)，然后自动从设备的内部存储器中删除。总之，在所有情况下，计算机程序产品都能够在设备上运行，并且可以供用户使用以执行该方法，最好是在加载到设备的内部存储器后直接使用。
该设备通常包括一个或多个电缆连接或优选的为无线连接的数据接口，例如至少一个无线接口，以便能够将该设备连接到例如因特网或系统的可能的其他组件，例如通过例如因特网连接到一个或多个计算机服务器。
移动(便携式)电子设备应尽可能轻，以使得用户(尤其是在上述方法步骤中，即在显示照明图像和捕获测量图像的过程中)能够舒适地用双手或最好是单手握住，并在相对于被测对象的适当位置对齐。因此，该设备优选地重量小于3kg、小于2kg或小于1kg。外壳的最大边缘长度通常不超过30cm，通常小于25cm或小于20cm。例如，外壳的设计通常是长方体的。最小边缘长度通常小于5cm，优选小于2cm。
摄像头通常包括一个透镜，该透镜设置在外壳的正面，并定义摄像头的观察区域。屏幕通常也被设置在外壳的正面。摄像头(至少是摄像头拍摄对象)和屏幕通常设置在外壳的同一侧，也就是说从外壳的同一侧可见。摄像头通常还包括图像传感器，例如光敏半导体芯片，例如CCD或CMOS传感器或InGas传感器。
该设备还可以包括扬声器或麦克风，例如可通过安装在内部存储器中的电话应用程序，允许通过移动无线电话网络或通过因特网进行电话对话。该设备还可以包括(可充电)储能器，用于向该设备提供电能，尤其是该设备的屏幕、摄像头和控制单元。
在通过该系统执行该方法时，该设备的屏幕在照明图像的显示过程中发光。因此，由于屏幕面对摄像头的观察区域，布置在摄像头观察区域中的被测对象可以被屏幕照亮。在这种情况下，屏幕在显示照明图像时发出的光到达被测对象，经被测对象反射后由摄像头捕获。在此，反射光通常通过摄像头的透镜进入摄像头，并在摄像头的图像传感器上成像。
摄像头的图像传感器通常包括多个传感器单元，这些传感器单元排列在一个整体网格中。每个传感器单元可以包括图像传感器的一个或多个传感器元件。例如，每个传感器单元对应于通过摄像头捕获的测量图像的一个图像点(像素)。传感器单元及其传感器元件在图像传感器中的位置由各自传感器单元的两个传感器坐标(XY)定义。
因此，每个测量图像同样包含多个图像点(像素)，这些图像点(像素)排列在一个整体网格中，并分配给图像传感器的传感器单元，这些图像点(像素)在各测量图像中的位置由两个图像坐标(XY)定义，这些坐标通常与传感器单元各自的传感器坐标相对应。测量图像还包括图像数据，其中图像信息被编码。例如，测量图像的各个图像点的亮度值编码在图像数据中。测量图像的图像点的亮度值通常取决于传感器单元的光敏传感器元件在捕获各自的测量图像时的充电或放电状态。
由于照明图像之间的差异，不同的测量图像包含了被测对象的不同信息。例如，各照明图像之间的区别在于，不同照明图像通过屏幕显示时，屏幕所发出的光的光谱成分不同。附加性地，或者替代性地，可以将照明图像安排在屏幕的不同区域中，所以从摄像头看被测对象从不同方向被点亮。
因此，有利于从分别捕获的测量图像中获得关于被测对象反射特征或其他特征的不同信息。此外，通过改变照明图像序列，可以很简单地影响测量图像的信息内容。
另一个重要的优势在于，移动电子设备可以是智能手机、平板计算机(平板电脑)、笔记本电脑或类似广泛使用的移动电子设备。有利的是，用户/消费者很容易配置这样一种商用设备来执行建议的方法，例如简单地通过用户/消费者将提供的计算机程序产品加载到设备上的方式，例如上文所描述的，可以从应用商店或从计算机程序产品提供者的网站加载提供的计算机程序产品。因此，与许多传统测量设备相比，该系统和方法是非常便宜的，可以通过照明图像序列、和集成到移动设备中的用于数据评估的评估单元，以非常可变的方式进行配置，如下文所描述，并且对许多用户来说可以以符合其直觉的方式被应用或者执行。与已知系统相比，移动电子设备的另一个优点是无需使用其他(外部)光学硬件进行改装，既不需要产生分散光学效果，也不需要控制照明和/或图像捕获的特定参数。因此，本文所描述的方法可以很好地被执行，而无需使用其他光学或电子元件对设备进行改装。特别地，该方法不需要用附加组件(例如过滤器、透镜、镜子、光圈、屏幕、光源、传感器等组件)改装移动设备，或者在该方法执行过程中于移动设备和被测对象之间布置该组件。
在捕获测量图像之前，可以设想预处理步骤，该步骤可通过关闭或停用摄像头而自动地被执行。例如，可以设想，通过关闭摄像头，对捕获图像的色温进行自动调整，或者色温被设置为例如固定值，并在后续评估测量图像时被考虑在内。这分别适用于自动调整摄像头的其他捕获/记录参数，例如灵敏度、曝光时间和白平衡。
因此，可以设想(由控制单元)关闭屏幕的亮度自动调节，并将照明设置为例如尽可能高的亮度。
通常移动电子设备的屏幕发出的光主要或仅在可见光谱区域，即波长在400nm到大约 800nm之间的光。屏幕通常是彩色屏幕，因此可被配置为显示彩色图像。例如，屏幕可以包括几个颜色通道。屏幕在每个颜色通道中具有通道特定的光谱发射特征，光谱发射特征也在下文中表示为Dd(λ)。因此，在颜色通道中发出的光具有光谱强度分布，该光谱强度分布是为该颜色通道预先定义的，并且对应于屏幕的基本颜色，该基本颜色可以由该屏幕呈现。例如，屏幕可以包括红色通道、蓝色通道和绿色通道。颜色通道的颜色，例如红色、绿色和蓝色，代表了屏幕的基本颜色。屏幕和摄像头通常与人类视觉系统相适应。波长高达约485nm的可见光被视为蓝色，约500nm至约550nm为绿色，从约630nm为红色。因此，红色通道(主要地)发射在红色波长区域中，绿色通道(主要地)发射在绿色波长区域中，而屏幕光的蓝色通道(主要地)发射在蓝色波长区域中。
屏幕通常包括许多发光元件，这些发光元件排列在屏幕的整体网格中，形成屏幕的图像点(像素)，并共同填充屏幕的总图像区域。每个颜色通道由屏幕的发光元件的子集形成，所述发光元件的光谱发射特征对应于各自颜色通道的通道特定的光谱发射特征。例如，屏幕的每个图像点由属于不同颜色通道的一组相邻的发光元件形成。属于同一图像点的不同颜色通道的发光元件也被称为屏幕的子像素。每个颜色通道的发光元件都排列在一个网格中。各个颜色通道的网格在空间上相互重叠，从而形成屏幕图像点的整体网格。
移动电子设备的摄像头通常是彩色摄像头，因此对波长在400nm到800nm之间的光敏感，并且包含几个不同的颜色通道。摄像头通常包括每个颜色通道的通道特定的灵敏度，所述灵敏度在下文中也表示为Cc(λ)。例如，摄像头可以具有红色通道、蓝色通道和绿色通道。在许多情况下，摄像头颜色通道的波长区域成对地(通常但不完全)与屏幕的颜色通道对应。
摄像头的每个颜色通道由图像传感器的传感器元件的子集形成，传感器元件的光谱灵敏度对应于摄像头的各个颜色通道的通道特定的光谱灵敏度。例如，摄像头图像传感器的每个传感器单元由属于摄像头不同颜色通道的图像传感器的一组相邻颜色通道组成。因此，每个颜色通道的传感器元件都被布置在遍及图像传感器的子网格中。不同颜色通道的传感器元件的子网格在空间上相互重叠，从而形成图像传感器的传感器单元的整体网格。例如，红色通道的传感器元件对红光最敏感，绿色通道的传感器元件对绿光最敏感，蓝色通道的传感器元件对蓝光最敏感。例如，红光的波长约为605nm或更大，绿光的波长约为555nm，蓝光的波长约为450nm或更大。上文给出了关于不同颜色的波长区域的进一步示例。
例如，移动电子设备的控制单元被配置为通过以下来激活移动电子设备的屏幕以显示预定义的照明图像序列的一个、多个或每个照明图像：
-通过激活屏幕上仅单个颜色通道的发光元件，以及通过使用为该颜色通道预定义的均匀亮度值激活该颜色通道的所有激活的发光元件，或者
-通过激活多个颜色通道的发光元件，以及通过使用为各颜色通道预定义的均匀亮度值激活所有激活的发光元件，或者
-通过用梯度替换上述均匀亮度值。不是用均匀亮度值进行激活，可以例如使用根据为该颜色通道定义的梯度而彼此不同的不同亮度值来激活给定颜色通道的激活的发光元件。各颜色通道的梯度可以示例性地为一个预定义的向量，例如，该向量在整个屏幕上是均匀的(即常量)。那么，根据梯度向量的大小，该颜色通道的发光元件的亮度值沿梯度向量的方向均匀增大(或者替代性地均匀减小)。
例如，对颜色通道的发光器件的激活可以通过打开这些发光元件，或者使用均匀亮度值来激活而被影响，该均匀亮度值大于发光元件的最小亮度值。为了通过激活的发光元件尽可能地照亮被测对象，各均匀亮度值最好对应于发光元件的最大可能亮度值。
因此，剩余颜色通道的各未激活的发光元件可以被关闭或保持被关闭或者以可能的最小亮度值被激活。
使用均匀亮度值激活使得各照明图像具有均匀的颜色，因此屏幕的每个图像点以均匀的颜色亮起，或者，如果照明图像没有填满整个屏幕(即该屏幕的整个图像区域)，则关闭或仅使用可能的最小亮度值亮起。通过这种方式，被测对象可以被屏幕以均匀的方式，用预定义光谱强度分布的光进行空间照亮。
例如，如果仅激活屏幕的单一颜色通道，则屏幕将以屏幕的各基本颜色均匀亮起，例如红色、绿色或蓝色。例如，照明图像序列可以包含红色照明图像、绿色照明图像和蓝色照明图像，也可以仅包含其中一个或两个照明图像。例如，控制单元被配置为激活屏幕以：
-通过仅激活屏幕的红色通道的发光元件，以及通过使用为红色通道预定义的均匀亮度值，激活红色通道的所有激活的发光元件，来显示红色照明图像，
-通过仅激活屏幕的绿色通道的发光元件，以及通过使用为绿色通道预定义的统一的亮度值，激活绿色通道的所有激活的发光元件，来显示绿色照明图像，和/或
-通过仅激活屏幕的蓝色通道的发光元件，以及按照为蓝色通道预定义的统一的亮度值，激活蓝色通道的所有激活的发光元件，来显示蓝色照明图像。照明图像的顺序可以是任意的。
屏幕基本颜色的均匀混合可以通过激活几个颜色通道来产生。其中一个照明图像可以是例如白色照明图像(以下也称为白色图像)，显示该图像时，屏幕的所有发光元件都被激活并以可能的最大亮度值被激活。其他的照明图像可以是例如黑色照明图像(以下也称为黑色图像)，显示该图像时，屏幕的所有发光元件都被关闭或停用，或者以可能的最小亮度值被激活。例如，白色照明图像和黑色照明图像可用于校准剩余的测量图像和评估周围光线的影响。基于一定的最大和最小亮度的校准，可将周围光线的影响考虑其中，该校准可以通过线性函数(移动和缩放)来实现。它也可以通过非线性函数来实现，例如为了强调图像中的暗区域或减少图像中的亮区域。
为了定义照明图像，可以示例性地使用以下一个或多个照明参数：
-屏幕在显示各照明图像时发出的光的光谱成分，和/或
-对于屏幕的每个颜色通道，统一的亮度值，和/或
-被各个照明图像所填充的屏幕区域，特别是被填充屏幕区域的大小和形状，和/或
-在屏幕的总图像区域内，被各个照明图像所填充的屏幕区域的排列。
每个照明图像通常是连续的。例如，一个、多个或每个照明图像可以完全填充屏幕的总图像区域。然而，对于一个、多个或每个照明图像，也可以仅填充屏幕总图像区域的某一部分区域，其中屏幕除被照明图像填充的部分区域之外通常为黑色(即发光元件关闭或未激活，因此不亮起或只有可能的最小亮度)。分别被照明图像填充的屏幕区域对应于例如屏幕总图像区域的至少1/6、1/5、1/4、1/3、1/2或更多。例如，照明图像序列可以包含R个照明图像，每个图像大约只填充屏幕总图像区域的1/R，其中R例如是大于2的自然数，例如小于20。通常情况下，它介于3和10之间。例如R＝3、4、5或6。通常，不同照明图像分别填充的部分区域不会在屏幕上相互重叠。
被照明图像填充的部分区域可以安排在屏幕总图像区域内的相同位置。然而，照明图像通常至少在颜色上彼此不同。或者，照明图像可以不仅在颜色上有所不同，还可以在屏幕上的排列上有所不同。此外，照明图像的颜色可能不会有所不同，但只是在屏幕的排列上不同。
例如，每个照明图像的图像内容可以是以单一颜色填充的区域(通常完全填充该部分区域)，如上文所描述，其中颜色例如可以是屏幕的基本颜色(例如，红色、绿色或蓝色)或白色(所有颜色通道具有相同的、最好最大的亮度)。
如果照明图像具有相同的颜色并且仅在屏幕上的位置不同，则照明图像通常是以单一颜色填充的区域(完全填充各自的部分区域)，例如，在每种情况下，颜色是屏幕的相同基本颜色(例如，红色、绿色或蓝色)或白色(所有颜色通道具有相同的、最好最大的亮度)。
例如，屏幕的总图像区域可以包括上边缘、下边缘、左边缘和右边缘，其中各照明图像所填充的部分区域到屏幕的总图像区域的上边缘的距离彼此不同，其中透镜布置在屏幕的总图像区域的上边缘上方。
例如，照明图像序列可以通过以下一个或多个进一步的照明参数来定义：
-照明图像的总数，
-照明图像的顺序，
-照明图像的显示时间，
-显示单个照明图像之间的时间间隔。
例如，照明图像的总数是由摄像头和屏幕的颜色通道数量决定的。例如，如果后两者都具有彼此对应的三个颜色通道(例如红色、绿色和蓝色)，则照明图像序列可以包含至少三个照明图像，具体是每个颜色通道(红色、绿色和蓝色)对应一个。此外，照明图像序列可以包括上述白色图像和黑色图像，因此照明图像序列包含例如(至少)五个照明图像。例如，顺序可以以任意方式设置序列。必须选择足够长的显示持续时间，使得图像传感器在捕获测量图像时得到充分的照明。显示持续时间通常在10ms到500ms的范围之内，最好在100ms 到200ms的范围之内。照明图像通常以时间上连续的方式显示，而不是同时显示。显示单个照明图像之间的时间间隔通常在1ms到20ms的范围之内，最好在5ms到10ms的范围之内。因此，捕获测量图像的总持续时间通常在60ms到3000ms的范围之内。
每个被记录的测量图像包括多个图像点以及分配给各个图像点的图像数据。如上所描述的，系统可以包括评估单元，该评估单元可以是设备的一部分(例如，作为设备处理器的逻辑或集成单元)或系统的其他组件(例如计算机服务器)的一部分(例如，作为该相应组件的处理器的逻辑或集成单元)。
例如，评估单元被配置为(例如通过计算机程序产品来配置)，将测量图像的图像点合并，并将合并图像点的图像数据分组到各合并图像点的测量数据集。
图像点的合并通常通过测量图像的图像配准来实现。合并后的图像点形成一个单一的配准测量图像，配准测量图像的图像点由各自指定的测量数据集组成。
最好使用这些测量数据集对记录的图像数据进行进一步处理。不是对单个测量图像进行单独的顺序评估，而是通过使用以上描述的测量数据集，对所有测量图像同时进行评估。从测量图像的图像数据获得的测量数据集表示例如(超)光谱数据集(下文进一步称为光谱指纹)，每个光谱数据集被分配到测量图像中的一个共同的位置，并且包含多个或所有一个照明序列期间所捕获的测量图像的测量数据。可以通过使用上文建议的测量数据集(通过分别处理合并图像点的测量数据集)以空间解析的方式处理测量数据。在此，每个测量数据集可以理解为独立于其他测量数据集的测量，并且取决于目标区域中对象的局部特征，其中目标区域被测量数据集分别成像。根据摄像头的分辨率，通过一次性实施所建议的测量方法，可以产生大量独立的测量值，每个测量值都由一个测量数据集表示。由于每次测量产生的测量数据集数量众多，因此测量数据集特别适合作为机器学习的训练算法的学习数据，例如分类方法，例如人工神经网络。因此，测量数据集也同样适用于由这种算法进行评估。评估单元优选地被配置为通过算法来评估测量数据集，该算法可以通过机器学习方法(例如分类方法，例如人工神经网络)进行训练或可训练。由于照明图像序列是预先定义的，测量数据集的数据格式也以相应的方式预先定义。特别是，通过定义照明图像序列，可以预先确定测量数据集的哪些分量属于哪个照明图像(因此，例如，确定属于哪个波长区域)。这种固定的分配方式通过预先定义的评估算法或校准模型简化了测量数据集的进一步处理，这些算法或校准模型通常需要特定的数据格式或被编程为用于处理特定的数据格式。
通常，测量图像的图像变换，例如(局部)坐标变换(旋转、平移、倾斜和/或(局部)重新缩放、子像素插值)，对于测量图像的图像配准是必要的，以便补偿或减去设备和被测对象之间在采集测量图像时的相对运动。在理想情况下，测量图像的图像点之间存在1:1的对应关系，但通常为1:X的对应关系，其中X≠1。当X≠1时，通常对合并图像点的测量值进行插值或平均，以确定测量数据集。
例如，可以在测量图像的基础上执行对象识别算法，最好是在配准测量图像的基础上执行，以便识别测量图像中或配准测量图像中，对被测对象进行成像的图像点。这些图像点在下文中称为对象图像点。这些识别的对象图像点中的每一个，都对测量图像或者配准测量图像中的对象的表面上的部分区域，进行成像。这些部分区域在后文中称为对象点。例如，对象识别算法可包括“区域生长”算法。第一图像点在该算法开始时被定义，该图像点为假定的对象图像点。例如，在测量图像或者配准测量图像中间的图像点，可以被定义为第一图像点。或者，第一图像点也可以由用户通过用户界面定义，例如，通过标记屏幕显示的测量图像的一个区域，或者标记显示的配准测量图像，特别是在屏幕被设计为触摸屏时。随后，检查相邻图像点的测量数据集与第一图像点的测量数据集之间的差异大小。只有在差异足够低的情况下，相邻图像点才同样被分类为对象图像点。这个算法(从每个分类为新的对象点开始) 被继续或迭代，直到没有更多的图像点被分类为对象点。
如上文所述，如果屏幕和摄像头有多个颜色通道，且照明图像的颜色不同，则每个测量数据集都可以是被测对象在关联对象点的所谓被测对象的一个“光谱指纹”。如果屏幕具有例如 M个颜色通道，摄像头具有例如N个颜色通道，则每个测量数据集可以包含例如Mx N个测量值或更多。例如，可以在屏幕的每个颜色通道显示照明图像，并为每个照明图像捕获测量图像，其中摄像头在各个颜色通道所测量的亮度值作为单个测量值包含在测量数据集中。例如，一个对象点的测量数据集的(第一)M x N个测量值，对应屏幕颜色通道和摄像头颜色通道的不同的可能组合。例如，如果摄像头和屏幕分别包含红色、绿色和蓝色颜色通道，则可以是M＝3和N＝3。如果另外还显示上述白色图像和黑色图像，并在每种情况下捕获测量图像，则每个测量数据集可以包含(M+2)x N个测量值。
如果摄像头和屏幕各自包含多个颜色通道，则属于被测对象的对象点或对象图像点的测量数据集在下文中也称为F(d,c)。指数d描述了照明图像(或屏幕的颜色通道)的颜色，并且可以例如用数字定义，并且根据上述示例，满足例如1≤d≤M或1≤d≤M+2，例如M＝3。或者，指数d也可以由相应的字母定义，并且根据上述示例，例如满足d＝{r,g,b}或d＝{r,g,b,w,s}，其中r,g,b分别代表屏幕的红色、绿色和蓝色颜色通道或相应的红色、绿色和蓝色照明图像， w代表白色图像，s代表黑色图像。对应地，指数c表示摄像头的颜色通道，也可以用数字定义，并且根据上述示例，例如满足1≤c≤N，例如N＝3。或者，指数c也可以通过相应的字母定义，并且根据上述示例，例如满足c＝{r,g,b}，其中r,g,b分别代表摄像头的红色、绿色和蓝色颜色通道。例如，包含在测量数据集中的测量数据可以表格的形式来表示。对于d＝{r,g,b, w,s}以及c＝{r,g,b}的示例如：
Figure GDA0002177635810000111
表1：被测对象的一个对象点的测量数据集F(d,c)的分量示例。
例如，F(d,c)包括被测对象的各对象点的亮度值，所述亮度值在具有基本颜色d的照明图像的照明中由摄像头颜色通道c的传感器元件测得。
然而，单个图像点的测量数据集也可以是没有颜色信息的总亮度值。例如，测量数据集可以是所谓的“光泽度测量向量”，以下简称G(a)，其中指数a代表照明图像序列的单个照明图像。
例如，如上文所述，可以提供R个照明图像，如上文所述，每个照明图像覆盖整个屏幕区域的1/R，并且通常不会相互重叠。它们在屏幕上的位置各不相同，并且可以整体(如果同时显示)覆盖整个屏幕。各照明图像所填充的部分区域到屏幕总图像区域的上边缘的距离彼此不同，其中透镜布置在屏幕的总图像区域的上边缘上方。此外，照明图像序列可以包括上文已描述的白色图像和黑色图像。那么，指数a可以用数字定义，并满足例如1≤a≤R或1≤a≤R+2 (在有白色图像和黑色图像的情况下)。“光泽度测量向量”G(a)在例如R＝3时具有以下分量：
Figure GDA0002177635810000112
表2：被测对象的一个对象点的测量数据集G(a)的分量示例。
通常，屏幕各部分区域中的所有颜色通道都以可能的最大亮度值激活，使得这些照明图像显示为白色。例如，光泽度测量向量G(a)包含每个指数a的总亮度值，所述总亮度值在具有指数a的照明图像的照明下测得，并且摄像头的所有传感器元件都位于各自的对象图像点中。
原则上，照明图像序列也可以包含在光谱成分或颜色上彼此不同的照明图像，还可以，如上文所描述，包括各自填充的部分区域的位置a不同的照明图像。例如，可以为每个位置a 获取上文描述的光谱指纹F(d,c)，其中彩色照明图像仅填充该位置a中所述的部分区域。通过这种方式，可以为每个对象点生成测量数据集H(c,d,a)，该数据集包含被测对象在各个对象点的有关光谱反射特征以及有关光泽度的信息。
例如，有关被测对象光泽度特征的信息可以通过评估光泽度测量向量G(a)和测量数据集H(c,d,a)获得。除了许多其他可能的例子外，例如(人或动物)毛发或由许多(人)毛发彼此相邻形成的表面可以被视为被测对象。
由于测量图像中图像点或对象图像点的数量差异，在照明图像序列中捕获的测量图像，可以生成被测对象的数百、数千或数百万个测量数据集。
例如，评估单元可以被配置为将一个、多个或每个测量数据集(例如前文描述的光谱指纹F(d,c)、光泽度测量向量G(a)和/或测量数据集H(c,d,a)与至少一个预定义的测量数据集进行比较。这种比较的结果可以是例如一个维度值，其度量各测量数据集与各参考数据集之间的差异程度。例如，可以在特征空间中定义至少一个参考数据集，并且测量数据集可以在比较之前通过评估单元首先转换到该特征空间，随后在特征空间中进行测量数据集和参考数据集之间的比较。
对于多个参考数据集，结果可以是分别与各个测量数据集差异最小的参考数据集的标识。例如，可以生成一个等级数，其中各个测量数据集与参考数据集的差别越小，该参考数据集获得的等级数就越大。通过评估单元识别具有最高等级数的参考数据集，可以对各个测量数据集进行分类。
在将多个或所有测量数据集与(多个)参考数据集进行比较后，可以识别出获得最高总等级数(根据“多数决定”)的参考数据集，该参考数据集等级数排名占首位，以及实例性地最常获得最高等级数。如此，评估单位可以对被测对象进行整体分类。
识别出的具有最高总等级数的参考数据集可以作为测量结果输出，例如通过用户界面(例如通过设备屏幕)输出。也可以输出与该参考数据集对应的被测对象的特征，或者以相应的方式输出被测对象的相应分类，而不是输出识别出的具有最高总等级数的参考数据集。
本发明的一些实施例涉及所记录测量值的收集和存储类型，以及测量值与应用特定的参考值的比较。例如，在一些实施例中，在评估单元的应用特定的实施例中，不进行单个测量数据或测量数据集(光谱特征)的收集和存储，也不进行与来自数据库的各个相应参考值(光谱特征)的直接比较。例如，可以对所有测量值，进行测量值特性特征的集体收集和存储，以及例如通过在人工神经网络的突触元件或其他机器学习方法(例如分类方法)的类似模块中的应用特定权重，将这些特性特征与以相同方式确定的参考特性特征进行比较。基于模型的分析更多的是与参考模式的简单比较，而不是针对具体应用案例进行的系统全面的测量活动的结果，这种测量活动覆盖了应用领域中测量信号的预期的典型波动，并构造了一个可根据测量值得出决定的隐性模型。
评估单元可以被配置为，根据相应的经过训练或优化的人工神经网络，进行前文描述的测量数据集和参考数据集之间的比较。所描述对测量数据集和被测对象的整体分类，可以通过基于该人工神经网络的数学分类模型实现。例如，该人工神经网络可以是多层感知器 (peceptron)，例如，它可以有两层或两层以上，特别是隐藏(内部)层。
例如，在所记录的测量数据与应用相关信息之间的数学关系的映射，所述映射对于解决测量任务是必要的，因此在预先定义的方程组的解的基础上不以固定的方式影响，而是以应用特定的方式在一个自由配置和参数化的算法，最好是从机器学习领域。
例如，所记录的测量数据与应用相关信息之间的数学关系的映射，所述映射对于解决测量任务是必要的，因此并不基于预定义方程组的技术方案以固定的方式实现，而是基于可自由配置和参数化的算法(最好是机器学习领域算法)以应用特定的方式实现。
人工神经网络可以通过训练实例进行训练。例如，给定一种监督学习方法，可以通过一个输入向量和一个输出向量分别给出大量的训练案例。前述的通过所建议的方法得到的、并且其特性特征例如是根据前文所描述方法确定的已知被测对象的测量图像的测量数据集，可以作为输入向量。通常，特性特征不能从单个测量数据集得出，而是对许多测量数据集的特征进行概括确定的，也就是说，它们是隐性地确定的。独立于测量图像获得的、并且体现了被测对象的某些感兴趣的特征(例如，化学成分、成熟度、光泽特征或被测对象的感兴趣的其他特征)的测量值，可以作为输出向量。人工神经网络(即其参数)可针对这些训练实例进行优化，例如通过错误反馈(反向传导)进行优化。关于这类技术的更多细节可示例性地从以下学术书籍中获得：
R.Rojas：《神经网络理论：系统导论》(Theory of neural networks:Asystematic introduction)，施普林格(Springer)，1996
R.Brause:《神经元网络：神经信息学导论》(Neuronal networks:Anintroduction into neuroinformatics)，图依布纳(Teubner)，1995
J.Lunze，《工程师人工智能》(Artificial intelligence for engineers)，奥登伯格(Oldenbourg)， 2010
预定义的至少一个参考数据集可存储在例如数据存储器中，例如移动电子设备的内部数据存储器或系统的其他组件中，例如计算机服务器或云。评估单元可以被配置为自动访问该数据存储器并从数据存储器中检索参考数据集，以便能够执行所描述的比较。例如，评估单元可以被配置为依赖于通过用户界面的输入来执行参考数据集的请求。例如，可以设想通过用户界面输入待检查的被测对象的类型以及要检查的该被测对象的特征。
在评估测量数据集时，评估单元可被配置为将摄像头的光谱灵敏度Cc(λ)或屏幕的光谱发射特征Dd(λ)或两者考虑其中。(指数c和d的定义如上文所描述)。以这种方式，例如可以提高通过不同屏幕和摄像头获得的测量数据集的可比性，特别是上文所描述的光谱指纹F(d,c) 或光泽度测量向量G(a)的可比性。摄像头的光谱灵敏度Cc(λ)和屏幕的光谱发射特征Dd(λ)可通过例如分光计测量，或根据各自的制造商规范(manufacturerspecifications)得到。
作为对上文描述的评估的附加或者替代，评估单元可被配置为，在将摄像头的光谱灵敏度Cc(λ)和屏幕的光谱发射特征Dd(λ)同时考虑在内的情况下，从测量数据集确定被测对象的反射特征。关于上述反射特征，例如，可以是被测对象(在各对象点)的反射光谱，该反射光谱度量被测对象(在各对象点)的反射度与光波长的依赖关系。在许多情况下，反射光谱可用于得出有关被测对象(至少在其表面)的(生物)化学成分的信息或与此相关的被测对象的特征。
通常，在被测对象的对象点上所测得的“光谱指纹”F(d,c)，与该被测对象的该对象点上的感兴趣的实际(未知)反射光谱S(λ)之间的关系可以在数学上描述为在整个波长区域上的积分：
F(d，c)＝∫Dd(λ)Cσ(λ)S(λ)dλ 方程(1)
屏幕的光谱发射特征Dd(λ)，其中d＝{r,g,b,w,s}，以及摄像头的光谱灵敏度Cc(λ)，其中 c＝{r,g,b}，如上文所定义。光谱通道Sk是波长为Ak和Ak+1之间的各波长区域[Ak,Ak+1]上的平均值，可由ΔA＝Ak+1-Ak定义：
Figure GDA0002177635810000141
则光谱指纹F(d,c)的分量可以近似地看作是光谱通道Sk上的和，因此：
Figure GDA0002177635810000142
具有特定于各装置的系数
Figure GDA0002177635810000143
频谱通道Sk不(或只是相对较弱地)依赖于设备特定变量Dd(λ)和Cc(λ)，因此特别适合于所有类型设备的应用。光谱通道Sk通常包括显示器和摄像头的整个光谱波长区域。在器件特定变量Dd(λ)和Cc(λ)已知的情况下，对光谱指纹F(d,c)进行测量，得到光谱通道Sk作为未知量的方程组(方程3)。如果方程组具有足够的线性无关性，则可以求解方程组，得到所寻求的频谱通道Sk。频谱通道Sk的数量和位置可以为此进行适当选择。如果光谱通道Sk的数量选的太高，则方程组不再具有足够的线性无关性。在某些应用中，例如在商用智能手机中，在通道数量选为5到6个时，方程组可以在许多情况下求解Sk。在某些情况下，可以在利用非线性效应的情况下获得更高的通道Sk的数量。各设备的通道Sk可能的数量和位置，一般可根据设备特定变量Dd(λ)和Cc(λ))之间的差异以及噪声影响计算得出。在某些情况下，例如15 个通道Sk也可以实现。
按照上文描述方式确定的反射光谱S(λ)是具有有限精度的近似值。尽管如此，有用的应用可以通过这种方式实现。
作为对光谱通道Sk的附加或者替代，提及的反射特征示例性地可以是或者可以包括被测对象(在各个对象点)反射度对光线到被测对象(在不稳定对象点)的入射角的依赖性。在许多情况下，与角度相关的反射度允许对表面的光泽度进行客观推断，如此也允许对以定向方式反射到被测对象表面的光(而不是漫射反射光)的份额进行客观推断。例如，这种与角度相关的反射度可以根据上文描述的光泽度测量向量G(a)或每个对象点的测量数据集H(c,d, a)确定，或者也可以定量估计。对于非常光亮的表面，当被测反射光束路径的出口角与入射光束的入射角精确对应时，与角度相关的反射度通常显示出特别高和窄的最大强度值。例如，可以计算单个像素亮度的直方图。例如，可以根据直方图或其特征(例如，通过阈值或直方图分析)计算与角度(对应于屏幕当前被照亮的部分)相关的反射的尺寸值。
如已在关于测量数据集的上下文中所描述的，特别是在关于光谱指纹F(d,c)、光泽度因子G(a)和测量数据集H(c,d,a)的上下文中，评估单元可以进一步地或替代性地被配置为将被测对象的确定的反射特征(例如光谱通道Sk或与角度相关的反射度的确定的值)，与至少一个预定义的参考反射特征进行比较。
在取决于设备(尤其是移动设备(例如智能手机)的屏幕和摄像头)的特征变化的背景下，这些变化尽管很小但是不能被完全排除，例如，可以进行设备特定的校准，以提高测量值准确度。可以用移动设备(例如智能手机)进行已知校准法线的一次性或重复测量，该已知校准法线最好以其材料变化以及频谱特性尽可能小为特征。对于测量，此处建议的测量方法是用移动设备进行的，所描述的校准法线的测量图像也以此方式产生。随后可以将测量数据与该校准法线对应的参考数据集进行比较，其中测量数据通过测量得到，可以为例如上文描述的测量数据集的形式，或者为上文描述的反射特性或光谱通道Sk的形式，该校准法线对应的参考数据集存储于例如评估单元，或者移动设备的内部存储器。例如，该参考数据集是通过使用一个或多个校准法线的高精度方法预先确定的。例如，在将频谱通道Sk的测量数据与频谱通道Sk的相应参考值进行比较的基础上，可以重新计算设备特定变量Dd(λ)和Cc(λ)的值，并将其存储起来，以备将来测量时使用。例如，移动设备的控制单元和/或评估单元可以被配置为自动执行变量Dd(λ)和Cc(λ)(校准所需的变量)的新的计算，例如在设备先前(例如由用户通过用户界面)激活的校准模式中。
商用和专用校准/特征校准的法线，例如光谱尤其恒定的材料(聚四氟乙烯，特氟隆)可用于上述校准法线的设计。进一步设计的可能性，特别是关于消费者的首选用途以及避免增加硬件(由此产生的成本)的预期目的，使用通常易于得到且不易变化的对象，实际上是为了另一个应用目的，如钞票，作为校准法线。
如果假设上文提及的取决于设备(尤其是移动设备(例如智能手机)的屏幕和摄像头) 的特征变化，在设备的正常寿命和使用寿命期间没有变化，则通常只需要进行一次特定于设备的校准。如果取决于设备(尤其是移动设备的屏幕和摄像头)的特征发生较大变化(例如，由于过度磨损)，则基本上可以根据需要尽可能频繁地重复此校准，以将出现的变化考虑其中。这种变化可以通过建议的校准来减少。以智能手机和可比的移动设备而言，这对消费者尤其有利，因为这些设备在屏幕的发射行为以及彩色摄像头的滤光特征方面往往存在差异，而且这些特征通常只能直接通过测量技术和大量的努力获得。
系统、方法和计算机程序的不同的应用结果，其中一些应用以实例的形式列出，并根据应用的复杂性进行排序。被列出的有测量对象的示例，各个测量对象可能的感兴趣的特征示例，以及动作建议的示例。
相关应用1：
人体医学：
-皮肤类型
-头发类型
-头发颜色
-变色(痣、黑色素瘤)
-伤口愈合，炎症颜色
-根据毛发或皮肤(或动物皮毛)的特定变化、识别、客观评估和/或记录疾病(如代谢性疾病、感染、过敏)和/或缺陷的外观。自动或半自动(在辅助系统的情况下)的推断基于此的行动建议，例如治疗相应疾病、治疗缺陷症状、优化营养或优化皮肤和/或头发(或动物皮毛)护理。例如，护理产品(例如洗液、洗发水等)或某些食品(例如所谓的“功能性食品”、水果、人工制造的食品补充产品等)或某些食品成分(例如维生素、矿物质等)可以例如以自动或半自动的方式进行推荐以优化营养或护理。
人体化妆品(护理产品和行为建议)：
-皮肤类型、肤色(通用)
-化妆品的选择
-防晒的选择
-染色剂的选择
-护理产品的选择
-肤色(当前)
-美黑度
-头发颜色(当前)
-新的着色，需要着色吗？
宠物和牲畜
-皮肤，皮毛
-保健品
-健康
相关应用2：
蔬菜产品的生产和加工：
-识别体内、田间作物、温室和实验室内所培养植物的健康和营养状况(所有类型的生物和非生物负担)
-在田间作物的农业生产框架内识别杂草和不良植物
-在收获时或收获后，以及在储存、销售和进一步加工时，直接确定收成的质量参数。
-在收获时或收获后，以及在储存、销售和进一步加工过程中，直接识别收获中的不良产品物体污染杀菌剂和害虫侵扰。
-在植物栽培(选择)或种子生产(质量保证)框架内确定种子数量参数。
相关应用3：
确定皮革、毛皮、天然或人造材料纺织品的特征：
-颜色
-质地
-成分
-来源
-年龄
-清洁度
-色彩的细微差别，风格咨询(在什么时候配什么纺织品)
相关应用4：
食品(水果、蔬菜、鱼、肉、蘑菇、乳制品、加工产品)特征的测定
-保质期
-新鲜度、年龄、成熟度
-纯度、成分
-品种
-加工程度
-处理或未处理
关于所描述的应用示例，例如通过所建议的系统捕获各所提及对象的测量图像，然后通过系统对这些图像进行评估。每种情况下感兴趣的信息(例如对象的某些特征或由此派生的信息)由系统确定，例如由移动设备的评估单元确定。例如，随后可根据由此确定的信息(根据确定的目标特征和/或由此得出的信息)确定相应的行动建议。所确定的信息和/或所确定的行动建议可以通过移动设备输出给用户，例如通过移动设备的光学显示和/或通过移动设备的扬声器进行声音输出。例如，可以设想由用户在进行测量之前通过移动设备的用户界面进行输入，以指明被测对象类型、感兴趣的信息类型和/或行动建议类型。如上文所描述，照明图像序列的照明参数以及测量图像的评估可以依赖于该输入。
使用本文所建议的系统和方法，用户可以通过一种简单的方式，利用一般可用的移动设备(例如通过智能手机)对对象进行测量，并获取感兴趣的对象特征信息，以及可能的动作建议。在本文所描述的许多实施例中，系统或方法是移动设备、系统数据收集、机器学习和基于模型的特定应用识别的组合。通过这种组合，系统也可以通过系统来学习专家知识(例如医生的知识)，例如学习哪些具体的行动建议可以从哪些特征中得出。通过这种方式，系统在某些情况下可以使用户独立于专家，而且还可以用于以前不存在的各种类似的事务。
附图说明
下文通过如图1至图8示意性表示的特殊的实施示例，对本发明进行更详细的解释。如下所示：
图1本申请建议的类型的系统；
图2图1所示系统的移动电子设备；
图3A-3E图1所示系统的移动电子设备，从正视图中，每个显示第一照明图像序列的不同照明图像；
图4图1所示系统的移动电子设备，在侧视图中，显示第一照明图像序列的照明图像以及被测对象；
图5A-5E图1所示系统的移动电子设备，从正视图中，每个显示第二照明图像序列的不同照明图像；
图6A-6C图1所示系统的移动电子设备，在侧视图中，每个显示第一照明图像序列的不同照明图像以及被测对象；
图7由图1所示系统的移动电子设备从被测对象捕获的若干测量图像的示意图；以及
图8本申请建议的一种方法的步骤流程图。
相同的特征或相互对应的特征在图中具有相同的附图标记。
附图标记列表：
1：系统；
2：设备；
3：计算机；
4：计算机网络；
5：外壳；
6：摄像头；
7：屏幕；
8：控制单元；
9：数据存储器；
10：计算机程序产品；
11：数据存储器；
12：处理器；
13：评估单元；
14：评估单元；
15：处理器；
16：用户界面；
17：数据接口；
18：镜头；
19：正面；
20：观测区；
21：图像传感器；
22：总图像区域；
23-32：照明图像；
33：部分区域；
34：上边缘；
35：下边缘；
36：左边缘；
37：右边缘；
38：被测对象；
39：测量图像；
40：图像点；
41：测量图像；
42：对象图像点；
43：对象点；
44：GPS模块；以及
45：储能。
具体实施方式
图1示出了本申请建议的类型的系统1，用于捕获和评估被测对象的测量图像。系统1包括多个移动电子设备2，其中只有一个在图1中表示，以便更好地概述。本示例中的系统1进一步包括多个计算机3，例如计算机服务器或PC或云，其中同样只有一台计算机被表示。后面的描述可以涉及设备2或计算机3中的每一个，尽管只提到了设备2或计算机3。
在所示示例中，设备2和计算机3通过计算机网络4相互连接，例如通过因特网和/或云。在另一实施例中，系统不包含计算机3。
设备2示例性地可以是智能手机，例如制造商Apple的iPhone。但是，设备2也可以是其他制造商的智能手机或其他移动电子设备，例如平板电脑。
该设备包括外壳5和集成在外壳5内的摄像头6，用于在摄像头6的观察区域内捕获被测对象的测量图像。该设备还包括集成在外壳4内的屏幕7，用于发光显示图像。屏幕7面对摄像头6的观察区域。
图2示出了设备2的进一步示意图，其中显示了设备2的一些组件。设备2包括控制单元，其集成在外壳8内，控制单元8被配置为激活屏幕6以连续地显示预定义的照明图像序列中的若干不同的照明图像。制单元8进一步被配置为激活摄像头6，使其与预定义的照明图像序列中的每个照明图像的显示相同步地捕获被测对象的测量图像。
设备2包括因特网数据存储器9，其集成在设备2的外壳4内。因特网数据存储器9包括例如易失性和非易失性数据存储器，例如以一个或多个固态驱动器的形式存在的RAM和ROM。
包含软件代码部分的计算机程序产品10被加载到设备2上。可被控制单元执行的指令包含在软件代码部分中。当设备2运行计算机程序产品时，控制单元在执行这些指令时，执行上文描述的对屏幕6和摄像头5的控制以及下文描述的其他步骤。
计算机程序产品10是存储在数据存储器9上的计算机程序。该计算机程序还存储在计算机3的数据存储器11上，例如计算机3的硬盘或云存储器上，并且已通过计算机网络4从计算机3加载到设备2上。
控制单元8是(数字)处理器12的(逻辑或集成)单元，例如设备2的主处理器(CPU)，其形式为电子电路，例如作为半导体芯片实现。处理器12连接到设备2的数据存储器9，以便访问数据存储器9，特别是检索加载到数据存储器9的计算机程序产品，或其加载的软件代码部分，并随后(作为设备的控制单元8)执行上述步骤(同步激活屏幕7和摄像头6)以及随后进一步描述的步骤。
设备2还包括评估单元13，评估单元13同样是(数字)处理器12的(逻辑或集成)单元。评估单元13用于执行评估测量图像的方法步骤。计算机程序产品还包括进一步的软件代码部分，其中对相应的指令进行编码，处理器12可以执行这些指令，以便处理器12作为设备2的上述评估单元13来执行这些进一步的指令。
例如，该方法可完全由设备2执行，以使传输的数据量最小化，从而不依赖于数据连接和/或保护敏感数据。原则上，附加性地或替代性地，也可以通过计算机3执行相应的评估步骤。为此，计算机可以(同样)包含被相应配置的评估单元14，评估单元14同样可以是计算机3的处理器15的(逻辑或集成)单元。测量图像的评估也可以部分由设备的评估单元13执行，部分由计算机3的评估单元14执行。
本示例中预定义的照明图像序列完全由一组照明参数定义，这些参数将在下面更详细地描述。照明参数存储在移动电子设备2的数据存储器9和计算机3的数据存储器11上。例如，计算机程序产品10的软件代码包括照明参数的定义和取值。例如，通过将计算机程序产品10 加载到设备2上，可以在设备2的数据存储器9上自动存储照明参数。在执行以上描述的方法步骤时，控制单元8从设备2的数据存储器9(或者替代性地从计算机的数据存储器11) 中检索已存储的照明参数，随后根据检索到的照明参数确定预定义的照明图像序列，并随后激活屏幕7以显示以这种方式确定的预定义的照明图像序列的照明图像，并与此同步地，激活摄像头6以捕获测量图像。
设备2的屏幕7是一个触摸屏，用作设备的用户界面16。用户界面16尤其允许设备操作以执行建议的方法。例如，可以通过用户界面16以直接或非直接的方式设置预定义的照明图像序列。例如，通过用户界面16，可以在(存储的)不同的预定义的照明图像序列之间进行选择。这可以通过用户界面16来实现，例如通过输入待检查的被测对象的类型和选择所选被测对象的一个或多个感兴趣的特征来实现。根据这些输入，控制单元8示例性地确定照明图像序列的照明图像，评估单元13示例性地确定评估类型。此外，用户界面还包括例如，设备 2的声音输出，例如以安装的扬声器和/或振动模块的形式，例如用于产生警告信号，例如，当环境光线影响被评估为太大，或者如果已实施的测量图像的图像配准或者对象识别不能被成功执行时，例如由于对象特征或用户行为等原因。
设备2的数据存储器9被配置为存储捕获的测量图像。为此，控制单元8将捕获的测量图像传输到数据存储器9并启动存储。例如，设备的评估单元13可以访问存储在数据存储器 9中的测量图像，以便进行评估。此外，控制单元8可以激活屏幕7，例如在捕获测量图像后自动显示一个或多个捕获的测量图像。基本上，附加性地或者替代性地，还可以将测量图像传输到计算机3，存储在数据存储器11中，并通过评估单元14进行评估。
此外，设备2的操作系统，例如iOS，以及其他应用程序，尤其是因特网浏览器和应用商店应用程序，安装在设备2的数据存储器9上。可以通过应用商店应用程序创建设备2到应用商店的(因特网)连接。例如，计算机程序产品10示例性地作为应用程序，可以通过此应用程序商店应用程序从计算机3的数据存储器11被加载到设备2的数据存储器11上，并永久存储在那里。另一种可能性是，计算机程序产品10也可以作为Web应用程序，通过设备2 的因特网浏览器在提供者的因特网页面被从计算机3的数据存储器11加载到设备的数据存储器9上。然后，计算机程序示例性地临时存储在数据存储器9上以执行该方法，随后又被自动删除。
设备包括多个(无线)数据接口位置17，例如无线接口，以便能够将该设备连接到因特网。
移动(便携式)电子设备2小巧轻便，在显示照明图像和捕获测量图像时，用户只需一只手就可以将其对准并保持在相对于被测对象的适当位置。因此，该设备优选重量小于1kg，例如约200g。例如，大致长方体外壳5的最大边缘长度小于20cm，例如约16cm，并且最小边缘长度例如小于1cm。例如，大约8毫米。
该设备的摄像头6包括透镜18，透镜18设置在外壳5的正面19上，并限定了摄像头6的观察区域20。摄像头5包括图像传感器21，例如光敏半导体芯片，例如CCD传感器或CMOS传感器或InGas传感器。图像传感器21包括多个传感器单元(未表示)，这些传感器单元排列在一个整体网格中。每个传感器单元包括图像传感器21的几个相邻光敏传感器元件(未表示)，这些传感器元件属于摄像头6的不同颜色通道。每个传感器单元对应通过摄像头6捕获的被测图像的一个图像点(像素)。传感器单元及其传感器元件在图像传感器中的位置由各个传感器单元的两个传感器坐标(XY)定义。
摄像头5对波长在400纳米到800纳米之间的光很敏感，包括红色、绿色和蓝色颜色通道。摄像头的每个颜色通道都具有通道特定的光谱灵敏度Cc(λ)。摄像头的每个颜色通道由图像传感器21的传感器元件的子集形成，其光谱灵敏度对应摄像头各个颜色通道的通道特定的光谱灵敏度。因此，每个颜色通道的传感器元件都被布置在遍及图像传感器21的子网格中。不同颜色通道的传感器元件的子网格在空间上相互重叠，如此形成图像传感器21的传感器单元的整体网格。
屏幕7同样设置在外壳5的正面19上，并且在400nm到800nm之间的可见光谱区域中发光。如同摄像头6，屏幕7包括红色、绿色和蓝色颜色通道。屏幕7的每个颜色通道具有光谱发射特征Dd(λ)，所述特征对应屏幕7的基本颜色红色、绿色和蓝色。屏幕7包括多个发光元件(未表示)，这些发光元件排列在屏幕7的整体网格中，形成屏幕7的图像点(像素)，并共同填充屏幕7的总图像区域22。每个颜色通道由屏幕的发光元件的子集形成，这些发光元件的子集的光谱发射特征对应各个颜色通道的通道特定光谱发射特征。屏幕的每个图像点由属于不同颜色通道的一组相邻的发光元件组成。
除了扬声器或麦克风(均未表示)外，例如用于电话应用，该设备还包括可充电的储能器45，用于向设备2的组件提供电能。
图1所示的系统1的电子设备的正视图如图3A至3E所示，其中，在每种情况下，通过屏幕7显示第一预定义的照明图像序列的照明图像。在示出的示例中，第一照明图像序列包括：红色照明图像23、绿色照明图像24、蓝色照明图像25和白色照明图像26(白色图像)。此外，还显示了黑色照明图像27(黑色图像)。
移动电子设备2的控制单元8被配置为将移动电子设备2的屏幕7激活，以：
-通过仅激活屏幕7的红色通道的发光元件，以及通过使用为红色通道预定义的均匀亮度值，激活红色通道的所有激活的发光元件，来显示红色照明图像23，
-通过仅激活屏幕7的绿色通道的发光元件，以及通过使用为绿色通道预定义的均匀亮度值，激活绿色通道的所有激活的发光元件，来显示绿色照明图像24，和
-通过仅激活屏幕7的蓝色通道的发光元件，以及通过使用为蓝色通道预定义的均匀亮度值，激活蓝色通道的所有激活的发光元件，来显示蓝色照明图像25。
除均匀亮度值外，还可以激活各颜色通道的激活发光元件，还可以例如按照不同的亮度值激活各颜色通道的发光元件，其中不同亮度值按照(在屏幕上的)梯度彼此不同。
各剩余颜色通道的未激活的发光元件，可以关闭或者以可能的最小亮度值点亮，
控制单元8通过激活屏幕的所有发光元件并以可能的最大亮度值激活，产生白色图像26。控制单元8通过关闭或停用或以可能的最小亮度值激活屏幕7的所有发光元件，产生黑色图像27。评估单元13使用白色照明图像和黑色照明校准剩余的测量图像以及评估周围光线的影响。
第一照明图像序列的照明图像23、24、25、26、27中的每个均完全填充屏幕7的总图像区域22。除上文描述的亮度值外，第一照明图像序列由以下照明参数定义：
-照明图像总数，在本示例中，全部的三个彩色图像，白色图像和黑色图像，
-照明图像的顺序，在本示例中，例如顺序为红、绿、蓝、白、黑(或基本上任何其他预定义顺序)，
-照明图像的显示时间，在本示例中，在100ms到200ms的范围之内，例如150ms，
-显示单个照明图像之间的时间间隔，在本示例中，在5ms到10ms的范围之内，例如7ms。
在图4中，移动电子设备2显示在侧视图中，预定义的第一照明图像序列的其中一个照明图像，例如红色照明图像23通过屏幕7显示。此外，还进一步示出了被测对象38的一部分，该被测对象38布置在摄像头6的观察区域20中。在照明图像23的显示过程中，设备2的屏幕7发出红光(在图4中用虚线表示)，并用该红光照亮被测对象38。在同步捕获属于照明图像23的测量图像时，被测对象38 反射的光(在图4中用虚线所示)被摄像头6捕获并照亮图像传感器21。对应地，对第一照明图像序列的其他照明图像重复此操作。
图1所示的系统1的电子设备的正视图再次通过图5A至5E示出，其中第二预定义的照明图像序列的照明图像通过屏幕7显示。在示出的示例中，该第二照明图像序列包括：第一照明图像28、第二照明图像29、第三照明图像30和白色照明图像31(白色图像)。此外，还显示了黑色照明图像32(黑色图像)。白色图像31与第一照明图像序列的白色图像26没有区别。同样，黑色图像32与第一照明图像序列的黑色图像27没有区别。
第一、第二和第三照明图像28、29、30各自是连续的，并且每个仅填充屏幕7的总图像区域22的部分区域33。例如，屏幕7在分别被填充的部分区域33内的发光元件，按照每个颜色通道可能的最大亮度值被激活。在分别被填充的部分区域33之外，发光元件被关闭或未激活，因此不亮起或仅以可能的最小的亮度亮起。被照明图像分别填充的部分区域33在屏幕 7上不相互重叠。本例中被照明图像分别填充的部分区域33对应屏幕7的总图像区域22的 1/3。或者，照明图像序列也可以包含其他数量的此类照明图像，例如R个照明图像，其中每个仅填充屏幕总图像区域的1/R，其中R例如是大于3且小于20的自然数。
第一、第二和第三照明图像28、29、30的填充部分区域33在屏幕7上的排列不同。在所示视图中，屏幕7的总图像区域23具有上边缘34、下边缘35、左边缘36和右边缘37。照明图像28、29、30的填充部分区域33与上边缘34的距离不同，因此也与设置在屏幕7总图像区域23的上边缘34上方的摄像头5的透镜18的距离不同。
除了上面定义的亮度值外，第二照明图像序列由以下进一步的照明参数定义：
-照明图像的总数，在本示例中，三个白色照明图像(每个仅填充屏幕7的一个部分区域 33)，以及一个白色图像和一个黑色图像，
-照明图像的顺序，在本示例中，例如顺序第一、第二、第三照明图像、白色图像31、黑色图像32(或基本上任何其他预定义的顺序)。
-照明图像的显示时间，在本示例中，在100ms到200ms的范围之内，例如150ms，
-显示单个照明图像之间的时间间隔，在本示例中，在5ms到10ms的范围之内，例如7ms。
相应地，移动电子设备2的控制单元8被配置为激活移动电子设备2的屏幕7以显示第二照明图像序列的照明图像，并与此同步地捕获测量图像，如已经在第一照明图像序列的上下文中进行的描述。
在图6A和6C中，移动电子设备2分别以侧视图示出，其中第二照明图像序列的第一、第二和第三照明图像28、29、30通过屏幕7显示。此外，再次示出了在摄像头6的观察区域20中布置的被测对象38的一部分。在显示照明图像23的过程中，设备2的屏幕7发出光(在图4中以虚线表示)，并分别从不同的方向照亮被测对象38。在同步捕获属于照明图像23的测量图像时，被测对象23反射的光(在图4中以虚线表示)被摄像头6捕获并照亮图像传感器21。
例如，可以通过设备2的用户界面16在第一和第二照明图像序列之间进行选择。还可以设想控制单元8在第一和第二照明图像序列之间自动选择，例如，取决于被测对象38的类型或取决于待检查的被测对象38的特征。例如，可以通过用户界面16输入被测对象38的类型和待检查的特征。评估单元13被配置为根据该输入对测量图像进行评估。
原则上，评估可以依赖于通过设备确定的其他变量，例如在捕获测量图像过程中设备2 的当前时间和当前位置坐标。例如，时间可由设备2的系统时钟确定，位置坐标通过设备2 的GPS模块4确定。例如，每个测量图像可以携带相应的时间签名和位置签名。通过这种方式，可以确定位置相关的影响变量，所述影响变量与待检查的被测对象的特征相关或者影响这些特征。这种情况下，例如，如果待检查的被测对象例如是人类毛发，而要检查的特征，例如毛发的光泽，因为地球不同地区各自主要的毛发结构是不同的。此外，可以根据GPS数据控制、限制或完全阻止系统的功能。例如，控制单元8可配置为仅在某些国家或较小的地理区域(例如生产地点、购物中心)以不受限制的方式执行该方法，仅以有限或修改的方式在其他国家或更小的地理区域(例如生产地点、购物中心)中执行该方法(尤其是捕获测量图像和/或其评估)，以及完全阻止在其他国家或较小的地理区域(如生产地点、购物中心) 实施该方法。
图7示出了由图1所示系统的移动电子设备从被测对象38捕获的若干测量图像的示意图。例如，示出的测量图像39是与第一照明图像序列的照明图像23到27的显示相同步地捕获的测量图像，或是与第二照明图像序列的照明图像28到32的显示相同步地捕获的测量图像。
通过摄像头6记录的每个测量图像39包括多个图像点40(像素)，这些图像点40(像素)排列在一个整体网格中，并分配给图像传感器的传感器单元，其在各自的测量图像中的位置由两个图像坐标(XY)定义，该坐标取决于各传感器单元的传感器坐标或者与之对应。测量图像39包括图像数据，其中图像信息被编码，特别是测量图像的各个图像点的亮度值。测量图像39的图像点40的亮度值取决于例如图像传感器21的各自指定的传感器单元的传感器元件在捕获各自的测量图像39时的充电或放电状态。
如图7 所示，测量图像39的图像点40通过设备的评估设备13(或者通过计算机3的评估设备14)被合并到配准测量图像41上(例如通过图像配准)，并且合并图像点40被分组到配准测量图像41的合并图像点40各自的测量数据集。对于测量图像39 的图像配准，如有必要，可进行测量图像39的图像变换，例如(局部)坐标变换(旋转、平移、倾斜和/或(局部)重新缩放、子像素插值)。
此外，基于配准测量图像41 ，例如通过设备的评估单元13(或者通过计算机3的评估单元14)执行对象识别算法，以识别配准测量图像41中的对象图像点42，即对被测对象38的对象点43进行成像的那些图像点40。对象识别算法基于例如区域生长算法，如上文所描述。
如果测量图像39是与第一照明图像序列的照明图像23和27的显示相同步捕获的测量图像，则每个测量数据集可以例如是前文所描述的被测对象38在各个关联对象点43的被测对象的光谱指纹F(d,c)，其分量被定义为例如如表1所示。指数d被定义为d＝{r,g,b,w,s}，其中r,g,b分别代表红色、绿色和蓝色照明图像23、24、25，w代表白色图像26，s代表黑色图像27。对应地，指数c被定义为c＝{r,g,b}，其中r,g,b分别代表摄像头6的红色、绿色和蓝色颜色通道。
如果测量图像39是与第二照明图像序列的照明图像28到32的显示相同步捕获的测量图像，则单个对象图像点52的分组后的测量数据集示例性地为前文描述的光泽度测量向量G(a)，其中指数a代表第一照明图像序列的单个照明图像。如上文所描述，对于第二照明图像序列的第一、第二和第三照明图像28、29、30，在各自的部分区域33中，屏幕7的所有颜色通道均以可能的最大亮度值被激活，使得这些照明图像显示为白色。例如，光泽度测量向量G(a) 包含用摄像头6的所有传感器元件(在对象图像点42)测量得到的每个指数a的总亮度值。
原则上，可以定义任何额外数量的其他照明图像序列，这些序列与各自的应用案例相匹配，即与各自的被测对象和将待检查的被测对象的特征分别匹配。如上文所描述，照明图像序列可以包含在屏幕上位置a或颜色上彼此不同的照明图像。例如，可以为每个位置a获取上文描述的光谱指纹F(d,c)，其中彩色照明图像仅填充各自对应位置的所描述的部分区域33。以这种方式，例如，可以为每个对象点生成前文描述的测量数据集H(c,d,a)，其中，该测量数据集包含被测对象在各对象点的有关光谱反射特征以及光泽度的信息。
例如，评估单元13被配置为将属于对象图像点42的每个测量数据集F(d,c)(或者替代性地G(a)或H(c,d,a))与若干预定义的参考数据集进行比较。例如，参考数据集存储在移动电子设备2的数据存储器9中。例如，基于——相应的训练过的——人工神经网络，通过数学分类模型进行比较。例如，分类时可以生成一个等级数，其中各个测量数据集与参考数据集的差别越小，该参考数据集获得的等级数就越大。在将所有测量数据集与参考数据集进行比较后，评估单元12确定获得最高总等级数次数最多的参考数据集。然后，对被测对象特征的评估(所述评估属于该被确定的参考数据集)，或者对被测对象的分类通过用户界面16输出。
此外，评估单元还被配置为，将光谱灵敏度Dd(λ)和屏幕的光谱发射特征Cc(λ)考虑其中，从测量数据集确定被测对象的反射特征。
取决于应用情况(例如可通过用户界面16指定)，要确定的反射特征例如为被测对象(在各个对象点)的反射光谱S(λ)。例如，评估单元13可被配置为通过使用上文描述的方程组1 到4从测得的“光谱指纹F(d,c)”(近似地)确定反射光谱S(λ)，或者确定光谱通道Sk的值，作为反射光谱S(λ)的近似值。
或者，要确定的反射特征是，例如，被测对象(在各对象点中)的反射度对被测对象(在各对象点中)上光线入射角的依赖性。例如，评估单元可以被配置为根据上文描述的光泽度测量向量G(a)(或测量数据集H(c,d,a))对每个对象点估计取决于角度的反射度。
评估单元13进一步被配置为将被测对象的已确定的反射特征(例如光谱通道Sk或取决于角度的反射度的确定值)，与至少一个预定义的参考反射特征进行比较，并相应地对被测对象进行分类，例如，如上文所描述，通过基于人工神经网络的分类模型。
评估结果随后可显示在屏幕7上，并存储在设备的数据存储器11中。
图8示出了通过该系统可执行的方法流程图。
步骤S1包括：
-控制单元8激活移动电子设备2的屏幕7，使其连续地显示预定义照明图像序列的多个不同的照明图像，
-激活移动电子设备2的摄像头6，使其与预定义的照明图像序列中的每个照明图像的显示相同步地捕获被测对象38的测量图像39。
步骤S2包括：
-配准测量图像39得到配准测量图像41。
步骤S3包括：
-光谱预处理，例如考虑周围光线的影响，特别是使用被测量物体的一个或多个测量图像进行光谱预处理，其中，这些测量图像为关闭显示时或者在显示黑色照明图像的过程中被记录下来的测量图像。如果环境光线影响太严重，则可以例如通过屏幕7或声音或振动警报等方式向用户输出相应的警告。
步骤S4包括：
-逐像素的模式分类，其中，属于配准测量图像41的图像点或对象图像点42的测量数据集，通过例如基于人工神经网络的数学分类模型被分类。
步骤S5包括：
-聚合结果，例如通过等级数和/或多数决定。
步骤S6包括：
-显示结果，例如通过屏幕7，以及存储结果，例如通过设备的数据存储器9和/或计算机 3的数据存储器11。
原则上，可以仅使用设备2的评估单元13执行步骤S2至S6，或者在相应传输测量图像 39后，使用计算机3的评估单元14执行。
被测对象38可以由人(或动物)毛发形成。待检查的特征可以例如是毛发的光泽。被测对象38和待检查的特征的其他可能的示例，已在上文的相关应用部分做了说明。
与其他内容一起，还在下文描述了所建议方法的如下实施示例：
1、一种捕获被测对象的测量图像的方法，应用于所建议的系统，包括一下步骤：
-控制单元激活移动电子设备的屏幕，使其连续地显示预定义的照明图像序列中的若干不同的照明图像，
-激活移动电子设备的摄像头，使其与预定义的照明图像序列中的每个照明图像的显示相同步地捕获被测对象的测量图像。
2、根据示例1所述的方法，其中所述移动电子设备的屏幕包括多个颜色通道，其中所述屏幕的每个颜色通道具有通道特定的光谱发射特征，其中所述屏幕包括布置在网格中的多个发光元件，其中每个颜色通道由屏幕的发光元件的一个子集形成，其光谱发射特征对应各颜色通道的通道特定的光谱发射特征。
3、根据示例2所述的方法，还包括：
通过以下来激活移动电子设备的屏幕以显示预定义的照明图像序列的一个或多个照明图像：
-通过激活屏幕上仅单个颜色通道的发光元件，以及通过使用为该颜色通道预定义的均匀亮度值激活该颜色通道的所有激活的发光元件，或者
-通过激活多个颜色通道的发光元件，以及通过使用为各颜色通道预定义的均匀亮度值激活所有激活的发光元件，或者
-通过激活一个或多个颜色通道的发光元件，以及通过使用为各颜色通道预定义的梯度激活所有激活的发光元件。
4、根据示例2或3所述的方法，其中所述移动电子设备的屏幕包括红色颜色通道、绿色颜色通道和蓝色颜色通道，其中所述照明图像序列包括红色照明图像、绿色照明图像以及蓝色照明图像，其中所述方法包括：
激活屏幕以：
-通过仅激活屏幕的红色通道的发光元件，以及通过使用为红色通道预定义的均匀亮度值，激活红色通道的所有激活的发光元件，来显示所述红色照明图像，
-通过仅激活屏幕的绿色通道的发光元件，以及通过使用为绿色通道预定义的均匀亮度值，激活绿色通道的所有激活的发光元件，来显示所述绿色照明图像，和/或
-通过仅激活屏幕的蓝色通道的发光元件，以及通过使用为蓝色通道预定义的均匀亮度值，激活蓝色通道的所有激活的发光元件，来显示所述蓝色照明图像。
5、根据前述任一示例所述的方法，其中，预定义的照明图像序列的每个照明图像的一个或多个以下图像特征，被预定义为：
-屏幕在显示各照明图像时发出的光的光谱成分，和/或
-对于屏幕的每个颜色通道，就该示例来说与示例2到4其中之一有关的均匀亮度值，和/ 或
-被各照明图像所填充的屏幕区域，和/或
-在屏幕的总图像区域内，被各照明图像所填充的屏幕区域的排列。
6、根据前述任一示例所述的方法，其中照明图像中的每个仅填充屏幕总图像区域的部分区域，其中被照明图像填充的部分区域在屏幕的总图像区域上的排列不同。
7、根据实示例6所述的方法，其中所述屏幕的总图像区域包括上边缘、下边缘、左边缘和右边缘，其中所述照明图像的所述填充的部分区域，到屏幕总图像区域的上边缘的距离彼此不同，其中透镜布置在屏幕的总图像区域的上边缘上方。
8、根据前述任一示例所述的方法，其中所述系统包括至少一个数据存储器，其中存储有部分或全部定义所述预定义的照明图像序列的照明参数，其中所述方法包括：
-从所述数据存储器中检索存储在至少一个数据存储器中的照明参数，以及
-根据获取的照明参数确定预定义的照明图像序列。
9、根据前述任一示例所述的方法，其中所述移动电子设备的摄像头包括多个不同的颜色通道，其中摄像头的每个颜色通道具有通道特定的光谱灵敏度，其中所述摄像头包括图像传感器，所述图像传感器包括多个传感器元件，所述传感器元件布置在网格中，其中摄像头的每个颜色通道由图像传感器的传感器元件的一个子集形成，传感器元件的子集的光谱灵敏度对应于摄像头的各颜色通道的通道特定的灵敏度。
10、根据示例9所述的方法，其中移动电子设备的摄像头包括红色颜色通道、绿色颜色通道和蓝色颜色通道。
11、根据前述任一示例所述的方法，其中每个测量图像包括多个图像点以及分配给图像点的图像数据，其中所述方法包括：
-合并测量图像的图像点，
-将合并图像点的图像数据分组到各合并图像点的测量数据集。
12、根据示例11所述的方法，其中通过对测量图像(39)的图像配准，将测量图像的图像点组合。
13、根据示例11和12其中之一所述方法，其中通过经机器学习校准或训练的算法，对测量数据集进行评估。
14、根据示例13所述的方法，其中所述算法通过监督学习方法或非监督学习方法进行训练。
15、根据示例11至14其中之一所述的方法，其中通过分类方法评估测量数据集。
16、根据示例11至15其中之一所述的方法，其中测量数据集通过人工神经网络进行评估。
17、根据示例11至16其中之一所述的方法，包括：
-将每个测量数据集与至少一个预定义的参考数据集进行比较。
18、根据示例11至17其中之一所述的方法，包括：
-从测量数据集确定被测对象的至少一个反射特征，最好将摄像头的光谱灵敏度和屏幕的光谱发射特征同时考虑其中。
19、根据示例11至18其中之一所述的方法，包括：
-将被测对象的至少一个确定的反射特征与至少一个预先定义的参考反射特征进行比较。
20、根据示例11至19其中之一结合示例2-5其中之一以及示例9或10其中之一所述的方法，其中屏幕包括M个颜色通道，摄像头包括N个颜色通道，其中M>1且N>1，其中每个测量数据集包含至少M x N个测量值(F(d,c)，其中1≤d≤M，1≤c≤N)，其中M x N个测量值对应屏幕的颜色通道和摄像头的颜色通道的M x N个组合。
21、根据前述任一示例所述的方法，其中所述移动电子设备包括用户界面，所述方法还包括：
-通过用户界面设置或指定预定义的照明图像序列，和/或
-通过用户界面在不同的预定义的照明图像序列之间进行选择，和/或
-通过用户界面在不同的被测对象和/或感兴趣的被测对象的不同特征之间进行选择，根据对被测对象和/或感兴趣的特征的选择，在多个存储的预定义的照明图像序列之间，选择(例如通过移动设备的控制单元自动选择)预定义的照明图像序列。
22、根据前述任一示例所述的方法，包括：
-捕获校准法线的测量图像，
-同时使用校准法线的测量图像和存储的属于所述校准法线的参考数据集，来校准移动设备，特别是校准移动设备的摄像头和/或移动设备的屏幕。
23、根据前述任一示例所述的方法，其中屏幕被设计为触摸屏。
24、根据前述任一示例所述的方法，其中所述移动电子设备是智能手机或平板计算机。
所建议的计算机程序产品，可被载入移动电子设备的内部数据存储器，包括例如软件代码部分，当移动电子设备运行计算机程序产品时，实施示例1到24其中任一所述方法的步骤被执行。
此外，可以通过移动设备2的用户界面16激活设备2的校准模式。移动设备2的控制单元8和评估单元13被配置为在校准模式下捕获和评估所描述的校准法线的测量图像。为了进行此捕获，用户可将校准法线持握在摄像头6的观察区域20中。如前所述，光谱通道Sk的值可通过评估单元13从测量图像计算，并随后将其与移动设备2的数据存储器9中存储的属于该校准法线的参考数据集进行比较。在此比较的基础上自动重新计算变量Dd(λ)和Cc(λ)的值，并将其存储在数据存储器9中用于进一步的测量。

Claims (25)

1.一种用于捕获被测对象的测量图像的系统(1)，其特征在于，包括移动电子设备(2)，其中所述移动电子设备(2)包括：
-外壳(5)，
-集成在所述外壳(5)内的摄像头(6)，用于捕获所述摄像头(6)的观察区域(20)内的被测对象(38)的测量图像(39)，
-集成在所述外壳(5)内的屏幕(7)，用于发光显示图像，其中所述屏幕(7)面对所述摄像头(6)的所述观察区域(20)；
-集成在所述外壳(5)内的控制单元(8)，被配置为激活所述移动电子设备(2)的所述屏幕(7)，使其连续地显示预定义的照明图像序列的多个不同的照明图像，其中所述控制单元(8)被配置为激活所述移动电子设备(2)的所述摄像头(6)，使其与所述预定义的照明图像序列中的每个照明图像的显示相同步地捕获所述被测对象(38)的测量图像(39)；
其中，每个所述测量图像(39)包括多个图像点(40)以及分配给所述图像点(40)的图像数据；其中所述系统(1)包括评估单元(13，14)，所述评估单元(13，14)被配置为通过对所述测量图像(39)的图像配准合并所述测量图像(39)的所述图像点(40)，并将合并图像点的图像数据分组到测量数据集，其中所述合并图像点形成配准测量图像(41)，所述配准测量图像(41)的图像点由各自分配的测量数据集组成；其中所述评估单元(13，14)被配置为通过对象识别算法在所述配准测量图像(41)中检测对象图像点(42)，其中一个所述对象图像点(42)为对所述被测对象(38)的一个对象点(43)进行成像的图像点；其中，所述评估单元(13，14)被配置为，从被定义为假定的对象图像点的第一图像点开始，确定相邻图像点的测量数据集与所述第一图像点的测量数据集之间的差异大小，仅将测量数据集与所述第一图像点的测量数据集之间的差异足够低的相邻图像点也分类为对象图像点，以及分别从检测到的对象图像点开始继续所述对象识别算法，直到没有更多的图像点被分类为对象图像点。
2.根据权利要求1所述的系统(1)，其特征在于，所述移动电子设备(2)的屏幕(7)包括多个颜色通道，其中所述屏幕(7)在每个所述颜色通道中具有通道特定的光谱发射特征，其中所述屏幕(7)包括多个布置在网格中的发光元件，其中每个所述颜色通道由所述屏幕(7)的所述发光元件的一个子集形成，所述发光元件的所述子集的光谱发射特征对应于各颜色通道的所述通道特定光谱发射特征。
3.根据权利要求2所述的系统(1)，其特征在于，所述移动电子设备(2)的所述控制单元(8)被配置为通过以下来激活所述移动电子设备(2)的所述屏幕(7)以显示所述预定义的照明图像序列的一个或多个照明图像：
-通过激活所述屏幕(7)上仅单个颜色通道的所述发光元件，以及通过使用为该颜色通道预定义的均匀亮度值激活该颜色通道的所有激活的发光元件，或者
-通过激活多个颜色通道的所述发光元件，以及通过使用为各颜色通道预定义的均匀亮度值激活所有激活的发光元件，或者
-通过激活一个或多个颜色通道的所述发光元件，以及通过使用为各颜色通道预定义的梯度激活所有激活的发光元件。
4.根据权利要求2所述的系统(1)，其特征在于，所述移动电子设备(2)的所述屏幕(7)包括红色颜色通道、绿色颜色通道以及蓝色颜色通道，其中所述照明图像序列包括红色照明图像(23)、绿色照明图像(24)以及蓝色照明图像(25)，其中所述移动电子设备(2)的所述控制单元(8)被配置为激活所述屏幕(7)以：
-通过仅激活所述屏幕(7)的所述红色颜色通道的所述发光元件，以及通过使用为所述红色颜色通道预定义的均匀亮度值，激活所述红色颜色通道的所有激活的发光元件，来显示所述红色照明图像(23)，和/或
-通过仅激活所述屏幕(7)的所述绿色颜色通道的所述发光元件，以及通过使用为所述绿色颜色通道预定义的均匀亮度值，激活所述绿色颜色通道的所有激活的发光元件，来显示所述绿色照明图像(24)，和/或
-通过仅激活所述屏幕(7)的所述蓝色颜色通道的所述发光元件，以及通过使用为所述蓝色颜色通道预定义的均匀亮度值，激活所述蓝色颜色通道的所有激活的发光元件，来显示所述蓝色照明图像(25)。
5.根据权利要求2-4中任一项所述的系统(1)，所述预定义的照明图像序列的每个照明图像的一个或多个以下图像特征为预定义的：
-所述屏幕(7)在显示各照明图像时发出的光的光谱成分，和/或
-所述屏幕(7)的每个颜色通道的均匀亮度值，和/或
-被各照明图像所填充的屏幕区域，和/或
-在屏幕(7)的总图像区域(22)内，被所述各照明图像所填充的屏幕区域的排列。
6.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述照明图像中的每个仅填充所述屏幕(7)的总图像区域的部分区域(33)，其中所述照明图像填充的所述部分区域(33)在所述屏幕(7)的所述总图像区域上的排列不同。
7.根据权利要求6所述的系统(1)，其特征在于，所述屏幕(7)的所述总图像区域包括上边缘(34)，其中所述照明图像的所述填充的部分区域(33)到所述屏幕(7)所述总图像区域的所述上边缘(34)的距离彼此不同，其中透镜布置在所述屏幕(7)的所述总图像区域的所述上边缘(34)上方。
8.根据权利要求1-4中任一项所述的系统(1)，其特征在于，其中所述系统(1)包括至少一个数据存储器(9，11)，其中存储有部分或全部定义所述预定义的照明图像序列的照明参数，其中所述移动电子设备(2)的所述控制单元(8)被配置为从所述数据存储器(9，11)中检索存储在所述至少一个数据存储器(9，11)中的所述照明参数，并根据获取的所述照明参数确定所述预定义的照明图像序列。
9.根据权利要求1-4中任一项所述的系统(1)，其特征在于，其中所述移动电子设备(2)的所述摄像头(6)包括多个不同的颜色通道，其中所述摄像头(6)的每个所述颜色通道具有通道特定的光谱灵敏度，其中所述摄像头(6)包括图像传感器，所述图像传感器包括多个传感器元件，所述传感器元件布置在网格中，其中所述摄像头(6)的每个所述颜色通道由所述图像传感器的所述传感器元件的一个子集形成，所述传感器元件的所述子集的光谱灵敏度对应于所述摄像头(6)的各颜色通道的通道特定的灵敏度。
10.根据权利要求9所述的系统(1)，其特征在于，所述移动电子设备(2)的所述摄像头(6)包括红色颜色通道、绿色颜色通道和蓝色颜色通道。
11.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为通过经机器学习校准或训练的算法，对所述测量数据集进行评估。
12.根据权利要求11所述的系统(1)，其特征在于，所述算法通过监督学习方法或非监督学习方法进行训练。
13.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为通过分类方法评估所述测量数据集。
14.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为通过人工神经网络评估所述测量数据集。
15.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为将每个所述测量数据集与至少一个预定义的参考数据集进行比较。
16.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为从所述测量数据集确定所述被测对象(38)的至少一个反射特征。
17.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为将所述摄像头(6)的光谱灵敏度和所述屏幕的光谱发射特征同时考虑其中，从所述测量数据集确定所述被测对象(38)的至少一个反射特征。
18.根据权利要求16所述的系统(1)，其特征在于，所述评估单元(13，14)被配置为将所述被测对象的至少一个确定的反射特征与至少一个预先定义的参考反射特征进行比较。
19.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述屏幕(7)包括M个颜色通道，所述摄像头(6)包括N个颜色通道，其中M>1且N>1，其中每个所述测量数据集包括至少M x N个测量值，其中M x N个测量值对应于所述屏幕(7)的颜色通道和所述摄像头(6)的颜色通道的M x N个不同组合。
20.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述移动电子设备(2)包括用户界面(16)，
-通过所述用户界面(16)设置所述预定义的照明图像序列，和/或
-通过所述用户界面(16)在不同的预定义的照明图像序列之间进行选择，和/或
-通过所述用户界面(16)在不同的被测对象和/或感兴趣的被测对象的不同特征之间进行选择，其中所述控制单元(8)被配置为根据对被测对象和/或感兴趣的特征的选择，在多个存储的预定义的照明图像序列之间，选择预定义的照明图像序列。
21.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述移动电子设备(2)可切换到校准模式，其中所述移动电子设备(2)被配置为：在校准模式下，捕获校准法线的所述测量图像，并使用所述校准法线的所述测量图像和存储的属于所述校准法线的参考数据集，来校准所述移动电子设备(2)，其中校准所述移动电子设备(2)包括：校准所述摄像头(6)和/或所述屏幕(7)。
22.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述屏幕(7)被设计为触摸屏。
23.根据权利要求1-4中任一项所述的系统(1)，其特征在于，所述移动电子设备是智能手机或平板计算机。
24.一种用于通过权利要求1-23任一项所述的系统捕获被测对象的测量图像的方法，包括以下步骤：
-所述控制单元(8)激活所述移动电子设备(2)的所述屏幕(7)，使其连续地显示所述预定义的照明图像序列中的多个不同的照明图像；
-激活所述移动电子设备(2)的所述摄像头(6)，使其与所述预定义的照明图像序列中的每个照明图像的显示相同步地捕获所述被测对象的测量图像(39)；以及
合并所述测量图像(39)的图像点(40)并将分配给合并图像点的图像数据分组到测量数据集，其中所述合并图像点形成配准测量图像(41)，所述配准测量图像(41)的图像点由各自分配的测量数据集组成，
执行对象识别算法，在所述配准测量图像(41)中检测对象图像点(42)，其中一个所述对象图像点(42)为对所述被测对象(38)的一个对象点(43)进行成像的图像点；其中执行所述对象识别算法包括：从被定义为假定的对象图像点的第一图像点开始，确定相邻图像点的测量数据集与所述第一图像点的测量数据集之间的差异大小，仅将测量数据集与所述第一图像点的测量数据集之间的差异足够低的相邻图像点也分类为对象图像点，以及分别从检测到的对象图像点开始继续所述对象识别算法，直到没有更多的图像点被分类为对象图像点。
25.一种计算机可读存储介质，存储有软件代码部分，当如权利要求1-22中任一项所述系统的所述移动电子设备(2)运行所述计算机可读存储介质存储的软件代码时，如权利要求24所述方法的步骤被执行。
CN201780087346.1A 2016-12-23 2017-12-21 用于捕获被测对象的测量图像的方法和系统 Active CN110383805B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016226206.8A DE102016226206A1 (de) 2016-12-23 2016-12-23 System und Verfahren zum Erfassen von Messbildern eines Messobjekts
DE102016226206.8 2016-12-23
PCT/EP2017/084212 WO2018115346A1 (de) 2016-12-23 2017-12-21 System und verfahren zum erfassen von messbildern eines messobjekts

Publications (2)

Publication Number Publication Date
CN110383805A CN110383805A (zh) 2019-10-25
CN110383805B true CN110383805B (zh) 2021-08-24

Family

ID=60915526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087346.1A Active CN110383805B (zh) 2016-12-23 2017-12-21 用于捕获被测对象的测量图像的方法和系统

Country Status (10)

Country Link
US (2) US10951831B2 (zh)
EP (1) EP3560185B1 (zh)
JP (1) JP2020507103A (zh)
KR (1) KR102454562B1 (zh)
CN (1) CN110383805B (zh)
AU (1) AU2017383047B2 (zh)
CA (1) CA3048123A1 (zh)
DE (1) DE102016226206A1 (zh)
RU (1) RU2758914C2 (zh)
WO (1) WO2018115346A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150163410A1 (en) * 2013-12-10 2015-06-11 Semiconductor Energy Laboratory Co., Ltd. Display Device and Electronic Device
DE102016226206A1 (de) 2016-12-23 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Erfassen von Messbildern eines Messobjekts
US11436858B2 (en) 2017-07-09 2022-09-06 Ringo Ai, Inc. Characterizing reflectance, illuminance, and sensor response for electromagnetic radiation
US11263428B2 (en) 2017-07-09 2022-03-01 Ringo Ai, Inc. Electromagnetic emitters and detectors for electronic devices
WO2019014145A1 (en) 2017-07-09 2019-01-17 Lumenetix, Inc. COMPLETE SPECTRUM FLASH FOR ELECTRONIC DEVICES
DE102018114005A1 (de) 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen
CN112740227A (zh) * 2018-06-20 2021-04-30 中央软件公司 导件辅助的材料数据捕获
CN109269643B (zh) * 2018-11-02 2021-05-11 天津津航技术物理研究所 基于移动设备屏幕光源的光谱解调系统及方法
EP3939256A4 (en) 2019-03-13 2024-01-10 Ringo Ai Inc WHITE BALANCE WITH REFERENCE ILLUMINANTS
GB2583905A (en) * 2019-04-24 2020-11-18 Univ Ulster Method and system for generating optical spectra
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11533417B2 (en) 2019-06-20 2022-12-20 Cilag Gmbh International Laser scanning and tool tracking imaging in a light deficient environment
US11937784B2 (en) 2019-06-20 2024-03-26 Cilag Gmbh International Fluorescence imaging in a light deficient environment
US11348334B1 (en) * 2019-06-30 2022-05-31 George Douglas MacEwen Methods and systems for skin color matching using an imaging device and a controlled light source
DE102019210405A1 (de) 2019-07-15 2021-01-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur Untersuchung von Substanzen, Computerprogrammprodukt zur Verwendung in diesem Verfahren, sowie mobiles elektronisches Gerät
TW202136747A (zh) 2019-11-26 2021-10-01 瑞士商赫孚孟拉羅股份公司 用於執行分析測量的方法和裝置
US11887088B2 (en) * 2020-01-22 2024-01-30 Salesforce, Inc. Smart moderation and/or validation of product and/or service details in database systems
AU2021404426A1 (en) * 2020-12-18 2023-08-03 Terramera, Inc. Systems and methods for hyperspectral imaging of plants
CN112837299B (zh) * 2021-02-09 2024-02-27 浙江工业大学 一种纺织品图像指纹检索方法
DE102021117494A1 (de) 2021-07-07 2023-01-12 Schneider Electric Industries Sas Anzeigevorrichtung, Verfahren und mobiles Endgerät zur optischen Ausgabe eines internen Betriebszustands eines elektrischen Geräts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577803A (zh) * 2012-07-25 2014-02-12 谷歌公司 像素显示器的色彩和强度调制的使用
CN105409206A (zh) * 2013-07-01 2016-03-16 高通股份有限公司 配置为照明源的显示器装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1618257A (zh) 2002-02-07 2005-05-18 丹尼尔·菲利皮尼 测试方法
JP2011106931A (ja) * 2009-11-16 2011-06-02 Roland Dg Corp ３次元形状測定システムおよび携帯電話機
US10230880B2 (en) * 2011-11-14 2019-03-12 Tseng-Lu Chien LED light has built-in camera-assembly for colorful digital-data under dark environment
EP2795574A4 (en) * 2011-12-21 2015-04-01 Sca Hygiene Prod Ab METHOD FOR MEASURING THE ABSORPTION OF LIQUID IN AN ABSORBENT PRODUCT
FR2987118A1 (fr) * 2012-02-17 2013-08-23 Franck Hennebelle Procede et dispositif de mesure de la couleur d'un objet
US20150363481A1 (en) * 2012-09-06 2015-12-17 Michael N. Haynes Systems, Devices, and/or Methods for Managing Information
EP2946198B1 (en) * 2013-01-21 2019-10-30 Cornell University Smartphone-based apparatus and method for obtaining repeatable, quantitative colorimetric measurement
US20140378810A1 (en) * 2013-04-18 2014-12-25 Digimarc Corporation Physiologic data acquisition and analysis
JP6506507B2 (ja) * 2013-05-15 2019-04-24 キヤノン株式会社 測定装置およびその制御方法
EP2821762A1 (en) * 2013-07-03 2015-01-07 Akzo Nobel Coatings International B.V. Process of measuring color properties of an object using a mobile device
JP2015127680A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 計測装置、システムおよびプログラム
US10478127B2 (en) * 2014-06-23 2019-11-19 Sherlock Solutions, LLC Apparatuses, methods, processes, and systems related to significant detrimental changes in health parameters and activating lifesaving measures
US9897434B2 (en) * 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
RU2601678C2 (ru) * 2014-12-15 2016-11-10 Самсунг Электроникс Ко., Лтд. Портативное устройство для измерения хромофоров в коже и способ применения устройства
US9230140B1 (en) * 2014-12-30 2016-01-05 Hand Held Products, Inc. System and method for detecting barcode printing errors
US10475361B2 (en) * 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
US9521331B2 (en) * 2015-04-21 2016-12-13 Hand Held Products, Inc. Capturing a graphic information presentation
US9786101B2 (en) * 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US9507974B1 (en) * 2015-06-10 2016-11-29 Hand Held Products, Inc. Indicia-reading systems having an interface with a user's nervous system
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) * 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) * 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US10429298B2 (en) * 2015-09-30 2019-10-01 Color Grail Research Method for determining the reflectance of an object and associated device
EP3184977A1 (en) * 2015-12-23 2017-06-28 IMEC vzw User device
DE102016226206A1 (de) 2016-12-23 2018-06-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System und Verfahren zum Erfassen von Messbildern eines Messobjekts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577803A (zh) * 2012-07-25 2014-02-12 谷歌公司 像素显示器的色彩和强度调制的使用
CN105409206A (zh) * 2013-07-01 2016-03-16 高通股份有限公司 配置为照明源的显示器装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Spectral Fingerprinting on a Standard Mobile Phone";Zafar Iqbal;《Journal of Sensors》;20100101;摘要，正文全文，以及图2、4 *
Zafar Iqbal."Spectral Fingerprinting on a Standard Mobile Phone".《Journal of Sensors》.2010, *

Also Published As

Publication number Publication date
RU2019121249A3 (zh) 2021-03-04
RU2758914C2 (ru) 2021-11-03
JP2020507103A (ja) 2020-03-05
US11588979B2 (en) 2023-02-21
US10951831B2 (en) 2021-03-16
US20200195826A1 (en) 2020-06-18
CN110383805A (zh) 2019-10-25
EP3560185B1 (de) 2021-07-21
RU2019121249A (ru) 2021-01-26
DE102016226206A1 (de) 2018-06-28
AU2017383047A1 (en) 2019-07-11
CA3048123A1 (en) 2018-06-28
KR20190118562A (ko) 2019-10-18
AU2017383047B2 (en) 2022-06-02
EP3560185A1 (de) 2019-10-30
WO2018115346A1 (de) 2018-06-28
US20210185212A1 (en) 2021-06-17
KR102454562B1 (ko) 2022-10-17

Similar Documents

Publication Publication Date Title
CN110383805B (zh) 用于捕获被测对象的测量图像的方法和系统
Vesali et al. Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging
Stevens et al. Studying primate color: towards visual system-dependent methods
Gómez-Sanchís et al. Hyperspectral system for early detection of rottenness caused by Penicillium digitatum in mandarins
Hansen et al. Independence of color and luminance edges in natural scenes
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
Garrigan et al. Design of a trichromatic cone array
Müller-Linow et al. Plant Screen Mobile: an open-source mobile device app for plant trait analysis
Song et al. Evaluation of machine learning methods for organic apple authentication based on diffraction grating and image processing
Hadimani et al. Development of a computer vision system to estimate the colour indices of Kinnow mandarins
Feng et al. Towards racially unbiased skin tone estimation via scene disambiguation
Mendoza et al. Automated prediction of sensory scores for color and appearance in canned black beans (Phaseolus vulgaris L.) using machine vision
US20220067544A1 (en) Apparatuses and methods for color matching and recommendations
US11484245B2 (en) Automatic association between physical and visual skin properties
Mollazade et al. Data mining-based wavelength selection for monitoring quality of tomato fruit by backscattering and multispectral imaging
Diaz-Garcia et al. GiNA, an efficient and high-throughput software for horticultural phenotyping
US11659998B2 (en) Automatic measurement using structured lights
JP2020526756A (ja) 髪の状態の情報を管理するシステムと、美容コンサルテーションを最適化する方法
Nandhini et al. Computer vision system for food quality evaluation—a review
WO2023096971A1 (en) Artificial intelligence-based hyperspectrally resolved detection of anomalous cells
Qian et al. A study on phenotypic micro-variation of stored melon based on weight loss rate
Udayanga et al. Dual mode multispectral imaging system for food and agricultural product quality estimation
Mollazade et al. Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks
Muñoz-Postigo et al. Band selection pipeline for maturity stage classification in bell peppers: From full spectrum to simulated camera data
Sarker et al. Feasibility of Smartphone-Based Color Matching in Fabrics for Smart Textiles Based on Color Modeling and Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant