CN116888455A - 信息处理装置、成像系统、信息处理方法及程序 - Google Patents

信息处理装置、成像系统、信息处理方法及程序 Download PDF

Info

Publication number
CN116888455A
CN116888455A CN202280011272.4A CN202280011272A CN116888455A CN 116888455 A CN116888455 A CN 116888455A CN 202280011272 A CN202280011272 A CN 202280011272A CN 116888455 A CN116888455 A CN 116888455A
Authority
CN
China
Prior art keywords
sensor
information
processing apparatus
information processing
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280011272.4A
Other languages
English (en)
Inventor
山下弘树
穆罕默德·西迪基
亚尔钦·因杰苏
上田朝己
铃木优
伊东真博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116888455A publication Critical patent/CN116888455A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

该信息处理装置(10)配备有第一获取单元(111)、第二获取单元(111)以及估计单元(112)。第一获取单元(111)获取通过使用配备有单板图像传感器的第一传感器(20A)对成像对象进行成像而获得的第一感测信息。第二获取单元(111)获取通过使用第二传感器(20B)感测与第一传感器(20A)的方向不同的方向而获得的第二感测信息。估计单元(112)基于第一感测信息和第二感测信息来估计成像对象的光谱反射率。

Description

信息处理装置、成像系统、信息处理方法及程序
技术领域
本公开涉及信息处理装置、成像系统、信息处理方法及程序。
背景技术
已经提出了使用利用互补金属氧化物半导体(CMOS)等的图像传感器作为分光器的光谱感测技术。作为使用图像传感器作为分光器的方法，例如，已知使用法布里-珀罗滤波器(Fabry-Perot filter)或等离子体滤波器(Plasmonic filter)的方法(例如，参考专利文献1和非专利文献1)。
在使用这样的滤波器的情况下，图像传感器的光谱灵敏度的偏差变得大于使用常规的红色、蓝色和绿色三种颜色的滤波器的情况。因此，已经提出了被配置为估计光谱灵敏度的图像传感器的校准技术(例如，参考专利文献2)。
引用列表
专利文献
专利文献1：US 7,417,746。
专利文献2：JP 2020-5053A。
非专利文献
非专利文献1：S.Yokogawa,S.P.Burgos,and H.A.Atwater,"Plasmonic colorfilters for CMOS image sensor applications",Nano Letters,12(8),4349-4354,2012。
发明内容
技术问题
上述光谱感测受到环境光的显著影响。例如，在户外，光谱感测的结果可以在白天与晚上之间显著变化。因此，需要不受环境光影响的光谱感测技术。
因此，本公开提供了一种在光谱感测技术中能够进一步降低环境光的影响的机制。
注意，以上问题或目标仅是可以通过本说明书中公开的多个实施例解决或实现的多个问题或目标中的一个。
问题的解决方案
根据本公开，提供了一种信息处理装置。该信息处理装置包括第一获取单元、第二获取单元和估计单元。第一获取单元获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息。第二获取单元获取通过使用第二传感器感测与第一传感器的方向不同的方向而获得的第二感测信息。估计单元基于第一感测信息和第二感测信息来估计对象的光谱反射率。
附图说明
图1是示出根据本公开的技术的信息处理的概要的示图。
图2是示出根据本公开的第一实施例的成像系统的配置示例的框图。
图3是示出根据本公开的第一实施例的第一传感器的示例的示图。
图4是示出根据本公开的第一实施例的第二传感器的示例的示图。
图5是示出根据本公开的第一实施例的第二传感器的另一示例的示图。
图6是示出根据本公开的第一实施例的第二传感器的另一示例的示图。
图7是示出根据本公开的第一实施例的光谱反射率估计处理的流程的流程图。
图8是示出根据本公开的第二实施例的信息处理装置的估计单元的示例的框图。
图9是示出根据本公开的第二实施例的光谱反射率估计处理的流程的流程图。
图10是示出根据本公开的第三实施例的信息处理装置的估计单元的示例的框图。
图11是示出根据本公开的第三实施例的光谱反射率估计处理的流程的流程图。
图12是示出根据本公开的第六实施例的信息处理装置的配置示例的框图。
图13是示出被配置为实现信息处理装置的功能的计算机的示例的硬件配置图。
具体实施方式
在下文中，将参考附图详细描述本公开的实施例。注意，在本说明书和附图中，具有大致相同的功能配置的部件由相同的参考标号表示，并且省略冗余的描述。
此外，在本说明书和附图中，可以通过在相同的参考标号之后附加不同的字母表来区分实施例的相似部件。然而，在不需要特别区分每个相似部件的情况下，仅分配相同的参考标号。
以下描述的一个或多个实施例(包括实施例和修改)可以各自独立实现。另一方面，以下描述的多个实施例中的至少一些可以与其他实施例中的至少一些适当地组合。多个实施例可以包括彼此不同的新颖特征。因此，该多个实施例可以有助于解决不同的目标或问题，并且可以表现出不同的效果。
注意，将按以下顺序给出描述。
1.介绍
1.1.背景
1.2.提出的技术
2.第一实施例
2.1.成像系统
2.1.1.第一传感器
2.1.2.第二传感器
2.1.3.信息处理装置
2.2.估计处理
3.第二实施例
4.第三实施例
5.第四实施例
6.第五实施例
7.第六实施例
8.硬件配置
9.总结
《1.介绍》
<1.1.背景>
使用图像传感器的一般相机获取红色(R)、蓝色(B)和绿色(G)三种颜色的信息并且重构彩色图像。另一方面，实现光谱感测的相机，即，使用图像传感器的分光器获取更多波长的信息并且重构光谱图像。光谱感测技术例如预期应用于生物认证、医疗保健、农业感测等。
在光谱感测中，存在性能由于环境光的变化而显著变化的可能性。这是因为，在常规的光谱感测中，要获取的信息不仅通过对象变化，而且通过环境光变化。
作为降低环境光的影响的技术，例如，JP 2002-204364 A公开了一种通过预先执行学习并对输入图像执行颜色转换信号处理来降低环境光的影响的技术。另外，JP 2006-287585 A公开了一种通过预先生成查找表并基于查找表对输入图像执行图像转换来估计对象的光谱反射率以降低环境光的影响的技术。
然而，为了提高光谱感测的精度，期望进一步降低环境光的影响。
因此，本公开的提出的技术提供了一种在光谱感测技术中能够进一步降低环境光的影响的机制。
<1.2.提出的技术>
图1是示出根据本公开的技术的信息处理的概要的示图。根据本公开的技术的信息处理由成像系统1执行。成像系统1包括信息处理装置10、第一传感器20A和第二传感器20B。
第一传感器20A是包括单板图像传感器(未示出)的传感器(成像装置)。第一传感器20A捕获对象的图像并生成第一感测信息(捕获图像)。第一传感器20A将对象存在的方向(对象侧)设置为检测方向(成像方向)。
第二传感器20B是检测方向不同于第一传感器20A的检测方向的传感器，并且其生成通过感测关于环境光的信息而获得的第二感测信息。例如，假设第二传感器20B是单板图像传感器，并且是被配置为捕获不存在对象的光源侧的图像的传感器。在这种情况下，第二传感器20B生成光源侧上的捕获图像作为第二感测信息。
信息处理装置10是被配置为控制第一传感器20A和第二传感器20B并生成对象的光谱图像的装置。光谱图像是示出光的每个波长的成分的比率(光谱分布)的图像，并且对每个波长生成光谱图像。
信息处理装置10首先从第一传感器20A获取第一感测信息(步骤S1)，并且从第二传感器20B获取第二感测信息(步骤S2)。
信息处理装置10基于第一感测信息和第二感测信息来估计指示对象的反射光的每个波长的成分的比率的光谱反射率(步骤S3)。例如，信息处理装置10从第一感测信息中去除包括在第二感测信息中的环境光的影响，并且估计对象的光谱反射率。
信息处理装置10例如将所估计的光谱反射率作为每个波长的光谱图像输出到显示单元(未示出)。
如上所述，根据本公开的提出的技术的成像系统1基于通过允许第一传感器20A捕获对象的图像而获得的第一感测信息和通过允许第二传感器20B捕获光源侧的图像而获得的第二感测信息来估计对象的光谱反射率。
第二感测信息是通过感测不存在对象的光源侧(捕获其图像)而获得的信息。因此，信息处理装置10使用第二感测信息来估计对象的光谱反射率，从而使得可以估计进一步降低环境光的影响的对象的光谱反射率。
《2.第一实施例》
<2.1.成像系统>
图2是示出根据本公开的第一实施例的成像系统1的配置示例的框图。图2所示的成像系统1包括信息处理装置10、第一传感器20A和第二传感器20B。
<2.1.1.第一传感器>
图3是示出根据本公开的第一实施例的第一传感器20A的示例的示图。第一传感器20A包括捕获对象的图像的单板图像传感器210A和镜头220A。
镜头220A是具有与对象相对应的视角的镜头。图像传感器210A包括：分光镜(未示出)，具有被配置为透射预定波长带的光的多个光学滤波器；以及感测元件(未示出)，其中，多个像素以矩阵布置在传感器表面上，并且感测元件具有光谱感测功能。即，第一传感器20A是单板多光谱传感器。
图像传感器210A使用分光器来光谱分散来自通过镜头220A入射的对象的光(反射光)，并且检测由感测元件发射到传感器表面的光，从而输出与每个光谱成分的亮度相对应的测量信号(第一感测信息)。
注意，由图像传感器210A分散的波长带不限于可见光，并且可以包括除了可见光以外的波长带，诸如红外光。
<2.1.2.第二传感器>
如上所述，第二传感器20B是被配置为获取关于环境光的信息的传感器。第二传感器20B设置在与第一传感器20A的成像方向不同的方向上。例如，第二传感器20B设置在与第一传感器20A的成像方向相对的方向上。
可替代地，第二传感器20B例如面向光源侧设置。例如，当第一传感器20A将对象存在的方向设置为成像方向时，第二传感器20B面向对象不存在的方向设置。
第二传感器20B例如获取关于具有与第一传感器20A可获取的波长带宽大致相同的带宽的波长的信息。例如，当第一传感器20A获取关于除可见光以外的波长(例如，红外光)的信息时，期望第二传感器20B也获取关于除了可见光以外的波长(例如，红外光)的信息。
图4是示出根据本公开的第一实施例的第二传感器20B的示例的示图。图4所示的第二传感器20B包括单板图像传感器210B和镜头220B。
图像传感器210B包括：分光镜(未示出)，具有被配置为透射预定波长带的光的多个光学滤波器；以及感测元件(未示出)，其中，多个像素以矩阵布置在传感器表面上，并且感测元件具有光谱感测功能。即，图4所示的第二传感器20B是单板多光谱传感器。
注意，图像传感器210B的光谱感测功能可以与第一传感器20A的图像传感器210A的光谱感测功能相同或不同。例如，图像传感器210A和210B的光谱数可以相同或不同。可替代地，图像传感器210A和210B的像素的数量可以相同或不同。然而，期望图像传感器210A和210B的光谱感测的范围(波长带)相同。
图像传感器210B使用分光器来光谱分散通过镜头220B入射的环境光，并且感测元件检测发射到传感器表面的光，从而输出与每个光谱成分的亮度相对应的测量信号(第二感测信息)。
例如，信息处理装置10基于第二感测信息、考虑镜头220B的特性来识别光的入射方向。更具体地，例如，信息处理装置10根据图像传感器210B的像素位置和像素值来识别光的入射方向，换句话说，光源的位置。
镜头220B以预定视角会聚光。镜头220B可以是被配置为以比正常镜头更宽的视角会聚光的镜头，诸如鱼眼镜头。通过使用鱼眼镜头，更宽范围的环境光入射到第二传感器20B上。结果，例如，当第二传感器20B在室外执行感测时，第二传感器20B可以获取关于当阳光(光源)照射大气时发生瑞利散射的光的信息和关于当阳光照射云时发生米氏散射的光的信息两者。
图5是示出根据本公开的第一实施例的第二传感器20B的另一示例的示图。如图5所示，除了单板图像传感器210B和镜头220B之外，第二传感器20B还包括漫射器230B。
如图5所示，第二传感器20B包括漫射器230B，使得光可以被漫射器230B漫射，并且第二传感器20B可以接收由图像传感器210B从多个方向入射的光。结果，可以在后续阶段的信号处理中更准确地估计环境光。
图6是示出根据本公开的第一实施例的第二传感器20B的另一示例的示图。图6中的第二传感器20B与图5所示的第二传感器20B的不同之处在于，第二传感器20B包括单板图像传感器210B和漫射器230B而不包括镜头220B。
例如，通过由漫射器230B适当地散射光，即使省略了镜头220B，第二传感器20B也可以适当地获取第二感测信息。通过省略镜头220B，可以进一步降低第二传感器20B的制造成本。
图5和图6示出了漫射器230B是平板的情况，但是漫射器230B的形状不限于平板并且可以例如是半球形类型。
尽管上述第二传感器20B是与第一传感器20A相同的多光谱传感器，但是本公开不限于此。第二传感器20B可以是与第一传感器20A不同的传感器。
例如，第二传感器20B可以是分光镜。在这种情况下，分光镜不一定必须是二维的。例如，第二传感器20B可以是被配置为利用二维图像传感器获取一维空间方向和波长信息的传感器。
可替代地，第二传感器20B可以是被配置为获取色温的传感器。在这种情况下，第二传感器20B检测关于光的颜色的信息作为色温信息(第二感测信息)。信息处理装置10例如预先将色温信息与光谱波形之间的对应关系存储为表，并且在后续阶段的信号处理中根据色温信息估计光源的光谱。
如上所述，第二传感器20B不限于多光谱传感器，并且可以应用各种传感器，只要传感器获取信息处理装置10在后续阶段中的信号处理中执行光源光谱估计的信息(第二感测信息)即可。
此外，第一传感器20A和第二传感器20B可以在固定状态下感测对象和环境光，或者可以安装在诸如无人机的移动体上，并且可以在移动的同时感测对象和环境光。
<2.1.3.信息处理装置>
描述返回到图2。信息处理装置10是被配置为基于来自第一传感器20A和第二传感器20B的感测结果生成对象的光谱图像的装置。信息处理装置10估计对象的光谱反射率，并基于估计结果生成示出每个波长处的光谱分布的光谱图像。
图2所示的信息处理装置10包括控制单元110、存储单元120和输入/输出单元130。
例如，信息处理装置10根据经由输入/输出单元130接收的来自用户的操作来估计对象的光谱反射率，并且经由输入/输出单元130向用户呈现基于估计结果生成的光谱图像。
[控制单元110]
控制单元110具有控制信息处理装置10的操作的功能。例如，控制单元110执行根据从第一传感器20A获取的第一感测信息和从第二传感器20B获取的第二感测信息来估计对象的光谱反射率的处理。
为了实现上述功能，控制单元110包括获取单元111、估计单元112和输出单元113，如图2所示。控制单元110可以由诸如CPU的处理器配置，并且可以从存储单元120读取实现获取单元111、估计单元112和输出单元113的每个功能的软件(计算机程序)，从而执行处理。此外，获取单元111、估计单元112和输出单元113中的一个或多个可以由与控制单元110不同的硬件电路(处理器等)配置，并且可以被配置为由在另一硬件电路或控制单元110上操作的计算机程序控制。
(获取单元111)
获取单元111用作被配置为从第一传感器20A获取第一感测信息的第一获取单元。此外，获取单元111用作被配置为从第二传感器20B获取第二感测信息的第二获取单元。获取单元111将所获取的第一感测信息和第二感测信息输出至估计单元112。
(估计单元112)
估计单元112基于第一感测信息和第二感测信息来估计对象的光谱反射率。估计单元112通过使用包括在第二感测信息中的关于环境光的信息，通过从包括在第一感测信息中的关于对象的反射光和环境光的信息中降低环境光的影响来估计光谱反射率。结果，估计单元112可以进一步提高对象的光谱反射率的估计精度。
(输出单元113)
输出单元113使用估计单元112的估计结果生成每个预定波长的光谱图像，并且经由输入/输出单元130向用户呈现所生成的光谱图像。注意，通过输出单元113输出的数据不限于光谱图像。例如，输出单元113可以生成并输出除了光谱图像以外的数据，诸如指示对象的光谱反射率特性的曲线图或基于光谱反射率特性识别对象的结果。
[存储单元120]
存储单元120例如通过半导体存储器元件(诸如随机存取存储器(RAM)或闪存)或存储设备(诸如硬盘或光盘)来实现。存储单元120具有存储与信息处理装置10中的处理有关的计算机程序和数据(包括程序的形式)的功能。
[输入/输出单元130]
输入/输出单元130向用户呈现各种类型的输出信息。此外，输入/输出单元130接收来自用户的输入。信息处理装置10响应于经由输入/输出单元130接收的来自用户的输入执行各种类型的信息处理。输入/输出单元130例如包括显示器、键盘、鼠标等。
<2.2.估计处理>
接下来，将参考图7描述根据本公开的第一实施例的光谱反射率估计处理。图7是示出根据本公开的第一实施例的光谱反射率估计处理的流程的流程图。例如，响应于用户的指令，由信息处理装置10执行图7所示的估计处理。
如图7所示，信息处理装置10获取通过允许第一传感器20A捕获对象的图像而获得的第一感测信息和作为第二传感器20B的感测结果的第二感测信息(步骤S101)。如上所述，第一感测信息包括关于对象和环境光的信息，并且第二感测信息包括关于环境光的信息。注意，第一感测信息和第二感测信息可以在相同的定时获取或者可以在不同的定时获取。
接下来，信息处理装置10使用第一感测信息和第二感测信息来估计对象的光谱反射率(步骤S102)。
如上所述，信息处理装置10基于第一感测信息和第二感测信息来估计对象的光谱反射率。如上所述，第二感测信息包括关于环境光的信息。因此，信息处理装置10可以通过使用第二感测信息，根据第一感测信息进一步降低环境光的影响来估计对象的光谱反射率。
《3.第二实施例》
接下来，作为第二实施例，将描述用于估计对象的光谱反射率的具体方法。注意，在以下描述中，假设第二传感器20B被描述为与第一传感器20A类似的多谱传感器。
首先，图像传感器的观测模型通常表示为如公式(1)所示。
b＝Ax+n…(1)
注意，b是观测像素值，A是图像传感器的光谱灵敏度，x是对象光谱，并且n是噪声。
在公式(1)的模型中，当估计对象光谱时，要获得的对象光谱的数量可以小于图像传感器的颜色的数量。在这种情况下，估计对象光谱成为不良问题(ill-posed problem)。作为求解不良问题的方法的示例，存在使用Tikhonov正则化求解逆问题的方法。当使用该方法时，对象光谱被表示为公式(2)。
这里，F(x)是正则化项，并且λ是参数。使用正则化项F(x)来估计对象光谱。例如，正则化项F(x)由公式(3)表示。
注意，L是微分矩阵。此外，作为正则化项F(x)，例如，可以使用l1范数或lp范数。
例如，在估计由图像传感器捕获的对象的光谱的情况下，信息处理装置10使用校准技术来估计每个传感器或传感器的光接收表面中的每个预定区域(局部区域)的图像传感器的光谱灵敏度A。信息处理装置10使用所估计的光谱灵敏度A执行信号处理，从而使得可以执行光谱估计处理，其中，针对在其上安装有图像传感器的单板多光谱传感器的每个固态或者针对每个局部区域执行校正。
注意，例如，存在实际使用情况下估计的光谱的代表值是已知的情况，诸如在对象是人的情况下人类皮肤的光谱的代表值(样本值)是已知的情况。在这种情况下，信息处理装置10可以使用代表值作为期望值。
在使用代表值作为期望值的情况下，信息处理装置10可以通过将作为预见性知识的代表值放入标准化项来提高对象光谱的估计精度。例如，信息处理装置10可以通过使用公式(4)中示出的正则化项来使用期望值来提高光谱的估计精度。注意，x0是期望值。例如，通过防止与期望值的差变大，使解稳定。
如上所述，本公开的成像系统1包括两个多光谱传感器：第一传感器20A和第二传感器20B。因此，每个传感器的观测模型由公式(5)和(6)表示。
bl＝Alxl+nl…(5)
bo＝Aoxo+no…(6)
在下文中，l表示捕获光源的图像的第二传感器20B，并且o表示捕获对象的图像的第一传感器20A。
根据第二实施例的信息处理装置10对由第一传感器20A和第二传感器20B中的每一个检测的第一感测信息和第二感测信息中的每一个执行光谱估计处理，并且然后估计对象的光谱反射率。
图8是示出根据本公开的第二实施例的信息处理装置10的估计单元112的示例的框图。
如图8所示，估计单元112包括第一光谱估计单元1121、第二光谱估计单元1122和反射率估计单元1123。
第一光谱估计单元1121基于第一感测信息估计对象光谱。例如，在使用Tikhonov正则化的情况下，第一光谱估计单元1121使用公式(7)根据由第一传感器20A捕获的图像(第一感测信息)估计对象光谱。
这里，因为第一传感器20A捕获对象的图像，所以第一感测信息包括关于对象的反射光和环境光的信息。因此，由第一光谱估计单元1121估计的对象光谱包括环境光的影响。
第二光谱估计单元1122基于第二感测信息估计环境光光谱。例如，当使用Tikhonov正则化时，第二光谱估计单元1122使用公式(8)根据由第二传感器20B捕获的图像(第二感测信息)估计环境光光谱。
这里，因为第二传感器20B捕获光源侧的图像，所以第二感测信息不包括关于对象的反射光的信息并且不包括关于环境光的信息。因此，由第二光谱估计单元1122估计的环境光光谱包括环境光并且不包括对象的反射光。
反射率估计单元1123使用由第一光谱估计单元1121估计的对象光谱和由第二光谱估计单元1122估计的环境光光谱来估计对象的光谱反射率(所估计的对象光谱反射率)。
这里，假设在被配置为拍摄光源的第二传感器20B中不存在来自对象的反射。还假设从同一光源发射入射到被配置为拍摄光源的第二传感器20B上的光(环境光)和照射对象的光。在这种情况下，对象光谱xo和环境光光谱xl由公式(9)至(11)表示。
xl＝Ll…(9)
xo＝LoRo…(10)
Ll＝Lo…(11)
这里，L1是入射光到被配置为捕获光源侧的图像的第二传感器20B的光谱，L0是入射光到对象的光谱，并且R0是对象的光谱反射率。
反射率估计单元1123基于上述两个假设通过将对象光谱除以环境光光谱来估计对象的光谱反射率，如公式(12)所示。
Ro＝xo./xl…(12)
注意，“./”是被配置为对每个元素(像素或波长)执行除法的算子。
图9是示出根据本公开的第二实施例的光谱反射率估计处理的流程的流程图。例如，根据用户的指令，由信息处理装置10执行图9所示的估计处理。
如图9所示，信息处理装置10获取通过允许第一传感器20A捕获对象的图像而获得的第一感测信息和作为第二传感器20B的感测结果的第二感测信息(步骤S201)。注意，第一感测信息和第二感测信息可以在相同的定时获取或者可以在不同的定时获取。
接下来，信息处理装置10获取通过第二传感器20B捕获对象的图像而获得的第二感测信息(步骤S202)，并且估计环境光光谱(步骤S203)。注意，步骤S202和S203的处理可以并行执行，也可以顺序执行。当按顺序执行多个处理时，处理的顺序无关紧要。
信息处理装置10通过从对象光谱除以环境光光谱来估计所估计的对象光谱反射率(步骤S204)。
如上所述，根据第二实施例的信息处理装置10基于从第一传感器20A获取的第一感测信息估计对象光谱，并且基于从第二传感器20B获取的第二感测信息估计环境光光谱。信息处理装置10通过除法从对象光谱和环境光光谱估计对象的光谱反射率。
结果，信息处理装置10可以进一步降低包括在对象的光谱反射率中的环境光的影响。
《4.第三实施例》
接下来，作为第三实施例，将描述估计对象的光谱反射率的方法的另一示例。根据第三实施例的信息处理装置10使用第一感测信息和环境光光谱来估计对象的光谱反射率，而不估计对象光谱。
图10是示出根据本公开的第三实施例的信息处理装置10的估计单元112的示例的框图。
如图10所示，估计单元112与图8所示的估计单元112的不同之处在于，未设置第一光谱估计单元1121。图10所示的估计单元112包括第二光谱估计单元1122和反射率估计单元1123a。
第二光谱估计单元1122基于第二感测信息估计环境光光谱。例如，当使用Tikhonov正则化时，第二光谱估计单元1122使用公式(8)根据由第二传感器20B捕获的图像(第二感测信息)估计环境光光谱。如公式(8)所示，以与第二实施例相同的方式估计由第二光谱估计单元1122估计的环境光光谱。
接下来，反射率估计单元1123a基于第一感测信息和环境光光谱来估计对象的光谱反射率(所估计的对象光谱反射率)。
例如，第一传感器20A和第二传感器20B的观测模型使用公式(5)、(6)和(9)至(11)由公式(13)和(14)表示。
bl＝AlLl+nl…(13)
bo＝AoLlRo+no…(14)
反射率估计单元1123a例如通过使用公式(15)和(16)分别通过逆问题求解L1和R0来估计对象的光谱反射率。
这里，F’(x)是在估计光谱反射率时的正则化项，并且在估计光源的光谱(或通过光源照射对象而反射的反射项)的情况下，F’(x)可以与正则化项F(x)不同。
可以引用参考文献1：“C.E.Mancill,‘Digital Color Image Restoration’,US-CIPI Rept.,630,1975”作为与对象的光谱反射率特性相关的参考文献。根据专利文献1，对象的光谱反射率通常在许多情况下具有平滑特性。因此，通过在正则化项中反映这样的特性，反射率估计单元1123a可以进一步提高对象的光谱反射率的估计精度。
此外，反射率估计单元1123a可以通过规定表示对象的光谱反射率并且获得解来估计对象的光谱反射率。通过使用这些规定，解是稳定的。生成规定的方法的示例包括使用高斯分布、小波变换和主成分分析的方法。
图11是示出根据本公开的第三实施例的光谱反射率估计处理的流程的流程图。例如，根据用户的指令，由信息处理装置10执行图11所示的估计处理。
如图11所示，信息处理装置10获取通过允许第一传感器20A捕获对象的图像而获得的第一感测信息和作为第二传感器20B的感测结果的第二感测信息(步骤S301)。注意，第一感测信息和第二感测信息可以在相同的定时获取或者可以在不同的定时获取。
接下来，信息处理装置10估计环境光光谱(步骤S302)。
信息处理装置10通过使用第一感测信息和环境光光谱执行逆问题分析来估计所估计的对象光谱反射率(步骤S303)。
如上所述，根据第三实施例的信息处理装置10基于从第二传感器20B获取的第二感测信息估计环境光光谱。信息处理装置10根据从第一传感器20A获取的第一感测信息和环境光光谱来估计对象的光谱反射率。
结果，信息处理装置10可以进一步降低包括在对象的光谱反射率中的环境光的影响。
《5.第四实施例》
接下来，作为第四实施例，将描述估计对象的光谱反射率的方法的其他示例。根据第四实施例的信息处理装置10使用查找表(LUT)来估计对象的光谱反射率。
例如，可以引用参考文献2“JP 2006-287585 A”作为用于使用LUT来估计对象的光谱反射率的参考文献。专利文献2公开了一种使用LUT从由一个传感器捕获的多波段图像来估计光谱反射率的技术。
在根据本公开的成像系统1中，第一传感器20A和第二传感器20B分别执行感测以获取第一感测信息和第二感测信息。因此，根据第四实施例的信息处理装置10基于每条感测信息使用LUT来估计对象的光谱反射率。
具体地，例如，信息处理装置10使用LUT来估计对象光谱和环境光光谱。此外，信息处理装置10使用LUT来估计对象的光谱反射率。在这种情况下，例如，图8所示的估计单元112的每个单元使用LUT执行每个估计。
更具体地，第一光谱估计单元1121使用LUT相对于第一感测信息估计对象光谱。第二光谱估计单元1122使用LUT相对于第二感测信息估计环境光光谱。反射率估计单元1123将对象光谱和环境光光谱进行组合以使用LUT来估计对象的光谱反射率。
可替代地，信息处理装置10可以使用LUT来估计环境光光谱和估计对象的光谱反射率。在这种情况下，信息处理装置10使用LUT来估计环境光光谱和估计对象的光谱反射率。例如，图10所示的估计单元112的每个单元使用LUT来执行每个估计。
更具体地，第二光谱估计单元1122使用LUT相对于第二感测信息估计环境光光谱。反射率估计单元1123a将第一感测信息和环境光光谱进行组合以使用LUT来估计对象的光谱反射率。
注意，例如，提前计算由每个单元使用的LUT并且将其存储在存储单元120中。
如上所述，根据第四实施例的信息处理装置10使用LUT来估计对象的光谱反射率。结果，信息处理装置10可以进一步降低包括在对象的光谱反射率中的环境光的影响。
《6.第五实施例》
作为第五实施例，将描述估计对象的光谱反射率的方法的另一示例。根据第五实施例的信息处理装置10使用机器学习来估计对象的光谱反射率。在下文中，将给出关于信息处理装置10使用神经网络(NN)来估计光谱反射率并且信息处理装置10可以使用其他机器学习来估计光谱反射率的情况的描述。
例如，根据第五实施例的信息处理装置10基于每条感测信息使用NN来估计对象的光谱反射率。例如，信息处理装置10使用NN来估计对象光谱和环境光光谱。此外，信息处理装置10使用NN来估计对象的光谱反射率。在这种情况下，例如，图8所示的估计单元112的每个单元使用NN来执行每个估计。
更具体地，第一光谱估计单元1121将第一感测信息输入至学习模型并且获得对象光谱作为学习模型的输出，从而估计对象光谱。第二光谱估计单元1122将第二感测信息输入至学习模型并且获得环境光光谱作为学习模型的输出，从而估计环境光光谱。反射率估计单元1123通过将对象光谱和环境光光谱输入至学习模型并且获得对象的光谱反射率作为学习模型的输出来估计对象的光谱反射率。
可替代地，信息处理装置10可以使用NN来估计环境光光谱和估计对象的光谱反射率。在这种情况下，信息处理装置10使用NN来估计环境光光谱和估计对象的光谱反射率。例如，图10所示的估计单元112的每个单元使用NN来执行每个估计。
更具体地，第二光谱估计单元1122将第二感测信息输入至学习模型并且获得环境光光谱作为学习模型的输出，从而估计环境光光谱。反射率估计单元1123a将第一感测信息和环境光光谱输入至学习模型，并且获得对象的光谱反射率作为学习模型的输出，从而估计对象的光谱反射率。
可替代地，信息处理装置10可以通过NN估计对象的光谱反射率。在这种情况下，图2所示的估计单元112使用NN来估计光谱反射率。更具体地，估计单元112将第一感测信息和第二感测信息输入至学习模型并且获得对象的光谱反射率作为输出，从而估计对象的光谱反射率。
注意，由每个单元使用的学习模型是预先通过使用深度学习等的机器学习而构建的NN，并且例如存储在存储单元120中。
如上所述，根据第五实施例的信息处理装置10使用NN来估计对象的光谱反射率。结果，信息处理装置10可以进一步降低包括在对象的光谱反射率中的环境光的影响。此外，通过使用NN，信息处理装置10可以以更高的精度估计对象的光谱反射率。
《7.第六实施例》
尽管根据上述实施例的信息处理装置10基于第一传感器20A和第二传感器20B的感测结果来估计对象的光谱反射率，但是本公开不限于此。例如，成像系统1a的信息处理装置10a可以校正第一传感器20A和第二传感器20B中的变化。作为第六实施例，将描述这一点。
图12是示出根据本公开的第六实施例的信息处理装置10a的配置示例的框图。除了控制单元110a包括调整单元114之外，图12所示的信息处理装置10a具有与图2所示的信息处理装置10的配置和操作相同的配置和操作。
图12所示的调整单元114用作被配置为调整第一传感器20A和第二传感器20B中的变化的第一调整单元。调整单元114调整第一传感器20A和第二传感器20B中的每一个的光谱灵敏度特性。
例如，当使用上述公式(2)、(7)和(8)执行光谱估计时，如果第一传感器20A和第二传感器20B中的每一个的光谱灵敏度特性A的精度低，则估计结果的误差增大。因此，调整单元114估计第一传感器20A和第二传感器20B的光谱灵敏度，并且根据估计结果调整光谱灵敏度。估计单元112使用由调整单元114调整的光谱灵敏度特性A来估计对象的光谱反射率。
注意，例如通过用具有单个波长的光源照射第一传感器20A和第二传感器20B中的每一个的方法，或者例如在专利文献2中公开的光谱灵敏度估计技术，可以执行由调整单元114估计光谱灵敏度。
如上所述，调整单元114校正第一传感器20A和第二传感器20B中的每一个的光谱灵敏度特性A，从而使得每个信息处理装置10能够进一步提高对象的光谱反射率的估计精度。
此外，调整单元114校正一个传感器的光接收表面的变化，并且还校正第一传感器20A和第二传感器20B的变化。
调整单元114校正一个传感器的光接收表面的变化，从而使得可以校正第一传感器20A的光谱灵敏度的变化和第二传感器20B的光谱灵敏度的变化。然而，当信息处理装置10在第一传感器20A的光谱灵敏度与第二传感器20B的光谱灵敏度之间产生差异的同时计算对象的光谱反射率时，在光谱反射率中可能包括误差。
如上所述，在第一传感器20A的光谱灵敏度与第二传感器20B的光谱灵敏度之间可能存在差异。即，即使第一传感器20A和第二传感器20B拍摄同一对象，估计单元112的光谱估计的结果也可能彼此不同。
因此，调整单元114用作被配置为调整估计单元112中的处理的第二调整单元，使得第一传感器20A的光谱灵敏度与第二传感器20B的光谱灵敏度之间的差异变小。即，即使第一传感器20A和第二传感器20B拍摄同一对象，也调整估计单元112中的处理，使得估计单元112的光谱估计的结果变得相同。
作为调整单元114的调整方法，存在对准系统响应的方法。
这里，将使用公式(17)描述公式(2)中的重构系数M和系统响应的定义。这里，作为示例，将描述正则化项F(x)是公式(3)的情况，但是正则化项不限于公式(3)的示例。
这里，M由公式(18)表示。
M＝(ATA+λFTF)-1AT…(18)
另外，如公式(19)所示定义系统响应S。
S＝MA…(19)
系统响应S变为表示通过允许估计单元112对进入传感器的光谱(传感器的感测结果)执行信号处理而输出哪种光谱的矩阵。即，通过执行信号处理，使得系统响应S在第一传感器20A与第二传感器20B之间匹配，调整单元114进一步减小第一传感器20A与第二传感器20B之间的光谱灵敏度的偏差。即，当对同一对象进行成像时，对从第一传感器20A输出的第一感测信息执行信号处理的结果和对从第二传感器20B输出的第二感测信息执行信号处理的结果彼此匹配。
为了实现这一点，调整单元114考虑第一传感器20A和第二传感器20B的偏差来获得重构系数，以使与使用典型传感器时的系统响应St的差异最小化。换句话说，调整单元114获得重构系数，以使使用第一传感器20A时的系统响应与使用第二传感器20B时的系统响应之间的差异最小化。
即，调整单元114设置重构系数，使得公式(20)变小。结果，可以进一步减小第一传感器20A与第二传感器20B之间的光谱灵敏度的偏差。
(MA-St)T(MA-St)…(20)
以这种方式，调整单元114设置重构系数，从而使得不仅可以进一步减小第一传感器20A与第二传感器20B之间的光谱灵敏度的偏差，而且可以进一步提高对象的光谱反射率的估计精度。
注意，调整单元114的调整方法不限于上述对准系统响应的方法。例如，调整单元114可以使用对同一对象进行实际成像的结果来调整第一传感器20A的光谱灵敏度与第二传感器20B的光谱灵敏度之间的差异。
例如，上述对准系统响应的方法是基于第一传感器20A和第二传感器20B中的每一个的光谱灵敏度特性的信号处理。另一方面，在实际使用情况下，当在一定程度上确定对象的光谱时，调整单元114可以通过拍摄接近对象的光谱来调整估计单元112中的信号处理。例如，当确定要使用的光源时，或者当在一定程度上确定诸如人的对象时，可以应用该方法。
在这种情况下，调整单元114利用第一传感器20A和第二传感器20B中的每一个捕获同一对象的图像，并且校正估计单元112中的处理，使得估计单元112估计成像结果的结果彼此匹配。该方法基于与通过拍摄麦克白图表(Macbeth chart)执行的方法类似的想法，作为在重构RGB图像的相机中执行颜色校正的信号处理的调整。
例如，调整单元114设置重构系数，使得通过使用另一传感器(例如，第二传感器20B)捕获同一对象的图像而估计的光谱变得更接近通过使用典型传感器(例如，第一传感器20A)捕获对象的图像而估计的光谱。即，调整单元114设置重构系数，使得公式(21)变小。
以这种方式，调整单元114使用实际成像结果设定重构系数，从而使得不仅可以进一步减小第一传感器20A与第二传感器20B之间的光谱灵敏度的偏差，而且可以进一步提高对象的光谱反射率的估计精度。
注意，例如，在构造成像系统1时，执行由调整单元114设置重构系数。可替代地，可以在执行对象的光谱反射率估计处理之前执行重构系数的设置。
《8.硬件配置》
例如，通过如图13所示配置的计算机1000实现根据上述实施例的信息处理装置10。图13是示出被配置为实现信息处理装置10的功能的计算机1000的示例的硬件配置图。计算机1000包括CPU 1100、RAM 1200、ROM 1300、存储装置1400、通信接口1500和输入/输出接口1600。计算机1000的每个单元通过总线1050连接。
CPU 1100基于存储在ROM 1300或存储装置1400中的程序操作，并且控制每个单元。例如，CPU 1100将存储在ROM 1300或存储装置1400中的程序加载到RAM 1200中并执行与各种程序相对应的处理。
ROM 1300存储启动程序(诸如在计算机1000启动时由CPU 1100执行的基本输入输出系统(BIOS))、依赖于计算机1000的硬件的程序等。
存储装置1400是非瞬时地记录由CPU 1100执行的程序、由程序使用的数据等的计算机可读记录介质。具体地，存储装置1400是记录根据本公开的作为程序数据1450的示例的程序的记录介质。
通信接口1500是被配置为将计算机1000连接到外部网络1550的接口。例如，CPU1100经由通信接口1500从另一设备接收数据或将由CPU 1100生成的数据发送到另一设备。
输入/输出接口1600是被配置为将输入/输出设备1650连接至计算机1000的接口。例如，CPU 1100可以经由输入/输出接口1600从诸如键盘、鼠标或加速度传感器13的输入设备接收数据。此外，CPU 1100可以经由输入/输出接口1600向诸如显示器、扬声器或打印机的输出设备发送数据。此外，输入/输出接口1600可以用作被配置为读取记录在预定记录介质(介质)中的程序等的介质接口。介质例如是诸如数字通用盘(DVD)或者相变可重写盘(PD)的光记录介质、诸如磁光盘(MO)的磁光记录介质、磁带介质、磁记录介质、半导体存储器等。
例如，在计算机1000用作根据本实施例的信息处理装置10的情况下，计算机1000的CPU 1100通过执行在RAM 1200上加载的信息处理程序来实现控制单元110的功能。此外，存储装置1400存储根据本公开的程序和存储单元120中的数据。注意，CPU 1100从存储装置1400读取程序数据1450并且执行该程序数据，并且作为另一示例，CPU 1100可以经由外部网络1550从其他装置获取这些程序。
《9.总结》
尽管已经参考附图详细地描述了本公开的优选实施例，但是本公开的技术范围不限于这样的示例。显而易见地，本公开的技术领域的普通技术人员可以在权利要求书中描述的技术思想的范围内想到各种变化或修改，并且自然理解这些变化或修改也属于本公开的技术范围。
在上述实施例中描述的多个处理中，可以手动执行被描述为自动执行的处理的全部或一部分，或者可以通过已知的方法自动执行被描述为手动执行的处理的全部或一部分。另外，除非另有规定，否则在文件和附图中示出的处理过程、具体名称和包括各种数据和参数的信息可以任意变化。例如，在每个附图中示出的各种类型的信息不限于所示出的信息。
此外，在附图中示出的每个装置的每个部件在功能上是概念性的，并且不必如图中所示物理地配置。即，每个装置的分散和集成的具体形式不限于所示出的形式，并且其全部或一部分可以根据各种负载、使用条件等以任何单位在功能上或物理上分散和集成。
此外，上述实施例可以在处理内容彼此不冲突的范围内适当地组合。
此外，在本说明书中描述的效果仅是说明性的或示例性的，而不是限制性的。即，连同上述效果或者代替上述效果，根据本公开的技术可以从本说明书的描述中表现出对于本领域技术人员来说显而易见的其他效果。
注意，以下配置也属于本公开的技术范围。
(1)
一种信息处理装置，包括：
第一获取单元，被配置为获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息；
第二获取单元，被配置为获取通过使用第二传感器感测与第一传感器的方向不同的方向获得的第二感测信息；以及
估计单元，被配置为基于第一感测信息和第二感测信息来估计对象的光谱反射率。
(2)
根据(1)的信息处理装置，其中，第二传感器是被配置为感测关于环境光的信息的传感器。
(3)
根据(1)或(2)的信息处理装置，
其中，第一传感器朝向对象设置，并且
其中，第二传感器朝向光源侧设置。
(4)
根据(1)至(3)中任一项的信息处理装置，其中，第二传感器是被配置为接收具有与第一传感器的带宽大致相同的带宽的光的传感器。
(5)
根据(1)至(4)中任一项的信息处理装置，其中，第二传感器包括单板图像传感器。
(6)
根据(1)至(4)中任一项的信息处理装置，其中，第二传感器是被配置为检测色温的传感器。
(7)
根据(1)至(6)中任一项的信息处理装置，其中，估计单元包括：
第一光谱估计单元，被配置为根据第一感测信息来估计对象光谱；
第二光谱估计单元，被配置为根据第二感测信息来估计环境光光谱；以及
反射率估计单元，被配置为基于对象光谱和环境光光谱来估计对象的光谱反射率。
(8)
根据(1)至(6)中任一项的信息处理装置，其中，估计单元包括：
光谱估计单元，被配置为根据第二感测信息来估计环境光光谱；以及
反射率估计单元，被配置为基于第一感测信息和环境光光谱来估计对象的光谱反射率。
(9)
根据(1)至(8)中任一项的信息处理装置，其中，估计单元使用查找表来估计对象的光谱反射率。
(10)
根据(1)至(8)中任一项的信息处理装置，其中，估计单元基于通过机器学习生成的学习模型来估计对象的光谱反射率。
(11)
根据(1)至(10)中任一项的信息处理装置，进一步包括：第一调整单元，被配置为调整第一传感器和第二传感器中的每一个的感测区域的光谱灵敏度。
(12)
根据(1)至(11)中任一项的信息处理装置，进一步包括：第二调整单元，被配置为调整第一传感器与第二传感器之间的感测的偏差。
(13)
根据(12)的信息处理装置，其中，第二调整单元调整处理，使得估计单元对第一感测信息的处理的系统响应与对第二感测信息的处理的系统响应彼此匹配。
(14)
根据(12)的信息处理装置，其中，第二调整单元使用通过第一传感器和第二传感器感测同一对象而获得的第一感测信息和第二感测信息中的每一个来调整处理，使得由估计单元执行的处理的结果彼此匹配。
(15)
一种成像系统，包括：
第一传感器，包括单板图像传感器；
第二传感器，被配置为感测与第一传感器的方向不同的方向；以及
信息处理装置，
其中，该成像系统包括：
第一获取单元，被配置为获取通过使用第一传感器来捕获对象的图像而获得的第一感测信息；
第二获取单元，被配置为获取由第二传感器感测的第二感测信息；以及
估计单元，被配置为基于第一感测信息和第二感测信息来估计对象的光谱反射率。
(16)
一种信息处理方法，包括：
获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息；
获取通过使用第二传感器感测与第一传感器的方向不同的方向而获得的第二感测信息；以及
基于第一感测信息和第二感测信息来估计对象的光谱反射率。
(17)
一种程序，被配置为使计算机执行：
获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息；
获取通过使用第二传感器感测与第一传感器的方向不同的方向而获得的第二感测信息；以及
基于所述第一感测信息和所述第二感测信息来估计对象的光谱反射率。
参考标记列表
1 成像系统
10 信息处理装置
20 传感器
110 控制单元
111 获取单元
112 估计单元
113 输出单元
120 存储单元
130 输入/输出单元
210 图像传感器
220 镜头
230 漫射器。

Claims (17)

1.一种信息处理装置，包括：
第一获取单元，被配置为获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息；
第二获取单元，被配置为获取通过使用第二传感器感测与所述第一传感器的方向不同的方向而获得的第二感测信息；以及
估计单元，被配置为基于所述第一感测信息和所述第二感测信息来估计所述对象的光谱反射率。
2.根据权利要求1所述的信息处理装置，其中，所述第二传感器是被配置为感测关于环境光的信息的传感器。
3.根据权利要求1所述的信息处理装置，
其中，所述第一传感器朝向所述对象设置，并且
其中，所述第二传感器朝向光源侧设置。
4.根据权利要求1所述的信息处理装置，其中，所述第二传感器是被配置为接收具有与所述第一传感器的带宽大致相同的带宽的光的传感器。
5.根据权利要求1所述的信息处理装置，其中，所述第二传感器包括单板图像传感器。
6.根据权利要求1所述的信息处理装置，其中，所述第二传感器是被配置为检测色温的传感器。
7.根据权利要求1所述的信息处理装置，其中，所述估计单元包括：
第一光谱估计单元，被配置为根据所述第一感测信息来估计对象光谱；
第二光谱估计单元，被配置为根据所述第二感测信息来估计环境光光谱；以及
反射率估计单元，被配置为基于所述对象光谱和所述环境光光谱来估计所述对象的所述光谱反射率。
8.根据权利要求1所述的信息处理装置，其中，所述估计单元包括：
光谱估计单元，被配置为根据所述第二感测信息来估计环境光光谱；以及
反射率估计单元，被配置为基于所述第一感测信息和所述环境光光谱来估计所述对象的所述光谱反射率。
9.根据权利要求1所述的信息处理装置，其中，所述估计单元使用查找表来估计所述对象的所述光谱反射率。
10.根据权利要求1所述的信息处理装置，其中，所述估计单元基于通过机器学习生成的学习模型来估计所述对象的所述光谱反射率。
11.根据权利要求1所述的信息处理装置，进一步包括：第一调整单元，被配置为调整所述第一传感器和所述第二传感器中的每一个的感测区域的光谱灵敏度。
12.根据权利要求1所述的信息处理装置，进一步包括：第二调整单元，被配置为调整所述第一传感器与所述第二传感器之间的感测的偏差。
13.根据权利要求12所述的信息处理装置，其中，所述第二调整单元调整处理，使得所述估计单元对所述第一感测信息的处理的系统响应与对所述第二感测信息的处理的系统响应彼此匹配。
14.根据权利要求12所述的信息处理装置，其中，所述第二调整单元使用通过所述第一传感器和所述第二传感器感测同一对象而获得的所述第一感测信息和所述第二感测信息中的每一个来调整处理，使得由所述估计单元执行的处理的结果彼此匹配。
15.一种成像系统，包括：
第一传感器，包括单板图像传感器；
第二传感器，被配置为感测与所述第一传感器的方向不同的方向；以及
信息处理装置，
其中，所述成像系统包括：
第一获取单元，被配置为获取通过使用所述第一传感器来捕获对象的图像而获得的第一感测信息；
第二获取单元，被配置为获取由所述第二传感器感测的第二感测信息；以及
估计单元，被配置为基于所述第一感测信息和所述第二感测信息来估计所述对象的光谱反射率。
16.一种信息处理方法，包括：
获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息；
获取通过使用第二传感器感测与所述第一传感器的方向不同的方向而获得的第二感测信息；以及
基于所述第一感测信息和所述第二感测信息来估计所述对象的光谱反射率。
17.一种程序，被配置为使计算机执行：
获取通过使用包括单板图像传感器的第一传感器来捕获对象的图像而获得的第一感测信息；
获取通过使用第二传感器感测与所述第一传感器的方向不同的方向而获得的第二感测信息；以及
基于所述第一感测信息和所述第二感测信息来估计所述对象的光谱反射率。
CN202280011272.4A 2021-01-29 2022-01-07 信息处理装置、成像系统、信息处理方法及程序 Pending CN116888455A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-013782 2021-01-29
JP2021013782A JP2022117205A (ja) 2021-01-29 2021-01-29 情報処理装置、撮像システム、情報処理方法及びプログラム
PCT/JP2022/000379 WO2022163327A1 (ja) 2021-01-29 2022-01-07 情報処理装置、撮像システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN116888455A true CN116888455A (zh) 2023-10-13

Family

ID=82653374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280011272.4A Pending CN116888455A (zh) 2021-01-29 2022-01-07 信息处理装置、成像系统、信息处理方法及程序

Country Status (4)

Country Link
US (1) US20240080536A1 (zh)
JP (1) JP2022117205A (zh)
CN (1) CN116888455A (zh)
WO (1) WO2022163327A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3713321B2 (ja) * 1995-12-19 2005-11-09 オリンパス株式会社 カラー画像記録再生システム及び画像カラー画像記録再生方法
JP4010360B2 (ja) * 2003-04-17 2007-11-21 長崎県 分光画像撮影装置
JP4455386B2 (ja) * 2005-03-31 2010-04-21 キヤノン株式会社 色処理装置、色処理方法、コンピュータプログラム
EP3315928B1 (en) * 2015-06-26 2021-05-05 Sony Corporation Inspection apparatus, sensing apparatus, sensitivity control apparatus, inspection method, and program
JP2020024103A (ja) * 2018-08-06 2020-02-13 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7225600B2 (ja) * 2018-08-10 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP2022117205A (ja) 2022-08-10
US20240080536A1 (en) 2024-03-07
WO2022163327A1 (ja) 2022-08-04

Similar Documents

Publication Publication Date Title
US11193830B2 (en) Spectrocolorimeter imaging system
US10168215B2 (en) Color measurement apparatus and color information processing apparatus
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
US10514335B2 (en) Systems and methods for optical spectrometer calibration
US10753860B2 (en) Inspection apparatus, inspection method, and program
US11422026B2 (en) Information processing device, information processing method, and program to perform calibration with respect to environment light
US20180188160A1 (en) Inspection apparatus, inspection method, and program
JP7412920B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN113639881A (zh) 色温测试方法及装置、计算机可读介质和电子设备
CN110999283B (zh) 成像装置、成像方法以及存储介质
CN116888455A (zh) 信息处理装置、成像系统、信息处理方法及程序
JP7491084B2 (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
JP2010256303A (ja) ハイパースペクトル画像処理装置及びハイパースペクトル画像処理方法
EP3993382B1 (en) Colour calibration of an imaging device
JP6862229B2 (ja) 解析装置、撮像装置、解析方法、および、プログラム
JP4529210B2 (ja) 測色変換係数算出方法と測色画像変換方法、及び、測色変換係数算出装置と測色画像変換装置、並びに、測色変換係数算出プログラム又は測色的撮像プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP4460717B2 (ja) 色調整装置
JP5120936B2 (ja) 画像処理装置および画像処理方法
JP2001116620A (ja) 測色変換係数算出方法と測色的撮像方法、および測色変換係数算出装置と測色的撮像装置、並びに測色変換プログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2020091256A (ja) 処理装置、撮像装置、処理方法、およびプログラム
JP6317703B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
US20240080568A1 (en) Electronic Device and Method for Dynamically Adjusting Exposure Parameter of Spectral Sensor
Alvarez et al. Low Cost Recovery of Spectral Power Distributions.
JP7212499B2 (ja) 生体情報検出装置及び生体情報検出方法
US20230085600A1 (en) Self-calibrating spectrometer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination