CN109565578B - 检查设备和检查方法 - Google Patents

检查设备和检查方法 Download PDF

Info

Publication number
CN109565578B
CN109565578B CN201780047672.XA CN201780047672A CN109565578B CN 109565578 B CN109565578 B CN 109565578B CN 201780047672 A CN201780047672 A CN 201780047672A CN 109565578 B CN109565578 B CN 109565578B
Authority
CN
China
Prior art keywords
image
pixels
wavelength
polarization
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780047672.XA
Other languages
English (en)
Other versions
CN109565578A (zh
Inventor
三谷均
若园雅史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109565578A publication Critical patent/CN109565578A/zh
Application granted granted Critical
Publication of CN109565578B publication Critical patent/CN109565578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/3148—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using three or more wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Optical Filters (AREA)
  • Polarising Elements (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本公开包括一种成像传感器、成像方法和非暂时性计算机可读介质。所述成像传感器包括多个波长检测区域。所述多个波长检测区域至少包括第一波长检测区域。第一波长检测区域包括多个像素，所述多个像素被配置成检测第一预定波长范围内的光，和检测在不同的预定偏振方向的所述光。

Description

检查设备和检查方法
技术领域
本公开涉及检查设备、检查方法和程序。特别地，本公开涉及配置成良好地进行期望的检查的检查设备、检查方法和程序。
相关申请的交叉引用
本申请要求2016年8月17日提交的日本专利申请JP 2016-159854的优先权，该申请的整个内容通过引用包含在本文中。
背景技术
标准化差值植被指数(NDVI)一般用作植物的分布状态和活性度指标。
例如，在遥测和精细农业领域的应用中，利用按照借助近红外光分量和红光分量的光谱学对检查对象成像的方式获得的图像，检查农作物的生长状态。或者，利用被配置成以致对于各个像素布置各个偏振滤光器的偏振成像器，从而可以获得具有与偏振方向相应的特性的图像。注意，偏振成像器被配置成以致按照多个偏振方向，分割受光面上的像素，从而生成每个偏振方向的图像。这样，分辨率被降低(例如当使用4个偏振方向时，分辨率降低为1/4)。
例如，专利文献1公开一种成像设备，所述成像设备被配置成以致致动器以像素为单位，偏移包括排列成阵列的偏振器(每个像素的偏振滤光器)的偏振器阵列，以获得多个图像，并通过对这些图像的处理，保持分辨率。
[引文列表]
[专利文献]
[PTL 1]日本专利No.4932978
发明内容
[技术问题]
典型地，已知一种通过拼接在移动时连续获得的多个图像，在宽范围内高分辨率地获得图像的技术(称为“图像拼接”)。然而，难以实现通过拼接多个图像获得宽图像的技术，和利用专利文献1中公开的成像设备来维持分辨率的技术这两者。因此，例如，为了借助标准化差值植被指数较好地检查植被，要求即使在使用偏振成像器时，也高分辨率地获得宽图像。
鉴于上述情况，产生了本公开，本公开意在较好地进行期望的检查。
[问题的解决方案]
按照本公开的一个方面的检查设备对于每个波长范围包括多个检测区域，每个检测区域包括排列成矩阵并被配置成检测同一波长范围的光的多个传感器元件，其中所述多个传感器元件被排列成以致传感器元件中的相邻传感器元件检测不同偏振方向的光，并且被排列成包括与偏振方向的数目对应的传感器元件的集合。
在被配置成对于每个波长范围，包括均具有多个传感器元件的多个检测区域的检查设备中，按照本公开的一个方面的检查方法和程序包括根据由每个传感器元件检测的检测值，进行生成对于比每次可检测的范围大的范围获得的图像的信号处理，其中所述多个传感器元件被排列成矩阵，并被配置成检测同一波长范围的光，并被配置成以致所述多个传感器元件被排列成以致传感器元件中的相邻传感器元件检测不同偏振方向的光，并且被排列成包括与偏振方向的数目对应的传感器元件的集合。
在本公开的一个方面中，对于每个波长范围，包括多个检测区域，每个检测区域包括排列成矩阵并被配置成检测同一波长范围的光的多个传感器元件，以及所述多个传感器元件被排列成以致传感器元件中的相邻传感器元件检测不同偏振方向的光，并且被排列成包括与偏振方向的数目对应的传感器元件的集合。此外，根据由每个传感器元件检测的检测值，进行生成对于比每次可检测的范围大的范围获得的图像的信号处理。
本公开的另一个方面是一种包括多个波长检测区域的成像传感器。所述多个波长检测区域至少包括第一波长检测区域。第一波长检测区域包括配置成检测第一预定波长范围内的光，和检测在不同的预定偏振方向的所述光的多个像素。
本公开的另一个方面是一种成像方法。所述方法包括利用图像传感器，检测入射光。所述方法还包括利用成像传感器，输出基于入射光的不同偏振的多个图像信号。所述多个图像信号中的第一一个或多个图像信号指示第一预定波长范围中的入射光的不同偏振。另外，所述多个图像信号中的第二一个或多个图像信号指示第二预定波长范围中的入射光的不同偏振。第一预定波长范围和第二预定波长范围彼此不同。
本公开的另一个方面是一种保存程序的非暂时性计算机可读介质，当由电子处理器执行时，所述程序使电子处理器进行一组操作。所述一组操作包括从图像传感器接收多个图像信号。所述多个图像信号中的第一一个或多个图像信号表示第一预定波长范围中的入射光的不同偏振。另外，所述多个图像信号中的第二一个或多个图像信号表示第二预定波长范围中的入射光的不同偏振。第一预定波长范围和第二预定波长范围彼此不同。所述一组操作还包括处理所述多个图像信号，以生成基于所述多个图像信号的组合的图像。
[发明的有益效果]
按照本公开的一个方面，能够良好地进行期望的检查。
附图说明
图1是本技术应用于的植被检查设备的一个实施例的构成例子的方框图。
图2是检测设备中的像素排列的例子的图。
图3是说明生成宽输出图像的处理的图。
图4是第一图像处理单元的构成例子的方框图。
图5是第二图像处理单元的构成例子的方框图。
图6是说明获得宽高分辨率图像的处理的流程图。
图7是说明像素的最小检测区域的排列规则的图。
图8是按照最小检测区域的另一排列规则的像素排列例子的图。
图9是检测设备的像素排列的第一变形例的图。
图10是检测设备的像素排列的第二变形例的图。
图11是检测设备的像素排列的第三变形例的图。
图12是检测设备的像素排列的第四变形例的图。
图13是说明植被检查设备的例证应用的图。
图14是说明植被检查设备的另一例证应用的图。
图15是本技术应用于的计算机的一个实施例的构成例子的方框图。
图16是说明产生具有宽范围的输出图像的处理的另一个图。
图17是第一图像处理单元的另一例证构成的方框图。
图18是第二图像处理单元的另一种例证构成的方框图。
图19是无人飞行器的例证实施例的方框图。
具体实施方式
下面参考附图，详细说明本技术应用于的具体实施例。
<植被检查设备的实施例>
图1是本技术应用于的植被检查设备的一个实施例的构成例子的方框图。
如图1中图解所示，植被检查设备11包括检测设备12和信号处理设备13。植被检查设备11用于检查生长状态，例如包括诸如草坪或农作物之类的检查对象的植被的状态和活性度。
检测设备12例如是配置成以致多个像素(传感器元件)成矩阵地排列在受光面上的图像传感器，被配置成对于各个像素，检测在检查对象的表面上反射的光的光量，以获得检查对象的图像。此外，检测设备12被配置成通过各个像素，检测具有特定波长范围的特定偏振方向的光。例如，检测设备12被配置成以致在具备形成像素的光电二极管的传感器基板上，堆叠透过预定偏振方向的光的偏振滤光器，和透过预定波长范围的光的光学滤光器。
例如，如图2中图解所示，在检测设备12中，彼此相邻地排列用于不同偏振方向的光的检测的像素。即，图2中例示的小方格表示像素，向各个像素附加的数字表示偏振方向的角度。在图2的例子中，每45°地设定偏振方向，从而其偏振方向被设定为0°、45°、90°和135°的4个像素被彼此相邻地排列成2行×2列的矩阵。此外，在检测设备12中，作为各个集合地排列这4种像素。注意，检测设备12不限于4种偏振方向的光的检测，它可被配置成以致通过彼此相邻地排列的3个像素，检测至少3个偏振方向的光。
此外，例如，在检测设备12中，用于具有相同波长范围的光的检测的像素被共同排列在各个波长范围的检测区域中。即，如图2中图解所示，在检测设备12中，用于具有红色波长范围的光的检测的像素被排列在红色检测区域R中，用于具有绿色波长范围的光的检测的像素被排列在绿色检测区域G中，用于具有蓝色波长范围的光的检测的像素被排列在蓝色检测区域B中，而用于具有近红外波长范围的光的检测的像素被排列在近红外检测区域IR中。
红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR都是沿着列方向(图2中的上下方向)，呈细长矩形地形成的，并且是沿着行方向(图2中的左右方向)排列的。如上所述，检测设备12被配置成以致上面排列多个像素的受光面被分割成红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR这4种区域。从而，每次曝光，检测设备12可通过按沿着列方向延伸的矩形分割的红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR，获得各个波长范围的图像(下面酌情称为“分割图像”)。
在相对于检查对象移动的时候，植被检查设备11可在检测设备12中，高速地连续获得多个图像。所述多个图像用于检查对象的检查。此时，图2中的行方向是检测设备12的移动方向，以致可通过红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR中的每一个，顺序扫描检查对象。此外，在进行检查对象的检查时，例如，植被检查设备11按以致通过红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR连续获得的分割图像，在行方向上相互交叠等于或大于预定宽度的移动速度移动。
如上所述，检测设备12可以每个像素集检测4个偏振方向的光，可以获得红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR的各个波长范围的分割图像。随后，检测设备12把图像数据作为输入图像数据，输入信号处理设备13，所述图像数据包含与如上所述的偏振方向和波长范围的光的光量相应的像素值。
如图1中图解所示，信号处理设备13包括图像数据分析单元21、图像处理选择单元22、第一图像处理单元23a、第二图像处理单元23b和拼接处理单元24。
图像数据分析单元21被配置成分析从检测设备12输入的输入图像数据，以把分析结果提供给图像处理选择单元22。例如，图像数据分析单元21得到可由检测设备12获得的一个图像的输入图像数据中的像素值的直方图，并且对于各个波长范围的检测区域，得到像素值比特定基准值小的像素的数目。这样，能够获得分析结果。
例如，当进行特殊被摄物体的检查，或者进行特殊光源下的检查时，图像只出现在特定波长范围的检测区域中，或者仅仅在特定波长范围的检测区域中未出现图像。从而，作为图像数据分析单元21进行的输入图像数据的分析的结果，当在任意波长范围的检测区域中，像素值小于特定基准值的像素的数目小于阈值时，可以判定在该波长范围的检测区域中未出现图像。
图像处理选择单元22被配置成按照从图像数据分析单元21供给的分析结果，选择第一图像处理单元23a的图像处理或者第二图像处理单元23b的图像处理中的任意一个，并供给来自检测设备12的输入图像数据。例如，当图像出现在所有波长范围的检测区域中时，图像处理选择单元22选择第一图像处理单元23a的图像处理。当任意波长范围的任何检测区域中，都没有出现图像时，图像处理选择单元22选择第二图像处理单元23b的图像处理。
即，当输入图像数据的分析结果表明在所有波长范围的检测区域中，像素值小于特定基准值的像素的数目等于或大于阈值时，图像处理选择单元22把输入图像数据提供给第一图像处理单元23a。另一方面，当输入图像数据的分析结果表明在任意波长范围的检测区域中，像素值小于特定基准值的像素的数目小于阈值时，图像处理选择单元22把输入图像数据提供给第二图像处理单元23b。
如后参考图4和5所述，第一图像处理单元23a和第二图像处理单元23b被配置成进行对于输入图像数据的图像处理。随后，第一图像处理单元23a和第二图像处理单元23b把按照波长范围，通过输入图像数据的分割而获得的分割图像数据，和指示由检测设备12获得的图像上的特征点坐标的坐标数据提供给拼接处理单元24。
每当1个图像的输入图像数据从检测设备12被提供给信号处理设备13时，第一图像处理单元23a或第二图像处理单元23b中的任意一个顺序地把分割图像数据和坐标数据提供给拼接处理单元24。随后，拼接处理单元24对于每个波长范围，拼接连续供给的分割图像，从而生成用每个波长范围的像素值指示的输出图像。即，拼接处理单元24根据指示图像上的特征点坐标的坐标数据，进行以致相邻分割图像之间公共的拍摄部分被相互重叠的合成。这样，拼接处理单元24生成比通过检测设备12中的一次曝光可获得的图像更大的图像。
具体地，拼接处理单元24估计分割图像之间的对应特征点。随后，拼接处理单元24进行使分割图像移动或变形，以致分割图像的特征点相互交叠的图像处理，随后进行混合具有匹配的特征点的分割图像的交叠部分的像素值的图像处理。
利用这种构成，例如，当检测设备12连续获得检查对象的图像，随后完成所述检查对象的整个检查对象区域的图像获得时，拼接处理单元24可宽范围并且高分辨率地生成检查对象的1个输出图像。随后，拼接处理单元24输出包含宽高分辨率输出图像(与由检测设备12获得的1个图像相比，对于更宽的范围获得的图像)的数据，作为输出图像数据。
这里将参考图3，说明在信号处理设备13中生成的宽高分辨率的输出图像。
例如，在图3的左端，按照从上到下的顺序地例示了由检测设备12连续获得的多个图像(在图3的例子中，4个图像)。例如，第一个图像包括对应于红色检测区域R的分割图像R1、对应于绿色检测区域G的分割图像G1、对应于蓝色检测区域B的分割图像B1、和对应于近红外检测区域IR的分割图像IR1。另外，第二到第四个图像也是和第一个图像那样地构成的。注意，在这4个图像之后，在沿着图2的移动方向移动时，检测设备12顺序且连续地获得多个图像，这些图像被提供给信号处理设备13。
随后，在信号处理设备13中，从检测设备12供给的各个图像被分割成分割图像，同一波长范围的分割图像在拼接处理单元24中被顺序拼接。例如，来自第一个图像的红色分割图像R1，来自第二个图像的红色分割图像R2、来自第三个图像的红色分割图像R3、和来自第四个图像的红色分割图像R4在拼接处理单元24中被顺序拼接。类似地，在沿着图2的移动方向移动期间，来自在第四个图像之后从检测设备12供给的各个图像的红色分割图像在拼接处理单元24中被顺序拼接。注意，按照波长范围，其他波长范围的分割图像在拼接处理单元24中被拼接。
利用这种构成，信号处理设备13可获得通过拼接红色分割图像而生成的宽高分辨率的输出图像R，通过拼接绿色分割图像而生成的宽高分辨率的输出图像G，通过拼接蓝色分割图像而生成的宽高分辨率的输出图像B，和通过拼接近红外分割图像而生成的宽高分辨率的输出图像IR。随后，如在图3的右端所示，例如，信号处理设备13可输出包含输出图像R、输出图像G、输出图像B和输出图像IR的输出图像数据，作为呈把数据集中为一体的形式的输出图像数据(彩色图像数据+近红外图像数据)。
植被检查设备11是如上所述构成的，对于每个预定波长范围，可获得宽高分辨率的输出图像。从而，例如，在诸如田野之类的宽范围内，可以精细地进行利用从输出红色图像G和输出近红外图像IR获得的标准化差值植被指数NDVI的植被检查。
下面，图4是图1的第一图像处理单元23a的构成例子的方框图。
如图4中图解所示，第一图像处理单元23a包括偏振参数提取单元31a、镜面反射分量除去单元32a、图像分割单元33a、第一特征点检测单元34a和第二特征点检测单元35a。
偏振参数提取单元31a被配置成根据从检测设备12供给的输入图像数据，提取指示检查对象的表面上的光的偏振状态的偏振参数，从而把偏振参数提供给镜面反射分量除去单元32a和第二特征点检测单元35a。例如，偏振参数包括指示当光在检查对象的表面上反射之时的偏振程度的偏振度，和指示检查对象的表面的法线相对于检测设备12的角度的法向向量。如上参考图2所述，检测设备12被配置成以致相邻的4个像素检测每45°设定的偏振方向的光。从而，偏振参数提取单元31a可根据从这4个像素的像素值得到的偏振信息(与像素之间的偏振方向的差异对应的像素值差)，提取通过这4个像素检测的检查对象的表面上的偏振参数。
镜面反射分量除去单元32a被配置成根据从偏振参数提取单元31a供给的偏振参数，从供给自检测设备12的输入图像数据中，除去镜面反射分量，所述镜面反射分量是在检查对象的表面上镜面反射的光分量。例如，在检查对象的表面上反射的光一般包含偏振的镜面反射分量和非偏振的漫反射分量。
从而，根据漫反射分量和镜面反射分量统计上相互独立的假定，镜面反射分量除去单元32a可通过例如称为“独立分量分析(ICA)”的技术，除去镜面反射分量。随后，镜面反射分量除去单元32a从获得自检测设备12的图像中，获得从中消除镜面反射分量的影响的图像，随后把这样的图像数据提供给图像分割单元33a。
图像分割单元33a被配置成按照由检测设备12检测的波长范围的检测区域，分割从镜面反射分量除去单元32a供给的图像数据，从而把每个波长范围的分割图像数据提供给第一特征点检测单元34a和拼接处理单元24(图1)。
第一特征点检测单元34a被配置成检测指示基于分割图像数据的图像中的被摄物体的特征部分的特征点，从而把指示特征点的坐标的坐标数据提供给拼接处理单元24。例如，图像上的亮度或颜色变化较大的部分的边缘可以用作特征点。
第二特征点检测单元35a被配置成检测指示从偏振参数提取单元31a供给的偏振参数被映射到的图像中的被摄物体的特征部分的特征点，从而把指示特征点的坐标的坐标数据提供给拼接处理单元24。
第一图像处理单元23a是如上所述构成的，可把从中除去镜面反射分量，并且对于各个波长范围分割的分割图像数据、指示从各个波长范围的分割图像获得的特征点的坐标的坐标数据、和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
下面，图5是图1的第二图像处理单元23b的构成例子的方框图。
如图5中图解所示，和图2的第一图像处理单元23a中一样，第二图像处理单元23b包括偏振参数提取单元31b、镜面反射分量除去单元32b、图像分割单元33b、第一特征点检测单元34b和第二特征点检测单元35b。注意，第二图像处理单元23b是以致处理顺序与图2的第一图像处理单元23a的处理顺序不同地构成的。
如图5中图解所示，输入图像数据从检测设备12被提供给第二图像处理单元23b中的图像分割单元33b，随后图像分割单元33b按照检测设备12中的波长范围的检测区域，分割该图像数据。随后，图像分割单元33b把各个波长范围的分割图像数据提供给偏振参数提取单元31b和镜面反射分量除去单元32b。从而，在第二图像处理单元23b中，偏振参数提取单元31b从各个波长范围的分割图像数据中，提取偏振参数，镜面反射分量除去单元32b从各个波长范围的分割图像数据中，除去镜面反射分量。之后，第一特征点检测单元34b和第二特征点检测单元35b提取上述特征点，并把指示各个特征点的坐标的坐标数据提供给拼接处理单元24。
如上所述构成的第二图像处理单元23b可把对于各个波长范围分割的，并且从中除去镜面反射分量的分割图像数据、指示从各个波长范围的分割图像获得的特征点的坐标的坐标数据、和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
从而，在信号处理设备13中，拼接处理单元24可根据指示从各个波长范围的分割图像获得的特征点的坐标的坐标数据，和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据，拼接分割图像。如上所述，拼接处理单元24可利用更多的特征点来提高拼接精度。
此外，偏振参数一般与物体颜色无关。从而，拼接处理单元24可在检测设备12的整个尺寸内，把基于偏振参数的特征点用于定位，而不受滤色器的影响。这允许拼接处理单元24以更高的精度进行拼接。
<信号处理>
图6是说明植被检查设备11的获得宽高分辨率图像的处理的流程图。
例如，当植被检查设备11到达检查对象的检查起点时，处理开始，并且植被检查设备11沿如图2中图解所示的移动方向移动。随后，在步骤S11，检测设备12通过一次曝光，获得一个图像，并把该图像的输入图像数据提供给信号处理设备13。
在步骤S12，信号处理设备13的图像数据分析单元21分析在步骤S11，从检测设备12供给的输入图像，并把该分析结果提供给图像处理选择单元22。
在步骤S13，图像处理选择单元22按照在步骤S12，从图像数据分析单元21供给的分析结果，判定作为对于输入图像的图像处理，是将进行第一图像处理单元23a的图像处理，还是第二图像处理单元23b的图像处理。
在步骤S13，当图像处理选择单元22判定对于输入图像，进行第一图像处理单元23a的图像处理时，图像处理选择单元22把输入图像提供给第一图像处理单元23a，随后处理进入步骤S14。
在步骤S14，第一图像处理单元23a的偏振参数提取单元31a根据偏振方向彼此不同的相邻4个像素的像素值，从由检测设备12获得的图像中提取偏振参数。
在步骤S15，镜面反射分量除去单元32a根据在步骤S14，由偏振参数提取单元31a提取的偏振参数，从由检测设备12获得的图像中除去镜面反射分量。
在步骤S16，图像分割单元33a按照由检测设备12检测的波长范围，分割在步骤S15，由镜面反射分量除去单元32a从中除去镜面反射分量的图像。随后，图像分割单元33a把每个波长范围的分割图像提供给第一特征点检测单元34a和拼接处理单元24。
在步骤S17，第一特征点检测单元34a检测指示在步骤S16，从图像分割单元33a供给的分割图像中的被摄物体的特征部分的特征点。随后，第一特征点检测单元34a把指示从各个分割图像中检测的特征点的坐标的坐标数据，提供给拼接处理单元24。
在步骤S18，第二特征点检测单元35a根据从偏振参数提取单元31a供给的偏振参数，检测指示偏振参数被映射到的图像的被摄物体的特征部分的特征点。随后，第二特征点检测单元35a把指示根据偏振参数对于由检测设备12获得的整个图像检测的特征点的坐标的坐标数据，提供给拼接处理单元24。
在步骤S19，拼接处理单元24根据由在步骤S17和S18供给的坐标数据指示的特征点，拼接在步骤S16，从图像分割单元33a供给的分割图像。
另一方面，在步骤S13，当图像处理选择单元22判定对于输入图像，将进行第二图像处理单元23b的图像处理时，图像处理选择单元22把输入图像提供给第二图像处理单元23b，然后处理进入步骤S20。
在步骤S20，第二图像处理单元23b的图像分割单元33b按照由检测设备12检测的波长范围，分割由检测设备12获得的图像。随后，图像分割单元33b把每个波长范围的分割图像，提供给偏振参数提取单元31b和镜面反射分量除去单元32b。
在步骤S21，偏振参数提取单元31b对于由图像分割单元33b分割的各个图像，根据偏振方向彼此不同的相邻4个像素的像素值，提取偏振参数。
在步骤S22，镜面反射分量除去单元32b根据在步骤S21，由偏振参数提取单元31b提取的偏振参数，从由图像分割单元33b分割的各个图像中除去镜面反射分量。随后，镜面反射分量除去单元32b把从中除去镜面反射分量的分割图像，提供给第一特征点检测单元34b和拼接处理单元24。
在步骤S23，第一特征点检测单元34b检测指示在步骤S22，从镜面反射分量除去单元32b供给的分割图像的被摄物体的特征部分的特征点。随后，第一特征点检测单元34b把指示从各个分割图像中检测的特征点的坐标的坐标数据，提供给拼接处理单元24。
在步骤S24，第二特征点检测单元35b根据从偏振参数提取单元31b供给的偏振参数，检测指示偏振参数被映射到的图像的被摄物体的特征部分的特征点。随后，第二特征点检测单元35b把指示根据偏振参数对于由检测设备12获得的整个图像检测的特征点的坐标的坐标数据，提供给拼接处理单元24。
随后，处理进入步骤S19。这种情况下，拼接处理单元24根据由在步骤S23和S24供给的坐标数据指示的特征点，拼接在步骤S20，从图像分割单元33a供给的分割图像。
在步骤S19的处理之后，处理进入步骤S25，检测设备12在检查对象的整个范围内，判定是否获得了必要的图像。例如，当从检查对象的检查起点开始进行处理，并且植被检查设备11已到达终点时，检测设备12可判定已获得必要的图像。
在步骤S25，当检测设备12判定未获得必要的图像时，即，当植被检查设备11未到达终点时，处理返回步骤S11，之后重复类似的处理。
另一方面，在步骤S25，当检测设备12判定已获得必要的图像时，即，当植被检查设备11已到达终点时，处理进入步骤S26。
这种情况下，拼接处理单元24在检查对象的整个范围中，生成宽高分辨率图像。在步骤S26，信号处理设备13输出由拼接处理单元24生成的图像，作为输出图像，然后，处理终止。
如上所述，植被检查设备11可在检查对象的整个范围内，对于可由检测设备12检测的各个波长范围，获得宽高分辨率图像。
<检测设备中的像素排列>
关于检测设备12中的像素排列，为了便于理解描述，示意地例示了图2的上述排列例子。在检测设备12中，实际上数百万个或者数千万个细微像素排列在受光面上。此外，在检测设备12中，如图2中图解所示，这些像素被排列成以致受光面按照波长范围被分割成4个检测区域。此外，检测设备12中的像素排列不限于图2中图解所示的例子。
下面参考图7-12，说明检测设备12中的像素排列。
图7是说明检测设备12中的像素的最小检测区域的排列规则的图。
如图7中图解所示，在检测设备12中，作为配置成检测同一波长范围的光的像素，集体地排列包括行方向的4个像素和列方向的4个像素的16个像素，以形成最小检测区域。此外，如上所述，在检测设备12中，按2×2的形式，彼此相邻地排列其偏振方向是每45°地设定的4个像素，16个像素形成这样的最小检测区域，以致2×2地排列均包括4个像素的像素集。
此外，在检测设备12中，沿着移动方向(图7中的行方向)，排列最小红色检测区域R、最小绿色检测区域G、最小蓝色检测区域B和最小近红外检测区域IR，所述移动方向是检测设备12相对于检查对象移动的方向。即，最小红色检测区域R、最小绿色检测区域G、最小蓝色检测区域B和最小近红外检测区域IR是按照以下排列规则排列的：当沿着检测设备12的移动方向观察时，这些区域确实地被排列。利用这种构成，例如，当检测设备12进行检查对象的单行扫描时，对于所述单行，可以获得所有波长范围的检查对象的分割图像。
此外，在检测设备12中，最小检测区域被设定成在行方向和列方向上，具有2倍于偏振滤光器的模式周期(2×2)的大小。如上所述设定最小检测区域，从而例如在相对于检查对象移动时，检测设备12连续获得相互交叠至少对应于2个像素的宽度的图像。利用这种构成，信号处理设备13可通过拼接处理单元24拼接分割图像，随后对于可由检测设备12检测的各个波长范围，可输出宽高分辨率输出图像。
图8是按照另一排列规则的最小检测区域的像素排列例子的图。
如图8中图解所示，在检测设备12中，可按照2行×2列的矩阵的排列规则，排列最小红色检测区域R、最小绿色检测区域G、最小蓝色检测区域B和最小近红外检测区域IR。
通过采用具有最小检测区域的这种排列的检测设备12，植被检查设备11移动，以通过各个最小检测区域顺序扫描检查对象，以致可输出可由检测设备12检测的各个波长范围的宽高分辨率输出图像。
图9是像素排列的第一变形例的图。
如图9中图解所示，在检测设备12中，像素被排列成以致与图2中图解所示的像素排列相比，红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR均呈在列方向上更细长的矩形形状。
图10是像素排列的第二变形例的图。
如图10中图解所示，在检测设备12中，按照以下排列规则排列像素：当沿行方向和列方向观察时，红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR确实地被排列。即，在图10中图解所示的像素排列例子中，当沿行方向和列方向观察16个检测区域时，排列所有波长范围的检测区域，所述检测区域是以4行×4列矩阵的形式排列的。
注意，在图10中图解所示的像素排列例子中，示意图解说明了各个波长范围的检测区域的排列顺序，作为参考图7说明的最小检测区域，例示了一个检测区域。不过，各个检测区域可具有更大的大小。例如，检测设备12的整个受光面可被分割成16个检测区域。或者，可以如图10中图解所示的模式，重复放置包括更多像素的检测区域。
图11是像素排列的第三变形例的图。
如图11中图解所示，例如，在检测设备12中，除了红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR之外，还可放置包括配置成检测所有波长范围的非偏振光的像素的检测区域。即，检测设备12可具有未设置偏振滤光器和滤色器的检测区域。根据排列在这种检测区域中的像素的像素值，信号处理设备13可获得由于任意偏振方向的光的白色(黑白)图像。
图12是像素排列的第四变形例的图。
如图12中图解所示，在检测设备12中，除了红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR之外，还可放置包括配置成检测具有三原色的非偏振光的像素的检测区域。即，检测设备12可具有其中不设置偏振滤光器，但是对于各个像素，设置三原色的按Bayer阵列的滤色器的检测区域。根据排列在这种检测区域中的像素的像素值，信号处理设备13可获得由于任意偏振方向的光的彩色图像。
<植被检查设备的例证应用>
如图13和14中图解所示，植被检查设备11安装在例如无人飞行器(UAV)51上，以致在移动时，无人飞行器51可对检查对象进行检查。
图13图解说明其中使检测设备12面向下方地把植被检查设备11固定到无人飞行器51上，从而，植被检查设备11例如从上方获得在植被检查设备11正下方的广阔田野中的农作物的平面输出图像的例证应用。图14表示其中使检测设备12面向侧面地把植被检查设备11固定到无人飞行器51上，从而例如在小径上移动时，获得宽范围内的诸如农作物的高度之类生长状态的输出图像的例证应用。
注意在图13和14中，实线矩形表示检测设备12每次曝光获得的多个图像，而虚线矩形表示通过拼接这些图像而产生的输出图像。此外，白色箭头表示无人飞行器51的移动路径。
如上所述，装备有植被检查设备11的无人飞行器51在移动时，连续获得多个图像，于是，植被检查设备11可以在宽范围内，高分辨率地获得检查对象的一个输出图像。从而，这样的输出图像可用于诸如田野之类宽范围中的农作物的植被的详细检查。
此外，当植被检查设备11能够得到设置在无人飞行器51处的传感器的信息时，拼接处理单元24还根据无人飞行器51的位置和姿态的信息进行拼接，于是，可以获得高精度地拼接的输出图像。
注意在植被检查设备11中，可按照例如检测设备12的尺寸或者植被检查设备11的移动速度，适当地选择各个波长范围的检测区域的尺寸。此外，对于由检测设备12检测的波长范围的数目(即，滤色器的颜色数)，在植被检查设备11中，可以按照植被检查设备11的检查的应用，适当地选择必要数目的波长范围。
例如，假定在如上参考图13和14所述的利用无人飞行器51，检查整个宽阔田野的应用中，发生无人飞行器51的移动量和移动方向方面的一定程度的变化。因此，优选的是增大各个检测区域的尺寸(即，各个检测区域优选包括更多的像素)，以便可靠地拼接分割图像。另一方面，在通过植被检查设备11的微小移动进行检查的应用(比如发现小型精密组件的微小划痕的应用)中，可以减小检测区域的尺寸。
本技术不仅还适用于只包含诸如植被检查设备11之类设备的植被检查系统，而且适用于例如通过网络连接的植被检查系统。例如，可配置成使得检测设备12和信号处理设备13可通过网络连接在一起，从信号处理设备13输出的图像可通过网络，被发送给显示设备或者分析设备。利用这种构成，例如，遥远位置处的多个田野可作为检查对象，并且可在任何地方进行检查，
注意，参考上述流程图说明的各种处理不必按照如记载在流程图中的时间顺序进行，可包括并行或者单独地进行的处理(例如，并行处理或者对象处理)。此外，单个CPU可处理程序，或者多个CPU可以为该程序进行分布式处理。此外，在本说明书中，系统指示包括多个设备的整个设备。
此外，上述一系列处理(信号处理方法)可以用硬件进行，或者可以用软件进行。当利用软件进行所述一系列处理时，将形成该软件的程序从配置成记录所述程序的程序记录介质安装在内置于专用硬件中的计算机中，或者安装在被配置成例如通过安装各种程序执行各种功能的通用个人计算机中。
图15是配置成通过程序，执行上述一系列处理的计算机的硬件的构成例子的方框图。
在该计算机中，中央处理器(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103通过总线104被连接在一起。
总线104还连接到输入/输出接口105。以下单元连接到输入/输出接口105：包括键盘、鼠标、麦克风等的输入单元106；包括显示器、扬声器等的输出单元107；包括硬盘、非易失性存储器等的存储单元108；包括网络接口等的通信单元109；和配置成驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质111的驱动器110。
在如上所述构成的计算机中，CPU 101通过输入/输出接口105和总线104，把例如保存在存储单元108中的程序加载到RAM 103中并执行。这样，进行上述一系列的处理。
由计算机(CPU 101)执行的程序被保存在作为套装介质的可拆卸介质111中，例如包括磁盘(包括软盘)、光盘(例如，光盘-只读存储器(CD-ROM)或者数字通用光盘(DVD))、磁光盘或半导体存储器，或者是通过诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质提供的。
此外，可拆卸介质111被附接到驱动器110，以致程序可通过输入/输出接口105，被安装在存储单元108中。或者，程序可通过有线或无线传输介质，被通信单元109接收，随后，可被安装在存储单元108中。作为另一种备选方案，程序可被预先安装在ROM 102或存储单元108中。
图16是说明产生具有宽范围的输出图像的处理的另一个图。
例如，在图16的左端，降序地例示了从时序地拍摄的图像数据计算的多批图像(对于图16的例子中的总共16个图像，每批图像具有4个图像一组的4个图像集)，所述图像数据由检测设备12获得。例如，当使植被检查设备相对于检查对象移动时，检测设备12可以顺序拍摄多个图像数据。
在特定曝光时拍摄的各个图像集包括各个波长带的不同的偏振角的信息。例如，在使植被检查设备11沿着图2的移动方向移动时，进行第一次曝光，以拍摄检查对象的一部分。按照图16，第一图像集具有作为堆叠图像，显示在图16的左上端的4个图像，表示在第一次曝光时拍摄的图像数据。第一图像集的4个图像对应于0°、45°、90°和135°的4个偏振角，是由信号处理设备13根据从第一次曝光获得的图像数据计算的。当沿着图2的移动方向，移动植被检查设备11时，进行第二次曝光，以拍摄检查对象的另一部分。显示在第一图像集下面，且朝着图16的右侧稍微偏移的具有相互堆叠的另外4个图像的第二图像集表示在第二次曝光时拍摄的图像数据。第二图像集的4个图像对应于0°、45°、90°和135°的4个偏振角，是由信号处理设备13根据从第二次曝光获得的图像数据计算的。类似地，使植被检查设备11进一步沿着移动方向移动，在图16的左端表示了都具有4个图像的第三和第四图像集。
随后，信号处理设备13根据波段和偏振角，把从检测设备12供给的图像数据分割成多批分割图像。拼接处理单元24顺序地把同一波段中的多批分割图像中的每一批拼接在一起。例如，根据红色波段和0°的偏振角，从第一批图像中的第一图像集分割红色分割图像R1，从第二批图像中的第一图像集分割红色分割图像R2，从第三批图像中的第一图像集分割红色分割图像R3，和从第四批图像中的第一图像集分割红色分割图像R4，并由拼接处理单元24顺序拼接。类似地，拼接处理单元24拼接从多批图像中的第二图像集(45°的偏振角)、第三图像集(90°的偏振角)和第四图像集(135°的偏振角)分割的红色分割图像。注意，对于各个波段，拼接处理单元24拼接其他波段的具有相同偏振角的分割图像。
因而，信号处理设备13可获得包括宽范围且高分辨率地拼接的红色分割图像的多个输出红色图像R(0°、45°、90°和135°的偏振角)，包括宽范围并且高分辨率地拼接的绿色分割图像的多个输出绿色图像G(0°、45°、90°和135°的偏振角)，包括宽范围且高分辨率地拼接的蓝色分割图像的多个输出蓝色图像B(0°、45°、90°和135°的偏振角)，和包括宽范围且高分辨率地拼接的近红外分割图像的多个输出近红外图像IR(0°、45°、90°和135°的偏振角)。
信号处理设备13可以利用多个输出红色图像R(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出红色图像。信号处理设备13可以利用多个输出绿色图像G(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出绿色图像。信号处理设备13可以利用多个输出蓝色图像G(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出蓝色图像。信号处理设备13可利用多个输出近红外图像IR(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出近红外图像。
或者，信号处理设备13可以选择多个输出红色图像R(0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°)下的单一输出红色图像。信号处理设备13可以选择多个输出绿色图像G(0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°)下的单一输出绿色图像。信号处理设备13可以选择多个输出蓝色图像B(0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°)下的单一输出蓝色图像。信号处理设备13可以选择多个输出近红外图像IR(0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°)下的单一输出近红外图像。
随后，例如，信号处理设备13可以输出包含在所述单一输出红色图像、单一输出绿色图像、单一输出蓝色图像和单一输出近红外图像中的图像数据，作为集成格式的输出图像数据(彩色图像数据+近红外图像数据)，如在图16的右端所示。这样，植被检查设备11具有上述构成，可以在任意偏振角下，对于各个预定波段，获得具有宽范围和高分辨率的输出图像。
下面，图17是图1的第一图像处理单元23a的另一种例证构成的方框图。
如图17中图解所示，第一图像处理单元23a包括偏振参数提取单元31a、镜面反射分量除去单元32a、第一图像分割单元33a、第一特征点检测单元34a、第二特征点检测单元35a和第二图像分割单元36a。
偏振参数提取单元31a根据从检测设备12供给的输入图像数据，提取指示在检查对象的表面上的光的偏振状态的偏振参数，以把偏振参数提供给镜面反射分量除去单元32a和第二特征点检测单元35a。例如，偏振参数包括指示当光从检查对象的表面反射时的偏振程度的偏振度，和指示检查对象的表面的法线相对于检测设备12的角度的法向向量。如上参考图2所述，检测设备12利用彼此相邻的4个像素，检测每隔45°的偏振方向的光。于是，偏振参数提取单元31a可根据从所述4个像素的像素值获得的偏振信息(与各个像素的不同偏振方向相应的像素值之差)，提取通过所述4个像素检测的检查对象的表面上的偏振参数。
镜面反射分量除去单元32a根据从偏振参数提取单元31a供给的偏振参数，从供给自检测设备12的输入图像数据中，除去镜面反射分量，所述镜面反射分量是包括从检查对象的表面镜面反射的光的分量。例如，从检查对象的表面反射的光一般包括偏振的镜面反射分量和非偏振的漫反射分量。
于是，基于漫反射分量和镜面反射分量统计上独立的假定，镜面反射分量除去单元32a可利用例如独立分量分析(ICA)的方法，除去镜面反射分量。随后，镜面反射分量除去单元32a从由检测设备12获得的图像中，获得排除镜面反射分量的影响的图像，以便把其图像数据提供给第一图像分割单元33a。
第一图像分割单元33a按照由检测设备12检测的波段的检测区域，分割从镜面反射分量除去单元32a供给的图像数据，以便把各个波段的分割图像数据提供给第一特征点检测单元34a。
第一特征点检测单元34a检测指示在基于来自第一图像分割单元33a的分割图像数据的图像中拍摄的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。例如，图像上的亮度或颜色变化较大之处的边缘可以用作特征点。在备选实施例中，第一特征点检测单元34a可检测指示在基于来自第二图像分割单元36a，而不是第一图像分割单元33a的分割图像数据的图像中拍摄的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。
第二特征点检测单元35a检测指示在包括映射的从偏振参数提取单元31a提供的偏振参数的图像中拍摄的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。
第二图像分割单元36a按照与检测设备12的各个像素关联的偏振角，分割从检测设备12供给的输入图像数据，以便把各个偏振角的分割图像数据提供给拼接处理单元24(图1)。
这样，第一图像处理单元23a具有上述构成，可把基于检测设备12的像素的偏振角的分割图像数据，和包括镜面反射分量的分割图像数据提供给拼接处理单元24。这样，第一图像处理单元23a具有上述构成，可把指示从分割图像数据获得的特征点的坐标的坐标数据，和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据提供给拼接处理单元24，分割图像数据包含被除去的镜面反射分量，并且是针对各个波段而被分割的。
注意，拼接处理单元24可以利用来自第一特征点检测单元34a和第二特征点检测单元35a的坐标数据中的一者或两者。另外注意，将由拼接处理单元24拼接的分割图像数据的偏振角可由用户指定，或者由拼接处理单元24根据图像分析的结果选择。例如，由镜面反射分量除去单元32a确定的镜面反射分量可被拼接处理单元24用于选择反射分量最小的偏振角。如上所述，拼接处理单元24可利用分割图像数据(例如，彩色图像数据+近红外图像数据)和偏振拟合处理，来生成任意偏振角下的单一输出图像。
注意，图18是图1的第二图像处理单元23b的另一种例证构成的方框图。
如图18中图解所示，类似于图17的第一图像处理单元23a，第二图像处理单元23b包括偏振参数提取单元31b、镜面反射分量除去单元32b、图像分割单元33b、第一特征点检测单元34b和第二特征点检测单元35b。注意，第二图像处理单元23b具有与图17的第一图像处理单元23a不同的处理进行顺序。
如图18中图解所示，检测设备12把输入图像数据提供给图像分割单元33b。图像分割单元33b按照与检测设备12的各个像素关联的偏振角，分割从检测设备12供给的输入图像数据，以便把各个偏振角的分割图像数据提供给拼接处理单元24(图1)。在第二图像处理单元23b中，图像分割单元33b按照检测设备12中的波段的检测区域，进一步分割与各个偏振角对应的分割图像数据。随后，图像分割单元33b把各个波段的分割图像数据提供给偏振参数提取单元31b和镜面反射分量除去单元32b。于是，在第二图像处理单元23b中，偏振参数提取单元31b从对于各个波段分割的分割图像数据中，提取偏振参数，镜面反射分量除去单元32b从对于各个波段分割的分割图像数据中，除去镜面反射分量。之后，第一特征点检测单元34b和第二特征点检测单元35b分别提取与上面所述类似的特征点，以便把指示特征点的坐标数据提供给拼接处理单元24。
具有这种构成的第二图像处理单元23b可把基于检测设备12的像素的偏振角的分割图像数据，和包括镜面反射分量的分割图像数据提供给拼接处理单元24。第二图像处理单元23b还可把指示从各个波段的分割图像获得的特征点的坐标的坐标数据，和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
注意，拼接处理单元24可利用来自第一特征点检测单元34b和第二特征点检测单元35b的坐标数据中的一者或两者。另外，注意，将由拼接处理单元24拼接的分割图像数据的偏振角可由用户指定，或者由拼接处理单元24根据图像分析的结果选择。例如，由镜面反射分量除去单元32b确定的镜面反射分量可被拼接处理单元24用于选择反射分量最小的偏振角。如上所述，拼接处理单元24可利用分割图像数据(例如，彩色图像数据+近红外图像数据)和偏振拟合处理，来生成任意偏振角下的单一输出图像。
图19是图13和14的无人飞行器51的例证实施例的方框图。
如图19中图解所示，按照本公开的一个实施例的无人飞行器51被配置成包括植被检查设备11、旋翼104a-104d、电动机108a-108d、控制单元110、通信单元120、传感器单元130、位置信息获得单元132、存储单元140和电池150。
控制单元110控制无人飞行器51的操作。例如，控制单元110可通过调整电动机108a-108d的转速，控制对旋翼104a-104d的转速的调整，以及控制植被检查设备11的成像处理、通过通信单元120，往来于其他设备(例如，控制终端)的信息的发送和接收处理，以及往来于存储单元140的信息的存储和读取。
在本实施例中，控制单元110根据从控制终端200发送的飞行信息，控制飞行以及成像设备101的静止图像的成像处理的执行，在该飞行中，电动机108a-108d的转速被调整。控制单元110根据从控制终端发送的飞行信息，控制电动机108a-108d或植被检查设备11。在如图14中图解所示，无人飞行器在农田或农道上移动时，控制单元110可根据控制终端的请求，控制检测设备12连续拍摄一个或多个图像，并把所述一个或多个图像提供给控制终端。此外，控制单元110可以根据控制终端的另一个请求，控制拼接处理单元24拼接拍摄的图像，以把输出图像提供给控制终端。
旋翼104a-104d通过从旋转产生升力，使无人飞行器51飞行。旋翼104a-104d的旋转是由电动机108a-108d的旋转引起的。电动机108a-108d使旋翼104a-104d旋转。电动机108a-108d的旋转可由控制单元110控制。
通信单元120进行通过无线通信，往来于控制终端的信息的发送和接收处理。无人飞行器51把由植被检查设备11拍摄的图像数据从通信单元120发送给控制终端。在一些例子中，图像数据是一个或多个分割图像。在其他例子中，图像数据是一个图像，例如，一个波段的原始偏振图像。在另外的其他例子中，图像数据是输出图像(拼接图像)。另外，无人飞行器51利用通信单元120，从控制终端接收与飞行相关的指令。
传感器单元130是一组获得无人飞行器51的状态的设备，例如可包括加速度传感器、陀螺传感器、超声波传感器、气动传感器、光流传感器、激光测距仪或者其他适当的传感器。传感器单元130可把获得的无人飞行器51的状态转换成预定信号，并在必要时，把所述信号提供给控制单元110。
位置信息获得单元132利用例如GPS、视觉传感器或其它适当的定位单元，获得无人飞行器51的当前位置的信息。必要时，位置信息获得单元132可把获得的无人飞行器51的当前位置的信息，提供给控制单元110。控制单元110利用由位置信息获得单元132获得的无人飞行器51的当前位置的信息，根据从控制终端接收的飞行信息，执行无人飞行器51的飞行的控制。
传感器单元130检测可能在飞行时，干扰飞行的障碍物。当传感器单元130检测到障碍物时，无人飞行器51可把与检测到的障碍物相关的信息提供给控制终端。
存储单元140保存各种信息。保存在存储单元140中的信息的例子包括从控制终端发送的无人飞行器51的飞行信息，和来自植被检查设备11的图像数据。在一些例子中，图像数据是一个或多个分割图像。在其他例子中，图像数据是一个图像，例如，一个波段的原始偏振图像。在另外的其他例子中，图像数据是输出图像(拼接图像)。
电池150累积用于使无人飞行器51工作的电力。电池150可以是只能放电的一次电池，或者可以是还能充电的二次电池，不过当电池150是二次电池时，例如，可以从充电站向电池150供给电力。
按照本公开的一个实施例的无人飞行器51可以具有图19中图解所示的构成，从而可根据包含在从控制终端发送的飞行信息中的飞行路径，进行自动飞行，并且可以执行记载在本文中的成像处理。
上面参考图13和14，说明了按照本公开的一个实施例的无人飞行器51的例证功能构成。
注意，本技术可以具有除植被检查设备外的几种不同应用。实际上，本技术适用于需要图像的扫描和拼接的宽成像范围。例如，本技术的一种应用是当关注的对象需要不止一次扫描(特别地，不止一次机器人扫描)时的工厂自动化。本技术的再一种应用是矿物盐的显微图像分析。本技术的另一种应用是应力应变(光弹性)的测量。本技术的另一种应用是透明树脂模塑产品的缺陷检测。本技术的另一种应用是玻璃中的杂质的检测。本技术的另一种应用是膜厚度的测量。
注意，本技术可具有以下构成。
(1)一种成像传感器，包括：
多个波长检测区域，所述多个波长检测区域至少包括第一波长检测区域，
其中第一波长检测区域包括多个像素，所述多个像素被配置成
检测第一预定波长范围内的光，和
检测在不同的预定偏振方向的所述光。
(2)按照(1)所述的成像传感器，其中所述多个波长检测区域还包括第二波长检测区域，所述第二波长检测区域包括第二多个像素，所述第二多个像素被配置成
检测第二预定波长范围内的光，和
检测在不同的预定偏振方向的所述光，
所述第二预定波长范围不同于第一预定波长范围。
(3)按照(2)所述的成像传感器，其中
第一波长检测区域和第二波长检测区域彼此相邻。
(4)按照(1)所述的成像传感器，其中
所述多个像素包括多组像素，所述多组像素之一的各个像素被配置成检测在预定偏振方向的光，所述多组像素被排列成在第一波长检测区域内重复。
(5)按照(1)所述的成像传感器，其中所述多个波长检测区域中的各个波长检测区域是以沿第一方向延长的矩形形状形成的，和
当沿垂直于第一方向的第二方向观察时，所述多个波长检测区域中的各个波长检测区域被排列在一个或多个点处。
(6)按照(5)所述的成像传感器，其中所述第二方向是相对于检查对象的移动方向。
(7)按照(1)所述的成像传感器，其中当沿行方向和列方向观察时，所述多个波长检测区域中的各个波长检测区域被排列在一个或多个点处。
(8)按照(1)所述的成像传感器，其中所述多个波长检测区域中的各个波长检测区域包括至少16个像素的阵列，所述至少16个像素的阵列包括至少4行像素和至少4列像素。
(9)按照(8)所述的成像传感器，其中所述至少16个像素的阵列被配置成检测至少3个或更多个偏振方向的光。
(10)按照(1)所述的成像传感器，其中所述多个波长检测区域中的第一个波长检测区域被配置成检测红色波长范围内的光，所述多个波长检测区域中的第二个波长检测区域被配置成检测绿色波长范围内的光，所述多个波长检测区域中的第三个波长检测区域被配置成检测蓝色波长范围内的光，和所述多个波长检测区域中的第四个波长检测区域被配置成检测近红外波长范围内的光。
(11)按照(10)所述的成像传感器，还包括：
配置成检测所有波长范围中的非偏振光的检测区域。
(12)按照(10)所述的成像传感器，还包括：
包含第二多个像素的检测区域，所述第二多个像素中的第一像素被配置成检测红色波长范围内的非偏振光，所述多个像素中的第二像素被配置成检测绿色波长范围内的非偏振光，和所述多个像素中的第三像素被配置成检测蓝色波长范围内的非偏振光，
所述多个像素被排列成Bayer阵列。
(13)按照(1)所述的成像传感器，其中所述多个像素中的4个像素被配置成检测4个不同偏振方向中的一个偏振方向的光，所述多个像素中的所述4个像素是作为一个集合排列的，以及所述一个集合是按4行×4列的矩阵形式布置的。
(14)按照(1)所述的成像传感器，还包括：
信号处理电路，
其中所述多个波长检测区域中的每个波长区域包括不同的多个像素，
其中所述信号处理电路被配置成根据由多个波长区域的各个像素检测的检测值，生成对于较宽范围获得的图像。
(15)一种成像方法，所述方法包括：
利用图像传感器，检测入射光；和
利用成像传感器，输出基于入射光的不同偏振的多个图像信号，
其中所述多个图像信号中的第一一个或多个图像信号指示第一预定波长范围中的入射光的不同偏振，
其中所述多个图像信号中的第二一个或多个图像信号指示第二预定波长范围中的入射光的不同偏振，
其中第一预定波长范围和第二预定波长范围彼此不同。
(16)按照(15)所述的成像方法，
其中所述第一一个或多个图像信号来自第一波长检测区域，和
其中所述第二一个或多个图像信号来自第二波长检测区域。
(17)按照(16)所述的成像方法，其中
第一波长检测区域和第二波长检测区域彼此相邻。
(18)按照(15)所述的成像方法，还包括：
利用成像传感器，输出基于非偏振光的所述多个图像信号中的第三一个或更多个图像信号。
(19)按照(15)所述的成像方法，还包括：
利用信号处理电路，根据所述多个图像信号，生成对于较宽范围获得的图像。
(20)一种保存程序的非暂时性计算机可读介质，当由电子处理器执行时，所述程序使电子处理器进行一组操作。所述一组操作包括：
从图像传感器接收多个图像信号，
其中所述多个图像信号中的第一一个或多个图像信号指示第一预定波长范围中的入射光的不同偏振，
其中所述多个图像信号中的第二一个或多个图像信号指示第二预定波长范围中的入射光的不同偏振，
其中第一预定波长范围和第二预定波长范围彼此不同；和
处理所述多个图像信号，以生成基于所述多个图像信号的组合的图像。
此外，本技术还可具有以下构成。
(1)一种检查设备，包括：
对于每个波长范围的多个检测区域，每个检测区域包括排列成矩阵，并被配置成检测同一波长范围的光的多个传感器元件，
其中所述多个传感器元件被排列成以致传感器元件中的相邻传感器元件检测不同偏振方向的光，并且被排列成包括与偏振方向的数目对应的传感器元件的集合。
(2)按照(1)所述的检查设备，其中各个检测区域是以沿第一方向延长的矩形形状形成的，和
当沿垂直于第一方向的第二方向观察时，对于所有可检测波长范围的检测区域都被排列在至少一个或多个点处。
(3)按照(2)所述的检查设备，其中第二方向是相对于作为检查所针对的物体的检查对象的移动的移动方向。
(4)按照(1)-(3)任意之一所述的检查设备，其中当沿行方向和列方向观察时，对于所有可检测波长范围的检测区域都被排列在至少一个或多个点处。
(5)按照(1)-(4)任意之一所述的检查设备，其中包括具有行方向的4个像素，和列方向的4个像素的至少16个传感器元件的各个检测区域是各个波长范围的最小检测区域。
(6)按照(1)-(5)任意之一所述的检查设备，其中传感器元件检测至少3个或更多个偏振方向的光。
(7)按照(1)-(6)任意之一所述的检查设备，其中检测区域包括配置成检测红色波长范围的光的检测区域、配置成检测绿色波长范围的光的检测区域、配置成检测蓝色波长范围的光的检测区域，和配置成检测近红外波长范围的光的检测区域，
(8)按照(1)-(7)任意之一所述的检查设备，还包括：
配置成检测所有波长范围的非偏振光的检测区域。
(9)按照(1)-(7)任意之一所述的检查设备，还包括：
配置成以致配置成检测红色波长范围的非偏振光的传感器元件、配置成检测绿色波长范围的非偏振光的传感器元件、以及配置成检测蓝色波长范围的非偏振光的传感器元件被排列成Bayer阵列的检测区域。
(10)按照(1)-(9)任意之一所述的检查设备，其中传感器元件中的配置成检测4个偏振方向的光的4个传感器元件是作为一个集合排列的，并且所述集合是按4行×4列的矩阵布置的。
(11)按照(1)-(10)任意之一所述的检查设备，还包括：
信号处理单元，所述信号处理单元被配置成根据由各个传感器元件检测的检测值，进行生成对于比每次可检测的范围大的范围获得的图像的信号处理。
(12)一种检查设备的检查方法，所述检查设备
被配置成对于各个波长范围，包括多个检测区域，每个检测区域包括排列成矩阵并被配置成检测同一波长范围的光的多个传感器元件，和
被配置成以致所述多个传感器元件是这样排列的，从而传感器元件中的相邻传感器元件检测不同偏振方向的光，并且被排列成包括与偏振方向的数目对应的传感器元件的集合，
所述方法包括：
根据由各个传感器元件检测的检测值，进行生成对于比每次可检测的范围大的范围获得的图像的信号处理。
(13)一种可由检查设备执行的程序，所述检查设备
被配置成对于各个波长范围，包括多个检测区域，每个检测区域包括排列成矩阵并被配置成检测同一波长范围的光的多个传感器元件，和
被配置成以致所述多个传感器元件是这样排列的，从而传感器元件中的相邻传感器元件检测不同偏振方向的光，并且被排列成包括与偏振方向的数目对应的传感器元件的集合，
其中所述程序使计算机执行处理，所述处理包括
根据由各个传感器元件检测的检测值，进行生成对于比每次可检测的范围大的范围获得的图像的信号处理。
(14)一种信号处理设备，包括：
特征点检测单元，所述特征点检测单元被配置成根据对于各个波长范围，具有多个检测区域的检测单元的输出，从对于每个检测区域获得的图像中检测特征点，所述检测区域都包括多个传感器元件，所述多个传感器元件被配置成以致传感器元件中的相邻传感器元件检测同一波长范围内的不同偏振方向的光；和
图像处理单元，所述图像处理单元被配置成根据检测的特征点，拼接各个检测区域的图像，从而生成比由检测单元可获得的单个图像大的图像。
(15)按照(14)所述的信号处理设备，还包括：
偏振参数提取单元，所述偏振参数提取单元被配置成提取指示作为检查所针对的物体的检查对象的表面上的光偏振状态的偏振参数；和
镜面反射分量除去单元，所述镜面反射分量除去单元被配置成根据偏振参数，从图像中除去检查对象的表面上的镜面反射分量。
(16)按照(15)所述的信号处理设备，其中
传感器元件中的相邻传感器元件是作为包括与偏振方向的数目对应的传感器元件的集合而排列的，和
偏振参数提取单元根据各个集合的传感器元件之间的与在偏振方向方面的差异对应的传感器元件输出差，提取偏振参数。
(17)按照(15)或(16)所述的信号处理设备，还包括：
偏振参数特征点检测单元，所述偏振参数特征点检测单元被配置成从由偏振参数提取单元提取的偏振参数被映射到的图像中，检测特征点，
其中图像处理单元根据由偏振参数特征点检测单元检测的特征点，拼接各个检测区域的图像。
(18)按照(15)-(17)任意之一所述的信号处理设备，还包括：
分割单元，所述分割单元被配置成根据检测区域，分割图像。
(19)按照(18)所述的信号处理设备，其中分割单元进行的根据检测区域的分割是在由偏振参数提取单元已提取偏振参数之后进行的。
(20)按照(18)所述的信号处理设备，其中偏振参数提取单元进行的偏振参数的提取是在分割单元已根据检测区域分割图像之后进行的。
(21)按照(18)所述的信号处理设备，还包括：
配置成分析图像的分析单元；和
处理选择单元，所述处理选择单元被配置成根据由分析单元得到的分析结果，选择在偏振参数提取单元提取偏振参数之后，进行通过分割单元的根据检测区域的分割的第一处理，或者在分割单元根据检测区域分割图像之后，进行通过偏振参数提取单元的偏振参数的提取的第二处理中的任意一个。
(22)按照(21)所述的信号处理设备，其中所述分析单元得到单个可获得图像的像素值的直方图，并且对于各个检测区域，得到比特定基准值小的像素值的数目，作为分析结果，和
所述处理选择单元
当在所有检测区域中，小于特定基准值的像素值的数目都等于或大于阈值时，选择第一处理，和
当在任意检测区域中，小于特定基准值的像素值的数目小于所述阈值时，选择第二处理。
(23)按照(21)或(22)所述的信号处理设备，其中在第一处理中，所述分割单元分割图像，镜面反射分量除去单元根据由偏振参数提取单元提取的偏振参数，从所述图像中除去镜面反射分量。
(24)按照(21)或(22)所述的信号处理设备，其中在第二处理中，根据由偏振参数提取单元从由分割单元分割的图像中提取的偏振参数，对于由分割单元分割的各个图像，进行通过镜面反射分量除去单元的镜面反射分量的除去。
(25)一种信号处理方法，包括：
根据对于各个波长范围，具有多个检测区域的检测单元的输出，从对于每个检测区域获得的图像中检测特征点，所述检测区域都包括多个传感器元件，所述多个传感器元件被配置成以致传感器元件中的相邻传感器元件检测同一波长范围的不同偏振方向的光；和
根据检测的特征点，拼接各个检测区域的图像，从而生成比由检测单元可获得的单个图像大的图像。
(26)一种使计算机执行信号处理的程序，所述信号处理包括
根据对于各个波长范围，具有多个检测区域的检测单元的输出，从对于每个检测区域获得的图像中检测特征点，所述检测区域都包括多个传感器元件，所述多个传感器元件被配置成以致传感器元件中的相邻传感器元件检测同一波长范围的不同偏振方向的光；和
根据检测的特征点，拼接各个检测区域的图像，从而生成比由检测单元可获得的单个图像大的图像。
注意，本实施例不限于上述实施例，由此可以作出各种变更，而不脱离本公开的精神。
[附图标记列表]
11 植被检测设备
12 检测设备
13 信号处理设备
21 图像数据分析单元
22 图像处理选择单元
23a 第一图像处理单元
23b 第二图像处理单元
24 拼接处理单元
31a和31b 偏振参数提取单元
32a和32b 镜面反射分量除去单元
33a和33b 图像分割单元
34a和34b 第一特征点检测单元
35a和35b 第二特征点检测单元
36a 第二图像分割单元
51 无人飞行器
104a、104b、104c和104d 旋翼
108a、108b、108c和108d 电动机
110 控制单元
120 通信单元
130 传感器单元
132 位置信息获得单元
140 存储单元
150 电池

Claims (15)

1.一种成像传感器，包括：
多个波长检测区域，每个波长检测区域包括不同的多个像素，所述多个波长检测区域至少包括第一波长检测区域，其中第一波长检测区域中的多个像素被配置成
检测第一预定波长范围内的光，以及
检测在不同的预定偏振方向的光；和
信号处理电路，被配置成基于由所述多个波长检测区域的检测第一预定波长范围内的在不同的预定偏振方向的光的彼此相邻的多个像素检测到的检测值，针对每个像素集检测多个偏振方向的光以获得第一预定波长范围的分割图像，根据输入图像数据提取指示检查对象的表面上的光的偏振状态的偏振参数，基于从中除去镜面反射分量的对于各个波长范围分割的分割图像数据、指示从各个波长范围的分割图像获得的特征点的坐标的坐标数据、和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据，进行以致相邻分割图像之间公共的拍摄部分被相互重叠的合成，以生成比通过一次曝光可获得的图像更大的图像。
2.按照权利要求1所述的成像传感器，其中所述多个波长检测区域还包括第二波长检测区域，所述第二波长检测区域的多个像素被配置成检测第二预定波长范围内的光，以及
检测在不同的预定偏振方向的光，
所述第二预定波长范围不同于所述第一预定波长范围。
3.按照权利要求2所述的成像传感器，其中
第一波长检测区域和第二波长检测区域彼此相邻。
4.按照权利要求1所述的成像传感器，其中
所述多个像素包括多组像素，所述多组像素中的一组像素中的每个像素被配置成检测在预定偏振方向的光，所述多组像素被排列成在第一波长检测区域内重复。
5.按照权利要求1所述的成像传感器，其中所述多个波长检测区域中的每个波长检测区域是以沿第一方向延长的矩形形状形成的，以及
当沿垂直于第一方向的第二方向观察时，所述多个波长检测区域中的每个波长检测区域被排列在一个或多个点处。
6.按照权利要求5所述的成像传感器，其中所述第二方向是相对于所述检查对象的移动方向。
7.按照权利要求1所述的成像传感器，其中当沿行方向和列方向观察时，所述多个波长检测区域中的每个波长检测区域被排列在一个或多个点处。
8.按照权利要求1所述的成像传感器，其中所述多个波长检测区域中的每个波长检测区域包括至少16个像素的阵列，所述至少16个像素的阵列包括至少4行像素和至少4列像素。
9.按照权利要求8所述的成像传感器，其中所述至少16个像素的阵列被配置成检测至少3个或更多个偏振方向的光。
10.按照权利要求1所述的成像传感器，其中所述多个波长检测区域中的第一个波长检测区域被配置成检测红色波长范围内的光，所述多个波长检测区域中的第二个波长检测区域被配置成检测绿色波长范围内的光，所述多个波长检测区域中的第三个波长检测区域被配置成检测蓝色波长范围内的光，以及所述多个波长检测区域中的第四个波长检测区域被配置成检测近红外波长范围内的光。
11.按照权利要求10所述的成像传感器，还包括：
被配置成检测所有波长范围中的非偏振光的检测区域。
12.按照权利要求10所述的成像传感器，还包括：
包含多个像素的检测区域，其中多个像素中的第一像素被配置成检测红色波长范围内的非偏振光，多个像素中的第二像素被配置成检测绿色波长范围内的非偏振光，以及多个像素中的第三像素被配置成检测蓝色波长范围内的非偏振光，
该多个像素被排列成Bayer阵列。
13.按照权利要求1所述的成像传感器，其中所述多个像素中的4个像素被配置成检测4个不同偏振方向中的一个偏振方向的光，所述多个像素中的所述4个像素是作为单个集合排列的，以及所述单个集合是按4行×4列的矩阵布置的。
14.一种用于成像传感器的成像方法，所述成像传感器包括：多个波长检测区域，每个波长检测区域包括不同的多个像素，所述多个波长检测区域至少包括第一波长检测区域；和信号处理电路，
所述方法包括：
通过所述多个波长检测区域的彼此相邻的多个像素，检测第一预定波长范围内的在不同的预定偏振方向的光；和
通过信号处理电路，基于由所述彼此相邻的多个像素检测到的检测值，针对每个像素集检测多个偏振方向的光以获得第一预定波长范围的分割图像，根据输入图像数据提取指示检查对象的表面上的光的偏振状态的偏振参数，基于从中除去镜面反射分量的对于各个波长范围分割的分割图像数据、指示从各个波长范围的分割图像获得的特征点的坐标的坐标数据、和指示根据偏振参数获得的图像上的特征点的坐标的坐标数据，进行以致相邻分割图像之间公共的拍摄部分被相互重叠的合成，以生成比通过一次曝光可获得的图像更大的图像。
15.一种保存程序的非暂时性计算机可读介质，当由电子处理器执行时，所述程序使电子处理器执行根据权利要求14所述的方法。
CN201780047672.XA 2016-08-17 2017-08-03 检查设备和检查方法 Active CN109565578B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016159854A JP6697681B2 (ja) 2016-08-17 2016-08-17 検査装置、検査方法、およびプログラム
JP2016-159854 2016-08-17
PCT/JP2017/028290 WO2018034167A1 (en) 2016-08-17 2017-08-03 Examination device, examination method, and program

Publications (2)

Publication Number Publication Date
CN109565578A CN109565578A (zh) 2019-04-02
CN109565578B true CN109565578B (zh) 2022-03-11

Family

ID=60953922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780047672.XA Active CN109565578B (zh) 2016-08-17 2017-08-03 检查设备和检查方法

Country Status (6)

Country Link
US (1) US10893221B2 (zh)
EP (1) EP3501169A1 (zh)
JP (1) JP6697681B2 (zh)
KR (1) KR20190039110A (zh)
CN (1) CN109565578B (zh)
WO (1) WO2018034167A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750136B2 (en) * 2016-10-17 2020-08-18 Sony Corporation Image processing apparatus, image processing method, and image pickup device
BR112020017230B1 (pt) * 2018-03-02 2023-05-09 Jfe Steel Corporation Método de controle de forno
CN113315934A (zh) * 2019-04-23 2021-08-27 Oppo广东移动通信有限公司 一种单色偏振式cis及图像处理方法、存储介质
WO2021039900A1 (ja) * 2019-08-28 2021-03-04 公立大学法人兵庫県立大学 試料測定装置および試料測定方法
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) * 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics Inc SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
CN111161283B (zh) * 2019-12-26 2023-08-04 可牛网络技术（北京）有限公司 一种处理图片资源的方法、装置及电子设备
CN113835135B (zh) * 2020-06-23 2022-11-22 同方威视技术股份有限公司 太赫兹安检机器人
US20230236117A1 (en) * 2020-06-24 2023-07-27 Rubens IP Pty Ltd Detecting plant product properties

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4932978B1 (zh) 1969-06-10 1974-09-04
JPS4932978A (zh) 1972-07-26 1974-03-26
CN101584222B (zh) * 2007-05-31 2011-10-12 松下电器产业株式会社 图像处理装置
US8463078B2 (en) * 2007-08-23 2013-06-11 Lockheed Martin Corporation Multi-bank TDI approach for high-sensitivity scanners
JP5428509B2 (ja) * 2009-05-11 2014-02-26 ソニー株式会社 ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
US8823848B2 (en) * 2009-06-11 2014-09-02 The Arizona Board Of Regents On Behalf Of The University Of Arizona Microgrid imaging polarimeters with frequency domain reconstruction
JP4932978B2 (ja) 2010-08-04 2012-05-16 パナソニック株式会社 撮像素子および撮像装置
JP2013031054A (ja) * 2011-07-29 2013-02-07 Ricoh Co Ltd 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ及びその製造方法
JP5764747B2 (ja) * 2011-09-02 2015-08-19 パナソニックＩｐマネジメント株式会社 偏光撮像素子および内視鏡
US20130070140A1 (en) * 2011-09-21 2013-03-21 Robert Gove Image sensors with multiple lenses of varying polarizations
JP5820794B2 (ja) * 2012-10-05 2015-11-24 オリンパス株式会社 撮像装置
WO2014112393A1 (ja) * 2013-01-21 2014-07-24 パナソニック株式会社 測定装置および測定方法
WO2015015722A1 (ja) * 2013-07-29 2015-02-05 パナソニックＩｐマネジメント株式会社 光学フィルタおよびそれを用いた偏光撮像装置
WO2015015717A1 (ja) * 2013-07-30 2015-02-05 パナソニックＩｐマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
US9686487B1 (en) * 2014-04-30 2017-06-20 Lockheed Martin Corporation Variable scan rate image generation
US20160006954A1 (en) * 2014-07-03 2016-01-07 Snap Vision Technologies LLC Multispectral Detection and Processing From a Moving Platform
US9876972B1 (en) * 2014-08-28 2018-01-23 Lockheed Martin Corporation Multiple mode and multiple waveband detector systems and methods
JP2016049102A (ja) * 2014-08-29 2016-04-11 株式会社リコー 圃場管理システム、圃場管理方法、プログラム
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
JP6750621B2 (ja) * 2015-06-26 2020-09-02 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
JP6957112B2 (ja) * 2015-07-30 2021-11-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
EP3376759B1 (en) * 2015-11-10 2021-04-14 Sony Corporation Image processing device and image processing method
JP6650839B2 (ja) * 2016-06-24 2020-02-19 日立造船株式会社 偏光カメラ及び画像処理方法
JP6697680B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム

Also Published As

Publication number Publication date
CN109565578A (zh) 2019-04-02
WO2018034167A1 (en) 2018-02-22
KR20190039110A (ko) 2019-04-10
US10893221B2 (en) 2021-01-12
EP3501169A1 (en) 2019-06-26
JP2018029251A (ja) 2018-02-22
US20190174077A1 (en) 2019-06-06
JP6697681B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
CN109565578B (zh) 检查设备和检查方法
CN109565545B (zh) 信号处理设备、信号处理方法和非暂态计算机可读介质
Paredes et al. Multispectral imaging system with UAV integration capabilities for crop analysis
US11158039B2 (en) Using 3D vision for automated industrial inspection
EP3627819A1 (en) Image generation device, image generation system, image generation method, and image generation program
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
US10438365B2 (en) Imaging device, subject information acquisition method, and computer program
EP3937476A1 (en) Image capturing device, image processing device, and image processing method
JP7123884B2 (ja) 撮像装置、方法及びプログラム
US20220086403A1 (en) Imaging system and method
US11423632B2 (en) Device and method for determining surface irregularities with irradiation angle
EP3499178B1 (en) Image processing system, image processing program, and image processing method
CN116806304A (zh) 数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置
CN111239044A (zh) 细胞检测方法、装置与系统
US10614275B2 (en) Position specifying apparatus and position specifying method
US20230061831A1 (en) Estimation device and method
CN114365189A (zh) 影像配准装置、图像生成系统、影像配准方法及影像配准程序
JP7318768B2 (ja) 作物栽培支援装置
CN211604189U (zh) 影像式色彩辨识系统
JP7151873B2 (ja) 検査装置
CN113228629A (zh) 摄像装置
JP3354692B2 (ja) 色判定装置および判定方法
CN103891274A (zh) 用于匹配自适应颜色滤波器的滤波器特性以及用于运行图像摄取装置的方法和设备
KR20240057000A (ko) 재난 피해를 식별하기 위한 이종 영상 데이터 간의 변화 탐지 방법 및 장치
CN117710306A (zh) 用于半导体器件缺陷的定位方法、处理器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant