CN109565545B - 信号处理设备、信号处理方法和非暂态计算机可读介质 - Google Patents

信号处理设备、信号处理方法和非暂态计算机可读介质 Download PDF

Info

Publication number
CN109565545B
CN109565545B CN201780048126.8A CN201780048126A CN109565545B CN 109565545 B CN109565545 B CN 109565545B CN 201780048126 A CN201780048126 A CN 201780048126A CN 109565545 B CN109565545 B CN 109565545B
Authority
CN
China
Prior art keywords
images
image
polarization
unit
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780048126.8A
Other languages
English (en)
Other versions
CN109565545A (zh
Inventor
三谷均
若园雅史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109565545A publication Critical patent/CN109565545A/zh
Application granted granted Critical
Publication of CN109565545B publication Critical patent/CN109565545B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)

Abstract

本公开包括处理设备、方法和非暂态计算机可读介质。所述处理设备包括电路，所述电路被配置成获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光。所述电路还被配置成把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。

Description

信号处理设备、信号处理方法和非暂态计算机可读介质
技术领域
本公开涉及信号处理设备、信号处理方法和程序，并且尤其涉及能够更好地进行期望的检查的信号处理设备、信号处理方法和程序。
相关申请的引用
本申请要求2016年8月17日提交的日本专利申请JP 2016-159853 的优先权，该申请的整个内容通过引用包含在本文中。
背景技术
归一化差异植被指数(NDVI)通常用作指示植物的分布状态和活跃度的指标。
例如，对于遥感和精细农业领域中的用途，利用通过借助近红外光分量和红光分量的分光捕获检查对象而获取的图像，检查农作物的生长状态。另外，利用包括对于各个像素布置的各个偏振滤波器的偏振成像器，可以获取具有与偏振方向对应的特性的图像。注意，偏振成像器把受光面中的像素分成多个偏振方向，随后生成每个偏振方向的图像，使得分辨率降低(例如在使用4个偏振方向的情况下，分辨率降低为1/4)。
例如，PTL 1公开下述图像捕获设备。致动器每个像素单元地偏移包括按阵列布置的偏振器(每个像素一个偏振滤波器)的偏振器阵列，使得捕获多个图像，并且随后处理所述多个图像以保持分辨率。
引文列表
专利文献
PTL 1：JP 4932978 B1
发明内容
技术问题
已知一种通过拼接在移动时连续捕获的多个图像，以高分辨率获取具有宽范围的图像的方法(称为图像拼接)。然而，通过拼接多个图像，获取具有宽范围的图像的方法，与通过利用在上述PTL 1中公开的图像捕获设备保持分辨率的方法难以彼此相兼容。因此，例如，即使在使用偏振成像器时，也需要通过以高分辨率获取具有宽范围的图像，来利用归一化差异植被指数，较好地进行植被的检测。
考虑到上述情况产生了本公开，并且本公开允许更好地进行期望的检查。
问题的解决方案
按照本公开的一个方面的信号处理设备包括：特征点检测单元，被配置成基于包括针对各波长带的多个检测区域的检测单元的输出，从包括在每个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件检测同一波长带中的光并包括互相检测不同偏振方向上的光的相邻传感器元件；和图像处理单元，被配置成基于已检测的特征点来拼接各个检测区域中的图像，以便构建比检测单元获取的一个图像更大的图像。
按照本公开的一个方面的信号处理方法和程序包括：基于包括针对各波长带的多个检测区域的检测单元的输出，从包括在每个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件检测同一波长带中的光并包括互相检测不同偏振方向上的光的相邻传感器元件；和基于已检测的特征点来拼接各个检测区域的图像，以便构建比检测单元获取的一个图像更大的图像。
按照本公开的一个方面，基于包括针对各波长带的多个检测区域的检测单元的输出，从包括在每个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件检测同一波长带中的光并包括互相检测不同偏振方向上的光的相邻传感器元件；和基于已检测的特征点来拼接各个检测区域的图像，以便构建比检测单元获取的一个图像更大的图像。
按照本公开的另一个方面，一种处理设备，包括：电路，所述电路被配置成获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光。所述电路还被配置为把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
按照本公开的另一个方面，一种方法，包括：利用电路，获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光。所述方法还包括利用所述电路，把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
按照本公开的另一个方面，一种存储程序的非暂态计算机可读介质，所述程序使电子处理器执行一组操作，所述一组操作包括：获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光。所述一组操作还包括把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
发明的有益效果
按照本公开的一个方面，能够更好地进行期望的检查。
附图说明
图1是本技术应用于的植被检查设备的一个实施例的例证配置的方框图。
图2是检测设备中的例证像素布置的图。
图3是说明产生具有宽范围的输出图像的处理的图。
图4是第一图像处理单元的例证配置的方框图。
图5是第二图像处理单元的例证配置的方框图。
图6是说明获取具有宽范围和高分辨率的图像的处理的流程图。
图7是说明像素的最小检测区域的布置规则的图。
图8是按照最小检测区域的不同布置规则的例证像素布置的图。
图9是检测设备中的像素布置的第一变形例的图。
图10是检测设备中的像素布置的第二变形例的图。
图11是检测设备中的像素布置的第三变形例的图。
图12是检测设备中的像素布置的第四变形例的图。
图13是说明植被检查设备的例证使用的图。
图14是说明植被检查设备的不同例证使用的图。
图15是本技术应用于的计算机的一个实施例的例证配置的方框图。
图16是说明产生具有宽范围的输出图像的处理的另一个图。
图17是第一图像处理单元的另一例证配置的方框图。
图18是第二图像处理单元的另一种例证配置的方框图。
图19是无人飞行器的例证实施例的方框图。
具体实施方式
下面将参考附图，详细说明本技术应用于的具体实施例。
<植被检查设备的实施例>
图1是本技术应用于的植被检查设备的一个实施例的例证配置的方框图。
如图1中图解所示，植被检查设备11包括检测设备12和信号处理设备13，并且用于检查生长状态，比如诸如草坪或农作物之类的检查对象的植被状态或活跃度(activity)。
检测设备12例如是包括按矩阵形式布置在受光面上的多个像素(传感器元件)的图像传感器，并且对于每个像素，检测从检查对象的表面反射的光的强度，使得能够获取检查对象的图像。另外，检测设备12包括检测特定波长带和偏振方向的光的各个像素。例如，检测设备12包括层叠至包含形成的光电二极管的传感器基板的偏振滤波器和光学滤波器，所述偏振滤波器透射预定偏振方向的光，所述光学滤波器透射预定波长带中的光，所述光电二极管包含在像素中。
例如，如图2中图解所示，在检测设备12中，彼此相邻地布置分别检测不同偏振方向的光的像素。即，图2中例示的每个小方格表示像素，并且向各个像素附加的数字表示偏振方向的角度。在图2中例示的例子中，每45°地设定偏振方向，并且按2×2矩阵的形式，彼此相邻地布置包括偏振方向被设定为0°、45°、90°和135°的4个像素。另外，检测设备12包括所述4个像素作为一个集合，并对于每个集合布置像素。注意，检测设备12不限于4种偏振方向的光的检测，并且利用彼此相邻地布置的3个像素，至少检测至少3个偏振方向的光。
另外，例如，检测设备12包括对于波长带的各个检测区域整体布置的检测相同波长带中的光的像素。即，如图2中图解所示，检测设备12 包括布置在红色检测区域R中的检测红色波长带中的光的像素，布置在绿色检测区域G中的检测绿色波长带中的光的像素，布置在蓝色检测区域B中的检测蓝色波长带中的光的像素，和布置在近红外检测区域IR 中的检测近红外波长带中的光的像素。
红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR形成为在列方向(图2中的上下方向)上具有延长的矩形形状，并且各个区域是沿着行方向(图2中的左右方向)平行布置的。按照这种方式，检测设备12包括分割成4个部分的包含布置的多个像素的受光面，所述4个部分包括红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR。因此，利用一次曝光，检测设备12可通过红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域 IR中每一个，获取针对分割成在列方向上具有延长的矩形形状的各个波长带的图像(下面酌情称为“分割图像”)。
这里，在植被检查设备11相对于检查对象移动时，检测设备12可高速地连续获取多个图像，并且所述多个图像用于检查对象的检查。这种情况下，图2的行方向被定义为检测设备12的移动方向，以便允许红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR 顺序扫描检查对象。另外，在进行检查对象的检查时，例如，植被检查设备11按移动速度移动，以使通过红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR中的每一个连续获取的分割图像在行方向上重叠预定宽度或者更大的宽度。
按照这种方式，检测设备12利用像素检测4个偏振方向的光，并且能够获取红色检测区域R、绿色检测区域G、蓝色检测区域B和近红外检测区域IR的每个波长带的分割图像。随后，检测设备12把包括响应于每个波长带中每个偏振方向的光的强度的像素值的图像数据作为输入图像数据，输入信号处理设备13。
如图1中图解所示，信号处理设备13包括图像数据分析单元21、图像处理选择单元22、第一图像处理单元23a、第二图像处理单元23b和拼接处理单元24。
图像数据分析单元21执行对从检测设备12输入的输入图像数据的分析，并把其分析结果提供给图像处理选择单元22。例如，图像数据分析单元21获取可由检测设备12获取的一个图像的输入图像数据中的像素值的直方图，并且对于波长带的每个检测区域，获取像素值比特定参考值小的像素的数目，使得能够获取分析结果。
例如，在对于特殊被摄物体进行检查或者在特殊光源下进行检查的情况下，图像只出现在特定波长带的检测区域中，或者仅仅在特定波长带的检测区域中未出现图像。因此，作为图像数据分析单元21分析输入图像数据的结果，当在波长带中的任意波长带的检测区域中，像素值小于特定参考值的像素的数目小于阈值时，可以判定在该波长带的检测区域中未出现图像。
图像处理选择单元22按照从图像数据分析单元21供给的分析结果，选择第一图像处理单元23a的图像处理或者第二图像处理单元23b的图像处理中的任意一个，以便供给从检测设备12输入的输入图像数据。例如，在图像出现在所有波长带的检测区域中的情况下，图像处理选择单元22选择第一图像处理单元23a的图像处理，而在波长带中的任意波长带的检测区域中没有出现图像的情况下，图像处理选择单元22选择第二图像处理单元23b的图像处理。
即，在输入图像数据的分析结果指示在所有波长带的检测区域中，像素值小于特定参考值的像素的数目等于或大于阈值的情况下，图像处理选择单元22把输入图像数据提供给第一图像处理单元23a。同时，在输入图像数据的分析结果指示在波长带中的任意波长带的检测区域中，像素值小于特定参考值的像素的数目小于阈值的情况下，图像处理选择单元22把输入图像数据提供给第二图像处理单元23b。
如稍后参考图4和5所述，第一图像处理单元23a和第二图像处理单元23b分别进行对于输入图像数据的图像处理。随后，第一图像处理单元23a和第二图像处理单元23b分别把包括对于各个波长带分割的输入图像数据的分割图像数据，和指示检测设备12获取的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
每次检测设备12把1个图像的输入图像数据提供给信号处理设备13 时，第一图像处理单元23a和第二图像处理单元23b中的任意一个顺序把分割图像数据和坐标数据提供给拼接处理单元24。随后，拼接处理单元24对于每个波长带拼接连续供给的分割图像，以便生成用每个波长带的像素值指示的输出图像。即，拼接处理单元24基于指示图像上的特征点的坐标数据，合成要重叠的包括相邻分割图像之间的捕获的公共点的部分，并随后生成比利用检测设备12中的一次曝光可捕获的图像大的图像。
具体地，拼接处理单元24估计分割图像之间的对应特征点、进行使分割图像移动或变形以便重叠各个分割图像的特征点的图像处理，并随后进行混合都包括彼此一致的特征点的分割图像的重叠部分的像素值的图像处理。
因而，例如，当检测设备12连续获取检查对象的图像，并随后对于所述检查对象完成整个待检查区域的图像的获取时，拼接处理单元24可生成具有宽范围及高分辨率的包括捕获的检查对象的一个输出图像。随后，拼接处理单元24输出包含在具有宽范围和高分辨率的输出图像(与由检测设备12获取的一个图像相比，包括更宽捕获范围的图像)中的数据作为输出图像数据。
这里，将参考图3，说明在信号处理设备13中生成的具有宽范围和高分辨率的输出图像。
例如，在图3的左端，降序地例示了检测设备12连续获取的多个图像(在图3的例子中，4个图像)。例如，第一个图像包括对应于红色检测区域R的分割图像R1、对应于绿色检测区域G的分割图像 G1、对应于蓝色检测区域B的分割图像G1、和对应于近红外检测区域 IR的分割图像IR1。另外，第二到第四个图像具有与第一图像类似的配置。注意，在所述4个图像之后，在沿着图2的移动方向移动时，检测设备12顺序且连续地获取多个图像，以便把各图像提供给信号处理设备 13。
随后，信号处理设备13把从检测设备12供给的每个图像分割成分割图像，并且拼接处理单元24顺序拼接同一波长带中的分割图像。例如，拼接处理单元24顺序拼接从第一个图像分割的红色分割图像R1，从第二个图像分割的红色分割图像R2、从第三个图像分割的红色分割图像 R3、和从第四个图像分割的红色分割图像R4。类似地，拼接处理单元 24拼接从由沿着图2的移动方向移动的检测设备12顺序供给的，在第四个图像之后的各个图像分割的红色分割图像。注意，拼接处理单元24每个波长带地拼接其他波长带中的分割图像。
因而，信号处理设备13可获取输出图像(也被称为“合成图像”)R、输出图像G、输出图像B和输出图像IR，所述输出图像R包括具有宽范围和高分辨率的拼接的红色分割图像，所述输出图像G包括具有宽范围和高分辨率的拼接的绿色分割图像，所述输出图像B包括具有宽范围和高分辨率的拼接的蓝色分割图像，所述输出图像IR包括具有宽范围和高分辨率的拼接的近红外分割图像。随后，例如，信号处理设备13可输出包含在输出图像(“合成图像”)R、输出图像G、输出图像B和输出图像IR中的图像数据，作为集成格式的输出图像数据(彩色图像数据+ 近红外图像数据)，如在图3的右端所示。
按照这种方式，植被检查设备11具有上述配置，并且对于每个预定波长带，可获取具有宽范围和高分辨率的输出图像。另外，例如，对于诸如田野之类的宽范围，可以以高分辨率进行利用从绿色输出图像G和近红外输出图像IR获取的归一化差异植被指数(NDVI)的植被检查。
下面，图4是图1的第一图像处理单元23a的例证配置的方框图。
如图4中图解所示，第一图像处理单元23a包括偏振参数提取单元 31a、镜面反射分量除去单元32a、图像分割单元33a、第一特征点检测单元34a和第二特征点检测单元35a。
偏振参数提取单元31a基于从检测设备12供给的输入图像数据，提取指示检查对象的表面上的光的偏振状态的偏振参数，以便把偏振参数提供给镜面反射分量除去单元32a和第二特征点检测单元35a。例如，偏振参数包括指示当光从检查对象的表面反射之时的偏振程度的偏振水平，和指示检查对象的表面的法线相对于检测设备12的角度的法向向量。如上参考图2所述，检测设备12利用彼此相邻的4个像素，检测每45°偏振方向的光。因此，偏振参数提取单元31a可基于从所述4个像素的像素值获取的偏振信息(响应于各个像素的不同偏振方向的像素值之差)，提取通过所述4个像素检测的检查对象的表面上的偏振参数。
镜面反射分量除去单元32a基于从偏振参数提取单元31a供给的偏振参数，从供给自检测设备12的输入图像数据中除去镜面反射分量，所述镜面反射分量是包括从检查对象的表面镜面反射的光的分量。例如，从检查对象的表面反射的光一般包括偏振的镜面反射分量和非偏振的漫反射分量。
因此，基于漫反射分量和镜面反射分量统计上独立的假定，镜面反射分量除去单元32a可利用例如独立分量分析(ICA)的方法，除去镜面反射分量。随后，镜面反射分量除去单元32a从检测设备12获取的图像获取排除了镜面反射分量的影响的图像，以便把其图像数据提供给图像分割单元33a。
图像分割单元33a按照检测设备12检测的波长带的检测区域，分割从镜面反射分量除去单元32a供给的图像数据，以便把针对每个波长带的分割图像数据提供给第一特征点检测单元34a和拼接处理单元 24(图1)。
第一特征点检测单元34a基于分割图像数据检测指示在图像中捕获的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。例如，图像上的亮度或颜色变化较大之处的边缘可以用作特征点。
第二特征点检测单元35a检测指示在包含映射的从偏振参数提取单元31a供给的偏振参数的图像中捕获的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。
按照这种方式，第一图像处理单元23a具有上述配置，并且可把除去了镜面反射分量并且已针对各个波长带被分割的分割图像数据、指示从各个波长带的分割图像获取的特征点的坐标的坐标数据、和指示基于偏振参数获取的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
下面，图5是图1的第二图像处理单元23b的例证配置的方框图。
如图5中图解所示，类似于图2的第一图像处理单元23a，第二图像处理单元23b包括偏振参数提取单元31b、镜面反射分量除去单元32b、图像分割单元33b、第一特征点检测单元34b和第二特征点检测单元35b。注意，第二图像处理单元23b具有与图2的第一图像处理单元23a不同的处理进行顺序。
如图中图解所示，在第二图像处理单元23b中，检测设备12把输入图像数据提供给图像分割单元33b，并且随后图像分割单元33b按照检测设备12中的波长带的检测区域分割图像数据。随后，图像分割单元33b 把各个波长带的分割图像数据提供给偏振参数提取单元31b和镜面反射分量除去单元32b。因此，在第二图像处理单元23b中，偏振参数提取单元31b从针对每个波长带分割的分割图像数据中提取偏振参数，并且镜面反射分量除去单元32b从针对每个波长带分割的分割图像数据中除去镜面反射分量。之后，第一特征点检测单元34b和第二特征点检测单元35b都提取与上面所述类似的特征点，以便把指示特征点的坐标数据提供给拼接处理单元24。
第二图像处理单元23b具有这种配置，可把已针对每个波长带分割并且除去了镜面反射分量的分割图像数据、指示从各个波长带的分割图像获取的特征点的坐标的坐标数据、和指示基于偏振参数获取的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
因此，在信号处理设备13中，拼接处理单元24可基于指示从针对各个波长带的分割图像获取的特征点的坐标的坐标数据，和指示基于偏振参数获取的图像上的特征点的坐标的坐标数据，拼接各个分割图像。按照这种方式，拼接处理单元24可利用更多的特征点来提高拼接的准确度。
另外，偏振参数一般与物体的颜色无关，使得拼接处理单元24 可在检测设备12的整个尺寸内，把基于偏振参数的特征点用于定位，而不受色度滤波器的影响。因而，拼接处理单元24可以以精度更高进行拼接。
<信号处理>
图6是说明植被检查设备11中的获取具有宽范围和高分辨率的图像的处理的流程图。
例如，当植被检查设备11到达对检查对象进行检查的起点时，处理开始，并且植被检查设备11沿如图2中图解所示的移动方向移动。随后，在步骤S11，检测设备12获取通过一次曝光捕获的一个图像，以便把该图像的输入图像数据提供给信号处理设备13。
在步骤S12，信号处理设备13的图像数据分析单元21分析在步骤 S11从检测设备12供给的输入图像，以便把其分析结果提供给图像处理选择单元22。
在步骤S13，图像处理选择单元22按照在步骤S12从图像数据分析单元21供给的分析结果，判定进行第一图像处理单元23a中的图像处理和第二图像处理单元23b中的图像处理中的哪一个来作为对于输入图像的图像处理。
在步骤S13，当图像处理选择单元22判定对输入图像进行第一图像处理单元23a中的图像处理时，图像处理选择单元22把输入图像提供给第一图像处理单元23a，并且随后处理进入步骤S14。
在步骤S14，第一图像处理单元23a的偏振参数提取单元31a基于具有不同偏振方向的4个像素的像素值来提取偏振参数，所述4个像素在检测设备12获取的图像中彼此相邻。
在步骤S15，镜面反射分量除去单元32a基于在步骤S14由偏振参数提取单元31a提取的偏振参数，从检测设备12获取的图像中除去镜面反射分量。
在步骤S16，图像分割单元33a针对检测设备12检测的各个波长带，分割在步骤S15由镜面反射分量除去单元32a除去了镜面反射分量的图像。随后，图像分割单元33a把每个波长带的分割图像提供给第一特征点检测单元34a和拼接处理单元24。
在步骤S17，第一特征点检测单元34a检测指示在步骤S16，从图像分割单元33a供给的各个分割图像中捕获的被摄物体上的区别点的特征点。随后，第一特征点检测单元34a把指示从各个分割图像中检测的特征点的坐标的坐标数据提供给拼接处理单元24。
在步骤S18，第二特征点检测单元35a基于从偏振参数提取单元31a 供给的偏振参数，检测指示在包括映射的偏振参数的图像中捕获的被摄物体的区别点的特征点。随后，第二特征点检测单元35a把指示对于检测设备12获取的整个图像，基于偏振参数检测的特征点的坐标的坐标数据提供给拼接处理单元24。
在步骤S19，拼接处理单元24基于在步骤S17和S18供给的各项坐标数据，拼接在步骤S16从图像分割单元33a供给的各个分割图像。
同时，在步骤S13，在图像处理选择单元22判定对于输入图像进行第二图像处理单元23b中的图像处理的情况下，图像处理选择单元22把输入图像提供给第二图像处理单元23b，使得处理进入步骤S20。
在步骤S20，第二图像处理单元23b的图像分割单元33b针对检测设备12检测的各个波长带分割由检测设备12获取的图像。随后，图像分割单元33b把每个波长带的分割图像提供给偏振参数提取单元31b和镜面反射分量除去单元32b。
在步骤S21，偏振参数提取单元31b基于偏振方向不同的彼此相邻的4个像素的像素值，对于由图像分割单元33b分割的各个图像提取偏振参数。
在步骤S22，镜面反射分量除去单元32b基于在步骤S21由偏振参数提取单元31b提取的偏振参数，从图像分割单元33b分割的各个图像中除去镜面反射分量。随后，镜面反射分量除去单元32b把除去了镜面反射分量的分割图像，提供给第一特征点检测单元34b和拼接处理单元 24。
在步骤S23，第一特征点检测单元34b检测指示在步骤S22从镜面反射分量除去单元32b供给的各个分割图像中捕获的被摄物体的区别点的特征点。随后，第一特征点检测单元34b把指示从各个分割图像中检测的特征点的坐标的坐标数据提供给拼接处理单元24。
在步骤S24，第二特征点检测单元35b基于从偏振参数提取单元31b 供给的偏振参数，检测指示包括映射的偏振参数的图像中捕获的被摄物体的区别点的特征点。随后，第二特征点检测单元35b把指示对于检测设备12获取的整个图像，基于偏振参数检测的特征点的坐标的坐标数据提供给拼接处理单元24。
随后，处理进入步骤S19，并且这种情况下，拼接处理单元24基于利用在步骤S23和S24供给的各项坐标数据指示的特征点，拼接在步骤 S20从图像分割单元33a供给的各个分割图像。
在步骤S19的处理之后，处理进入步骤S25，并且随后检测设备12 在检查对象的整个范围内判定是否获取了必要的图像。例如，当从对检查对象进行检查的起点进行处理并且植被检查设备11到达终点时，检测设备12可判定已获取必要的图像。
在步骤S25，在检测设备12判定未获取必要的图像的情况下，即，在植被检查设备11未到达终点的情况下，处理返回步骤S11，并且随后重复进行类似的处理。
同时，在步骤S25，在检测设备12判定已获取必要的图像的情况下，即，在植被检查设备11已到达终点的情况下，处理进入步骤S26。
这种情况下，拼接处理单元24在检查对象的整个范围中生成了具有宽范围和高分辨率的图像，并且在步骤S26，信号处理单元13输出由拼接处理单元24生成的图像作为输出图像，使得处理完成。
如上所述，植被检查设备11可在检查对象的整个范围内，对于可由检测设备12检测的各个波长带，获取以宽范围和高分辨率捕获的图像。
<检测设备中的像素布置>
为了容易地说明检测设备12中的像素布置，示意地举例说明了在上述图2中例示的例证布置，并且实际上，检测设备12包括布置在受光面上的数百万个或者数千万个细微像素。另外，如图2中图解所示，检测设备12包括布置成基于各个波长带的检测区域，把受光面分成4个部分的像素。另外，检测设备12中的像素布置不限于图2中图解所示的例子。
下面将参考图7-12，说明检测设备12中的像素布置。
图7是说明检测设备12中的像素的最小检测区域的布置规则的图。
如图7中图解所示，检测设备12包括最小检测区域，所述最小检测区域包括整体布置成检测同一波长带中的光的16个像素，所述16个像素包括按行方向布置的4个和按列方向布置4个。另外，如上所述，检测设备12包括按2×2矩阵形式布置成彼此相邻、包含每45°设定的偏振方向的4个像素，并且所述最小检测区域包括布置成2×2矩阵形式包含多组所述4个像素的16个像素。
另外，检测设备12包括沿检测设备12相对于检查对象移动的移动方向(图7的行方向)布置的红色最小检测区域R、绿色最小检测区域 G、蓝色最小检测区域B和近红外最小检测区域IR。即，当沿检测设备 12的移动方向观察红色最小检测区域R、绿色最小检测区域G、蓝色最小检测区域B和近红外最小检测区域IR时，提供各个区域确实被布置的布置规则。因而，例如，当对检查对象进行单行扫描时，检测设备12 可针对所述单行，获取在所有波长带中的检查对象的分割图像。
另外，检测设备12包括都被设定成在行方向和列方向具有2倍于偏振滤波器的模式周期(2×2)的大小的最小检测区域。按照这种方式设定各个最小模式区域，并且在相对于检查对象移动时，检测设备12连续获取例如按至少2个像素的宽度重叠的图像。因而，信号处理设备13可利用拼接处理单元24拼接各个分割图像，并且随后可对于可在检测设备12中检测的各个波长带，输出具有宽范围和高分辨率的输出图像。
图8是按照不同布置规则的最小检测区域的例证像素布置的图。
如图8中图解所示，检测设备12可按照包括2×2矩阵的布置规则，布置红色最小检测区域R、绿色最小检测区域G、蓝色最小检测区域B 和近红外最小检测区域IR。
采用包括按照这种方式布置的最小检测区域的检测设备12，并且植被检查设备11移动，使得各个最小检测区域顺序扫描检查对象。从而，对于可在检测设备12中检测的各个波长带，可输出具有宽范围和高分辨率的输出图像。
图9是像素布置的第一修改例的图。
如图9中图解所示，检测设备12包括与图2中图解所示的像素布置相比，在列方向上布置成长矩形的红色检测区域R、绿色检测区域G、蓝色检测B和近红外检测区域IR。
图10是像素布置的第二修改例的图。
如图10中图解所示，检测设备12包括布置成使得具有当沿行方向和列方向观察时，红色检测区域R、绿色检测区域G、蓝色检测B和近红外检测区域IR确实被布置的布置规则的像素。即，对于布置成4×4 矩阵的16个检测区域，当沿行方向和列方向观察时，图10中图解所示的例证像素布置包括布置的所有波长带的检测区域。
注意，图10中例示的例证像素布置示意图解说明各个波长带的检测区域的布置。一个检测区域对应于参考图7说明的最小检测区域，不过，各个检测区域可具有更大的大小。例如，检测设备12的整个受光面可被分成16个检测区域。或者，可按图10图解所示的模式，重复布置包括布置的更多像素的检测区域。
图11是像素布置的第三变形例的图。
如图11中图解所示，除了红色检测区域R、绿色检测区域G、蓝色检测B和近红外检测区域IR之外，检测设备12还可布置例如包括检测所有波长带的非偏振光的像素的检测区域。即，检测设备12可包括不包含偏振滤波器和滤色器的检测区域。基于布置在该检测区域中的像素的像素值，信号处理设备13可获取归因于任意偏振方向的光的白色(单色) 图像。
图12是像素布置的第四变形例的图。
如图12中图解所示，除了红色检测区域R、绿色检测区域G、蓝色检测B和近红外检测区域IR之外，检测设备12还可布置例如包括检测包括三原色的非偏振光的像素的检测区域。即，检测设备12可包括不包含偏振滤波器但是包含对于各像素按Bayer阵列布置的三原色滤色器的检测区域。基于布置在该检测区域中的像素的像素值，信号处理设备13 可获取归因于任意偏振方向的光的彩色图像。
<植被检查设备的例证应用>
如图13和14中图解所示，例如，植被检查设备11安装在无人飞行器(UVA)51上，并且可和无人飞行器51一起移动来对检查对象进行检查。
图13中，包括面向下方的检测设备12的植被检查设备11被固定到无人飞行器51上，并且作为例证应用，例示了例如获取包括以平面图中的宽范围捕获的天空正下的田野中的农作物的输出图像。图14中，包括面向水平方向的检测设备12的植被检查设备11被固定到无人飞行器51 上，并且作为例证应用，例示了例如获取包括在无人飞行器51沿着农道移动时，以宽范围捕获的农作物在高度方面的生长状态的输出图像。
注意，在图13和14中，实线矩形表示在检测设备12中利用一次曝光获取的多个图像，而虚线矩形表示通过拼接图像而产生的输出图像。另外，空白箭头表示无人飞行器51的移动路线。
按照这种方式，在包括安装的植被检查设备11的无人飞行器51移动时，植被检查设备11连续获取多个图像，使得植被检查设备11可获取包含以宽范围和高分辨率捕获的检查对象的一个输出图像。因此，利用该输出图像，可以详细地检查诸如田野之类的宽范围中的农作物植被。
另外，在植被检查设备11能够获取关于包含在无人飞行器51中的传感器的信息的情况下，植被检查设备11基于关于无人飞行器51的位置和姿态(position)的信息，利用拼接处理单元24进行拼接，使得可以获取高精度地拼接的输出图像。
注意，植被检查设备11可响应于检测设备12的尺寸和植被检查设备11的移动速度，适当地选择各个波长带的检查区域的尺寸。另外，对于由检测设备12检测的波长带的数目(即，色度滤波器的颜色数)，植被检查设备11可以响应于利用植被检查设备11的进行检查的目的，适当地选择必要数目的波长带。
例如，对于如上参考图13和14所述的利用无人飞行器51检查整个宽阔田野的目的，在无人飞行器51的移动距离和移动方向方面，估计会发生一定程度的模糊(blur)。因此，优选的是使各个检测区域的尺寸较大(包括更多的像素)以便可靠地拼接分割图像。同时，例如，对于在植被检查设备11微小地移动的情况下进行检查的目的，比如对于检测小的精密组件的微小瑕疵的用途，可以使各个检测区域的尺寸较小。
此外，本技术还可适用于例如除了包含在诸如植被检查设备11之类的单体设备中之外的通过网络耦接的植被检查系统。例如，检测设备12 和信号处理设备13通过网络耦接，使得从信号处理设备13输出的输出图像可通过网络被传送给显示设备或者分析设备。因而，可以从任何地方，对作为检查对象的在远程位置处的多个田野进行检查。
注意，参考上面的流程图说明的各个处理不必按照作为流程图说明的顺序时序地进行，并且还包括并行地或者单独地进行的处理(例如，并行处理或者利用对象的处理)。另外，程序可以利用一个CPU的处理来执行，或者可以利用多个CPU的分布式处理来执行。另外，在本说明书中，系统意味包括多个设备的整个设备。
另外，上述一系列处理(信号处理方法)可以用硬件进行或者可以用软件进行。在利用软件进行所述一系列处理的情况下，包含在软件中的程序从记录所述程序的程序记录介质被安装到内置于专用硬件中的计算机中，或者例如通过安装各种程序能够进行各种功能的通用个人计算机中。
图15是利用程序，执行上述一系列处理的计算机的硬件的例证配置的方框图。
在该计算机中，中央处理器(CPU)101、只读存储器(ROM)102 和随机存取存储器(RAM)103通过总线104相互耦接。
此外，输入/输出接口105耦接到总线104。包括键盘、鼠标和麦克风的输入单元106，包括显示器和扬声器的输出单元107，包括硬盘和非易失性存储器的存储单元108，包括网络接口的通信单元109，和驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质111的驱动器 110耦接到输入/输出接口105。
在具有上述配置的计算机中，CPU 101通过输入/输出接口105和总线104，把例如保存在存储单元108中的程序加载到RAM 103中，以便执行所述程序，使得进行上述一系列处理。
计算机(CPU 101)执行的程序被记录在作为套装介质的可移动介质111中，例如包括磁盘(包括软盘)、光盘(例如，光盘-只读存储器 (CD-ROM)或者数字通用光盘(DVD))、磁光盘或半导体存储器，以便提供所述程序，或者所述程序是通过诸如局域网、因特网或数字卫星广播之类的有线通信或无线电通信的传输介质提供的。
随后，可移动介质111被放入驱动器110中，使得程序可通过输入/ 输出接口105被安装在存储单元108中。另外，通信单元109通过有线通信或无线电通信的传输介质接收程序，使得所述程序可被安装在存储单元108中。另外，程序可被预先安装在ROM 102和存储单元108中。
图16是说明产生具有宽范围的输出图像的处理的另一个图。
例如，在图16的左端，降序地例示了从时序地捕获的图像数据计算的多批图像(对于图16的例子中的总共16个图像，每批图像具有4个图像一组的4个图像集)，所述图像数据由检测设备12获取。例如，当使植被检查设备相对于检查对象移动时，检测设备可以顺序捕获多个图像数据。
在特定曝光时捕获的各个图像集包括各个波长带的不同的偏振角的信息。例如，随着使植被检查设备11沿着图2的移动方向移动，进行第一次曝光，以捕获检查对象的一部分。按照图16，第一图像集具有作为堆叠图像显示在图16的左上端的4个图像，表示在第一次曝光时捕获的图像数据。第一图像集的4个图像对应于0°、45°、90°和135°的4个偏振角，并且是由信号处理设备13基于从第一次曝光获取的图像数据计算的。随着植被检查设备11沿着图2的移动方向移动，进行第二次曝光，以捕获检查对象的另一部分。显示在第一图像集下面且朝着图16的右侧稍微偏移的具有相互堆叠的另外4个图像的第二图像集表示在第二次曝光时捕获的图像数据。第二图像集的4个图像对应于0°、45°、90°和135°的4个偏振角，并且是由信号处理设备13基于从第二次曝光获取的图像数据计算的。类似地，使植被检查设备11进一步沿着移动方向移动，并且在图16的左端表示了都具有4个图像的第三和第四图像集。
随后，信号处理设备13基于波长带和偏振角，把从检测设备12供给的图像数据分割成多个分割图像。拼接处理单元24顺序把相同波长带中的多批分割图像中的每一批拼接在一起。例如，基于红色波长带和零度的偏振角，从第一批图像中的第一图像集分割红色分割图像 R1，从第二批图像中的第一图像集分割红色分割图像R2，从第三批图像中的第一图像集分割红色分割图像R3，和从第四批图像中的第一图像集分割红色分割图像R4，并由拼接处理单元24顺序拼接。类似地，拼接处理单元24拼接从多批图像中的第二图像集(四十五度的偏振角)、第三图像集(九十度的偏振角)和第四图像集(一百三十五度的偏振角)分割的红色分割图像。注意，对于各个波长带，拼接处理单元24拼接其他波长带中的具有相同偏振角的分割图像。
因而，信号处理设备13可获取包括具有宽范围和高分辨率的经拼接的红色分割图像的多个输出红色图像R(0°、45°、90°和135°的偏振角)，包括具有宽范围和高分辨率的经拼接的绿色分割图像的多个输出绿色图像G(0°、45°、90°和135°的偏振角)，包括具有宽范围和高分辨率的经拼接的蓝色分割图像的多个输出蓝色图像B(0°、45°、90°和135°的偏振角)，和包括具有宽范围和高分辨率的经拼接的近红外分割图像的多个输出近红外图像IR(0°、45°、90°和135°的偏振角)。
信号处理设备13可以利用多个输出红色图像R(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出红色图像。信号处理设备13可以利用多个输出绿色图像G(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出绿色图像。信号处理设备13可以利用多个输出蓝色图像G(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出蓝色图像。信号处理设备13可利用多个输出近红外图像IR(0°、45°、90°和135°的偏振角)和偏振拟合处理，来生成任意偏振角下的单一输出近红外图像。
或者，信号处理设备13可以选择多个输出红色图像R(0°、45°、 90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°) 下的单一输出红色图像。信号处理设备13可以选择多个输出绿色图像G (0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、 90°和135°)下的单一输出绿色图像。信号处理设备13可以选择多个输出蓝色图像B(0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°)下的单一输出蓝色图像。信号处理设备13可以选择多个输出近红外图像IR(0°、45°、90°和135°的偏振角)之一，作为预定偏振角(例如，0°、45°、90°和135°)下的单一输出近红外图像。
随后，例如，信号处理设备13可以输出包含在所述单一输出红色图像、单一输出绿色图像、单一输出蓝色图像和单一输出近红外图像中的图像数据，作为集成格式的输出图像数据(彩色图像数据+近红外图像数据)，如在图16的右端所示。这样，植被检查设备11具有上述配置，并且可以在任意偏振角下，对于各个预定波长带获取具有宽范围和高分辨率的输出图像。
下面，图17是图1的第一图像处理单元23a的另一种例证配置的方框图。
如图17中图解所示，第一图像处理单元23a包括偏振参数提取单元 31a、镜面反射分量除去单元32a、第一图像分割单元33a、第一特征点检测单元34a、第二特征点检测单元35a和第二图像分割单元36a。
偏振参数提取单元31a基于从检测设备12供给的输入图像数据，提取指示在检查对象的表面上的光的偏振状态的偏振参数，以便把偏振参数提供给镜面反射分量除去单元32a和第二特征点检测单元35a。例如，偏振参数包括指示当光从检查对象的表面反射之时的偏振程度的偏振水平和指示检查对象的表面的法线相对于检测设备12的角度的法向向量。如上参考图2所述，检测设备12利用彼此相邻的4个像素，检测每45°的偏振方向的光。因此，偏振参数提取单元31a可基于从所述4个像素的像素值获取的偏振信息(相应于各个像素的不同偏振方向的像素值之差)，提取通过所述4个像素检测的检查对象的表面上的偏振参数。
镜面反射分量除去单元32a基于从偏振参数提取单元31a供给的偏振参数，从供给自检测设备12的输入图像数据中除去镜面反射分量，所述镜面反射分量是包括从检查对象的表面镜面反射的光的分量。例如，从检查对象的表面反射的光一般包括偏振的镜面反射分量和非偏振的漫反射分量。
因此，基于漫反射分量和镜面反射分量统计上独立的假定，镜面反射分量除去单元32a可利用例如独立分量分析(ICA)的方法，除去镜面反射分量。随后，镜面反射分量除去单元32a从检测设备12获取的图像获取排除镜面反射分量影响的图像，以便把其图像数据提供给第一图像分割单元33a。
第一图像分割单元33a按照检测设备12检测的波长带的检测区域，分割从镜面反射分量除去单元32a供给的图像数据，以便把各个波长带的分割图像数据提供给第一特征点检测单元34a。
第一特征点检测单元34a检测指示在基于来自第一图像分割单元 33a的分割图像数据的图像中捕获的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。例如，图像上的亮度或颜色变化较大之处的边缘可以用作特征点。在备选实施例中，第一特征点检测单元34a可检测指示在基于来自第二图像分割单元36a而不是第一图像分割单元33a的分割图像数据的图像中捕获的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。
第二特征点检测单元35a检测指示在包括映射的从偏振参数提取单元31a的偏振参数的图像中捕获的被摄物体的区别点的特征点，以便把指示特征点的坐标的坐标数据提供给拼接处理单元24。
第二图像分割单元36a按照与检测设备12的各个像素关联的偏振角，分割从检测设备12供给的输入图像数据，以便把各个偏振角的分割图像数据提供给拼接处理单元24(图1)。
这样，第一图像处理单元23a具有上述配置，并且可把基于检测设备12的像素的偏振角的分割图像数据和包括镜面反射分量的分割图像数据提供给拼接处理单元24。这样，第一图像处理单元23具有上述配置，可把指示从除去了镜面反射分量并且已针对各个波长带分割的分割图像数据获取的特征点的坐标的坐标数据，和指示基于偏振参数获取的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
注意，拼接处理单元24可以利用来自第一特征点检测单元34a 和/或第二特征点检测单元35a的坐标数据。另外，注意，将由拼接处理单元24拼接的分割图像数据的偏振角可由用户指定，或者由拼接处理单元24基于图像分析的结果选择。例如，镜面反射分量除去单元 32a确定的镜面反射分量可被拼接处理单元24用于选择反射分量最小的偏振角。如上所述，拼接处理单元24可利用分割图像数据(例如，彩色图像数据+近红外图像数据)和偏振拟合处理，来生成任意偏振角下的单一输出图像。
下面，图18是图1的第二图像处理单元23b的另一种例证配置的方框图。
如图18中图解所示，类似于图17的第一图像处理单元23a，第二图像处理单元23b包括偏振参数提取单元31b、镜面反射分量除去单元32b、图像分割单元33b、第一特征点检测单元34b和第二特征点检测单元35b。注意，第二图像处理单元23b具有与图17的第一图像处理单元23a不同的处理进行顺序。
如图18中图解所示，检测设备12把输入图像数据提供给图像分割单元33b。图像分割单元33b按照与检测设备12的各个像素关联的偏振角，分割从检测设备12供给的输入图像数据，以便把各个偏振角的分割图像数据提供给拼接处理单元24(图1)。在第二图像处理单元23b 中，图像分割单元33b按照检测设备12中的波长带的检测区域，进一步分割与各个偏振角对应的分割图像数据。随后，图像分割单元33b把各个波长带的分割图像数据提供给偏振参数提取单元31b和镜面反射分量除去单元32b。因此，在第二图像处理单元23b中，偏振参数提取单元 31b从针对各个波长带分割的分割图像数据中提取偏振参数，并且镜面反射分量除去单元32b从针对各个波长带分割的分割图像数据中除去镜面反射分量。之后，第一特征点检测单元34b和第二特征点检测单元35b分别提取与上面所述类似的特征点，以便把指示特征点的坐标数据提供给拼接处理单元24。
具有这种配置的第二图像处理单元23b可把基于检测设备12的像素的偏振角的分割图像数据，和包括镜面反射分量的分割图像数据提供给拼接处理单元24。第二图像处理单元23b还可把指示从各个波长带的分割图像获取的特征点的坐标的坐标数据，和指示基于偏振参数获取的图像上的特征点的坐标的坐标数据提供给拼接处理单元24。
注意，拼接处理单元24可利用来自第一特征点检测单元34b和/或第二特征点检测单元35b的坐标数据。另外，注意，将由拼接处理单元 24拼接的分割图像数据的偏振角可由用户指定，或者由拼接处理单元 24基于图像分析的结果选择。例如，镜面反射分量除去单元32b确定的镜面反射分量可被拼接处理单元24用于选择反射分量最小的偏振角。如上所述，拼接处理单元24可利用分割图像数据(例如，彩色图像数据+近红外图像数据)和偏振拟合处理，来生成任意偏振角下的单一输出图像。
图19是图13和14的无人飞行器51的例证实施例的方框图。
如图19中图解所示，按照本公开的实施例的无人飞行器51被配置成包括植被检查设备11、旋翼104a至104d、电动机108a至108d、控制单元110、通信单元120、传感器单元130、位置信息获取单元132、存储单元140和电池150。
控制单元110控制无人飞行器51的操作。例如，控制单元110可控制：通过调整电动机108a至108d的转速的旋翼104a至104d的转速的调整、植被检查设备11的成像处理、通过通信单元120往来于其他设备 (例如，控制终端)的信息的传输和接收处理、以及往来于存储单元140 的信息的存储和读取。
在本实施例中，控制单元110基于从控制终端200传送的飞行信息，控制其中电动机108a至108d的转速被调整的飞行和成像设备101对静止图像的成像处理的执行。控制单元110基于从控制终端传送的飞行信息，控制电动机108a至108d或植被检查设备11。在如图14中图解所示，无人飞行器在农田或农道上移动时，控制单元110可基于控制终端的请求，控制检测设备12连续捕获一个或多个图像，并把所述一个或多个图像提供给控制终端。此外，控制单元110可以基于控制终端的另一个请求，控制拼接处理单元24拼接捕获的图像，以把输出图像提供给控制终端。
旋翼104a至104d通过其旋转产生升力，从而使无人飞行器51飞行。旋翼104a至104d的旋转是由电动机108a至108d的旋转引起的。电动机108a至108d使旋翼104a至104d旋转。电动机108a至108d的旋转可由控制单元110控制。
通信单元120进行通过无线通信，往来于控制终端的信息的传输和接收处理。无人飞行器51把植被检查设备11捕获的图像数据从通信单元120传送给控制终端。在一些例子中，图像数据是一个或多个分割图像。在其他例子中，图像数据是一个图像，例如，一个波长带的原始偏振图像。在另外的其他例子中，图像数据是输出图像(拼接图像)。另外，无人飞行器51利用通信单元120，从控制终端接收与飞行相关的指令。
传感器单元130是一组获取无人飞行器51的状态的设备，并且例如可包括加速度传感器、陀螺传感器、超声波传感器、气动传感器、光流传感器、激光测距仪或者其他适当的传感器。传感器单元130可把获取的无人飞行器51的状态转换成预定信号，并在必要时把所述信号提供给控制单元110。
位置信息获取单元132利用例如GPS、视觉传感器或其它适当的定位单元，获取无人飞行器51的当前位置的信息。必要时，位置信息获取单元132可把获取的无人飞行器51的当前位置的信息提供给控制单元 110。控制单元110利用由位置信息获取单元132获取的无人飞行器51 的当前位置的信息，基于从控制终端接收的飞行信息，执行无人飞行器 51的飞行的控制。
传感器单元130检测可能在飞行时干扰飞行的障碍物。当传感器单元130检测到障碍物时，无人飞行器51可把与检测到的障碍物相关的信息提供给控制终端。
存储单元140存储各种信息。存储在存储单元140中的信息的例子包括从控制终端传送的无人飞行器51的飞行信息和来自植被检查设备 11的图像数据。在一些例子中，图像数据是一个或多个分割图像。在其他例子中，图像数据是一个图像，例如，一个波长带的原始偏振图像。在另外的其他例子中，图像数据是输出图像(拼接图像)。
电池150累积用于使无人飞行器51工作的电力。电池150可以是只能放电的一次性电池，或者可以是还能充电的二次电池，不过当电池150 是二次电池时，例如，可以从充电站向电池150供给电力。
按照本公开的实施例的无人飞行器51可以具有图19中图解所示的配置，并且因此可基于包含在从控制终端传送的飞行信息中的飞行路径进行自动飞行，并且可以执行记载在本文中的成像处理。
上面已经参考图13和14，说明了按照本公开的实施例的无人飞行器 51的例证功能配置。
注意，本技术可以具有除植被检查设备外的几种不同应用。实际上，本技术适用于需要图像的扫描和拼接的宽成像范围。例如，本技术的一种应用是当关注的对象需要不止一次扫描，并且特别地，不止一次机器人扫描时的工厂自动化。本技术的再一种应用是矿物盐的显微图像分析。本技术的另一种应用是应力应变(光弹性)的测量。本技术的另一种应用是透明树脂模塑产品的缺陷检测。本技术的另一种应用是玻璃中的杂质的检测。本技术的另一种应用是膜厚度的测量。
注意，本技术可以具有以下配置。
(1)一种处理设备，包括：
电路，所述电路被配置成
获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光；和
把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
(2)按照(1)所述的处理设备，其中
所述电路还被配置成
把所述多个图像拼接在一起，以生成包括所述合成图像的多个合成图像，所述多个合成图像中的每一个对应于所述多个预定偏振方向中的所述一个偏振方向和所述多个预定波长带中的所述一个波长带，和
根据所述多个合成图像来生成最终的输出图像。
(3)按照(1)所述的处理设备，其中
所述电路还被配置成
把所述多个图像拼接在一起，以生成包括所述合成图像的第一多个合成图像，所述第一多个合成图像中的每一个对应于所述多个预定偏振方向中的所述一个偏振方向和所述多个预定波长带中的所述一个波长带，
把所述第一多个合成图像拼接在一起，以生成第二多个合成图像，所述第二多个合成图像中的每一个对应于所述多个预定波长带中的所述一个波长带，和
根据所述第二多个合成图像来生成最终的输出图像。
(4)按照(1)所述的处理设备，还包括：
偏振参数提取电路，被配置成从所述多个图像中的一个或多个图像中提取指示检查对象的表面上的光的偏振状态的偏振参数；和
镜面反射分量除去电路，被配置成基于所述偏振参数，从所述多个图像中的所述一个或多个图像中除去检查对象的表面上的镜面反射分量。
(5)按照(4)所述的处理设备，其中
所述多个图像是从相邻地布置在一起的传感器元件获取的，
所述传感器元件的数目对应于所述多个预定偏振方向的数目，和
所述偏振参数提取电路还被配置成基于所述传感器元件之间的输出差来提取所述偏振参数。
(6)按照(4)所述的处理设备，还包括：
偏振参数特征点检测电路，被配置成从所述多个图像中的所述一个或多个图像中检测特征点，
其中，为了把与所述单个偏振方向和来自所述多个预定波长带的所述单个预定波长带对应的所述多个图像的所述至少一部分拼接在一起以生成合成图像，所述电路还被配置成基于所述特征点来拼接所述多个图像的所述至少一部分。
(7)按照(6)所述的处理设备，还包括：
分割电路，被配置成把所述多个图像分割成多批分割图像，每批分割图像至少部分基于所述多个预定波长带中的一个波长带。
(8)按照(7)所述的处理设备，
其中所述偏振参数提取电路还被配置成响应于提取所述偏振参数，控制所述分割电路把所述多个图像分割成所述多批分割图像。
(9)按照(7)所述的处理设备，其中
所述分割电路还被配置成响应于把所述多个图像分割成所述多批分割图像，控制所述偏振参数提取电路提取所述偏振参数。
(10)按照(7)所述的处理设备，还包括：
分析电路，被配置成分析所述多个图像；和
处理选择电路，被配置成基于所述分析电路的分析结果，在所述多个图像的第一处理和所述多个图像的第二处理之间进行选择。
(11)按照(10)所述的处理设备，
其中，为了分析所述多个图像，所述分析电路被配置成
获取包含在获取的所述多个图像中的一个图像之中的像素值的直方图，
确定所述一个图像中的小于特定参考值的像素值的数目，
判定所述一个图像中的小于特定参考值的像素值的数目是否超过阈值，
响应于判定所述像素值的数目超过所述阈值，所述处理选择电路被配置成选择所述多个图像的第一处理，和
响应于判定所述像素值的数目未超过所述阈值，所述处理选择电路被配置成选择所述多个图像的第二处理。
(12)按照(10)所述的处理设备，
其中在所述多个图像的第一处理中，所述分割电路把所述多个图像中的所述一个或多个图像分割成多批分割图像。
(13)按照(10)所述的处理设备，
其中在所述多个图像的第二处理中，所述镜面反射分量除去电路基于由所述偏振参数提取电路提取的所述偏振参数，从所述多个图像中的所述一个或多个图像中除去镜面反射分量。
(14)一种方法，包括：
利用电路，获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光；和
利用所述电路，把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
(15)一种存储程序的非暂态计算机可读介质，所述程序使电子处理器执行一组操作，所述一组操作包括：
获取通过图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中的一个偏振方向上并且在多个预定波长带中的一个波长带之中的光；和
把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
此外，本技术还可具有以下配置。
(1)一种信号处理设备，包括：特征点检测单元，被配置成基于包括针对各波长带的多个检测区域的检测单元的输出，从包括在每个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件检测同一波长带中的光并包括彼此检测不同偏振方向上的光的相邻传感器元件；和图像处理单元，被配置成基于已检测的特征点拼接各个检测区域中的图像，以便构建比检测单元获取的一个图像更大的图像。
(2)按照在上述(1)中所述的信号处理设备，还包括：偏振参数提取单元，被配置成提取指示作为待检对象的检查对象的表面上的光的偏振状态的偏振参数；和镜面反射分量除去单元，被配置成基于偏振参数，从图像中除去检查对象的表面上的镜面反射分量。
(3)按照在上述(2)中所述的信号处理设备，对于包括数目与偏振方向的数目对应的传感器元件的每个集合，传感器元件是相邻地布置的，并且偏振参数提取单元基于与一个集合中的传感器元件中的不同偏振方向对应的传感器元件之间的输出差来提取偏振参数。
(4)按照在上述(2)中所述的信号处理设备，还包括偏振参数特征点检测单元，被配置成从包括映射的由偏振参数提取单元提取的偏振参数的图像中检测特征点。图像处理单元基于由偏振参数特征点检测单元检测的特征点来拼接每个检测区域中的图像。
(5)按照在上述(1)-(4)任意之一中所述的信号处理设备，还包括：分割单元，被配置成针对每个检测区域分割图像。
(6)按照在上述(5)中所述的信号处理设备，偏振参数提取单元提取偏振参数，并且随后分割单元进行每个检测区域的分割。
(7)按照在上述(5)中所述的信号处理设备，分割单元针对每个检测区域分割图像，并且随后偏振参数提取单元进行偏振参数的提取。
(8)按照在上述(5)中所述的信号处理设备，还包括：分析单元，被配置成对图像进行分析；和处理选择单元，被配置成按照分析单元的分析结果，选择第一处理和第二处理中的任意一个，所述第一处理为在偏振参数提取单元提取偏振参数之后，由分割单元对各个检测区域进行分割，所述第二处理为在分割单元针对每个检测区域分割图像之后，由偏振参数提取单元对偏振参数进行提取。
(9)按照在上述(6)中所述的信号处理设备，分析单元获取包含在获取的一个图像中的像素值的直方图，以便对于各个检测区域，获取比特定参考值小的像素值的数目作为分析结果。所述处理选择单元在所有检测区域中小于特定参考值的像素值的数目等于或大于阈值的情况下，选择第一处理，而在任意检测区域中小于特定参考值的像素值的数目小于所述阈值时，选择第二处理。
(10)按照在上述(8)或(9)中所述的信号处理设备，在第一处理中，所述分割单元分割由镜面反射分量除去单元基于偏振参数提取单元提取的偏振参数除去了镜面反射分量的图像。
(11)按照在上述(8)或(9)中所述的信号处理设备，在第二处理中，镜面反射分量除去单元基于偏振参数提取单元从分割单元分割的图像中提取的偏振参数，从分割单元分割的图像中除去镜面反射分量。
(12)一种信号处理方法，包括：基于包括针对各波长带的多个检测区域的检测单元的输出，从包括在每个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件检测同一波长带中的光并包括互相检测不同偏振方向上的光的相邻传感器元件；和基于已检测的特征点来拼接各个检测区域的图像，以便构建比检测单元获取的一个图像更大的图像。
(13)一种使计算机执行信号处理的程序，所述信号处理包括：基于包括针对各波长带的多个检测区域的检测单元的输出，从包括在每个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件检测同一波长带中的光并包括互相检测不同偏振方向上的光的相邻传感器元件；和基于已检测的特征点来拼接各个检测区域的图像，以便构建比检测单元获取的一个图像更大的图像。
(14)一种检查设备，包括：针对各波长带的多个检测区域，所述检测区域每个都包括布置成矩阵形状并检测相同波长的光的多个传感器元件。所述多个传感器元件包括互相检测不同偏振方向的光的相邻传感器元件，并且被布置成每个集合包括偏振方向的数目的传感器元件。
(15)按照在上述(14)中所述的检查设备，检测区域被形成为在第一方向上具有长矩形形状，并且当沿与第一方向正交的第二方向观察时，由检测设备检测的所有波长带的检测区域被布置在一个或多个地方。
(16)按照在上述(14)或(15)中所述的检查设备，第二方向是相对于作为待检对象的检查对象进行移动的移动方向。
(17)按照在上述(14)-(16)任意之一中所述的检查设备，当沿行方向和沿列方向观察时，由检测设备检测的所有波长带的检测区域被布置在一个或多个地方。
(18)按照在上述(14)-(17)任意之一中所述的检查设备，包括包含按行方向布置的4个和按列方向布置的4个的至少16个单元的传感器元件的检测区域分别是波长带的最小检测区域。
(19)按照在上述(14)-(18)任意之一中所述的检查设备，传感器元件检测3个或更多个偏振方向的光。
(20)按照在上述(14)-(19)任意之一中所述的检查设备，检测区域分别检测红色波长带中的光、绿色波长带中的光、蓝色波长带中的光和近红外波长带中的光。
(21)按照在上述(14)-(20)任意之一中所述的检查设备，还包括：配置成检测所有波长带中的非偏振光的检测区域。
(22)按照在上述(14)-(21)任意之一中所述的检查设备，还包括：包括布置成Bayer阵列的检测红色波长带中的非偏振光的传感器元件、检测绿色波长带中的非偏振光的传感器元件、和检测蓝色波长带中的非偏振光的传感器元件的检测区域。
(23)按照在上述(14)-(22)任意之一中所述的检查设备，一个集合中包括检测4个偏振方向的光的4个单元的传感器元件，并且传感器元件被布置成4×4矩阵。
(24)按照在上述(14)-(23)任意之一中所述的检查设备，还包括：信号处理单元，被配置成进行基于传感器元件检测的检测值，生成具有比一次检测的大小宽的范围的图像的信号处理。
(25)一种信号处理方法，包括：基于包含针对各波长带的多个检测区域的检测单元的输出，从包括在各个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件包括互相检测不同偏振方向上的光的相邻传感器元件，所述检测区域每个都被配置成检测同一波长带中的光；和基于已检测的特征点来拼接各个检测区域的图像，以便构建比由检测单元获取的一个图像更大的图像。
(26)一种使计算机执行信号处理的程序，所述信号处理包括：基于包含针对各波长带的多个检测区域的检测单元的输出，从包括在各个检测区域中的图像中检测特征点，所述检测区域每个都包括多个传感器元件，所述多个传感器元件包括互相检测不同偏振方向上的光的相邻传感器元件，所述检测区域每个都被配置成检测同一波长带中的光；和基于已检测的特征点来拼接各个检测区域的图像，以便构建比由检测单元获取的一个图像更大的图像。
注意，本实施例不限于上述实施例，并且因此可以作出各种变型而不脱离本公开的精神。
附图标记列表
11 植被检测设备
12 检测设备
13 信号处理设备
21 图像数据分析单元
22 图像处理选择单元
23a 第一图像处理单元
23b 第二图像处理单元
24 拼接处理单元
31a和31b 偏振参数提取单元
32a和32b 镜面反射分量除去单元
33a和33b 图像分割单元
34a和34b 第一特征点检测单元
35a和35b 第二特征点检测单元
36a 第二图像分割单元
51 无人飞行器
104a、104b、104c和104d 旋翼
108a、108b、108c和108d 电动机
110 控制单元
120 通信单元
130 传感器单元
132 位置信息获取单元
140 存储单元
150 电池

Claims (15)

1.一种处理设备，包括：
电路，所述电路被配置成
获取通过同一图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中并且在多个预定波长带中的光，其中，所述图像传感器包括对于所述多个预定波长带的各个检测区域整体布置的检测相同波长带中的光的像素，并且彼此相邻的像素分别检测不同偏振方向的光；和
把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
2.按照权利要求1所述的处理设备，其中
所述电路还被配置成
把所述多个图像拼接在一起，以生成多个合成图像，所述多个合成图像中的每一个对应于所述多个预定偏振方向中的一个偏振方向和所述多个预定波长带中的一个波长带并且所述合成图像是所述多个合成图像中的一个，和
根据所述多个合成图像来生成最终的输出图像。
3.按照权利要求1所述的处理设备，其中
所述电路还被配置成
把所述多个图像拼接在一起，以生成第一多个合成图像，所述第一多个合成图像中的每一个对应于所述多个预定偏振方向中的一个偏振方向和所述多个预定波长带中的一个波长带并且所述合成图像是所述第一多个合成图像中的一个，
对所述第一多个合成图像进行偏振拟合处理，以生成第二多个合成图像，所述第二多个合成图像中的每一个对应于所述多个预定波长带中的一个波长带，和
根据所述第二多个合成图像来生成最终的输出图像。
4.按照权利要求1所述的处理设备，还包括：
偏振参数提取电路，被配置成从所述多个图像中的一个或多个图像中提取指示检查对象的表面上的光的偏振状态的偏振参数；和
镜面反射分量除去电路，被配置成基于所述偏振参数，从所述多个图像中的所述一个或多个图像中除去检查对象的表面上的镜面反射分量。
5.按照权利要求4所述的处理设备，其中
所述多个图像是从相邻地布置在一起的传感器元件获取的，
所述传感器元件的数目对应于所述多个预定偏振方向的数目，和
所述偏振参数提取电路还被配置成基于所述传感器元件之间的输出差来提取所述偏振参数。
6.按照权利要求4所述的处理设备，还包括：
偏振参数特征点检测电路，被配置成从所述多个图像中的所述一个或多个图像中检测特征点，
其中，为了把与所述单个偏振方向和来自所述多个预定波长带的所述单个预定波长带对应的所述多个图像的所述至少一部分拼接在一起以生成合成图像，所述电路还被配置成基于所述特征点来拼接所述多个图像的所述至少一部分。
7.按照权利要求6所述的处理设备，还包括：
分割电路，被配置成把所述多个图像分割成多批分割图像，每批分割图像至少部分基于所述多个预定波长带中的一个波长带。
8.按照权利要求7所述的处理设备，
其中所述偏振参数提取电路还被配置成响应于提取所述偏振参数，控制所述分割电路把所述多个图像分割成所述多批分割图像。
9.按照权利要求7所述的处理设备，其中
所述分割电路还被配置成响应于把所述多个图像分割成所述多批分割图像，控制所述偏振参数提取电路提取所述偏振参数。
10.按照权利要求7所述的处理设备，还包括：
分析电路，被配置成分析所述多个图像；和
处理选择电路，被配置成基于所述分析电路的分析结果，在所述多个图像的第一处理和所述多个图像的第二处理之间进行选择。
11.按照权利要求10所述的处理设备，
其中，为了分析所述多个图像，所述分析电路被配置成
获取包含在获取的所述多个图像中的一个图像之中的像素值的直方图，
确定所述一个图像中的小于特定参考值的像素值的数目，
判定所述一个图像中的小于特定参考值的像素值的数目是否超过阈值，
响应于判定所述像素值的数目超过所述阈值，所述处理选择电路被配置成选择所述多个图像的第一处理，和
响应于判定所述像素值的数目未超过所述阈值，所述处理选择电路被配置成选择所述多个图像的第二处理。
12.按照权利要求10所述的处理设备，
其中在所述多个图像的第一处理中，所述分割电路把所述多个图像中的所述一个或多个图像分割成多批分割图像。
13.按照权利要求10所述的处理设备，
其中在所述多个图像的第二处理中，所述镜面反射分量除去电路基于由所述偏振参数提取电路提取的所述偏振参数，从所述多个图像中的所述一个或多个图像中除去镜面反射分量。
14.一种图像处理方法，包括：
利用电路，获取通过同一图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中并且在多个预定波长带中的光，其中，所述图像传感器包括对于所述多个预定波长带的各个检测区域整体布置的检测相同波长带中的光的像素，并且彼此相邻的像素分别检测不同偏振方向的光；和
利用所述电路，把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
15.一种存储程序的非暂态计算机可读介质，所述程序使电子处理器执行一组操作，所述一组操作包括：
获取通过同一图像传感器时序地捕获的多个图像，所述多个图像中的每个图像基于在多个预定偏振方向中并且在多个预定波长带中的光，其中，所述图像传感器包括对于所述多个预定波长带的各个检测区域整体布置的检测相同波长带中的光的像素，并且彼此相邻的像素分别检测不同偏振方向的光；和
把与单个偏振方向和来自所述多个预定波长带的单个预定波长带对应的所述多个图像的至少一部分拼接在一起以生成合成图像。
CN201780048126.8A 2016-08-17 2017-08-03 信号处理设备、信号处理方法和非暂态计算机可读介质 Expired - Fee Related CN109565545B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-159853 2016-08-17
JP2016159853A JP6697680B2 (ja) 2016-08-17 2016-08-17 信号処理装置、信号処理方法、およびプログラム
PCT/JP2017/028288 WO2018034165A1 (en) 2016-08-17 2017-08-03 Signal processing device, signal processing method, and program

Publications (2)

Publication Number Publication Date
CN109565545A CN109565545A (zh) 2019-04-02
CN109565545B true CN109565545B (zh) 2021-03-12

Family

ID=60953921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780048126.8A Expired - Fee Related CN109565545B (zh) 2016-08-17 2017-08-03 信号处理设备、信号处理方法和非暂态计算机可读介质

Country Status (5)

Country Link
US (1) US10776901B2 (zh)
EP (1) EP3491817B1 (zh)
JP (1) JP6697680B2 (zh)
CN (1) CN109565545B (zh)
WO (1) WO2018034165A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
CN110087004B (zh) * 2019-04-23 2021-07-13 Oppo广东移动通信有限公司 一种单色偏振式cis及图像处理方法、存储介质
EP4044574A4 (en) * 2019-10-07 2022-11-09 Sony Semiconductor Solutions Corporation ELECTRONIC DEVICE
CN110855897B (zh) * 2019-12-20 2021-10-15 维沃移动通信有限公司 图像拍摄方法、装置、电子设备及存储介质
JP7523940B2 (ja) 2020-04-24 2024-07-29 株式会社Ｎｔｔドコモ 撮影装置および情報処理装置
US11831858B2 (en) * 2020-05-08 2023-11-28 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on referential image blurring
DE102022201523A1 (de) * 2021-09-10 2023-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ein Bildsensor, ein Verfahren zum Betreiben eines Bildsensors, ein Verfahren zum Herstellen eines Bildsensors und ein stationäres Gerät oder ein Fahrzeug oder eine Drohne mit einem Bildsensor
US20230370563A1 (en) * 2022-05-11 2023-11-16 The Boeing Company Multi-spectral and panchromatic imaging apparatus and associated system and method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790188A (en) * 1995-09-07 1998-08-04 Flight Landata, Inc. Computer controlled, 3-CCD camera, airborne, variable interference filter imaging spectrometer system
US7557918B1 (en) * 2006-04-05 2009-07-07 Itt Manufacturing Enterprises, Inc. Spectral polarimetric image detection and analysis methods and apparatus
CN105785395A (zh) * 2016-03-17 2016-07-20 四川知周科技有限责任公司 一种多波长光束合成的相干多普勒激光测风雷达
CN105830364A (zh) * 2014-03-27 2016-08-03 华为技术有限公司 监测光性能参数的装置、方法和光传输系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4932978B1 (zh) 1969-06-10 1974-09-04
JP5259033B2 (ja) * 2001-08-03 2013-08-07 オリンパス株式会社 内視鏡システム
EP2034743A4 (en) * 2007-05-31 2014-03-05 Panasonic Corp IMAGE PROCESSING DEVICE
WO2009026258A1 (en) * 2007-08-17 2009-02-26 Oral Cancer Prevention International Inc. Feature dependent extended depth of focusing on semi-transparent biological specimens
US8463078B2 (en) * 2007-08-23 2013-06-11 Lockheed Martin Corporation Multi-bank TDI approach for high-sensitivity scanners
JP2009139356A (ja) * 2007-12-04 2009-06-25 Photonic Lattice Inc 偏光計測装置
JP2010104422A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 撮像システムおよび撮像方法
WO2012017600A1 (ja) 2010-08-04 2012-02-09 パナソニック株式会社 撮像素子および撮像装置
KR101087172B1 (ko) * 2011-07-13 2011-11-28 동국대학교 경주캠퍼스 산학협력단 고온 금속 표면 3차원 형상 추출 시스템 및 방법
US9813601B2 (en) * 2014-05-06 2017-11-07 Urugus S.A. Imaging device for scenes in apparent motion
US20160006954A1 (en) * 2014-07-03 2016-01-07 Snap Vision Technologies LLC Multispectral Detection and Processing From a Moving Platform
JP6447121B2 (ja) * 2014-12-26 2019-01-09 株式会社リコー 画像処理装置、画像処理方法、撮像システム、画像処理システム、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790188A (en) * 1995-09-07 1998-08-04 Flight Landata, Inc. Computer controlled, 3-CCD camera, airborne, variable interference filter imaging spectrometer system
US7557918B1 (en) * 2006-04-05 2009-07-07 Itt Manufacturing Enterprises, Inc. Spectral polarimetric image detection and analysis methods and apparatus
CN105830364A (zh) * 2014-03-27 2016-08-03 华为技术有限公司 监测光性能参数的装置、方法和光传输系统
CN105785395A (zh) * 2016-03-17 2016-07-20 四川知周科技有限责任公司 一种多波长光束合成的相干多普勒激光测风雷达

Also Published As

Publication number Publication date
EP3491817A1 (en) 2019-06-05
JP6697680B2 (ja) 2020-05-27
US20190188827A1 (en) 2019-06-20
JP2018029250A (ja) 2018-02-22
US10776901B2 (en) 2020-09-15
EP3491817B1 (en) 2020-09-30
CN109565545A (zh) 2019-04-02
WO2018034165A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
CN109565545B (zh) 信号处理设备、信号处理方法和非暂态计算机可读介质
CN109565578B (zh) 检查设备和检查方法
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
EP3109826A2 (en) Using 3d vision for automated industrial inspection
US10951835B1 (en) Imaging device, method, and storage medium
US11158039B2 (en) Using 3D vision for automated industrial inspection
US11423632B2 (en) Device and method for determining surface irregularities with irradiation angle
JP7151873B2 (ja) 検査装置
JP7170609B2 (ja) 画像処理装置、測距装置、方法及びプログラム
JP2018029250A5 (zh)
CN110035281B (zh) 一种坏点检测方法、装置及电子设备
EP3499178B1 (en) Image processing system, image processing program, and image processing method
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11049249B2 (en) Method, apparatus and system for cell detection
JP5256400B2 (ja) コイルばねの形状測定装置と形状測定方法
Valocký et al. Measure distance between camera and object using camera sensor
US10614275B2 (en) Position specifying apparatus and position specifying method
KR102702961B1 (ko) 이미지로부터 객체를 식별하기 위한 전자 장치 및 방법
CN113228629A (zh) 摄像装置
CN118317212A (zh) 一种校正图像动态坏点的方法及装置
CN103891274A (zh) 用于匹配自适应颜色滤波器的滤波器特性以及用于运行图像摄取装置的方法和设备
JPH07260574A (ja) 色判定装置および判定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210312