CN114120264A - 区域提取装置及方法以及对象物检测装置及方法 - Google Patents

区域提取装置及方法以及对象物检测装置及方法 Download PDF

Info

Publication number
CN114120264A
CN114120264A CN202111000352.3A CN202111000352A CN114120264A CN 114120264 A CN114120264 A CN 114120264A CN 202111000352 A CN202111000352 A CN 202111000352A CN 114120264 A CN114120264 A CN 114120264A
Authority
CN
China
Prior art keywords
region
band
narrow
image
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111000352.3A
Other languages
English (en)
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN114120264A publication Critical patent/CN114120264A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

提供一种能够将摄像区域中可能存在目标对象物的区域作为判定区域而适当地进行提取的、目标对象物检测的前阶段的区域提取装置及方法、以及通过使用区域提取结果能够有效地检测目标对象物的对象物检测装置及方法，所述目标对象物发出具有特定的窄波段的发光光谱的光。区域提取方法从多光谱照相机获取包含与目标对象物所发出的光的第1窄波段相对应的第2窄波段的图像、及与第2窄波段不同的第3窄波段的图像的多个图像，步骤(S100)。接着，根据所获取的多个图像，在摄像区域中将发出具有第1窄波段的发光光谱以外的发光光谱的光的区域判定为非判定区域，将从摄像区域去除非判定区域的1至多个区域作为判定区域进行提取，步骤(S110)～步骤(S130)。

Description

区域提取装置及方法以及对象物检测装置及方法
技术领域
本发明涉及区域提取装置及方法以及对象物检测装置及方法，尤其涉及一 种将摄像区域中可能存在目标对象物的区域作为判定区域进行提取的技术、及 使用提取结果检测目标对象物的技术。
背景技术
要求仅检测发出具有特定的波长的光的目标对象物的技术。
例如，能够自动识别LED(Light Emitting Diode：发光二极管)化不断 发展的交通信号灯的照相机和图像识别技术有望成为十字路口的监控照相机及 自动驾驶汽车的车载照相机。
在专利文献1中，记载有检测由LED构成的交通信号灯的蓝色信号灯、黄色 信号灯及红色信号灯的监控用照相机装置。
专利文献1中所记载的监控用照相机具备：信号灯检测机构，检测固体成 像元件的摄像区域内的由交通信号灯的LED构成的信号灯的点亮；点亮/熄灭区 域检测机构，检测周期性地反复所检测到的各信号灯的点亮→熄灭→点亮的点 亮/熄灭区域；及RGB比率检测机构，检测从点亮/熄灭区域检测机构输出的点 亮/熄灭区域的RGB信号的比率，将摄像区域内以横向或纵向且3个串联且周期 性地反复点亮/熄灭的像素的xy坐标值表示的区域设为存在红色信号灯、黄色 信号灯及蓝色信号灯的区域，从3个点亮/熄灭的点亮/熄灭区域中的固体成像 元件的红(R)、绿(G)、蓝(B)的颜色信号(RGB信号)的比率特定红色信 号灯、黄色信号灯及蓝色信号灯。
并且，在专利文献2中，记载有筛选纸币、有价证券等正品和赝品的技 术。
在正品的纸币等中，存在辐射(反射)特定的窄波段的光的特殊油墨。关 于专利文献2中记载的方法，进行包含特定的窄波段和其他波长的第1波段内的 辐射的检测、和实质上仅包含其他波长的第2波段内的辐射的检测，并通过比 较所检测到的2个辐射的电平来确定特定的窄波段的辐射的存在(特殊油墨的 存在)。
以往技术文献
专利文献
专利文献1：日本特开2014-32436号公报
专利文献2：日本特表2001-516012号公报
发明内容
发明要解决的技术课题
专利文献1中记载的监控用照相机利用交通信号灯的蓝色信号灯、黄色信 号灯及红色信号灯依次点亮/熄灭，检测存在蓝色信号灯、黄色信号灯及红色 信号灯的区域，专利文献1中记载的发明不限于检测的目标对象物如由监控用 照相机所拍摄到的交通信号灯那样，存在于摄像区域内的同一位置的对象物。
并且，专利文献2中记载的方法为筛选纸币、有价证券等的正品和赝品的 方法，尤其应检测的目标对象物为使用于正品的纸币等的、辐射特定的窄波段 的光的特殊油墨，特殊油墨应存在的位置受到限制。
即，专利文献1、2中记载的技术均以目标对象物存在于摄像区域的特定的 位置为前提，无法检测存在于摄像区域的任意的位置的目标对象物。
本发明是鉴于这种情况而完成的，其目的在于提供一种，能够将摄像区域 中可能存在发出具有特定的窄波段的发光光谱的光的目标对象物的区域作为判 定区域而进行适当提取的、目标对象物检测的前阶段的区域提取装置及方法、 以及通过使用区域提取结果能够有效地检测目标对象物的对象物检测装置及方 法。
用于解决技术课题的手段
为了达成上述目的，第1方式所涉及的发明为一种区域提取装置，其具备 将摄像区域中可能存在目标对象物的区域作为判定区域进行提取的处理器，其 中，目标对象物发出具有第1窄波段的发光光谱的光，处理器进行如下处理： 图像获取处理，从多光谱照相机获取包含与第1窄波段相对应的第2窄波段的图 像、及与第2窄波段不同的第3窄波段的图像的多个图像；非判定区域确定处 理，根据多个图像中的除所述第2窄波段的图像以外的图像，在摄像区域中检 测发出具有第1窄波段的发光光谱以外的发光光谱的光的区域，并将检测到的 区域确定为非判定区域；及判定区域提取处理，将从摄像区域去除非判定区域的1至多个区域作为判定区域进行提取。
根据本发明的第1方式，根据多个图像中的除第2窄波段的图像以外的图像 在摄像区域中检测具有第1窄波段的发光光谱的光发光或反射的区域(即，不 具有目标对象物发光或反射的第1窄波段的发光光谱的区域)。在如此检测到 的区域中，至少包含与目标对象物的发光光谱的光不同的发光光谱的光，因此 不存在目标对象物。因此，将不存在目标对象物的区域视为非判定区域，从可 能存在目标对象物的区域排除。即，将从摄像区域排除非判定区域的剩余的区 域作为可能存在目标对象物的区域(判定区域)进行提取。
作为目标对象物检测处理的前处理，通过缩小可能存在目标对象物的判定 区域，目标对象物的检测性能“提高”。
在此，“提高”包括如下两个方面的性能提高：(a)在非判定区域的 “伪对象物”原本就是判定对象外，因此不会发生误检测(抑制误检测)； (b)在摄像区域中判定区域变少(被严格筛选)，因此目标对象物的判定处 理的处理时间减少(缩短处理时间)。
在本发明的第2方式所涉及的区域提取装置中，优选第2窄波段的中心波长 处于距第1窄波段的中心波长小于第1窄波段的发光光谱的半值宽度的范围，第 3窄波段的中心波长从第2窄波段的中心波长离开第1窄波段的发光光谱的半值 宽度以上。
在本发明的第3方式所涉及的区域提取装置中，优选第2窄波段的中心波长 与第1窄波段的中心波长一致，且第2窄波段的带宽为第1窄波段的带宽以内。 第2窄波段的中心波长与第1窄波段的中心波长一致并不限于完全一致的情况， 也包括大致一致的情况。
在本发明的第4方式所涉及的区域提取装置中，优选目标对象物产生与商 用电源的频率相对应的频率的频闪，非判定区域确定处理在摄像区域中将不产 生频闪的区域设为非判定区域。
在本发明的第5方式所涉及的区域提取装置中，优选非判定区域确定处理 将摄像区域中的下方的三分之一以下的区域设为非判定区域。例如，这是因为 利用车载的多光谱照相机拍摄前方的情况下，交通信号灯通常不存在于车载照 相机的摄像区域的下方的三分之一以下的区域。
在本发明的第6方式所涉及的区域提取装置中，优选目标对象物为具有发 光二极管的发光体。例如，能够将由发光二极管构成的交通信号灯设为目标对 象物。
关于本发明的第7方式所涉及的对象物检测装置，其具备上述的区域提取 装置，处理器进行如下判定处理，即，根据包含第2窄波段的图像及第3窄波段 的图像的多个窄波段的图像，判定判定区域内的对象物是否为目标对象物。
在本发明的第8方式所涉及的对象物检测装置中，优选图像获取处理从多 光谱照相机获取第2窄波段的图像、第3窄波段的图像、及夹着第2窄波段处于 与第3窄波段相反的一侧的第4窄波段的图像，判定处理从判定区域内的第2窄 波段的图像减去判定区域内的第3窄波段的图像及第4窄波段的图像，根据进行 了减去的减法结果，判定判定区域内的对象物是否为目标对象物。
根据本发明的第8方式，通过从第2窄波段的图像减去该第2窄波段的两个 相邻的第3窄波段的图像及第4窄波段的图像，能够仅良好地检测出发出第1窄 波段的发光光谱的光的目标对象物。
在本发明的第9方式所涉及的对象物检测装置中，图像获取处理从多光谱 照相机获取第2窄波段的图像、第3窄波段的图像、及夹着第2窄波段处于与第3 窄波段相反的一侧的第4窄波段的图像，判定处理利用判定区域内的第2窄波段 的图像、第3窄波段的图像及第4窄波段的图像和对每个图像所设定的权重系数 进行积和运算，根据进行了积和运算的运算结果，判定判定区域内的对象物是 否为目标对象物。
根据本发明的第9方式，通过利用判定区域内的第2窄波段的图像、第3窄 波段的图像及第4窄波段的图像的3个图像和对每个图像所设定的权重系数进行 积和运算，能够更良好地仅检测出发出第1窄波段的发光光谱的光的目标对象 物。
在本发明的第10方式所涉及的对象物检测装置中，图像获取处理从多光谱 照相机获取第2窄波段的图像、第3窄波段的图像、及夹着第2窄波段处于与第3 窄波段相反的一侧的第4窄波段的图像，判定处理利用判定区域内的第2窄波段 的图像、第3窄波段的图像及第4窄波段的图像和对每个图像所设定的权重系数 进行积和运算，对进行了积和运算的运算结果进一步进行非线性运算，根据非 线性运算的结果，判定判定区域内的对象物是否为目标对象物。
根据本发明的第10方式，通过利用判定区域内的第2窄波段的图像、第3窄 波段的图像及第4窄波段的图像的3个图像和对每个图像所设定的权重系数进行 积和运算，进一步对进行了积和运算的运算结果进行非线性运算，能够进一步 良好地仅检测出发出第1窄波段的发光光谱的光的目标对象物。
在本发明的第11方式所涉及的对象物检测装置中，优选图像获取处理从多 光谱照相机获取第2窄波段的图像、第3窄波段的图像、及夹着第2窄波段处于 与第3窄波段相反的一侧的第4窄波段的图像，判定处理是基于学习完毕模型的 处理，所述学习完毕模型输入判定区域内的第2窄波段的图像、第3窄波段的图 像及第4窄波段的图像，并输出判定区域内的对象物是否为目标对象物的判定 结果。
本发明的第12方式所涉及的对象物检测装置中，优选目标对象物为交通信 号灯的蓝色信号灯、黄色信号灯及红色信号灯，图像获取处理从多光谱照相机 获取包含与蓝色信号灯、黄色信号灯及红色信号灯各自所发出的光的发光光谱 相对应的3个窄波段的各图像和与3个窄波段不同的3个以上的窄波段的图像在 内的多个窄波段的图像，处理器根据6个以上的窄波段的图像，检测交通信号 灯的哪一个信号灯在发光。
第13方式所涉及的发明是一种在摄像区域中可能存在目标对象物的区域作 为判定区域进行提取的基于处理器的区域提取方法，其中，目标对象物发出具 有第1窄波段的发光光谱的光，所述区域提取方法包括如下步骤：从多光谱照 相机获取包含与第1窄波段相对应的第2窄波段的图像、及与第2窄波段不同的 第3窄波段的图像的多个图像的步骤；根据多个图像中的除第2窄波段的图像以 外的图像，在摄像区域中检测发出具有第1窄波段的发光光谱以外的发光光谱 的光的区域，并将检测到的区域确定为非判定区域的步骤；及将从摄像区域去 除非判定区域的1至多个区域作为判定区域进行提取的步骤。
关于本发明的第14方式所涉及的对象物检测方法，其包括上述的区域提取 方法，处理器根据包含第2窄波段的图像及第3窄波段的图像的多个窄波段的图 像，判定判定区域内的对象物是否为目标对象物。
发明效果
根据本发明，能够将摄像区域中可能存在发出具有特定的窄波段的发光光 谱的光的目标对象物的区域作为判定区域适当地进行提取。并且，通过进行该 判定区域的提取处理作为目标对象物的检测处理的前处理，能够有效地在摄像 区域中检测发出具有特定的窄波段的发光光谱的光的目标对象物。
附图说明
图1是表示本发明所涉及的对象物检测装置的实施方式的概略结构图。
图2是表示多光谱照相机的实施方式的概略图。
图3是光瞳分割滤波器的主视图。
图4是窄波段滤波器的主视图。
图5是表示在窄波段滤波器部中设定的透射波长的一例的图。
图6是偏振滤波器的主视图。
图7是表示在偏振滤波器的各偏振滤波器部设定的偏振方向的一例的图。
图8是表示图像传感器的像素的排列的概略结构的图。
图9是表示图像传感器的概略结构的图。
图10是表示以图9的虚线部所示的像素的概略结构的剖视图。
图11是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
图12是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
图13是多光谱照相机的信号处理部的主要框图。
图14是表示处理器的实施方式的概略图。
图15是表示基于各判定处理部的判定处理的实施方式的概念图。
图16是表示判定处理部的其他变形例的概念图。
图17是表示多光谱照相机及判定处理部的变形例的概念图。
图18是表示本发明所涉及的对象物检测方法的实施方式的流程图。
图19是表示基于本发明的目标对象物的检测过程中的各种图像等的图。
图20是表示相对于本发明所涉及的对象物检测方法的比较例的流程图。
图21是表示基于比较例的目标对象物的检测过程中的各种图像等的图。
具体实施方式
以下，根据附图，对本发明所涉及的区域提取装置及方法、以及对象物检 测装置及方法的优选实施方式进行说明。
图1是表示本发明所涉及的对象物检测装置的实施方式的概略结构图。
图1所示的对象物检测装置1包括本发明所涉及的区域提取装置而构成。
如图1所示，对象物检测装置1由多光谱照相机10和处理器100构成。对象 物检测装置1是检测以特定的窄波段的波长发光或反射的目标对象物的装置， 在本例中，将由发光二极管(LED：Light Emitting Diode)构成的交通信号 灯的蓝色信号灯、黄色信号灯及红色信号灯作为检测的目标对象物。
交通信号灯所使用的蓝色LED、黄色LED及红色LED的发光中心波长分别为 503nm、592nm及630nm，发出波长宽度分别为30～50nm左右的窄波段的发光光 谱的光。
多光谱照相机10具有分别选择性地透射包含蓝色LED、黄色LED及红色LED 的各发光带的多个窄波段的光的多个窄波段滤波器，并同时拍摄分别透射多个 窄波段滤波器的多个图像。
<多光谱照相机>
图2是表示多光谱照相机的实施方式的概略图。
图2所示的多光谱照相机10具备撮像光学系统11、图像传感器20及信号处 理部30。
〔撮像光学系统〕
撮像光学系统11具备透镜12及光瞳分割滤波器14。透镜12将包含目标对象 物的被摄体的光学像成像于图像传感器20的受光面上。
光瞳分割滤波器14设置于撮像光学系统11的光瞳位置或其附近，将撮像光 学系统11的光瞳部分分割为9个光学区域。光瞳分割滤波器14重叠窄波段滤波 器16和偏振滤波器18而构成。
图3是光瞳分割滤波器的主视图。
如图3所示，光瞳分割滤波器14具有在周向上被9等分的9个光学区域Sj (j＝1、2、3、4、5、6、7、8、9)。以下，根据需要，将符号S1的光学区域 设为第1光学区域S1，将符号S2的光学区域设为第2光学区域S2，将符号S3的光 学区域设为第3光学区域S3，将符号S4的光学区域设为第4光学区域S4，将符号S5的光学区域设为第5光学区域S5，将符号S6的光学区域设为第6光学区域S6， 将符号S7的光学区域设为第7光学区域S7，将符号S8的光学区域设为第8光学区 域S8，将符号S9的光学区域设为第9光学区域S9来区分9个光学区域Sj。
各光学区域Sj设定为分别使不同波段的光透射。并且，在9个光学区域Sj 中，由第1光学区域S1、第2光学区域S2及第3光学区域S3构成的光学区域组、 由第4光学区域S4、第5光学区域S5及第6光学区域S6构成的光学区域组以及由 第7光学区域S7、第8光学区域S8及第9光学区域S9构成的光学区域组设定为使 偏振方向(透射偏振方位)互不相同的光透射。这种结构通过组合以下结构的 窄波段滤波器16及偏振滤波器18来实现。
图4是窄波段滤波器的主视图。
窄波段滤波器16具有在周向上被9等分的9个窄波段滤波器部F1～F9。以 下，根据需要，将符号F1的窄波段滤波器部设为第1窄波段滤波器部F1，将符 号F2的窄波段滤波器部设为第2窄波段滤波器部F2，将符号F3的窄波段滤波器 部设为第3窄波段滤波器部F3，将符号F4的窄波段滤波器部设为第4窄波段滤波 器部F4，将符号F5的窄波段滤波器部设为第5窄波段滤波器部F5，将符号F6的 窄波段滤波器部设为第6窄波段滤波器部F6，将符号F7的窄波段滤波器部设为 第7窄波段滤波器部F7，将符号F8的窄波段滤波器部设为第8窄波段滤波器部 F8，将符号F9的窄波段滤波器部设为第9窄波段滤波器部F9来区分9个窄波段滤波器部F1～F9。
各窄波段滤波器部F1～F9分别与光瞳分割滤波器14的各光学区域S1～S9相 对应。即，第1窄波段滤波器部F1与第1光学区域S1相对应，第2窄波段滤波器 部F2与第2光学区域S2相对应，第3窄波段滤波器部F3与第3光学区域S3相对 应，第4窄波段滤波器部F4与第4光学区域S4相对应，第5窄波段滤波器部F5与 第5光学区域S5相对应，第6窄波段滤波器部F6与第6光学区域S6相对应，第7窄 波段滤波器部F7与第7光学区域S7相对应，第8窄波段滤波器部F8与第8光学区 域S8相对应，第9窄波段滤波器部F9与第9光学区域S9相对应。
各窄波段滤波器部F1～F9由分别使不同的窄波段的光透射的带通滤波器构 成。
图5是表示在各窄波段滤波器部中设定的透射波长的一例的图。
将透射第1窄波段滤波器部F1的光的波段设为第1波段Δf1，将透射第2窄 波段滤波器部F2的光的波段设为第2波段Δf2，将透射第3窄波段滤波器部F3的 光的波段设为第3波段Δf3，将透射第4窄波段滤波器部F4的光的波段设为第4 波段Δf4，将透射第5窄波段滤波器部F5的光的波段设为第5波段Δf5，将透射 第6窄波段滤波器部F6的光的波段设为第6波段Δf6，将透射第7窄波段滤波器 部F7的光的波段设为第7波段Δf7，将透射第8窄波段滤波器部F8的光的波段设 为第8波段Δf8，将透射第9窄波段滤波器部F9的光的波段设为第9波段Δf9。
优选第2波段Δf2为与蓝色LED的波段相对应的波段，第2波段Δf2的中心 波长与蓝色LED的中心波长(503nm)一致，第2波段Δf2的带宽在蓝色LED的波 段的带宽以内。另外，第2波段Δf2的中心波长并不限于与蓝色LED的中心波长 (503nm)完全一致的情况，包含大致一致的情况，至少是距蓝色LED的中心波 长小于蓝色LED的发光光谱的半值宽度的范围即可。
第1波段Δf1的中心波长为503nm-λ1，比第2波段Δf2的中心波长(蓝色 LED的中心波长(503nm))短λ1，第3波段Δf3的中心波长为503nm+λ3，比 第2波段Δf2的中心波长长λ3。即，第3波段Δf3与第1波段Δf1、第2波段 Δf2不同，是夹着第2波段Δf2处于与第1波段Δf1相反的一侧的波段。
并且，优选λ1、λ3分别为从第2波段Δf2的中心波长离开蓝色LED的发光 光谱的半值宽度以上的值。
优选第5波段Δf5为与黄色LED的波段相对应的波段，第5波段Δf5的中心 波长与黄色LED的中心波长(592nm)一致，第5波段Δf5的带宽为黄色LED的波 段的带宽以内。
第4波段Δf4及第6波段Δf6分别为夹着第5波段Δf5的前后的波段，第4波 段Δf4的中心波长为592nm-λ4、第6波段Δf6的中心波长为592nm+λ6。优选 λ4、λ6分别为从第5波段Δf5的中心波长离开黄色LED的发光光谱的半值宽度 以上的值。
优选第8波段Δf8为与红色LED的波段相对应的波段，第8波段Δf8的中心 波长与红色LED的中心波长(630nm)一致，第8波段Δf8的带宽在红色LED的波 段的带宽以内。
第7波段Δf7及第9波段Δf9分别为夹着第8波段Δf8的前后的波段，第7波 段Δf7的中心波长为630nm-λ7、第9波段Δf9的中心波长为630nm+λ9。优选 λ7、λ9分别为从第8波段Δf8的中心波长离开红色LED的发光光谱的半值宽度 以上的值。
图6是偏振滤波器的主视图。
偏振滤波器18具有在周向上分割为3等份的3个偏振滤波器部G1～G3。以 下，根据需要，将符号G1的偏振滤波器部设为第1偏振滤波器部G1，将符号G2 的偏振滤波器部设为第2偏振滤波器部G2，将符号G3的偏振滤波器部设为第3偏 振滤波器部G3来区分3个偏振滤波器部G1～G3。第1偏振滤波器部G1与光瞳分割 滤波器14的第1光学区域S1～第3光学区域S3相对应，第2偏振滤波器部G2与光 瞳分割滤波器14的第4光学区域S4～第6光学区域S6相对应，第3偏振滤波器部 G3与光瞳分割滤波器14的第7光学区域S7～第9光学区域S9相对应。
图7是表示设定于偏振滤波器的各偏振滤波器部的偏振方向的一例的图。
偏振方向(透射偏振方位)在与光轴L正交的XY平面上由偏振透射轴与X轴 所成的角度(方位角)表示。图7中，符号Aa表示第1偏振滤波器部G1的偏振透 射轴，符号Ab表示第2偏振滤波器部G2的偏振透射轴，符号Ac表示第3偏振滤波 器部G3的偏振透射轴。
如图7所示，各偏振滤波器部G1～G3具有分别使不同偏振方向(透射偏振 方位)的光透射的结构。将透射第1偏振滤波器部G1的光的偏振方向(透射偏 振方位)设为α1，将透射第2偏振滤波器部G2的光的偏振方向(透射偏振方 位)设为α2，将透射第3偏振滤波器部G3的光的偏振方向(透射偏振方位)设 为α3。在本实施方式的多光谱照相机10中，第1偏振滤波器部G1被设定为透射 方位角0°(α1＝0°)的光，第2偏振滤波器部G2被设定为透射方位角60° (α2＝60°)的光，第3偏振滤波器部G3被设为透射方位角120° (α3＝120°)的光。
通过在同一轴上重叠以上结构的窄波段滤波器16及偏振滤波器18来构成光 瞳分割滤波器14。该光瞳分割滤波器14如下发挥作用。
通过光瞳分割滤波器14的第1光学区域S1的光通过窄波段滤波器16的第1窄 波段滤波器部F1及偏振滤波器18的第1偏振滤波器部G1。因此，第1波段Δf1的 光从第1光学区域S1沿着偏振方向α1偏振(直线偏振)而射出。通过光瞳分割 滤波器14的第2光学区域S2的光通过窄波段滤波器16的第2窄波段滤波器部F2及 偏振滤波器18的第1偏振滤波器部G1。因此，第2波段Δf2的光从第2光学区域 S2沿着偏振方向α1偏振(直线偏振)而射出。通过光瞳分割滤波器14的第3光 学区域S3的光通过窄波段滤波器16的第3窄波段滤波器部F3及偏振滤波器18的 第1偏振滤波器部G1。因此，第3波段Δf3的光从第3光学区域S3沿着偏振方向 α1偏振(直线偏振)而射出。
并且，通过光瞳分割滤波器14的第4光学区域S4的光通过窄波段滤波器16 的第4窄波段滤波器部F4及偏振滤波器18的第2偏振滤波器部G2。因此，第4波 段Δf4的光从第4光学区域S4沿着偏振方向α2偏振(直线偏振)而射出。通过 光瞳分割滤波器14的第5光学区域S5的光通过窄波段滤波器16的第5窄波段滤波 器部F5及偏振滤波器18的第2偏振滤波器部G2。因此，第5波段Δf5的光从第5 光学区域S5沿着偏振方向α2偏振(直线偏振)而射出。通过光瞳分割滤波器 14的第6光学区域S6的光通过窄波段滤波器16的第6窄波段滤波器部F6及偏振滤 波器18的第2偏振滤波器部G2。因此，第6波段Δf6的光从第6光学区域S6沿着偏振方向α2偏振(直线偏振)而射出。
并且，通过光瞳分割滤波器14的第7光学区域S7的光通过窄波段滤波器16 的第7窄波段滤波器部F7及偏振滤波器18的第3偏振滤波器部G3。因此，第7波 段Δf7的光从第7光学区域S7沿着偏振方向d3偏振(直线偏振)而射出。通过 光瞳分割滤波器14的第8光学区域S8的光通过窄波段滤波器16的第8窄波段滤波 器部F8及偏振滤波器18的第3偏振滤波器部G3。因此，第8波段Δf8的光从第8 光学区域S8沿着偏振方向α3偏振(直线偏振)而射出。通过光瞳分割滤波器 14的第9光学区域S9的光通过窄波段滤波器16的第9窄波段滤波器部F9及偏振滤 波器18的第3偏振滤波器部G3。因此，第9波段Δf9的光从第9光学区域S9沿着偏振方向α3偏振(直线偏振)而射出。
摄像光学系统11设置成能够整体沿着光轴L而前后移动。由此，进行调 焦。
〔图像传感器〕
图8是表示图像传感器的像素的排列的概略结构的图。
如图8所示，图像传感器20在其受光面上具有多个像素Pi(i＝1、2、3、 4、5、6、7、8、9)。像素Pi沿着水平方向(x方向)及垂直方向(y方向)以 规定间距有规律地排列。
本实施方式的图像传感器20由相邻的9个(3个×3个)的像素Pi构成一个 像素块PB(x，y)，该像素块PB(x，y)沿着水平方向(x方向)及垂直方向(y 方向)有规律地排列。以下，根据需要，将符号P1的像素设为第1像素P1，将 符号P2的像素设为第2像素P2，将符号P3的像素设为第3像素P3，将符号P4的像 素设为第4像素P4，将符号P5的像素设为第5像素P5，将符号P6的像素设为第6 像素P6，将符号P7的像素设为第7像素P7，将符号P8的像素设为第8像素P8，将 符号P9的像素设为第9像素P9来区分设置于一个像素块PB(x，y)的9个像素。各像素Pi分别接收不同特性的光。
图9是表示图像传感器的概略结构的图。图10是表示一个像素(图9的虚线 部分)的概略结构的剖视图。
图像传感器20具有像素阵列层21、偏振滤波元件阵列层23、光谱滤波元件 阵列层25及微透镜阵列层27。各层从像面侧朝向物体侧依次配置有像素阵列层 21、偏振滤波元件阵列层23、光谱滤波元件阵列层25、微透镜阵列层27。
像素阵列层21通过二维地排列多个光电二极管22而构成。一个光电二极管 22构成一个像素。各光电二极管22沿着水平方向(x方向)及垂直方向(y方 向)有规律地配置。
偏振滤波元件阵列层23通过二维地排列偏振方向(透射偏振方位)互不相 同的3种偏振滤波元件24A、24B、24C而构成。以下，根据需要，将符号24A的 偏振滤波元件设为第1偏振滤波元件24A，将符号24B的偏振滤波元件设为第2偏 振滤波元件24B，将符号24C的偏振滤波元件设为第3偏振滤波元件24C来区分3 种偏振滤波元件24A、24B、24C。
各偏振滤波元件24A、24B、24C以与像素阵列层21相同的间隔配置，且针 对每个像素设置。将透射第1偏振滤波元件24A的光的偏振方向(透射偏振方 位)设为β1，将透射第2偏振滤波元件24B的光的偏振方向(透射偏振方位) 设为β2，将透射第3偏振滤波元件24C的光的偏振方向(透射偏振方位)设为 β3。
在多光谱照相机10中，第1偏振滤波元件24A设定为透射方位角0° (β1＝0°)的光，第2偏振滤波元件24B设定为透射方位角60°(β2＝60°) 的光，第3偏振滤波元件24C设定为透射方位角120°(β3＝120°)的光。偏振 滤波元件24A、24B、24C为第2光学滤波器的一例。
在各像素块PB(x，y)中，有规律地排列有偏振滤波元件24A、24B、24C。
图11是表示设置于各像素块的偏振滤波元件的排列图案的一例的图。
如图11所示，在本实施方式的多光谱照相机10中，像素块内的第1列像素 即第1像素P1、第4像素P4及第7像素P7上设置有第1偏振滤波元件24A，像素块 内的第2列像素即第2像素P2、第5像素P5及第8像素P8上设置有第2偏振滤波元 件24B，像素块内的第3列像素即第3像素P3、第6像素P6及第9像素P9上设置有 第3偏振滤波元件24C。
光谱滤波元件阵列层25通过二维地排列光谱透射率互不相同的3种光谱滤 波元件26A、26B、26C而构成。以下，根据需要，将符号26A的光谱滤波元件设 为第1光谱滤波元件26A，将符号26B的光谱滤波元件设为第2光谱滤波元件 26B，将符号26C的光谱滤波元件设为第3光谱滤波元件26C来区分3种光谱滤波 元件26A、26B、26C。各光谱滤波元件26A、26B、26C以与光电二极管22相同的 间隔配置，且针对每个像素设置。
分光滤波元件26A、26B、26C使透射窄波段滤波器16的各窄波段滤波器部 F1～F9的光以分别不同的透射率透射。在多光谱照相机10中，第1分光滤波元 件26A具有使可见光的波段中短的波段的光更多地透射的特性，第2光谱滤波元 件26B具有使中间波段的光更多地透射的特性，第3光谱滤波元件26C具有使长 波段的光更多地透射的特性。例如，分光滤波元件26A、26B、26C可以为设置 于一般的彩色图像传感器的B、G、R的彩色滤波器。
图12是表示设置于各像素块的光谱滤波元件的排列图案的一例的图。
如图12所示，在各像素块PB(x，y)中，有规律地排列光谱滤波元件26A、 26B、26C。在本实施方式的多光谱照相机10中，像素块内的第1行像素即第1像 素P1、第2像素P2及第3像素P3上设置有第1光谱滤波元件26A，像素块内的第2 行像素即第4像素P4、第5像素P5及第6像素P6上设置有第2光谱滤波元件26B， 像素块内的第3行像素即第7像素P7、第8像素P8及第9像素P9上设置有第3光谱 滤波元件26C。
如图9所示，微透镜阵列层27通过二维地排列多个微透镜28而构成。各微 透镜28以与光电二极管22相同的间隔配置，且针对每个像素设置。微透镜28以 将来自摄像光学系统11的光高效地会聚于光电二极管22上为目的而设置。
如上构成的图像传感器20中，各像素块PB(x，y)中的各像素Pi如下接收 来自摄像光学系统11的光。
第1像素P1经由第1光谱滤波元件26A及第1偏振滤波元件24A接收来自摄像 光学系统11的光。第2像素P2经由第1光谱滤波元件26A及第2偏振滤波元件24B 接收来自摄像光学系统11的光。第3像素P3经由第1光谱滤波元件26A及第3偏振 滤波元件24C接收来自摄像光学系统11的光。
并且，第4像素P4经由第2光谱滤波元件26B及第1偏振滤波元件24A接收来 自摄像光学系统11的光。第5像素P5经由第2光谱滤波元件26B及第2偏振滤波元 件24B接收来自摄像光学系统11的光。并且，第6像素P6经由第2光谱滤波元件 26B及第3偏振滤波元件24C接收来自摄像光学系统11的光。
并且，第7像素P7经由第3光谱滤波元件26C及第1偏振滤波元件24A接收来 自摄像光学系统11的光。第8像素P8经由第3光谱滤波元件26C及第2偏振滤波元 件24B接收来自摄像光学系统11的光。第9像素P9经由第3光谱滤波元件26C及第 3偏振滤波元件24C接收来自摄像光学系统11的光。
如此，像素块PB(x，y)的各像素Pi通过具有不同组合的光谱滤波元件 26A、26B、26C和偏振滤波元件24A、24B、24C，分别接收不同特性的光。
〔信号处理部〕
图13是多光谱照相机的信号处理部的主要框图。
如图13所示，信号处理部30是处理从图像传感器20输出的图像信号以生成 在撮像光学系统11的各光学区域Sj中获取的图像数据的部分，并具备模拟信号 处理部30A、图像生成部30B及系数存储部30C。
从图像传感器20输出的图像信号被施加于模拟信号处理部30A。模拟信号 处理部30A包括采样保持电路、分色电路、AGC(Automatic Gain Control；自 动增益控制)电路等。AGC电路发挥调整拍摄时的灵敏度(ISO灵敏度(ISO： International Organization forStandardization，国际标准化组织))的 灵敏度调整部的功能，其调整放大所输入的图像信号的放大器的增益，以使图 像信号的信号电平进入适当的范围内。A/D转换器将从模拟信号处理部输出的 模拟图像信号转换成数字图像信号。另外，在图像传感器20为CMOS型图像传感 器的情况下，模拟信号处理部及A/D转换器通常内置于CMOS型图像传感器内。
如图8所示，各像素块PB(x，y)中包括第1像素P1、第2像素P2、第3像素 P3、第4像素P4、第5像素P5、第6像素P6、第7像素P7、第8像素P8及第9像素 P9。
通过从各像素块PB(x，y)分离并提取第1像素P1、第2像素P2、第3像素P3、第4像素P4、第5像素P5、第6像素P6、第7像素P7、第8像素P8及第9像素P9 的像素信号，图像生成部30B生成9个图像数据D1～D9。
然而，在这些9个图像数据D1～D9中发生了干扰(串扰)。即，来自摄像 光学系统11的各光学区域Sj的光入射于各像素Pi，因此生成的图像会成为以规 定的比例混合各光学区域Sj的图像而成的图像。因此，图像生成部30B通过进 行以下运算处理来去除干扰(串扰)。
现在，将由各像素块PB(x，y)的第1像素P1获得的像素信号(信号值)设 为x1，将由第2像素P2获得的像素信号设为x2，将由第3像素P3获得的像素信号 设为x3，将由第4像素P4获得的像素信号设为x4，将由第5像素P5获得的像素信 号设为x5，将由第6像素P6获得的像素信号设为x6，将由第7像素P7获得的像素 信号设为x7，将由第8像素P8获得的像素信号设为x8，将由第9像素P9获得的像 素信号设为x9。从各像素块PB(x，y)可获得9个像素信号x1～x9。图像生成部 30B根据使用[数式1]所示的矩阵A的下述[数式2]式从这些9个像素信号x1～x9 计算与各光学区域S1～S9相对应的9个像素信号X1～X9，去除干扰。
[数式1]
Figure BDA0003233931440000151
[数式2]
Figure BDA0003233931440000161
另外，像素信号X1为与第1光学区域S1相对应的像素信号，像素信号X2为 与第2光学区域S2相对应的像素信号，像素信号X3为与第3光学区域S3相对应的 像素信号，像素信号X4为与第4光学区域S4相对应的像素信号，像素信号X5为 与第5光学区域S5相对应的像素信号，像素信号X6为与第6光学区域S6相对应的 像素信号，像素信号X7为与第7光学区域S7相对应的像素信号，像素信号X8为 与第8光学区域S8相对应的像素信号，像素信号X9为与第9光学区域S9相对应的 像素信号。
因此，从像素信号X1生成在第1光学区域S1中获取的图像，从像素信号X2 生成在第2光学区域S2中获取的图像，从像素信号X3生成在第3光学区域S3中获 取的图像，从像素信号X4生成在第4光学区域S4中获取的图像，从像素信号X5 生成在第5光学区域S5中获取的图像，从像素信号X6生成在第6光学区域S6中获 取的图像，从像素信号X7生成在第7光学区域S7中获取的图像，从像素信号X8 生成在第8光学区域S8中获取的图像，从像素信号X9生成在第9光学区域S9中获 取的图像。
以下，对能够根据上述[数式2]式去除干扰的理由进行说明。
干扰因来自各光学区域Sj的光混入各像素Pi中而发生。现在，假设入射于 摄像光学系统11的第j光学区域Sj(j＝1～9)的光被各像素块PB(x，y)的第i 像素Pi(i＝1～9)接收的比例(干扰量(还称为干扰比率))为bij(i＝1～ 9、j＝1～9)，则以下关系在由各像素块PB(x，y)的各像素Pi获得的像素信号 xi和与摄像光学系统11的各光学区域Sj相对应的像素信号Xj之间成立。
即，关于由第1像素P1获得的像素信号x1，以下式成立(“*”为乘法运算 的符号)。
[数式3]
b11*X1+b12*X2+b13*X3+b14*X4+b15*X5+b16*X6+b17*X7+b18*X8+b19*X9＝ x1
同样地，关于由第2像素P2～第9像素P9分别获得的像素信号x2～x9，与 [数式3]式相同的式成立。
而且，通过对X1～X9求解由9个式构成的联立方程式，能够获取原始图像 的像素信号(即，与各光学区域S1～S9相对应的像素信号X1～X9)。
在此，上述联立方程式能够由使用[数式4]矩阵B的[数式5]式表示。
[数式4]
Figure BDA0003233931440000171
[数式5]
Figure BDA0003233931440000181
由9个式构成的联立方程式的解即X1～X9能够通过在[数式5]式的两边乘以 矩阵B的逆矩阵B-1的、[数式6]式来计算。
[数式6]
Figure BDA0003233931440000182
如此，与各光学区域S1～S9相对应的像素信号X1～X9能够根据入射于摄像 光学系统11的各光学区域S1～S9的光被像素块PB(x，y)的各像素P1～P9接收 的比例从各像素P1～P9的信号值(像素信号)x1～x9来计算。
[数式2]式将[数式6]式的逆矩阵B-1设为矩阵A(B-1＝A)。因此，[数式2]式 中的矩阵A的各要素aij能够通过求出矩阵B的逆矩阵B-1来获取。矩阵B的各要素 bij(i＝1～9、j＝1～9)为入射于摄像光学系统11的第j光学区域Sj(j＝1～9) 的光被各像素块PB(x，y)的第i像素Pi(i＝1～9)接收的比例(干扰量)。在 将基于偏振的透射率设为c、将基于光谱透射率的透射率设为d的情况下，该比 例由透射率c与透射率d的乘积来计算。
在此，基于偏振的透射率c由透射光学区域的光的透射偏振方位与像素所 接收的光的透射偏振方位的角度差的余弦的平方来计算。
并且，基于光谱透射率的透射率d根据透射光学区域的光的波段和设置于 像素的光谱滤波元件的光谱透射率来求出。
例如，关于摄像光学系统11的第j光学区域Sj与图像传感器20的第i像素Pi 之间的关系，若将透射第j光学区域Sj的光的透射偏振方位设为θj，将第i像 素Pi所接收的光的透射偏振方位设为φi，则基于偏振的透射率c由它们的角度 差(|θj-φi|)的余弦(cos)的平方(cos2(|θj-φi|))来计算。
并且，基于光谱透射率的透射率d根据透射第j光学区域Sj的光的波段和设 置于第i像素Pi的光谱滤波元件26A、26B、26C的光谱透射率来求出。即，根据 设置于第i像素Pi的光谱滤波元件26A、26B、26C的光谱透射率从透射第j光学 区域Sj的光的波段求出。
图13所示的系数存储部30C将9行9列的矩阵A的各要素aij存储为系数组。 图像生成部30B从系数存储部30C获取系数组，根据上述[数式2]式从由各像素 块PR(x，y)的各像素P1～P9获得的像素信号x1～x9计算与摄像光学系统11的 各光学区域S1～S9相对应的像素信号X1～X9，生成各光学区域S1～S9的9个图 像数据。
即，本例的多光谱照相机10能够同时拍摄分别透射9个窄波段滤波器部 F1～F9的、第1波段Δf1～第9波段Δf9的9个图像。表示通过多光谱照相机10 同时拍摄到的第1波段Δf1～第9波段Δf9的图像的9个图像数据被输出到处理 器100。
<处理器>
图14是表示处理器的实施方式的概略图。
图14所示的处理器100包含CPU(Central Processing Unit：中央处单 元)、对图像数据进行特定的信号处理的专用电路等，从多光谱照相机10获取 第1波段Δf1～第9波段Δf9的9个图像数据，根据9个图像数据，作为将可能存 在目标对象物的区域作为判定区域进行提取的区域提取装置发挥功能，并且， 进行判定所提取到的判定区域内的对象物是否为目标对象物的判定处理(检测 目标对象物的处理)。
处理器100具备区域提取装置110、第1判定处理部120A、第2判定处理部 120B及第3判定处理部120C。
区域提取装置110进行从多光谱照相机10获取第1波段Δf1～第9波段Δf9 的多个(9个)图像数据的图像获取处理。接着，进行如下判定区域提取处 理：根据所获取到的9个图像数据中的、目标对象物所发出的光的发光光谱的 波段以外的图像数据，在摄像区域中检测发出具有目标对象物所发出的光的发 光光谱以外的发光光谱的光的区域，将所检测到的区域确定为不存在目标对象 物的非判定区域，将从摄像区域去除非判定区域的1至多个区域作为判定区域 进行提取。
本例的目标对象物为由LED构成的交通信号灯的蓝色信号灯、黄色信号灯 及红色信号灯。
区域提取装置110进行如下非判定区域确定处理：当检测点亮的蓝色信号 灯的情况下，根据第1波段Δf1～第9波段Δf9的9个图像数据中的、不包含或 大致不包含蓝色信号灯的发光光谱的第4波段Δf4～第9波段Δf9的6个图像数 据，将不存在点亮的蓝色信号灯的区域确定为非判定区域。
例如，对于摄像区域的某个像素Pj，可以根据9个图像数据中、不包含或 大致不包含蓝色信号灯的发光光谱的第4波段Δf4～第9波段Δf9的6个图像数 据，获取像素Pj的位置的6个像素数据，但只要6个像素数据中的任一个存在超 过阈值的像素数据的情况下，该像素Pi判定为不存在点亮的蓝色信号灯的区域 (非判定区域)的像素。通过对摄像区域的所有像素进行判定，能够判定不存 在点亮的蓝色信号灯的非判定区域。
区域提取装置110如上述确定不存在点亮的蓝色信号灯的非判定区域后， 将从摄像区域去除非判定区域的1至多个区域作为可能存在点亮的蓝色信号灯 的判定区域(第1判定区域)进行提取。
同样地，区域提取装置110进行不存在点亮的黄色信号灯的非判定区域的 判定的情况下，根据不包含或大致不包含黄色信号灯的发光光谱的第1波段 Δf1～第3波段Δf3、第8波段Δf8及第9波段Δf9的5个图像数据，判定不存在 点亮的黄色信号灯的非判定区域，当判定不存在点亮的黄色信号灯的非判定区 域后，将从摄像区域去除非判定区域的1至多个区域作为可能存在点亮的黄色 信号灯的判定区域(第2判定区域)进行提取。
并且，区域提取装置110进行不存在点亮的红色信号灯的非判定区域的判 定的情况下，根据不包含或大致不包含红色信号灯的发光光谱的第1波段 Δf1～第5波段Δf5的5个图像数据，判定不存在点亮的红色信号灯的非判定区 域，当判定不存在点亮的红色信号灯的非判定区域后，将从摄像区域去除非判 定区域的1至多个区域作为可能存在点亮的红色信号灯的判定区域(第3判定区 域)进行提取。
区域提取装置110将表示如上提取的第1判定区域的第1区域信息输出到第1 判定处理部120A，将表示第2判定区域的第2区域信息输出到第2判定处理部 120B，将表示第3判定区域的第3区域信息输出到第3判定处理部120C。
第1判定处理部120A、第2判定处理部120B及第3判定处理部120C分别判定 第1判定区域内的对象物、第2判定区域内的对象物及第3判定区域内的对象物 是否为目标对象物(点亮的蓝色信号灯、黄色信号灯及红色信号灯)。
〔判定处理部〕
图15是表示基于各判定处理部的判定处理的实施方式的概念图。
第1判定处理部120A输入第1波段Δf1～第3波段Δf3的3个图像数据及第1 区域信息，根据第1波段Δf1～第3波段Δf3的3个图像数据及第1区域信息，判 定第1判定区域内的对象物是否为目标对象物(点亮的蓝色信号灯)。
在第1判定区域内的对象物中，并不限于点亮的蓝色信号灯，也考虑存在 发出蓝色的光的其他发光体或者反射体。
发出蓝色的光的其他发光体或者反射体即使是蓝色，也不会如蓝色LED那 样发出中心波长为503nm、波长宽度为30～50nm左右的窄波段的光。
因此，第1判定处理部120A从中心波长与蓝色LED的中心波长一致的第2波 段Δf2的图像数据减去其前后的波段即第1波段Δf1的图像数据及第3波段Δf3 的图像数据，根据该减法结果，判定第1判定区域内的对象物是否为目标对象 物(蓝色LED的蓝色信号灯)。
当第1判定区域内的对象物为蓝色信号灯的情况下，减法结果不会大幅度 变小，但当如蓝色LED那样不具有发光光谱的其他发光体或者反射体的情况 下，减法结果会大幅度变小，或者成为负数。因此，第1判定处理部120A能够 根据上述减法结果判定第1判定区域内的对象物是否为点亮的蓝色信号灯。
同样地，第2判定处理部120B输入第4波段Δf4～第6波段Δf6的3个图像数 据及第2区域信息，根据第4波段Δf4～第6波段Δf6的3个图像数据及第2区域 信息，判定第2判定区域内的对象物是否为目标对象物(点亮的黄色信号 灯)。
并且，第3判定处理部120C输入第7波段Δf7～第9波段Δf9的3个图像数据 及第3区域信息，根据第7波段Δf7～第9波段Δf9的3个图像数据及第3区域信 息，判定第3判定区域内的对象物是否为目标对象物(点亮的红色信号灯)。
根据本发明，通过区域提取装置110将不存在目标对象物的区域确定为非 判定区域，通过进行将从摄像区域去除非判定区域的区域作为判定区域进行提 取的前处理，位于非判定区域的“伪对象物”原本就是判定对象外，因此能够 消除误检测(抑制误检测)，并且，由于在摄像区域中判定区域变少(被严格 筛选)，因此能够实现目标对象物的判定处理的处理时间的缩短。
并且，在判定区域中的目标对象物的判定处理中，通过对以第1窄波段的 发光光谱的光发光的目标对象物使用包含与第1窄波段相对应的第2窄波段和与 第2窄波段不同的第3窄波段(在本例中，前后的窄波段)的多个窄波段的图 像，以第1窄波段的发光光谱的光发光，但排除以宽于第1窄波段的波段发光的 “伪对象物”，由此能够仅检测目标对象物。
通过处理器100检测到的目标对象物(在本例中，交通信号灯的点亮的信 号灯)的摄像区域内的位置及点亮的信号灯的颜色的信息被输出到输出目的地 200。作为输出目的地200，考虑使用交通信号灯的信息的监控系统、自动驾驶 系统等。
图16是表示判定处理部的其他的变形例的概念图。
图16所示的第1判定处理部120-1判定第1判定区域内的对象物是否为蓝色 信号灯，使用第1判定区域内的第1波段Δf1～第5波段Δf5的5个图像数据。 即，第1判定处理部120-1除了使用中心波长与蓝色LED的中心波长一致的第2波 段Δf2的图像数据、其前后的波段即第1波段Δf1的图像数据及第3波段Δf3的 图像数据，还使用第4波段Δf4的图像数据及第5波段Δf5的图像数据，从第2 波段Δf2的图像数据减去去除第2波段Δf2的图像数据的2个以上的图像数据 (第1波段Δf1、第3波段Δf3～第5波段Δf5的4个图像数据)，根据其减法结 果进行基于非线性函数(f)的非线性处理，并通过非线性处理的结果判定第1判定区域内的对象物是否为蓝色信号灯。
作为非线性运算，例如，可以考虑相对于减法结果的基于阈值的2值化处 理。
图16所示的第2判定处理部120-2判定第2判定区域内的对象物是否为黄色 信号灯，以与第1判定处理部120-1相同的方式，输入5个图像数据。即，第2判 定处理部120-2除了使用中心波长与黄色LED的中心波长一致的第5波段Δf5的 图像数据、其前后的波段即第4波段Δf4的图像数据及第6波段Δf6的图像数 据，还使用在外侧相邻的第3波段Δf3的图像数据及第7波段Δf7的图像数据， 从第5波段Δf5的图像数据减去除了第5波段Δf5的图像数据的2个以上的图像 数据(第3波段Δf3、第4波段Δf4、第6波段Δf6及第7波段Δf7的4个图像数 据)，并根据该减法结果，判定第2判定区域内的对象物是否为黄色信号灯。
另外，可以利用包含第2判定区域内的第5波段Δf5的图像数据的3个以上 的图像数据(第3波段Δf3～第7波段Δf7的5个图像数据)和对每个图像(5个 图像数据的每一个)所设定的权重系数进行积和运算，并根据进行了积和运算 的运算结果，判定第2判定区域内的对象物是否为黄色信号灯。
在各判定处理部120-1、120-2中，不仅从与目标对象物相对应的波段的图 像单纯地减去前后相邻的波段的图像，还通过使用更多的波段的图像，实现目 标对象物的识别精度的提高。
第3判定处理部120-3判定第3判定区域内的对象物是否为红色信号灯，特 别是进行非线性处理(基于学习完毕模型的处理)。
学习完毕模型例如能够由卷积神经网络构成，是预先通过由多个波段的每 一个学习图像和其正解数据构成的学习数据集而进行机器学习的模型。
向第3判定处理部120-3中，输入作为第3判定区域的图像数据，即中心波 长与红色LED的中心波长一致的第8波段Δf8的图像数据，和其前后的波段即第 7波段Δf7的图像数据及第9波段Δf9的图像数据，输出表示第3判定区域内的 对象物是否为红色信号灯的识别结果。
为了便于说明，上述的各判定处理部120-1～120-3分别判定第1判定区 域、第2判定区域及第3判定区域的对象物是否为蓝色信号灯、黄色信号灯及红 色信号灯，但通过改变输入的多个波段的图像数据，也能够相互进行其他颜色 信号灯的判定是不言而喻的。
图17是表示多光谱照相机及判定处理部的变形例的概念图。
多光谱照相机10拍摄第1波段Δf1～第9波段Δf9的9个图像数据，但如图 17所示，也可以是省略中心波长为592nm+λ6的第6波段Δf6及中心波长为 630nm-λ7的第7波段Δf7，拍摄第1波段Δf1～第5波段Δf5、第8波段Δf8及 第9波段Δf9的7个图像数据的多光谱照相机。
当拍摄上述7个波段的图像数据的情况下，判定第2判定区域内的对象物是 否为黄色信号灯的第2判定处理部120B-1使用第4波段Δf4、第5波段Δf5及第8 波段Δf8的3个图像数据进行判定处理。第2判定处理部120B-1以与第2判定处 理部120B相同的方式，从中心波长与黄色LED的中心波长一致的第5波段Δf5的 图像数据，减去其前后的波段即第4波段Δf4的图像数据及第8波段Δf8的图像 数据，并根据该减法结果，判定第2判定区域内的对象物是否为目标对象物 (黄色LED的黄色信号灯)。
并且，判定第3判定区域内的对象物是否为红色信号灯的第3判定处理部 120C-1使用第5波段Δf5、第8波段Δf8及第9波段Δf9的3个图像数据进行判定 处理。第3判定处理部120C-1以与第3判定处理部120C相同的方式，从中心波长 与红色LED的中心波长一致的第8波段Δf8的图像数据，减去其前后的波段即第 5波段Δf5的图像数据及第9波段Δf9的图像数据，并根据该减法结果，判定第 3判定区域内的对象物是否为目标对象物(红色LED的红色信号灯)。
另外，优选多光谱照相机如上述那样拍摄7个波段的图像数据，但也可以 拍摄包含与蓝色信号灯、黄色信号灯及红色信号灯分别发出的光的发光光谱相 对应的3个窄波段，和与这些3个窄波段不同的3个以上的窄波段的多个窄波段 的图像，并且，处理器可以根据6个以上的窄波段的图像，检测交通信号灯的 哪一个信号灯在发光。
并且，图4所示的区域提取装置110具备频闪检测部112，能够将频闪检测 部112的检测结果利用于第1判定区域、第2判定区域及第3判定区域的提取中。
近年来，汽车的刹车灯多使用红色LED。在这种情况下，很难排除红色LED 的刹车灯(伪对象物)。
频闪检测部112用于排除红色LED的刹车灯等伪对象物。
汽车的红色LED的刹车灯通过直流电源进行点亮，因此以规定的亮度电平 进行发光。另一方面，由于交通信号灯的红色LED等通过商用电源进行点亮， 因此受到商用电源的频率(50Hz或60Hz)的影响，产生与商用电源的频率相对 应的频率的频闪。
因此，多光谱照相机10以与交通信号灯的红色LED等频闪频率不同的帧速 率(fps：frames per second)拍摄各波段的图像数据(视频图像数据)。
频闪检测部112根据输入的各波段的视频图像数据，检测以连续的帧亮度 电平没有变化的区域(未产生频闪的区域)。
区域提取装置110将不存在点亮的蓝色信号灯的区域，且未产生频闪的区 域设为非判定区域，并将从摄像区域去除非判定区域的区域作为第1判定区域 进行提取。
同样地，区域提取装置110将不存在点亮的黄色信号灯的区域、且未产生 频闪的区域设为非判定区域，将从摄像区域去除非判定区域的区域设定为第2 判定区域，并且，将不存在点亮的红色信号灯的区域，且未产生频闪的区域设 为非判定区域，将从摄像区域去除非判定区域的区域作为第3判定区域进行提 取。
由此，各判定区域内的对象物并不限于产生频闪的对象物，例如，当检测 红色LED的红色信号灯的情况下，能够不检测由汽车的红色LED构成的刹车灯 等。
作为排除红色LED的刹车灯等伪对象物的方法，区域提取装置110能够将摄 像区域中的下方的三分之一以下的区域设为非判定区域。这是因为，当多光谱 照相机10为车载照相机的情况下，在利用车载照相机拍摄的摄像区域中的下方 的三分之一以下的区域中不存在交通信号灯，另一方面，在摄像区域中的上方 的三分之二的区域中不存在汽车的刹车灯等。在这种情况下，各判定区域并不 限定于摄像区域中的上方的三分之二的区域内，能够实现处理时间的缩短。
[对象物检测方法]
图18是表示本发明所涉及的对象物检测方法的实施方式的流程图，图19是 表示基于本发明的目标对象物的检测过程中的各种图像等的图。另外，图18所 示的对象物检测方法包括将可能存在本发明所涉及的目标对象物的区域作为判 定区域进行提取的区域提取方法。
在图18中，通过多光谱照相机10，获取多个窄波段的图像(步骤S100)。
图19(A)表示可见光的宽带图像，图19(B)表示每个窄波段的7个图 像。在本例中，如图17所示，获取第1波段Δf1～第5波段Δf5、第8波段Δf8 及第9波段Δf9的7个图像。
处理器100从多光谱照相机10获取每个窄波段的多个图像，进行以下的各 步骤的处理。
另外，为了简单说明，对将点亮的红色LED的红色信号灯设为目标对象物 的情况进行说明，但将点亮的蓝色LED的蓝色信号灯及点亮的黄色LED的黄色信 号灯设为目标对象物的情况下，也进行相同的处理。
处理器100的区域提取装置110根据多个图像，在目标对象物的波段中检测 没有发光/反射的区域(步骤S110)。本例的目标对象物的波段以外的窄波段 为第1波段Δf1～第5波段Δf5，因此在这些窄波段的5张图像中，当存在任一 个超过阈值的像素数据的情况下，其像素也不是包含目标对象物的像素。通过 对摄像区域的所有像素进行判定，在摄像区域内检测不存在目标对象物的区 域。
然后，将作为不存在目标对象物的区域进行检测的区域视为非判定区域， 并从判定区域进行排除(步骤S120)。区域提取装置110仅将从摄像区域去除 非判定区域的剩余区域作为判定区域进行提取(步骤S130)。
图19(C)表示，如上述那样提取的判定区域。在图19(C)中，以矩形的 白框表示的判定区域(第3判定区域)表示可能存在点亮的红色信号灯的区 域，在本例中，提取有4个判定区域。
接着，判定处理部(图17的第3判定处理部120C-1)判定判定区域的对象 物是否为目标对象物(步骤S140)。即，如使用图17进行说明的那样，第3判 定处理部120C-1从中心波长与红色LED的中心波长一致的第8波段Δf8的图像数 据减去其前后的波段即第5波段Δf5的图像数据及第9波段Δf9的图像数据，并 根据该减法结果，判定判定区域内的对象物是否为目标对象物(红色LED的红 色信号灯)。
当判定为判定区域内的对象物为目标对象物时(“是”的情况)，将该判 定区域内的对象物作为目标对象物进行检测，并将检测结果输出到输出目的地 200(步骤S150)。另一方面，当判定判定区域内的对象物不是目标对象物时 (“否”的情况)，过渡到步骤S160。
在步骤S160中，判别所有的判定区域中的上述判定处理是否结束。当所有 判定区域中的判定处理没有结束的情况下(“否”的情况)，过渡到步骤 S170，在此，设定下一个判定区域。当设定下一个判定区域时，返回到步骤 S140，对下一个判定区域再次进行步骤S140～步骤S160的各处理。
当以此方式结束所有判定区域中的上述判定处理时，基于通过1次拍摄所 获取的图像的目标对象物检测结束。
图19(D)是表示判定为存在目标对象物的判定区域、及该判定区域内的 目标对象物等的图。
在图19(D)中，以白框表示判定为存在目标对象物的判定区域，以白色 表示该判定区域内的目标对象物。在本例中，如图19(D)所示，检测到1个目 标对象物(点亮的红色LED的红色信号灯)存在于摄像区域内的以白框表示的 位置。
根据本发明，如图19(C)的以白框表示的那样，可能存在目标对象物的 某个判定区域被严格筛选，因此判定处理部中的负荷少，并且，位于非判定区 域的“伪对象物”原本就是判定对象外，因此能够抑制误检测。
[比较例]
图20是表示相对于本发明所涉及的对象物检测方法的比较例的流程图，图 21是表示基于比较例的目标对象物的检测过程中的各种图像等的图。
在图20中，拍摄作为目标对象物的波段的窄波段的图像(步骤S200)。在 比较例中，将点亮的红色LED的红色信号灯设为目标对象物，目标对象物的波 段为第8波段Δf8。
图21(A)表示可见光的宽带图像，图21(B)表示窄波段(第8波段 Δf8)的图像。图21(B)所示的图像为窄波段的图像，但映入了发出/反射窄 波段以外的其他波段的光的多个对象物。
接着，根据所拍摄的窄波段的图像，在目标对象物的波段中检测发光/反 射的区域(步骤S210)。例如，在窄波段的图像中，能够检测超过阈值的像素 组的区域作为在目标对象物的波段中进行发光/反射的区域。
将在步骤S210中检测到的区域设定为判定区域(步骤S220)。图21(C) 表示如上述那样设定的判定区域。在图21(C)中，以矩形的白框表示的区域 为判定区域。图21(C)所示的判定区域比图19(C)所示的判定区域设定得 多。这是因为，没有排除明确不存在目标对象物的非判定区域。例如，物体颜 色为白色的对象物的区域也反射目标对象物的波段的光，因此被设定为判定区 域。
接着，判定判定区域的对象物是否为目标对象物(步骤S230)。此处的判 定对象物是否为目标对象物能够通过图像识别处理进行。例如，当目标对象物 为交通信号灯的发光的信号灯的情况下，对象物的形状为圆形或者大致圆形。 因此，当判定区域内的对象物的形状与目标对象物的形状一致的情况下，能够 识别为目标对象物。并且，当包含判定区域的附近的形状表示交通信号灯的形 状的情况下(例如，蓝、黄、红这3个信号灯排列的情况下)，能够将检测到 的对象物识别为交通信号灯的信号灯。
当判定判定区域内的对象物为目标对象物时(“是”的情况)，检测该判 定区域内的对象物作为目标对象物(步骤S240)。另一方面，当判定判定区域 内的对象物不是目标对象物时(“否”的情况下)，过渡到步骤S250。
在步骤S250中，判别所有判定区域中的上述判定处理是否结束。当所有判 定区域中的判定处理没有结束的情况下(“否”的情况下)，过渡到步骤 S260，在此，设定下一个判定区域。设定下一个判定区域后，返回到步骤 S230，对下一个判定区域再次进行步骤S230～步骤S250的各处理。
当以此方式结束所有判定区域中的上述判定处理时，基于通过1次拍摄所 获取的图像的目标对象物检测结束。
图21(D)是表示判定为存在目标对象物的判定区域、及该判定区域内的 目标对象物等的图。
在图21(D)中，以白框表示判定为存在目标对象物的判定区域，以白色 表示该判定区域内的目标对象物。在本例中，如图21(D)所示，检测到2个目 标对象物存在于摄像区域内的以白框表示的位置。
根据比较例，设定有多个判定区域，因此对各判定区域内是否存在目标对 象物的识别处理的负荷变大。并且，在判定区域中，包含目标对象物产生/反 射的窄波段的、产生/反射白色光等宽带的光的“伪对象物”大量存在，其结 果，将“伪对象物”误检测为目标对象物的可能性变高。另外，根据通过比较 例判定得到的判定结果，如图21(D)所示，在摄像区域的大致中央部中，检 测到目标对象物，但在摄像区域的左下区域检测到“伪对象物”。
[其他]
在本实施方式中，将由LED构成的交通信号灯的蓝色信号灯、黄色信号灯 及红色信号灯设为目标对象物，但目标对象物并不限于此，也可以为1个目标 对象物。例如，也可以将设置于机场的跑道上的引导灯、LED道路铆钉、其 他、仅反射窄波段的光的反射体等作为目标对象物。
并且，通过多光谱照相机同时拍摄的窄波段的图像的数量，并不限于本实 施方式。多光谱照相机是具有分别选择性地透射包含与至少目标对象物所发出 的波段(第1窄波段)相对应的第2窄波段和与第2窄波段不同的第3窄波段的多 个窄波段的光的多个窄波段滤波器，且同时获取分别透射这些多个窄波段滤波 器的多个图像的相机即可。另外，当在从多光谱照相机的图像传感器同时获取 到的多个图像之间没有产生干扰的情况下，不需要去除干扰的处理是不言而喻 的。
并且，在本实施方式中，例如，执行CPU等各种处理的处理部 (processing unit)的硬件结构为如下所示的各种处理器(processor)。各 种处理器中包括执行软件(程序)来发挥各种处理部的功能的常用的处理器即 CPU(Centra] Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)等能够在制造之后变更电路结构的处理器即 可编程逻辑器件(Programmable Logic Device：PLD)、具有ASIC(Application Specific Integrated Circuit，专用集成电路)等为了执行 特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同 种类的2个以上的处理器(例如，多个FPGA或CPU和FPGA的组合)构成。并且， 也可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例 子，第1，如以客户端或服务器等计算机为代表，有如下方式：由1个以上的 CPU和软件的组合构成1个处理器，并由该处理器发挥多个处理部的功能。第 2，如以片上系统(System On Chip：SoC)等为代表，有如下方式：使用由1 个IC(Integrated Circuit，集成电路)芯片来实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部使用1个以上的上述各种处理器来构成 为硬件结构。
进而，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路 元件而成的电路(circuitry)。
并且，本发明并不限定于上述实施方式，能够在不脱离本发明的精神的范 围内进行各种变形是不言而喻的。
符号说明
1-对象物检测装置，10-多光谱照相机，11-撮像光学系统，12-透镜，14- 光瞳分割滤波器，16-窄波段滤波器，18-偏振滤波器，20-图像传感器，21-像 素阵列层，22-光电二极管，23-偏振滤波元件阵列层，24A-第1偏振滤波元 件，24B-第2偏振滤波元件，24C-第3偏振滤波元件，25-分光滤波元件阵列 层，26-分光滤波元件，26A-第1分光滤波元件，26B-第2分光滤波元件，26C- 第3分光滤波元件，27-微透镜阵列层，28-微透镜，30-信号处理部，30A-模拟 信号处理部，30B-图像生成部，30C-系数存储部，100-处理器，110-区域提取 装置，112-频闪检测部，120A、120-1-第1判定处理部，120B、120B-1、120- 2-第2判定处理部，120C、120C-1、120-3-第3判定处理部，200-输出目的地， F1-第1窄波段滤波器部，F2-第2窄波段滤波器部，F3-第3窄波段滤波器部， F4-第4窄波段滤波器部，F5-第5窄波段滤波器部，F6-第6窄波段滤波器部， F7-第7窄波段滤波器部，F8-第8窄波段滤波器部，F9-第9窄波段滤波器部， G1-第1偏振滤波器部，G2-第2偏振滤波器部，G3-第3偏振滤波器部，L-光轴，P1-第1像素，P2-第2像素，P3-第3像素，P4-第4像素，P5-第5像素，P6-第6像 素，P7-第7像素，P8-第8像素，P9-第9像素，PB-像素块，Pi-第i像素，S1-第 1光学区域，S2-第2光学区域，S3-第3光学区域，S4-第4光学区域，S5-第5光 学区域，S6-第6光学区域，S7-第7光学区域，S8-第8光学区域，S9-第9光学区 域，S100-S170、S200-S260-步骤，X1-X9、x1-x9、Xj-像素信号，Δf1-第1波 段，Δf2-第2波段，Δf3-第3波段，Δf4-第4波段，Δf5-第5波段，Δf6-第6波段，Δf7-第7波段，Δf8-第8波段，Δf9-第9波段。

Claims (14)

1.一种区域提取装置，具备将摄像区域中可能存在目标对象物的区域作为判定区域进行提取的处理器，其中，
所述目标对象物发出具有第1窄波段的发光光谱的光，
所述处理器进行如下处理：
图像获取处理，从多光谱照相机获取包含与所述第1窄波段相对应的第2窄波段的图像、及与所述第2窄波段不同的第3窄波段的图像的多个图像；
非判定区域确定处理，根据所述多个图像中的除所述第2窄波段的图像以外的图像，在摄像区域中检测发出具有所述第1窄波段的发光光谱以外的发光光谱的光的区域，并将检测到的所述区域确定为非判定区域；及
判定区域提取处理，将从所述摄像区域去除所述非判定区域的1至多个区域作为所述判定区域进行提取。
2.根据权利要求1所述的区域提取装置，其中，
所述第2窄波段的中心波长处于距所述第1窄波段的中心波长小于所述第1窄波段的发光光谱的半值宽度的范围，所述第3窄波段的中心波长从所述第2窄波段的中心波长离开所述第1窄波段的发光光谱的半值宽度以上。
3.根据权利要求2所述的区域提取装置，其中，
所述第2窄波段的中心波长与所述第1窄波段的中心波长一致，且所述第2窄波段的带宽为所述第1窄波段的带宽以内。
4.根据权利要求1至3中任一项所述的区域提取装置，其中，
所述目标对象物产生与商用电源的频率相对应的频率的频闪，
所述非判定区域确定处理在摄像区域中将不产生所述频闪的区域设为所述非判定区域。
5.根据权利要求1至4中任一项所述的区域提取装置，其中，
所述非判定区域确定处理将摄像区域中的下方的三分之一以下的区域设为非判定区域。
6.根据权利要求1至5中任一项所述的区域提取装置，其中，
所述目标对象物为具有发光二极管的发光体。
7.一种对象物检测装置，其具备权利要求1至6中任一项所述的区域提取装置及所述多光谱照相机，
所述处理器进行如下判定处理，即，根据包含所述第2窄波段的图像及所述第3窄波段的图像的多个窄波段的图像，判定所述判定区域内的对象物是否为所述目标对象物。
8.根据权利要求7所述的对象物检测装置，其中，
所述图像获取处理从所述多光谱照相机获取所述第2窄波段的图像、所述第3窄波段的图像、及夹着所述第2窄波段处于与所述第3窄波段相反的一侧的第4窄波段的图像，
所述判定处理从所述判定区域内的所述第2窄波段的图像减去所述判定区域内的所述第3窄波段的图像及所述第4窄波段的图像，根据进行了所述减去的减法结果，判定所述判定区域内的对象物是否为所述目标对象物。
9.根据权利要求7所述的对象物检测装置，其中，
所述图像获取处理从所述多光谱照相机获取所述第2窄波段的图像、所述第3窄波段的图像、及夹着所述第2窄波段处于与所述第3窄波段相反的一侧的第4窄波段的图像，
所述判定处理利用所述判定区域内的所述第2窄波段的图像、所述第3窄波段的图像及所述第4窄波段的图像和对每个图像所设定的权重系数进行积和运算，根据进行了所述积和运算的运算结果，判定所述判定区域内的对象物是否为所述目标对象物。
10.根据权利要求7所述的对象物检测装置，其中，
所述图像获取处理从所述多光谱照相机获取所述第2窄波段的图像、所述第3窄波段的图像、及夹着所述第2窄波段处于与所述第3窄波段相反的一侧的第4窄波段的图像，
所述判定处理利用所述判定区域内的所述第2窄波段的图像、所述第3窄波段的图像及所述第4窄波段的图像和对每个图像所设定的权重系数进行积和运算，对进行了所述积和运算的运算结果进一步进行非线性运算，根据所述非线性运算的结果，判定所述判定区域内的对象物是否为所述目标对象物。
11.根据权利要求7所述的对象物检测装置，其中，
所述图像获取处理从所述多光谱照相机获取所述第2窄波段的图像、所述第3窄波段的图像、及夹着所述第2窄波段处于与所述第3窄波段相反的一侧的第4窄波段的图像，
所述判定处理是基于学习完毕模型的处理，所述学习完毕模型输入所述判定区域内的所述第2窄波段的图像、所述第3窄波段的图像及所述第4窄波段的图像，并输出所述判定区域内的对象物是否为所述目标对象物的判定结果。
12.根据权利要求7所述的对象物检测装置，其中，
所述目标对象物为交通信号灯的蓝色信号灯、黄色信号灯及红色信号灯，
所述图像获取处理从所述多光谱照相机获取包含与所述蓝色信号灯、黄色信号灯及红色信号灯各自所发出的光的发光光谱相对应的3个窄波段的各图像和与所述3个窄波段不同的3个以上的窄波段的图像在内的多个窄波段的图像，
所述处理器根据6个以上的窄波段的图像，检测所述交通信号灯的哪一个信号灯在发光。
13.一种基于将摄像区域中可能存在目标对象物的区域作为判定区域进行提取的处理器的区域提取方法，其中，
所述目标对象物发出具有第1窄波段的发光光谱的光，
所述区域提取方法包括如下步骤：
从多光谱照相机获取包含与所述第1窄波段相对应的第2窄波段的图像、及与所述第2窄波段不同的第3窄波段的图像的多个图像的步骤；
根据所述多个图像中的除所述第2窄波段的图像以外的图像，在摄像区域中检测发出具有所述第1窄波段的发光光谱以外的发光光谱的光的区域，并将检测到的所述区域确定为非判定区域的步骤；及
将从所述摄像区域去除所述非判定区域的1至多个区域作为所述判定区域进行提取的步骤。
14.一种对象物检测方法，其包括权利要求13所述的区域提取方法，
所述处理器根据包含所述第2窄波段的图像及所述第3窄波段的图像的多个窄波段的图像，判定所述判定区域内的对象物是否为所述目标对象物。
CN202111000352.3A 2020-08-28 2021-08-27 区域提取装置及方法以及对象物检测装置及方法 Pending CN114120264A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020144174A JP7333771B2 (ja) 2020-08-28 2020-08-28 領域抽出装置及び方法並びに対象物検出装置及び方法
JP2020-144174 2020-08-28

Publications (1)

Publication Number Publication Date
CN114120264A true CN114120264A (zh) 2022-03-01

Family

ID=77300826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000352.3A Pending CN114120264A (zh) 2020-08-28 2021-08-27 区域提取装置及方法以及对象物检测装置及方法

Country Status (4)

Country Link
US (1) US20220067942A1 (zh)
EP (1) EP3961581A1 (zh)
JP (1) JP7333771B2 (zh)
CN (1) CN114120264A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821542A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 目标检测方法、装置、车辆及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023053561A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 推定装置、撮像装置、移動体、推定システム、推定方法、及びプログラム
WO2023188513A1 (ja) * 2022-03-28 2023-10-05 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189496B (zh) * 2005-04-26 2010-08-04 光子Etc公司 光谱多频带照相机
JP5556484B2 (ja) 2010-08-04 2014-07-23 トヨタ自動車株式会社 スペクトル測定装置及びスペクトル測定方法
US8854515B2 (en) * 2011-09-09 2014-10-07 Canon Kabushiki Kaisha Efficient spectral imaging based on imaging systems with scene adaptation using tunable color pixels
JP6798337B2 (ja) 2017-02-09 2020-12-09 富士通株式会社 植物判別装置、植物判別方法及び植物判別用コンピュータプログラム
JP6960393B2 (ja) * 2018-12-27 2021-11-05 日本信号株式会社 信号検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821542A (zh) * 2022-06-23 2022-07-29 小米汽车科技有限公司 目标检测方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
JP2022039246A (ja) 2022-03-10
EP3961581A1 (en) 2022-03-02
US20220067942A1 (en) 2022-03-03
JP7333771B2 (ja) 2023-08-25

Similar Documents

Publication Publication Date Title
CN114120264A (zh) 区域提取装置及方法以及对象物检测装置及方法
US9220446B2 (en) Object authentication
JP5201825B2 (ja) 距離画像取得装置及び方法
US9420242B2 (en) Imaging device and exposure adjusting method
CN113272624A (zh) 包括具有多个通带的带通滤波器的三维传感器
US20210158108A1 (en) Object classification method, vehicle control method, information display method, and object classification device
CN112513677A (zh) 纵深取得装置、纵深取得方法以及程序
EP0660277B1 (en) Method and apparatus for the characterization and discrimination of legal tender bank notes and documents
WO2017018150A1 (ja) 光センサデバイス、光センサユニット及び光センサシステム
CN110574368B (zh) 固态摄像装置、摄像系统以及物体识别系统
CN111371965B (zh) 用于显示屏亮度拍摄除干扰的图像处理方法、装置及设备
US11900715B2 (en) Spoof detection based on specular and diffuse reflections
US11544985B2 (en) Banknote imaging
US10989596B2 (en) Subject identification device and subject identification method
JP2021190802A (ja) 撮像装置、検査装置及び撮像方法
CN114463790A (zh) 光学指纹识别和防伪的方法及系统
JP6277695B2 (ja) 撮像装置、調整装置および調整方法
TWI805061B (zh) 對象檢測裝置、機械學習執行裝置、對象檢測程式以及機械學習執行程式
US11070722B2 (en) Image capturing device and control method
WO2022244645A1 (ja) 撮像装置
EP3998473A1 (en) Image generation device, medicine identification device, medicine display device, image generation method, and program
JP2003141442A (ja) バーコード読取装置
CN116235108A (zh) 门控照相机、车辆用感测系统、车辆用灯具
TW202409544A (zh) 拍攝裝置、檢查裝置、拍攝條件決定方法及拍攝方法
JPWO2022244645A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination