CN102792150B - 光谱测定装置 - Google Patents

光谱测定装置 Download PDF

Info

Publication number
CN102792150B
CN102792150B CN201180013689.6A CN201180013689A CN102792150B CN 102792150 B CN102792150 B CN 102792150B CN 201180013689 A CN201180013689 A CN 201180013689A CN 102792150 B CN102792150 B CN 102792150B
Authority
CN
China
Prior art keywords
data
spectroscopic data
spectroscopic
correlation spectrum
spectrometer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180013689.6A
Other languages
English (en)
Other versions
CN102792150A (zh
Inventor
川真田进也
船山龙士
石勉
吉川祐巳子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Toyota Motor Corp
Original Assignee
NEC Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, Toyota Motor Corp filed Critical NEC Corp
Publication of CN102792150A publication Critical patent/CN102792150A/zh
Application granted granted Critical
Publication of CN102792150B publication Critical patent/CN102792150B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/457Correlation spectrometry, e.g. of the intensity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4204Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/194Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

光谱测定装置(11)基于由能够测定波长信息和光强度信息的光谱传感器(14)检测出的观测光的光谱数据来识别测定对象。该光谱测定装置具备光谱数据处理装置(16),该处理装置通过从由所述光谱传感器检测出的不同的两个位置处的光谱数据中的一方光谱数据减去另一方光谱数据或者将另一方光谱数据除以一方光谱数据,来计算出与所述不同的两个位置处的光谱数据相关的一个相关光谱数据。然后,处理装置基于该相关光谱数据来同时确定与所述不同的两个位置对应的测定对象。

Description

光谱测定装置
技术领域
本发明涉及基于由光谱传感器测定得到的光谱数据来识别在周边环境中存在的测定对象、尤其是在交通环境中存在的测定对象的光谱测定装置。
背景技术
近年来,正在研究根据由光谱传感器测定出的包括可见光区域以及不可见光区域的多光谱数据来识别在该光谱传感器的周边环境中存在的测定对象,并根据该识别出的测定对象或者其状态,提供各种辅助的技术的实用化。例如,正在研究在汽车等车辆中,基于由在车辆中搭载的光谱传感器测定出的光谱数据,来识别在该车辆周围的交通环境中存在的行人、其他车辆等,对驾驶员的驾驶或意思决定进行辅助的驾驶辅助装置的实用化。
由于光谱传感器对被测定对象反射出的反射光的光谱进行测定,所以由该光谱传感器测定出的光谱中会直接反映对测定对象照射的环境光的光谱的影响。该环境光是被照射到测定对象的太阳光或照明光等。该环境光的光谱受到天气、测定对象周围的明亮度、位于测定对象周围的物体等带来的影响等而发生变化。由此,在基于反射光的光谱来识别测定对象时,如果不考虑被照射到测定对象的环境光的影响,则难以提高测定对象的识别精度。
鉴于此,以往提出了一种使反射光光谱所含的环境光的影响减轻的技术,在专利文献1中记载有其一个例子。在该专利文献1所记载的光谱测定装置中设置有:按每个像素对测定对象的反射光光谱进行测定的光谱传感器;对该测定对象的测定环境中的测定环境光光谱进行检测的光谱传感器;以及根据这些测定对象的反射光光谱和测定环境光光谱来计算测定对象的分光反射率分布的计算单元。而且,在该光谱测定装置中设置有:对再生环境下的再生环境光光谱进行检测的光谱传感器、将测定对象变换成在再生环境光光谱下测定时的光谱的光谱变换单元、以及对该变换后的光谱进行再生的再生单元。由此,能够除去测定对象的反射光光谱所含的测定环境光光谱的影响,并且还能够考虑再生环境光光谱的影响,使在测定环境下测定出的测定对象的颜色在再生环境下忠实地得以再现。
专利文献1:日本特开2006-14315号公报
在上述专利文献1所述的光谱测定装置中,需要用于对测定环境光光谱进行测定的专用光谱传感器,并且希望在该光谱传感器中仅对测定环境光光谱进行测定。但是,一般尤其是在屋外等处,环境光并不限于仅由基于特定光源的光构成。在测定对象移动那样的情况下,即使光源为一个,也难以确定该光源的位置。这样,在环境光有可能不规则地变化的一般环境下,无法除去或者降低测定对象的光谱所含的环境光的影响的可能性较高。即,即使想利用由上述光谱传感器测定出的光谱数据来识别在车辆的周围存在的各种测定对象,由于环境光的影响而导致识别精度降低,所以尤其是在车辆驾驶辅助等中被要求的测定对象的识别也变得困难重重。
发明内容
本发明的目的在于,提供一种构成简单能够除去或者降低测定对象反射光光谱所含的环境光的影响,能够进一步地提高测定对象识别精度的光谱测定装置。
为了实现上述目的,根据本发明,提供一种基于由能够测定波长信息和光强度信息的光谱传感器检测出的观测光的光谱数据,来识别测定对象的光谱测定装置。该光谱测定装置具备光谱数据处理装置,该光谱数据处理装置通过从由所述光谱传感器检测出的不同的两个位置处的光谱数据中的一方光谱数据减去另一方光谱数据或者将一方光谱数据除以另一方光谱数据,来计算出与所述不同的两个位置处的光谱数据相关的一个相关光谱数据。然后,光谱数据处理装置基于该相关光谱数据,同时确定与所述不同的两个位置对应的测定对象。
附图说明
图1是表示本发明的第1实施方式涉及的光谱测定装置的构成的框图。
图2是用于说明图1的光谱测定装置的功能的框图。
图3是用于说明图1的光谱测定装置的功能的框图。
图4是示意性表示测定对象的一例的示意图。
图5(a)以及(b)是示意性表示由图1的光谱测定装置检测出的光谱图像的一例的图。
图6(a)以及(b)是示意性表示由图1的光谱测定装置检测出的光谱图像的一例的图。
图7(a)~(e)是表示由图1的光谱测定装置检测出的测定对象的光谱数据的一例的图表。
图8(a)~(c)是表示在图1的光谱测定装置中光谱数据的形状伴随着前处理而变化的一例的图表。
图9(a)~(e)是对在图1的光谱测定装置中从光谱数据除去观测光的影响的方式进行说明的图表。
图10是表示利用图1的光谱测定装置实施的测定对象的识别处理的顺序的流程图。
图11是表示本发明的第2实施方式涉及的光谱测定装置的构成的框图。
图12是用于说明图10的光谱测定装置的功能的框图。
图13(a)~(c)是说明被附加了相互关系(context)的光谱数据的图。
图14是表示利用图11的光谱测定装置实施的测定对象的识别处理的顺序的流程图。
图15(a)~(c)是说明被附加了相互关系的光谱数据的图。
图16是表示本发明的第3实施方式涉及的光谱测定装置的构成的框图。
图17是表示利用图16的光谱测定装置实施的测定对象的识别处理的顺序的流程图。
图18是表示本发明的第4实施方式涉及的光谱测定装置的构成的框图。
图19是用于说明图18的光谱测定装置的功能的框图。
图20是表示利用图18的光谱测定装置实施的测定对象的识别处理的顺序的流程图。
图21是表示本发明的其他实施方式涉及的光谱测定装置的构成的框图。
图22是表示本发明的其他实施方式涉及的光谱测定装置的构成的框图。
图23是本发明的其他实施方式涉及的光谱测定装置的构成框图。
图24是示意性表示具备本发明涉及的光谱测定装置的设置物的一例的图。
具体实施方式
以下,根据附图来说明本发明的第1实施方式。
如图1所示,本实施方式的光谱测定装置11被安装在作为移动体的车辆10中。光谱测定装置11取得车辆10的外部的包括可见光以及不可见光的光信息来识别测定对象。而且,在车辆10中设置有:将从光谱测定装置11输出的识别信息等传递给该车辆10的搭乘者的人机接口12、和使从该光谱测定装置11输出的识别信息等反映到车辆10的控制中的车辆控制装置13。
人机接口12是通过光、颜色或者声音等对搭乘者尤其是操作者传递车辆状态等,并且由按钮、触摸面板等操作装置构成为将搭乘者的意思通过按钮等的操作输入给光谱测定装置11的公知的接口装置。
车辆控制装置13是车辆10中搭载的多个控制装置之中的一个,与被搭载于同一个车辆10的、例如发动机控制装置等其他控制装置之间按照能够相互传递所需信息的方式直接或者利用车载网络等相互连接。其中,在本实施方式中,如果从光谱测定装置11输入了识别信息(识别出的测定对象等的信息),则车辆控制装置13将该信息传递给其他控制装置,并且使车辆10执行根据识别出的测定对象而请求的驾驶辅助。
在光谱测定装置11中设置有:对观测光的光谱数据S0进行检测的光谱传感器14、和接受由该光谱传感器14检测出的观测光的光谱数据S0来对该数据S0进行处理的光谱数据处理装置15。
光谱传感器14将观测光的光谱数据S0作为所谓的光谱图像来进行检测,在构成光谱图像的各像素中包括单独的光谱数据。
光谱传感器14具有将作为包括可见光以及不可见光的光的观测光分光成规定的波长波段的功能。而且,光谱传感器14将包括与分光后的观测光有关的波长信息和光强度信息的光谱数据向光谱数据处理装置15输出。波长信息是表示分光后的波长波段所含的各波长的信息,光强度信息是表示各波长下的观测光的光强度的信息。即,光谱数据包括作为观测光的各波长下的光强度的光谱强度、和表示该光谱强度在波长波段中的分布的光谱形状。
这里,对由光谱传感器14检测出的道路环境的观测光的光谱数据进行说明。图4是示意性表示由光谱传感器14检测出的道路环境的图。图5(a)、(b)表示了包括车道50和汽车53的轮胎53B的区域的光谱数据的一例。图6(a)、(b)表示了包括行人54的头部54A和躯体部54B的区域的光谱数据的一例。图7(a)~(e)是表示与由光谱传感器14检测出的测定对象对应的点(像素)的光谱数据(光谱形状)的一例的图表。
光谱传感器14检测与图4所示那样的道路环境对应的观测光的光谱数据S0。在该道路环境中存在沥青铺装的车道50、沿着车道50的一侧延伸的沥青铺装的步行道51、车道50上的汽车53以及步行道51上的行人54。而且,在与所述步行道51相反侧的车道50的侧部设置有护栏55,并且在护栏55的后方生长着多个树木52。并且,在道路环境的上方拓展包括天空在内的背景56。
光谱传感器14通过对基于这样的道路环境的观测光的光谱数据S0进行检测,来取得例如图5(a)、(b)、图6(a)、(b)所示那样的光谱数据(光谱图像)。其中,在图5(a)、(b)以及图6(a)、(b)中用虚线描绘的各单位(mass)示意性地表示光谱传感器14的一个像素。为了方便起见,对各单位标注用于区分光谱数据(光谱形状)的符号“a”、“b”、“c”。即,与轮胎53B对应的像素检测例如在图5(a)、(b)中用符号“a”表示的橡胶轮胎的光谱数据,并且与车道50对应的像素检测例如在图5(a)、(b)中用符号“b”表示的沥青的光谱数据。另外,与保险杠53C对应的像素检测例如在图5(a)、(b)中用符号“c”表示的涂料的光谱数据。与头部54A对应的像素检测例如在图6(a)、(b)中用符号“a”表示的脸部肌肉的光谱数据,并且与躯体部54B对应的像素检测例如在图6(a)、(b)中用符号“b”表示的着装的光谱数据。另外,与背景56对应的像素检测例如在图6(a)、(b)中用符号“c”表示的天空的光谱数据。
这样由光谱传感器14检测到的测定对象的光谱数据具有如例如图7(a)~(e)所示那样的光谱形状。即,根据图4所示的树木52的比较位置200可测定例如图7(a)所示的光谱数据(光谱形状),并且根据如图4所示的护栏55的比较位置201可测定例如图7(b)所示的光谱数据(光谱形状)。另外,根据图4所示的轮胎53B和车道50的边界区域204,可测定例如图7(c)所示的光谱数据(光谱形状),并且根据图4所示的车道50的比较位置203可测定例如图7(d)所示的光谱数据(光谱形状)。并且,根据图4所示的行人54的头部54A的比较位置205可测定例如图7(e)所示的光谱数据(光谱形状)。
光谱数据处理装置15例如以具有运算装置、存储装置等的微型计算机为中心构成。光谱数据处理装置15上连接着光谱传感器14,并且被输入在该光谱传感器14中检测出的观测光的光谱数据S0。光谱数据处理装置15基于被输入的观测光的光谱数据S0对观测到的测定对象进行识别,并且将该识别结果传递给人机接口12、车辆控制装置13。
光谱数据处理装置15具备运算装置16和词典数据存储部17。词典数据存储部17由在公知的存储装置中设置的存储区域的全部或者一部分构成,在该存储区域中预先存储有应该识别的多个测定对象的光谱数据作为词典数据。其中,在本实施方式中,词典数据存储部17中存储有对多个测定对象的光谱数据分别实施了规定处理后的第1对照用数据17A(参照图3)作为词典数据。该规定处理是与光谱数据处理装置15识别测定对象的处理相适的处理,其详细内容将后述。
词典数据存储部17的词典数据是基于应该识别的测定对象的光谱数据(光谱形状)的数据,预先准备了与应该识别的测定对象对应的数量。作为应该识别的测定对象,例如可举出行人(人)、自行车、自动二轮车以及汽车等移动体,并且可举出信号、标识、路面的喷涂、护栏、店铺以及看板等非移动体。另外,作为应该识别的测定对象,例如行人(人)可被进一步分类成作为详细属性的孩子、老人、男性、女性等,并且汽车可被进一步分类成作为详细属性的卡车、公共汽车、轿车、SUV、轻型汽车等。词典数据存储部17具备一个或者多个存储区域,以便能够以恰当的方式保存预先准备的多个词典数据。
运算装置16以能够传递信息的方式连接着光谱传感器14和词典数据存储部17。运算装置16根据从词典数据存储部17取得的词典数据与通过对观测光的光谱数据S0实施规定处理而计算出的相关光谱数据之间的比较对照(匹配),来识别测定对象。
运算装置16具备:前处理部20,其对光谱数据实施使环境光强度、传感器敏感度对该光谱数据的影响减轻的数据处理;比较区域选定部23,其选定两个区域(像素)来分别取得这些区域的光谱数据;以及第1识别部30,其基于上述取得的两个光谱数据来识别测定对象。
前处理部20从光谱传感器14接受观测光的光谱数据S0。如图2所示,前处理部20中具备:归一化处理部21,其以预先决定的规定条件对光谱数据S0进行归一化;以及2次微分处理部22,其对归一化后的光谱数据(归一化光谱数据S1)进行2次微分。
首先,根据附图对前处理部20的功能进行说明。图8(a)~(c)是表示光谱数据的形状伴随着前处理部20中的处理而变化的图表。其中,假设图8(a)所示的光谱数据Sx0是与在观测光的光谱数据S0中确定的一个像素x对应的光谱数据。
在前处理部20中,观测光的光谱数据S0被归一化处理部21归一化。即,归一化处理部21生成各像素的观测光强度的差异、各像素的传感器敏感度的差异被平均化等,并且这些差异等对观测光的光谱数据S0造成的影响被降低后的归一化光谱数据S1。例如,图8(a)所示的像素x的光谱数据Sx0的光谱形状通过被归一化处理部21归一化而变换成图8(b)所示那样的归一化光谱数据Sx1的光谱形状。
另外,在前处理部20中,通过归一化光谱数据S1被2次微分处理部22进行2次微分,来根据归一化光谱数据S1生成包括使光谱数据带特征的拐点的波长信息和该拐点的大小的、被特征化的光谱数据S2。例如,图8(b)所示的像素x的归一化光谱数据Sx1的光谱形状通过由2次微分处理部22进行的2次微分,被变换成图8(c)所示的特征化后的光谱数据Sx2的光谱形状。
通过上述的归一化处理和2次微分处理,可降低环境光强度等对测定对象的光谱数据造成的影响。结果,能够使该光谱数据与其他光谱数据、例如观测光的强度不同的其他光谱数据相对比,或者进行利用了两个光谱数据的运算。
这样,前处理部20通过对从光谱传感器14输入的观测光的光谱数据S0实施归一化处理和2次微分处理,来得到特征化后的光谱数据S2,并且将其输出给比较区域选定部23。
比较区域选定部23从由前处理部20输入的特征化后的光谱数据S2中提取出具有同样光谱形状的点(像素)所聚集的区域(像素区域)作为一个光谱区域,并且为了识别处理而从提取出的多个光谱区域中选定不同的两个光谱区域(位置)。然后,取得与上述选定的不同的两个光谱区域(位置)分别对应的数据作为比较位置光谱数据Sa2、Sb2,并将这些比较位置光谱数据Sa2、Sb2向第1识别部30输出。
比较区域选定部23进行基于欧几里德距离的聚类(clustering)处理,在该聚类处理中,将各波长各自的光强度之差为规定值以下的光谱数据分类为同一光谱区域内的光谱数据。由此,从基于观测光的光谱数据中提取1个或者多个光谱区域。这里利用图5(a)、(b)来进行说明,例如比较区域选定部23如果从前处理部20接收到特征化后的光谱数据S2,则将分别具有光谱形状“a”的多个点(像素)所聚集的区域设定为第1光谱区域。同样,比较区域选定部23将分别具有光谱形状“b”的多个点(像素)所聚集的区域设定为第2光谱区域。同样,比较区域选定部23将分别具有光谱形状“c”的多个点(像素)所聚集的区域设定为第3光谱区域。然后,比较区域选定部23基于预先决定的规定条件,从所设定的第1~第3光谱区域中选定彼此相邻的两个光谱区域作为识别处理所使用的两个比较区域。例如,比较区域选定部23选定具有比较宽的区域的第2光谱区域和与其相邻的第1光谱区域作为识别处理所使用的两个比较位置202、203。然后,输出与所选定的两个比较位置202、203分别对应的光谱数据作为比较位置光谱数据Sa2、Sb2。
下面,参照图3以及图9(a)~(e)对第1识别部30进行说明。图9(a)~(e)是对从包括环境光的两个比较位置光谱数据Sa2、Sb2中除去环境光的影响的方法进行说明的图。图9(a)~(e)表示了为了说明方便起见而仅提取出使比较位置光谱数据Sa2、Sb2带特征的拐点和这些拐点的大小的图表。
第1识别部30从比较区域选定部23获得两个比较位置光谱数据Sa2、Sb2。第1识别部30如图3所示,具备识别用数据生成部31和对照部33。
识别用数据生成部31具备差值数据计算部32,该差值数据计算部32具有生成从两个比较位置光谱数据Sa2、Sb2除去了环境光的影响的一个相关光谱数据Sab的功能。差值数据计算部32计算出两个数据的差值,并且将该计算出的值绝对值化。例如,差值数据计算部32通过从比较位置光谱数据Sa2(参照图9(a))中减去比较位置光谱数据Sb2(参照图9(c))来得到差值数据(Sa2-Sb2),并且通过将该差值数据绝对值化来得到相关光谱数据Sab(=|Sa2-Sb2|)。如图9(b)所示,比较位置光谱数据Sa2包括基于环境光的光谱数据Sr2和基于测定对象的光谱数据Sar2。同样,如图9(d)所示,比较位置光谱数据Sb2包括基于环境光的光谱数据Sr2和基于测定对象的光谱数据Sbr2。
因此,通过从比较位置光谱数据Sa2中减去比较位置光谱数据Sb2,可除去两方数据所含的基于环境光的光谱数据Sr2,并且生成包括基于各自测定对象的光谱数据Sar2、Sbr2的差值数据。由此,能够生成从由比较区域选定部23输入的两个比较位置光谱数据Sa2、Sb2除去了环境光的影响后的一个相关光谱数据Sab。其中,在本实施方式中,考虑到将相关光谱数据Sab在对照部33中与词典数据进行对照,相关光谱数据Sab作为将差值数据绝对值化后的值被计算出。
对照部33通过将上述相关光谱数据Sab与参照用数据Sabr进行比较对照(匹配)来同时确定(同定)多个测定对象Ma、Mb,其中,该参照用数据Sabr是从词典数据存储部17的第1对照用数据17A中基于预先决定的规定条件选择出的数据。
如上所述,对照部33将相关光谱数据Sab与从词典数据存储部17的第1对照用数据17A中选择出的参照用数据Sabr进行比较。这里,在说明对照部33之前,对词典数据存储部17中预先存储的第1对照用数据17A进行说明。由于参照用数据Sabr与相关光谱数据Sab相比较,所以需要具有与相关光谱数据Sab同样的性质。即,参照用数据Sabr是通过对应该识别的测定对象的光谱数据,实施与根据上述光谱数据S0计算出相关光谱数据Sab的上述处理同样的处理而生成的数据。例如,对预先检测出的路面与轮胎各自的光谱数据实施前处理(归一化处理和2次微分处理)之后计算出的相关光谱数据作为第1对照用数据17A的一个被保持在词典数据存储部17中。同样,对预先检测出的头部与躯体部各自的光谱数据实施前处理之后计算出的相关光谱数据作为第1对照用数据17A的一个被保持在词典数据存储部17中。而且,如此在词典数据存储部17中保持的第1对照用数据17A被选择为参照用数据Sabr。需要说明的是,在本实施方式中,对从第1对照用数据17A选择出的参照用数据Sabr附加了与构成该数据的光谱数据对应的测定对象的信息。
对照部33利用公知的匹配方法来判定所取得的参照用数据Sabr和相关光谱数据Sab是否匹配。而且,如果判定为参照用数据Sabr和相关光谱数据Sab相匹配,则确定与相关光谱数据Sab所含的两个比较位置光谱数据Sa2、Sb2分别对应的两个测定对象是与参照用数据Sabr所含的两个比较位置光谱数据分别对应的两个测定对象。另一方面,如果判定为参照用数据Sabr和相关光谱数据Sab不相匹配,则为了与相关光谱数据Sab的再次对照而选择不同的参照用数据Sabr。该再次对照被反复进行,直到规定的结束条件成立为止。
第1识别部30将确定得到的两个测定对象Ma、Mb作为识别结果通知给人机接口12、车辆控制装置13。
下面,根据图10的流程图来说明本实施方式中的识别处理的顺序。
当识别处理开始时,运算装置16从光谱传感器14取得观测光的光谱数据S0(步骤S10),并且计算出对该取得的观测光的光谱数据S0进行前处理而特征化后的光谱数据S2(步骤S11)。接着,运算装置16根据特征化后的光谱数据S2选定不同的两个光谱区域,从该两个光谱区域分别取得比较位置光谱数据Sa2、Sb2(步骤S12)。这里,假设例如选定了与车道50对应的光谱区域和与轮胎53B对应的光谱区域。
接着,运算装置16通过计算出比较位置光谱数据Sa2、Sb2之差,来除去各比较位置光谱数据Sa2、Sb2所含的环境光的影响,并且通过将该差值数据绝对值化来生成相关光谱数据Sab(步骤S13)。由此,相关光谱数据Sab是基于车道50的数据与基于轮胎53B的数据的组合数据。
运算装置16将该相关光谱数据Sab与根据预先决定的条件选择出的参照用数据Sabr比较对照,并且基于两数据的同一性来同时确定与相关光谱数据Sab对应的两个测定对象Ma、Mb(步骤S14)。即,在选择了基于车道的沥青(测定对象Ma)的数据和基于轮胎(测定对象Mb)的数据的组合数据作为参照用数据Sabr的情况下,通过该参照用数据Sabr与相关光谱数据Sab的对照,确定为测定对象是沥青(测定对象Ma)以及轮胎(测定对象Mb)。然后,运算装置16将两个测定对象Ma、Mb的识别结果作为光谱测定装置11的识别结果向外部输出。
本实施方式具有以下的优点。
(1)一般在由光谱传感器14检测出的不同的两个位置处的光谱数据中分别包含同一环境光的光谱和彼此不同的测定对象的光谱。因此,通过如上所述,计算出这两个光谱数据的差,可除去上述环境光的光谱成分,并且得到与上述不同的两个位置的光谱数据相关联的上述相关光谱数据Sab。而且,利用该相关光谱数据Sab、即与上述环境光的光谱成分被除去的两个测定对象的光谱数据的组合相当的参照用数据Sabr,来同时确定两个测定对象。即,能够识别环境光影响被除去了的高精度的测定对象。
(2)通过对观测光的光谱数据S0实施归一化处理以及2次微分处理,能够除去环境光的强度、光谱传感器14的传感器敏感度的不均等影响。
(3)通过聚类处理,可在观测光的光谱数据中,规定与不同的测定对象分别对应的多个光谱区域。而且,可从彼此相邻的两个光谱区域、例如与车道50对应的光谱区域和与轮胎53B对应的光谱区域,或者与头部54A对应的光谱区域和与躯体部54B对应的光谱区域,分别检测出两个位置的光谱数据Sa2、Sb2。由此,两个位置的光谱数据Sa2、Sb2被作为各自不同的测定对象的光谱数据而检测出。
(4)通过将相关光谱数据Sab与第1对照用数据17A(数据组)对照,来同时识别两个测定对象,其中,该第1对照用数据17A作为由与该相关光谱数据Sab对应的至少两个测定对象的光谱数据的组合构成的数据被预先登记到词典数据存储部17中。由此,能够缩短识别所需要的运算。
(5)在汽车53的行驶环境中,优选使两个测定对象为车道50和轮胎53B。即,利用一般在地面上移动的车辆等的周边环境中肯定存在的路面作为测定对象之一,两个测定对象的组合自然也就被限定。另外,路面的材料被限定为例如沥青、水泥、土、沙石、砖块等。因此,能够减小对照次数等,可实现对象物的确定所需要的时间的短缩化,还能够提高确定自身的精度。
下面,根据附图对本发明的第2实施方式进行说明。图11表示本实施方式涉及的光谱测定装置11的概要构成。其中,本实施方式的光谱测定装置11是对上述第1实施方式的光谱测定装置11追加了第2识别部和第2对照用数据的装置,除此之外的构成与上述第1实施方式大致相同。因此,在本实施方式中,主要对与上述第1实施方式的不同点进行说明,对与第1实施方式同样的部件标注同一附图标记而省略其说明。
如图12所示,在词典数据存储部17中预先存储有第1对照用数据17A和第2对照用数据17B作为词典数据。第2对照用数据17B中保持有预先检测出的两个测定对象的光谱数据、和基于对这两个测定对象间的关系的特征进行表示的信息即相互关系而设定的多个数据。其中,在本实施方式中,对两个测定对象间的关系的特征进行表示的信息是与两个测定对象的空间位置关系以及空间大小之比相关的信息。
根据图13(a)~(c)来说明第2对照用数据17B。图13(a)~(c)是用于说明第2对照用数据17B的生成方法的图。例如,如图13(a)所示,当预先设定了行人54的头部54A和躯体部54B作为两个测定对象时,运算装置16取得头部54A的比较位置205处的空间位置Zar、大小Dar以及光谱数据Sar0,并且取得躯体部54B的比较位置206处的空间位置Zbr、大小Dbr以及光谱数据Sbr0。头部54A的特征由空间位置Zar与大小Dar的乘积表示,并且躯体部54B的特征由空间位置Zbr与大小Dbr的乘积表示。另外,关于行人54,通过预先将头部54A规定为相对于身体的其他部分的基准区域(基础),使得对头部54A和躯体部54B的关系的特征进行表示的信息即相互关系Pabr通过将躯体部54B的特征(=Zbr×Dbr)除以头部54A的特征(=Zar×Dar)来表示。即,如图13(b)所示,求出相互关系Pabr(=(Zbr×Dbr)/(Zar×Dar))。然后,通过利用头部54A和躯体部54B的被前处理后的各自比较位置光谱数据Sar2、Sbr2,以头部54A为基础来进行除法运算(Sbr2/Sar2),来计算出它们所含的观测光的影响被减少后的数据。而且,对该计算出的数据(Sbr2/Sar2)乘以相互关系Pabr而求出的参照用数据Cabr(=(Sbr2/Sar2)×Pabr)成为第2对照用数据17B的数据。即,用(Sbr2/Sar2)表示的数据并不包含头部54A与躯体部54B的位置关系等作为信息,但通过对(Sbr2/Sar2)附加相互关系Pabr,能够得到含有这些位置关系等的数据即参照用数据Cabr。
本实施方式的运算装置16除了前处理部20、比较区域选定部23、第1识别部30之外,还具备第2识别部35。
第2识别部35具备将两个比较位置光谱数据Sa2、Sb2中的任意一方设定为基准区域(基准位置)的基准区域设定部38。而且,第2识别部35具备基于特征化后的光谱数据S2中的两个比较位置光谱数据Sa2、Sb2所对应的各自测定对象的空间位置关系以及空间大小之比,来求出对这两个测定对象的关系的特征进行表示的信息即相互关系Pab的相互关系计算部39。并且,第2识别部35具备以与所设定的基准区域(基准位置)对应的一方比较位置光谱数据除另一方比较位置光谱数据,并且对其除法结果乘以所述相互关系Pab来生成新的相关光谱数据Cab的除法处理部40。另外,第2识别部35具备通过将新的相关光谱数据Cab与从词典数据存储部17的第2对照用数据17B选择出的参照用数据Cabr进行对照,来分别同时确定与两个比较位置光谱数据Sa2、Sb2对应的测定对象的对照部41。
基准区域设定部38与比较区域选定部23连接,并且从该比较区域选定部23获得特征化后的光谱数据S2和两个比较位置光谱数据Sa2、Sb2。基准区域设定部38基于预先决定的规定条件,将基于与两个比较位置光谱数据Sa2、Sb2中的任意一方对应的测定对象的光谱区域设定为基准区域。例如,若所述规定条件为“下侧”,则在图5(a)、(b)所示的比较位置202和比较位置203的关系中,比较位置203被设定为基准区域,在图6(a)、(b)所示的比较位置205和比较位置206的关系中,比较位置206被设定为基准区域。另外,例如若所述规定条件为“路面”,则在图5(a)、(b)所示的比较位置202和比较位置203的关系中,比较位置203被设定为基准区域。并且,例如若所述规定的条件为“脸部肌肉”,则在图6(a)、(b)所示的比较位置205和比较位置206的关系中,比较位置205被设定为基准区域。其中,在本实施方式中,假设与比较位置光谱数据Sa2对应的区域被设定成基准区域。
相互关系计算部39与基准区域设定部38连接,并且被从该基准区域设定部38输入特征化后的光谱数据S2、两个比较位置光谱数据Sa2、Sb2以及与基准区域相关的信息。如图15(a)所示,相互关系计算部39求出基于第1测定对象的光谱数据Sa0的比较位置光谱数据Sa2、和与第1测定对象对应的光谱区域的位置Za以及其大小Da。另外,相互关系计算部39求出基于第2测定对象的光谱数据Sb0的比较位置光谱数据Sb2、和与第2测定对象对应的光谱区域的位置Zb以及其大小Db。然后,如图15(b)所示,通过与第2测定对象对应的光谱区域的位置Zb的值和大小Db的值相乘而得到的值(=Zb×Db)除以被设为基准区域的第1测定对象所对应的光谱区域的位置Za的值和大小Da的值相乘而得到的值(=Za×Da),来计算出相互关系Pab(=(Zb×Db)/(Za×Da))。由此,相互关系Pab作为使两个测定对象的空间的位置关系、空间的大小的关系带特征的信息而被求出。
除法处理部40与相互关系计算部39连接,并且从该相互关系计算部39获得两个比较位置光谱数据Sa2、Sb2和相互关系Pab。而且,如图15(c)所示,通过将另一方的比较位置光谱数据Sb2除以与基准区域对应的一方比较位置光谱数据Sa2,并且对其除法结果乘上相互关系Pab,来生成相关光谱数据Cab(=Sb2/Sa2×Pab)。由此,由于提取出两个比较位置光谱数据Sa2、Sb2的两方所含的观测光的光谱数据为“1”的大小,所以能够降低相关光谱数据Cab中的该影响。
对照部41与词典数据存储部17和除法处理部40分别连接,并且随时取得词典数据存储部17中的第2对照用数据17B作为参照用数据Cabr,并从除法处理部40获得相关光谱数据Cab。对照部41将相关光谱数据Cab与参照用数据Cabr相对照来判定它们是否匹配。而且,当它们相匹配时,对照部41判定为相关光谱数据Cab是与构成参照用数据Cabr的两个测定对象对应的数据,并且这些测定对象具有对参照用数据Cabr规定的空间位置关系以及规定的空间大小之比的关系。例如,在测定对象Ma和测定对象Mb是路面和轮胎的情况下,由于与从其前后观察汽车时相比从侧面观察汽车时轮胎的占有面积大,所以根据与路面和轮胎相关的相互关系,能够区别由光谱传感器检测出的是汽车的前后,还是汽车的侧面。另外,例如在测定对象Ma和测定对象Mb是脸部肌肉和躯体部的情况下,由于与躯体部相比,脸部肌肉在上侧并且小,所以基于脸部肌肉与躯体部的空间位置关系以及空间大小之比,能够确定脸部肌肉和躯体部。由此,可提高测定对象的识别精度。
下面,根据图14的流程图来对本实施方式中的识别处理的顺序进行说明。
如果识别处理开始,则运算装置16从光谱传感器14取得观测光的光谱数据S0(步骤S20),并且计算出对该取得的观测光的光谱数据S0进行前处理而特征化后的光谱数据S2(步骤S21)。接着,运算装置16根据特征化后的光谱数据S2选定不同的两个光谱区域,从该两个光谱区域取得各个比较位置光谱数据Sa2、Sb2(步骤S22)。接着,运算装置16基于规定条件选择两个光谱区域中成为基准区域的光谱区域(步骤S23),并且基于特征化后的光谱数据S2和比较位置光谱数据Sa2、Sb2来计算出相互关系Pab(步骤S24)。然后,通过将比较位置光谱数据Sb2除以与基准区域对应的比较位置光谱数据Sa2并且对该除法运算后的数据乘以相互关系Pab,来计算出相关光谱数据Cab(步骤S25)。然后,运算装置16将相关光谱数据Cab和根据预先决定的规定条件选择出的参照用数据Cabr进行比较对照,并基于该比较对照同时确定构成相关光谱数据Cab的两个测定对象Ma、Mb(步骤S26)。由此,运算装置16将该两个测定对象Ma、Mb的识别结果作为光谱测定装置11的识别结果向外部输出。
本实施方式除了第1实施方式的优点(1)~(5)之外还具有以下优点。
(6)求出对两个测定对象间的关系的特征进行表示的相互关系Pab,并且求出与该相互关系Pab相关联的相关光谱数据Cab。与相互关系Pab相关联的相关光谱数据Cab成为更加显著地体现了与测定对象彼此的组合相关的特征的数据。因此,如果基于该相关光谱数据Cab来进行上述两个测定对象的确定,则能够进一步提高与上述两个测定对象有关的确定精度。
(7)在计算相关光谱数据Cab时,预先决定了作为基准的光谱数据,换言之预先决定了基准区域,例如在车道50与汽车53的关系中预先决定为车道50,对行人54而言预先决定为头部54A。由此,例如在利用第2对照用数据17B来确定所述测定对象的情况下,能够削减第2对照用数据17B的数据量,并且可预见确定精度的进一步提高。
(8)通过利用在地面上移动的车辆10等的周边环境肯定存在的车道50作为基准的测定对象,测定对象的确定变得容易。即,由于车道50的材料例如被限定为沥青、水泥、土、沙石、砖块等,所以容易确定。另外,如果将一方的测定对象设为车道50,则另一方的测定对象自然就限于车辆10的轮胎、行人或者在路面上设置的各种物体,进而基于上述相互关系Pab的特征附带也变得容易。而且,这也成为有助于提高上述确定精度的因素之一。
下面,根据附图对本发明的第3实施方式进行说明。图16表示了本实施方式涉及的光谱测定装置11的概要构成。其中,本实施方式的光谱测定装置11是对上述第1实施方式的光谱测定装置11追加了边界区域选定部25和第3识别部36的装置,除此之外的构成与上述第1实施方式大致相同。因此,在本实施方式中,主要说明与上述第1实施方式的不同点,对与第1实施方式同样的部件标注同一附图标记而省略其说明。
如图16所示,本实施方式的运算装置16除了前处理部20、比较区域选定部23、第1识别部30之外,还具备边界区域选定部25和第3识别部36。
边界区域选定部25从光谱数据(光谱图像)中提取光谱波形发生变化的部分作为多个测定对象间的边界部分,并且基于预先决定的规定条件来选定2处该提取出的边界部分。即,边界区域选定部25从由前处理部20输入的特征化后的光谱数据S2中选定2处边界部分。例如作为一个边界部分,如果利用图5(b)进行说明,则选定与光谱形状“a”和光谱形状“b”的边界对应的边界区域204。另外,作为另一个边界部分,例如如果利用图6(b)来进行说明,则选定与光谱形状“a”和光谱形状“b”的边界对应的边界区域207。而且,边界区域选定部25从各个特征化后的光谱数据S2中取得与如此选定的2处边界区域对应的光谱数据即比较边界位置光谱数据Sp2、Sq2。
第3识别部36与边界区域选定部25连接,并且将从该边界区域选定部25输入的比较边界位置光谱数据Sp2、Sq2所含的环境光除去。第3识别部36例如根据两个比较边界位置光谱数据Sp2、Sq2的逻辑积来计算作为它们共通的数据、即与环境光对应的数据的特征化后的光谱数据。而且,第3识别部36根据与该环境光对应的特征化后的光谱数据和各比较边界位置光谱数据Sp2、Sq2的差值来求出各相关光谱数据Spp、Sqq。由此,可根据比较边界位置光谱数据Sp2计算出环境光的影响被除去了的一个相关光谱数据Spp。该相关光谱数据Spp是基于构成边界部分的两个测定对象,例如在图5(b)的边界区域204中存在的轮胎53B的光谱数据和车道50的光谱数据的数据。同样,可根据比较边界位置光谱数据Sq2来计算环境光的影响被除去了的一个相关光谱数据Sqq。该相关光谱数据Sqq是基于构成边界部分的两个测定对象,在例如图6(b)的边界区域207中存在的头部54A的光谱数据和躯体部54B的光谱数据的数据。
其中,由于这些被计算出的相关光谱数据Spp、Sqq分别与第1实施方式的相关光谱数据Sab对应,所以通过利用了第1识别部30的对照部33的对照,能够同时确定构成它们的两个测定对象,例如同时确定测定对象Ma、Mb或测定对象Mc、Md。
下面,根据图17的流程图对本实施方式中的识别处理的顺序进行说明。
如果识别处理开始,则运算装置16从光谱传感器14取得观测光的光谱数据S0(步骤S30),并且计算出对该取得的观测光的光谱数据S0进行前处理而特征化后的光谱数据S2(步骤S31)。接着,运算装置16从特征化后的光谱数据S2选定位于不同的两个位置的边界区域,从这些边界区域分别取得比较边界位置光谱数据Sp2、Sq2(步骤S32)。运算装置16分别生成将比较边界位置光谱数据Sp2、Sq2所含的环境光的影响除去了的相关光谱数据Spp、Sqq(步骤S33)。
而且,运算装置16将各相关光谱数据Spp、Sqq与根据各个预先决定的规定条件从第1对照用数据17A选择的、含有两个测定对象的光谱数据的参照用数据Sabr进行比较对照。由此,基于该比较对照来同时确定构成相关光谱数据Spp的两个测定对象Ma、Mb,并且与其独立地还同时确定构成相关光谱数据Spp的两个测定对象Mc、Md(步骤S34)。然后,运算装置16将该两个测定对象Ma、Mb的识别结果和两个测定对象Mc、Md的识别结果分别作为光谱测定装置11的识别结果向外部输出。
本实施方式除了具有第1实施方式的优点(1)~(5)之外,还具有以下优点。
(9)不同的两个位置处的比较边界位置光谱数据Sp2、Sq2分别是至少两个不同的测定对象的边界部分的光谱数据。因此,由于被测定的光谱数据所含的测定对象的数增加,所以能够同时识别更多的测定对象。而且,由此也能够一并实现测定对象的识别所需要的时间的缩短。
(10)由于光谱数据的一部分中含有车道50的光谱数据,所以如前所述,测定对象的确定变得容易,能够实现确定所需要的时间的缩短。
下面,根据附图对本发明的第4实施方式进行说明。图18表示本实施方式涉及的光谱测定装置11的概要构成。其中,本实施方式的光谱测定装置11是对上述第1实施方式的光谱装置11追加了边界区域选定部25、第4识别部37以及判定部34的装置,除此以外的构成与上述第1实施方式大致相同。因此,在本实施方式中,主要说明与上述第1实施方式的不同点,为了便于说明,对与第1实施方式同样的部件标注同一附图标记而省略其说明。
如图19所示,本实施方式的词典数据存储部17中预先存储有第1对照用数据17A和第3对照用数据17C作为词典数据。第1对照用数据17A与上述第1实施方式的对照用数据相同。另一方面,第3对照用数据17C的性质也与第1对照用数据17A相同。即,第1对照用数据17A是基于两个测定对象的数据组合的数据,与此相对,第3对照用数据17C是基于四个测定对象的数据组合的数据,仅在该方面不同,数据的性质本身没有变化。
本实施方式的运算装置16如图18所示,除了前处理部20、比较区域选定部23、第1识别部30之外,还具备边界区域选定部25和第4识别部37。其中,由于本实施方式的边界区域选定部25与在上述第3实施方式中说明的边界区域选定部25相同,所以省略其说明。
第4识别部37是将比较边界位置光谱数据Sp2、Sq2各自所含的环境光除去的部件。第4识别部37与边界区域选定部25连接。第4识别部37具备识别用数据生成部42和对照部43。识别用数据生成部42与第1实施方式的识别用数据生成部31相比,由于不同之处只是与被输入的光谱数据对应的测定对象的数量不是1个而是2个,其他方面具有同样的功能,所以省略其详细说明。即,第1实施方式的识别用数据生成部31通过基于一个测定对象的比较位置光谱数据Sa2、Sa2的差值以及其绝对值化,来生成基于环境光的影响被除去后的两个测定对象的相关光谱数据Sab。另一方面,本实施方式的识别用数据生成部42通过基于两个测定对象的比较边界位置光谱数据Sp2、Sq2的差值以及其绝对值化,来生成基于环境光的影响被除去的四个测定对象的相关光谱数据Sabcd。
本实施方式的对照部43与第1实施方式的对照部33相比,由于不同之处只是与被输入的相关光谱数据Sabcd对应的测定对象的数不是2个而是4个,其他方面具有同样的功能,所以省略其详细说明。即,第1实施方式的对照部33通过将基于两个测定对象的相关光谱数据Sab与从基于相同的两个测定对象的第1对照用数据选择出的参照用数据Sabr进行比较对照,来同时确定两个测定对象。另一方面,本实施方式的对照部43通过将基于四个测定对象的相关光谱数据Sabcd与从基于同样的四个测定对象的第3对照用数据17C选择出的参照用数据Sabcdr进行比较对照,来同时确定四个测定对象。
判定部34调整第1识别部30的识别结果和第4识别部37的识别结果。即,当第1识别部30的识别结果和第4识别部37的识别结果之间产生不同或者矛盾时,判定部34基于预先决定的条件来判定各识别结果的优先级,并且将被判定为优先级高的一方的识别结果作为光谱测定装置11的识别结果来进行输出。
下面,根据图20的流程图来说明本实施方式中的识别处理的顺序。
如果识别处理开始,则运算装置16从光谱传感器14取得观测光的光谱数据S0(步骤S40),并且计算出对该取得的观测光的光谱数据S0进行前处理而特征化后的光谱数据S2(步骤S41)。接着,运算装置16从特征化后的光谱数据S2选定位于不同的两个位置的边界区域,从这些边界区域取得各个比较边界位置光谱数据Sp2、Sq2(步骤S42)。运算装置16求出这些比较边界位置光谱数据Sp2、Sq2的差值数据,并且将该差值数据绝对值化,生成将它们所含的环境光的影响除去了的相关光谱数据Sabcd(步骤S43)。然后,运算装置16将相关光谱数据Sabcd与含有根据预先决定的条件从第3对照用数据17C选择出的四个测定对象的光谱数据的参照用数据Sabcdr进行比较对照。由此,可基于该比较对照同时确定构成相关光谱数据Sabcd的四个测定对象Ma、Mb、Mc、Md(S44)。然后,运算装置16将这四个测定对象Ma、Mb、Mc、Md的识别结果作为光谱测定装置11的识别结果向外部输出。
本实施方式除了第1实施方式的优点(1)~(5)之外,还具有以下优点。
(11)不同的两个位置的比较边界位置光谱数据Sp2、Sq2分别是至少两个不同的测定对象的边界部分的光谱数据。而且,根据这些比较边界位置光谱数据Sp2、Sq2生成基于四个测定对象的相关光谱数据Sabcd,并且将该相关光谱数据Sabcd与从基于相同的四个测定对象的第3对照用数据17C选择出的参照用数据Sabcdr进行对照。结果,被测定的光谱数据所含的测定对象的数增加,并且能够暂时识别更多的测定对象。而且,由此还能够一并缩短测定对象的识别所需要的时间。
此外,上述各实施方式例如也能够通过以下那样的方式来实施。
在上述各实施方式中,例示了以前处理部20所执行的前处理、比较区域选定部23所执行的比较区域选定处理为代表的与识别处理相关的多个运算处理全部由运算装置16执行的情况。但并不限于此,也可以利用多个不同的运算装置来执行这些多个运算处理,在这运算装置之间彼此共享所得到的运算结果。
在上述各实施方式中,从多个光谱区域中选定了彼此相邻的两个光谱区域(例如与车道50对应的光谱区域和与轮胎53B对应的光谱区域)作为识别处理所使用的两个比较区域。但并不限于此,也可以从多个光谱区域中选定彼此不相邻的两个光谱区域作为识别处理所使用的两个比较区域。
在上述各实施方式中,例示了前处理部20进行归一化处理和2次微分处理的情况。但并不限于此,也可以是前处理部20仅执行归一化处理或者2次微分处理中的任意一方。需要说明的是,该情况下,希望对照所使用的参照用数据也是进行了同样的处理的数据。
在上述各实施方式中,归一化处理被以预先设定的条件执行,但并不限于此,归一化处理的执行条件也可以通过其他控制装置或者人机接口任意地可变设定。其中,这不限于归一化处理,对其他处理也同样。
在上述各实施方式中,例示了第1识别部30计算出两个比较位置光谱数据Sa2、Sb2的差作为相关光谱数据Sab的情况。但并不限于此,如果能够除去或者减少两个比较位置光谱数据所含的环境光,则也可以通过将两个比较位置光谱数据中的一方除以另一方来求出两个比较位置光谱数据之比,将该比作为相关光谱数据Sab。
在上述第2实施方式中,例示了第2识别部35通过使用了两个比较位置光谱数据Sa2、Sb2的除法来计算相关光谱数据Sab的情况。但并不限于此,如果能够除去或者减少两个比较位置光谱数据所含的环境光,则也可以求出两个比较位置光谱数据之差作为相关光谱数据。
在上述各实施方式中,词典数据存储部17存储有基于多个测定对象的光谱数据组合的第1对照用数据17A。但并不限于此,词典数据存储部17也可以存储基于每一个测定对象的光谱数据的对照用数据。该情况下,通过根据需要选择多个对照用数据进行组合,能够生成与相关光谱数据的比较所使用的参照用数据。
在上述各实施方式中,例示了对两个比较位置光谱数据Sa2、Sb2之差进行绝对值化来计算出相关光谱数据Sab的情况。但并不限于此,如果能够除去或者减轻环境光的影响,则也可以不对两个比较位置光谱数据之差进行绝对值化地求出相关光谱数据。
在上述第2、第3以及第4实施方式中,例示了运算装置16具备多个识别部的情况,但并不限于此,运算装置也可以仅具备任意一个识别部。由此,也能够实现将观测光的影响除去或者减轻了的测定对象的识别。
上述第2、第3以及第4各实施方式中的多个识别部的组合只是例示,多个识别部的组合也可以是上述以外的组合。例如,也可以如图21所示,运算装置16具备第1识别部30、第2识别部35以及第3识别部36。另外,例如也可以如图22所示,运算装置16具备第1识别部30、第2识别部35以及第4识别部37。并且,例如也可以如图23所示,运算装置16具备第1识别部30、第2识别部35、第3识别部36以及第4识别部37。
在上述第2实施方式中,例示了相互关系Pab基于空间位置关系以及空间大小的关系被计算出的情况,但并不限于此,相互关系Pab也可以基于空间位置关系或者空间大小关系中的任意一方来计算。
在上述第2实施方式中,利用空间位置与空间大小的乘积来表示测定对象的特征,但并不限于此,也可以通过空间位置与空间大小的相加、相减、相除来表示测定对象的特征。
在上述第2实施方式中,通过将一个测定对象的特征(空间位置以及空间大小)除以另一个测定对象的特征来计算出相互关系Pab,但并不限于此,也可以通过两个测定对象的特征的乘积来计算出相互关系Pab。
在上述第3以及第4实施方式中,例示了选定图5(b)以及图6(b)所示的两个边界区域204、207作为边界部分的情况,但也可以选择除此以外的边界部分。尤其是如果选择了关联性高的两个边界部分,则能够进行高度的识别。例如,如果选择行驶中的自行车的车轮与路面的边界部分、以及该自行车的车架与驾驶者之间的边界部分,则也能够识别人所驾驶的自行车。
在上述第3以及第4实施方式中,检测出边界部分作为光谱数据的形状大幅变化的部分。但并不限于此,也可以求出边界部分作为彼此相邻的不同光谱区域的边界。
在上述各实施方式中,例示了将光谱测定装置11搭载到车辆10中的情况,但并不限于此,光谱测定装置也能够以不在地上、建筑物等中移动的方式设置。例如,可以如图24所示,将光谱测定装置11A设于被设置成能够检测出道路环境的检测装置60,检测车辆、行人或者自行车57和其驾驶者58等作为在该检测装置60的周边环境中存在的测定对象。
附图标记说明:10…车辆,11…光谱测定装置,11A…光谱测定装置,12…人机接口,13…车辆控制装置,14…光谱传感器,15…光谱数据处理装置,16…运算装置,17…词典数据存储部,20…前处理部,21…归一化处理部,22…2次微分处理部,23…比较区域选定部,25…边界区域选定部,30…第1识别部,31…识别用数据生成部,32…差值数据计算部,33…对照部,34…判定部,35…第2识别部,36…第3识别部,37…第4识别部,38…基准区域设定部,39…相互关系计算部,40…除法处理部,41…对照部,42…识别用数据生成部,43…对照部,50…车道,51…步行道,52…树木,53…汽车,53B…轮胎,53C…保险杠,54…行人,54A…头部,54B…躯体部,55…护栏,56…背景,57…自行车,58…驾驶者,60…检测装置。

Claims (10)

1.一种光谱测定装置,基于由能够测定波长信息和光强度信息的光谱传感器检测出的观测光的光谱数据来识别测定对象,其中,
具备光谱数据处理装置,该光谱数据处理装置通过从由所述光谱传感器检测出的不同的两个位置处的光谱数据中的一方光谱数据减去另一方光谱数据或者将一方光谱数据除以另一方光谱数据,来计算出与所述不同的两个位置处的光谱数据相关的一个相关光谱数据,并且基于该相关光谱数据来同时确定与所述不同的两个位置对应的测定对象。
2.根据权利要求1所述的光谱测定装置,其中,
所述光谱数据处理装置计算出被实施了归一化处理以及2次微分处理中的至少一种处理的所述不同的两个位置处的光谱数据之比或者差作为所述相关光谱数据。
3.根据权利要求1或2所述的光谱测定装置,其中,
所述光谱数据处理装置进行聚类处理,该聚类处理将每个波长的光强度之差为规定值以下的多个光谱数据分类成同一光谱区域内的光谱数据,
所述不同的两个位置处的光谱数据是通过所述聚类处理而规定的多个不同光谱区域中彼此相邻或者不相邻的两个光谱区域中的光谱数据。
4.根据权利要求1或2所述的光谱测定装置,其中,
所述光谱数据处理装置预先登记有多个由与相关光谱数据对应的至少两个测定对象的光谱数据的组合构成的数据作为对照用数据,
所述光谱数据处理装置通过将所述相关光谱数据与所述预先登记的对照用数据进行对照,来确定与所述不同的两个位置对应的测定对象。
5.根据权利要求1或2所述的光谱测定装置,其中,
所述不同的两个位置处的光谱数据中的一个是路面的光谱数据。
6.根据权利要求1或2所述的光谱测定装置,其中,
所述光谱测定装置还具备计算出相互关系的相互关系计算部,该相互关系是对与所述不同的两个位置对应的测定对象间的关系的特征进行表示的信息,
所述相互关系计算部基于根据所述不同的两个位置处的光谱数据求出的两个测定对象的空间位置关系以及空间大小的关系中的至少一方,来计算出所述相互关系,
所述相关光谱数据是第1相关光谱数据,所述光谱数据处理装置通过使所述相互关系与所述第1相关光谱数据关联来生成第2相关光谱数据,并且利用该第2相关光谱数据来确定与所述不同的两个位置对应的测定对象。
7.根据权利要求6所述的光谱测定装置,其中,
所述光谱数据处理装置将所述不同的两个位置处的光谱数据中的一方确定为基准,并且计算出将另一方光谱数据除以成为该基准的一方光谱数据而得到的数据或者从成为基准的一方光谱数据减去另一方光谱数据而得到的数据作为所述第2相关光谱数据。
8.根据权利要求7所述的光谱测定装置,其中,
所述成为基准的一方光谱数据是路面的光谱数据。
9.根据权利要求1或2所述的光谱测定装置,其中,
所述不同的两个位置处的光谱数据是至少两个不同的测定对象的边界部分的光谱数据。
10.根据权利要求9所述的光谱测定装置,其中,
所述不同的两个位置处的光谱数据中的任意一方是路面的光谱数据。
CN201180013689.6A 2010-04-09 2011-04-08 光谱测定装置 Expired - Fee Related CN102792150B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010090879A JP5060580B2 (ja) 2010-04-09 2010-04-09 スペクトル測定装置
JP2010-090879 2010-04-09
PCT/JP2011/058904 WO2011126112A1 (ja) 2010-04-09 2011-04-08 スペクトル測定装置

Publications (2)

Publication Number Publication Date
CN102792150A CN102792150A (zh) 2012-11-21
CN102792150B true CN102792150B (zh) 2014-12-10

Family

ID=44763046

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180013689.6A Expired - Fee Related CN102792150B (zh) 2010-04-09 2011-04-08 光谱测定装置

Country Status (5)

Country Link
US (1) US9234800B2 (zh)
EP (1) EP2557412A4 (zh)
JP (1) JP5060580B2 (zh)
CN (1) CN102792150B (zh)
WO (1) WO2011126112A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4977923B2 (ja) 2010-03-03 2012-07-18 日本電気株式会社 アクティブ型車両視界補助装置及び車両視界補助方法
JP6053272B2 (ja) * 2011-10-19 2016-12-27 オリンパス株式会社 顕微鏡装置
CN104040309B (zh) 2011-11-03 2019-06-07 威利食品有限公司 用于最终使用者食品分析的低成本光谱测定系统
KR101410215B1 (ko) * 2012-08-16 2014-06-19 현대모비스 주식회사 차량용 객체 검출 장치 및 이의 방법
DE102012110429B4 (de) * 2012-10-31 2014-07-10 Phoenix Contact Gmbh & Co. Kg Vorrichtung und Verfahren zum Beleuchten einer Stoffoberfläche
EP4006542A1 (en) 2013-08-02 2022-06-01 Verifood Ltd. Spectrometer comprising sample illuminator
JP2017505901A (ja) 2014-01-03 2017-02-23 ベリフード, リミテッドVerifood, Ltd. 分光システム、方法、および用途
JP5668157B1 (ja) * 2014-02-05 2015-02-12 佐鳥 新 対象物探索装置、対象物探索プログラムおよび人命救助用探索システム
CN107250739A (zh) 2014-10-23 2017-10-13 威利食品有限公司 手持式光谱仪的附件
WO2016125164A2 (en) 2015-02-05 2016-08-11 Verifood, Ltd. Spectrometry system applications
WO2016125165A2 (en) 2015-02-05 2016-08-11 Verifood, Ltd. Spectrometry system with visible aiming beam
WO2016162865A1 (en) 2015-04-07 2016-10-13 Verifood, Ltd. Detector for spectrometry system
US10066990B2 (en) 2015-07-09 2018-09-04 Verifood, Ltd. Spatially variable filter systems and methods
US10203246B2 (en) 2015-11-20 2019-02-12 Verifood, Ltd. Systems and methods for calibration of a handheld spectrometer
US10254215B2 (en) 2016-04-07 2019-04-09 Verifood, Ltd. Spectrometry system applications
EP3488204A4 (en) 2016-07-20 2020-07-22 Verifood Ltd. ACCESSORIES FOR HANDLABLE SPECTROMETERS
US10791933B2 (en) 2016-07-27 2020-10-06 Verifood, Ltd. Spectrometry systems, methods, and applications
JP6732705B2 (ja) * 2017-08-01 2020-07-29 エスペック株式会社 環境試験装置及び環境試験方法
US11536608B2 (en) * 2021-01-04 2022-12-27 Argo AI, LLC Systems and methods for characterizing spectral reflectance of real world objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1699973A (zh) * 2005-04-28 2005-11-23 天津市先石光学技术有限公司 利用浮动基准实现浓度测量的方法
CN101115987A (zh) * 2004-12-09 2008-01-30 科学技术设备委员会 用于具有深度选择性的拉曼光谱法的设备
CN101692045A (zh) * 2009-10-28 2010-04-07 广西工学院 基于多波长激发的拉曼光谱的荧光消除方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS604135Y2 (ja) 1980-07-25 1985-02-05 日産自動車株式会社 障害物検知装置
JPS6041270B2 (ja) 1980-07-29 1985-09-14 日本鋼管株式会社 配管系の不等沈下対策工法
US4947044A (en) 1989-03-20 1990-08-07 The Boeing Company Method and apparatus for covertly viewing a target using infrared radiation
DE69124726T2 (de) 1990-10-25 1997-07-03 Mitsubishi Electric Corp Vorrichtung zur Abstandsdetektion für ein Kraftfahrzeug
US5347475A (en) * 1991-09-20 1994-09-13 Amoco Corporation Method for transferring spectral information among spectrometers
JPH07280724A (ja) 1994-04-15 1995-10-27 Natl Space Dev Agency Japan<Nasda> 吸光度測定方法
JP2820083B2 (ja) * 1995-11-08 1998-11-05 日本電気株式会社 質量分析装置及びラジカル計測方法
JP3713321B2 (ja) 1995-12-19 2005-11-09 オリンパス株式会社 カラー画像記録再生システム及び画像カラー画像記録再生方法
US6373573B1 (en) 2000-03-13 2002-04-16 Lj Laboratories L.L.C. Apparatus for measuring optical characteristics of a substrate and pigments applied thereto
US6870616B2 (en) 1998-06-30 2005-03-22 Jjl Technologies Llc Spectrometer apparatus for determining an optical characteristic of an object or material having one or more sensors for determining a physical position or non-color property
EP0898148A3 (de) 1997-08-20 2000-04-26 DaimlerChrysler AG Verfahren zur Bestimmung des Zustands einer Fahrbahnoberfläche
JP4326621B2 (ja) 1999-03-01 2009-09-09 株式会社エヌ・ティ・ティ・データ データ管理方法及び装置、記録媒体
US6362888B1 (en) 1999-12-23 2002-03-26 Lj Laboratories, L.L.C. Spectrometer assembly
US6596996B1 (en) 2001-07-24 2003-07-22 The Board Of Regents For Oklahoma State University Optical spectral reflectance sensor and controller
JP3700778B2 (ja) 2002-03-14 2005-09-28 三菱電機株式会社 赤外線撮像装置
JP4016826B2 (ja) 2002-12-10 2007-12-05 株式会社デンソー 物標識別方法及び装置、プログラム
JP3948450B2 (ja) * 2003-10-20 2007-07-25 日産自動車株式会社 物体検出装置及び物体検出方法
JP4352904B2 (ja) 2004-01-15 2009-10-28 富士ゼロックス株式会社 プリントサーバ、及びプリントサーバの節電制御プログラム
DE102004023323B4 (de) * 2004-05-07 2006-10-19 Daimlerchrysler Ag Sensorvorrichtung und Verfahren in einem Fahrzeug zur Erkennung des Zustands der Straßenoberfläche
US7058530B1 (en) * 2004-08-13 2006-06-06 Research Electronics International, Llc Comparative spectrum trace method and apparatus for detecting transmitters
JP4466319B2 (ja) 2004-10-25 2010-05-26 パナソニック電工株式会社 空間情報の検出装置
JP4442539B2 (ja) 2005-09-27 2010-03-31 パナソニック電工株式会社 空間情報の検出装置
JP4502787B2 (ja) 2004-11-19 2010-07-14 Nec東芝スペースシステム株式会社 光学スペクトルセンサ
JP4442472B2 (ja) 2005-03-07 2010-03-31 株式会社豊田中央研究所 対象物の部位判別装置
US7295771B2 (en) 2005-04-25 2007-11-13 Delphi Technologies, Inc. Method and apparatus for minimizing ambient illumination effects in a vision system
JP2006014315A (ja) 2005-06-20 2006-01-12 Olympus Corp カラー画像記録再生システム及び表色ベクトルデータ生成方法
JP4262734B2 (ja) * 2005-09-14 2009-05-13 株式会社リガク 蛍光x線分析装置および方法
US7495218B2 (en) * 2006-04-20 2009-02-24 U Chicago Argonne Llc Passive millimeter wave spectrometer for remote detection of chemical plumes
JP4884096B2 (ja) 2006-06-20 2012-02-22 アルパイン株式会社 物体識別システム
JP4819606B2 (ja) 2006-07-21 2011-11-24 株式会社豊田中央研究所 対象物の部位判別装置及び性別判定装置
JP4316629B2 (ja) 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
JP5026854B2 (ja) * 2007-04-27 2012-09-19 国立大学法人東京工業大学 領域抽出装置及び領域抽出方法
JP4915314B2 (ja) 2007-08-23 2012-04-11 オムロン株式会社 撮像装置および撮像制御方法
JP5327419B2 (ja) * 2007-11-02 2013-10-30 日本電気株式会社 ハイパースペクトル画像解析システム、その方法及びそのプログラム
JP5031617B2 (ja) * 2008-02-25 2012-09-19 パイオニア株式会社 関連領域特定装置及び方法、並びに画像認識装置及び方法
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
DE112009004829T5 (de) 2009-05-29 2012-07-19 Toyota Jidosha K.K. Vorrichtung zum messen eines spektrums eines bewegbaren körpers
CN102449448B (zh) * 2009-05-29 2014-05-21 丰田自动车株式会社 移动体用光谱测定装置
DE112009004830T5 (de) 2009-05-29 2012-06-14 Toyota Jidosha Kabushiki Kaisha Spektrummessvorrichtung für Bewegungsobjekt
JP5519381B2 (ja) * 2010-04-09 2014-06-11 トヨタ自動車株式会社 スペクトル測定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101115987A (zh) * 2004-12-09 2008-01-30 科学技术设备委员会 用于具有深度选择性的拉曼光谱法的设备
CN1699973A (zh) * 2005-04-28 2005-11-23 天津市先石光学技术有限公司 利用浮动基准实现浓度测量的方法
CN101692045A (zh) * 2009-10-28 2010-04-07 广西工学院 基于多波长激发的拉曼光谱的荧光消除方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JP特开2005-121601A 2005.05.12 *
JP特开2008-275477A 2008.11.13 *
JP特开2009-115498A 2009.05.28 *
JP特开2009-201064A 2009.09.03 *

Also Published As

Publication number Publication date
EP2557412A1 (en) 2013-02-13
WO2011126112A1 (ja) 2011-10-13
EP2557412A4 (en) 2015-05-13
CN102792150A (zh) 2012-11-21
JP2011220867A (ja) 2011-11-04
US20130027702A1 (en) 2013-01-31
JP5060580B2 (ja) 2012-10-31
US9234800B2 (en) 2016-01-12

Similar Documents

Publication Publication Date Title
CN102792150B (zh) 光谱测定装置
Tran et al. Modeling and prediction of driver behavior by foot gesture analysis
AU2019201805B2 (en) Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program
CN111507233B (zh) 一种多模态信息融合的智能车路面类型识别方法
CN105242271B (zh) 用于车辆雷达系统的目标分类
US20210341603A1 (en) Obstacle recognition device, vehicle system including the same, and method thereof
CN107392103A (zh) 路面车道线的检测方法及装置、电子设备
CN104680124B (zh) 检测行人的影像处理装置及其方法
US9128116B2 (en) Automatic alignment of a vehicle three-axes accelerometer
US20190373186A1 (en) Face recognition using depth and multi-spectral camera
KR102399130B1 (ko) 차량의 주행 환경 인식 장치, 방법 및 시스템
CN107209993A (zh) 车辆认知雷达方法和系统
CN105103166A (zh) 用于涂料配制的纹理评估的系统和方法
CN106183989B (zh) 车辆驾驶辅助装置及车辆驾驶辅助装置的动作方法
CN105365667B (zh) 车辆警报音输出控制装置及其方法
KR20160090047A (ko) 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
WO2020241294A1 (ja) 信号処理装置、信号処理方法、および、測距モジュール
US20150003682A1 (en) Gesture recognition apparatus using vehicle steering wheel, and method for recognizing hand
CN108428248A (zh) 车窗定位方法、系统、设备及存储介质
CN105706147A (zh) 用于认证标记的手持装置和方法
KR102619326B1 (ko) 이미지 피라미드를 이용한 차량 인식 장치 및 방법
US8723124B2 (en) Spectrum measuring apparatus for mover
KR20140097669A (ko) 운전 패턴 인식에 기반하여 보험료를 결정하는 장치 및 방법
JP2013030183A (ja) 環境認識装置及びプログラム
CN110956207A (zh) 一种光学遥感影像全要素变化检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210

Termination date: 20200408