CN112106064A - 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置 - Google Patents

物体识别方法、车辆控制方法、信息显示方法以及物体识别装置 Download PDF

Info

Publication number
CN112106064A
CN112106064A CN201980031643.3A CN201980031643A CN112106064A CN 112106064 A CN112106064 A CN 112106064A CN 201980031643 A CN201980031643 A CN 201980031643A CN 112106064 A CN112106064 A CN 112106064A
Authority
CN
China
Prior art keywords
image
image data
light
identifying
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031643.3A
Other languages
English (en)
Inventor
安藤贵真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN112106064A publication Critical patent/CN112106064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Vascular Medicine (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本公开的一个方式的物体识别方法包括：取得包含表示物体的特征的特征信息的图像的图像数据的步骤；以及基于所述特征信息来识别所述图像中包含的所述物体的步骤。所述图像数据通过第1拍摄装置拍摄所述图像而取得，所述第1拍摄装置具备图像传感器和滤波器阵列，所述滤波器阵列配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上滤波器各自的光透射率在多个波长区域中具有极大值。

Description

物体识别方法、车辆控制方法、信息显示方法以及物体识别 装置
技术领域
本公开涉及物体识别方法、车辆控制方法、信息显示方法以及物体识别装置。
背景技术
在使用了机器学习的物体识别中，通常，使用单色图像或RGB图像作为学习数据。另一方面，还研究了利用比RGB图像包含多的波长的信息的多光谱图像来进行物体识别的尝试。
专利文献1公开了使不同波长区域的光通过的多个滤波器在空间上呈马赛克状配置的光谱相机作为取得多光谱图像的传感器。专利文献2公开了为了提高图像内的免疫细胞的识别精度，针对多个图像通道通过卷积神经网络来学习免疫细胞的图像的方法。专利文献3公开了将多光谱图像或超分光图像作为训练数据的机器学习的方法。
现有技术文献
专利文献
专利文献1：日本特表2015-501432号公报
专利文献2：国际公开第2015/177268号
专利文献3：美国专利申请公开第2017/0076438号说明书
发明内容
发明所要解决的课题
本公开提供一种能够根据编码后的图像数据进行高精度的物体识别的新的物体识别方法。
用于解决课题的手段
本公开的一个方式的物体识别方法包括：取得包含表示物体的特征的特征信息的图像的图像数据的步骤；以及基于所述特征信息来识别所述图像中包含的所述物体的步骤。所述图像数据通过第1拍摄装置拍摄所述图像而取得，所述第1拍摄装置具备图像传感器和滤波器阵列，所述滤波器阵列配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上滤波器的各自的光透射率在多个波长区域中具有极大值。
发明效果
根据本公开，能够进行高精度的物体识别。
附图说明
图1是示意性地表示本公开的例示性的实施方式中的物体识别装置的例子的图。
图2A是示意性地表示滤波器阵列的例子的图。
图2B是表示对象波长区域所包含的多个波长区域各自的光的透射率的空间分布的一例的图。
图2C是表示图2A所示的滤波器阵列中的区域A1的分光透射率的例子的图。
图2D是表示图2A所示的滤波器阵列中的区域A2的分光透射率的例子的图。
图3A是示意性地表示滤波器阵列的二维分布的例子的图。
图3B是示意性地表示滤波器阵列的二维分布的其他例的图。
图4A是表示使用了例示性的实施方式中的物体识别装置的物体识别方法的例子的流程图。
图4B是表示分类模型的生成处理的例子的流程图。
图4C是示意性地表示例示性的实施方式中的多个训练数据集的例子的图。
图4D是示意性地表示将物体的识别结果反馈到分类模型的例子的图。
图4E是表示使用了例示性的实施方式中的物体识别装置的物体识别方法的其他例的流程图。
图5A是示意性地表示显示物体识别的推荐区域来辅助拍摄的功能的图。
图5B是示意性地表示具有变焦功能的光学系统的物体的放大的图。
图5C是示意性地表示滤波器阵列的变形例的图。
图6A是示意性地表示例示性的实施方式中的物体识别装置的应用例的图。
图6B是示意性地表示例示性的实施方式中的物体识别装置的其他应用例的图。
图6C是示意性地表示例示性的实施方式中的物体识别装置的其他应用例的图。
图7是示意性地表示使用了例示性的实施方式中的物体识别装置的车辆控制的例子的图。
图8是示意性地表示例示性的实施方式中的物体识别装置的例子的图。
具体实施方式
在说明本公开的实施方式之前，说明成为本公开的基础的见解。
在使用了现有的RGB图像的物体识别中，其识别能力有限。例如，存在无法区分实物与其广告牌或海报的情况。这起因于通常从实物反射的光的R、G、B的各成分的量与从其广告牌或海报反射的光的R、G、B的各成分的量的差小。为了区分实物与其广告牌或海报，例如考虑利用多波长的光谱数据。由此，能够检测出因物体的材料的差异而引起的光谱数据的细微的差异。
在现有的超光谱相机中，例如如专利文献1所公开的那样，二维地配置透射波长区域不同的多个波长滤波器。在如动态图像拍摄那样利用单次拍摄取得1帧的图像的情况下，波长区域的数量与空间析像度成为权衡的关系。即，如果为了取得多波长图像而使透射波长区域不同的大量的滤波器在空间上分散配置，则按每个波长区域取得的图像的空间析像度变低。因此，即使期待物体的识别精度提高而将超光谱图像利用于物体识别，由于实际上低的空间析像度，存在识别精度降低的可能性。
还考虑通过增加图像传感器的像素数来提高波长分辨能力和析像度这两者。在该情况下，处理对空间的二维数据加上多波长的数据而得到的大容量的三维数据。在对这样的大尺寸的数据应用机器学习的情况下，前处理、学习、通信以及数据的保管花费大量的时间或者资源。
本发明人基于以上的研究，想到了以下的项目所记载的物体识别方法。
[项目1]
第1项目所涉及的物体识别方法包括：取得包含表示物体的特征的特征信息的图像的图像数据的步骤；以及基于所述特征信息来识别所述图像中包含的所述物体的步骤。所述图像数据通过由第1拍摄装置拍摄所述图像而取得，所述第1拍摄装置具备图像传感器和滤波器阵列，所述滤波器阵列配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上滤波器的各自的光透射率在多个波长区域中具有极大值。
[项目2]
也可以是，在第1项目所涉及的物体识别方法中，识别所述物体是通过将通过机器学习算法被训练后的分类模型应用于所述图像数据来进行的，所述分类模型通过多个第1训练数据集被预先训练，所述多个第1训练数据集分别包含学习用图像数据和标签数据，所述标签数据识别所述学习用图像数据所示的学习用图像中包含的所述物体。
[项目3]
也可以是，在第2项目所涉及的物体识别方法中，所述多个第1训练数据集所包含的多个学习用图像数据包含由与所述第1拍摄装置不同的第2拍摄装置生成的学习用图像数据。
[项目4]
也可以是，在第3项目所涉及的物体识别方法中，所述第2拍摄装置具备滤波器阵列，所述滤波器阵列具有与所述第1拍摄装置中的所述滤波器阵列同等的特性。
[项目5]
也可以是，第2至第4项目中的任一项所涉及的物体识别方法还包括：在识别出所述物体之后，通过第2训练数据集，所述分类模型进一步被训练，所述第2训练数据集包含所述图像数据和识别所述物体的第2标签数据。
[项目6]
也可以是，在第2至第5项目中的任一项所涉及的物体识别方法中，所述多个第1训练数据集所包含的多个学习用图像数据中的所述物体在所述学习用图像内的位置在所述多个学习用图像数据中互不相同。
[项目7]
也可以是，在第2至第6项目中的任一项所涉及的物体识别方法中，所述学习用图像数据是通过所述物体在所述学习用图像内占据规定的范围以上的状态下被拍摄而取得的。
[项目8]
也可以是，在第1至第7项目中的任一项所涉及的物体识别方法中，取得所述图像数据是使用包含显示器的拍摄装置来进行的，所述物体识别方法还包括：在取得所述图像数据之前，使所述显示器显示用于向用户通知所述图像中所述物体应该所处的区域或者所述物体应该占据的范围的辅助显示。
[项目9]
也可以是，在第1至第8项目中的任一项所涉及的物体识别方法中，所述多个滤波器的光透射率的波长依赖性互不相同，所述多个滤波器各自的光透射率在多个波长区域中具有极大值。
[项目10]
第10项目的车辆控制方法是使用了第1至第9项目中的任一项的物体识别方法的车辆控制方法，所述第1拍摄装置安装于车辆，所述车辆控制方法包括基于识别所述物体的结果来控制所述车辆的动作。
[项目11]
第11项目的信息显示方法是使用了第1至第9项目中的任一项的物体识别方法的信息显示方法，包括：基于识别所述物体的结果，从数据库取得表示从由所述物体的名称以及所述物体的说明构成的组中选择的至少1个的数据的步骤；以及将从由所述物体的名称以及所述物体的说明构成的组中选择的所述至少1个显示于显示器的步骤。
[项目12]
第12项目所涉及的物体识别方法包括：取得包含表示物体的特征的特征信息的图像的图像数据的步骤；以及基于所述特征信息来识别所述图像所包含的所述物体的步骤。所述图像数据是通过由第1拍摄装置一边改变多个光源的一部分所包含的光源的组合，一边多次重复在使所述多个光源的所述一部分发光的状态下拍摄所述图像的动作而取得的，所述第1拍摄装置具备图像传感器和包含发出互不相同的波长区域的光的所述多个光源的光源阵列。
[项目13]
也可以是，在第12项目所涉及的物体识别方法中，识别所述物体是通过将通过机器学习算法被训练后的分类模型应用于所述图像数据来进行的，所述分类模型通过多个第1训练数据集预先被训练，所述多个第1训练数据集分别包含学习用图像数据和标签数据，所述标签数据识别所述学习用图像数据所示的学习用图像中包含的所述物体。
[项目14]
也可以是，在第13项目所涉及的物体识别方法中，所述多个第1训练数据集所包含的多个学习用图像数据包含由与所述第1拍摄装置不同的第2拍摄装置生成的学习用图像数据。
[项目15]
也可以是，在第14项目所涉及的物体识别方法中，所述第2拍摄装置具备光源阵列，所述光源阵列具有与所述第1拍摄装置中的所述光源阵列同等的特性。
[项目16]
也可以是，第13至第15项目中的任一项所涉及的物体识别方法还包括：在识别出所述物体之后，通过第2训练数据集，所述分类模型进一步被训练，所述第2训练数据集包含所述图像数据和识别所述物体的第2标签数据。
[项目17]
也可以是，在第13至第16项目中的任一项所涉及的物体识别方法中，所述多个第1训练数据集所包含的多个学习用图像数据中的所述物体在所述学习用图像内的位置在所述多个学习用图像数据中互不相同。
[项目18]
也可以是，在第13至第17项目中的任一项的物体识别方法中，所述学习用图像数据是通过所述物体在所述学习用图像内占据规定的范围以上的状态下被拍摄而取得的。
[项目19]
也可以是，在第12至第18项目中的任一项所涉及的物体识别方法中，取得所述图像数据是使用包含显示器的拍摄装置进行的，所述物体识别方法还包括：在取得所述图像数据之前，使所述显示器显示用于向用户通知所述图像中所述物体应该所处的区域或者所述物体应该占据的范围的辅助显示。
[项目20]
第20项目所涉及的车辆控制方法是使用了第12至第19项目中的任一项所涉及的物体识别方法的车辆控制方法，所述第1拍摄装置安装于车辆，所述车辆控制方法包括基于识别所述物体的结果来控制所述车辆的动作的步骤。
[项目21]
第21项目所涉及的信息显示方法是使用了第12至第19项目中的任一项所涉及的物体识别方法的信息显示方法，包括：基于识别所述物体的结果，从数据库取得表示从由所述物体的名称以及所述物体的说明构成的组中选择的至少1个的数据的步骤；以及将从由所述物体的名称以及所述物体的说明构成的组中选择的所述至少1个显示于显示器的步骤。
[项目22]
第22项目所涉及的物体识别装置具备：图像传感器，生成包含表示物体的特征的特征信息的图像的图像数据；滤波器阵列，配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上的滤波器各自的光透射率在多个波长区域中具有极大值；以及信号处理电路，基于所述特征信息来识别所述图像中包含的所述物体。
[项目23]
第23项目所涉及的物体识别装置具备：图像传感器，生成包含物体的图像的图像信号；光源阵列，包含发出互不相同的波长区域的光的多个光源；控制电路，是控制所述图像传感器以及所述多个光源的控制电路，所述控制电路一边改变所述多个光源的一部分所包含的光源的组合，一边多次重复在使所述多个光源的所述一部分发光的状态下使所述图像传感器拍摄的动作；以及信号处理电路，基于特征信息，识别所述图像所包含的所述物体，所述特征信息是由所述图像传感器在所述多次拍摄的每一次生成的所述图像信号构成的图像数据所包含的、表示所述物体的特征的信息。
[项目24]
第24项目所涉及的物体识别装置具备存储器和信号处理电路。所述信号处理电路受理二维图像数据，基于所述二维图像数据所包含的特征信息，识别所述二维图像数据所示的场景所包含的物体，所述二维图像数据是包含多个像素的图像的二维图像数据，是对所述多个像素各自的数据复用多个波长区域的信息，且对所述多个像素各自的亮度分布进行编码而得到的多/超光谱图像数据。
[项目25]
也可以是，在第24项目所涉及的物体识别装置中，所述特征信息不基于所述二维图像数据重构所述多个波长区域各自的图像，而从所述二维图像数据中提取。
[项目26]
也可以是，第24项目所涉及的物体识别装置还具备取得所述二维图像数据的拍摄装置。
[项目27]
也可以是，在第26项目所涉及的物体识别装置中，所述二维图像数据通过所述物体在占据所述拍摄装置的拍摄区域中的规定的范围以上的状态下被拍摄而取得。
[项目28]
也可以是，第27项目所涉及的物体识别装置也可以还具备显示器，所述显示器在由所述拍摄装置取得所述二维图像数据之前，显示用于向用户通知在由所述拍摄装置拍摄的图像中，所述物体应该所处的区域或者所述物体应该占据的范围的辅助显示。
[项目29]
也可以是，在第26项目所涉及的物体识别装置中，所述拍摄装置包括图像传感器和滤波器阵列，所述滤波器阵列配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上的滤波器各自的光透射率在多个波长区域中具有极大值。
[项目30]
也可以是，在第29项目所涉及的物体识别装置中，所述多个滤波器包含周期性地配置的多个部分集合。
以下说明的实施方式均表示总括性或具体的例子。在以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置等是一个例子，并非旨在限定本公开。另外，关于以下的实施方式中的构成要素中的、未记载于表示最上位概念的独立权利要求书中的构成要素，作为任意的构成要素进行说明。
在本公开中，电路、单元、装置、构件或者部的全部或者一部分或者框图的功能块的全部或者一部分也可以通过包含半导体装置、半导体集成电路(IC)或者LSI(largescale integration：大规模集成电路)的一个或者多个电子电路来执行。LSI或IC可以集成在一个芯片中，也可以组合多个芯片而构成。例如，存储元件以外的功能块也可以集成在一个芯片中。在此，称为LSI或者IC，但称呼根据集成的程度而变化，也可以被称为系统LSI、VLSI(very large scale integration：甚大规模集成电路)或者ULSI(ultra large scaleintegration：超大规模集成电路)。在LSI的制造后进行编程的现场可编程门阵列(FPGA：Field Programmable Gate Array)、或者能够重构LSI内部的接合关系或者设置LSI内部的电路区划的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
进而，电路、单元、装置、构件或者部的全部或者一部分的功能或者操作能够通过软件处理来执行。在该情况下，软件被记录在一个或多个ROM、光盘、硬盘驱动器等非暂时性记录介质中，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性的记录介质、处理装置(processor)以及需要的硬件设备、例如接口。
以下，参照附图对本公开的实施方式进行说明。
(实施方式1)
图1是示意性地表示本公开的例示的实施方式1中的物体识别装置300的例子的图。作为一例，图1表示拍摄蘑菇的状况。所拍摄的物体70可以是任何物体。实施方式1中的物体识别装置300具备拍摄装置150、信号处理电路200、显示器400以及存储器500。拍摄装置150具备光学系统40、滤波器阵列100C和图像传感器60。物体识别装置300例如可以是智能手机或平板电脑等计算机。搭载于这些计算机的相机也可以作为拍摄装置150发挥功能。
滤波器阵列100C配置在入射到图像传感器60的光的光路中。在本实施方式中，滤波器阵列100C配置在与图像传感器60相对的位置。滤波器阵列100C也可以配置在其他位置。来自物体70的光的像被滤波器阵列100C编码。在此，“编码”是指通过使入射到滤波器阵列100C的光以依赖于该光的波长和位置的衰减率衰减，来调制像。将基于这样调制后的像而生成的图像数据称为“编码后的图像数据”。稍后将叙述滤波器阵列100C的结构和编码的细节。
图像传感器60可以是具有在拍摄面上二维排列的多个像素即多个光检测单元的单色型的拍摄元件。图像传感器60例如可以是CCD(Charge-Coupled Device：电荷耦合器件)传感器、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)传感器、红外线阵列传感器、太赫兹阵列传感器、或者毫米波阵列传感器。光检测单元例如包含光电二极管。图像传感器60不一定是单色型的拍摄元件。例如，也可以使用具有R/G/B、R/G/B/IR、或R/G/B/W的滤波器的彩色型的拍摄元件。图像传感器60不限于可见的波长范围，也可以在X射线、紫外、近红外、中红外、远红外、微波/电波的波长范围内具有检测灵敏度。
图像传感器60配置在通过了滤波器阵列100C的光的光路中。图像传感器60接收通过了滤波器阵列100C的光而生成图像信号。图像传感器60中的各光检测单元输出与接收到的光的量对应的光电转换信号。通过从多个光检测单元输出的多个光电转换信号，生成图像信号。图1示意性地表示由该图像信号、即编码后的图像数据构成的拍摄图像120的例子。
光学系统40包括至少1个透镜。在图1所示的例子中，光学系统40描绘为1个透镜，但也可以由多个透镜的组合构成。光学系统40也可以如后述那样具有变焦功能。光学系统40使来自物体70的光的像在滤波器阵列100C上成像。
信号处理电路200是处理从图像传感器60输出的图像信号的电路。信号处理电路200例如能够通过中央运算处理装置(CPU)以及图像处理用运算处理器(GPU)与计算机程序的组合来实现。这样的计算机程序例如存放在存储器等记录介质中，CPU或GPU等处理器执行该程序，由此能够执行后述的识别处理。信号处理电路200也可以是数字信号处理器(DSP)、或者现场可编程门阵列(FPGA)等可编程逻辑器件(PLD)。信号处理电路200也可以具有经由互联网等网络与拍摄装置150或智能手机等设备连接的服务器计算机。
信号处理电路200根据编码后的图像数据来识别物体70。物体70的识别例如可以使用通过公知的机器学习算法而训练的模型。关于物体识别方法的详细情况，将在后面叙述。
显示器400显示与识别出的物体70相关联的信息。显示器400例如可以是智能手机或平板电脑的显示器。显示器400也可以是与个人计算机等连接的显示器、或者内置于笔记本计算机的显示器。
接下来，将叙述滤波器阵列100C的结构和编码的细节。
图2A是示意性地表示滤波器阵列100C的例子的图。滤波器阵列100C具有二维排列的多个区域。在本说明书中，有时将该区域称为“单元”。在各区域配置有具有单独设定的分光透射率的滤波器。在此，“分光透射率”是指具有波长依赖性的光透射率。分光透射率以入射光的波长为λ，用函数T(λ)表示。分光透射率T(λ)可以取0以上且1以下的值。这样，滤波器阵列100C包括沿着与光路交叉的面二维排列的多个滤波器。
在图2A所示的例子中，滤波器阵列100C具有排列成6行8列的48个矩形区域。在实际的用途中，可以设置比其更多的区域。其数量例如可以是与图像传感器等一般的拍摄元件的像素数相同的程度。该像素数例如为数十万至数千万。在一个例子中，滤波器阵列100C配置在拍摄元件的正上方，各区域能够以与拍摄元件的1个像素对应的方式配置。各区域例如与拍摄元件的1个或多个像素相对。
图2B是表示对象波长区域所包含的多个波长区域W1、W2、…、Wi各自的光的透射率的空间分布的一例的图。在图2B所示的例子中，各区域的浓淡的差异表示透射率的差异。越是淡的区域，透射率越高，越是浓的区域，透射率越低。如图2B所示，光透射率的空间分布根据波长区域而不同。
图2C以及图2D分别是表示图2A所示的滤波器阵列100C的多个区域所包含的区域A1以及区域A2的分光透射率的例子的图。区域A1的分光透射率和区域A2的分光透射率互不相同。这样，滤波器阵列100C的分光透射率根据区域而不同。但是，不一定需要全部区域的分光透射率不同。滤波器阵列100C中的多个区域的至少2个区域的分光透射率互不相同。即，滤波器阵列100C包括分光透射率互不相同的2个以上的滤波器。该2个以上的滤波器各自的分光透射率在多个波长区域中具有极大值，在其他多个波长区域中具有极小值。
在此，对本公开中的“极大值”以及“极小值”的意义进行说明。将所关注的滤波器的分光透射率的最大值正则化为1、最小值正则化为0时，将超过0.5且与相邻的极小值之差为0.2以上的值定义为本公开中的“极大值”。同样地，在进行上述正则化时，将小于0.5且与相邻的极大值之差为0.2以上的值定义为本公开中的“极小值”。滤波器阵列100C中的多个滤波器的所有分光透射率也可以互不相同。在该情况下，各滤波器的分光透射率可以在多个波长区域中具有极大值，在其他多个波长区域中具有极小值。在一个例子中，滤波器阵列100C中包含的多个滤波器的分光透射率的模式的数量可以与对象波长区域中包含的波长区域的数量i相同或在其以上。典型地，滤波器阵列100C可以设计为半数以上的滤波器的分光透射率不同。
滤波器阵列100C针对每个区域，将入射光调制为关于波长具有离散的多个强度的峰值的光，并重叠这些多波长的光并输出。由此，通过了滤波器阵列100C的光的像被编码。
各区域的分光透射率的波长方向的分辨能力可以设定为期望的波长区域的带宽程度。换言之，在分光透射率的曲线中包含1个极大值的波长范围中的、取与该极大值最接近的极小值和该极大值的平均值以上的值的范围的宽度，可以设定为期望的波长区域的带宽程度。在该情况下，如果通过例如傅里叶变换将分光透射率分解为频率成分，则相当于该波长区域的频率成分的值相对变大。
典型地，如图2A所示，滤波器阵列100C被分割成与被划分为格子状的多个区域相当的多个单元。这些单元具有互不相同的分光透射率。滤波器阵列100C的各区域的光透射率的波长分布和空间分布例如可以是随机分布或准随机分布。
随机分布和准随机分布的考虑方法如下。首先，滤波器阵列100C中的各区域可以认为是根据光透射率而具有例如0～1的值的矢量要素。在此，在透射率为0的情况下，矢量要素的值为0，在透射率为1的情况下，矢量要素的值为1。换言之，能够将在行方向或列方向上排成一列的区域的集合视为具有0至1的值的多维矢量。因此，滤波器阵列100C可以说在列方向或行方向上具备多个多维矢量。此时，随机分布是指任意2个多维矢量是独立的，即不平行。另外，准随机分布是指包含在一部分多维矢量间不独立的结构。因此，在随机分布及准随机分布中，将多个区域所包含的属于排成1行或列的区域的集合的各区域中的第1波长区域的光的透射率的值作为要素的矢量与将属于排列在其他行或列的区域的集合的各区域中的第1波长区域的光的透射率的值作为要素的矢量相互独立。对于与第1波长区域不同的第2波长区域也同样地，将多个区域所包含的属于排成1行或者列的区域的集合的各区域中的第2波长区域的光的透射率的值作为要素的矢量与将属于排列在其他行或者列的区域的集合的各区域中的第2波长区域的光的透射率的值作为要素的矢量相互独立。
在将滤波器阵列100C配置在图像传感器60的附近或正上方的情况下，滤波器阵列100C中的多个区域的相互的间隔即单元间距也可以与图像传感器60的像素间距大致一致。这样，从滤波器阵列100C射出的被编码后的光的像的析像度与像素的析像度大致一致。在将滤波器阵列100C从图像传感器60分离配置的情况下，也可以根据该距离使单元间距变细。
在图2A至图2D所示的例子中，假定了各区域的透射率能够取0以上且1以下的任意值的灰度的透射率分布。但是，不一定需要灰度的透射率分布。例如，也可以采用各区域的透射率能够取大致0以及大致1的任一个值的二进制-标尺的透射率分布。在二进制-标尺的透射率分布中，各区域使对象波长区域所包含的多个波长区域中的至少2个波长区域的光的大部分透射，不使剩余的波长区域的光的大部分透射。在此，“大部分”是指大致80％以上。
也可以将全部单元中的一部分、例如一半的单元置换为透明区域。这样的透明区域使波长区域Wi的光以相同程度的高透射率从对象波长区域所包含的所有波长区域W1透射。该高透射率例如为0.8以上。在这样的结构中，多个透明区域例如能够以棋盘格状配置。即，在滤波器阵列100C中的多个区域的2个排列方向上，光透射率根据波长而不同的区域与透明区域能够交替排列。在图2A所示的例子中，2个排列方向是横向和纵向。通过提取透射呈棋盘格状配置的透明区域的成分，能够用1个相机同时取得单色图像。
滤波器阵列100C可以由从多层膜、有机材料、衍射光栅结构、包含金属的微细结构构成的组中选择的至少1个构成。在多层膜的情况下，例如使用包含介电多层膜或金属膜的多层膜。此时，在各单元中，多层膜的厚度、材料及层叠顺序中的至少1个可设计成不同。由此，在各单元中，能够实现不同的分光特性。另外，通过多层膜，能够实现具有急剧的上升或下降的分光特性。在使用有机材料的情况下，在各单元中，通过不同的颜料或染料，或者通过不同种材料的层叠，能够实现不同的分光特性。在衍射光栅结构的情况下，通过在各单元中设置不同的衍射间距或深度的衍射结构，能够实现不同的分光特性。在包含金属的微细结构的情况下，通过基于等离子体效应的分光能够实现不同的分光特性。
滤波器阵列100C配置在图像传感器60的附近或正上方。在此，“附近”是指，来自光学系统40的光的像以某种程度鲜明的状态接近形成在滤波器阵列100C的面上的程度。“正上方”是指几乎不产生间隙而两者接近。滤波器阵列100C和图像传感器60可以一体化。滤波器阵列100C是具有光透射率的空间分布的掩模。滤波器阵列100C调制入射的光的强度并使其通过。
图3A以及图3B是示意性地表示滤波器阵列100C的二维分布的例子的图。
如图3A所示，滤波器阵列100C也可以由2值掩模构成。黑色部表示遮光，白色部表示透射。通过白色部的光100％透射，通过黑色部的光被100％遮光。掩模的透射率的二维分布可以是随机分布或准随机分布。掩模的透射率的二维分布不必一定是完全随机的。这是因为滤波器阵列100C的编码是为了区分各波长的图像而进行的。另外，黑色部与白色部的比率无需为1：1。例如，也可以是白色部：黑色部＝1：9。如图3B所示，滤波器阵列100C也可以是具有灰度的透射率分布的掩模。
如图3A以及图3B所示，滤波器阵列100C具有按照每个波长区域W1、W2、…、Wi而不同的透射率的空间分布。波长区域各自的透射率的空间分布即使平行移动也不一致。
图像传感器60可以是具有二维像素的单色型的拍摄元件。但是，图像传感器60不必一定由单色型的拍摄元件构成。图像传感器60例如可以使用具有R/G/B、R/G/B/IR、R/G/B/W的滤波器的彩色型的拍摄元件。通过彩色型的拍摄元件，能够增加与波长有关的信息量。由此，能够补充滤波器阵列100C的特性，滤波器设计变得容易。
接着，说明由本实施方式的物体识别装置300取得表示拍摄图像120的图像数据的过程。来自物体70的光的像由光学系统40成像，通过设置在图像传感器60的紧前的滤波器阵列100C进行编码。其结果，在每个波长区域具有不同的编码信息的像相互重合，作为多重像在图像传感器60上成像。由此，得到拍摄图像120。此时，由于不使用棱镜等分光元件，因此不会发生像的空间偏移。由此，即使是多重像也能够维持高的空间析像度。其结果，能够提高物体识别的精度。
通过在物体识别装置300的一部分设置带通滤波器，也可以限定波长区域。在物体70的波长范围为某种程度已知的情况下，通过限定波长区域，也能够限定识别范围。其结果，能够实现物体的高识别精度。
接着，说明使用了本实施方式中的物体识别装置300的物体识别方法。
图4A是表示使用了本实施方式中的物体识别装置300的物体识别方法的例子的流程图。该物体识别方法由信号处理电路200执行。信号处理电路200通过执行存储器500中存放的计算机程序，执行图4A所示的步骤S101至S104的处理。
首先，用户通过物体识别装置300所具备的拍摄装置150拍摄物体70。由此，得到编码后的拍摄图像120。
在步骤S101中，信号处理电路200取得由拍摄装置150生成的图像数据。该图像数据表示被编码后的拍摄图像120。
在步骤S102中，信号处理电路200进行所取得的图像数据的前处理。前处理是为了提高识别精度而进行的。前处理例如可以包括区域提取、用于噪声去除的平滑化处理、以及特征提取等处理。前处理如果不需要也可以省略。
在步骤S103中，信号处理电路200将训练完毕的分类模型应用于图像数据，确定前处理后的图像数据表示的场景所包含的物体70。分类模型例如通过公知的机器学习算法预先被训练。稍后将叙述分类模型的细节。
在步骤S104中，信号处理电路200输出与物体70相关联的信息。信号处理电路200例如将物体70的名称和/或详细信息等信息输出到显示器400。显示器400显示表示该信息的图像。该信息不限于图像，例如也可以通过声音来提示。
接着，对物体识别方法所使用的分类模型进行说明。
图4B是表示分类模型的生成处理的例子的流程图。
在步骤S201中，信号处理电路200收集多个训练数据集。多个训练数据集分别包含学习用图像数据和标签数据。标签数据是对学习用图像数据所表示的场景所包含的物体70进行识别的信息。学习用图像数据是用与上述图像数据相同的方法编码后的图像数据。多个训练数据集所包含的多个学习用图像数据可以包含由本实施方式中的拍摄装置150或其他拍摄装置生成的学习用图像数据。关于多个训练数据集的详细情况在后面叙述。
在步骤S202中，信号处理电路200对各训练数据所包含的学习用图像数据进行前处理。关于前处理，如上所述。
在步骤S203中，信号处理电路200根据多个训练数据集，通过机器学习而生成分类模型。机器学习可以使用例如深度学习、支持矢量机、决策树、遗传编程、或者贝叶斯网络等算法。在利用深度学习的情况下，例如能够使用卷积神经网络(CNN)或者循环神经网络(RNN)等算法。
在本实施方式中，通过利用通过机器学习训练出的模型，能够从编码图像数据直接得到与场景内的物体有关的信息。为了以现有技术进行同样的情况，需要大量的运算。例如，需要从编码图像数据通过压缩传感等方法重建各波长区域的图像数据，根据这些图像数据来确定物体。与此相对，在本实施方式中，不需要根据编码图像数据重建各波长区域的图像数据。因此，能够节约该重构处理所花费的时间或计算资源。
图4C是示意性地表示本实施方式中的多个训练数据集的例子的图。在图4C所示的例子中，各训练数据集包括表示1个以上蘑菇的编码图像数据和表示该蘑菇是食用蘑菇还是毒蘑菇的标签数据。这样，关于各训练数据集，编码图像数据和表示正确标签的标签数据以1：1对应。正确标签例如可以是物体70的名称、特性、“好吃”或“难吃”等感官评价、或者表示“好”或“差”等判定的信息。一般而言，多个训练数据集越多，越能够提高学习的精度。在此，多个训练数据集所包含的多个学习用图像数据中的物体70在图像内的位置也可以根据学习用图像数据而不同。编码信息按每个像素而不同。因此，图像内的物体70的位置不同的学习用图像数据越多，越能够提高基于分类模型的物体识别的精度。
在本实施方式中的物体识别装置300中，分类模型在用户利用之前被组装到信号处理电路200。作为其他方法，也可以将表示拍摄图像120的编码图像数据经由网络或者云向另外准备于外部的分类系统发送。在该分类系统中，例如能够进行基于超级计算机的高速处理。由此，即使用户侧的终端的处理速度脆弱，只要能够连接到网络，就能够高速地向用户提供物体70的识别结果。
在图4A中的步骤S101中取得的图像数据和在图4B中的步骤S201中取得的学习用图像数据可以由例如具有同等特性的滤波器阵列编码。在该情况下，能够提高物体70的识别精度。在此，具有同等特性的滤波器阵列不需要严格地具有同等的特性，在一部分滤波器中，分光透射特性也可以不同。例如，也可以从整体的百分之几到百分之几十左右的滤波器的特性不同。在通过其他拍摄装置生成学习用图像数据的情况下，该其他拍摄装置能够具备与拍摄装置150所包含的滤波器阵列100C具有同等的特性的滤波器阵列。
也可以将物体70的识别结果反馈给分类模型。由此，能够进一步训练分类模型。
图4D是示意性地表示将物体70的识别结果反馈到分类模型的例子的图。在图4D所示的例子中，对进行了前处理的编码图像数据应用被训练后的分类模型，输出分类结果。于是，将其结果追加到数据集，使用该数据集进一步进行机器学习。由此，能够进一步训练模型，提高预测精度。
图4E是更详细地表示将识别结果向分类模型反馈的情况下的动作的流程图。
图4E所示的步骤S301至步骤S304分别与图4A所示的步骤S101至步骤S104相同。之后，执行步骤S305至S307。
在步骤S305中，信号处理电路200生成新的训练数据集，所述新的训练数据集包含在步骤S301中取得的图像数据和表示在步骤S303中识别出的物体70的标签数据。
在步骤S306中，信号处理电路200通过新的多个训练数据集，使分类模型进一步被训练。该学习处理与图4B所示的步骤S202以及步骤S203所示的学习处理相同。
在步骤S307中，信号处理电路200判定是否继续识别物体70。在判定为“是”的情况下，信号处理电路200再次执行步骤S301的处理。在判定为“否”的情况下，信号处理电路200结束物体70的识别。
这样，通过将物体70的识别结果反馈到分类模型，能够提高分类模型的识别精度。此外，还可以创建适合于用户的分类模型。
在另外提供了分类系统的情况下，用户也可以经由网络而将包含物体70的识别结果的数据集发送到分类系统以进行反馈。该数据集可以包含表示通过拍摄而生成的拍摄图像120的数据、或对其进行了前处理的数据、和表示基于分类模型的识别结果或基于用户的见解的正确标签的标签数据。对于发送了该数据集用于反馈的用户，分类系统的提供者也可以给予报酬或者积分等奖励。用户拍摄的拍摄图像120的访问许可、或者能否自动发送的认证也可以在发送前，例如通过画面弹出而显示于显示器400。
滤波器阵列100C能够在1个像素中复用多个波长信息而不是1个波长信息。拍摄图像120包含被复用的二维信息。该二维信息是关于空间以及波长，例如随机地被编码的光谱信息。在使用固定模式作为滤波器阵列100C的情况下，通过机器学习来学习编码的模式。由此，虽然是二维的输入数据，但实质上三维(即，位置二维以及波长一维)的信息被活用于物体识别。
本实施方式中的图像数据是波长信息被复用的数据，因此与以往的牺牲空间析像度的超光谱图像相比，能够提高每1波长的空间析像度。并且，本实施方式中的物体识别装置300能够利用单镜头来取得1帧的图像数据。由此，与以往的析像度高的扫描方式的超光谱拍摄方式相比，能够进行运动的物体或者手抖动强烈的物体识别。
在现有的超光谱图像的拍摄中，存在每1波长的检测灵敏度低的课题。例如，在分解为40波长的情况下，与不分解的情况相比，每1个像素光量减少到40分之1。与此相对，在本实施方式的方法中，如图3A以及图3B所例示的那样，通过图像传感器60检测入射光量中的例如50％左右的光量。由此，与以往的超光谱图像相比每1像素的检测光量变高。其结果，图像的SN比增加。
接着，说明安装有本实施方式中的物体识别方法的拍摄装置的其他功能的例子。
图5A是示意性地表示显示物体识别的推荐区域来辅助由相机进行的拍摄的功能的图。如果物体70在图像传感器60上极端小或者极端大地成像，则成像的物体70的图像与学习时识别出的训练数据集的图像之间产生差异，识别精度降低。滤波器阵列100C例如每个像素所包含的波长信息不同。因此，如果物体70仅被图像传感器60的拍摄区域的一部分检测，则波长信息产生偏差。为了防止波长信息的偏差，物体70在图像传感器60的拍摄区域中能够尽可能广地拍摄。另外，若在物体70的像从图像传感器60的拍摄区域伸出的状态下进行拍摄，则物体70的空间析像度的信息产生欠缺。因此，物体识别的推荐区域比图像传感器60的拍摄区域稍靠内侧。在图5A所示的例子中，表示物体识别的推荐区域的辅助显示400a显示于显示器400。在图5A中，显示器400的整个区域对应于图像传感器60的拍摄区域。例如，拍摄区域的横宽或纵宽的从60％到98％的区域可以作为物体识别的推荐区域显示在显示器400上。物体识别的推荐区域也可以是从拍摄区域的横宽或者纵宽的70％到95％的区域或者80％到90％的区域。这样，在通过拍摄装置150取得图像数据之前，也可以在显示器400显示辅助显示400a。辅助显示400a将在所拍摄的场景中物体70应该所处的区域或者物体70应该占据的范围通知给用户。同样地，多个训练数据集所包含的多个学习用图像数据各自是能够通过物体70在图像内占据规定的范围以上的状态下被拍摄而取得的。
图5B是示意性地示出物体70被具有变焦功能的光学系统放大的样子的图。在图5B的左部分所示的例子中，放大前的物体70显示于显示器400，在图5B的右部分所示的例子中，放大后的物体70显示于显示器400。这样，通过具有变焦功能的光学系统40，能够在图像传感器60上广大地成像物体70。
图5C是示意性地表示滤波器阵列100C的变形例的图。在图5C所示的例子中，由多个区域(A1、A2、…)的集合构成的区域组AA周期性地配置。该多个区域具有互不相同的分光特性。所谓周期性，意味着区域组AA在维持分光特性的状态下，在纵向和/或横向上重复2次以上。通过图5C所示的滤波器阵列100C，能够防止波长信息的空间上的偏差。并且，在物体识别的学习中，也可以不是通过图5C所示的滤波器阵列100C的整体，而是仅通过作为周期结构的部分集合的区域组AA进行学习。由此，能够实现学习时间的缩短。通过在空间中周期性地配置相同的分光特性的滤波器，即使在不是拍摄区域的整体而是在一部分拍摄物体的情况下，也能够进行物体识别。
由滤波器阵列100C编码的图像可以包括例如随机复用的波长信息。因此，该图像对于用户来说是难以观看的。因此，物体识别装置300也可以另外具备用于向用户显示的通常的相机。即，物体识别装置300也可以具备拍摄装置150和通常的相机的双眼结构。由此，用户能够在显示器400上显示未被编码的可见的单色图像。其结果，用户容易掌握物体70与图像传感器60的拍摄区域的位置关系。
物体识别装置300也可以具有提取图像内的物体70的轮廓的功能。通过提取轮廓，能够去除物体70周围的不需要的背景。也可以将去除了不需要的背景的图像数据作为学习用图像数据来使用。在该情况下，能够进一步提高识别精度。物体识别装置300也可以具有将轮廓的识别结果显示于显示器400，用户能够对轮廓进行微调整的功能。
图6A至图6C是示意性地表示本实施方式中的物体识别装置300的应用例的图。
图6A的部分(a)表示对植物的类别的判别的应用例。图6A的部分(b)表示对食品的名称的显示的应用例。图6A的部分(c)表示对矿物资源的分析的应用例。图6A的部分(d)表示对昆虫的种类的确定的应用例。除此之外，本实施方式中的物体识别装置300例如对于面部认证等的安全认证/锁定解除、或者人物检测等用途是有效的。在通常的单色图像或RGB图像的情况下，有可能人眼看一眼就误识别物体。与此相对，如本实施方式那样，通过施加多波长信息，能够提高物体的识别精度。
图6B表示在安装有本实施方式中的物体识别方法的智能手机上显示物体70的详细信息的例子。在该例子中，物体识别装置300搭载于智能手机。仅通过将智能手机保持在物体70上，就能够确定物体70是什么，基于其结果，经由网络从数据库收集物体70的名称及其说明信息并显示。这样，能够将智能手机等便携信息设备活用作“图像检索百科事典”。在“图像检索百科事典”中，在难以完全识别的情况下，也可以按照可能性从高到低的顺序提示多个候选。这样，也可以基于物体70的识别结果，从数据库取得表示物体70的名称以及说明信息的数据，并将该名称和/或说明信息显示于显示器400。
图6C示出了由智能手机识别存在于街道中的多个物体的例子。在该智能手机上搭载有物体识别装置300。在像生产线的检查物那样确定物体70的情况下，检查装置仅取得与物体70相应的特定波长的信息。另一方面，在像街道中的利用那样不确定物体70的目标的状况下，如本实施方式中的物体识别装置300那样取得多波长信息是有效的。物体识别装置300可以根据使用例配置于智能手机的显示器400侧，也可以配置于显示器400的相反侧的面。
除此之外，本实施方式中的物体识别方法也能够应用于地图应用、自动驾驶、或者汽车导航等能够进行基于人工智能(AI)的识别的广泛的领域。如上所述，物体识别装置也可以搭载于例如智能手机、平板电脑或头戴式显示器装置等便携式设备。如果能够利用相机进行拍摄，则人、面部或者动物等生物体也能够成为物体70。
输入到信号处理电路200的图像数据所表示的拍摄图像120是多重编码图像。因此，拍摄图像120乍看之下难以判别拍摄到什么。但是，在拍摄图像120中包含有表示物体70的特征的信息即特征信息。因此，AI能够从拍摄图像120直接识别物体70。由此，也不需要花费较多的时间的图像的重构的运算处理。
(实施方式2)
实施方式2的物体识别装置300应用于用于自动驾驶的传感设备。以下，省略与实施方式1相同的内容的详细说明，以与实施方式1不同的点为中心进行说明。
图7是示意性地表示使用了本实施方式中的物体识别装置300的车辆控制的例子的图。通过搭载于车辆的物体识别装置300，能够感测车辆外的环境，识别进入物体识别装置300的视野内的车辆周边的1个以上的物体70。车辆周边的物体70例如可以包括对面车、并行车、停车车辆、行人、自行车、道路、车道、白线、人行道、路缘石、槽、标识、信号、电线杆、店铺、植树、障碍物、或者落下物。
物体识别装置300具备与实施方式1中的物体识别装置同样的拍摄装置。拍摄装置以规定的帧率生成动态图像的图像数据。该图像数据表示来自车辆周边的物体70的光通过滤波器阵列100C而被复用编码后的拍摄图像120。信号处理电路200取得该图像数据，从该图像数据中提取视野内的1个以上的物体70，估计提取出的各个物体70是什么，对各物体70进行标签化。基于物体70的识别结果，信号处理电路200例如能够理解周围环境，判断危险，或者显示目标行驶的轨迹420。周围环境、危险信息以及目标行驶的轨迹420等数据能够用于车体的转向或变速器等车载设备的控制。由此，能够进行自动行驶。物体识别标签或者行进路径等的识别结果如图7所示，也可以显示在设置于车辆内的显示器400上，以便驾驶员能够掌握。这样，本实施方式中的车辆控制方法包括基于物体70的识别结果来控制安装有拍摄装置150的车辆的动作的步骤。
在使用现有的RGB或单色图像的物体识别中，难以区别照片与实物。因此，例如存在将招牌或海报上的照片和实物误识别的情况。但是，在物体识别装置300中，通过利用多波长信息，能够考虑招牌的涂料与实物的车的光谱分布的差异。由此，能够提高识别精度。进而，在物体识别装置300中，取得重叠了多波长信息的二维数据。由此，与以往的三维的超光谱数据相比，数据量小。其结果，能够缩短数据的读入以及传送所需的时间以及机器学习的处理时间。
另外，除了照片与实物的误识别以外，有时也在相机图像中物体偶发地看起来是不同的物体。在图7所示的例子中，街道树根据其成长程度或观察角度而看起来为人的形状。因此，在基于形状的以往的物体识别中，存在图7所示的街道树被误识别为人的情况。在该情况下，在自动驾驶的环境下，通过误识别为人突然出现，能够指示车体的减速或紧急制动。其结果，可能会诱发事故。例如，在高速公路上，不能由于误识别而车体突然停止。在这样的环境下，物体识别装置300通过活用多波长信息，与以往的物体识别相比，能够提高识别精度。
物体识别装置300可以与毫米波雷达、激光测距仪(Lidar)或GPS等各种传感器组合使用。由此，能够进一步提高识别精度。例如，通过与预先记录的道路地图的信息联动，能够提高目标行驶的轨迹的生成精度。
(实施方式3)
在实施方式3中，与本实施方式1不同，通过使用发光波长区域不同的多个光源来代替滤波器阵列100C，取得编码后的图像数据。以下，省略与实施方式1相同的内容的详细说明，以与实施方式1不同的点为中心进行说明。
图8是示意性地表示本实施方式中的物体识别装置300的例子的图。本实施方式中的物体识别装置300具备拍摄装置150、信号处理电路200、显示器400以及存储器500。拍摄装置150具备光学系统40、图像传感器60、光源阵列100L和控制电路250。
光源阵列100L包括各自发出不同的波长区域的光的多个光源。控制电路250控制图像传感器60和包括在光源阵列100L中的多个光源。控制电路250一边改变发光的光源的组合，一边多次重复在多个光源的一部分或全部发光的状态下使图像传感器60拍摄的动作。由此，每次拍摄时，从光源阵列100L射出互不相同的分光特性的光。在发光的光源的组合中，不包含完全相同的组合。但是，也可以在多个组合中的2个以上的组合中，一部分光源重复。因此，在拍摄时间T1、T2、T3、…、Tm的各拍摄中分别得到的拍摄图像120G1、120G2、120G3、…、120Gm具有不同的强度分布。在本实施方式中，输入到信号处理电路200的图像数据是通过拍摄装置150中的图像传感器60多次拍摄的每一次而生成的图像信号的集合。
也可以是，控制电路250不仅使各光源进行点亮或熄灭的2值变化，还调整各光源的光量。在进行了这样的调整的情况下，也能够得到具有不同波长信息的多个图像信号。各光源例如可以是LED、LD、激光、荧光灯、水银灯、卤素灯、金属卤化物灯或氙气灯，但不限于此。另外，在射出太赫兹级的波长区域的光的情况下，光源能够使用飞秒激光等超高速光纤激光器。
信号处理电路200使用图像数据所包含的拍摄图像120G1、120G2、120G3、…、120Gm的全部或者它们中的任意图像来进行物体70的学习以及分类。
控制电路250不限于空间上一样的照度分布的光，例如也可以使空间上随机的强度分布的光向光源阵列100L射出。从多个光源射出的光也可以具有按照每个波长而不同的二维的照度分布。如图8所示，从光源阵列100L向物体70射出并通过了光学系统40的光的像在图像传感器60上成像。在该情况下，对于图像传感器60的每个像素或每多个像素入射的光与图2所示的例子同样地，具有包含不同的多个分光峰值的光谱特性。由此，与本实施方式1同样地，能够以单镜头进行物体识别。
与实施方式1同样地，多个训练数据集所包含的多个学习用图像数据包含由拍摄装置150或其他拍摄装置生成的学习用图像数据。在通过其他拍摄装置生成学习用图像数据时，该其他拍摄装置能够具备与拍摄装置150所包含的光源阵列100L具有同等的特性的光源阵列。在通过具有同等的特性的光源阵列对识别对象的图像数据和各学习用图像数据进行编码的情况下，能够得到高的物体70的识别精度。
本公开中的物体识别方法包括：取得在各像素中复用了多个波长信息的图像数据的步骤；以及将通过机器学习算法被训练后的分类模型应用于将多个波长信息复用后的图像数据，由此识别图像数据表示的场景所包含的物体的步骤。另外，本公开中的物体识别方法包括使用复用了多个波长信息的图像数据进行分类模型训练强化的步骤。得到在各像素中复用了多个波长信息的图像数据的手段并不限定于上述的实施方式所记载的拍摄装置。
本公开还包括规定信号处理电路200执行的动作的程序和方法。
产业上的可利用性
本公开中的物体识别装置能够利用于在测定时高精度地识别对象物的测定设备。物体识别装置例如也能够应用于植物/食品/生物的类别识别、道路引导/导航、矿物探查、面向生物体/医疗/美容的传感、食品的异物/残留农药检查系统、远程传感系统以及自动驾驶等车载传感系统。
附图标记说明
40 光学系统
60 图像传感器
70 物体
100C 滤波器阵列
100L 光源阵列
120 拍摄图像
200 信号处理电路
250 控制电路
300 物体识别装置
400 显示器
400a 辅助显示
420 目标行驶轨迹
500 存储器

Claims (30)

1.一种物体识别方法，其中，包括：
取得包含表示物体的特征的特征信息的图像的图像数据的步骤；以及
基于所述特征信息来识别所述图像中包含的所述物体的步骤，
所述图像数据通过由第1拍摄装置拍摄所述图像而取得，所述第1拍摄装置具备：
图像传感器；以及
滤波器阵列，所述滤波器阵列配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上的滤波器各自的光透射率在多个波长区域中具有极大值。
2.根据权利要求1所述的物体识别方法，其中，
识别所述物体是通过将通过机器学习算法被训练后的分类模型应用于所述图像数据来进行的，
所述分类模型由多个第1训练数据集预先被训练，所述多个第1训练数据集分别包含学习用图像数据和标签数据，所述标签数据识别所述学习用图像数据所示的学习用图像所包含的所述物体。
3.根据权利要求2所述的物体识别方法，其中，
所述多个第1训练数据集所包含的多个学习用图像数据包含由与所述第1拍摄装置不同的第2拍摄装置生成的学习用图像数据。
4.根据权利要求3所述的物体识别方法，其中，
所述第2拍摄装置具备滤波器阵列，所述滤波器阵列具有与所述第1拍摄装置中的所述滤波器阵列同等的特性。
5.根据权利要求2至4中任一项所述的物体识别方法，其中，还包括：
在识别出所述物体之后，通过第2训练数据集，所述分类模型进一步被训练的步骤，所述第2训练数据集包含所述图像数据和识别所述物体的第2标签数据。
6.根据权利要求2至5中任一项所述的物体识别方法，其中，
所述多个第1训练数据集所包含的多个学习用图像数据中的所述物体在所述学习用图像内的位置在所述多个学习用图像数据中互不相同。
7.根据权利要求2至6中任一项所述的物体识别方法，其中，
所述学习用图像数据是通过所述物体在所述学习用图像内占据规定的范围以上的状态下被拍摄而取得的。
8.根据权利要求1至7中任一项所述的物体识别方法，其中，
取得所述图像数据是使用包含显示器的拍摄装置来进行的，
所述物体识别方法还包括：在取得所述图像数据之前，使所述显示器显示用于向用户通知所述图像中所述物体应该所处的区域或者所述物体应该占据的范围的辅助显示。
9.根据权利要求1至8中任一项所述的物体识别方法，其中，
所述多个滤波器的光透射率的波长依赖性互不相同，
所述多个滤波器各自的光透射率在多个波长区域中具有极大值。
10.一种车辆控制方法，是使用了权利要求1至9中任一项所述的物体识别方法的车辆控制方法，其中，
所述第1拍摄装置安装于车辆，
所述车辆控制方法包括基于识别所述物体的结果来控制所述车辆的动作的步骤。
11.一种信息显示方法，是使用了权利要求1至9中任一项所述的物体识别方法的信息显示方法，其中，包含：
基于识别所述物体的结果，从数据库取得表示从由所述物体的名称以及所述物体的说明构成的组中选择的至少1个的数据的步骤；以及
将从由所述物体的名称以及所述物体的说明构成的组中选择的所述至少1个显示于显示器的步骤。
12.一种物体识别方法，其中，包含：
取得包含表示物体的特征的特征信息的图像的图像数据的步骤；以及
基于所述特征信息来识别所述图像中包含的所述物体的步骤，
所述图像数据是由第1拍摄装置一边改变多个光源的一部分所包含的光源的组合，一边多次重复在使所述多个光源的所述一部分发光的状态下拍摄所述图像的动作而取得的，
所述第1拍摄装置具备图像传感器和包含发出互不相同的波长区域的光的所述多个光源的光源阵列。
13.根据权利要求12所述的物体识别方法，其中，
识别所述物体是通过将通过机器学习算法被训练后的分类模型应用于所述图像数据来进行的，
所述分类模型由多个第1训练数据集预先被训练，所述多个第1训练数据集分别包含学习用图像数据和标签数据，所述标签数据识别所述学习用图像数据所示的学习用图像所包含的所述物体。
14.根据权利要求13所述的物体识别方法，其中，
所述多个第1训练数据集所包含的多个学习用图像数据包含由与所述第1拍摄装置不同的第2拍摄装置生成的学习用图像数据。
15.根据权利要求14所述的物体识别方法，其中，
所述第2拍摄装置具备光源阵列，所述光源阵列具有与所述第1拍摄装置中的所述光源阵列同等的特性。
16.根据权利要求13至15中任一项所述的物体识别方法，其中，还包括：
在识别出所述物体之后，通过第2训练数据集，所述分类模型进一步被训练，所述第2训练数据集包含所述图像数据和识别所述物体的第2标签数据。
17.根据权利要求13至16中任一项所述的物体识别方法，其中，
所述多个第1训练数据集所包含的多个学习用图像数据中的所述物体在所述学习用图像内的位置在所述多个学习用图像数据中互不相同。
18.根据权利要求13至17中任一项所述的物体识别方法，其中，
所述学习用图像数据是通过所述物体在所述学习用图像内占据规定的范围以上的状态下被拍摄而取得的。
19.根据权利要求12至18中任一项所述的物体识别方法，其中，
取得所述图像数据是使用包含显示器的拍摄装置来进行的，
所述物体识别方法还包括：在取得所述图像数据之前，使所述显示器显示用于向用户通知所述图像中所述物体应该所处的区域或者所述物体应该占据的范围的辅助显示的步骤。
20.一种车辆控制方法，是使用了权利要求12至19中任一项所述的物体识别方法的车辆控制方法，其中，
所述第1拍摄装置安装于车辆，
所述车辆控制方法包括基于识别所述物体的结果来控制所述车辆的动作的步骤。
21.一种信息显示方法，是使用了权利要求12至19中任一项所述的物体识别方法的信息显示方法，其中，包含：
基于识别所述物体的结果，从数据库取得表示从由所述物体的名称以及所述物体的说明构成的组中选择的至少1个的数据的步骤；以及
将从由所述物体的名称以及所述物体的说明构成的组中选择的所述至少1个显示于显示器的步骤。
22.一种物体识别装置，其中，具备：
图像传感器，生成包含表示物体的特征的特征信息的图像的图像数据；
滤波器阵列，配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上的滤波器各自的光透射率在多个波长区域中具有极大值；以及
信号处理电路，基于所述特征信息来识别所述图像中包含的所述物体。
23.一种物体识别装置，其中，具备：
图像传感器，生成包含物体的图像的图像信号；
光源阵列，包含发出互不相同的波长区域的光的多个光源；
控制电路，是控制所述图像传感器以及所述多个光源的控制电路，所述控制电路一边改变所述多个光源的一部分所包含的光源的组合，一边多次重复在使所述多个光源的所述一部分发光的状态下使所述图像传感器拍摄的动作；以及
信号处理电路，基于特征信息，识别所述图像所包含的所述物体，所述特征信息是由所述图像传感器在所述多次拍摄的每一次生成的所述图像信号构成的图像数据所包含的、表示所述物体的特征的信息。
24.一种物体识别装置，其中，具备：
存储器；以及
信号处理电路，
所述信号处理电路，
受理二维图像数据，所述二维图像数据是包含多个像素的图像的二维图像数据，是对所述多个像素各自的数据复用多个波长区域的信息，且对所述多个像素各自的亮度分布进行编码而得到的多/超光谱图像数据，
基于所述二维图像数据所包含的特征信息，识别所述二维图像数据所示的场景所包含的物体。
25.根据权利要求24所述的物体识别装置，其中，
所述特征信息不基于所述二维图像数据重构所述多个波长区域各自的图像，而从所述二维图像数据中提取。
26.根据权利要求24所述的物体识别装置，其中，还具备：
取得所述二维图像数据的拍摄装置。
27.根据权利要求26所述的物体识别装置，其中，
所述二维图像数据是通过所述物体在占据所述拍摄装置的拍摄区域中的规定的范围以上的状态下被拍摄而取得的。
28.根据权利要求27所述的物体识别装置，其中，
还具备显示器，所述显示器在由所述拍摄装置取得所述二维图像数据之前，显示用于向用户通知在由所述拍摄装置拍摄的图像中，所述物体应该所处的区域或者所述物体应该占据的范围的辅助显示。
29.根据权利要求26所述的物体识别装置，其中，
所述拍摄装置包括：
图像传感器；以及
滤波器阵列，配置在入射到所述图像传感器的光的光路中，包括沿着与所述光路交叉的面二维排列的透光性的多个滤波器，所述多个滤波器包括光透射率的波长依赖性互不相同的2个以上的滤波器，所述2个以上的滤波器各自的光透射率在多个波长区域中具有极大值。
30.根据权利要求29所述的物体识别装置，其中，
所述多个滤波器包括周期性地配置的多个部分集合。
CN201980031643.3A 2018-10-15 2019-09-24 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置 Pending CN112106064A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018194149 2018-10-15
JP2018-194149 2018-10-15
PCT/JP2019/037200 WO2020080045A1 (ja) 2018-10-15 2019-09-24 物体認識方法、車両制御方法、情報表示方法、および物体認識装置

Publications (1)

Publication Number Publication Date
CN112106064A true CN112106064A (zh) 2020-12-18

Family

ID=70283406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031643.3A Pending CN112106064A (zh) 2018-10-15 2019-09-24 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置

Country Status (5)

Country Link
US (1) US20210158108A1 (zh)
EP (1) EP3869452A4 (zh)
JP (3) JPWO2020080045A1 (zh)
CN (1) CN112106064A (zh)
WO (1) WO2020080045A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
TWI830907B (zh) * 2019-06-05 2024-02-01 日商索尼半導體解決方案公司 圖像辨識裝置及圖像辨識方法
CN111787323B (zh) * 2020-05-23 2021-09-03 清华大学 一种基于对抗学习的可变比特率生成式压缩方法
JPWO2021246192A1 (zh) * 2020-06-05 2021-12-09

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7023475B2 (en) * 2002-04-08 2006-04-04 Hewlett-Packard Development Company, L.P. System and method for identifying an object with captured images
JP5686281B2 (ja) * 2009-12-25 2015-03-18 株式会社リコー 立体物識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP5759161B2 (ja) * 2010-12-16 2015-08-05 キヤノン株式会社 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
JP5214760B2 (ja) * 2011-03-23 2013-06-19 株式会社東芝 学習装置、方法及びプログラム
JP5910250B2 (ja) * 2012-03-30 2016-04-27 スズキ株式会社 対象物識別装置
JP6629762B2 (ja) 2014-05-23 2020-01-15 ベンタナ メディカル システムズ， インコーポレイテッド 画像内の生物学的構造及び／又はパターンの検出のためのシステム及び方法
US9880053B2 (en) * 2014-10-29 2018-01-30 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus, spectroscopic system, and spectroscopic method
CN109163805B (zh) * 2014-11-19 2022-03-22 松下知识产权经营株式会社 分光系统
CN106331442B (zh) * 2015-07-02 2021-01-15 松下知识产权经营株式会社 摄像装置
AU2016315938B2 (en) 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
TWI579540B (zh) * 2015-12-02 2017-04-21 財團法人工業技術研究院 多點光譜系統
JP6910792B2 (ja) * 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
EP3593282A1 (en) * 2017-03-07 2020-01-15 Sony Corporation System, method and computer program
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
US10733473B2 (en) * 2018-09-20 2020-08-04 Uber Technologies Inc. Object verification for a network-based service

Also Published As

Publication number Publication date
JPWO2020080045A1 (ja) 2021-09-09
WO2020080045A1 (ja) 2020-04-23
EP3869452A4 (en) 2021-12-08
JP2023158211A (ja) 2023-10-26
EP3869452A1 (en) 2021-08-25
US20210158108A1 (en) 2021-05-27
JP2023158210A (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
CN112106064A (zh) 物体识别方法、车辆控制方法、信息显示方法以及物体识别装置
CN110023952B (zh) 数据处理装置、数据处理方法、程序和电子装置
CN109271921B (zh) 一种多光谱成像的智能识别方法及系统
US20230048725A1 (en) Enhancing Artificial Intelligence Routines Using 3D Data
US8553222B2 (en) Coded aperture snapshot spectral imager and method therefor
Loce et al. Computer vision and imaging in intelligent transportation systems
CA3026545C (en) Information search system and information search program
La Rosa et al. Multi-task fully convolutional network for tree species mapping in dense forests using small training hyperspectral data
KR20140132076A (ko) 원적외선 카메라 기반 야간 보행자 인식 방법
Moazzam et al. A patch-image based classification approach for detection of weeds in sugar beet crop
Li et al. Emergent visual sensors for autonomous vehicles
Thenmozhi et al. An Efficient Object Detection and Classification from Restored Thermal Images based on Mask RCNN
CN111344711A (zh) 图像采集方法及装置
Nogueira et al. Semantic segmentation of vegetation images acquired by unmanned aerial vehicles using an ensemble of ConvNets
Winkens et al. Robust features for snapshot hyperspectral terrain-classification
Ragb et al. Human detection in infrared imagery using intensity distribution, gradient and texture features
Sheinin et al. Diffraction line imaging
Zhang et al. Capitalizing on RGB-FIR hybrid imaging for road detection
Sirous et al. A Conditional Generative Adversarial Network for urban area classification using multi-source data
CN114514565A (zh) 物体识别装置和物体识别程序
Miron Multi-modal, multi-domain pedestrian detection and classification: proposals and explorations in visible over stereovision, fir and swir
Velte Semantic image segmentation combining visible and near-infrared channels with depth information
Miron et al. SWIR images evaluation for pedestrian detection in clear visibility conditions
Latsaheb et al. Semantic road segmentation using encoder-decoder architectures
Gutiérrez-Zaballa et al. HSI-Drive v2. 0: More Data for New Challenges in Scene Understanding for Autonomous Driving

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination