CN110555445A - 特征提取方法和装置及对象识别装置 - Google Patents

特征提取方法和装置及对象识别装置 Download PDF

Info

Publication number
CN110555445A
CN110555445A CN201910481894.3A CN201910481894A CN110555445A CN 110555445 A CN110555445 A CN 110555445A CN 201910481894 A CN201910481894 A CN 201910481894A CN 110555445 A CN110555445 A CN 110555445A
Authority
CN
China
Prior art keywords
feature
small region
region
small
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910481894.3A
Other languages
English (en)
Other versions
CN110555445B (zh
Inventor
小嶋信矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019021734A external-priority patent/JP7322418B2/ja
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN110555445A publication Critical patent/CN110555445A/zh
Application granted granted Critical
Publication of CN110555445B publication Critical patent/CN110555445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及特征提取方法和装置以及对象识别装置。在特征提取装置中，小区域设置器将在捕获图像中设置的对象区域划分成尺寸小于对象区域的小区域。小区域提取器从每个小区域中提取具有与对应的小区域相关联的两个或更多个特征参数的小区域特征。特征计算器计算第一特征与第二特征的乘积，第一特征表示从小区域中选择作为目标区域的第一小区域的小区域特征，第二特征表示小区域中的第二小区域的小区域特征，第二小区域与第一小区域具有预定位置关系。特征计算器基于第一特征与第二特征的乘积来获得作为目标区域的第一小区域的图像特征。

Description

特征提取方法和装置及对象识别装置
技术领域
本公开内容涉及用于提取用于识别所捕获图像中的对象的特征(即，特征值)的特征提取装置和方法，以及用于识别所捕获图像中的对象的对象识别装置。
背景技术
对所捕获图像中的对象类型进行识别的技术已是众知的，在日本专利申请公开第2010-044439号中公开了这样的技术中的一种。所公布的专利文献中公开的技术针对所捕获图像的每个像素获得像素的特征与位于远离该像素预定数目的像素的、表示像素的映射的所选像素的特征之间的位置关系。然后，该技术根据所获得的像素的相关性来计算所捕获图像的每个像素的精确特征，并且基于所计算的精确特征来识别所捕获图像中的对象。
发明内容
根据上述技术的详细考虑的结果，本申请的发明人发现，对象的移位或转动可以改变每个像素与表示像素的映射的所选像素之间的位置关系。位置关系的改变可能导致计算所捕获图像的特征的精确度降低。此外，如果图像的每个像素的特征包括多维参数，则上述技术可能需要多维参数的大量组合来获得图像的特征，这会导致计算图像的特征所需的处理时间和负荷的增加。
鉴于上面阐述的情况，本公开内容的第一方面试图提供特征提取方法和装置以及对象识别装置，所述特征提取方法和装置以及对象识别装置中的每一个能够提高计算所捕获图像的特征的精确度。
根据示例性方面的特征提取装置包括小区域设置器，该小区域设置器将在捕获图像中设置的对象区域划分成尺寸小于对象区域的小区域。特征提取装置包括小区域提取器，该小区域提取器从每个小区域中提取具有与对应的小区域相关联的两个或更多个特征参数的小区域特征。特征提取装置包括特征计算器，该特征计算器计算第一特征与第二特征的乘积，第一特征表示从小区域中选择作为目标区域的第一小区域的小区域特征，第二特征表示小区域中的第二小区域的小区域特征，第二小区域与第一小区域具有预定的位置关系。特征计算器基于第一特征与第二特征的乘积来获得作为目标区域的第一小区域的图像特征。
特征提取装置针对每个小区域获得图像特征。因此，与针对捕获图像的每个像素来获得特征相比，该配置减少了由于目标对象的移位或转动而对图像特征的计算的不利影响。因此，这增加了计算第一小区域的图像特征的精确度。
特征提取装置简单地计算第一小区域的第一特征与第二小区域的第二特征的乘积，从而获得第一小区域的图像特征。因此，这防止了图像特征中包括的元素数目过度增加，从而提高了计算目标区域的图像特征的精确度。
附图说明
参照附图根据以下实施方式的描述，本公开内容的其他方面将变得明显，在附图中：
图1是示意性地示出根据本公开内容的示例性实施方式的图像处理装置的示意性结构的示例的框图；
图2A是示意性地示出根据示例性实施方式的在对象区域中包括的小区域的示例的说明图；
图2B是示意性地示出根据示例性实施方式的从目标像素到各个八个相邻像素的梯度方向的说明图；
图3是示意性地示出根据示例性实施方式的第m个小区域到另一小区域的映射的说明图；
图4是示意性地示出根据示例性实施方式的在对象区域中包括的划分段的示例的说明图；
图5是示意性地示出根据示例性实施方式在改变所选择的划分段的分辨率的时用于常规方法的行人检测率以及改变所选择的划分段的分辨率的时用于近似方法的行人检测率的曲线图；以及
图6是示意性地示出用于获得图5中所示的常规方法所需的处理时间以及用于获得图5中所示的近似方法所需的处理时间的曲线图。
具体实施方式
以下参照附图描述本公开内容的示例性实施方式。在示例性实施方式及其修改中，省略或简化示例性实施方式与其修改之间的相似部分以避免冗余的描述。
结构
图1是示出根据本公开内容的示例性实施方式的图像处理装置1的示意性结构的示例的框图。例如，图像处理装置1安装在诸如客车或卡车的车辆V中，并且具有对相对于车辆100位于车辆100行驶方向的前方区域中的一个或更多个对象的类型、尺寸和位置进行识别(即，标识)的功能。
参照图1，图像处理装置1包括处理器10。图像处理装置1可以包括输入单元16、输出单元17、成像单元31、指示单元32和电子控制单元(ECU)33；这些单元16、17、31、32和33可通信地连接至处理器10。
输入单元16用作接口电路，具有使处理器10能够与成像单元31进行通信的功能。输出单元17用作传输电路，具有向指示单元32和ECU 33中的至少一个发送包括例如要检测的一个或更多个目标对象的识别结果的数据的功能。
成像单元31被定位至车辆100，以具有位于车辆100附近的成像区域。特别地，成像单元31被定位至车辆100，使得车辆100在其行驶方向上的前区域或后区域被设置为成像区域。成像单元31被配置成重复地捕获成像区域的图像，并且经由输入单元16向处理器10发送数字格式或模拟格式的捕获图像。
具体地，成像单元31包括多个光接收元件，所述多个光接收元件分别对应于在与车辆100的相应高度方向和宽度方向对应的垂直方向和水平方向上二维地布置的多个像素。二维布置的像素构成成像单元31的光接收表面。
例如，成像单元31被设计为包括透镜系统的通常可用的成像单元，该透镜系统被配置成在成像单元31的光接收表面上将从成像区域入射的光聚焦为从车辆100指向的前视图或后视图。
成像单元31被配置成在可控制的快门时间(即曝光持续时间)期间接收聚焦在其光接收表面上的光，使得二维布置的光敏元件(像素)中的每一个接收对应的光分量。成像单元31使用光接收元件中的每一个将对应的接收到的光分量转换成与接收到的光分量的强度对应的电荷(即，电信号)，从而输出电信号作为接收到的光数据(即，示出相对于车辆100的成像区域的一帧图像)。也就是说，成像单元31被配置成重复地(即，循环地)执行上述捕获过程，从而捕获帧图像，对于每个像素，每个帧图像包括对应的接收到的光分量的强度。然后，成像单元31经由输入单元16向处理器10发送捕获的帧图像，捕获的帧图像中的每一个具有数字亮度值或模拟亮度值作为其每个像素的亮度值，即像素值。
指示单元32包括例如显示器和指示器。指示单元32从稍后详细描述的处理器10获得对象识别结果，并且使用显示器(作为图像和/或消息)或指示器(作为照明光)中的至少一个向车辆100的驾驶员指示接收到的结果。
如上所述，处理器10经由输入单元16和输出单元17中的至少一个通过无线电或车载网络连接至输入单元16、输出单元17、成像单元31、指示单元32和ECU 33。处理器10被配置成执行各种任务，包括在从成像单元31发送的捕获帧图像中识别至少一个目标对象的类型、尺寸和位置以相应地将识别结果发送至指示单元32的任务。
例如，处理器10包括至少一个微计算机，该微计算机包括CPU 11和由例如RAM和ROM组成的存储器12。CPU 11运行在例如存储器12的ROM中存储的一个或更多个程序，从而实现与一个或更多个程序对应的各种功能。也就是说，存储器12用作例如存储一个或更多个程序的非暂态存储介质。换句话说，CPU 11运行在存储器12中存储的一个或更多个程序，从而执行与一个或更多个程序对应的各种方法。注意，非暂态存储介质被限定为存储介质，而不是诸如电磁波的暂态介质。
注意，存储器12存储学习模型W，学习模型W分别用作例如先前针对要由处理器10识别的相应多种类型的目标对象获得的比较参考张量。基于已知的可用学习算法，例如支持向量机(SVM)模型，为多种目标对象中的对应类型的目标对象准备每个学习模型W。SVM模型例如包括多个分类器，这些分类器以预定的连接模式(例如级联连接模式)彼此连接。像已知的神经网络算法一样，分类器之间的连接权重参数被设置为给定值；已经对连接权重参数的值进行了训练。
具体地，学习模型W中的每一个表示要与根据示例性实施方式的捕获图像中获得的特征进行比较的数据。如果每个学习模型W被设计为使用线性分类器，则每个学习模型W用作要与在示例性实施方式中获得的每个特征的数据进行比较的参考数据。每个学习模型W可以包括要与在示例性实施方式中获得的每个特征的数据进行比较的参考张量。每个学习模型W可以存储在除了存储器12之外的另一存储介质中。
参照图1，处理器10在功能上包括图像获取器21、小区域特征计算器22、张量计算器23、图像特征计算器24和识别器25。示例性实施方式的处理器的CPU 10可以执行在存储器12中存储的特征提取程序，从而实现这些功能块21至24。CPU 10可以执行在存储器12中存储的识别程序，从而实现功能块25。
也就是说，由处理器10提供的所有功能的至少一部分可以由至少一个处理器实现；所述至少一个处理器可以包括
(1)至少一个编程处理单元(即，至少一个编程逻辑电路)与至少一个存储器的组合，所述存储器包括使所述至少一个编程逻辑电路实现所有功能的软件；
(2)实现所有功能的至少一个硬连线逻辑电路；
(3)实现所有功能的至少一个硬连线逻辑与编程逻辑混合电路。处理器工作原理
接下来，下面详细描述由处理器10实现的功能模块21至25。
图像获取器
处理器10用作图像获取器21，以获得从成像单元31发送的捕获帧图像，每个捕获的帧图像具有数字亮度值或模拟亮度值作为其每个像素的像素值。然后，处理器10用作图像获取器21以将获得的帧图像临时存储在存储器12中。
小区域特征计算器
在图像获取器21的操作之后，处理器10用作小区域特征计算器22以计算小区域特征。
具体地，如图2A所示，处理器用作小区域特征计算器22来进行以下操作：
(1)在捕获的图像中设置预测目标对象要位于的对象区域(参见图2A中的参考字符OR)，
(2)将对象区域划分成小区域，每个小区域包括预定数目的像素。
每个小区域的尺寸具有小于成像单元31的光接收表面的尺寸的预定尺寸。
例如，小区域特征计算器22基于捕获图像的亮度值对识别目标对象要位于的对象区域OR进行识别，并且从捕获图像中剪切对象区域OR。
作为另一示例，小区域特征计算器22基于捕获图像的亮度值来提取捕获图像中的边缘；每个边缘表示捕获图像中的亮度值之间的边界。然后，小区域特征计算器22基于所提取的边缘来识别捕获图像中的目标对象的位置，并且设置其中将包围所识别的目标对象的至少一部分的对象区域OR。此后，小区域特征计算器22从捕获的图像中剪切对象区域OR。
图2A示意性地示出了捕获图像CI中的小区域SR的示例。每个小区域SR在分别与成像单元31的光接收元件的水平方向和垂直方向对应的车辆100的水平方向和垂直方向上可以具有由(H×V)组成的二维阵列尺寸。参考字符H表示在水平方向上每个小区域SR的像素数(被简称为水平像素数H)，并且参考字符V表示在垂直方向上对应的小区域SR的像素数(被简称为垂直像素数V)。可以将每个小区域SR的水平像素数H和对应的小区域SR的垂直像素数V设置为彼此相同。替选地，可以设置每个小区域SR的水平像素数H和对应的小区域SR的垂直像素数V，使得水平像素数H与垂直像素数V的比率被设置为预定比率；每个小区域SR的水平像素数H与垂直像素数V的预定比率使得对应的小区域SR的形状能够具有基本上正方形的形状。
然后，处理器10用作小区域特征计算器22，以从每个小区域SR中提取小区域特征。每个小区域SR中的小区域特征表示例如包括与对应的小区域SR相关联的多个参数(即特征参数)的特征。例如，根据示例性实施方式，每个小区域SR中的小区域特征被表示为向量，但是还可以被表示为标量，或者可以被表示为张量，张量的每个分量被表示为向量。
详细地，如图2A所示，每个小区域SR中的小区域特征包括用于构成对应的小区域SR的每个像素的亮度值梯度方向直方图，即亮度值梯度方向的直方图。注意，如图2B所示，在自由选择的小区域SR中包括的目标像素TP的亮度值梯度方向表示从目标像素TP到相应八个相邻像素AP1至AP8的梯度方向GD1至GD8中亮度值变化最大的梯度方向。
具体地，如图2B所示，目标像素TP具有：
1.从目标像素TP到下相邻像素AP1的梯度方向GD1
2.从目标像素TP到右下相邻像素AP2的梯度方向GD2
3.从目标像素TP到右相邻像素AP3的梯度方向GD3
4.从目标像素TP到右上相邻像素AP4的梯度方向GD4
5.从目标像素TP到上相邻像素AP5的梯度方向GD5
6.从目标像素TP到左上相邻像素AP6的梯度方向GD6
7.从目标像素TP到左相邻像素AP7的梯度方向GD7
8.从目标像素TP到左下相邻像素AP8的梯度方向GD8
例如，在自由选择的小区域SR中包括的目标像素TP的亮度值梯度方向表示从目标像素TP到相应八个相邻像素AP1至AP8的梯度方向GD1到GD8中亮度值变化最小(即，最暗的变化)的梯度方向。
也就是说，在选择的小区域SR中，像素分别具有梯度方向GD1至GD8中的一个作为亮度值梯度方向。因此，在所选择的小区域SR中，将梯度方向GD1被设置为亮度值梯度方向的频率(即，多少次)计数为第一频率值。
类似地，在所选择的小区域SR中，将梯度方向GD2被设置为亮度值梯度方向的频率计数为第二频率值，并且将梯度方向GD3被设置为亮度值梯度方向的频率计数为第三频率值。此外，在所选择的小区域SR中，将梯度方向GD4被设置为亮度值梯度方向的频率计数为第四频率值，将梯度方向GD5被设置为亮度值梯度方向的频率计数为第五频率值，并且将梯度方向GD6被设置为亮度值梯度方向的频率计数为第六频率值。此外，在所选择的小区域SR中，将梯度方向GD7被设置为亮度值梯度方向的频率计数为第七频率值，并且将梯度方向GD8被设置为亮度值梯度方向的频率计数为第八频率值。
因此，每个小区域SR的亮度值梯度方向直方图表示代表频率分布的直方图，即统计图，在直方图中：
(1)横轴表示梯度方向GD1至GD8中的每一个被设置为亮度值梯度方向的频率。
(2)纵轴表示梯度方向GD1至GD8的每一个的条。梯度方向GD1至GD8中的每一个的条的长度或尺寸表示第一至第八频率值中的对应的一个。
例如，图2A示出了第一选择小区域的亮度值梯度方向直方图HD1的示例，其中示出了与梯度方向GD8对应的条的高度在梯度方向GD1至GD8的所有高度中最高，因此，梯度方向GD8(即，左下方向)大多数情况下被设置为第一选择小区域SR1中的亮度值梯度方向。
类似地，图2A示出了第二选择小区域的亮度值梯度方向直方图HD2的示例，其中示出了与梯度方向GD2对应的条的高度在梯度方向GD1至GD8的所有高度中最高，因此，梯度方向GD2(即，右下方向)大多数情况下被设置为第二选择小区域中的亮度值梯度方向。
此外，第三选择小区域的亮度值梯度方向直方图HD3示出了与梯度方向GD3对应的条的高度在梯度方向GD1至GD8的所有高度中最高，因此，具有最高频率的梯度方向GD3(即，右方向)被设置为第三选择小区域中的亮度值梯度方向。
注意，每个小区域SR的相应梯度方向GD1至GD8的第一至第八频率值被表示为向量的八个参数；该向量被称为向量h。也就是说，每个小区域SR的向量h表示小区域SR中的对应的一个小区域SR的小区域特征。
例如，如图2A所示，假设对象区域OR包括(6×12)个小区域SR，位于对象区域OR的左上角的小区域SR用作参考点，即对象区域OR的第一行中的第一小区域SR(1)。然后，在第一行中的右方向上与第一小区域SR(1)相邻的小区域SR可以被表示为第二小区域SR(2)，并且因此，位于第一行中最右边的小区域SR可以被表示为第六小区域SR(6)。
类似地，位于第二行中最左边的小区域SR可以被表示为第七小区域SR(7)，并且因此位于第二行中最右边的小区域SR可以被表示为第十二小区域SR(12)。因此，位于第十二行中最左边的小区域SR可以被表示为第六十七小区域SR(67)，并且因此位于第十二行中最右边的小区域SR可以被表示为第七十二小区域SR(72)。
然后，对象区域OR中的相对于参考点(即，第一小区域SR(1))的第m小区域SR的小区域特征，即小区域特征向量h，可以被表示为hm。张量计算器
在小区域特征计算器22的操作之后，处理器10用作张量计算器23，以计算第m个小区域SR(m)的小区域特征向量hm与相对于第m个小区域SR(m)的第τ个小区域的小区域特征向量hτ之间的张量TE(m)，根据以下等式(1)，张量TE(m)被定义为小区域特征向量hm与小区域特征向量hτ的乘积，即直积：
其中，
1.参考字符T表示置换
2.参考字符τ表示第m个小区域SR(m)到第τ个小区域的映射，即从第m个小区域SR(m)沿右方向或下方向平行移位预定像素(即，预定距离)
3.参考字符表示张量积，即克罗内克积
4.p表示克罗内克幂的阶
例如，图3示出了由小区域bi表示沿右方向的第i个小区域ai的映射。也就是说，沿右方向的小区域a1的映射由b1表示，并且沿右方向的小区域a2的映射由b2表示。
图3示出的第i个小区域ai的小区域特征对应于等式(1)中的hm或稍后描述的第一特征，并且图3示出的小区域bi的小区域特征对应于等式(1)中的hτ(m)或稍后描述的第二特征。
等式(1)使用小区域特征向量的直积作为它们的乘积。此外，等式(1)使用张量hmhτ(m)T的p次幂以获得张量hmhτ(m)T的高阶特征。例如，等式(1)使用张量hmhτ(m)T的克罗内克幂。
张量hmhτ(m)T的p阶克罗内克幂表示其中，A＝hmhτ(m)T。
例如，如果A是m×n矩阵aij，则可以由以下等式(2)来获得克罗内克积
也就是说，如果小区域特征向量hm具有八维参数并且小区域特征向量hτ具有八维参数，则小区域特征向量hm与小区特征向量hτ的直积的维数最高被设置为(8×8)维。
此外，克罗内克积的数p的增加使得能够获得小区域SR(m)的高阶特征。
然后，处理器10用作张量计算器23以将计算的张量TE(m)，即第m个小区域SR的小区域特征向量hm的第p阶张量TE(m)，设置为第m个小区域SR(m)的图像特征。
图像特征提取器
在张量计算器23的操作之后，处理器10用作图像特征计算器24，以计算对象区域OR中的每个划分段DS中的图像特征。参照图4，对象区域OR包括划分段DS，换句话说，划分段DS构成对象区域OR，并且每个划分段DS包括多个小区域SR。在图4中，粗实线表示划分段DS，而虚线表示小区域SR。具体地，图4示出了每个划分段DS包括四个小区域SR。
每个划分段DS中的图像特征表示在对应的划分段DS中包括的各个小区域SR的图像特征的和或平均值。
例如，假设对象区域OR包括(3×8)个划分段DS，位于对象区域OR的左上角的划分段DS用作参考点，即对象区域OR的第一行中的第一划分段DS(1)。然后，在第一行中的右方向上与第一划分段DS(1)相邻的划分段DS可以被表示为第二划分段DS(2)，并且因此位于第一行中最右边的划分段DS可以被表示为第三划分段DS(3)。
类似地，位于第二行中最左边的划分段DS可以被表示为第四划分段DS(4)，并且因此位于第二行中最右边的划分段DS可以被表示为第六划分段DS(6)。因此，位于第六行中最左边的划分段DS可以被表示为第十六划分段DS(16)，并且因此位于第六行中最右边的划分段DS可以被表示为第十八划分段DS(18)。
然后，可以基于以下等式(3)来获得在自由选择的第i个划分段Ci中的图像特征IF(i)，图像特征IF(i)例如是在第i个划分段Ci中包括的各个小区域SR的图像特征的和：
识别器
在图像特征计算器24的操作之后，处理器10用作识别器25，以根据各个划分段Ci的图像特征和在存储器12中存储的学习模型W来执行对例如在对象区域OR中包含的目标对象的类型进行识别的任务。
具体地，识别器25能够使用各种可用识别方法中的一种，从而根据使用例如各个线性分类器的先前准备的学习模型W来对例如在对象区域OR中包含的目标对象的类型进行识别。
注意，如上所述，因为每个划分段DS中的图像特征被表示为第p阶张量，所以每个学习模型W也被设计为具有第p阶张量。
例如，识别器25根据以下等式(4A)来计算第i个划分段DS的图像特征与第i个划分段DS的所选择的学习模型W的内积IP：
注意，识别器25可以根据以下等式(4B)来计算第i个小区域的图像特征与第i个小区域的所选择的学习模型W的内积IP：
注意，在等式(4A)和等式(4B)中的每一个中，参考字符F表示Frobenius内积。
基于以下等式(5)来定义等式(4A)和等式(4B)中的每一个：
<A，B>F＝vec(A)Tvec(B) (5)
其中，A和B均表示矩阵，
vec(A)表示所选择的学习模型W的列向量，以及
vec(B)表示第i个划分段DS的图像特征的列向量。
具体地，所选择的学习模型W被表示为第p阶张量，并且每个划分段DS中的图像特征也被表示为第p阶张量。
例如，识别器25可以被配置成将第i个划分段DS的图像特征的第p阶张量转换为第i个划分段DS的图像特征的向量表达式，换句话说，将第i个划分段DS的图像特征的第p阶张量转换为列向量。类似地，识别器25被配置成将所选择的学习模型W的第p阶张量转换为所选择的学习模型W的列向量表达式。
然后，识别器25可以被配置成根据等式(5)来计算所选择的学习模型W的列向量与第i个划分段DS的图像特征的列向量的内积作为标量值。也就是说，所选择的学习模型W的列向量与第i个划分段DS的图像特征的列向量的的内积表示例如它们之间的相似度水平。
此外，识别器25可以被配置成将各个划分段DS的图像特征的第p阶张量转换为第一列向量，并且将针对各个划分段DS准备的学习模型W的第p阶张量转换为第二列向量。然后，识别器25可以被配置成计算第一列向量与第二列向量的内积，从而计算指示第一列向量与第二列向量之间的相似度水平的标量值。该标量值将被称为捕获的帧图像的相似度水平。
此后，识别器25确定第i个划分段DS的相似度水平是否超过先前针对与第i个划分段DS对应的学习模型W准备的预定第一阈值，或者所捕获的帧图像的相似度水平是否超过先前针对捕获的帧图像的学习模型W准备的预定阈值。在确定第一或第二相似度水平超过对应阈值时，识别器25将对由所选择的学习模型W指示的类型识别为划分段DS或捕获的帧图像中包含的目标对象的类型。
如上所述，识别器25可以被配置成根据上面的等式(4A)来计算第i个划分段DS的图像特征与每个学习模型W的内积IP。基于等式(4A)的该方法将被称为常规方法。
此外，示例性实施方式的识别器25可以被配置成使用下文描述的替选近似方法来计算第i个划分段DS的图像特征与所选择的学习模型W的内积IP。
下面描述识别器25如何使用替选近似方法来计算第i个划分段DS的图像特征与所选择的学习模型W的内积IP。
注意，为了简单描述替选近似方法，假设第i个划分区域对应于第m个小区域，因此等式(4A)与等式(4B)等效。
首先，假设所选择的学习模型W的张量具有秩γ，识别器25执行将在等式(4B)中包括的所选择的学习模型W分解为第一数据与第二数据的克罗内克积的预定数目的相加。第一数据表示预定数目的第一向量(例如p个第一向量us，1，…，us，p)，并且第二数据表示预定数目的第二向量(例如p个第二向量vs，1，…，vs，p)。这通过以下等式(6A)来获得分解的结果：
也就是说，第一向量的数目p对应于由张量计算器23计算的张量TE(m)的阶数。类似地，第二向量的数目p对应于由张量计算器23计算的张量TE(m)的阶数。
然后，根据等式(6A),等式(4B)可以由以下等式(6B)来表示：
注意，作为学习模型W的分解，可以使用诸如奇异值分解方法或规范多元分解的已知分解方法中的一种。只要等式(4B)和等式(6B)彼此等效，就可以自由地设置张量(即学习模型W)秩γ的值。
因为内积具有线性，所以求和符号Σ可以从等式(6B)的括号中取出，使得可以将等式(6B)表示为下面的等式(7)：
因为使用直积作为张量积，所以满足以下等式(8)：
根据等式(8)将等式(7)等效地转换为另一形式，使得能够获得以下等式(9)：
在等式(9)中，第一向量us，1，…，us，p与第二向量vs，1，…，vs，p可以由粗体字表示。
等式(9)示出了第i个划分段DS的图像特征与用于第i个划分段DS的所选择的学习模型W的内积IP可以被近似为以下乘积的预定数目γ次加法：
(1)p个第一向量与图像特征hm的内积
(2)p个第二向量与图像特征hτ(m)的内积
具体地，将根据每个学习模型W定义的等式(9)存储在存储器12中。然后，识别器25将图像特征hm和图像特征hτ(m)输入到等式(9)中，从而获得所选择的学习模型W的列向量与第i个划分段DS的图像特征的列向量的内积的结果作为近似标量值。
特别地，如上所述，学习模型W的秩数γ表示以下乘积的相加的次数：
(1)p个第一向量与图像特征向量hm的直积
(2)p个第二向量与图像特征向量hτ(m)的直积
也就是说，根据示例性实施方式的识别器25被配置成将等式(9)中的秩γ的值改变成小于参考值，该参考值使得等式(4B)与基于已知的分解方法的一种而获得的等式(6)能够彼此等效。
假设在等式(9)中使用被设置成等于参考值的学习模型W的值。在该假设中，基于等式(9)的计算次数可能增加，同时充分保持计算精确度，这会引起CPU 10的处理负荷增加。
相比之下，将学习模型W的秩γ的值设置为小于秩γ的参考值，使得基于等式(9)的CPU 10的计算次数和处理负荷减少，同时降低计算精确度。
将等式(9)中使用的秩γ的值设置得过小可能会过度降低内积的计算精确度。因此，例如，当内积的计算精确度变低1％时，示例性实施方式的识别器25将等式(9)中的秩γ的值设置得更小。换句话说，将学习模型W的秩γ的值限制为小于参考值，使得能够将等式(9)的计算设置为所获得的直积的有限数目的和。
图5示意性地示出了在改变所选划分段的分辨率的时用于常规方法的行人检测率DR1，以及在改变所选划分段的分辨率的时用于近似方法的行人检测率DR2。例如，在近似方法中手动调整每个向量U、V的秩γ使得近似方法中的行人检测率DR2的值比在常规方法中的行人检测率DR1的对应值低1％。
此外，图6示意性地示出了用于获得图5所示的常规方法所需的处理时间PT1，以及用于获得图5所示的近似方法所需的处理时间PT2。图6清楚地示出了用于获得图5所示的近似方法所需的处理时间被减少到基本上是用于获得图5所示的常规方法所需的处理时间的一半。此外，图6示出了用于执行在背景技术部分中描述的公布专利文献中公开的技术所需的处理时间。
也就是说，如图6所示，用于执行常规方法所需的处理时间使得充分被降低。此外，在近似方法中调整每个向量U、V的秩γ的值使得能够改变内积的计算精确度。也就是说，在近似方法中稍微改变每个向量U、V的秩γ的值使得能够显着减少用于执行近似方法所需的处理时间。
接下0来，处理器10向指示单元32发送指示对象识别结果的数据。这使得指示单元32能够从处理器10中获得对象识别结果，并且使用显示器(作为图像和/或消息)或指示器(作为照明光)中的至少一个向车辆100的驾驶员指示接收到的结果。
此外，处理器10可以向ECU 33发送对象识别结果。这使得ECU 33能够用作预防性安全单元来进行以下操作：
(1)使制动系统执行车辆100的自主制动
(2)使指示单元32可视地和/或可听地向车辆100的驾驶员输出指示对象识别结果的消息
(3)使车辆100的转向系统执行车辆100的自主转向，从而避免车辆100与所识别的目标对象的碰撞
也就是说，ECU 33用作预防性安全单元来执行以下操作：
(1)减轻由于车辆100与所识别的目标对象的碰撞而导致的损坏
(2)车辆100的自主驾驶控制，以防止车辆100与所识别的目标对象的碰撞
如上面详细描述的，示例性实施方式的图像处理装置1被配置成从捕获图像中提取用于识别捕获图像中的目标对象的图像特征。例如，图像处理装置1包括处理器10，处理器10包括例如小区域特征计算器22和张量计算器23。
小区域特征计算器22包括小区域设置器22a，该小区域设置器22a被配置成
(1)在捕获的图像中设置预测目标对象要位于的对象区域
(2)将对象区域划分成尺寸小于对象区域的小区域，每个小区域包括预定数目的像素
小区域特征计算器22还包括小区域提取器，小区域提取器被配置成从每个小区域中提取具有与对应的小区域SR相关联的两个或更多个特征参数的小区域特征。
张量计算器23被配置成计算以下的乘积：
(1)第一特征，例如小区域特征向量hm，表示从小区域SR中选择作为目标区域的第一小区域的小区域特征，以及
(2)第二特征，例如第τ个小区域的小区域特征向量hτ，表示与第一小区域具有预定位置关系的第二小区域的小区域特征。
张量计算器23的这种配置基于第一特征与第二特征的乘积来获得第一小区域(即，目标区域)的图像特征。
因此，图像处理装置1被配置成针对每个小区域获得图像特征。因此，与针对捕获图像的每个像素获得特征相比，该配置减少了由于目标对象的移位或转动而对图像特征的计算的不利影响。因此，这增加了计算第一小区域的图像特征的精确度。
图像处理装置1被配置成简单地计算第一小区域的第一特征与第二小区域的第二特征的乘积，从而获得第一小区域的图像特征。因此，这防止了图像特征中包括的元素的数目过度增加。
作为第一示例，小区域特征计算器22可以被配置成从每个小区域中提取与对应的小区域SR相关联的小区域特征的向量。张量计算器23可以被配置成计算第一特征与第二特征之间的直积作为乘积，从而通过通常可用的直积来获得每个小区域的小区域特征。
作为第二示例，张量计算器23可以被配置成计算乘积的幂作为第一小区域(即，目标区域)的图像特征，从而获得包括高阶特征的图像特征。
作为第三示例，张量计算器23可以被配置成计算乘积的克罗内克幂作为乘积的幂。该配置使得能够基于乘积的克罗内克幂的具体计算来获得更高阶的特征。此外，计算具有基于乘积的克罗内克幂的非线性特性的张量的幂(即，乘积的克罗内克幂)，从而提高了获得图像特征的精确度。
作为第四示例，小区域特征计算器22可以被配置成从每个小区域中提取构成对应的小区域SR的每个像素的亮度值梯度方向直方图作为具有与对应的小区域SR相关联的两个或更多个特征参数的小区域特征。该配置使得能够将每个像素的亮度值如何朝向每个相邻像素改变表示为小区域特征。
处理器10还可以包括图像特征计算器24。图像特征计算器24包括例如划分设置器24a，划分设置器24a适于设置构成对象区域OR的划分段DS，每个划分段DS包括小区域SR的一部分。
图像特征计算器24还包括例如划分计算器24b，划分计算器24b适于计算每个划分段DS中包括的各个小区域SR的图像特征的和或平均值，并且获得图像特征的和或平均值作为对应的划分段DS的图像特征。
该配置使得可以限制针对每个划分段DS获得的图像特征中包括的参数的数目的增加。
示例性实施方式的处理器10安装在车辆100中，并且可通信地连接至成像单元31、指示单元32和ECU 33。成像单元31捕获位于车辆100附近的区域的图像。指示单元32被配置成向车辆100的驾驶员指示从处理器10发送的对象识别结果。ECU 33被配置成基于从处理器10发送的对象识别结果来执行车辆100的预防性安全控制。
处理器10包括输入单元16，输入单元16使处理器10能够与成像单元31进行通信；存储器12，存储器12存储特征提取程序；以及CPU 10，CPU 10用作特征计算器。
特征计算器被配置成：
(1)从存储器12中读取特征提取程序；
(2)将从成像单元获得的捕获图像划分成小区域，每个小区域的尺寸小于捕获图像的尺寸；
(3)从每个小区域中提取具有与对应的小区域SR相关联的两个或更多个特征参数的小区域特征；
(4)对从所述小区域SR选择作为目标区域的第一小区域的第一特征(例如，小区域特征向量hm)进行计算；
(5)对与第一小区域具有预定位置关系的第二小区域的第二特征(例如第τ小区域的小区域特征向量hτ)进行计算；
(6)基于第一特征与第二特征的乘积，获得第一小区域(即，目标区域)的图像特征；
(7)根据目标区域的图像特征来识别目标对象。
处理器10还包括输出单元17，输出单元17用作传输电路，该传输电路用于向指示单元32和ECU 33中的至少一个发送包括例如目标对象的识别结果的数据。
例如，小区域特征计算器22、张量计算器23和图像特征计算器24用作特征计算器。
该配置使得可以基于对象识别结果来执行车辆100的预防性安全控制和/或向车辆100的驾驶员提供用于车辆100的安全性的消息。
修改
已经描述了本公开内容的示例性实施方式，但是本公开内容不限于上述示例性实施方式，并且可以可变地进行修改。
示例性实施方式的张量计算器23被配置成计算小区域特征向量的直积，但是本公开内容不限于此。具体地，张量计算器23可以被配置成计算标量值的乘积或矩阵的乘积。张量计算器23可以被配置成计算小特征向量的叉积(例如外积)。例如，以下描述了下面等式(10)中的向量a和向量b的这样的叉积的示例：
其中并且
张量计算器23可以被配置成在没有张量的第p阶克罗内克幂的情况下根据以下等式(11)来计算矩阵的幂：
A3＝AAA (11)
处理器10可以被配置成不包括识别对象类型的任务，而是包括计算每个划分段中的图像特征的任务。
示例性实施方式中的一个元件的功能可以被分布为多个元件，并且所述多个元件具有的功能可以组合到一个元件中。示例性实施方式的结构的至少一部分可以用具有与示例性实施方式的结构的所述至少一部分相同的功能的已知结构来代替。可以省略示例性实施方式的结构的一部分。由权利要求所采用的语言指定的技术思想中包括的所有方面构成了本公开内容的实施方式。
除了图像处理装置之外，本公开内容可以通过各种实施方式来实现；各种实施方式包括各自包括图像处理装置的系统、用于将计算机用作图像处理装置的程序、诸如存储程序的非暂态存储介质的存储介质、以及图像处理方法。
尽管本文已经描述了本公开内容的说明性实施方式，但是本公开内容不限于本文描述的实施方式，而是如本领域普通技术人员基于本公开内容理解的那样，包括具有(例如，跨各种实施方式的方面)修改、省略、组合、适应性调整和/或替选方案的任何和所有实施方式。权利要求中的限制应基于权利要求中采用的语言进行广义解释，并且不限于本说明书中或在本申请的审查期间描述的示例，这些示例应被解释为非排他性的。

Claims (10)

1.一种用于提取要用于识别捕获图像中的目标对象的图像特征的特征提取装置，所述特征提取装置包括：
小区域设置器，被配置成将在所述捕获图像中设置的对象区域划分成尺寸小于所述对象区域的小区域，所述目标对象包括在所述对象区域中；
小区域提取器，被配置成从每个小区域中提取具有与对应的小区域相关联的两个或更多个特征参数的小区域特征；以及
特征计算器，被配置成：
计算第一特征与第二特征的乘积，所述第一特征表示从所述小区域中选择作为目标区域的第一小区域的小区域特征，所述第二特征表示所述小区域中的第二小区域的小区域特征，所述第二小区域与所述第一小区域具有预定位置关系，以及
基于所述第一特征与所述第二特征的所述乘积来获得作为所述目标区域的所述第一小区域的图像特征。
2.根据权利要求1所述的特征提取装置，其中：
所述小区域提取器被配置成从每个小区域中提取与对应的小区域相关联的所述小区域特征的向量；以及
所述特征计算器被配置成计算所述第一特征与所述第二特征之间的直积作为所述乘积。
3.根据权利要求1或2所述的特征提取装置，其中：
所述特征计算器被配置成计算所述乘积的幂作为所述目标区域的图像特征。
4.根据权利要求3所述的特征提取装置，其中：
所述特征计算器被配置成计算所述乘积的克罗内克幂作为所述乘积的幂。
5.根据权利要求1至4中任一项所述的特征提取装置，其中：
所述小区域提取器被配置成从每个小区域中提取构成对应的小区域的每个像素的亮度值梯度方向的直方图，作为具有与所述对应的小区域相关联的两个或更多个特征参数的所述小区域特征。
6.根据权利要求1至5中任一项所述的特征提取装置，还包括：
划分设置器，被配置成设置构成所述对象区域的划分段，所述划分段中的每一个包括所述小区域的一部分；以及
划分计算器，被配置成计算每个划分段中包括的各个小区域的所述图像特征的和或平均值，以相应地获得所述图像特征的和或平均值作为对应的划分段的图像特征。
7.根据权利要求1至6中任一项所述的特征提取装置，其中，
所述目标区域包括多个像素。
8.一种能够由计算机执行的特征提取方法，所述方法包括：
将在捕获图像中设置的对象区域划分成尺寸小于所述对象区域的小区域，目标对象包括在所述对象区域中；
从每个小区域中提取具有与对应的小区域相关联的两个或更多个特征参数的小区域特征；
计算第一特征与第二特征的乘积，所述第一特征表示从所述小区域中选择作为目标区域的第一小区域的小区域特征，所述第二特征表示所述小区域中的第二小区域的小区域特征，所述第二小区域与所述第一小区域具有预定位置关系，以及
基于所述第一特征与所述第二特征的所述乘积，获得作为所述目标区域的所述第一小区域的图像特征。
9.一种对象识别装置，所述对象识别装置能够安装在车辆中并且能够通信地连接至成像单元、指示单元和电子控制单元，所述成像单元被配置成捕获位于所述车辆周围的区域的图像，所述指示单元被配置成向所述车辆的驾驶员指示对象识别结果，所述电子控制单元被配置成基于所述对象识别结果对所述车辆执行预防性安全控制，所述对象识别装置包括：
输入单元，使得所述对象识别装置能够与所述成像单元进行通信，
第一存储器，被配置成存储特征提取程序，
特征计算器，
所述特征计算器被配置成：
从所述第一存储器中读取所述特征提取程序；
将从所述成像单元获得的捕获图像划分成小区域，每个小区域的尺寸小于所述捕获图像的尺寸；
从每个小区域中提取具有与对应的小区域相关联的两个或更多个特征参数的小区域特征；
计算第一特征与第二特征，所述第一特征表示从所述小区域中选择作为目标区域的第一小区域的小区域特征，所述第二特征表示所述小区域中的第二小区域的小区域特征，所述第二小区域与所述第一小区域具有预定位置关系；
基于所述第一特征与所述第二特征的乘积，获得作为所述目标区域的所述第一小区域的图像特征；以及
根据所述目标区域的所述图像特征来识别所述目标对象；以及
发送单元，被配置成向所述指示单元和所述电子控制单元中的至少一个发送包括由所述特征计算器获得的对象识别结果的数据。
10.根据权利要求9所述的对象识别装置，还包括：
第二存储器，存储识别程序和比较参考张量；以及
识别器，被配置成：
从所述第二存储器中读取所述识别程序和所述比较参考张量；
计算有限数目的向量作为所述目标区域的所述图像特征与所述比较参考张量的内积的近似值；
计算各个向量与所述目标区域的小区域特征的积的乘积的预定次相加，以相应地计算标量值；以及
基于所述标量值和所述比较参考张量来识别所述目标对象。
CN201910481894.3A 2018-06-04 2019-06-04 特征提取方法和装置及对象识别装置 Active CN110555445B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-107022 2018-06-04
JP2018107022 2018-06-04
JP2019-021734 2019-02-08
JP2019021734A JP7322418B2 (ja) 2018-06-04 2019-02-08 特徴量抽出装置、特徴量抽出方法、および物体認識装置

Publications (2)

Publication Number Publication Date
CN110555445A true CN110555445A (zh) 2019-12-10
CN110555445B CN110555445B (zh) 2024-06-25

Family

ID=68692715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910481894.3A Active CN110555445B (zh) 2018-06-04 2019-06-04 特征提取方法和装置及对象识别装置

Country Status (2)

Country Link
US (1) US11281926B2 (zh)
CN (1) CN110555445B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11281926B2 (en) * 2018-06-04 2022-03-22 Denso Corporation Feature extraction method and apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763507A (zh) * 2010-01-20 2010-06-30 北京智慧眼科技发展有限公司 人脸识别方法及人脸识别系统
CN102253818A (zh) * 2011-06-27 2011-11-23 深圳市茁壮网络股份有限公司 一种背景图片的显示方法及装置
CN103455812A (zh) * 2012-06-01 2013-12-18 株式会社理光 目标识别系统和目标识别方法
US20150010237A1 (en) * 2012-01-30 2015-01-08 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5214367B2 (ja) * 2008-08-08 2013-06-19 株式会社東芝 特徴量抽出装置、特徴量抽出方法、画像処理装置、及び、プログラム
JP4970381B2 (ja) * 2008-08-08 2012-07-04 株式会社東芝 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム
JP5479353B2 (ja) * 2008-10-14 2014-04-23 株式会社日立メディコ 超音波診断装置
US8478053B2 (en) * 2009-07-15 2013-07-02 Nikon Corporation Image sorting apparatus
JP5338643B2 (ja) 2009-12-07 2013-11-13 株式会社豊田中央研究所 画像特徴抽出装置、画像処理装置、及びプログラム
JP5744437B2 (ja) * 2010-08-18 2015-07-08 キヤノン株式会社 追尾装置、追尾方法及びプログラム
JP2013077296A (ja) * 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
US20140233826A1 (en) * 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
TW201531960A (zh) * 2013-11-14 2015-08-16 Sicpa Holding Sa 用於驗證產品的圖像分析
JP6525545B2 (ja) * 2014-10-22 2019-06-05 キヤノン株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
WO2016117018A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6490441B2 (ja) * 2015-02-12 2019-03-27 株式会社東芝 画像評価装置、画像評価方法およびプログラム
US11281926B2 (en) * 2018-06-04 2022-03-22 Denso Corporation Feature extraction method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101763507A (zh) * 2010-01-20 2010-06-30 北京智慧眼科技发展有限公司 人脸识别方法及人脸识别系统
CN102253818A (zh) * 2011-06-27 2011-11-23 深圳市茁壮网络股份有限公司 一种背景图片的显示方法及装置
US20150010237A1 (en) * 2012-01-30 2015-01-08 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
CN103455812A (zh) * 2012-06-01 2013-12-18 株式会社理光 目标识别系统和目标识别方法

Also Published As

Publication number Publication date
US20190370592A1 (en) 2019-12-05
CN110555445B (zh) 2024-06-25
US11281926B2 (en) 2022-03-22

Similar Documents

Publication Publication Date Title
CN103448650B (zh) 目标识别系统和目标识别方法
US9600746B2 (en) Image processing apparatus and image processing method
JP6156733B2 (ja) 対象物認識装置、機器制御システム、車両、対象物認識方法及び対象物認識用プログラム
KR101569411B1 (ko) 보행자 인식 장치 및 그 방법
EP2234086B1 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
EP3203725B1 (en) Vehicle-mounted image recognition device
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
CN108496056B (zh) 摄像装置
JP2014115978A (ja) 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
US10929715B2 (en) Semantic segmentation using driver attention information
WO2017159082A1 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法及びプログラム
CN110555445B (zh) 特征提取方法和装置及对象识别装置
KR101382163B1 (ko) 지상표적 분류방법 및 이를 이용한 지상표적 분류장치
JP7165353B2 (ja) 画像特徴量出力装置、画像認識装置、画像特徴量出力プログラム、及び画像認識プログラム
EP2778603B1 (en) Image processing apparatus and image processing method
JP6577595B2 (ja) 車両用外界認識装置
US11272111B2 (en) Image processing apparatus
JP7322418B2 (ja) 特徴量抽出装置、特徴量抽出方法、および物体認識装置
JP7379523B2 (ja) 画像認識装置
EP2372637B1 (en) A driver assistance system and method for a motor vehicle
KR101449371B1 (ko) 차량 영상의 영역 분할에 기초하여 주행 사건을 분류하는 방법
KR101393851B1 (ko) 두 단계 레이어 기반의 강건한 주행사건 분류 방법 및 장치
JP2021129250A (ja) 画像処理装置、撮像システム、画像処理方法及びプログラム
JP2020135034A (ja) 頭部判別装置、コンピュータプログラム、および記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant