CN105984470A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN105984470A
CN105984470A CN201610151179.XA CN201610151179A CN105984470A CN 105984470 A CN105984470 A CN 105984470A CN 201610151179 A CN201610151179 A CN 201610151179A CN 105984470 A CN105984470 A CN 105984470A
Authority
CN
China
Prior art keywords
variable quantity
line segment
threshold value
characteristic point
quantity threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610151179.XA
Other languages
English (en)
Other versions
CN105984470B (zh
Inventor
宫野琉衣子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN105984470A publication Critical patent/CN105984470A/zh
Application granted granted Critical
Publication of CN105984470B publication Critical patent/CN105984470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供图像处理装置和图像处理方法，在基于相机的拍摄图像的物体的识别中能够提高识别物体的精度。通过图像处理装置的物体识别部，分开地提取变化量为变化量阈值以上的第1线段以及第2线段的第1特征点以及第2特征点、和变化量小于变化量阈值的第1线段以及第2线段的第1特征点以及第2特征点，将变化量为变化量阈值以上的第1线段的第1特征点的在第2拍摄图像内的对应点决定为与变化量为变化量阈值以上的第1线段对应的第2线段的第2特征点，由此识别物体。由此，将仅基于作为识别对象的物体得到的第1特征点以及第2特征点、和基于不作为识别对象的远景得到的第1特征点以及第2特征点区别开，将作为识别对象的物体专属的第1特征点与第2特征点相关联，所以能够提高识别物体的精度。

Description

图像处理装置和图像处理方法
技术领域
本发明的一方面和另一方面涉及图像处理装置和图像处理方法。
背景技术
提出了基于相机的拍摄图像识别物体的技术。例如，在专利文献1中公开了自分别从不同的视点拍摄物体而得到的两个拍摄图像的各自提取物体的轮廓线等直线的装置。专利文献1的装置提取从两个拍摄图像的各自提取的直线彼此的交点(角点)等特征点。专利文献1的装置通过使从两个拍摄图像的各自提取的特征点彼此相关联来识别物体。
现有技术文献
专利文献
专利文献1：日本特开2014-102805号公报
发明内容
发明要解决的问题
在上述专利文献1那样的装置中，基于作为识别对象的物体的轮廓线得到的特征点、和基于不作为识别对象的远景的轮廓线得到的特征点被一起提取。在物体相对于相机移动的情况下，物体的轮廓线在拍摄图像内移动，相对于此，远景的轮廓线在拍摄图像内不移动。在该情况下，例如若将物体的轮廓线与远景的轮廓线的交点设为基于物体的轮廓线得到的特征点，则该特征点会在物体的轮廓线上移动，所以存在将实际上不处于物体上的同一位置的位置误识别为同一位置的情况、无法准确地识别物体的位置、移动量的情况。因此，存在识别物体的精度降低的情况，期望加以改善。
因此，本发明的目的在于提供在基于相机的拍摄图像的物体的识别中能够提高识别物体的精度的图像处理装置和图像处理方法。
用于解决问题的手段
本发明的一方面涉及一种图像处理装置，基于相机的拍摄图像识别物体，其特征在于，具备：线段提取部，其从第1时刻的第1拍摄图像提取多个第1线段、且从第1时刻之后的第2时刻的第2拍摄图像提取多个第2线段；特征点提取部，其提取各第1线段的第1特征点、且提取各第2线段的第2特征点；变化量算出部，其算出与各第1线段对应的第2线段的各自在第2拍摄图像内的位置相对于各第1线段在第1拍摄图像内的位置的变化量；以及物体识别部，其分开地提取变化量为变化量阈值以上的第1线段以及第2线段的第1特征点以及第2特征点、和变化量小于变化量阈值的第1线段以及第2线段的第1特征点以及第2特征点，将变化量为变化量阈值以上的第1线段的第1特征点的在第2拍摄图像内的对应点，决定为与变化量为变化量阈值以上的第1线段对应的第2线段的第2特征点，由此识别物体。
根据该构成，通过物体识别部，分开地提取变化量为变化量阈值以上的第1线段以及第2线段的第1特征点以及第2特征点、和变化量小于变化量阈值的第1线段以及第2线段的第1特征点以及第2特征点，将变化量为变化量阈值以上的第1线段的第1特征点的在第2拍摄图像内的对应点决定为与变化量为变化量阈值以上的第1线段对应的第2线段的第2特征点，由此识别物体。由此，将仅基于作为识别对象的物体得到的第1特征点以及第2特征点和基于不作为识别对象的远景得到的第1特征点以及第2特征点区分开，将作为识别对象的物体专属的第1特征点与第2特征点相关联，所以能够提高识别物体的精度。
在该情况下，也可以是，物体识别部，提取作为如下交点的第1特征点作为变化量小于变化量阈值的第1线段的第1特征点，由此识别物体，所述交点是变化量小于变化量阈值的第1线段的端点与变化量为变化量阈值以上的第1线段的交点。
根据该构成，通过物体识别部，提取作为如下交点的第1特征点作为变化量小于变化量阈值的第1线段的第1特征点，由此识别物体，所述交点是变化量小于变化量阈值的第1线段的端点与变化量为变化量阈值以上的第1线段的交点。由此，将仅基于作为识别对象的物体得到的第1特征点和作为识别对象的物体的轮廓线与不作为识别对象的远景的轮廓线的交点区分开，所以能够减少误识别。
另外，在该情况下，也可以是，物体识别部，基于作为如下交点的第1特征点与变化量为变化量阈值以上的第1线段的第1特征点在第1拍摄图像内的位置关系，来决定作为所述交点的第1特征点的在第2拍摄图像内的对应点，所述交点是变化量小于变化量阈值的第1线段的端点与变化量为变化量阈值以上的第1线段的交点。
根据该构成，通过物体识别部，基于作为如下交点的第1特征点与变化量为变化量阈值以上的第1线段的第1特征点在第1拍摄图像内的位置关系，来决定作为所述交点的第1特征点的在第2拍摄图像内的对应点，所述交点是变化量小于变化量阈值的第1线段的端点与变化量为变化量阈值以上的第1线段的交点。由此，基于仅基于作为识别对象的物体得到的第1特征点以及第2特征点决定第1拍摄图像内的作为识别对象的物体的轮廓线与不作为识别对象的远景的轮廓线的交点的在第2拍摄图像内的对应点，所以能够进一步提高识别物体的精度。
另外，本发明的另一方面涉及一种图像处理方法，使用基于相机的拍摄图像识别物体的图像处理装置，所述图像处理方法的特征在于，具备：线段提取步骤，通过图像处理装置的线段提取部从第1时刻的第1拍摄图像提取多个第1线段、且从第1时刻之后的第2时刻的第2拍摄图像提取多个第2线段；特征点提取步骤，通过图像处理装置的特征点提取部提取各第1线段的第1特征点、且提取各第2线段的第2特征点；变化量算出步骤，通过图像处理装置的变化量算出部算出与各第1线段对应的各第2线段在第2拍摄图像内的位置相对于各第1线段在第1拍摄图像内的位置的变化量；以及物体识别步骤，通过图像处理装置的物体识别部，分开地提取变化量为变化量阈值以上的第1线段以及第2线段的第1特征点以及第2特征点、和变化量小于变化量阈值的第1线段以及第2线段的第1特征点以及第2特征点，将变化量为变化量阈值以上的第1线段的第1特征点的在第2拍摄图像内的对应点决定为与变化量为变化量阈值以上的第1线段对应的第2线段的第2特征点，由此识别物体。
在该情况下，也可以是，在物体识别步骤中，提取作为如下交点的第1特征点作为变化量小于变化量阈值的第1线段的第1特征点，由此识别物体，所述交点是变化量小于变化量阈值的第1线段的端点与变化量为变化量阈值以上的第1线段的交点。
另外，在该情况下，也可以是，在物体识别步骤中，基于作为如下交点的第1特征点与变化量为变化量阈值以上的第1线段的第1特征点在第1拍摄图像内的位置关系，来决定作为所述交点的第1特征点的在第2拍摄图像内的对应点，所述交点是变化量小于变化量阈值的第1线段的端点与变化量为变化量阈值以上的第1线段的交点。
发明的效果
根据本发明的一方面和另一方面，在基于相机的拍摄图像的物体的识别中，能够提高识别物体的精度。
附图说明
图1是表示实施方式的图像处理装置的框图。
图2是表示图1的图像处理装置的动作的流程图。
图3(a)是表示第1时刻的第1拍摄图像的图，图3(b)是表示第1时刻之后的第2时刻的第2拍摄图像的图。
图4(a)是表示从第1拍摄图像提取多个第1线段的状态的图，图4(b)是表示从第2拍摄图像提取与各第1线段对应的多个第2线段的状态的图。
图5(a)是表示提取各第1线段的第1特征点的状态的图，图5(b)是表示提取各第2线段的第2特征点的状态的图。
图6(a)是表示提取变化量为变化量阈值以上的第1线段的第1特征点的状态的图，图6(b)是表示提取变化量为变化量阈值以上的第2线段的第2特征点的状态的图。
图7是表示从第2拍摄图像提取变化量小于变化量阈值的第2线段的状态的图。
图8(a)是表示提取变化量小于变化量阈值的第1线段的第1特征点的状态的图，图8(b)是表示提取变化量小于变化量阈值的第2线段的第2特征点的状态的图。
图9(a)是表示算出在第1线段中变化量小于变化量阈值的第1特征点相对于变化量为变化量阈值以上的第1特征点的位置关系的状态的图，图9(b)是表示基于图9(a)的位置关系算出第2拍摄图像中的与变化量小于变化量阈值的第1特征点对应的位置的状态的图。
附图标记说明
1…图像处理装置；11…相机；12…车速传感器；13…陀螺仪传感器；20…ECU；21…线段提取部；22…特征点提取部；23…变化量算出部；24…物体识别部；25…车辆控制部；31…显示器；32…扬声器；33…致动器；F1…第1拍摄图像；F2…第2拍摄图像；L1(t1)、L2(t1)…第1线段；L1(t2)、L2(t2)…第2线段；P1a(t1)、P1b(t1)、P2(t1)…第1特征点；P1a(t2)、P1b(t2)、P2(t2)…第2特征点；P…对应点。
具体实施方式
以下，参照附图对本发明的实施方式的图像处理装置和图像处理方法进行说明。
如图1所示，第1实施方式的图像处理装置1具备相机11、车速传感器12、陀螺仪传感器13、ECU20、显示器31、扬声器32以及致动器33。图像处理装置1搭载于汽车等车辆，是在车辆的行驶期间基于相机11的拍摄图像识别物体的装置。
相机11例如是设置于车辆的前窗玻璃的背面的具有一个摄像部的单眼相机。相机11将与车辆前方的拍摄图像有关的信息向ECU20发送。相机11可以是单色相机和彩色相机中的任一者。另外，相机11可以是立体相机。
车速传感器12是用于检测车辆的速度的传感器。作为车速传感器12，例如使用设置于车辆的车轮或与车轮一体旋转的车轴等、且检测车轮的旋转速度来作为信号的车轮速度传感器。车速传感器12将与车轮的旋转速度相应的信号向ECU20发送。
陀螺仪传感器13包括方位角传感器或偏航率传感器。方位角传感器是用于检测车辆的行进方向的传感器。方位角传感器将与车辆的行进方向相应的信号向ECU20发送。偏航率传感器是用于通过检测绕车辆的重心的铅垂轴的偏航率(旋转角速度)来检测车辆的朝向的传感器。偏航率传感器将与与所检测的车辆的偏航率相应的信号向ECU20输出。
ECU20是具有CPU(Central Processing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等的电子控制单元。在ECU20中，将在ROM存储的程序装载到RAM，由CPU执行该程序，由此ECU20的硬件作为线段提取部21、特征点提取部22、变化量算出部23、物体识别部24以及车辆控制部25而发挥作用。ECU20也可以由多个ECU构成。
线段提取部21从第1时刻的第1拍摄图像提取多个第1线段、且从第1时刻之后的第2时刻的第2拍摄图像提取多个第2线段的各自。第1时刻与第2时刻的间隔例如可以设为50～100msec。线段提取部21例如通过霍夫变换从第1拍摄图像提取第1线段，从第2拍摄图像提取第2线段。另外，线段提取部21也可以通过其他方法提取第1线段和第2线段。
特征点提取部22提取各第1线段的第1特征点，将该第1特征点与各第1线段相关联地进行登记，并且提取各第2线段的第2特征点，将该第2特征点与各第2线段相关联地进行登记。第1线段的第1特征点例如是指存在于与第1特征点相距预先设定的距离以内的位置的预先设定的辉度以上的点。另外，第1线段的第1特征点例如是指第1线段的端点。第1线段的端点包括如下端点：该端点是一个第1线段的端点且成为与其他第1线段的交点(角点)。第1线段的端点包括成为与第1拍摄图像的外周的交点的端点。特征点提取部22例如通过哈里斯(Harris)、FAST(Featuresfrom Accelerated Segment Test：加速段试验的特征)、SURF(Speeded UpRobust Features：加度稳健特征)或SIFT(Scale-Invariant FeatureTransform：尺度不变特征转换)的方法提取各第1线段的第1特征点。可以从多个第1线段的各自重复地提取一个第1特征点、且重复地将一个第1特征点与多个第1线段的各自相关联地进行登记。第2线段的第2特征点也与上述的第1线段的第1特征点同样地提取。另外，特征点提取部22也可以通过其他方法提取第1特征点和第2特征点。
变化量算出部23算出与各第1线段对应的各第2线段在第2拍摄图像内的位置相对于各第1线段在第1拍摄图像内的位置的变化量。第1线段与第2线段是否相对应例如可以通过对第1线段所包含的第1特征点的像素与第2线段所包含的第2特征点的像素进行比较来判定。变化量算出部23例如根据各第1线段的在第1拍摄图像内的端点的坐标与各第2线段的在第2拍摄图像内的端点的坐标之差来算出变化量。变化量算出部23例如也可以根据各第1线段的在第1拍摄图像内的斜率与各第2线段的在第2拍摄图像内的斜率之差算出变化量。另外，变化量算出部23例如也可以根据各第1线段的在第1拍摄图像内的中点的坐标与各第2线段的在第2拍摄图像内的中点的坐标之差算出变化量。
如后所述，物体识别部24分开地提取变化量为变化量阈值以上的第1线段以及第2线段的第1特征点以及第2特征点、和变化量小于变化量阈值的第1线段以及第2线段的第1特征点以及第2特征点，将变化量为变化量阈值以上的第1线段的第1特征点的在第2拍摄图像内的对应点，决定为与变化量为变化量阈值以上的第1线段对应的第2线段的第2特征点，由此识别物体。变化量阈值是用于判定第1线段以及第2线段是否为由于作为识别对象的物体的轮廓线等而产生的线段的变化量的阈值。例如可以是，由车速传感器12检测到的车速和/或由陀螺仪传感器13检测到的偏航率越大，则变化量阈值设定为越大的值。
车辆控制部25进行将由物体识别部24识别出的物体显示于显示器31的车辆控制。另外，车辆控制部25在距所识别出的物体的距离小于预先设定的阈值时，进行从显示器31或扬声器32向车辆的驾驶员报告必要的警报的车辆控制。另外，车辆控制部25在距所识别出的物体的距离小于预先设定的阈值时，进行通过致动器33控制车辆的加度、制动以及操舵中的任一动作的车辆控制。
显示器31例如包括仪表组的MID(Multi Information Display：多信息显示器)、仪表板的中央显示器、HUD(Head-up Display：平视显示器)等中的至少一者。显示器31也可以由多个种类的显示器构成。显示器31根据来自ECU20的车辆控制部25的控制信号进行显示。
扬声器32包括设置于车辆的仪表板背面的扬声器、设置于车辆的驾驶席的门内侧的扬声器、ECU20的内置扬声器等中的至少一者。扬声器32根据来自ECU20的车辆控制部25的控制信号进行声音的输出和警报的报告。
致动器33是控制车辆的加度、制动以及操舵中的任一者的动作的装置。致动器33至少包括节气门致动器、制动器致动器以及转向致动器。节气门致动器根据来自ECU20的控制信号控制对发动机的空气的供给量(节气门开度)而控制车辆的驱动力。此外，在车辆为混合动力车或电动汽车的情况下，不包括节气门致动器，向作为动力源的马达输入来自ECU20的控制信号而控制该驱动力。
制动器致动器根据来自ECU20的控制信号控制制动器系统而控制对车辆的车轮施加的制动力。作为制动器系统，例如可以使用液压制动器系统。转向致动器根据来自ECU20的控制信号对电动动力转向系统中控制转向转矩的辅助马达的驱动进行控制。由此，转向致动器控制车辆的转向转矩。
以下，对本实施方式的图像处理装置1的动作进行说明。如图2所示，作为图像取得步骤，在车辆的行驶期间，由ECU20的线段提取部21取得通过相机11得到的车辆前方的拍摄图像(S1)。线段提取部21例如取得图3(a)所示的第1时刻的第1拍摄图像F1和图3(b)所示的第2时刻的第2拍摄图像F2。在第1时刻的第1拍摄图像F1中拍摄到的建筑物、树木以及路面的白线等，在第1时刻之后的第2时刻的第2拍摄图像F2中拍摄在更靠车辆跟前侧的位置。另一方面，拍摄于第1拍摄图像F1的远景的山等即使在第2拍摄图像F2中位置也未变化。
如图2所示，作为线段提取步骤，通过线段提取部21从第1时刻的第1拍摄图像F1提取多个第1线段、且从第2时刻的第2拍摄图像F2提取多个第2线段(S2)。如图4(a)所示，从第1时刻t1的第1拍摄图像F1提取作为树木的轮廓线的第1线段L1(t1)。另外，提取作为远景的山的轮廓线的第1线段L2(t1)。同样地，如图4(b)所示，从第2时刻t2的第2拍摄图像F2提取作为树木的轮廓线的第2线段L1(t2)等。另外，提取作为远景的山的轮廓线的第2线段L2(t2)。
如图2所示，作为特征点提取步骤，通过ECU20的特征点提取部22提取各第1线段L1(t1)、L2(t1)等的第1特征点、将第1特征点与各第1线段L1(t1)、L2(t1)等相关联地进行登记，并且提取各第2线段L1(t2)、L2(t2)等的第2特征点，将该第2特征点与各第2线段L1(t2)、L2(t2)等相关联地进行登记(S3)。如图5(a)所示，提取作为第1线段L1(t1)的端点的第1特征点P1a(t1)、P1b(t1)。另外，提取作为第1线段L2(t1)的端点与第1线段L1(t1)的交点的第1特征点P2(t1)。同样地，如图5(b)所示，提取作为第2线段L1(t2)的端点的第2特征点P1a(t2)、P1b(t2)。另外，提取作为第2线段L2(t2)的端点与第2线段L1(t2)的交点的第2特征点P2(t2)。此外，如上所述，也可以从多个第1线段L1(t1)、L2(t1)各自重复地提取一个第1特征点P2(t1)，重复地将该第1特征点P2(t1)与多个第1线段L1(t1)、L2(t1)各自相关联地进行登记，也可以从多个第2线段L1(t2)、L2(t2)各自重复地提取一个第2特征点P2(t2)，重复地将该第2特征点P2(t2)与多个第2线段L1(t2)、L2(t2)各自相关联地进行登记。
如图2所示，作为变化量算出步骤，通过ECU20的变化量算出部23算出与各第1线段L1(t1)、L2(t1)等对应的各第2线段L1(t2)、L2(t2)等在第2拍摄图像F2内的位置相对于各第1线段L1(t1)、L2(t1)等在第1拍摄图像F1内的位置的变化量(S4)。如图5(a)、(b)所示，作为树木的轮廓线，第2线段L1(t2)相对于第1线段L1(t1)的变化量大。另一方面，作为远景的山的轮廓线，第2线段L2(t2)相对于第1线段L2(t1)的变化量为0。
如图2所示，作为物体识别步骤，通过ECU20的物体识别部24，分开地提取变化量为变化量阈值以上的第1线段L1(t1)以及第2线段L1(t2)的第1特征点P1a(t1)、P1b(t1)以及第2特征点P1a(t2)、P1b(t2)等、和变化量小于变化量阈值的第1线段L2(t1)以及第2线段L2(t2)的第1特征点P2(t1)以及第2特征点P2(t2)等，将变化量为变化量阈值以上的第1线段L1(t1)的第1特征点P1a(t1)、P1b(t1)的在第2拍摄图像F2内的对应点决定为与变化量为变化量阈值以上的第1线段L1(t1)对应的第2线段L1(t2)的第2特征点P1a(t2)、P1b(t2)，由此识别物体(S5)。
如图6(a)所示，变化量为变化量阈值以上的第1线段L1(t1)等的第1特征点P1a(t1)、P1b(t1)等作为仅基于物体得到的特征点而被提取。同样地，如图6(b)所示，变化量为变化量阈值以上的第2线段L1(t2)等的第2特征点P1a(t2)、P1b(t2)等作为仅基于物体得到的特征点而被提取。物体识别部24将作为物体上的同一位置的第1特征点P1a(t1)与第2特征点P1a(t2)相对应，将作为物体上的同一位置的第1特征点P1b(t1)与第2特征点P1b(t2)相对应。物体识别部24可以通过比较第1特征点P1a(t1)、P1b(t1)的像素的辉度和第2特征点P1a(t2)，P1b(t2)的像素的辉度来进行彼此的对应。物体识别部24例如可以通过KLT跟踪的方法和/或极线(epipolar line)上的搜索等方法来进行上述对应。
如图7所示，变化量小于变化量阈值的第2线段L2(t2)等作为远景的山等的轮廓线而被提取。如图7所示，物体识别部24也可以在变化量小于变化量阈值的第2线段L2(t2)等中，插补被认为存在由变化量为变化量阈值以上的第2线段L1(t2)等遮挡的部位的部位，由此形成仅示出远景的拍摄图像。上述插补可以通过比较变化量小于变化量阈值的第2线段L2(t2)等各自的在第2拍摄图像F2内的斜率、端点的坐标以及像素的辉度等来进行。
如图8(a)所示，变化量小于变化量阈值的第1线段L2(t1)等的第1特征点P2(t1)等作为基于远景得到的特征点而被提取。同样地，如图8(b)所示，变化量小于变化量阈值的第2线段L2(t2)等的第2特征点P2(t2)等作为基于远景得到的特征点而被提取。
此外，在第1特征点P2(t1)与变化量为变化量阈值以上的第1线段L1(t1)相关联地进行了登记、且第1特征点P2(t1)还重复地与变化量小于变化量阈值的第1线段L2(t1)相关联地进行了登记的情况下，第1特征点P2(t1)作为变化量小于变化量阈值的第1线段L2(t1)的特征点而进行处理。同样地，在第2特征点P2(t2)与变化量为变化量阈值以上的第2线段L1(t2)相关联地进行了登记、且第2特征点P2(t2)还重复地与变化量小于变化量阈值的第2线段L2(t2)相关联地进行了登记的情况下，第2特征点P2(t2)作为变化量小于变化量阈值的第2线段L2(t2)的特征点而进行处理。
但是，对于重复地与变化量为变化量阈值以上的第1线段和变化量小于变化量阈值的第1线段相关联地进行了登记的第1特征点，在变化量为变化量阈值以上的第1线段为沿铅垂方向延伸的线段、且该第1特征点是变化量为变化量阈值以上的第1线段的下端点的情况下，该第1特征点是与路面的接地点的可能性大，不会产生特征点在物体的轮廓线上移动的问题，所以可以例外地作为变化量为变化量阈值以上的第1线段的特征点而进行处理。对于重复地与变化量为变化量阈值以上的第2线段和变化量为小于变化量阈值的第2线段相关联地进行了登记的第2特征点也是同样。
在本实施方式中，如图9(a)所示，通过物体识别部24提取变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点即第1特征点P2(t1)。另外，如图9(b)所示，通过物体识别部24提取变化量小于变化量阈值的第2线段L2(t2)的端点与变化量为变化量阈值以上的第2线段L1(t2)的交点即第2特征点P2(t2)。
如图9(a)所示，通过物体识别部24算出变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点即第1特征点P2(t1)、和变化量为变化量阈值以上的第1线段L1(t1)的第1特征点P1a(t1)、P1b(t1)在第1拍摄图像F1内的位置关系。具体而言，例如，对于同一第1线段L1(t1)上的第1特征点P1a(t1)、P1b(t1)、P2(t1)，算出第1特征点P2(t1)与第1特征点P1a(t1)之间的距离相对于第1特征点P1b(t1)与第1特征点P2(t1)之间的距离的比。
如图9(b)所示，基于上述的第1特征点P1a(t1)、P1b(t1)、P2(t1)的位置关系，通过物体识别部24决定变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点即第1特征点P2(t1)的在第2拍摄图像F2内的对应的位置的点即对应点P。具体而言，例如，在同一第2线段L1(t2)上决定如下对应点P：第1特征点P2(t1)与第1特征点P1a(t1)之间的距离相对于第1特征点P1b(t1)与第1特征点P2(t1)之间的距离之比，等于对应点P与第2特征点P1a(t2)之间的距离相对于第2特征点P1b(t2)与对应点P之间的距离之比。通过物体识别部24，作为与第1特征点P2(t1)对应的第2特征点，不是将第2特征点P2(t2)而是将对应点P进行关联。
基于如上述那样进行了关联的第1特征点P1a(t1)、P1b(t1)以及第2特征点P1a(t2)、P1b(t2)、和第1特征点P2(t1)以及对应点P，通过物体识别部24识别物体。
如图2所示，作为自身车辆运动推定步骤，通过车辆控制部25基于由物体识别部24识别出的与仅基于物体得到的第1特征点P1a(t1)、P1b(t1)、P2(t1)、第2特征点P1a(t2)、P1b(t2)以及对应点P有关的信息、和由车速传感器12检测出的车速，推定车辆的速度、加度度、方向等运动状态(S6)。车辆的运动状态的推定例如能够通过如下方法进行：基于与第1特征点P1a(t1)等有关的信息通过8点算法推定F矩阵，通过奇异值分解算出旋转和平移分量(日文：並進成分)，通过由车速传感器12检测出的车速来使比例尺一致。由此，与仅基于车速传感器12和/或陀螺仪传感器13的检测结果检测车辆的运动状态的情况相比，能够以高精度推定车辆的运动状态。
作为三维位置推定步骤，通过物体识别部24，基于通过物体识别步骤得到的识别结果和通过自身车辆运动推定步骤得到的车辆的运动状态，例如利用三角测量等原理算出物体在三维空间的位置(S7)。根据物体在三维空间的位置，ECU20的车辆控制部25通过显示器31、扬声器32或致动器33进行必要的车辆控制。
根据本实施方式，通过图像处理装置1的物体识别部24，分开地提取变化量为变化量阈值以上的第1线段L1(t1)以及第2线段L1(t2)的第1特征点P1a(t1)、P1b(t1)以及第2特征点P1a(t2)，P1b(t2)、和变化量小于变化量阈值的第1线段L2(t1)以及第2线段L2(t2)的第1特征点P2(t1)以及第2特征点P2(t2)，将变化量为变化量阈值以上的第1线段L1(t1)的第1特征点P1a(t1)、P1b(t1)的在第2拍摄图像F2内的对应点决定为与变化量为变化量阈值以上的第1线段L1(t1)对应的第2线段L1(t2)的第2特征点P1a(t2)、P1b(t2)，由此识别物体。由此，将仅基于作为识别对象的物体得到的第1特征点P1a(t1)、P1b(t1)以及第2特征点P1a(t2)、P1b(t2)、和基于不作为识别对象的远景得到的第1特征点P2(t1)以及第2特征点P2(t2)区分开，将仅基于作为识别对象的物体得到的第1特征点P1a(t1)、P1b(t1)和第2特征点P1a(t2)、P1b(t2)相关联，所以能够提高识别物体的精度。
另外，根据本实施方式，通过物体识别部24，作为变化量小于变化量阈值的第1线段L2(t1)的第1特征点P2(t1)，提取作为变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点的第1特征点P2(t1)，由此识别物体。由此，将仅基于作为识别对象的物体得到的第1特征点P1a(t1)，P1b(t1)、和作为识别对象的物体的轮廓线与不作为识别对象的远景的轮廓线的交点区分开，所以能够减少误识别。
另外，根据本实施方式，通过物体识别部24，基于变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点即第1特征点P2(t1)、与变化量为变化量阈值以上的第1线段L1(t1)的第1特征点P1a(t1)、P1b(t1)在第1拍摄图像F1内的位置关系，来决定变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点即第1特征点P2(t1)的在第2拍摄图像F2内的对应点P。由此，基于仅基于作为识别对象的物体得到的第1特征点P1a(t1)、P1b(t1)以及第2特征点P1a(t2)、P1b(t2)，来决定第1拍摄图像F1内的作为识别对象的物体的轮廓线与不作为识别对象的远景的轮廓线的交点的在第2拍摄图像F2内的对应点P，所以能够进一步提高识别物体的精度。
即，在仅基于特征点彼此的辉度等将特征点彼此相关联的情况下，如图9(a)、(b)所示，有可能将第1拍摄图像F1中的变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点即第1特征点P2(t1)、和第2拍摄图像F2中的变化量小于变化量阈值的第1线段L2(t2)的端点与变化量为变化量阈值以上的第1线段L1(t2)的交点即第1特征点P2(t2)相关联。
在该情况下，作为物体的轮廓线的第1线段L1(t1)和第2线段L1(t2)在第1拍摄图像F1和第2拍摄图像F2移动，相对于此，作为远景的轮廓线的第1线段L2(t1)和第2线段L2(t2)在第1拍摄图像F1和第2拍摄图像F2不移动，所以第1特征点P2(t1)和第2特征点P2(t2)在物体的轮廓线上移动。因此，存在将实际上不处于物体上的同一位置的位置误识别为同一位置的情况、无法准确地识别物体的位置、移动量的情况。另一方面，在本实施方式中，对于第1拍摄图像F1中的第1特征点P2(t1)，将第2拍摄图像F2中的实际的物体上的同一位置的点即对应点P相关联，所以能够提高识别物体的精度。
此外，本发明的实施方式的图像处理装置和图像处理方法不限于上述的实施方式，理所当然地，在不脱离本发明的实施方式的主旨的范围内可添加各种变更。
例如，也可以是，通过物体识别部24，作为变化量小于变化量阈值的第1线段以及第2线段的第1特征点以及第2特征点，提取作为变化量小于变化量阈值的第1线段彼此的交点的第1特征点以及作为变化量小于变化量阈值的第2线段彼此的交点的第2特征点，由此识别物体。在该情况下，可以提取基于远景得到的特征点，从第1拍摄图像F1和第2拍摄图像F2除去远景，由此识别物体。
另外，在通过物体识别部24，作为变化量小于变化量阈值的第1线段L2(t1)的第1特征点P2(t1)，提取作为变化量小于变化量阈值的第1线段L2(t1)的端点与变化量为变化量阈值以上的第1线段L1(t1)的交点的第1特征点P2(t1)，由此识别物体的情况下，也可以不算出第1特征点P2(t1)的对应点P而将第1特征点P2(t1)和第2特征点P2(t2)从相关联的对象除去，由此识别物体，减轻运算负担。
另外，本实施方式的图像处理装置1不必一定搭载于车辆，也可以用于图像处理装置被固定而识别移动的物体的情况。

Claims (10)

1.一种图像处理装置，基于相机的拍摄图像识别物体，其特征在于，具备：
线段提取部，其从第1时刻的第1拍摄图像提取多个第1线段、且从所述第1时刻之后的第2时刻的第2拍摄图像提取多个第2线段；
特征点提取部，其提取各所述第1线段的第1特征点、且提取各所述第2线段的第2特征点；
变化量算出部，其算出与各所述第1线段对应的各所述第2线段在所述第2拍摄图像内的位置相对于各所述第1线段在所述第1拍摄图像内的位置的变化量；以及
物体识别部，其分开地提取所述变化量为变化量阈值以上的所述第1线段以及所述第2线段的所述第1特征点以及所述第2特征点、和所述变化量小于所述变化量阈值的所述第1线段以及所述第2线段的所述第1特征点以及所述第2特征点，将所述变化量为所述变化量阈值以上的所述第1线段的所述第1特征点的在所述第2拍摄图像内的对应点，决定为与所述变化量为所述变化量阈值以上的所述第1线段对应的所述第2线段的所述第2特征点，由此识别所述物体。
2.根据权利要求1所述的图像处理装置，
所述物体识别部，提取作为如下交点的所述第1特征点作为所述变化量小于所述变化量阈值的所述第1线段的所述第1特征点，由此识别所述物体，所述交点是所述变化量小于所述变化量阈值的所述第1线段的端点与所述变化量为所述变化量阈值以上的所述第1线段的交点。
3.根据权利要求2所述的图像处理装置，
所述物体识别部，
基于作为如下交点的所述第1特征点与所述变化量为所述变化量阈值以上的所述第1线段的所述第1特征点在所述第1拍摄图像内的位置关系，来决定作为所述交点的所述第1特征点的在所述第2拍摄图像内的所述对应点，所述交点是所述变化量小于所述变化量阈值的所述第1线段的端点与所述变化量为所述变化量阈值以上的所述第1线段的交点。
4.根据权利要求1所述的图像处理装置，
所述物体识别部，
在所述第1特征点重复地与所述变化量为所述变化量阈值以上的所述第1线段以及所述变化量小于所述变化量阈值的所述第1线段相关联地进行了登记的情况下，该第1特征点作为所述变化量小于所述变化量阈值的所述第1线段的特征点而进行处理，
在所述第2特征点重复地与所述变化量为所述变化量阈值以上的所述第2线段以及所述变化量小于所述变化量阈值的所述第2线段相关联地进行了登记的情况下，该第2特征点作为所述变化量小于所述变化量阈值的所述第2线段的特征点而进行处理。
5.根据权利要求4所述的图像处理装置，
所述物体识别部，
对于重复地与所述变化量为所述变化量阈值以上的所述第1线段和所述变化量小于所述变化量阈值的所述第1线段相关联地进行了登记的所述第1特征点，在所述变化量为所述变化量阈值以上的所述第1线段为沿铅垂方向延伸的线段、且该第1特征点是所述变化量为所述变化量阈值以上的所述第1线段的下端点的情况下，作为所述变化量为所述变化量阈值以上的所述第1线段的特征点而进行处理，
对于重复地与所述变化量为所述变化量阈值以上的所述第2线段和所述变化量小于所述变化量阈值的所述第2线段相关联地进行了登记的所述第2特征点，在所述变化量为所述变化量阈值以上的所述第2线段为沿铅垂方向延伸的线段、且该第2特征点是所述变化量为所述变化量阈值以上的所述第2线段的下端点的情况下，作为所述变化量为所述变化量阈值以上的所述第2线段的特征点而进行处理。
6.一种图像处理方法，使用基于相机的拍摄图像识别物体的图像处理装置，所述图像处理方法的特征在于，具备：
线段提取步骤，通过图像处理装置的线段提取部从第1时刻的第1拍摄图像提取多个第1线段、且从所述第1时刻之后的第2时刻的第2拍摄图像提取多个第2线段；
特征点提取步骤，通过图像处理装置的特征点提取部提取各所述第1线段的第1特征点、且提取各所述第2线段的第2特征点；
变化量算出步骤，通过图像处理装置的变化量算出部算出与各所述第1线段对应的各所述第2线段在所述第2拍摄图像内的位置相对于各所述第1线段在所述第1拍摄图像内的位置的变化量；以及
物体识别步骤，通过图像处理装置的物体识别部，分开地提取所述变化量为变化量阈值以上的所述第1线段以及所述第2线段的所述第1特征点以及所述第2特征点、和所述变化量小于所述变化量阈值的所述第1线段以及所述第2线段的所述第1特征点以及所述第2特征点，将所述变化量为所述变化量阈值以上的所述第1线段的所述第1特征点的在所述第2拍摄图像内的对应点决定为与所述变化量为所述变化量阈值以上的所述第1线段对应的所述第2线段的所述第2特征点，由此识别所述物体。
7.根据权利要求6所述的图像处理方法，
在所述物体识别步骤中，提取作为如下交点的所述第1特征点作为所述变化量小于所述变化量阈值的所述第1线段的所述第1特征点，由此识别所述物体，所述交点是所述变化量小于所述变化量阈值的所述第1线段的端点与所述变化量为所述变化量阈值以上的所述第1线段的交点。
8.根据权利要求7所述的图像处理方法，
在所述物体识别步骤中，基于作为如下交点的所述第1特征点与所述变化量为所述变化量阈值以上的所述第1线段的所述第1特征点在所述第1拍摄图像内的位置关系，来决定作为所述交点的所述第1特征点的在所述第2拍摄图像内的所述对应点，所述交点是所述变化量小于所述变化量阈值的所述第1线段的端点与所述变化量为所述变化量阈值以上的所述第1线段的交点。
9.根据权利要求6所述的图像处理方法，
在所述物体识别步骤中，
在所述第1特征点重复地与所述变化量为所述变化量阈值以上的所述第1线段以及所述变化量小于所述变化量阈值的所述第1线段相关联地进行了登记的情况下，该第1特征点作为所述变化量小于所述变化量阈值的所述第1线段的特征点而进行处理，
在所述第2特征点重复地与所述变化量为所述变化量阈值以上的所述第2线段以及所述变化量小于所述变化量阈值的所述第2线段相关联地进行了登记的情况下，该第2特征点作为所述变化量小于所述变化量阈值的所述第2线段的特征点而进行处理。
10.根据权利要求9所述的图像处理方法，
在所述物体识别步骤中，
对于重复地与所述变化量为所述变化量阈值以上的所述第1线段和所述变化量小于所述变化量阈值的所述第1线段相关联地进行了登记的所述第1特征点，在所述变化量为所述变化量阈值以上的所述第1线段为沿铅垂方向延伸的线段、且该第1特征点是所述变化量为所述变化量阈值以上的所述第1线段的下端点的情况下，作为所述变化量为所述变化量阈值以上的所述第1线段的特征点而进行处理，
对于重复地与所述变化量为所述变化量阈值以上的所述第2线段和所述变化量小于所述变化量阈值的所述第2线段相关联地进行了登记的所述第2特征点，在所述变化量为所述变化量阈值以上的所述第2线段为沿铅垂方向延伸的线段、且该第2特征点是所述变化量为所述变化量阈值以上的所述第2线段的下端点的情况下，作为所述变化量为所述变化量阈值以上的所述第2线段的特征点而进行处理。
CN201610151179.XA 2015-03-17 2016-03-16 图像处理装置和图像处理方法 Active CN105984470B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-053277 2015-03-17
JP2015053277A JP6337811B2 (ja) 2015-03-17 2015-03-17 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN105984470A true CN105984470A (zh) 2016-10-05
CN105984470B CN105984470B (zh) 2019-05-03

Family

ID=55586168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610151179.XA Active CN105984470B (zh) 2015-03-17 2016-03-16 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US9744968B2 (zh)
EP (1) EP3070642A1 (zh)
JP (1) JP6337811B2 (zh)
CN (1) CN105984470B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107697104A (zh) * 2017-08-02 2018-02-16 同济大学 基于图像的铁路车辆运行方向识别与轴速测量装置及方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803164B1 (ko) 2013-03-15 2017-12-28 우버 테크놀로지스, 인크. 로봇 공학용 다중 감지 스테레오 비전 방법, 시스템 및 장치
US10077007B2 (en) * 2016-03-14 2018-09-18 Uber Technologies, Inc. Sidepod stereo camera system for an autonomous vehicle
CN109697441B (zh) * 2017-10-23 2021-02-12 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及计算机设备
US10967862B2 (en) 2017-11-07 2021-04-06 Uatc, Llc Road anomaly detection for autonomous vehicle
FR3073655B1 (fr) * 2017-11-16 2019-10-18 Thales Procede de determination d'un vecteur vitesse visuel d'un engin mobile, produit programme d'ordinateur et systeme de determination associes
JP7204612B2 (ja) * 2019-08-06 2023-01-16 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN117197422B (zh) * 2023-11-07 2024-03-26 深圳优艾智合机器人科技有限公司 识别码的定位方法、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212643A (ja) * 1996-02-05 1997-08-15 Meidensha Corp 三次元物体認識方法及びその装置
US20090238458A1 (en) * 2008-03-24 2009-09-24 Oren Golan Method and system for line segment extraction
CN101689291A (zh) * 2007-07-17 2010-03-31 丰田自动车株式会社 车载图像处理装置
US20130308821A1 (en) * 2012-05-17 2013-11-21 Fujitsu Limited Image processing apparatus and image processing method
EP2704096A1 (de) * 2012-08-29 2014-03-05 Delphi Technologies, Inc. Verfahren zum kalibrieren einer Bilderfassungseinrichtung

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5645976A (en) * 1979-09-20 1981-04-25 Seiko Epson Corp Liquid crystal composition
JP2994170B2 (ja) * 1993-04-30 1999-12-27 三菱電機株式会社 車両周辺監視装置
US8406532B2 (en) * 2009-06-17 2013-03-26 Chevron U.S.A., Inc. Image matching using line signature
JP5538868B2 (ja) * 2009-12-22 2014-07-02 キヤノン株式会社 画像処理装置、その画像処理方法及びプログラム
US8989483B2 (en) * 2011-06-10 2015-03-24 Sri International Method and apparatus for inferring the geographic location of captured scene depictions
US9633436B2 (en) * 2012-07-26 2017-04-25 Infosys Limited Systems and methods for multi-dimensional object detection
JP2014102805A (ja) 2012-11-22 2014-06-05 Canon Inc 情報処理装置、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212643A (ja) * 1996-02-05 1997-08-15 Meidensha Corp 三次元物体認識方法及びその装置
CN101689291A (zh) * 2007-07-17 2010-03-31 丰田自动车株式会社 车载图像处理装置
US20090238458A1 (en) * 2008-03-24 2009-09-24 Oren Golan Method and system for line segment extraction
US20130308821A1 (en) * 2012-05-17 2013-11-21 Fujitsu Limited Image processing apparatus and image processing method
JP2013242625A (ja) * 2012-05-17 2013-12-05 Fujitsu Ltd 画像処理装置、画像処理方法
EP2704096A1 (de) * 2012-08-29 2014-03-05 Delphi Technologies, Inc. Verfahren zum kalibrieren einer Bilderfassungseinrichtung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107697104A (zh) * 2017-08-02 2018-02-16 同济大学 基于图像的铁路车辆运行方向识别与轴速测量装置及方法

Also Published As

Publication number Publication date
JP6337811B2 (ja) 2018-06-06
JP2016173723A (ja) 2016-09-29
US9744968B2 (en) 2017-08-29
CN105984470B (zh) 2019-05-03
US20160272206A1 (en) 2016-09-22
EP3070642A1 (en) 2016-09-21

Similar Documents

Publication Publication Date Title
CN105984470A (zh) 图像处理装置和图像处理方法
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
AU2013407879B2 (en) Slam on a mobile device
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
CN105006175B (zh) 主动识别交通参与者的动作的方法和系统及相应的机动车
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
JP5999127B2 (ja) 画像処理装置
US9187051B2 (en) Method for detecting an imminent rollover of a vehicle
WO2013133129A1 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
CN107953828A (zh) 车辆的行人识别方法及车辆的行人识别系统
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
CN105793909B (zh) 用于借助车辆周围环境的通过摄像机采集的两个图像产生警告的方法和设备
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
CN113537047A (zh) 障碍物检测方法、装置、交通工具及存储介质
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
US8098887B2 (en) Face tracking device
CN110944895A (zh) 用于根据由车辆的摄像机所拍摄的图像序列来求取光流的方法和设备
JP2016206774A (ja) 立体物検出装置及び立体物検出方法
JP6841553B2 (ja) 撮像装置
JP2008003696A (ja) 画像処理装置及び画像処理方法
US20220366587A1 (en) Method and Device for Camera-Based Determination of a Distance of a Moving Object in the Surroundings of a Motor Vehicle
JP4742695B2 (ja) 視線認識装置、及び視線認識方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant