CN107430821B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN107430821B
CN107430821B CN201680020080.4A CN201680020080A CN107430821B CN 107430821 B CN107430821 B CN 107430821B CN 201680020080 A CN201680020080 A CN 201680020080A CN 107430821 B CN107430821 B CN 107430821B
Authority
CN
China
Prior art keywords
parameter
image
vehicle
candidate
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680020080.4A
Other languages
English (en)
Other versions
CN107430821A (zh
Inventor
服部阳介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN107430821A publication Critical patent/CN107430821A/zh
Application granted granted Critical
Publication of CN107430821B publication Critical patent/CN107430821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Regulating Braking Force (AREA)

Abstract

图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄上述本车辆的外部而得到的图像；对象物候补识别单元，在上述图像中识别对象物候补；对象物判定单元，以在连续的N帧(N为自然数)的上述图像中识别出同一上述对象物候补作为条件，将该对象物候补判定为对象物；参数X取得单元，取得与静止的对象物在上述图像中表观上进行移动时的移动速度相关的参数X；以及N设定单元，上述参数X的值越是增大上述移动速度，将上述N设定得越小。

Description

图像处理装置
技术领域
本发明涉及图像处理装置。
背景技术
以往，公知有在使用车载照相机取得的图像中识别对象物，进行用于避免与识别出的对象物碰撞的处理的技术(参照专利文献1)。
专利文献1：日本特开2008－308024号公报
为了提高对象物的识别精度，可考虑当在多个帧中能够连续地识别出同一对象物时，最终判断为识别到对象物的处理方法。该情况下，因本车辆、周围的状况等而存在无法恰当地识别对象物的担忧。
发明内容
一个实施方式提供能够恰当地识别对象物的图像处理装置。
实施方式的图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄上述本车辆的外部而得到的图像；对象物候补识别单元，在上述图像中识别对象物候补；对象物判定单元，以在连续的N帧(N为自然数)的上述图像中识别出同一上述对象物候补作为条件，将该对象物候补判定为对象物；参数X取得单元，取得与静止的对象物在上述图像中表观上进行移动时的移动速度相关的参数X；以及N设定单元，上述参数X的值越是增大上述移动速度，将上述N设定得越小。
附图说明
图1是表示图像处理装置的构成的框图。
图2是表示图像处理装置执行的对象物识别处理的流程图。
图3是表示图像处理装置执行的N设定处理的流程图。
图4是表示关联对象物候补的说明图。
图5是表示坐标y的说明图。
图6是表示坐标y与Na的关系的图表。
图7是表示大小S的说明图。
图8是表示大小S与Nb的关系的图表。
图9是表示转向角度与Nc的关系的图表。
图10是表示加速度G与Nd的关系的图表。
图11是表示车速与Ne的关系的图表。
图12A是表示坐标y与N的关系的图表。图12B是表示大小S与N的关系的图表。图12C是表示转向角度与N的关系的图表。图12D是表示加速度G与N的关系的图表。图12E是表示车速与N的关系的图表。
具体实施方式
基于附图对本发明的实施方式进行说明。
＜第一实施方式＞
1.图像处理装置1与和其关联的构成的说明
图像处理装置1是被搭载于车辆的车载装置。以下，将搭载图像处理装置1的车辆称为本车辆。图像处理装置1为具备CPU、RAM、ROM等的公知的计算机。图像处理装置1根据存储于ROM的程序，执行后述的处理。
图像处理装置1在功能上具备：图像取得单元3、对象物候补识别单元5、对象物判定单元7、参数X取得单元9、参数Y取得单元11、N设定单元13以及信息输出单元14。各单元的功能将后述。
本车辆除了图像处理装置1之外，还具备车载照相机15、车速传感器17、偏航传感器19、G传感器21、转向角传感器23、方向指示开关25、GPS27、地图信息存储部29以及车辆控制装置31。
车载照相机15为搭载于本车辆的照相机。车载照相机15每隔规定时间反复拍摄本车辆的外部，生成图像。车载照相机15的光轴相对于本车辆被固定。此外，以下将通过一次拍摄获得的图像称为一帧。
车速传感器17检测本车辆的车速。偏航传感器(yaw sensor)19检测本车辆的横摆率。G传感器21检测本车辆的前后方向的加速度G。此外，加速度G与本车辆的俯仰(pitching)的大小存在相关，加速度G越大，俯仰越大。转向角传感器23检测本车辆的转向角度。方向指示开关25接受本车辆的驾驶员的操作，根据该操作进行方向指示。另外，方向指示开关25将表示方向指示的内容的信号输出至图像处理装置1。
GPS27取得本车辆的位置信息。地图信息存储部29存储地图信息。车辆控制装置31从图像处理装置1接受后述的对象物信息，根据该对象物信息执行碰撞避免辅助处理(例如，自动制动、制动辅助、警报输出、自动转向操纵等)。车辆控制装置31为具备CPU、RAM、ROM等的公知的计算机。车辆控制装置31根据存储于ROM的程序，执行上述的处理。
2.图像处理装置1执行的对象物识别处理
基于图2、图4对图像处理装置1每隔规定时间反复执行的对象物识别处理进行说明。在图2的步骤S1中，图像取得单元3使用车载照相机15取得一帧的图像。
在步骤S2中，对象物候补识别单元5针对在上述步骤S1中取得的一帧的图像执行公知的图像识别处理。
在步骤S3中，对象物候补识别单元5判断是否在上述步骤S2中识别出对象物候补。对象物候补意味着针对一帧的图像进行了图像识别处理的结果是推断为是对象物，但最终不作出是对象物这一判定。在判断为识别出对象物候补的情况下，该处理进入步骤S4，在判断为无法识别对象物候补的情况下，进入步骤S13。
在步骤S4中，对象物判定单元7进行跟踪。跟踪是在上次的帧中查找能够与在上述步骤S2中识别出的对象物候补相关联的对象物候补(以下，称为关联对象物候补)的处理。关联对象物候补是能够推断为是与在上述步骤S2中识别到的对象物候补相同的对象物候补的对象物候补。
是关联对象物候补的条件是与在上述步骤S2中识别到的对象物候补进行对比，对象物候补的位置变化与对象物候补的大小的变化分别为规定的阈值以下。
例如，如图4所示，在上次的帧中，在图像39中识别出大小S1的对象物候补35，在最新的帧中，识别出大小S2的对象物候补37。如果对象物候补35与对象物候补37的位置变化的大小d为阈值以下，并且大小S1与大小S2的变化量为阈值以下，则对象物候补35与对象物候补37处于关联对象物候补的关系。
返回到图2，在步骤S5中，对象物判定单元7判断上述步骤S4中的跟踪的结果是否是在上次的帧中存在在上述步骤S2中识别到的对象物候补的关联对象物候补。在关联对象物候补存在于上次的帧的情况下，进入步骤S6，在关联对象物候补不存在于上次的帧的情况下，进入步骤S7。
在步骤S6中，对象物判定单元7对该时刻的识别次数I加上1，来更新识别次数I的值。识别次数I表示在该时刻前连续地发现了关联对象物候补的帧的累积数。因此，若识别次数为I，则在到最新的帧为止的连续的I帧的图像中，持续发现了关联对象物候补。
在步骤S7中，对象物判定单元7将识别次数I的值设为1。
在步骤S8中，N设定单元13设定N的值。该N为接下来的步骤S9中的判定所使用的自然数。N的设定方法将后述。
在步骤S9中，对象物判定单元7判定在上述步骤S6或者S7中设定的识别次数I是否为在上述步骤S8中设定的N以上。在识别次数I为N以上的情况下，该处理进入步骤S10，在小于N的情况下，该处理进入步骤S12。
在步骤S10中，对象物判定单元7将在上述步骤S2中识别出的对象物候补判定为对象物。
在步骤S11中，信息输出单元14输出与在上述步骤S10中判定为对象物的对象物相关的对象物信息。在该对象物信息中包含有图像中的对象物的位置、图像中的对象物的大小、对象物的形状等。此外，车辆控制装置31接收对象物信息，使用该对象物信息，判断对象物的位置、对象物的方位、对象物的种类等。然后，基于该判断结果，执行碰撞避免辅助处理。
在步骤S12中，对象物判定单元7存储最新的I的值。
另一方面，当在上述步骤S3中判断为否定的情况下，进入步骤S13，对象物判定单元7将识别次数I的值更新为0，结束该处理。
3.图像处理装置1执行的N设定处理
基于图3、图5～图12E对上述步骤S8的N设定处理进行说明。在图3的步骤S21中，参数Y取得单元11在上述步骤S1中取得的图像中，取得在上述步骤S2中识别出的对象物候补的上下方向上的位置。上下方向上的位置如图5所示，当在图像39中假定纵轴41时，是该纵轴41中的对象物候补37的坐标y。坐标y为正值，对象物候补37的上下方向上的位置越高，则坐标y的值越大。此外，坐标y为与从本车辆至对象物的距离相关的参数Y的一个例子。从本车辆至对象物的距离越大，坐标y越大。
在步骤S22中，N设定单元13根据在上述步骤S21中取得的坐标y计算Na。Na为自然数。N设定单元13预先具备若输入坐标y则输出Na的映射(map)，通过向该映射输入坐标y，从而计算Na。坐标y与Na的关系如图6所示，是坐标y的值越大则Na越大的关系。
在步骤S23中，参数Y取得单元11在上述步骤S1中取得的图像中，取得在上述步骤S2中识别出的对象物候补的大小。如图7所示，对象物候补的大小是图像39中的对象物候补37的大小S。此外，大小S是与从本车辆至对象物的距离相关的参数Y的一个例子。从本车辆至对象物的距离越大，大小S越小。
在步骤S24中，N设定单元13根据在上述步骤S23中取得的大小S计算Nb。Nb为自然数。N设定单元13预先具备若输入大小S则输出Nb的映射，通过向该映射输入大小S，从而计算Nb。上述的映射按对象物候补的种类(例如，行人、车辆等)被区分使用。大小S与Nb的关系如图8所示，是大小S的值越大则Nb越小的关系。
在步骤S25中，参数X取得单元9使用转向角传感器23，取得本车辆的转向角度。此外，转向角度是与静止的对象物在图像中表观上进行移动时的移动速度相关的参数X的一个例子，且是与横摆(yawing)的大小具有相关的参数X的一个例子。转向角度越大，静止的对象物在图像中表观上进行移动时的移动速度越大。此外，静止的对象物是指相对于地球静止的对象物。
在步骤S26中，N设定单元13根据在上述步骤S25中取得的转向角度来计算Nc。Nc为自然数。N设定单元13预先具备若输入转向角度则输出Nc的映射，通过向该映射输入转向角度，从而计算Nc。转向角度与Nc的关系如图9所示，是转向角度越大则Nc越小的关系。
在步骤S27中，参数X取得单元9使用G传感器21，取得加速度G。此外，加速度G是与静止的对象物在图像中表观上进行移动时的移动速度相关的参数X的一个例子，且是与俯仰的大小相关的参数的一个例子。加速度G越大，俯仰越大，静止的对象物在图像中表观上进行移动时的移动速度越大。
在步骤S28中，N设定单元13根据在上述步骤S27中取得的加速度G来计算Nd。Nd为自然数。N设定单元13预先具备若输入加速度G则输出Nd的映射，通过向该映射输入加速度G，从而计算Nd。加速度G与Nd的关系如图10所示，是加速度G越大则Nd越小的关系。
在步骤S29中，参数X取得单元9使用车速传感器17，取得本车辆的车速。此外，车速为与静止的对象物在图像中表观上进行移动时的移动速度相关的参数X的一个例子。车速越大，静止的对象物在图像中表观上进行移动时的移动速度越大。
在步骤S30中，N设定单元13根据在上述步骤S29中取得的车速来计算Ne。Ne为自然数。N设定单元13预先具备若输入车速则输出Ne的映射，通过向该映射输入车速，从而计算Ne。车速与Ne的关系如图11所示，是车速越大则Ne越小的关系。
在步骤S31中，N设定单元13使用在上述步骤S22中计算出的Na、在上述步骤S24中计算出的Nb、在上述步骤S26中计算出的Nc、在上述步骤S28中计算出的Nd以及在上述步骤S30中计算出的Ne来设定N。N设定单元13预先具备若输入Na、Nb、Nc、Nd以及Ne则输出N的映射，向该映射输入Na、Nb、Nc、Nd以及Ne，从而计算N。
N与坐标y、大小S、转向角度、加速度G以及车速的关系如下。在大小S、转向角度、加速度G以及车速恒定时，如图12A所示，坐标y越大，N越大。
另外，在坐标y、转向角度、加速度G以及车速恒定时，如图12B所示，大小S越大，N越小。
另外，在坐标y、大小S、加速度G以及车速恒定时，如图12C所示，转向角度越大，N越小。
另外，在坐标y、大小S、转向角度以及车速恒定时，如图12D所示，加速度G越大，N越小。
另外，在坐标y、大小S、转向角度以及加速度G恒定时，如图12E所示，车速越大，N越小。
4.图像处理装置1起到的效果
(1A)转向角度、加速度G以及车速是与静止的对象物在图像中表观上进行移动时的移动速度相关的参数。例如，转向角度越大，本车辆的横摆越大，静止的对象物在图像中表观上进行移动时的移动速度越大。另外，加速度G越大，本车辆的俯仰越大，静止的对象物在图像中表观上进行移动时的移动速度越大。另外，车速越大，静止的对象物在图像中表观上进行移动时的移动速度越大。
若在静止的对象物在图像中表观上进行移动时的移动速度大的状况下N也被固定，则在连续的N帧的图像中从对象物候补至识别决定需要时间，从而产生车辆控制的响应性的延迟。
转向角度、加速度G以及车速越大(对象物在图像中表观上进行移动时的移动速度越大)，图像处理装置1将N设定得越小。据此，能够缩短识别时间，使车辆控制装置的控制响应性提高。
另外，图像处理装置1在转向角度、加速度G以及车速小时，增大N，能够提高对象物的识别精度。
(1B)图像处理装置1使用转向角度、加速度G以及车速作为N的设定所使用的参数。据此，能够容易地取得参数，容易地进行N的计算。
(1C)图像处理装置1使用与横摆的大小具有相关的转向角度以及与俯仰的大小具有相关的加速度G作为N的设定所使用的参数。据此，能够更恰当地进行N的计算。
(1D)坐标y以及大小S是与从本车辆至对象物的距离相关的参数。例如，坐标y越小，从本车辆至对象物的距离越小。另外，大小S越大，从本车辆至对象物的距离越小。
在从本车辆至对象物的距离小时，要求迅速地识别对象物(提高对象物的识别中的响应性)，但若N被固定，则提高响应性较困难。
坐标y越小、大小S越大时(从本车辆至对象物的距离越小时)，图像处理装置1将N设定得越小。据此，针对接近本车辆的对象物的响应性提高。
另外，图像处理装置1在从本车辆至对象物的距离大时，增大N，从而能够提高对象物的识别精度。
＜其他的实施方式＞
以上，对本发明的实施方式进行了说明，但本发明不限定于上述实施方式，能够采用各种方式。
(1)在上述步骤S25中，也可以代替转向角度，而取得转向角速度、横摆率以及横摆率变化率的任一个参数，在上述步骤S26中，根据该参数计算Nc。转向角速度等与Nc的关系如下。转向角速度越大，Nc越小。横摆率越大，Nc越小。横摆率变化率越大，Nc越小。
(2)在上述步骤S27中，也可以代替加速度G，而取得俯仰角或者俯仰角变化率，在上述步骤S28中，根据俯仰角或者俯仰角变化率计算Nd。俯仰角、俯仰角变化率与Nd的关系如下。俯仰角越大，Nd越小。俯仰角变化率越大，Nd越小。
(3)图像处理装置1也可以具备若输入坐标y、大小S、转向角度、加速度G以及车速，则输出N的映射。而且，也可以向该映射输入在上述步骤S21、23、25、27、29中取得的坐标y、大小S、转向角度、加速度G以及车速，来计算N。
(4)图像处理装置1也可以使用Na、Nb、Nc、Nd以及Ne中的一部分来计算N。例如，也可以根据Na与Nb计算N。在该情况下，坐标y、大小S与N的关系也能够如图12A、图12B所示。
另外，也可以根据Nc、Nd、Ne计算N。在该情况下，转向角度、加速度G、车速与N的关系也能够如图12C、图12D、图12E所示。
(5)图像处理装置1也可以根据使用了由车载照相机15取得的图像的道路形状识别、来自方向指示开关25的信号、使用了GPS27以及地图信息存储部29的道路形状识别来判断本车辆的左右拐弯(与横摆相关的条件)。而且，在左右拐弯过程中的情况下，与其他的情况相比，能够将N设定得较小。据此，能够缩短识别时间，从而能够提高车辆控制装置的控制响应性。
另外，图像处理装置1也可以根据使用了由车载照相机15取得的图像的道路形状识别、使用了GPS27以及地图信息存储部29的道路形状识别来判断道路的起伏(与俯仰相关的条件)。而且，道路的起伏越激烈，能够将N设定得越小。据此，能够缩短识别时间，从而能够提高车辆控制装置的控制响应性。
(6)图像处理装置1也可以具备取得气候、时刻的机构。而且，在气候、时刻为难以识别图像的条件(例如，雨天、夜间等)的情况下，能够增大N。由此，对象物的识别精度提高。
(7)图像处理装置1也可以在上述步骤S21中取得图像的左右方向上的对象物的位置x，根据该位置x计算Na。位置x是与从本车辆至对象物的距离相关的参数Y的一个例子。位置x越远离图像的左右方向上的中心，从本车辆至对象物的距离越增大。对于位置x与Na的关系而言，位置x越远离图像的左右方向上的中心，Na越大。
(8)在车载照相机15的镜头为广角透镜且形变修正前的情况下，静止的对象物在图像中表观上进行移动时的移动速度在图像的中央快，在图像的周边部慢。图像处理装置1能够根据拍摄图像的形变来设定N。在车载照相机15的镜头为广角透镜，且对象物候补处于图像的周边部的情况下，与处于中央的情况相比，能够将N设定得较大。由此，处于图像的周边部的对象物候补的识别精度提高。
(9)也可以使上述实施方式中的一个构成要素所具有的功能分散为多个构成要素、或使多个构成要素具有的功能统一为一个构成要素。另外，也可以将上述实施方式的构成的至少一部分置换成具有相同的功能的公知的构成。另外，也可以省略上述实施方式的构成的一部分。另外，也可以使上述实施方式的构成的至少一部分附加于其他的上述实施方式的构成或者与之置换。
(10)除了上述的图像处理装置之外，通过以该图像处理装置为构成要素的系统、用于使计算机作为该图像处理装置发挥功能的程序、记录了该程序的介质、图像处理方法等各种方式也能够实现本发明。
本实施方式的图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄本车辆的外部而得到的图像；对象物候补识别单元，在图像中识别对象物候补；对象物判定单元，以在连续的N帧(N为自然数)的图像中识别出同一对象物候补作为条件，将该对象物候补判定为对象物；参数X取得单元，取得与对象物在图像中表观上进行移动时的移动速度相关的参数X；以及N设定单元，参数X的值越是增大移动速度，将N设定得越小。
对象物在图像中表观上进行移动时的移动速度越大，本实施方式的图像处理装置将N设定得越小。由此，能够缩短突然出现的对象物的识别时间，从而能够提高车辆控制装置的控制响应性。
本实施方式的图像处理装置具备：图像取得单元，每隔规定时间取得使用被搭载于本车辆的照相机来拍摄本车辆的外部而得到的图像；对象物判定单元，以在连续的N帧(N为自然数)的图像中识别出同一对象物候补作为条件，将该对象物候补判定为对象物；参数Y取得单元，取得与从本车辆至对象物的距离相关的参数Y；以及N设定单元，与参数Y的值对应的上述距离越小时，将N设定得越小。
从本车辆至对象物的距离越小，本实施方式的图像处理装置将N设定得越小。由此，能够缩短假定为需要紧急性高的应对的接近本车辆的对象物的识别时间，从而能够提高车辆控制装置的控制响应性。
附图标记说明
1…图像处理装置；3…图像取得单元；5…对象物候补识别单元；7…对象物判定单元；9…参数X取得单元；11…参数Y取得单元；13…N设定单元；14…信息输出单元；15…车载照相机；17…车速传感器；19…偏航传感器；21…G传感器；23…转向角传感器；25…方向指示开关；27…GPS；29…地图信息存储部；31…车辆控制装置；35、37…对象物候补；39…图像；41…纵轴。

Claims (6)

1.一种图像处理装置(1)，其特征在于，具备：
图像取得单元(3)，每隔规定时间取得使用被搭载于本车辆的照相机(15)来拍摄所述本车辆的外部而得到的图像；
对象物候补识别单元(5)，在所述图像中识别对象物候补；
对象物判定单元(7)，以在连续的N帧的所述图像中识别出同一所述对象物候补作为条件，将该对象物候补判定为对象物，其中N为自然数；
参数X取得单元(9)，取得与静止的对象物在所述图像中表观上进行移动时的移动速度相关的参数X；以及
N设定单元(13)，所述参数X的值越大则所述移动速度越大，所述参数X的值越是增大所述移动速度的值，则该N设定单元(13)将所述N设定得越小，
所述参数X为从由转向角度、转向角速度、横摆率、横摆率变化率、俯仰角、俯仰角变化率、本车辆的车速以及本车辆的前后方向上的加速度构成的组中选择的至少一个。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述参数X为与所述本车辆的横摆或者俯仰的大小具有相关的参数，
所述参数X越大则所述车辆的横摆或者俯仰的大小越大，
所述参数X的值越是增大所述横摆或者俯仰的值，所述N设定单元将所述N设定得越小。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
具备取得与从所述本车辆至对象物的距离相关的参数Y的参数Y取得单元(11)，
与所述参数Y的值对应的所述距离越小，所述N设定单元将所述N设定得越小。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述参数Y为从由所述图像中的所述对象物候补的大小、所述图像的上下方向上的所述对象物候补的位置以及所述图像的左右方向上的所述对象物的位置构成的组选择的至少一个。
5.一种图像处理装置(1)，其特征在于，具备：
图像取得单元(3)，每隔规定时间取得使用被搭载于本车辆的照相机(15)来拍摄所述本车辆的外部而得到的图像；
对象物判定单元(7)，以在连续的N帧的所述图像中识别出同一所述对象物候补作为条件，将该对象物候补判定为对象物，其中N为自然数；
参数Y取得单元(11)，取得与从所述本车辆至对象物的距离相关的参数Y；以及
N设定单元(13)，与所述参数Y的值对应的所述距离越小，将所述N设定得越小。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述参数Y为从由所述图像中的所述对象物候补的大小、所述图像的上下方向上的所述对象物候补的位置以及所述图像的左右方向上的所述对象物的位置构成的组选择的至少一个。
CN201680020080.4A 2015-04-02 2016-03-09 图像处理装置 Active CN107430821B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015075829A JP6299651B2 (ja) 2015-04-02 2015-04-02 画像処理装置
JP2015-075829 2015-04-02
PCT/JP2016/057281 WO2016158261A1 (ja) 2015-04-02 2016-03-09 画像処理装置

Publications (2)

Publication Number Publication Date
CN107430821A CN107430821A (zh) 2017-12-01
CN107430821B true CN107430821B (zh) 2020-10-13

Family

ID=57007066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680020080.4A Active CN107430821B (zh) 2015-04-02 2016-03-09 图像处理装置

Country Status (5)

Country Link
US (1) US10380435B2 (zh)
JP (1) JP6299651B2 (zh)
CN (1) CN107430821B (zh)
DE (1) DE112016001568T5 (zh)
WO (1) WO2016158261A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903308B (zh) * 2017-12-08 2021-02-26 百度在线网络技术（北京）有限公司 用于获取信息的方法及装置
JP7292065B2 (ja) 2019-03-11 2023-06-16 フクビ化学工業株式会社 壁面収納パネル
JP2020201583A (ja) * 2019-06-06 2020-12-17 ルネサスエレクトロニクス株式会社 半導体装置、移動体装置および移動体装置の制御方法
JP7238821B2 (ja) * 2020-02-06 2023-03-14 トヨタ自動車株式会社 地図生成システム及び地図生成プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313467B2 (en) * 2000-09-08 2007-12-25 Automotive Technologies International Inc. System and method for in-vehicle communications
US5835008A (en) * 1995-11-28 1998-11-10 Colemere, Jr.; Dale M. Driver, vehicle and traffic information system
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP2001043383A (ja) * 1999-07-29 2001-02-16 Oki Electric Ind Co Ltd 画像監視システム
US8331621B1 (en) * 2001-10-17 2012-12-11 United Toll Systems, Inc. Vehicle image capture system
US8384538B2 (en) * 2002-06-11 2013-02-26 Intelligent Technologies International, Inc. Remote monitoring of fixed structures
US20040167861A1 (en) * 2003-02-21 2004-08-26 Hedley Jay E. Electronic toll management
US7970644B2 (en) * 2003-02-21 2011-06-28 Accenture Global Services Limited Electronic toll management and vehicle identification
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
US7089099B2 (en) * 2004-07-30 2006-08-08 Automotive Technologies International, Inc. Sensor assemblies
US7409295B2 (en) * 2004-08-09 2008-08-05 M/A-Com, Inc. Imminent-collision detection system and process
JP4506463B2 (ja) * 2004-12-28 2010-07-21 トヨタ自動車株式会社 車高調整装置
CA2611637C (en) * 2005-06-10 2017-10-17 Accenture Global Services Gmbh Electronic vehicle identification
JP4603970B2 (ja) * 2005-12-15 2010-12-22 トヨタ自動車株式会社 道路区画線検出装置
US8050863B2 (en) * 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
JP2008276308A (ja) * 2007-04-25 2008-11-13 Sanyo Electric Co Ltd 動画像処理装置、動画像処理システムおよびナビゲーション装置
JP4967840B2 (ja) * 2007-06-14 2012-07-04 トヨタ自動車株式会社 衝突軽減装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
US8521338B2 (en) * 2009-08-18 2013-08-27 Toyota Jidosha Kabushiki Kaisha Vehicle control system
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP2012071677A (ja) * 2010-09-28 2012-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP5427202B2 (ja) * 2011-03-29 2014-02-26 富士重工業株式会社 車両用運転支援装置
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
WO2013065120A1 (ja) * 2011-11-01 2013-05-10 アイシン精機株式会社 障害物警報装置
US9365162B2 (en) * 2012-08-20 2016-06-14 Magna Electronics Inc. Method of obtaining data relating to a driver assistance system of a vehicle
JP6138655B2 (ja) * 2013-10-10 2017-05-31 日立オートモティブシステムズ株式会社 車両の運動制御装置
US20150104757A1 (en) * 2013-10-15 2015-04-16 Mbfarr, Llc Driving assessment and training method and apparatus
US10572744B2 (en) * 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object

Also Published As

Publication number Publication date
DE112016001568T5 (de) 2017-12-28
US20180114075A1 (en) 2018-04-26
WO2016158261A1 (ja) 2016-10-06
CN107430821A (zh) 2017-12-01
JP2016197280A (ja) 2016-11-24
JP6299651B2 (ja) 2018-03-28
US10380435B2 (en) 2019-08-13

Similar Documents

Publication Publication Date Title
JP4985142B2 (ja) 画像認識装置および画像認識装置の画像認識処理方法
US10127460B2 (en) Lane boundary line information acquiring device
US20150298621A1 (en) Object detection apparatus and driving assistance apparatus
US20180137628A1 (en) Image data extraction apparatus and image data extraction method
CN107430821B (zh) 图像处理装置
CN107209998B (zh) 车道线识别装置以及车道线识别方法
CN110167813B (zh) 行驶路径识别装置及行驶路径识别方法
JP6493000B2 (ja) 路面標示検出装置及び路面標示検出方法
JP2018048949A (ja) 物体識別装置
JP2017102861A (ja) 物体認識装置
KR20190030344A (ko) 객체 인식 방법 및 장치
US11619495B2 (en) Position estimating apparatus and position estimating method
JP2015064735A (ja) 自車位置推定装置及び自車位置推定方法
JP5345999B2 (ja) レーンマーク認識装置
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
US20220237921A1 (en) Outside environment recognition device
JP5039013B2 (ja) 車両走行支援装置、車両、車両走行支援プログラム
KR101875517B1 (ko) 영상 처리 방법 및 장치
EP4054183A1 (en) Object detection device, object detection method, and object detection program
JP7429246B2 (ja) 対象を識別する方法とシステム
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
JP7151387B2 (ja) 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法
JP2018088144A (ja) 区画線認識装置
US11066078B2 (en) Vehicle position attitude calculation apparatus and vehicle position attitude calculation program
JP2019003537A (ja) 運転支援装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant