CN110622229A - 障碍物探测装置、车辆、以及障碍物探测系统 - Google Patents
障碍物探测装置、车辆、以及障碍物探测系统 Download PDFInfo
- Publication number
- CN110622229A CN110622229A CN201780090795.1A CN201780090795A CN110622229A CN 110622229 A CN110622229 A CN 110622229A CN 201780090795 A CN201780090795 A CN 201780090795A CN 110622229 A CN110622229 A CN 110622229A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- vehicle
- unit
- mirror image
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 47
- 238000000605 extraction Methods 0.000 claims description 56
- 239000000284 extract Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 37
- 239000000725 suspension Substances 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000001914 filtration Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 239000006096 absorbing agent Substances 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 5
- 230000035939 shock Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013016 damping Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010130 dispersion processing Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011553 magnetic fluid Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/164—Centralised systems, e.g. external to vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
ECU(600)具备:镜内图像获取部(612),获取映在弯道反光镜中的镜内图像;障碍物推定部(613),参考所述镜内图像来推定障碍物位置。
Description
技术领域
本发明涉及障碍物探测装置、车辆、以及障碍物探测系统。
背景技术
已知有对车辆周围存在的障碍物进行探测的技术。此类技术例如可适用于自动驾驶技术。另外,专利文献1揭示了一种对映在弯道反光镜中的近处物体进行自动识别的技术。
〔现有技术文献〕
专利文献1:日本国专利申请公开公报“特开2010-122821号公报(2010年6月3日公开)”
发明内容
〔发明所要解决的问题〕
关于障碍物的探测技术,即使是映在弯道反光镜中的障碍物,也最好能对其进行高精度的推定。
〔用以解决问题的技术手段〕
为达到上述目的,本发明的障碍物探测装置具备:获取部,其获取映在弯道反光镜中的镜内图像;推定部,其参考所述镜内图像来推定障碍物的位置。
〔发明的效果〕
通过本发明,能对映在弯道反光镜中的障碍物进行高精度的推定。
附图说明
图1是本发明实施方式1的车辆的概略结构示图。
图2是本发明实施方式1的ECU的概略结构框图。
图3是本发明实施方式1的障碍物探测部的概略结构框图。
图4是本发明实施方式1的映在弯道反光镜中的镜内图像的一例示图。
图5是本发明实施方式1的配对处理的说明示意图。
图6是本发明实施方式1的障碍物探测处理的流程图。
图7是本发明实施方式2的车辆系统的概略结构示图。
图8是本发明实施方式2的障碍物探测处理的流程的序列图。
图9是本发明实施方式3的车辆系统的概略结构示图。
图10是本发明实施方式3的障碍物探测处理的流程的序列图。
具体实施方式
〔实施方式1〕
以下详细说明本发明的实施方式1。
(车辆900的结构)
图1是本实施方式的车辆900的概略结构示图。如图1所示,车辆900具备悬架装置(悬架)100、车体200、车轮300、车胎310、转向操作部件410、操纵杆420、扭矩传感器430、转向角传感器440、扭矩施加部460、齿条齿轮机构470、齿条轴480、引擎500、ECU(ElectronicControl Unit:电子控制单元)(控制部)600、发电装置700及蓄电池800。
装有车胎310的车轮300通过悬架装置100而架设于车体200上。车辆900为四轮车辆,因此悬架装置100、车轮300及车胎310均设有4个。
这里,左前轮、右前轮、左后轮及右后轮的车胎和车轮也分别称为:车胎310A及车轮300A、车胎310B及车轮300B、车胎310C及车轮300C、车胎310D及车轮300D。同样地,以下对于左前轮、右前轮、左后轮及右后轮各自附带的结构,有时会分别标上“A”、“B”、“C”、“D”来加以表达。
悬架装置100具备油压缓冲装置、上支撑臂及下支撑臂。另外,油压缓冲装置具备用以调整由该油压缓冲装置产生的阻尼力的电磁阀、即电磁线圈式阀。但本实施方式并不限定于此,油压缓冲装置中也可采用电磁线圈式阀以外的电磁阀来作为调整阻尼力的电磁阀。例如,作为上述电磁阀,也可具备利用电磁流体(磁性流体)的电磁阀。
对于引擎500,附设有发电装置700。发电装置700产生的电力可蓄积到蓄电池800中。另外,引擎500构成为:能够根据ECU600提供过来的车速控制量来进行引擎500的转数控制。
驾驶者所操作的转向操作部件410以能够将扭矩传递给操纵杆420的方式与操纵杆420的一端连结,操纵杆420的另一端与齿条齿轮机构470连结。
齿条齿轮机构470是:将操纵杆420绕其杆轴旋转的旋转量转换为齿条轴480在其轴向上的位移量的机构。当齿条轴480在其轴向上发生位移时,则车轮300A及车轮300B介由连杆及铰接臂来转向。
扭矩传感器430检测施加到操纵杆420的转向操作扭矩,换言之,检测施加到转向操作部件410的转向操作扭矩,并将表达检测结果的扭矩传感器信号提供给ECU600。更具体而言,扭矩传感器430检测内设在操纵杆420中的扭转杆的扭转,并将检测结果作为扭矩传感器信号来输出。这里,作为扭矩传感器430,可采用霍尔效应IC、MR元件、磁致式扭矩传感器等周知的传感器。
转向角传感器440检测转向操作部件410的转向角,并将检测结果提供给ECU600。
扭矩施加部460对操纵杆420施加与ECU600提供过来的操控量相应的助力扭矩或阻力扭矩。扭矩施加部460具备产生与操控量相应的助力扭矩或阻力扭矩的马达、以及将该马达产生的扭矩传递给操纵杆420的扭矩传递机构。
这里,作为本说明书中所述的“控制量”的具体例,可举出电流值、负荷比、阻尼率、阻尼比等。
转向操作部件410、操纵杆420、扭矩传感器430、转向角传感器440、扭矩施加部460、齿条齿轮机构470、齿条轴480及ECU600构成本实施方式的操纵装置。
另外,在以上的说明中,所谓“以能够将扭矩传递的方式连结”是指,以一个部件可伴随另一部件的旋转而发生旋转的方式进行连结,这至少包括例如以下情况:一个部件与另一部件彼此成形为一体;一个部件相对于另一部件来直接或间接地固定;一个部件与另一部件以介由衔接部件等来联动的方式相互连结。
另外,虽然在上述例中例举了转向操作部件410与齿条轴480之间一直处于机械性连结状态的操纵装置,但本实施方式并不限定于此,本实施方式的操纵装置例如也可以是线控转向方式的操纵装置。对于线控转向方式的操纵装置,本说明书中以下说明的技术事项也同样能够适用。
另外,车辆900具备:针对每一车轮300所设的用以检测各车轮300的轮速的轮速传感器320、检测车辆900横方向上的加速度的横向加速度传感器330、检测车辆900前后方向上的加速度的纵向加速度传感器340、检测车辆900的偏航率的偏航率传感器350、检测引擎500产生的扭矩的引擎扭矩传感器510、检测引擎500的转数的引擎转数传感器520、以及检测制动装置具备的制动油所受到的压力的制动压传感器530。这些各类传感器所输出的信息会经由CAN(Controller Area Network:控制器局域网)370而提供给ECU600。
另外,车辆900还具备:GPS(Global Positioning System:全球定位系统)传感器550,其确定车辆900的当前位置并输出表达该当前位置的当前位置信息;用户输入受理部560,其受理有关目的地的用户输入并输出表达该目的地的目的地信息。当前位置信息及目的地信息也会经由CAN370而提供给ECU600。此外,车辆900还可以进一步具备:路径信息提示部,其通过视觉或听觉方式,向用户提示由后述障碍物探测部610生成的路径信息所示的路径。
另外,车辆900还具备:摄像机570,其每隔一段规定的时间间隔,对包括前方在内的车辆900周围进行摄影。本实施方式中并不限定该规定的时间间隔,但作为一例,摄像机570可以每秒进行15次拍摄。摄像机570拍摄的摄影图像会经由CAN370而提供给ECU600。
另外,虽图中未示出,但车辆900还具备能通过以下系统来实现控制的制动装置:ABS(Antilock Brake System:防抱死制动系统),其防止车轮在制动时抱死;TCS(TractionControl System:牵引力控制系统),其抑制加速时等的车轮空转;以及作为车辆动作稳定性控制系统的VSA(Vehicle Stability Assist:车辆稳定性辅助),其具备了有助于转弯时的偏航力矩控制及制动辅助功能等的自动制动功能。
在此,ABS、TCS及VSA对依照推定车体速度而定的轮速和由轮速传感器320检测出的轮速进行比较,若这2个轮速值间的差异为规定值以上,则判定车辆处于滑移状态。ABS、TCS及VSA通过这样的处理,来进行与车辆900的行驶状态最相适的制动控制和牵引力控制,由此实现车辆900的动作稳定化。
车辆900具备的制动装置构成为:能够根据ECU600提供过来的车速控制量来进行制动操作。
ECU600对车辆900具备的各种电子设备进行统辖控制。例如,ECU600通过调整要提供给扭矩施加部460的操控量,来控制要施加给操纵杆420的助力扭矩或阻力扭矩的大小。
另外,ECU600对悬架装置100中包含的油压缓冲装置所具备的电磁线圈式阀提供悬架控制量,由此控制该电磁线圈式阀的开闭。为了使该控制成为可能,配设有用以将驱动电力从ECU600提供给电磁线圈式阀的电力线。
(ECU600)
以下,参考其它附图来具体说明ECU600。图2是ECU600的概略结构示图。
如图2所示,ECU600具备障碍物探测部(障碍物探测装置)610、操控部630、悬架控制部650、以及车速控制部670。
障碍物探测部610参考摄像机570拍摄的摄影图像,来推定障碍物的有无及障碍物位置。障碍物探测部610对障碍物的推定结果会提供给操控部630、悬架控制部650及车速控制部670中的至少一者。
操控部630通过参考CAN370中的各种传感器检测结果和障碍物探测部610提供过来的推定结果中的至少一个结果,来决定要提供给扭矩施加部460的操控量的大小。
这里,本说明书中描述的“参考……”也可包括“采用……”、“考虑到……”、“依赖于……”等意思。
悬架控制部650通过参考CAN370中的各种传感器检测结果和障碍物探测部610提供过来的推定结果中的至少一个结果,来决定要提供给悬架装置100中油压缓冲装置所具备的电磁线圈式阀的悬架控制量的大小。
车速控制部670通过参考CAN370中的各种传感器检测结果和障碍物探测部610提供过来的推定结果中的至少一个结果,来决定要提供给引擎500及制动装置的车速控制量的大小。
这里,障碍物探测部610、操控部630、悬架控制部650及车速控制部670也可各自实现为不同的ECU。各自实现为不同的ECU时,障碍物探测部610与操控部630、悬架控制部650及车速控制部670介由通信单元来相互通信,即可实现本说明书中所述的控制。
(障碍物探测部)
接下来,结合图3来具体说明障碍物探测部610。图3是障碍物探测部610的结构框图。如图3所示,障碍物探测部610具备镜内图像提取部611、镜内图像获取部(获取部)612、障碍物推定部(推定部)613、及地图数据存放部620。地图数据存放部620中存放有地图数据4200,地图数据4200在推定障碍物的有无及障碍物位置时被参考。
镜内图像提取部611从经由CAN370获取的摄像机570的摄影图像中提取镜内图像。镜内图像提取部611具体进行的镜内图像提取处理将后述。
镜内图像获取部612获取由镜内图像提取部611提取出的镜内图像,并将获取的镜内图像提供给特征点提取部614。
障碍物推定部613参考镜内图像获取部612获取的镜内图像,来推定障碍物的有无及障碍物位置。障碍物推定部613具备特征点提取部614及配对部615。
特征点提取部614从由镜内图像获取部612提供过来的镜内图像中提取特征点,并将之提供给配对部615。特征点提取部614具体进行的镜内图像特征点提取处理将后述。
配对部615将特征点提取部614提取出的包含在镜内图像中的特征点,与从地图数据存放部620获取的地图数据中包含的特征点进行比较,并对镜内图像中包含的特征点和地图数据中包含的特征点进行对应关系构建处理(配对处理)。另外,配对部615输出包含配对处理结果在内的有关障碍物的推定结果。这里,配对部615具体进行的配对处理将后述。
障碍物推定部613通过将特征点提取部614提取出的1个或多个特征点与地图数据4200进行比较,来对障碍物位置进行补正。
(镜内图像提取处理)
接下来,结合图4来具体说明镜内图像提取部611进行的镜内图像提取处理。
图4示出了摄像机570拍摄的摄影图像4000的一例。摄影图像4000内映有弯道反光镜4010。
镜内图像提取部611例如通过进行以下处理1~4来提取弯道反光镜4010中的镜内图像4012。
(处理1)
对摄影图像4000运用色相滤波器的色相限滤处理,从而除去摄影图像4000中不要的背景。
(处理2)
对摄影图像4000运用边缘检测处理和哈氏变换(Hough transform)处理,从而检测弯道反光镜的外缘,由此检测候补弯道反光镜。
(处理3)
检测到的候补弯道反光镜有多个时,计算各候补的有关彩度、明度、形状等的计算值(score),并根据该计算值来确定弯道反光镜4010。
(处理4)
提取由确定出的弯道反光镜4010的外缘4011所框围的图像,来作为镜内图像4012。
(特征点提取处理)
以下,结合图5的(a)~(d),具体说明特征点提取部614进行的特征点提取处理。首先,在图5的(a)所示的例中,镜内图像4012内映有障碍物4001(在图5的(a)所示的例中为车辆)、道路标识4002、车道分界线(中央线)4003、道路外侧边线(两侧边线)4004~4005。
特征点提取部614首先对镜内图像4012运用预处理,从而生成预处理后镜内图像4100。本实施方式中并不限定该预处理,但例如可包括运用色相滤波器来除去不要的背景的处理、以及运用边缘强调滤波器来将边缘显著化的处理等。这里,上述预处理并非必须,也可直接将镜内图像4012用作预处理后镜内图像4100。
如图5的(b)所示,预处理后镜内图像4100中包含与障碍物4001、道路标识4002、车道分界线4003及道路外侧边线4004~4005分别对应的障碍物4101、道路标识4102、车道分界线4103及道路外侧边线4104~4105。
接着,特征点提取部614对预处理后镜内图像4100运用滤波处理,从而从预处理后镜内图像4100中提取1个或多个特征点。在此,本实施方式中并不限定用来提取特征点的滤波处理的具体形式,但例如可以组合运用索贝尔(sobel)滤波、高斯滤波及拉普拉斯滤波等各种滤波处理。另外,特征点提取部614也可以参考提取出的特征点来计算特征量。
作为特征点提取部614具体进行的特征点提取处理及特征量计算处理,例如可举出以下手法。但本实施方式中并不限这些手法。
·MSER(Maximally Stable Extermal Regions:最大稳定极值域)
·FAST(Features from Accelerated Segment Test:增值区域测试特征)
·哈里斯角点(Harris point)、ORB(Oriented-BRIEF:定向BRIEF)
·SIFT(Scale-Invariant Feature Transform:尺度不变特征变换)
·SURF(Speed-Up Robust Features:加速鲁棒性特征)
其中,ORB、SIFT及SURF不仅能进行特征点的提取,还能进行特征量的计算。另一方面,若采用MSER、FAST及哈里斯角点(Harris point),那么例如可以在进行了特征点的提取后运用ORB、SIFT及SURF等来进行特征量的计算。
作为一例,若是采用SIFT进行特征点提取处理,则特征点提取部614首先可对预处理后镜内图像4100运用高斯滤波来进行均值化处理。接着,特征点提取部614对均值化处理后的图像数据进行二阶导数运算来提取特征点。
另外,作为一例,若是采用SIFT进行特征量计算处理,则特征点提取部614可根据提取出的特征点的周围辉度的变化,来检测輝度变化呈最大的取向(辉阶呈最大的取向),并使检测出的取向信息与其相应特征点构成对应关系。接着,特征点提取部614可参考该特征点所对应的取向来计算特征量。
这里,特征点提取部614所提取的特征点的数量优选为多个。通过由特征点提取部614来提取多个特征点,后述配对处理的精度便能提高,从而能更高精度地对障碍物位置进行补正。
图5的(d)中示出了特征点提取部614根据预处理后镜内图像4100中包含的道路标识4102、车道分界线4103及道路外侧边线4104而分别提取出了特征点4302、特征点4303及特征点4304的例子。
另外,特征点提取部614检测预处理后镜内图像4100中的障碍物4101,并确定检测出的障碍物4101的位置。障碍物4101的检测可以通过上述特征点提取处理来实现。另外,障碍物4101的位置确定例如可以通过确定预处理后镜内图像4100中的障碍物4101的坐标,或者通过确定所提取出的1个或多个特征点各自的相对坐标来实现。
特征点提取部614对于图5的(c)所例示的地图数据4200也同样运用特征点提取处理,从而从地图数据4200中提取1个或多个特征点,并参考提取出的特征点来计算特征量。
图5的(c)~(d)中示出了特征点提取部614根据地图数据4200中包含的道路标识4202、车道分界线4203及道路外侧边线4204而分别提取出了特征点4312、特征点4313及特征点4314的例子。
(配对处理)
配对部615使用以下两种特征量来进行配对处理:通过参考从预处理后镜内图像4100中提取出的1个或多个特征点而算出的特征量;通过参考从地图数据4200中提取出的1个或多个特征点而算出的特征量。
这里,配对部615也可以通过如下处理来进行配对处理:对包含1个或多个特征点的预处理后镜内图像4100运用图像旋转处理、图像放大处理、图像缩小处理及图像平移处理中的至少一者,从而使参考预处理后镜内图像4100中包含的1个或多个特征点而算出的特征量、与参考地图数据4200中包含的1个或多个特征点而算出的特征量之间的一致度达到最大。该处理例如可通过如下方式来实现:使预处理后镜内图像4100中包含的1个或多个特征点各自的位置与地图数据4200中包含的1个或多个特征点各自的位置之间的偏差的指标达到最小。在此,预处理后镜内图像中包含的一部分特征点若过度偏差,则也可以在使偏差的指标达到最小的处理中不将此过度偏差的特征点考虑在内。
配对部615通过进行上述的配对处理,使预处理后镜内图像4100中包含的各物体位置与地图数据4200中包含的各物体位置构成对应关系。另外,在上述的配对处理中,会确定出为了使特征点彼此构成对应关系而采用了的配对参数。在此,配对参数例如可以包括与上述图像旋转处理、图像放大处理、图像缩小处理及图像平移处理中的至少一者相关的参数。
图5的(d)中示意性地示出了将预处理后镜内图像4100中包含的特征点4302、特征点4303及特征点4304分别与地图数据4200中包含的特征点4312、特征点4313及特征点4314进行配对的情况。如图5的(d)所示,特征点4302与特征点4312构成对应关系,特征点4303与特征点4313构成对应关系,特征点4304与特征点4314构成对应关系。
另外,配对部615推定预处理后镜内图像4100中包含的障碍物4101在地图数据4200内的相应位置。障碍物在地图数据4200内的相应位置的推定可通过如下方式来实现:使用配对参数来对障碍物4101在预处理后镜内图像4100中的位置进行变换。
另外,在从预处理后镜内图像4100中提取出的特征点当中,如果有规定比例以上(例如95%以上)的特征点与地图数据4200中包含的特征点构成为对应关系,则配对部615推定预处理后镜内图像4100中并不存在障碍物。
配对部615将表示地图数据4200内障碍物的有无及障碍物位置的相关信息,作为障碍物的推定结果来输出。
在图5的(a)~(d)所示的例中,配对部615将预处理后镜内图像4100中包含的障碍物4101的位置确定到地图数据4200内的如图示障碍物4301的位置上。配对部615将包含了地图数据4200内障碍物4301的位置的信息,作为该障碍物的推定结果来输出。
通过上述的配对处理,镜内图像4012的扭曲也能得到解决。换言之,通过上述的配对处理,镜内图像4012的扭曲所带来的障碍物位置偏差能得到补正。在此,该镜内图像4012的扭曲也可包括:弯道反光镜4010的非平面镜面所引起的扭曲、弯道反光镜4010的镜面尺寸所引起的扭曲、以及因镜内图像4012不是弯道反光镜4010的正面反射图像而带来的扭矩(换言之,因弯道反光镜4010的安装角度而带来的扭曲)等。
因此,配对部615的配对处理也能够描述成如下处理:通过将从镜内图像4012中提取出的1个或多个特征点与地图数据4200进行比较,来对所述障碍物位置进行补正。
(障碍物探测处理的流程)
接下来,结合图6,说明一下障碍物探测部610就障碍物的有无及障碍物位置所进行的推定处理的流程。图6是障碍物探测部610进行的障碍物的有无及障碍物位置的推定处理的流程图。
(步骤S100)
首先,在步骤S100中,车辆900具备的摄像机570对包括前方在内的车辆900周围进行摄影。表示摄影图像的数据会经由CAN370而提供给障碍物探测部610。
(步骤S101)
接着,在步骤S101中,镜内图像提取部611从摄影图像中提取镜内图像。关于镜内图像的提取处理,已在前文中有描述,故在此省略说明。
(步骤S102)
接着,在步骤S102中,镜内图像获取部612获取步骤S101中提取出的镜内图像。并将获取的镜内图像提供给特征点提取部614。
(步骤S103)
接着,在步骤S103中,特征点提取部614分别从镜内图像及地图数据中提取1个或多个特征点。关于特征点的提取处理,已在前文中有描述,故在此省略说明。
(步骤S104)
接着,在步骤S104中,配对部615对从镜内图像中提取出的特征点与地图数据中的特征点进行配对。关于特征点的配对处理,已在前文中有描述,故在此省略说明。
(步骤S105)
接着,在步骤S105中,配对部615推定地图数据4200内的障碍物的有无及障碍物位置。关于障碍物的有无及障碍物位置的具体推定处理,已在前文中有描述,故在此省略说明。
(步骤S106)
接着,在步骤S106中,配对部615将步骤S106中就障碍物的有无及障碍物位置所推定出的推定结果,提供给操控部630、悬架控制部650及车速控制部670。
障碍物探测部610也可以对上述步骤S100~S105的各个处理实施多次,然后再输出推定结果。换言之,障碍物推定部613也可以通过参考摄影时刻彼此不同的多个镜内图像来推定所述障碍物的位置,还可通过参考摄影位置彼此不同的多个镜内图像来推定所述障碍物的有无及其位置。
通过对步骤S100~S105的各个处理实施多次,便能参考摄影场所彼此不同的多个镜内图像来推定障碍物位置,因此能提高障碍物位置的推定精度。
另外,通过对步骤S100~S105的各个处理实施多次,便能够参考摄影时刻彼此不同的多个镜内图像,因此当障碍物是移动中的物体时,还能推定该障碍物的移动方向及该障碍物的移动速度。障碍物探测部610将如此推定出的障碍物的移动方向及移动速度也纳入上述推定结果来输出。
这里,在以上的说明中,并不需要一张镜内图像中同时映有特征点和障碍物。通过在车辆900和障碍物的至少一者的移动过程中拍摄多个摄影图像,并参考该多个摄影图像来进行障碍物的推定处理,便能更多地提取可能映入弯道反光镜内的更广范围的特征点,并将之用于有关障碍物的推定处理,因此能实现推定精度的提高。
另外,障碍物探测部610也可以在推定障碍物位置、障碍物移动方向、障碍物移动速度的处理中,通过参考与转向操作部件410的转向操作相关的信息即转向操作信息,来推定障碍物位置、障碍物移动方向、障碍物移动速度。通过采用该方案,能够进而提高推定精度。
<与推定结果相应的车辆控制>
以下说明ECU600参考障碍物探测部610的推定结果来对车辆900进行的控制例1~2。ECU600也可以将控制例1与控制例2组合来进行控制。
(控制例1)
ECU600在判定出障碍物探测部610的推定结果所表示的障碍物位置是危险位置的情况下,使车辆900停车。更具体而言,车速控制部670通过参考障碍物探测部610的推定结果,来判定该推定结果表示的障碍物位置是否为危险位置。若判定成是危险位置,则车速控制部670通过改变车速控制量来使车辆900停车。另外,悬架控制部650调整悬架控制量,以使车辆900能够稳定地停车。
这里,车速控制部670也可以通过进而参考表示车辆900当前位置的当前位置信息,来改变车速控制量。由此,能提高车辆控制的精度。
(控制例2)
ECU600在判定出障碍物探测部610的推定结果所表示的障碍物位置是危险位置的情况下,控制车辆900回避该障碍物。更具体而言,操控部630通过参考障碍物探测部610的推定结果,来判定该推定结果表示的障碍物位置是否为危险位置。若判定成是危险位置,则操控部630通过改变操控量来控制车辆900回避该障碍物。另外,悬架控制部650调整悬架控制量,以使车辆900能够更稳定地回避障碍物。
这里,操控部630也可以通过进而参考表示车辆900当前位置的当前位置信息,来改变操控量。由此,能提高车辆控制的精度。
〔实施方式2〕
以下,结合其他附图来详细说明本发明的实施方式2。在以下的说明中,对上述的实施方式中已说明过的部件赋予同样的附图标记并省略说明,对与上述的实施方式不同之处进行说明。
图7是本实施方式的车辆系统(障碍物探测系统)2000的主要部结构的示图。车辆系统2000具有车辆900和服务器1000。车辆900具备用以控制车辆900的ECU600a、以及进行服务器1000与车辆900之间的数据通信的收发部910。
服务器1000包括:控制部1200,其具备障碍物探测部610;收发部1100,其进行服务器1000与车辆900之间的数据通信。本实施方式中,采用如下方案:服务器1000具备障碍物探测部610,并进行实施方式1中说明过的镜内图像提取处理、特征点提取处理、配对处理、以及障碍物的有无及障碍物位置的推定处理,并将推定结果从服务器1000发送给车辆900。
图8是本实施方式的车辆系统2000进行的障碍物探测的序列图。
(步骤S110)
与实施方式1的步骤S100同样地,在步骤S110中,车辆900具备的摄像机570拍摄包括前方在内的车辆900周围。表示摄影图像的数据会经由CAN370而提供给收发部910。
(步骤S111)
接着,在步骤S111中,收发部910将摄影图像发给服务器1000的收发部1100。
(步骤S112)
接着,在步骤S112中,收发部1100收取步骤S111中由收发部910发过来的摄影图像。并将收取的摄影图像提供给障碍物探测部610。
(步骤S113)
接着,在步骤S113中,障碍物探测部610进行镜内图像提取处理。镜内图像提取处理的具体内容与实施方式1同样。
(步骤S114)
接着,在步骤S114中,障碍物探测部610进行镜内图像获取处理。镜内图像获取处理的具体内容与实施方式1同样。
(步骤S115)
接着,在步骤S115中,障碍物探测部610进行特征点提取处理。特征点提取处理的具体内容与实施方式1同样。
(步骤S116)
接着,在步骤S116中,障碍物探测部610进行配对处理。配对处理的具体内容与实施方式1同样。
(步骤S117)
接着,在步骤S117中,障碍物探测部610进行障碍物的有无及障碍物位置的推定处理。障碍物的有无及障碍物位置的推定处理的具体内容与实施方式1同样。
(步骤S118)
接着,在步骤S118中,障碍物探测部610的配对部615将步骤S117中就障碍物的有无及障碍物位置所推定出的推定结果,提供给收发部1100。
(步骤S119)
接着,在步骤S119中,收发部1100将推定结果发给车辆900的收发部910。
(步骤S120)
接着,在步骤S120中,车辆900的收发部910从收发部1100收取推定结果。收发部910将推定结果提供给ECU600a。
(步骤S121)
接着,在步骤S121中,ECU600a参考推定结果,如实施方式1中所说明的那样,进行与推定结果相应的车辆控制。
本实施方式中,由于镜内图像提取处理、特征点提取处理、配对处理、以及障碍物的有无及障碍物位置的推定处理是由服务器1000来进行的,因此ECU600a能通过相对简单的结构来实现。另外,ECU600a也无需保存地图数据,因此能减轻ECU600a的存储器负荷。
〔实施方式3〕
以下,结合其他附图来详细说明本发明的实施方式3。在以下的说明中,对上述的实施方式中已说明过的部件赋予同样的附图标记并省略说明,对与上述的实施方式不同之处进行说明。
图9是本实施方式的车辆系统(障碍物探测系统)3000的主要部结构的示图。车辆系统3000具有车辆900和服务器1000。车辆900具备用以控制车辆900的ECU600b、以及收发部910。ECU600b具备障碍物探测部610a、操控部630、悬架控制部650以及车速控制部670。
服务器1000包括具备障碍物探测部610b的控制部1200b、以及收发部1100。
本实施方式中,车辆900和服务器1000分别具备了障碍物探测部610a和610b,因此在本实施方式中,实施方式1中说明过的障碍物探测部610的各处理是由障碍物探测部610a和610b来分散处理的。
作为一例,以下就如下方案进行说明,即:由车辆900进行实施方式1中说明过的镜内图像提取处理和特征点提取处理,并将特征点的数据发送给服务器1000,由服务器1000用收取了的特征点的数据来进行实施方式1中说明过的配对处理、以及障碍物的有无及障碍物位置的推定处理,并将推定结果发送给车辆900。
图10是本实施方式的车辆系统3000进行的障碍物探测的序列图。
(步骤S130)
首先,在步骤S130中,车辆900具备的摄像机570拍摄包括前方在内的车辆900周围。表示摄影图像的数据会经由CAN370而提供给障碍物探测部610a。
(步骤S131)
接着,在步骤S131中,障碍物探测部610a进行镜内图像提取处理。镜内图像提取处理的具体内容与实施方式1同样。
(步骤S132)
接着,在步骤S132中,障碍物探测部610a进行镜内图像获取处理。镜内图像获取处理的具体内容与实施方式1同样。
(步骤S133)
接着,在步骤S133中,障碍物探测部610a从镜内图像中提取1个或多个特征点。关于特征点的提取处理,已在前文中有描述,因此在此省略说明。障碍物探测部610a将表达所提取出的特征点的数据,提供给收发部910。
(步骤S134)
接着,在步骤S134中,收发部910将表达步骤133中所提取出的特征点的数据,发给服务器1000的收发部1100。
(步骤S135)
接着,在步骤S135中,收发部1100收取从收发部910提供过来的表达特征点的数据。收发部1100将表达特征点的数据,提供给障碍物探测部610b。
(步骤S136)
接着,在步骤S136中,障碍物探测部610b进行配对处理。在此,配对处理中所用的地图数据的特征点既可以是由障碍物探测部610a提取的特征点,也可以是由障碍物探测部610b提取的特征点。配对处理的具体内容与实施方式1同样。
(步骤S137)
接着,在步骤S137中,障碍物探测部610b进行障碍物的有无及障碍物位置的推定处理。障碍物的有无及障碍物位置的推定处理的具体内容与实施方式1同样。
(步骤S138)
接着,在步骤S138中,障碍物探测部610b将步骤S137中就障碍物的有无及障碍物位置所推定出的推定结果,提供给收发部1100。
(步骤S139)
接着,在步骤S139中,收发部1100将推定结果发给车辆900具备的收发部910。
(步骤S140)
接着,在步骤S140中,收发部910从收发部1100收取推定结果。收发部910将推定结果提供给ECU600b。
(步骤S141)
接着,在步骤S141中,ECU600b参考推定结果,如实施方式1中所说明的那样,进行与推定结果相应的车辆控制。
本实施方式中,由于配对处理、以及障碍物的有无及障碍物位置的推定处理是由服务器1000来进行的,因此ECU600b能通过相对简单的结构来实现。另外,并非一定要由ECU600b来保存地图数据,因此能减轻ECU600b的存储器负荷。
本实施方式中说明的分散处理仅为一个示例,其并不限定本说明书中披露的发明。例如,也可以将镜内图像获取部612、障碍物推定部613及特征点提取部614中的某一者或它们的组合设于车辆900,从而在车辆900进行镜内图像获取处理、障碍物探测处理及特征点提取处理中的某一者或它们的组合。
〔实施方式4〕
虽然在上述实施方式1~3中,举例说明了参考车辆900拍摄的摄影图像而得到的有关障碍物的推定结果被用到车辆900的方案,但本说明书中披露的发明并不限定于此。
例如,在实施方式1~3中,也可以将参考车辆900拍摄的摄影图像而得到的有关障碍物的推定结果提供给其他车辆。关于该方案,例如通过采用能与多个车辆进行通信的服务器,即能实现。更具体而言,例如可以将实施方式2中说明过的服务器1000设计成如下方案:能与除车辆900以外的1个或多个车辆进行通信,并且记录由ECU600通过参考车辆900拍摄的摄影图像而推定出的有关障碍物的推定结果(有关障碍物位置的信息),并将记录下的推定结果发送给除车辆900以外的1个或多个车辆。另外,收到推定结果的车辆也可以进行与该推定结果相应的车辆控制。或者,收到推定结果的车辆也可以通过参考该推定结果来推定该障碍物的位置,并根据该推定结果来进行车辆控制。
像这样,通过由多个车辆共享推定结果,便能更有效地活用推定结果。
〔基于程序软件的实现例〕
记载为ECU600、600a、600b、控制部1200、1200b的控制块(尤其是障碍物探测部610、610a、610b、操控部630、悬架控制部650、车速控制部670)也可通过集成电路(IC芯片)等中形成的逻辑电路(硬件)来实现,还可利用CPU(Central Processing Unit:中央处理器)而通过程序软件来实现。
通过程序软件来实现时,ECU600、600a、600b、控制部1200、1200b具备:对用以实现各功能的程序软件命令加以执行的CPU、以计算机(或CPU)能读取的方式存储有上述程序软件及各种数据的ROM(Read Only Memory:只读存储器)或存储装置(将它们称为“存储介质”)、以及供展开上述程序软件的RAM(Random Access Memory:随机存取存储器)等。由此,通过由计算机(或CPU)从上述存储介质中读取上述程序软件并加以执行,本发明的目的即可达成。作为上述存储介质,可以使用“非暂存式有形介质”,例如是存储带、存储盘、存储卡、半导体存储器、可编程逻辑电路等。另外,上述程序软件也可通过能够输送该程序软件的任意输送媒介(通信网络及广播波等)来提供给上述计算机。这里,即使上述程序软件的形态是通过电子式传输而得以体现的载置于载波中的数据信号,本发明也能得以实现。
本发明并不限于上述各实施方式,可以在本发明所示的范围内进行各种变更,适当地组合不同实施方式中各自披露的技术手段而得到的实施方式也包含在本发明的技术范围内。
附图标记说明
600 ECU(控制部)
610 障碍物探测部
612 镜内图像获取部(获取部)
613 障碍物推定部(推定部)
630 操控部
650 悬架控制部
670 车速控制部
900 车辆
权利要求书(按照条约第19条的修改)
1.一种障碍物探测装置,其特征在于,
具备:获取部,获取映在弯道反光镜中的镜内图像;
推定部,参考所述镜内图像来推定障碍物的位置,
所述推定部通过将从所述镜内图像中提取出的1个或多个特征点与地图数据进行比较,来对所述障碍物的位置进行补正。
2.根据权利要求1所述的障碍物探测装置,其中,
所述推定部采用多个所述特征点来对所述障碍物的位置进行补正。
3.根据权利要求1或2所述的障碍物探测装置,其中,
所述推定部通过参考摄影时刻彼此不同的多个所述镜内图像,来推定所述障碍物的位置。
4.根据权利要求3所述的障碍物探测装置,其中,
所述推定部还推定所述障碍物的移动速度及移动方向中的至少一者。
5.根据权利要求1或2所述的障碍物探测装置,其中,
所述推定部通过参考摄影位置彼此不同的多个所述镜内图像,来推定所述障碍物的位置。
6.根据权利要求1或2所述的障碍物探测装置,其中,
所述推定部通过参考从其他车辆具备的障碍物探测装置获取到的与所述障碍物的位置相关的信息,来推定所述障碍物的位置。
7.一种车辆,其具备权利要求1或2所述的障碍物探测装置。
8.根据权利要求7所述的车辆,其中,
该车辆具备控制部,
所述控制部在判断出所述障碍物位于危险位置的情况下,使该车辆停车。
9.根据权利要求7所述的车辆,其中,
该车辆具备控制部,
所述控制部在判断出所述障碍物位于危险位置的情况下,控制该车辆回避所述障碍物。
10.一种障碍物探测系统,其具备:
获取部,获取映在弯道反光镜中的镜内图像;
提取部,从所述镜内图像中提取1个或多个特征点;
推定部,通过将所述提取部提取出的1个或多个特征点与地图数据进行比较,来推定障碍物的位置。
11.根据权利要求10所述的障碍物探测系统,其中,
该障碍物探测系统具备能够与多个车辆进行通信的服务器,
所述服务器记录从多个车辆获得的与所述障碍物的位置相关的信息,并且向多个车辆发送与所述障碍物的位置相关的信息。
Claims (12)
1.一种障碍物探测装置,其特征在于,
具备:获取部,获取映在弯道反光镜中的镜内图像;
推定部,参考所述镜内图像来推定障碍物的位置。
2.根据权利要求1所述的障碍物探测装置,其中,
所述推定部通过将从所述镜内图像中提取出的1个或多个特征点与地图数据进行比较,来对所述障碍物的位置进行补正。
3.根据权利要求2所述的障碍物探测装置,其中,
所述推定部采用多个所述特征点来对所述障碍物的位置进行补正。
4.根据权利要求1至3中任一项所述的障碍物探测装置,其中,
所述推定部通过参考摄影时刻彼此不同的多个所述镜内图像,来推定所述障碍物的位置。
5.根据权利要求4所述的障碍物探测装置,其中,
所述推定部还推定所述障碍物的移动速度及移动方向中的至少一者。
6.根据权利要求1至5中任一项所述的障碍物探测装置,其中,
所述推定部通过参考摄影位置彼此不同的多个所述镜内图像,来推定所述障碍物的位置。
7.根据权利要求1至6中任一项所述的障碍物探测装置,其中,
所述推定部通过参考从其他车辆具备的障碍物探测装置获取到的与所述障碍物的位置相关的信息,来推定所述障碍物的位置。
8.一种车辆,其具备权利要求1至7中任一项所述的障碍物探测装置。
9.根据权利要求8所述的车辆,其中,
该车辆具备控制部,
所述控制部在判断出所述障碍物位于危险位置的情况下,使该车辆停车。
10.根据权利要求8所述的车辆,其中,
该车辆具备控制部,
所述控制部在判断出所述障碍物位于危险位置的情况下,控制该车辆回避所述障碍物。
11.一种障碍物探测系统,其具备:
获取部,获取映在弯道反光镜中的镜内图像;
提取部,从所述镜内图像中提取1个或多个特征点;
推定部,通过将所述提取部提取出的1个或多个特征点与地图数据进行比较,来推定障碍物的位置。
12.根据权利要求11所述的障碍物探测系统,其中,
该障碍物探测系统具备能够与多个车辆进行通信的服务器,
所述服务器记录从多个车辆获得的与所述障碍物的位置相关的信息,并且向多个车辆发送与所述障碍物的位置相关的信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-122578 | 2017-06-22 | ||
JP2017122578A JP6271068B1 (ja) | 2017-06-22 | 2017-06-22 | 障害物検知装置、車両、および、障害物検知システム |
PCT/JP2017/024524 WO2018235304A1 (ja) | 2017-06-22 | 2017-07-04 | 障害物検知装置、車両、および、障害物検知システム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110622229A true CN110622229A (zh) | 2019-12-27 |
Family
ID=61074839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780090795.1A Pending CN110622229A (zh) | 2017-06-22 | 2017-07-04 | 障碍物探测装置、车辆、以及障碍物探测系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200079367A1 (zh) |
JP (1) | JP6271068B1 (zh) |
CN (1) | CN110622229A (zh) |
DE (1) | DE112017007672T5 (zh) |
WO (1) | WO2018235304A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112506189A (zh) * | 2020-11-19 | 2021-03-16 | 深圳优地科技有限公司 | 一种控制机器人移动的方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7181589B2 (ja) * | 2018-11-26 | 2022-12-01 | 国立大学法人 筑波大学 | 映像処理システム及び映像処理装置 |
KR20200119419A (ko) * | 2019-03-29 | 2020-10-20 | 삼성전자주식회사 | 차량의 주행을 보조하는 전자 장치 및 방법 |
CN110379178B (zh) * | 2019-07-25 | 2021-11-02 | 电子科技大学 | 基于毫米波雷达成像的无人驾驶汽车智能泊车方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1371079A (zh) * | 2001-02-09 | 2002-09-25 | 松下电器产业株式会社 | 图象合成装置 |
CN101055176A (zh) * | 2006-04-12 | 2007-10-17 | 丰田自动车株式会社 | 车辆周边监控系统及车辆周边监控方法 |
JP2009211624A (ja) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | 運転支援装置、運転支援方法及びコンピュータプログラム |
US20140063248A1 (en) * | 2012-09-01 | 2014-03-06 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
CN204440666U (zh) * | 2015-03-09 | 2015-07-01 | 浙江海洋学院 | 一种路口转角处具有提示功能的探测装置 |
JP2015138384A (ja) * | 2014-01-22 | 2015-07-30 | 株式会社デンソー | 接近車両検出システム |
US20170083776A1 (en) * | 2015-09-23 | 2017-03-23 | Vladimir Colton | Smart mirror mechanism |
CN106570451A (zh) * | 2015-10-07 | 2017-04-19 | 福特全球技术公司 | 在镜像或反射表面内的自主车辆的自识别 |
JP2017102861A (ja) * | 2015-12-04 | 2017-06-08 | トヨタ自動車株式会社 | 物体認識装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0757182A (ja) * | 1993-08-19 | 1995-03-03 | Mazda Motor Corp | 車両の安全装置 |
JP2006199055A (ja) * | 2005-01-18 | 2006-08-03 | Advics:Kk | 車両用走行支援装置 |
WO2009107199A1 (ja) * | 2008-02-26 | 2009-09-03 | 富士通株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び車載端末 |
JP2010122821A (ja) | 2008-11-18 | 2010-06-03 | Fujitsu Ten Ltd | 車両運転支援装置 |
JP2013200819A (ja) * | 2012-03-26 | 2013-10-03 | Hitachi Consumer Electronics Co Ltd | 画像受信表示装置 |
JP6332045B2 (ja) * | 2015-01-13 | 2018-05-30 | 株式会社デンソー | 障害物識別装置、及び障害物識別システム |
-
2017
- 2017-06-22 JP JP2017122578A patent/JP6271068B1/ja active Active
- 2017-07-04 CN CN201780090795.1A patent/CN110622229A/zh active Pending
- 2017-07-04 WO PCT/JP2017/024524 patent/WO2018235304A1/ja active Application Filing
- 2017-07-04 DE DE112017007672.2T patent/DE112017007672T5/de not_active Withdrawn
-
2019
- 2019-11-12 US US16/681,507 patent/US20200079367A1/en not_active Abandoned
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1371079A (zh) * | 2001-02-09 | 2002-09-25 | 松下电器产业株式会社 | 图象合成装置 |
CN101055176A (zh) * | 2006-04-12 | 2007-10-17 | 丰田自动车株式会社 | 车辆周边监控系统及车辆周边监控方法 |
JP2009211624A (ja) * | 2008-03-06 | 2009-09-17 | Aisin Aw Co Ltd | 運転支援装置、運転支援方法及びコンピュータプログラム |
US20140063248A1 (en) * | 2012-09-01 | 2014-03-06 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
JP2015138384A (ja) * | 2014-01-22 | 2015-07-30 | 株式会社デンソー | 接近車両検出システム |
CN204440666U (zh) * | 2015-03-09 | 2015-07-01 | 浙江海洋学院 | 一种路口转角处具有提示功能的探测装置 |
US20170083776A1 (en) * | 2015-09-23 | 2017-03-23 | Vladimir Colton | Smart mirror mechanism |
CN106570451A (zh) * | 2015-10-07 | 2017-04-19 | 福特全球技术公司 | 在镜像或反射表面内的自主车辆的自识别 |
JP2017102861A (ja) * | 2015-12-04 | 2017-06-08 | トヨタ自動車株式会社 | 物体認識装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112506189A (zh) * | 2020-11-19 | 2021-03-16 | 深圳优地科技有限公司 | 一种控制机器人移动的方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019008485A (ja) | 2019-01-17 |
JP6271068B1 (ja) | 2018-01-31 |
US20200079367A1 (en) | 2020-03-12 |
DE112017007672T5 (de) | 2020-06-10 |
WO2018235304A1 (ja) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7124117B2 (ja) | トレーラの検出および自律的なヒッチング | |
US10011228B2 (en) | Hitch angle detection for trailer backup assist system using multiple imaging devices | |
US11377029B2 (en) | Vehicular trailering assist system with trailer state estimation | |
US9827818B2 (en) | Multi-stage solution for trailer hitch angle initialization | |
US10155478B2 (en) | Centerline method for trailer hitch angle detection | |
CN110622229A (zh) | 障碍物探测装置、车辆、以及障碍物探测系统 | |
US9796228B2 (en) | Hitch angle detection for trailer backup assist system | |
US9798953B2 (en) | Template matching solution for locating trailer hitch point | |
US9610975B1 (en) | Hitch angle detection for trailer backup assist system | |
CN103635947B (zh) | 车辆驾驶辅助装置 | |
CN111114524A (zh) | 搭扣机动 | |
US20170177949A1 (en) | Trailer type identification system | |
US20080201038A1 (en) | Determination of the Actual Yaw Angle and the Actual Slip Angle of a Land Vehicle | |
US20160107645A1 (en) | Departure prevention support apparatus | |
US20160314360A1 (en) | Lane detection device and method thereof, curve starting point detection device and method thereof, and steering assistance device and method thereof | |
EP3511922B1 (en) | Vehicle travel control method and travel control device | |
US10430672B2 (en) | Hitch assist system with trailer height estimation and hitch coupler identification | |
US9934572B2 (en) | Drawbar scan solution for locating trailer hitch point | |
EP3070642A1 (en) | Image processing apparatus and image processing method | |
CN110884308A (zh) | 挂接辅助系统 | |
CN111791654A (zh) | 用于拖车对准的系统和方法 | |
CN112823112A (zh) | 检测车辆和拖车的损害角度 | |
JP5386132B2 (ja) | 操舵支援装置 | |
US11654961B2 (en) | Steering assistance control apparatus | |
US11814099B2 (en) | Lane departure prevention control apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211229 Address after: Ibaraki Applicant after: Hitachi astemo Co.,Ltd. Address before: Saitama Prefecture, Japan Applicant before: SHOWA Corp. |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191227 |