CN111289958B - 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 - Google Patents
车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 Download PDFInfo
- Publication number
- CN111289958B CN111289958B CN201911226519.0A CN201911226519A CN111289958B CN 111289958 B CN111289958 B CN 111289958B CN 201911226519 A CN201911226519 A CN 201911226519A CN 111289958 B CN111289958 B CN 111289958B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- distance
- image
- width
- size class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000004590 computer program Methods 0.000 title description 3
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims description 43
- 230000003190 augmentative effect Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 19
- 238000004519 manufacturing process Methods 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 4
- 238000000691 measurement method Methods 0.000 abstract description 9
- 238000004891 communication Methods 0.000 description 63
- 238000010586 diagram Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 8
- 230000002265 prevention Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000007774 longterm Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/801—Lateral distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
公开利用处理器的车间距离测量方法。本发明包括:获取第一车辆的拍摄装置拍摄的行驶影像的步骤;从行驶影像检测第二车辆,计算经检测的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的步骤;基于计算的比例,在多个大小等级中决定所述第二车辆的大小等级的步骤;基于所决定的第二车辆的大小等级,决定第二车辆的宽度的步骤;以及基于所决定的第二车辆的宽度、拍摄装置的焦点距离以及第二车辆的影像宽度,计算从拍摄装置到第二车辆为止的距离的步骤。
Description
技术领域
本发明涉及利用车辆行驶中拍摄的行驶影像测量车间距离的车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质。
背景技术
车辆行驶中最重要的在于安全行驶以及交通事故的预防,为此,在车辆上安装有用于执行车辆的姿势控制、车辆结构装置的功能控制的多种辅助装置以及安全带、安全气囊等安全装置。
不仅如此,最近还有在车辆上设置存储车辆的行驶影像以及从各种传感器传送的数据,从而在车辆发生事故时能够找出事故原因的黑匣子等装置的趋势。在智能手机、平板电脑等便携式终端也可以安装黑匣子或者导航仪应用程序等,从而可以活用为如上所述车辆用装置。
为此,最近开发以及普及有利用车辆行驶中拍摄的行驶影像,从而辅助车辆驾驶员的驾驶的先进驾驶辅助系统(ADAS:Advanced Driver Assistance Systems),从而不仅使驾驶员安全驾驶,还提高方便性。
在所述ADAS提供的功能中,前方车辆冲撞预警功能(FCWS:Forward CollisionWarning System)是测量与车辆的行驶路线前方所处的前方车辆之间的距离,然后根据距离向驾驶员发出存在冲撞危险的提示的功能。
然而,根据现有的车间距离测量方法,不考虑车辆的宽度互不相同的很多车辆(例如,小型车、中型车、大型车)的实际宽度,而通过预设的特定常数值处理车宽度来测量车间距离,因此存在经测量的车间距离值不准确的问题。
另外,存在ADAS中成为判断危险的依据的测量值中的小的误差可能会在系统运行中成为大的问题,由此导致妨碍驾驶员的便利性以及稳定性的问题。作为一例,即便车辆之间的距离没有大到需要发出前方车辆冲撞预警,然而却发出预警,因此发生ADAS功能反而妨碍驾驶员的安全驾驶的情况。
发明内容
本发明是为了解决上述问题而提出的,其目的在于,计算前方车辆的影像宽度和前方车辆所处的车道的影像宽度之间的比例,然后基于计算的比例,在多个大小等级(例如,小型车、中型车、大型车)中判断前方车辆的大小等级。
另外,本发明的目的在于,基于前方车辆的大小等级决定前方车辆的宽度,并利用所决定的前方车辆的宽度,测量基准车辆和前方车辆之间的测量距离。
另外,本发明的目的在于,利用经测量的车间距离,提供准确的前方车辆冲撞预警功能。
为了达成上述目的,根据本发明的一实施例的利用处理器的车间距离测量方法,包括:获取行驶中的第一车辆的拍摄装置拍摄的行驶影像的步骤;从所述行驶影像检测第二车辆,计算所述经检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的比例的步骤;基于所述计算的比例,决定所述第二车辆的大小等级的步骤;基于所述所决定的第二车辆的大小等级,决定第二车辆的宽度的步骤;以及基于所述所决定的第二车辆的宽度、所述拍摄装置的焦点距离以及所述第二车辆的影像宽度,计算从所述拍摄装置到所述第二车辆为止的距离的步骤。
然后,所述计算比例的步骤包括:在所述行驶影像中包含的多个车辆中检测作为距离测量对象的所述第二车辆的步骤;在所述行驶影像中识别所述第二车辆行驶中的车道的左侧车线和右侧车线的步骤;以及将所述经识别的左侧车线和所述经识别的右侧车线之间的影像宽度决定为所述第二车辆所处的车道的影像宽度的步骤。
另外,所述计算比例的步骤包括:在所述经检测的第二车辆的影像中识别所述第二车辆的左侧边界和右侧边界的步骤;以及将所述经识别的左侧边界和所述经识别的右侧边界之间的影像宽度决定为所述第二车辆的影像宽度的步骤。
然后,决定所述第二车辆的大小等级的步骤是基于所述计算的比例,在多个大小等级中决定所述第二车辆的大小等级,所述多个大小等级可以包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中至少两个。
另外,决定所述第二车辆的大小等级的步骤可以包括:当所述计算的比例小于第一值时,将所述第二车辆的大小等级决定为所述第一大小等级的步骤;当所述计算的比例大于所述第一值而小于第二值时,将所述第二车辆的大小等级决定为所述第二大小等级的步骤;以及当所述计算的比例大于第二值时,将所述第二车辆的大小等级决定为所述第三大小等级的步骤。
然后,进一步包括:针对多个大小等级,分别存储车辆的宽度的步骤,决定所述第二车辆的宽度的步骤可以包括:在所述经存储的车辆的宽度中,检测与所述所决定的车辆大小等级相对应的车辆的宽度的步骤;以及将所述经检测的车辆的宽度决定为所述第二车辆的宽度的步骤。
另外,可以进一步包括:当所述计算的距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别的步骤。
然后,当所述第一车辆行驶在所述车道上时,检测所述第二车辆的步骤可以是在所述行驶影像中包含的多个车辆中,检测与所述第一车辆位于相同车道上的所述第二车辆。
另外,当所述第一车辆脱离所述车道时,检测所述第二车辆的步骤可以是在所述行驶影像中包含的多个车辆中,检测位于所述第一车辆的前面所朝向的车道上的所述第二车辆。
然后,计算所述距离的步骤可以是基于以下数学式计算从所述拍摄装置到所述第二车辆为止的距离,
【数学式】
D=W×(f÷w)
所述D为从所述拍摄装置到所述第二车辆为止的距离,所述W为所述第二车辆的宽度,所述f为所述拍摄装置的焦点距离(focal length),所述w为所述第二车辆的影像宽度。
一方面,为了达成上述目的,根据本发明的一实施例的车间距离测量装置,包括:影像获取部,获取行驶中的第一车辆的拍摄装置拍摄的行驶影像;检测部,从所述行驶影像检测第二车辆;比例计算部,计算所述经检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的比例;车辆大小等级计算部,基于所述计算的比例,决定所述第二车辆的大小等级;车辆宽度计算部,基于所述所决定的第二车辆的大小等级,决定第二车辆的宽度;以及距离计算部,基于所述所决定的第二车辆的宽度、所述拍摄装置的焦点距离以及所述第二车辆的影像宽度,计算从所述拍摄装置到所述第二车辆为止的距离。
然后,所述检测部可以在所述行驶影像中包含的多个车辆中,检测作为距离测量对象的所述第二车辆,所述比例计算部在所述行驶影像中识别所述第二车辆行驶中的车道的左侧车线和右侧车线,将所述经识别的左侧车线和所述经识别的右侧车线之间的影像宽度决定为所述第二车辆所处的车道的影像宽度。
另外,所述比例计算部可以在所述经检测的第二车辆的影像中识别所述第二车辆的左侧边界和右侧边界,将所述经识别的左侧边界和所述经识别的右侧边界之间的影像宽度决定为所述第二车辆的影像宽度。
然后,所述车辆大小等级计算部基于所述计算的比例,在多个大小等级中决定所述第二车辆的大小等级,所述多个大小等级可以包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中至少两个。
另外,所述车辆大小等级计算部可以是当所述计算的比例小于第一值时,将所述第二车辆的大小等级决定为所述第一大小等级,当所述计算的比例大于所述第一值而小于第二值时,将所述第二车辆的大小等级决定为所述第二大小等级,当所述计算的比例大于第二值时,将所述第二车辆的大小等级决定为所述第三大小等级。
然后,进一步包括:存储部,针对多个大小等级,分别存储车辆的宽度,所述车辆大小等级计算部可以在所述经存储的车辆的宽度中,检测与所述所决定的车辆大小等级相对应的车辆的宽度。
另外,可以进一步包括:提示数据生成部,当所述计算的距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别。
然后,所述检测部可以在所述行驶影像中包含的多个车辆中,检测与所述第一车辆位于相同车道上的所述第二车辆。
另外,所述检测部可以在所述行驶影像中包含的多个车辆中,检测位于所述第一车辆的前面所朝向的车道上的所述第二车辆。
然后,所述距离计算部可以基于以下数学式计算从所述拍摄装置到所述第二车辆为止的距离,
【数学式】
D=W×(f÷w)
所述D为从所述拍摄装置到所述第二车辆为止的距离,所述W为所述第二车辆的宽度,所述f为所述拍摄装置的焦点距离(focal length),所述w为所述第二车辆的影像宽度。
为了达成上述目的,根据本发明的一实施例的基于车间距离提供用于辅助驾驶员的提示的电子设备,包括:输出部,输出所述驾驶员可以确认的提示信息;影像获取部,获取拍摄装置拍摄的行驶影像;比例计算部,从所述行驶影像检测前方车辆,计算所述经检测的前方车辆的影像宽度和所述前方车辆所处的车道的影像宽度之间的比例;车辆大小等级计算部,基于所述计算的比例,决定所述前方车辆的大小等级;车辆宽度计算部,基于所述所决定的前方车辆的大小等级,决定所述前方车辆的车辆宽度;距离计算部,基于所述所决定的前方车辆的车辆宽度、所述拍摄装置的焦点距离以及所述前方车辆的影像宽度,计算从所述拍摄装置到所述前方车辆为止的距离;以及控制部,控制所述输出部根据所述计算的距离输出前方车辆冲撞提示。
然后,所述输出部进一步包括:显示部,将所述经拍摄的行驶影像与提示个体进行结合,从而输出增强现实图像,所述控制部可以控制所述显示部生成用于所述前方车辆冲撞提示的提示个体,并将所述经生成的用于前方车辆冲撞提示的提示个体与所述增强现实图像的前方车辆显示区域重叠显示。
一方面,为了达成上述目的,根据本发明的一实施例的计算机可读记录介质可以记录有用于执行上述车间距离测量方法的程序。
另外,为了达成上述目的,根据本发明的一实施例的程序可以记录有用于执行上述车间距离测量方法的代码。
根据上述本发明的各种实施例,计算前方车辆的大小等级,并将计算的大小等级活用为ADAS(先进驾驶辅助系统)提示时的输入值,从而能够改善ADAS的性能。
另外,根据上述本发明的多种实施例,通过减少基准车辆和前方车辆之间的车间距离的误差,从而能够更加准确地完成前方冲撞提示。
附图说明
图1是示出根据本发明的一实施例的车间距离测量装置的框图。
图2是更加具体示出根据本发明的一实施例的车间距离测量装置的框图。
图3是用于说明根据本发明的一实施例的车间距离测量方法的概念图。
图4是示出根据本发明的一实施例的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的示意图。
图5是示出当前方车辆为小型车时,计算车辆影像宽度和车道影像宽度之间的比例的实际示例的示意图。
图6是示出当前方车辆为中型车时,计算车辆影像宽度和车道影像宽度之间的比例的实际示例的示意图。
图7是示出当前方车辆为大型车时,计算车辆影像宽度和车道影像宽度之间的比例的实际示例的示意图。
图8是用于说明根据本发明的一实施例的第二车辆的大小等级决定过程的概念图。
图9是用于说明随着根据本发明的一实施例的第一车辆的行驶状态,在行驶影像中包含的多个车辆中选择距离测量对象的第二车辆的方法的概念图。
图10是示出根据本发明的一实施例的车间距离测量方法的流程图。
图11是示出计算根据本发明的一实施例的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的流程图。
图12是示出计算根据本发明的一实施例的车辆大小等级的方法的流程图。
图13是示出根据本发明的一实施例的电子设备的框图。
图14是用于说明与根据本发明的一实施例的电子设备连接的系统网络的示意图。
图15是示出根据本发明的一实施例的电子设备的车辆冲撞防止提示画面的示意图。
图16是示出根据本发明的一实施例的电子设备不具备拍摄部时的体现形态的示意图。
图17是示出根据本发明的一实施例的电子设备具备拍摄部时的体现形态的示意图。
图18是示出利用根据本发明的一实施例的HUD(平视显示器;Head-UpDisplay)的体现形态的示意图。
图19是示出根据本发明的一实施例的自动驾驶系统的框图。
图20是示出根据本发明的一实施例的自动驾驶车辆的结构的框图。
图21是示出根据本发明的一实施例的控制装置的详细结构的框图。
具体实施方式
以下内容仅示例本发明的原理。因此,虽未在本说明书中明确说明或者示出,本领域技术人员可以体现本发明的原理并发明出本发明的概念和范围中包含的多种装置。另外,应明确在原则上,本说明书中举出的所有条件术语以及实施例其意图在于供明确理解本发明的概念,而不是受如上所述特别举出的实施例以及状态的限制。
另外,应理解不仅是本发明的原理、观点以及实施例,而且举出特定实施例的所有详细说明其意图在于包括所述事项的结构以及功能上的均等物。另外,应理解所述均等物不仅包括目前公知的均等物,还包括将来要开发的均等物,即与结构无关而发明为能够执行相同功能的所有元件。
因此,例如,本发明的框图应理解为是示出使本发明的原理具体化的示例性电路的概念性观点。与其相似地,应理解所有流程图、状态转换图、伪代码等示出如下多种流程,即可以实际上显示在计算机可读介质中,而且与是否明确示出计算机或者处理器无关,而由计算机或者处理器执行。
在包含处理器或者作为与其类似概念表示的功能块的附图中示出的多种元件的功能不仅可以通过专用硬件提供,而且针对适当的软件,可以作为具有能够执行软件的能力的硬件提供。当通过处理器提供时,所述功能可以通过单一专用处理器、单一共享处理器或者多个个别处理器提供,其中一部分可以进行共享。
另外,作为处理器、控制或者与其类似的概念提供的术语的明确使用不应解释为排除引用具有可以执行软件的能力的硬件,而是不受限制,应理解为隐含数字信号处理器(DSP)硬件、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非挥发性存储器。还可以包括周知的其他硬件。
在本说明书的权利要求范围中,作为用于执行具体实施方式中记载的功能的手段示出的构成要素,其意图在于,包括执行所有形式的软件所具有的功能的所有方法,并与用于执行所述软件的适当电路相结合以执行所述功能,所述软件例如包括执行所述功能的电路元件的组合或者固件/微代码等。由所述权利要求范围而定的本发明是使由举出的多种手段提供的功能相结合,并与权利要求所要求的方式相结合,因此能够提供所述功能的任何手段都与从本说明书中掌握到的均等。
上述目的、特征以及有点可以通过附图和与其相关的以下具体实施方式而变得更加明确,而且由此本领域技术人员可以容易实施本发明的技术思想。另外,在说明本发明之际,当判断为对于与本发明相关的公知技术的具体说明可以混淆本发明的要旨时,省略对其的详细说明。
以下,参考附图详细说明本发明的多种实施例。
图1是示出根据本发明的一实施例的车间距离测量装置的框图。图2是更加具体示出根据本发明的一实施例的车间距离测量装置的框图。
参考图1以及图2,车间距离测量装置10可以包括影像获取部11、检测部12、计算部13、存储部14、提示数据生成部15、行驶控制数据生成部16以及控制部17的全部或者一部分。其中,计算部13可以包括比例计算部13-1、车辆大小等级计算部13-2、车辆宽度计算部13-3、距离计算部13-4的全部或者一部分。
其中,车间距离测量装置10可以测量成为距离测量的基准的第一车辆和成为距离测量的对象的第二车辆之间的距离。其中,第一车辆为成为距离测量的基准的车辆,与此不同地,还可以命名为基准车辆,第二车辆为成为距离测量的对象的车辆,与此不同地,还可以命名为对象车辆。另外,第二车辆为位于第一车辆附近的车辆,可以包括位于第一车辆的前方的前方车辆以及位于第一车辆的后方的后方车辆。
所述车间距离测量装置10可以利用第一车辆行驶中获得的行驶影像,测量第一车辆和第二车辆之间的车间距离。具体地,车间距离测量装置10可以从第一车辆的行驶影像检测第二车辆,计算经检测的对象车辆的影像宽度和前方车辆所处的车道的影像宽度之间的比例。然后,车间距离测量装置10可以基于计算的比例,在多个大小等级中决定前方车辆的大小等级。然后,车间距离测量装置10可以基于所决定的前方车辆的大小等级,决定前方车辆的宽度。然后,车间距离测量装置10可以基于所决定的第二车辆的宽度、拍摄装置的焦点距离以及第二车辆的影像宽度,计算从拍摄装置到第二车辆为止的距离。
其中,车间距离测量装置10可以由软件、硬件或者其组合来体现。作为一例,根据硬件性体现,可以由ASICs(专用集成电路;application specific integratedcircuits)、DSPs(数字信号处理器;digital signal processors)、DSPDs(数字信号处理设备;digital signal processing devices)、PLDs(可编程逻辑电路;programmable logicdevices)、FPGAs(现场可编程门阵列;field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(micro-processors)、其他用于执行功能的电子单元中的至少一个来体现。
以下,为了方便说明,将成为距离测量对象的第二车辆为前方车辆的情况为例子,更加具体说明构成车间距离测量装置10的各个构成模块。
影像获取部11可以获取第一车辆的拍摄装置拍摄的行驶影像。具体地,影像获取部11可以实时获取第一车辆行驶过程中,设置在第一车辆上的拍摄装置拍摄的行驶影像。其中,获取的行驶影像中可以包括按照车线区分的多个车道、由多个车道构成的道路、行驶在道路上的多个车辆。
其中,车线可以是指形成车辆所处的车道(lane)的两侧线(line)。另外,车道(lane)可以是指一车道、二车道、…N车道等由车线形成,并供车辆行驶的道路。
检测部12可以从由影像获取部11获取的行驶影像检测第二车辆。具体地,检测部12可以从由影像获取部11获取的行驶影像中包含的多个车辆中,选择作为距离测量对象的第二车辆,并检测经选择的第二车辆。其中,检测部12可以基于行驶状态信息,在行驶影像中包含的多个车辆中,选择作为距离测量对象的第二车辆,所述行驶状态信息显示第一车辆是否在特定车道上准确行驶还是在脱离特定车道。
作为一例,当第一车辆在特定车道行驶时,检测部12可以在行驶影像中包含的多个车辆中,选择与第一车辆位于相同车道上的第二车辆,然后检测经选择的第二车辆。
作为其他一例,当第一车辆在脱离特定车道时,检测部12可以在行驶影像中包含的多个车辆中,选择位于脱离中的第一车辆的前面所朝向的车道上的第二车辆,然后检测经选择的第二车辆。
比例计算部13-1可以计算在检测部12检测的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。其中,影像宽度可以是指在像平面(image plane)中该个体的影像所占的宽度。即,第二车辆的影像宽度可以是在影像获取部11获取的行驶影像中,第二车辆的影像所占的宽度,第二车辆所处的车道的影像宽度可以是在影像获取部11获取的行驶影像中,第二车辆所处的车道的影像所占的宽度。
比例计算部13-1可以在影像获取部11获取的行驶影像中,设定用于计算第二车辆的影像宽度的基准线,并基于设定的基准线,计算第二车辆的影像宽度。另外,比例计算部13-1可以在影像获取部11获取的行驶影像中,设定用于计算第二车辆所处的车道的影像宽度的基准线,并基于设定的基准线,计算第二车辆所处的车道的影像宽度。
当计算第二车辆所处的车道的影像宽度时,比例计算部13-1可以在影像获取部11获取的行驶影像中,识别第二车辆行驶中的车道的左侧车线和右侧车线。作为一例,比例计算部13-1可以将行驶影像转换为灰度图像,执行车线检测算法,识别位于第二车辆的两侧的各个车线。然后,比例计算部13-1可以将经识别的左侧车线和经识别的右侧车线之间的影像宽度决定为第二车辆所处的车道的影像宽度。作为一例,比例计算部13-1可以决定第一支点和第二支点,将所述第一支点和第二支点之间的影像宽度决定为第二车辆所处的车道的影像宽度,所述第一支点是表示第二车辆的车道内位置的线和经识别的左侧车线相交的支点,所述第二支点是表示第二车辆的车道内位置的线和经识别的右侧车线相交的支点。
然后,当计算第二车辆的影像宽度时,比例计算部13-1可以在经检测的第二车辆的影像中,识别第二车辆的左侧边界和右侧边界。然后,比例计算部13-1可以将经识别的左侧边界和经识别的右侧边界之间的影像宽度决定为第二车辆的影像宽度。作为一例,比例计算部13-1可以将与经识别的左侧边界相对应的左侧界线和与经识别的右侧边界相对应的右侧界线之间的影像宽度决定为第二车辆的影像宽度。
一方面,计算第二车辆所处的车道的影像宽度和第二车辆的影像宽度,则比例计算部13-1可以计算第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。作为一例,比例计算部13-1可以基于以下的数学式1,计算第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。
【数学式1】
Ratio=(VehicleW/LaneW)×100
其中,VehicleW可以是指第二车辆的影像宽度,LaneW可以是指第二车辆所处的车道的影像宽度,Ratio可以是指第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。
车辆大小等级计算部13-2可以基于在比例计算部13-1计算的比例,在多个大小等级中决定第二车辆的大小等级。其中,多个大小等级可以包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中的至少两个。
该情况下,当计算的比例小于第一值时,车辆大小等级计算部13-2可以将第二车辆的大小等级决定为第一大小等级。然后,当计算的比例大于第一值而小于第二值时,车辆大小等级计算部13-2可以将第二车辆的大小等级决定为第二大小等级。然后,当计算的比例大于第二值时,车辆大小等级计算部13-2可以将第二车辆的大小等级决定为第三大小等级。作为一例,第一值可以为48%,第二值可以为60%。
然而,这仅是本发明的一实施例,可以根据体现例更加细分构成。作为一例,多个大小等级还可以构成为,包括超小型车、小型车、中小型车、中型车、中大型车、大型车以及超大型车等与各自相对应的大小等级。
一方面,车辆宽度计算部13-3可以基于第二车辆的大小等级,决定第二车辆的宽度。具体地,存储部14可以对应多个大小等级分别存储车辆宽度。作为一例,如下表1所示,存储部14可以针对多个大小等级,分别对应存储车辆宽度。
【表1】
第一等级大小 | 第二等级大小 | 第三等级大小 | |
车辆宽度 | 1500mm | 1900mm | 2500mm |
所述【表1】的信息可以是事先存储在所述存储部14,也可以是通过与通信部180连接的通信网提供得到,还可以被更新。
该情况下,车辆宽度计算部13-3通过在存储部14中事先存储的车辆宽度中,检测与所决定的大小等级相对应的车辆宽度,从而能够决定第二车辆的宽度。
一方面,距离计算部13-4可以基于第二车辆的宽度、拍摄装置的焦点距离以及第二车辆的影像宽度,计算从拍摄装置到第二车辆为止的距离。具体地,距离计算部13-4可以基于以下的数学式2,计算从设置在第一车辆上的拍摄装置到第二车辆为止的距离。
【数学式2】
D=W×(f÷w)
其中,D可以是从设置在第一车辆上的拍摄装置到第二车辆为止的距离,W是第二车辆的宽度,f是拍摄装置的焦点距离(focal length),w是第二车辆的影像宽度。其中,第二车辆的影像宽度w可以是与上述数学式1的VehicleW相同的值。
一方面,计算拍摄装置20和第二车辆30之间的距离,则距离计算部13-4通过适当补正计算的拍摄装置20和第二车辆30之间的距离值,从而能够计算设置有拍摄装置20的第一车辆和第二车辆30之间的距离值。
一方面,控制部17控制车间距离测量装置10的整体动作。具体地,控制部17可以控制影像获取部11、检测部12、计算部13、存储部14以及提示数据生成部15、行驶控制数据生成部16的全部或者一部分。
尤其,控制部17可以控制检测部12从在影像获取部11获取的第一车辆的行驶影像中检测第二车辆。然后,控制部16可以控制计算部13计算经检测的对象车辆的影像宽度和前方车辆所处的车道的影像宽度之间的比例,并基于计算的比例,在多个大小等级中决定前方车辆的大小等级,然后基于所决定的前方车辆的大小等级,决定前方车辆的宽度。另外,控制部16可以控制计算部13基于所决定的第二车辆的宽度、拍摄装置的焦点距离以及第二车辆的影像宽度,计算从拍摄装置到第二车辆为止的距离。
另外,第一车辆和第二车辆之间的车间距离信息被获取得到,则控制部17可以控制提示数据生成部15基于该信息生成提示数据以辅助第一车辆驾驶员的安全驾驶。具体地,当在距离计算部13-4计算的车间距离小于预设的距离时,提示数据生成部15可以生成用于提示第一车辆和第二车辆之间的距离之差的提示数据。作为一例,在提示数据生成部15生成的提示数据可以是通过语音警告有必要注意车间距离的数据或者是通过图像提示的数据。
作为其他一例,当在距离计算部13-4计算的车间距离小于预设的距离时,提示数据生成部15可以生成用于提示与第一车辆和第二车辆之间的距离之差相对应的冲撞危险级别的数据。作为一例,将第一车辆和第二车辆之间的距离之差分为多个级别,当车间距离小于第一值时,可以生成用于提示第一危险级别的数据,当车间距离大于第一值而小于第二值时,可以生成用于提示危险度相比第一危险级别高的第二危险级别的数据,当车间距离大于第二值时,可以生成用于提示危险度相比第二危险级别高的第三危险级别的数据。
一方面,第一车辆和第二车辆之间的车间距离信息被获取得到,则控制部17可以控制行驶控制数据生成部16基于该信息生成行驶控制数据以控制第一车辆的自动驾驶。具体地,当第一车辆以自动驾驶模式行驶中,且距离计算部13-4计算的车间距离小于预设的距离时,控制部17可以控制行驶控制数据生成部16生成用于控制第一车辆的自动驾驶的行驶控制数据(例如,将第一车辆的速度控制为从目前速度减速到预定速度或者控制为使第一车辆停止的指令数据等)。其中,在行驶控制数据生成部16生成的行驶控制数据可以被传送到统一控制第一车辆的自动驾驶的自动驾驶控制部,第一车辆自动驾驶控制部则可以基于该信息控制第一车辆中设置的各种单元(制动器、方向盘、电动马达、引擎等)以控制第一车辆自动行驶。
以下,参考图3至图8更加具体说明根据本发明的一实施例的车间距离测量方法。
图3是用于说明根据本发明的一实施例的车间距离测量方法的概念图。如图3所示,在第一车辆(未图示)可以设置有拍摄装置20用于拍摄第一车辆的行驶影像。其中,拍摄装置20可以设置在第一车辆上,由在车辆的行驶、泊车等状态下拍摄车辆周围的行车记录仪(Car dash cam)或者车载视频录像机(Car video recorder)等构成。或者,拍摄装置20还可以由形成在导航仪上的相机构成,所述导航仪用于向第一车辆的驾驶员提示路线。
所述拍摄装置20可以包括镜头部21和拍摄元件22,虽未在图3中示出,可以进一步包括镜头部驱动部、光圈、光圈驱动部、拍摄元件控制部116以及图像处理器的全部或者一部分。其中,镜头部(lens unit)21可以执行收集光学信号的功能,透过镜头部21的光学信号到达拍摄元件22的拍摄区域光学成像。其中,拍摄元件22可以使用将光学信号转换成电信号的CCD(电荷耦合元件;Charge Coupled Device)、CIS(互补金属氧化物半导体图像传感器Complementary Metal Oxide Semiconductor Image Sensor)或者高速图像传感器等。
一方面,车间距离测量装置10可以利用第一车辆的拍摄装置20拍摄的行驶影像,基于上述的数学式2计算设置在第一车辆上的拍摄装置20和第二车辆30之间的距离。为此,车间距离测量装置10首先可以从第一车辆的拍摄装置20获取的行驶影像计算第二车辆30的影像宽度和第二车辆30所处的车道的影像宽度之间的比例,并基于计算的比例,在多个大小等级中决定第二车辆30的大小等级,然后基于所决定的第二车辆的大小等级,计算第二车辆30的宽度W。参考图4至图8更加具体说明针述车间距离测量装置10的计算部13的动作。
图4是示出根据本发明的一实施例的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的示意图。如图4所示,在第一车辆的拍摄装置20拍摄的行驶影像50中可以包括在第一车辆的前方行驶中的第二车辆30、所述第二车辆行驶中的车道40、将所述车道40与其他车道进行区分的左侧车线41以及右侧车线42。
该情况下,比例计算部13-1可以计算第二车辆30的影像宽度VehicleW。具体地,比例计算部13-1可以在第二车辆30的影像中识别第二车辆30的左侧边界31和右侧边界32。然后,比例计算部13-1可以将经识别的左侧边界31和经识别的右侧边界32之间的影像宽度决定为第二车辆的影像宽度VehicleW。
另外,比例计算部13-1可以在经获取的行驶影像50中识别第二车辆30行驶中的车道40的左侧车线41和右侧车线42。然后,比例计算部13-1可以设定表示第二车辆30的车道内位置的线33。其中,表示第二车辆30的车道内位置的线33可以由在行驶影像50中延长第二车辆30的最下端的线构成。作为一例,可以由延长第二车辆30的左侧车轮下端和右侧车辆下端的线构成。一方面,比例计算部13-1可以决定第一支点43和第二支点44,将第一支点43和第二支点44之间的影像宽度LaneW决定为第二车辆30所处的车道的影像宽度LaneW,所述第一支点43是表示第二车辆30的车道内位置的线33和左侧车线41相交的支点,所述第二支点44是表示第二车辆30的车道内位置的线33和右侧车线43相交的支点。
一方面,计算第二车辆的影像宽度VehicleW和第二车辆所处的车道的影像宽度LaneW,则比例计算部13-1可以基于上述的数学式1计算第二前方车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例。
图5是示出当前方车辆为小型车时,计算车辆影像宽度和车道影像宽度之间的比例的实际示例的示意图。如图5所示,根据本发明的一实施例的检测部12可以从第一车辆的行驶中拍摄的行驶影像51中检测位于前方的小型车。然后,比例计算部13-1可以计算小型车的影像宽度(VehicleW:46)和小型车行驶中的车道的影像宽度(LaneW:115)之间的比例(ratio:40)。
图6是示出当前方车辆为中型车时,计算车辆影像宽度和车道影像宽度之间的比例的实际示例的示意图。如图6所示,根据本发明的一实施例的检测部12可以从第一车辆的行驶中拍摄的行驶影像52中检测位于前方的中型车。然后,比例计算部13-1可以计算中型车的影像宽度(VehicleW:88)和中型车行驶中的车道的影像宽度(LaneW:191)之间的比例(ratio:46.1)。
图7是示出当前方车辆为大型车时,计算车辆影像宽度和车道影像宽度之间的比例的实际示例的示意图。如图7所示,根据本发明的一实施例的检测部12可以从第一车辆的行驶中拍摄的行驶影像53中检测位于前方的大型车。然后,比例计算部13-1可以计算大型车的影像宽度(VehicleW:184)和大型车行驶中的车道的影像宽度(LaneW:223)之间的比例(ratio:70.4)。
如上所述,第一车辆和第二车辆的距离变近,则第二车辆的影像宽度和第二车辆所处的车道的影像宽度可以变大,第一车辆和第二车辆的距离变远,则第二车辆的影像宽度和第二车辆所处的车道的影像宽度可以变小。然而,所述比例不受第一车辆和第二车辆之间的距离的影响,而与第二车辆的大小成比例,因此,根据本发明,可以将其作为用于计算第二车辆的大小的指标来使用。
一方面,根据上述示例,计算第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例,则车辆大小等级计算部13-2可以在多个大小等级中决定第二车辆的大小等级。针对此,参考图8更加具体地说明。
图8是用于说明根据本发明的一实施例的第二车辆的大小等级决定过程的概念图。如图8所示,车辆大小等级计算部13-2将比例值划分成多个区间,针对多个区间,可以分别基于匹配有第二车辆的大小等级的临界值表,计算车辆的大小等级。
作为一例,临界值表可以以第一值和第二值为基准,划分为三个区间,当为小于第一值时,可以匹配有与小型车相对应的第一大小等级,当计算的比例大于第一值而小于第二值时,可以匹配有与中型车相对应的第二大小等级,当计算的比例大于第二值时,可以匹配有与大型车相对应的第三大小等级。
该情况下,当比例计算部13-1计算的比例小于第一值时,车辆大小等级计算部13-2可以将第二车辆的大小等级决定为第一大小等级。然后,当比例计算部13-1计算的比例大于第一值而小于第二值时,车辆大小等级计算部13-2可以将第二车辆的大小等级决定为第二大小等级。当比例计算部13-1计算的比例大于第二值时,车辆大小等级计算部13-2可以将第二车辆的大小等级决定为第三大小等级。作为一例,第一值可以为48%,第二值可以为60%。
一方面,重新参考图3,车辆宽度计算部13-3可以基于第二车辆的大小等级,决定第二车辆的宽度。具体地,存储部14可以针对多个大小等级分别存储车辆宽度,该情况下,车辆宽度计算部13-3通过在存储部14中事先存储的车辆宽度中,检测与所决定的大小等级相对应的车辆宽度,从而能够决定第二车辆的宽度VehicleW。
然后,如上述的数学式2所示,车间距离测量装置10可以将拍摄装置20的焦点距离f与第二车辆30的影像宽度w相除,然后与车辆宽度计算部13-3计算的第二车辆30的宽度W相乘,从而能够计算拍摄装置20和第二车辆30之间的距离。
一方面,计算拍摄装置20和第二车辆30之间的距离,则车间距离测量装置10的距离计算部13-4为了准确计算车辆之间的距离,通过适当补正拍摄装置20和第二车辆30之间的距离值,从而能够计算设置有拍摄装置20的第一车辆和第二车辆30之间的距离值。根据所述本发明,可以减少第一车辆和第二车辆30之间的车间距离的误差,从而能够根据准确的测量车间距离。
即,针对从第一车辆位于相同距离的前方且车宽度不同的小型车、中型车、大型车,假设想要使基于上述数学式2计算的各个距离值相同,则需要了解各个车辆的宽度。然而,在现有的影像识别以及检测中,无法确认与所有的车型有关的全部数据,因此,现有技术是不考虑车辆的宽度互不相同的很多车辆(例如,小型车、中型车、大型车)的实际宽度,而通过预设的特定常数值处理车宽度来测量车间距离,因此存在经测量的车间距离值不准确的问题。
然而,为了解决所述问题,本发明通过利用前方车辆的影像宽度和车道影像宽度之间的比例来将前方车辆区分为小型车、中型车、大型车,然后基于经区分的结果,根据与小型车、中型车、大型车各自相匹配的平均宽度,测量车间距离,从而能够减少误差,更加准确地测量车间距离。
图9是用于说明随着根据本发明的一实施例的第一车辆的行驶状态,在行驶影像中包含的多个车辆中选择距离测量对象的第二车辆的方法的概念图。
如图9(a)所示,成为距离测量基准的基准车辆1在第一车道上行驶,而作为前方车辆,可以有在与基准车辆1相同的车道上行驶的第一前方车辆2和在与基准车辆1不同车道上行驶的第二前方车辆3。该情况下,向基准车辆1的驾驶员仅需要提示与位于相同车道上的第一前方车辆2是否存在冲撞危险,不需要对与第二前方车辆3是否存在冲撞危险做出判断。因此,根据本发明的一实施例,当基准车辆1在特定车道上行驶时,检测部12可以在行驶影像中包含的多个车辆中,选择与基准车辆1位于相同车道上的第一前方车辆2作为距离测量对象车辆,然后检测经选择的对象车辆。
如图9(b)所示,成为距离测量基准的基准车辆1在脱离第一车道,而作为前方车辆,可以有在与基准车辆1相同的车道上行驶的第一前方车辆2和在与基准车辆1不同车道上行驶的第二前方车辆3。该情况下,向基准车辆1的驾驶员仅需要提示与位于行驶方向上的第二前方车辆3是否存在冲撞危险,不需要对与第一前方车辆2是否存在冲撞危险做出判断。因此,根据本发明的一实施例,当基准车辆1在脱离特定车道时,检测部12可以在行驶影像中包含的多个车辆中,选择位于基准车辆1的前面所朝向的车道上的第二前方车辆3作为距离测量对象车辆,然后检测经选择的对象车辆。
一方面,检测出成为距离测量对象的对象车辆,则可以基于上述距离测量方法,测量基准车辆和对象车辆之间的距离。
图10是示出根据本发明的一实施例的车间距离测量方法的流程图。如图10所示,首先,可以获取第一车辆的拍摄装置拍摄的行驶影像(S100)。
然后,可以从行驶影像检测第二车辆,计算第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的比例(S110)。假设,第一车辆在车道上行驶,则检测第二车辆的步骤可以在行驶影像中包含的多个车辆中,检测位于与第一车辆相同车道上的所述第二车辆。然而,当第一车辆在脱离车道时,检测第二车辆的步骤可以在行驶影像中包含的多个车辆中,检测位于第一车辆的前面所朝向的车道上的第二车辆。
然后,可以基于计算的比例,在多个大小等级中,决定第二车辆的大小等级。其中,多个大小等级可以包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中的至少两个。
然后,可以基于所决定的第二车辆的大小等级,决定第二车辆的宽度(S130)。具体地,本发明进一步包括针对多个大小等级,分别存储车辆的宽度的步骤,决定第二车辆的宽度的步骤(S130)可以是在经存储的车辆的宽度中,检测与所决定的大小等级相对应的车辆的宽度,然后将经检测的车辆的宽度决定为第二车辆的宽度。
然后,可以基于所决定的第二车辆的宽度、所述拍摄装置的焦点距离以及所述第二车辆的影像宽度,计算从所述拍摄装置到所述第二车辆为止的距离。具体地,可以基于上述的数学式2,计算从第一车辆的拍摄装置到第二车辆为止的距离。
图11是示出计算根据本发明的一实施例的第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例的流程图。如图11所示,计算比例的步骤(S110)可以由以下步骤构成。
具体地,可以在行驶影像中包含的多个车辆中,检测作为距离测量对象的第二车辆(S111)。
然后,可以在行驶影像中,识别第二车辆行驶中的车道的左侧车线和右侧车线(S112)。
然后,可以将经识别的左侧车线和经识别的右侧车线之间的影像宽度决定为第二车辆所处的车道的影像宽度(S113)。
一方面,可以在经检测的第二车辆的影像中,识别第二车辆的左侧边界和右侧边界(S114)。
然后,可以将经识别的左侧边界和经识别的右侧边界之间的影像宽度决定为第二车辆的影像宽度(S115)。
一方面,根据上述步骤,决定第二车辆的影像宽度和第二车辆所处的车道的影像宽度,则基于此,可以计算第二车辆的影像宽度和第二车辆所处的车道的影像宽度之间的比例(S116)。
图12是示出计算根据本发明的一实施例的车辆大小等级的方法的流程图。如图12所示,决定第二车辆的大小等级的步骤(S120)可以由以下步骤构成。
假设,计算的比例小于第一值(S121:Y)时,可以将第二车辆的大小等级决定为所述第一大小等级(S122)。
假设,计算的比例大于所述第一值(S121:N)而小于第二值(S123:Y)时,可以将第二车辆的大小等级决定为所述第二大小等级(S124)。
假设,计算的比例大于第二值(S123:N),可以将第二车辆的大小等级决定为所述第三大小等级(S125)。
一方面,所述车间距离测量装置10可以由为了辅助驾驶员的驾驶而输出各种提示信息的电子设备或者用于自动驾驶的系统的一模块构成,从而能够执行路线提示功能。针对此,参考图13至图15更加详细说明。
图13是示出根据本发明的一实施例的电子设备的框图。如图13所示,电子设备100可以包括存储部110、输入部120、输出部130、车间距离测量部140、增强现实提供部160、控制部170、通信部180、感应部190、电源部195的全部或者一部分。
其中,电子设备100可以由可以向车辆的驾驶员提供与驾驶相关的提示的智能手机、平板电脑、笔记本电脑、PDA(个人数码助理;personal digital assistant)、PMP(便携式多媒体播放器;portable multimedia player)、智能眼镜、谷歌眼镜、导航仪(navigation)、车辆用影像拍摄装置的行车记录仪(Car dash cam)或者车载视频录像机(Car video recorder)等多种装置构成,可以设置在车辆上。
与驾驶相关的提示可以包括路线提示、车线脱离提示、车线保持提示、前方车辆出发提示、红绿灯变更提示、前方车辆冲撞防止提示、车道变更提示、车道提示、弯道提示等用于辅助驾驶员的驾驶的多种提示。
其中,路线提示可以包括在拍摄行驶中的车辆的前方的影像中结合使用者的位置、方向等各种信息,从而执行路线提示的增强现实路线提示、在2D(二维;2-Dimensional)或者3D(三维;3-Dimensional)的地图数据中结合使用者的位置、方向等各种信息,从而执行路线提示的2D或者3D路线提示。
不仅如此,路线提示可以包括在航空地图数据中结合使用者的位置、方向等各种信息,从而执行路线提示的航空地图路线提示。其中,路线提示其概念可以解释为,不仅包括使用者乘坐在车辆上进行驾驶的情况,还包括使用者走路或者跑步移动的情况下的路线提示。
另外,车线脱离提示可以提示行驶中的车辆是否脱离车线。
另外,车线保持提示可以提示车辆回到原来行驶中的车道上。
另外,前方车辆出发提示可以提示位于停车中的车辆的前方的车辆是否出发。其中,前方车辆出发提示可以利用在车间距离测量部140计算的车间距离执行。
另外,红绿灯变更提示可以提示位于停车中的车辆的前方的红绿灯的信号是否发生改变。作为一例,当表示停止信号的红色灯亮起的状态下转变为表示出发信号的绿色灯时,可以提示该情况。
另外,前方车辆冲撞防止提示是当与位于停止或者行驶中的车辆的前方的车辆的距离为一定距离以内时,可以进行提示以防止与前方车辆发生冲撞。其中,前方车辆冲撞防止提示可以是利用在车间距离测量部140计算的车间距离来执行。
另外,车道变更提示可以是为了提示到目的地为止的路线,提示车辆从所处车道向其他车道进行变更。
另外,车道提示可以提示车辆目前所处的车道。
另外,弯道提示可以是一定时间以后车辆所要行驶的道路为弯道的提示。
如可以提供所述多种提示的车辆的前方影像一样,与驾驶相关的影像可以是通过设置在车辆上的相机或者智能手机的相机进行拍摄。其中,相机可以是与设置在车辆上的电子设备100形成为一体,从而拍摄车辆的前方的相机。
作为其他一例,相机可以是与电子设备100分开设置在车辆上,从而拍摄车辆的前方的相机。该情况下,相机可以是朝向车辆的前方设置的另外的车辆用影像拍摄装置,电子设备100与另设的车辆用影像拍摄装置通过有/无线通信输入得到拍摄影像,或者当在电子设备100插入有用于存储车辆用影像拍摄装置的拍摄影像的存储介质时,电子设备100可以输入得到拍摄影像。
以下,基于上述内容,更加详细说明根据本发明的一实施例的电子设备100。
存储部110执行用于存储电子设备100动作时所需的各种数据以及应用程序的功能。尤其,存储部110可以存储电子设备100动作时所需的数据,例如OS、路线探索应用程序、地图数据等。另外,存储部110可以存储通过电子设备100的动作生成的数据,例如经探索的路线数据、接收的影像等。
所述存储部110不仅由RAM(随机存取存储器;Random Access Memory)、闪速存储器、ROM(只读存储器;Read Only Memory)、EPROM(可编程只读存储器;ErasableProgrammable ROM)、EEPROM(电可擦只读存储器;Electronically Erasable andProgrammable ROM)、寄存器、硬盘、可移动磁盘、记忆卡、USIM(全球用户识别卡;UniversalSubscriber Identity Module)等内存形态的存储元件,还可以由USB存储器等可拆装形态的存储元件构成。
输入部120执行将从电子设备100的外部的物理输入转换为特定的电信号的功能。其中,输入部120可以包括使用者输入部121和麦克部123的全部或者一部分。
使用者输入部121可以接收触摸、推动动作等使用者输入。其中,使用者输入部121可以由多种按钮的形态、接收触摸输入的触摸传感器、接收所靠近的动作的靠近传感器中的至少一个构成。
麦克部123可以接收使用者的语音以及在车辆的内外部产生的声音。
输出部130是通过影像以及/或者语音向使用者输出电子设备100的数据的装置。其中,输出部130可以包括显示部131和音频输出部133的全部或者一部分。
显示部131是向使用者输出可视觉识别的数据的装置。显示部131可以由设置在电子设备100的壳体前面的显示部构成。另外,显示部131可以与电子设备100形成为一体,从而输出视觉识别数据,也如HUD,与系统100分开设置,从而输出视觉识别数据。
音频输出部133是电子设备100输出可听觉识别的数据的装置。音频输出部133可以由将向电子设备100的使用者告知的数据用声音表示的扬声器构成。
车间距离测量部140可以执行上述车间距离测量装置10的功能。
增强现实提供部160可以提供增强现实视野模式。其中,增强现实可以是向呈现使用者实际看到的现实世界的画面上视觉重叠附加信息(例如,表示兴趣点(Point OfInterest:POI)的图形要素、提示前方车辆冲撞危险的图形要素、表示车辆间距离的图形要素、提示弯道的图形要素、有助于驾驶员的安全驾驶的多种附加信息等)来提供的方法。
所述增强现实提供部160可以包括校准部、3D空间生成部、个体生成部、映射部的全部或者一部分。
校准部为了从相机拍摄的拍摄影像中推测出属于相机的相机参数而可以执行校准(Calibration)。其中,相机参数作为构成相机矩阵的参数,可以包括相机外部参数(extrinsic parameters)、相机内部参数(intrinsic parameters),所述相机矩阵是表示实拍空间建立在照片中的关系的信息。
3D空间生成部可以基于相机拍摄的拍摄影像,生成虚拟3D空间。具体地,3D空间生成部可以在2D的拍摄影像中应用校准部推测的相机参数,从而生成虚拟3D空间。
个体生成部可以在增强现实上生成用于提示的个体,例如,前方车辆冲撞防止提示个体、路线提示个体、车道变更提示个体、车线脱离提示个体、弯道提示个体等。
映射部可以向在3D空间生成部生成的虚拟3D空间映射在个体生成部生成的个体。具体地,映射部可以决定个体生成部中生成的个体在虚拟3D空间中的位置,并在所决定的位置映射个体。
一方面,通信部180可以是为了使电子设备100与其他设备进行通信而设置的。通信部180可以包括位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189的全部或者一部分。
位置数据部181是通过GNSS(全球导航卫星系统;Global Navigation SatelliteSystem)获取位置数据的装置。GNSS是指利用从人工卫星接收的电波信号,能够计算接收终端的位置的导航系统。作为GNSS的具体例子,根据其运营主体,可以为GPS(全球定位系统;Global Positioning System)、Galileo(伽利略)、GLONASS(格洛纳斯系统;GlobalOrbiting Navigational Satellite System)、COMPASS(指南针)、IRNSS(印度区域导航卫星系统;Indian Regional Navigational Satellite System)、QZSS(准天顶卫星系统;Quasi-Zenith Satellite System)。根据本发明的一实施例的系统的位置数据部181可以接收在使用电子设备100的地区服务的GNSS信号,获取位置数据。或者,位置数据部181除了GNSS之外,还可以通过与基站或者AP(接入点;Access Point)的通信,获取位置数据。
无线网络部183是与无线网络连接来获取数据或者收发数据的装置。无线网络部183可以通过多种通信协议与网络连接,所述通信协议被定义为收发WLAN(无线局域网;Wireless LAN)、Wibro(无线宽带;Wireless broadband)、Wimax(全球微波接入互操作性;World interoperability for microwave access)、HSDPA(高速下行分组接入;HighSpeed Downlink Packet Access)的无线数据。
广播收发部185是通过各种广播系统收发广播信号的装置。可以通过广播收发部185收发的广播系统,可以为DMBT(开路数字电视;Digital Multimedia BroadcastingTerrestrial)、DMBS(数字多媒体广播卫星;Digital Multimedia BroadcastingSatellite)、MediaFLO(前向链路;Media Forward Link Only)、DVBH(手持数字视频广播;Digital Video Broadcast Handheld)、ISDBT(综合服务数字广播地面;IntegratedServices Digital Broadcast Terrestrial)等。通过广播收发部185收发的广播信号可以包括交通数据、生活数据等。
移动通信部186可以根据3G(第三代移动通信技术;3rd Generation)、3GPP(第三代合作伙伴项目;3rd Generation Partnership Project)、LTE(长期演进;Long TermEvolution)等多种移动通信规格,与移动通信网连接,从而进行语音以及数据通信。
近距离通信部187是用于进行近距离通信的装置。如上所述,近距离通信部187可以通过蓝牙(Bluetooth)、RFID(无线射频识别;Radio Frequency Identification)、红外线通信(IrDA,Infrared Data Association)、UWB(超宽频;Ultra WideBand)、ZigBee(无线个域网)、NFC(近场通信;Near Field Communication),Wi-Fi(Wireless-Fidelity)等进行通信。
有线通信部189是可以将电子设备100与其他设备进行有线连接的界面装置。有线通信部189可以是通过USB接口(Port)进行通信的USB模块。
所述通信部180可以利用位置数据部181、无线网络部183、广播收发部185、移动通信部186、近距离通信部187、有线通信部189中的至少一个与其他设备进行通信。
作为一例,当电子设备100不包含相机功能时,可以利用近距离通信部187、有线通信部189中的至少一个收发行车记录仪或者车载视频录像机等车辆用影像拍摄装置拍摄的影像。
作为其他一例,当与多个设备进行通信时,可以是一个通过近距离通信部进行通信,其他一个是通过有线通信部119进行通信。
感应部190是可以感应电子设备100的目前状态的装置。感应部190可以包括动作感应部191和光感应部193的全部或者一部分。
动作感应部191可以感应电子设备100的3D空间上的运动。动作感应部191可以包括3轴地磁气传感器以及3轴加速度传感器。通过将由动作感应部191获取的运动数据与由位置数据部181获取的位置数据进行结合,从而能够更加准确地计算设置有电子设备100的车辆的轨迹。
光感应部193是检测系统100的周围照度(illuminance)的装置。可以通过由光感应部193获取的照度数据,改变显示部131的亮度以与周围亮度相对应。
电源部195是为了电子设备100的动作或者与电子设备100连接的其他设备的动作而提供所需电源的装置。电源部195可以是内设在电子设备100的电池或者从车辆等的外部电源供应得到电源的装置。另外,电源部195可以根据供应得到电源的形态,由有线通信模块119构成,或者由通过无线供应得到的装置构成。
控制部170控制电子设备100的整体动作。具体地,控制部170可以控制存储部110、输入部120、输出部130、车间距离测量部140、增强现实提供部160、通信部180、感应部190、电源部195的全部或者一部分。
具体地,控制部170可以控制输出部130根据在车间距离测量部140计算的车间距离输出前方车辆冲撞提醒。作为一例,输出部130可以包括:显示部131,将经拍摄的行驶影像与提示个体进行结合,从而输出增强现实图像。该情况下,控制部170可以控制显示部131生成用于前方车辆冲撞提醒的提示个体,并将经生成的用于前方车辆冲撞提醒的提示个体与增强现实图像的前方车辆显示区域重叠显示。其中,出现的提示个体可以根据与第一车辆和第二车辆之间的距离之差相对应的冲撞危险级别,表示互相不同的提示个体。作为一例,将第一车辆和第二车辆之间的距离之差分为多个级别,当车间距离小于第一值时,可以表示用于提示第一危险级别的提示个体,当车间距离大于第一值而小于第二值时,可以表示用于提示危险度相比第一危险级别高的第二危险级别的提示个体,当车间距离大于第二值时,可以表示用于提示危险度相比第二危险级别高的第三危险级别的提示个体。
图14是用于说明与根据本发明的一实施例的电子设备连接的系统网络的示意图。如图14所示,根据本发明的一实施例的电子设备100可以由导航仪、车辆用影像拍摄装置、智能手机或者其他车辆用增强现实界面提供装置等设置在车辆上的各种装置构成,可以与多种通信网以及其他电子设备61至64连接。
另外,电子设备100可以根据从人工卫星70接收的电波信号与GPS模块联动,从而能够计算目前的位置以及目前的时间。
各个人工卫星70可以发送频带不同的L波段频率。系统100可以基于从各个人工卫星70发送的L波段频率到达电子设备100为止所消耗的时间,计算目前位置。
一方面,电子设备100可以通过通信部180,并通过控制站(ACR)80、基站(RAS)85、AP(Access Point)等与网络90无线连接。当电子设备100与网络90连接时,也与网络90连接的其他电子设备61、62间接连接,从而能够交换数据。
一方面,电子设备100还可以通过具有通信功能的其他设备63,与网络90间接连接。例如,当电子设备100不具备能够与网络90连接的模块时,可以通过近距离通信模块等,与具有通信功能的其他设备63进行通信。
图15是示出根据本发明的一实施例的电子设备的车辆冲撞防止提示画面的示意图。如图15所示,电子设备100可以生成表示车辆冲撞危险的提示个体,并将生成的提示个体1001通过增强现实进行输出。
其中,提示个体1001可以是提示使用者需要注意的状态的个体。即,车辆冲撞防止提示可以是车辆与前方车辆的距离减少至预定距离以内而提示与前方车辆存在冲撞危险。在本实施例中,提示个体1001由纹理(texture)图像构成,从而能够通过增强现实表达。由此,驾驶员能够方便识别自己车辆行驶中的道路。
另外,电子设备100可以通过语音输出提示个体1001。
图16是示出根据本发明的一实施例的电子设备不具备拍摄部时的体现形态的示意图。如图16所示,与电子设备100分开设置的车辆用影像拍摄装置200可以利用有线/无线通信方式构成根据本发明的一实施例的系统。
电子设备100可以包括设置在壳体191的前面的显示部131、使用者输入部121和麦克部123。
车辆用影像拍摄装置200可以包括相机222、麦克224以及粘接部281。
图17是示出根据本发明的一实施例的电子设备具备拍摄部时的体现形态的示意图。如图17所示,当电子设备100包括拍摄部150时,可以是电子设备100的拍摄部150拍摄车辆的前方,使用者可以识别电子设备100的显示部分的装置。由此,可以构成根据本发明的一实施例的系统。
图18是示出利用根据本发明的一实施例的HUD(平视显示器;Head-UpDisplay)的体现形态的示意图。如图18所示,HUD可以与其他设备通过有/无线通信,从而将增强现实提示画面显示在HUD上。
作为一例,增强现实可以是通过利用车辆前窗的HUD或者利用另外的影像输出装置的影像合成等来提供,如上所述,增强现实提供部160可以生成现实影像或者在玻璃上覆盖的界面图像等。由此,可以构成增强现实导航仪或者车辆信息娱乐系统等。
图19是示出根据本发明的一实施例的自动驾驶系统的框图。如图19所示,设置在车辆1000上的自动驾驶系统2000可以包括车间距离测量装置10和自动驾驶控制装置300。
其中,车间距离测量装置10可以测量车辆1000和前方车辆之间的距离,将测量的车间距离值可以传送到自动驾驶控制装置300。
该情况下,自动驾驶控制装置300可以基于从车间距离测量装置10获取的车间距离信息,控制车辆1000的自动驾驶。具体地,当获取的车间距离小于预设的距离时,自动驾驶控制装置300可以控制车辆1000的速度从目前速度减速到预定速度或者控制设置在车辆1000上的各种单元(制动器、方向盘等)以使车辆1000停车。即,车辆1000可以基于从车间距离测量装置10获取的车间距离,控制车辆1000的自动驾驶。
另外,根据本发明的又一其他实施例的自动驾驶控制装置300可以向车辆1000的驱动装置产生指令来控制行驶速度以使从所述车间距离测量装置10获取的车间距离保持预设的一定距离。
另外,为了使经检测的前方车辆的宽度和所述前方车辆所处的车道的宽度之间的比例保持一定的值,根据本发明的又一其他实施例的自动驾驶控制装置300可以控制车辆1000的车速以使车辆1000和所述前方车辆的距离保持一定距离。
一方面,作为其他实施例,根据本发明的车间距离测量方法可以由自动驾驶车辆2000的控制装置2100内的模块构成。即,可以使控制装置2100的存储器2122和处理器2124通过软件体现根据本发明的车间距离测量方法。
以下,参考图20更加详细说明。
图20是示出根据本发明的一实施例的自动驾驶车辆2000的结构的框图。
如图20所示,根据本实施例的自动驾驶车辆2000可以包括控制装置2100、感应模块2004a、2004b、2004c、2004d、引擎2006以及用户界面2008。
在本实施例中,控制装置2100可以包括控制器2120、传感器2110、无线通信装置2130、LIDAR(激光雷达)2140以及相机模块2150,所示控制器2120包括存储器2122和处理器2124。
在本实施例中,控制器2120可以是车辆的制造公司在制造车辆时进行设置,或者是在制造车辆之后,为了执行自动驾驶的功能而进一步设置。或者,可以包括如下结构,即通过对制造时设置的控制器2120进行升级,从而持续执行附加功能。
控制器2120可以向包括车辆内其他结构的传感器2110、引擎2006、用户界面2008、无线通信装置2130、LIDAR2140以及相机模块2150传送控制信号。另外,虽未图示,也可以向与车辆的行驶有关的加速装置、制动系统、转向装置或者导航仪传送控制信号。
在本实施例中,控制器2120可以控制引擎2006,例如,可以感应自动驾驶车辆2000行驶中的道路的限速,控制引擎2006使行驶速度不超过限速,或者控制引起引擎2006使自动驾驶车辆2000的行驶速度在不超过限速范围内进行加速。另外,控制器2120可以感应自动驾驶车辆2000行驶中与位于前方的车辆之间的距离,控制引起2006根据车间距离控制车速。另外,进一步地,感应模块2004a、2004b、2004c、2004d可以感应车辆外部的环境并传送到传感器2110,此时,控制器2120接收该信息,生成控制引擎2006或者转向装置(未图示)的信号,从而控制车辆行驶。
当在车辆的前方存在其他车辆或者障碍物时,控制器2120可以控制引擎2006或者制动系统以使行驶车辆减速,除了车速之外,还可以控制轨迹、行驶路线、转向角。另外,控制器2120可以根据车辆的行驶车线、行驶信号等其他外部环境的识别信息,生成所需的控制信号,从而控制车辆行驶。
控制器2120除了生成自身的控制信号之外,还可以与周围车辆或者中央服务器进行通信,并通过接收的信息,传送用于控制周围装置的指令,从而可以控制车辆行驶。
在本实施例中,控制器2120可以包括存储器2122和处理器2124。处理器2124可以根据控制器2120的控制信号运行存储在存储器2122中的软件。具体地,控制器2120可以将用于执行根据本发明的车间距离测量方法的数据以及指令存储在存储器2122中,指令为了实现在此公开的一个以上的方法而由处理器2124执行。
此时,存储器2122可以存储在可在非挥发性处理器2124执行的记录介质。存储器2122可以通过适当的内外部装置存储软件和数据。存储器2122可以由RAM、ROM、硬盘、与适配器连接的存储器2122装置构成。
存储器2122至少可以存储操作系统(OS,Operating system)、使用者应用程序、可执行指令。存储器2122还可以存储应用数据、排列数据结构。
处理器2124作为微处理器或者适当的电子处理器,可以为控制器、微控制器或者状态机。
处理器2124可以由计算装置的组合体现,计算装置可以由数字信号处理器、微处理器或者其组合构成。
另外,在本实施例中,控制装置2100可以通过至少一个传感器2110监控自动驾驶车辆2000的内外部特征,并感应状态。
传感器2110可以由至少一个感应模块2004构成,感应模块2004可以根据感应目的,设置在自动驾驶车辆2000的特定位置。可以位于自动驾驶车辆2000的下部、后端、前端、上端或者侧端,也可以位于车辆的内部器件或者轮胎等上。
由此,感应模块2004作为车辆的内部信息,可以感应引擎2006、轮胎、转向角、车速、车辆的重量等与行驶有关的信息。另外,至少一个感应模块2004可以由加速度传感器2110、陀螺仪、图像传感器2110、RADAR、超声波传感器、LIDAR传感器等构成,可以感应自动驾驶车辆2000的移动信息。
感应模块2004作为外部信息,可以接收自动驾驶车辆2000所处的道路的状态信息、周围车辆信息、天气等与外部环境状态有关的特定数据,还可以基于此感应车辆的参数。经感应的信息可以根据暂时或者长期目的,存储在存储器2122中。
在本实施例中,传感器2110可以合并多个感应模块2004的信息进行收集,所述感应模块2004用于收集在自动驾驶车辆2000的内外部产生的信息。
控制装置2100可以进一步包括无线通信装置2130。
无线通信装置2130是为了体现与自动驾驶车辆2000之间的无线通信而形成的。例如,可以使自动驾驶车辆2000与使用者的智能手机或者其他无线通信装置2130、其他车辆、中央装置(交通控制装置)、服务器等进行通信。无线通信装置2130可以根据连接无线协议收发无线信号。无线通信协议可以是Wi-Fi、蓝牙(Bluetooth)、Long-Term Evolution(长期演进;LTE)、Code Division Multiple Access(码分多址;CDMA)、Wideband Code DivisionMultiple Access(宽带码分多址;WCDMA)、Global Systems for Mobile Communications(全球移动通信系统;GSM),通信协议并不受此限定。
另外,在本实施例中,自动驾驶车辆2000还可以通过无线通信装置2130进行车辆间通信。即,无线通信装置2130可以通过车辆对车辆(V2V)通信(vehicle-to-vehiclecommunication)与道路上的其他车辆以及其他车辆进行通信。自动驾驶车辆2000可以通过车辆间通信收发行驶警告、交通信息等信息,还可以向其他车辆邀请信息或者接收邀请。例如,无线通信装置2130可以通过专用短程通信(DSRC,dedicated short-rangecommunication)装置或者C-V2V(Celluar-V2V)装置进行V2V通信。另外,除了车辆之间的通信之外,还可以通过无线通信装置2130进行车辆和其他事物(例如,行人所携带的电子设备等)之间的通信(V2X,Vehicle to Everything communication)。
另外,控制装置2100可以包括LIDAR装置2140。LIDAR装置2140可以利用通过LIDAR传感器感应到的数据,在动作中探索自动驾驶车辆2000周围的个体。LIDAR装置2140可以向控制器2120传送经探索的信息,控制器2120可以根据探索信息,使自动驾驶车辆2000动作。例如,当在探索信息中包含存在低速行驶的前方车辆的情况时,控制器2120可以通过引擎2006做出使车辆减速的指令。或者,可以根据车辆所要进入的弯道的弯曲率,做出减速进入的指令。
控制装置2100可以进一步包括相机模块2150。控制器2120可以从相机模块2150拍摄的外部图像中提取个体信息,然后控制器2120处理与此有关的信息。
另外,控制装置2100可以进一步包括用于识别外部环境的成像装置。除了LIDAR2140之外,还可以使用RADAR、GPS装置、行驶距离测量装置(Odometry)以及其他计算机视觉装置,该装置可以根据需要选择性或者同时启动,从而能够更加准确地进行感应。
自动驾驶车辆2000可以进一步包括用户界面2008,其针对上述控制装置2100,供使用者进行输入。用户界面2008可以通过适当的相互作用供使用者输入信息。例如,可以由触摸屏、键盘、操作按钮等构成。用户界面2008可以向控制器2120传送输入或者指令,控制器2120作为对输入或者指令的应答,可以控制车辆的动作。
另外,用户界面2008可以使自动驾驶车辆2000通过无线通信装置2130与自动驾驶车辆2000外部的装置进行通信。例如,用户界面2008可以与智能手机、平板电脑或者其他计算机设备进行连动。
进一步地,在本实施例中说明自动驾驶车辆2000包括引擎2006,然而还可以包括其他类型的推进系统。例如,车辆可以通过电能运行,可以通过氢能或者组合其的混合系统运行。因此,控制器2120可以包括基于自动驾驶车辆2000的推进系统的推进机制,然后向各个推进机制结构提供基于此的控制信号。
以下,参考图21更加详细说明根据本实施例的用于执行根据本发明的车间距离测量方法的控制装置2100的具体结构。
控制装置2100包括处理器2124。处理器2124可以是常用单一或者多种芯片微处理器、专用微处理器、微控制器、可编程门阵列等。处理器可以被称为中央处理器(CPU)。另外,在本实施例中,处理器2124还可以由多个处理器的组合来使用。
控制装置2100还包括存储器2122。存储器2122还可以是能够存储电子信息的任意的电子元件。存储器2122也是除了单一存储器之外,还可以包括存储器2122的组合。
用于执行根据本发明的车间距离测量方法的数据以及指令2122a可以存储在存储器2122中。当处理器2124执行指令2122a时,指令2122a和执行指令所需的数据2122b的全部或者一部分还可以被加载2124a、2124b到处理器2124上。
控制装置2100还可以包括允许进行信号收发的发送器2130a、接收器2130b或者收发器2130c。一个以上的天线2132a、2132b还可以与发送器2130a、接收器2130b或者各个收发器2130c进行电连接,还可以进一步包括电线。
控制装置2100还可以包括数字信号处理器(DSP)2170。可以通过DSP2170使车辆快速处理数字信号。
控制装置2100还可以包括通信界面2180。通信界面2180还可以包括用于将其他装置与控制装置2100进行连接的一个以上的界面以及/或者通信模块。通信界面2180可以使使用者与控制装置2100相互作用。
控制装置2100的多种结构还可以通过一个以上的总线2190连接为一体,总线2190还可以包括电力总线、控制信号总线、状态信号总线、数据总线等。通过处理器2124的控制,结构可以通过总线2190传递相互信息,并执行所期待的功能。
一方面,为了方便说明,上述实施例中举出计算基准车辆和前方车辆之间的距离的例子进行了说明,然而并不局限于此。根据本发明的车间距离测量方法也可以相同适用在计算基准车辆和后方车辆之间的距离。
一方面,在说明书以及权利要求范围中“第一”、“第二”、“第三”以及“第四”等术语时,假设有记载的话,其是为了区分类似的构成要素之间而使用的,而且并不是一定的,其是为了说明特定顺序或者发生顺序而使用的。与其相同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的实施例例如可以按照未在此处示出或者说明的其他顺序执行。与此相同地,当此处记载为方法包括一系列步骤时,此处公开的该步骤的顺序并不是一定执行该步骤的顺序,可以省略任意的记载的步骤以及/或者在该方法可以追加未在此处记载的任意的其他步骤。
另外,说明书以及权利要求范围的“左侧”、“右侧”、“前”、“后”、“上部”、“底部”、“在上”、“在下”等术语是为了说明而使用的,并不一定是说明不变的相对位置。与其相同使用的术语应理解为可在适当的环境下进行互换以使此处记载的本发明的实施例例如可以朝未在此处示出或者说明的其他方向动作。此处使用的术语“连接”被定义为是通过电力或者非电力方式直接或者间接连接。此处记载为相互“邻接”的对象根据使用该语句的文章而适当地可以为相互物理接触或者相互邻接或者相互在相同的一般范围或者区域的对象。此处存在的“一实施例中”的语句指代相同的实施例,但并不是一定的。
另外,在说明书以及权利要求范围中“被连接”、“连接的”、“被连结”、“连结的”、“被结合”、“结合的”等表述的多种变形称呼作为包括与其他构成要素直接连接或者通过其他构成要素间接连接的含义而使用。
另外,对在本说明书中使用的构成要素的接尾词“模块”以及“部”是仅考虑方便撰写说明书而赋予或者混用的,其本身并不具有相互区分的含义或者作用。
另外,本说明书中使用的术语是为了说明实施例而不是用来限定本发明。在本说明书中,在文章中未作特别提及时,单数形式包括复数形式。说明书中使用的“包括(comprise)”以及/或者“包括(comprising)”是在所提及的构成要素、步骤、动作以及/或者元件中不排除一个以上的其他构成要素、步骤、动作以及/或者元件的存在或者附加。
以上针对本发明以其优选实施例为中心进行了说明。通过本说明书公开的所有实施例和条件性示例是本领域技术人员为了使读者方便理解本发明的原理和概念而记载的,本领域技术人员应理解本发明在不脱离本发明的本质上的特性的范围内可以由变形的形态体现。
因此,应在说明的观点而不是限定的观点上考虑公开的实施例。本发明的范围记载在专利权利要求范围而不是所述的说明,而且与其相同范围内的所有不同之处应解释为包含在本发明中。
一方面,上述的根据本发明的多种实施例的车间距离测量方法可以由程序体现并提供给服务器或者设备。由此,各个装置与存储有程序的服务器或者设备连接,从而能够下载所述程序。
另外,上述的根据本发明的多种实施例的控制方法可以由程序体现,并存储在多种非临时性可读介质(non-transitory computer readable medium)中来提供。非临时性可读介质是指半永久存储数据并通过设备可读取(reading)的介质而不是如寄存器、高速缓存、存储器等段时间内存储数据的介质。具体地,上述的多种应用或者程序可以存储在CD、DVD、硬盘、蓝光盘、USB、记忆卡、ROM等非临时性可读介质来提供。
另外,以上针对本发明的优选实施例进行了示出和说明,然而本发明并不局限于上述特定的实施例,本领域技术人员可以在不脱离权利要求范围所请求的本发明的要旨内进行多种变形实施,不仅如此,该变形实施不应与本发明的技术思想或者前景分开理解。
Claims (17)
1.一种车间距离测量方法,其为利用处理器的车间距离测量方法,其特征在于,包括:
针对多个大小等级,分别存储车辆的宽度的步骤;
获取行驶中的第一车辆的拍摄装置拍摄的行驶影像的步骤;
从所述行驶影像检测第二车辆,计算所述经检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的比例的步骤;
基于所述计算的比例,决定所述第二车辆的大小等级的步骤;
基于所述所决定的第二车辆的大小等级,决定第二车辆的宽度的步骤;
基于所述所决定的第二车辆的宽度、所述拍摄装置的焦点距离以及所述第二车辆的影像宽度,计算从所述拍摄装置到所述第二车辆为止的距离的步骤;以及
当所述计算的距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别的步骤,
所述决定第二车辆的大小等级的步骤是基于所述计算的比例,在多个大小等级中决定所述第二车辆的大小等级,
所述多个大小等级包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中的至少两个,
所述决定第二车辆的宽度的步骤包括:
在所述经存储的车辆的宽度中,检测与所述所决定的车辆大小等级相对应的车辆的宽度的步骤;以及
将所述经检测的车辆的宽度决定为所述第二车辆的宽度的步骤。
2.根据权利要求1所述的车间距离测量方法,其特征在于,
所述计算比例的步骤包括:
在所述行驶影像中包含的多个车辆中检测作为距离测量对象的所述第二车辆的步骤;
在所述行驶影像中识别所述第二车辆行驶中的车道的左侧车线和右侧车线的步骤;以及
将所述经识别的左侧车线和所述经识别的右侧车线之间的影像宽度决定为所述第二车辆所处的车道的影像宽度的步骤。
3.根据权利要求1所述的车间距离测量方法,其特征在于,
所述计算比例的步骤包括:
在所述经检测的第二车辆的影像中识别所述第二车辆的左侧边界和右侧边界的步骤;以及
将所述经识别的左侧边界和所述经识别的右侧边界之间的影像宽度决定为所述第二车辆的影像宽度的步骤。
4.根据权利要求1所述的车间距离测量方法,其特征在于,
所述决定第二车辆的大小等级的步骤包括:
当所述计算的比例小于第一值时,将所述第二车辆的大小等级决定为所述第一大小等级的步骤;
当所述计算的比例大于所述第一值而小于第二值时,将所述第二车辆的大小等级决定为所述第二大小等级的步骤;以及
当所述计算的比例大于第二值时,将所述第二车辆的大小等级决定为所述第三大小等级的步骤。
5.根据权利要求1所述的车间距离测量方法,其特征在于,
当所述第一车辆行驶在所述车道上时,检测所述第二车辆的步骤是在所述行驶影像中包含的多个车辆中,检测与所述第一车辆位于相同车道上的所述第二车辆。
6.根据权利要求1所述的车间距离测量方法,其特征在于,
当所述第一车辆脱离所述车道时,检测所述第二车辆的步骤是在所述行驶影像中包含的多个车辆中,检测位于所述第一车辆的前面所朝向的车道上的所述第二车辆。
7.根据权利要求1所述的车间距离测量方法,其特征在于,所述计算距离的步骤是基于以下数学式计算从所述拍摄装置到所述第二车辆为止的距离,
【数学式】
D=W×(f÷w)
所述D为从所述拍摄装置到所述第二车辆为止的距离,所述W为所述第二车辆的宽度,所述f为所述拍摄装置的焦点距离,所述w为所述第二车辆的影像宽度。
8.一种车间距离测量装置,其特征在于,包括:
影像获取部,获取行驶中的第一车辆的拍摄装置拍摄的行驶影像;
检测部,从所述行驶影像检测第二车辆;
比例计算部,计算所述经检测的第二车辆的影像宽度和所述第二车辆所处的车道的影像宽度之间的比例;
车辆大小等级计算部,基于所述计算的比例,决定所述第二车辆的大小等级;
车辆宽度计算部,基于所述所决定的第二车辆的大小等级,决定第二车辆的宽度;以及
距离计算部,基于所述所决定的第二车辆的宽度、所述拍摄装置的焦点距离以及所述第二车辆的影像宽度,计算从所述拍摄装置到所述第二车辆为止的距离;
存储部,针对多个大小等级,分别存储车辆的宽度;以及
提示数据生成部,当所述计算的距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别,
其中所述车辆大小等级计算部基于所述计算的比例,在多个大小等级中决定所述第二车辆的大小等级,
所述多个大小等级包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中的至少两个,
所述车辆大小等级计算部在所述经存储的车辆的宽度中,检测与所述所决定的车辆大小等级相对应的车辆的宽度。
9.根据权利要求8所述的车间距离测量装置,其特征在于,
所述检测部在所述行驶影像中包含的多个车辆中,检测作为距离测量对象的所述第二车辆,
所述比例计算部在所述行驶影像中识别所述第二车辆行驶中的车道的左侧车线和右侧车线,将所述经识别的左侧车线和所述经识别的右侧车线之间的影像宽度决定为所述第二车辆所处的车道的影像宽度。
10.根据权利要求8所述的车间距离测量装置,其特征在于,所述比例计算部在所述经检测的第二车辆的影像中识别所述第二车辆的左侧边界和右侧边界,将所述经识别的左侧边界和所述经识别的右侧边界之间的影像宽度决定为所述第二车辆的影像宽度。
11.根据权利要求8所述的车间距离测量装置,其特征在于,所述车辆大小等级计算部是
当所述计算的比例小于第一值时,将所述第二车辆的大小等级决定为所述第一大小等级,
当所述计算的比例大于所述第一值而小于第二值时,将所述第二车辆的大小等级决定为所述第二大小等级,
当所述计算的比例大于第二值时,将所述第二车辆的大小等级决定为所述第三大小等级。
12.根据权利要求8所述的车间距离测量装置,其特征在于,所述检测部在所述行驶影像中包含的多个车辆中,检测与所述第一车辆位于相同车道上的所述第二车辆。
13.根据权利要求8所述的车间距离测量装置,其特征在于,所述检测部在所述行驶影像中包含的多个车辆中,检测位于所述第一车辆的前面所朝向的车道上的所述第二车辆。
14.根据权利要求8所述的车间距离测量装置,其特征在于,所述距离计算部基于以下数学式计算从所述拍摄装置到所述第二车辆为止的距离,
【数学式】
D=W×(f÷w)
所述D为从所述拍摄装置到所述第二车辆为止的距离,所述W为所述第二车辆的宽度,所述f为所述拍摄装置的焦点距离,所述w为所述第二车辆的影像宽度。
15.一种电子设备,其为基于车间距离提供用于辅助驾驶员的提示的电子设备,其特征在于,包括:
输出部,输出所述驾驶员可以确认的提示信息;
影像获取部,获取拍摄装置拍摄的行驶影像;
比例计算部,从所述行驶影像检测前方车辆,计算所述经检测的前方车辆的影像宽度和所述前方车辆所处的车道的影像宽度之间的比例;
车辆大小等级计算部,基于所述计算的比例,决定所述前方车辆的大小等级;
车辆宽度计算部,基于所述所决定的前方车辆的大小等级,决定所述前方车辆的车辆宽度;
距离计算部,基于所述所决定的前方车辆的车辆宽度、所述拍摄装置的焦点距离以及所述前方车辆的影像宽度,计算从所述拍摄装置到所述前方车辆为止的距离;
控制部,控制所述输出部根据所述计算的距离输出前方车辆冲撞提示;
存储部,针对多个大小等级,分别存储车辆的宽度;以及
提示数据生成部,当所述计算的距离小于预设的距离时,生成提示数据用于提示与所述第一车辆和所述第二车辆之间的距离之差相对应的冲撞危险级别,
其中所述车辆大小等级计算部基于所述计算的比例,在多个大小等级中决定所述第二车辆的大小等级,
所述多个大小等级包括与小型车相对应的第一大小等级、与中型车相对应的第二大小等级以及与大型车相对应的第三大小等级中的至少两个,
所述车辆大小等级计算部在所述经存储的车辆的宽度中,检测与所述所决定的车辆大小等级相对应的车辆的宽度。
16.根据权利要求15所述的电子设备,其特征在于,
所述输出部进一步包括:显示部,将所述经拍摄的行驶影像与提示个体进行结合,从而输出增强现实图像,
所述控制部控制所述显示部生成用于所述前方车辆冲撞提示的提示个体,并将所述经生成的用于前方车辆冲撞提示的提示个体与所述增强现实图像的前方车辆显示区域重叠显示。
17.一种计算机可读记录介质,其记录有用于执行权利要求1至7中任一项的方法的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310336732.7A CN116338666A (zh) | 2018-12-06 | 2019-12-04 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180156143A KR102622169B1 (ko) | 2018-12-06 | 2018-12-06 | 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
KR10-2018-0156143 | 2018-12-06 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310336732.7A Division CN116338666A (zh) | 2018-12-06 | 2019-12-04 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111289958A CN111289958A (zh) | 2020-06-16 |
CN111289958B true CN111289958B (zh) | 2023-06-20 |
Family
ID=68808103
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310336732.7A Pending CN116338666A (zh) | 2018-12-06 | 2019-12-04 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
CN201911226519.0A Active CN111289958B (zh) | 2018-12-06 | 2019-12-04 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310336732.7A Pending CN116338666A (zh) | 2018-12-06 | 2019-12-04 | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 |
Country Status (4)
Country | Link |
---|---|
US (4) | US11318957B2 (zh) |
EP (1) | EP3663977A1 (zh) |
KR (2) | KR102622169B1 (zh) |
CN (2) | CN116338666A (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3403146A4 (en) * | 2016-01-15 | 2019-08-21 | iRobot Corporation | AUTONOMOUS MONITORING ROBOT SYSTEMS |
US11037002B2 (en) * | 2019-02-08 | 2021-06-15 | ANI Technologies Private Limited | Calibration of fixed image-capturing device for depth estimation |
JP7003972B2 (ja) * | 2019-06-11 | 2022-01-21 | トヨタ自動車株式会社 | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム |
CN112652173B (zh) * | 2019-10-11 | 2022-05-03 | 深圳富泰宏精密工业有限公司 | 行车安全提示方法、车辆及存储介质 |
JP2022172928A (ja) * | 2021-05-07 | 2022-11-17 | ウーブン・プラネット・ホールディングス株式会社 | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム |
CN113433537A (zh) * | 2021-06-24 | 2021-09-24 | 东风汽车集团股份有限公司 | 一种影像式测距倒车雷达及测距方法 |
KR20230005034A (ko) * | 2021-06-30 | 2023-01-09 | 현대자동차주식회사 | 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법 |
US11845439B2 (en) * | 2021-09-29 | 2023-12-19 | Canoo Technologies Inc. | Prediction of target object's behavior based on world and image frames |
WO2023063578A1 (en) * | 2021-10-13 | 2023-04-20 | Samsung Electronics Co., Ltd. | A method and system for generating mixed reality environment for indicating navigation events |
US11794766B2 (en) * | 2021-10-14 | 2023-10-24 | Huawei Technologies Co., Ltd. | Systems and methods for prediction-based driver assistance |
US20230322248A1 (en) * | 2022-04-06 | 2023-10-12 | Gm Global Technology Operation Llc | Collision warning system for a motor vehicle having an augmented reality head up display |
CN115534801B (zh) * | 2022-08-29 | 2023-07-21 | 深圳市欧冶半导体有限公司 | 车灯自适应调光方法、装置、智能终端及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102427982A (zh) * | 2009-05-19 | 2012-04-25 | 株式会社伊美吉内柯斯特 | 利用车辆周边影像的车线脱离检测方法及装置 |
DE102013022050A1 (de) * | 2013-12-23 | 2015-06-25 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
CN105398379A (zh) * | 2014-09-05 | 2016-03-16 | 现代摩比斯株式会社 | 驾驶辅助影像显示方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5590217A (en) * | 1991-04-08 | 1996-12-31 | Matsushita Electric Industrial Co., Ltd. | Vehicle activity measuring apparatus |
US6317691B1 (en) * | 2000-02-16 | 2001-11-13 | Hrl Laboratories, Llc | Collision avoidance system utilizing machine vision taillight tracking |
US7786898B2 (en) * | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
JP4420011B2 (ja) | 2006-11-16 | 2010-02-24 | 株式会社日立製作所 | 物体検知装置 |
JP4775391B2 (ja) * | 2008-03-18 | 2011-09-21 | 株式会社デンソー | 障害物検出装置 |
US9041806B2 (en) * | 2009-09-01 | 2015-05-26 | Magna Electronics Inc. | Imaging and display system for vehicle |
EP2686841B1 (en) * | 2011-03-14 | 2016-09-28 | The Regents of The University of California | Method and system for vehicle classification |
JP5752729B2 (ja) * | 2013-02-28 | 2015-07-22 | 富士フイルム株式会社 | 車間距離算出装置およびその動作制御方法 |
JP6087858B2 (ja) * | 2014-03-24 | 2017-03-01 | 株式会社日本自動車部品総合研究所 | 走行区画線認識装置及び走行区画線認識プログラム |
KR101510050B1 (ko) * | 2014-04-15 | 2015-04-07 | 현대자동차주식회사 | 차량 주행 제어 장치 및 방법 |
KR20150140449A (ko) * | 2014-06-05 | 2015-12-16 | 팅크웨어(주) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 |
US10071748B2 (en) * | 2015-09-17 | 2018-09-11 | Sony Corporation | System and method for providing driving assistance to safely overtake a vehicle |
KR101788183B1 (ko) | 2015-12-28 | 2017-10-20 | 현대자동차주식회사 | 차량 및 그 제어방법 |
JP6380422B2 (ja) | 2016-02-05 | 2018-08-29 | トヨタ自動車株式会社 | 自動運転システム |
KR20170098488A (ko) * | 2016-02-22 | 2017-08-30 | 주식회사 만도 | 운전지원장치 및 운전지원방법 |
US10203408B2 (en) * | 2016-07-29 | 2019-02-12 | Faraday & Future Inc. | Method and apparatus for detection and ranging fault detection and recovery |
KR20180081966A (ko) * | 2017-01-09 | 2018-07-18 | 주식회사 만도 | 차량 인식을 통한 영상 교정 방법 |
JP6280659B2 (ja) * | 2017-02-02 | 2018-02-14 | 株式会社東芝 | 車両監視装置、および車両監視方法 |
DE102017106952A1 (de) | 2017-03-31 | 2018-10-04 | Connaught Electronics Ltd. | Abstandssteuerung für ein fahrzeug mit anhänger |
CN111292351A (zh) * | 2018-12-07 | 2020-06-16 | 星克跃尔株式会社 | 车辆检测方法及执行其的电子设备 |
US11680813B2 (en) | 2020-01-21 | 2023-06-20 | Thinkware Corporation | Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image |
-
2018
- 2018-12-06 KR KR1020180156143A patent/KR102622169B1/ko active IP Right Grant
-
2019
- 2019-12-04 CN CN202310336732.7A patent/CN116338666A/zh active Pending
- 2019-12-04 CN CN201911226519.0A patent/CN111289958B/zh active Active
- 2019-12-04 US US16/703,489 patent/US11318957B2/en active Active
- 2019-12-06 EP EP19214016.8A patent/EP3663977A1/en active Pending
-
2021
- 2021-07-29 US US17/388,222 patent/US11814063B2/en active Active
- 2021-09-24 US US17/484,196 patent/US11814064B2/en active Active
-
2023
- 2023-11-10 US US18/388,612 patent/US20240075949A1/en active Pending
-
2024
- 2024-01-03 KR KR1020240000736A patent/KR20240006009A/ko not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102427982A (zh) * | 2009-05-19 | 2012-04-25 | 株式会社伊美吉内柯斯特 | 利用车辆周边影像的车线脱离检测方法及装置 |
DE102013022050A1 (de) * | 2013-12-23 | 2015-06-25 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Verfolgen eines Zielfahrzeugs, insbesondere eines Motorrads, mittels eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug |
CN105398379A (zh) * | 2014-09-05 | 2016-03-16 | 现代摩比斯株式会社 | 驾驶辅助影像显示方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3663977A1 (en) | 2020-06-10 |
US20240075949A1 (en) | 2024-03-07 |
CN111289958A (zh) | 2020-06-16 |
KR102622169B1 (ko) | 2024-01-08 |
KR20200069040A (ko) | 2020-06-16 |
US11814064B2 (en) | 2023-11-14 |
US20210354716A1 (en) | 2021-11-18 |
US11318957B2 (en) | 2022-05-03 |
KR20240006009A (ko) | 2024-01-12 |
CN116338666A (zh) | 2023-06-27 |
US20220009515A1 (en) | 2022-01-13 |
US11814063B2 (en) | 2023-11-14 |
US20200180656A1 (en) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111289958B (zh) | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 | |
CN113212498B (zh) | 车间距离测量方法、车间距离测量装置、电子设备、计算机程序以及计算机可读记录介质 | |
CN111284487B (zh) | 车道线显示方法以及执行该方法的电子设备 | |
US11828615B2 (en) | AR processing device, augmented reality-based route guidance method and electronic device | |
KR102233391B1 (ko) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 | |
US11727693B2 (en) | Method, apparatus, electronic device, computer program and computer-readable recording medium for detecting lane marking based on vehicle image | |
KR20200069084A (ko) | 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
KR20160065724A (ko) | 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
KR20200069542A (ko) | 차선 내 안내 정보 추출을 통한 경로 안내 방법 및 이를 수행하는 전자 기기 | |
KR102406490B1 (ko) | 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
US20230273033A1 (en) | Method, apparatus, electronic device, computer program, and computer readable recording medium for measuring inter-vehicle distance based on vehicle image | |
KR20200070100A (ko) | 차량 검출 방법 및 이를 수행하는 전자 기기 | |
KR20200070101A (ko) | 차선 표시 방법 및 이를 수행하는 전자 기기 | |
KR102371620B1 (ko) | 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체 | |
CN110263688B (zh) | 驾驶相关引导提供方法及装置、计算机可读记录介质 | |
KR20220018425A (ko) | 증강 현실 처리 장치, 증강현실 기반 경로 안내 방법 및 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |