CN111836039B - 摄像机信号监测装置和方法 - Google Patents

摄像机信号监测装置和方法 Download PDF

Info

Publication number
CN111836039B
CN111836039B CN202010307893.XA CN202010307893A CN111836039B CN 111836039 B CN111836039 B CN 111836039B CN 202010307893 A CN202010307893 A CN 202010307893A CN 111836039 B CN111836039 B CN 111836039B
Authority
CN
China
Prior art keywords
signal
vehicle
camera
value
information input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010307893.XA
Other languages
English (en)
Other versions
CN111836039A (zh
Inventor
黄泰勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Priority to CN202110871773.7A priority Critical patent/CN113395514B/zh
Publication of CN111836039A publication Critical patent/CN111836039A/zh
Application granted granted Critical
Publication of CN111836039B publication Critical patent/CN111836039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0048—Addition or subtraction of signals
    • B60W2050/0049—Signal offset
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种摄像机信号监测装置和方法，摄像机信号监测装置包括：接收车辆速度和车辆横摆角速度信号的车辆信息输入单元；接收高精度地图提供的道路曲率信号的导航信息输入单元；接收来自车辆前置摄像机的摄像机信号的摄像机信息输入单元，其中摄像机信号包括车辆速度和横摆角速度信号；以及监测单元，用于基于从车辆信息输入单元输入的车辆速度和车辆横摆角速度信号、或来自导航信息输入单元的道路曲率信号中的至少一者计算参考曲率值，并且通过将计算的参考曲率值与使用摄像机信息输入单元输入的摄像机信号计算的曲率值进行对比来确定可靠性。

Description

摄像机信号监测装置和方法
技术领域
本发明涉及一种摄像机信号监测装置和方法，特别地，涉及一种确定车辆前置摄像机输出信号是否存在异常的摄像机信号监测装置和方法。
背景技术
近年来，为了方便车辆驾驶员使用车辆，各种传感器和电子设备应用在车辆中。特别地，为了驾驶员的便利，进行了大量关于高级驾驶员辅助系统(ADAS)的研究。此外，自动驾驶车辆也在积极研发中。
另外，很多车辆制造商都在基于自己的算法和系统提供半自动驾驶功能。典型的半自动驾驶系统主要包括以下部分：智能巡航控制系统，该系统用于保持和前方车辆的相对速度并结合导航控制车辆；车道辅助系统(LKA)，该系统用于将车辆保持在车道内；前向避撞辅助系统；紧急制动系统等。
该些系统基于车辆前置摄像机的输入信息来执行车辆控制，车辆前置摄像机接收车辆的横摆角速度信号和车辆速度信息，向系统提供用于车辆控制的车道信息，车道偏移，曲率信息等。
由此可见，前置摄像头输出的信息的可靠性很重要。在相关技术中，车辆控制器不能解析摄像机内部的信号处理，因此无法确认前置摄像机信号是否存在异常，或者在什么时间和什么情况下检查该信号。当前置摄像机内部使用的横摆角速度信号出现不当输入或错误校正时，会导致输出值错误，从而使得基于前置摄像机执行车辆控制时出现故障。
发明内容
本发明是在考虑到相关技术的上述问题的情况下作出的，本发明的目的是提出一种摄像机信号监测装置和方法，该方法基于摄像机内部算法的可靠性来确定车辆前置摄像机输出的信号是否异常。
根据本发明的一方面，摄像机信号监测装置包括：接收车辆速度和车辆横摆角速度信号的车辆信息输入单元；接收高精度地图提供的道路曲率信号的导航信息输入单元；接收来自车辆前置摄像机的摄像机信号的摄像机信息输入单元，其中摄像机信号包括车辆速度和横摆角速度信号；以及监测单元，用于基于从车辆信息输入单元输入的车辆速度和车辆横摆角速度信号、或来自导航信息输入单元的道路曲率信号中的至少一者计算参考曲率值，并且通过将计算的参考曲率值与使用摄像机信息输入单元输入的摄像机信号计算的曲率值进行对比来确定可靠性。
根据本发明，监测单元可包括信号处理单元，监测单元包括信号处理单元，用于对从车辆信息输入单元、导航信息输入单元和摄像机信息输入单元中的至少一者输入的信号进行过滤。
根据本发明，监测单元可包括车辆轨迹计算器，用于基于来自车辆信息输入单元的经过偏移校正的横摆角速度信号和车辆速度计算车辆行驶轨迹，其中，车辆轨迹计算器通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值来计算第一曲率值。
根据本发明，车辆轨迹计算器可用于在车辆速度值和横摆角速度值小于等于一阈值时计算车辆行驶轨迹。
根据本发明，监测单元可包括参考曲率计算器，用于通过合并由车辆轨迹计算器计算的第一曲率值和从导航信息输入单元接收的道路曲率信号的第二曲率值来计算基准曲率值。
根据本发明，参考曲率计算器可用于在导航信息输入单元输入第二曲率值时，通过合并第一曲率值和第二曲率值来计算参考曲率值，并在导航信息输入单元未输入第二曲率值时将第一曲率值设置为参考曲率值。
根据本发明，监测单元可包括可靠性测定器，用于在使用摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时，计算前置摄像机的可靠性值。
根据本发明，可靠性测定器可用于在摄像机信号曲率值与参考曲率值相比的差值大于等于上述阈值时，将摄像机信号曲率值和参考曲率值之间的差值的百分比值作为前置摄像机的可靠性值。
根据本发明，监测单元可用于在预定时间段内可靠性值大于等于阈值时，确定前置摄像机的信号为异常，并输出前置摄像机异常信号，其中，监测单元用于将前置摄像机异常信号输出到告警单元和车辆控制单元中的至少一者，告警单元用于将异常通知驾驶员，车辆控制单元用于通过将使用前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
根据本发明的另一方面，摄像机信号监测方法包括：监测单元从车辆信息输入单元接收车辆的车辆速度和车辆横摆角速度信号；监测单元从导航信息输入单元接收高精度地图提供的道路曲率信号；监测单元从摄像机信息输入单元接收车辆前置摄像机的摄像机信号，摄像机信号包括车辆速度和横摆角速度信号；监测单元基于所述车辆信息输入单元输入的车辆速度和车辆横摆角速度信号、或来自所述导航信息输入单元的道路曲率信号中的至少一者，计算参考曲率值；以及监测单元通过将计算的参考曲率值与使用摄像机信息输入单元输入的摄像机信号计算出的曲率值进行对比来确定可靠性。
本发明所述方法可进一步包括：监测单元对从车辆信息输入单元、导航信息输入单元和摄像机信息输入单元中的至少一者输入的信号进行过滤。
本发明所述方法可进一步包括：监测单元在接收所述摄像机信号之后，使用所述车辆信息输入单元输入的车辆速度和车辆横摆角速度信号计算车辆行驶轨迹；其中，计算参考曲率值为：监测单元基于计算的车辆行驶轨迹和来自导航信息输入单元的道路曲率信号中的至少一者来计算参考曲率值。
基于本发明中提供的车辆行驶轨迹计算方法，计算车辆行驶轨迹可为：监测单元基于来自车辆信息输入单元的经过偏移校正的横摆角速度信号和车辆速度计算车辆行驶轨迹，并且通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值来计算第一曲率值。
基于本发明中提供的车辆行驶轨迹计算方法，计算车辆行驶轨迹可为：监测单元在车辆速度值和横摆角速度值小于等于一阈值时计算车辆行驶轨迹。
基于本发明中提供的车辆行驶轨迹计算方法，计算车辆行驶轨迹可为：监测单元通过合并由车辆轨迹计算器计算的第一曲率值和导航信息输入单元输入的道路曲率信号的第二曲率值计算参考曲率值。
基于本发明中提供的车辆行驶轨迹计算方法，计算车辆行驶轨迹可为：当导航信息输入单元输入第二曲率值时，监测单元通过合并第一曲率值和第二曲率值来计算参考曲率值，当导航信息输入单元未输入第二曲率值时，监测单元将第一曲率值设置为参考曲率值。
基于本发明中提供的可靠性确认方法，确定可靠性可为：当由摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时，监测单元计算前置摄像机的可靠性值。
基于本发明中提供的可靠性确认方法，确定可靠性可为：当摄像机信号曲率值与参考曲率值相比的差值大于等于阈值时，监测单元将摄像机信号曲率值和参考曲率值之间的差值的百分比值作为前置摄像机的可靠性值。
本发明所述方法可进一步包括：当预定时间段内可靠性值大于等于阈值时，监测单元输出通过确定前置摄像机的信号为异常，输出前置摄像机异常信号；其中，输出前置摄像机异常信号为：监测单元将前置摄像机异常信号输出到告警单元和车辆控制单元中的至少一者，告警单元用于将异常通知驾驶员，车辆控制单元用于通过将使用前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
基于本发明实施例的摄像机信号监测装置和方法的优点是：通过确定车辆前置摄像机输出的信号是否异常来确定可靠性，并将异常情况通知驾驶员或通过将车辆控制系统的操作转换到待机状态的方式进行车辆控制，从而防止使用摄像机信号控制车辆时发生故障。
此外，根据本发明实施例的摄像机信号监测装置和方法的优点还有：能够通过确定摄像机内部的计算算法是否异常、而非验证摄像机输出信号，来主要确定摄像机信号是否存在问题，当摄像机信号被修正时，可以通过对比摄像机信号和车辆信号来避免摄像机故障。
附图说明
结合附图，下面的详细描述将更进清楚地阐述本发明的上述和其他目的、特征和其它优点，其中：
图1是根据本发明实施例的摄像机信号监测装置的框图；
图2是根据本发明实施例的摄像机信号监测方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图，对根据本发明实施例的摄像机信号监测装置和方法进行描述。在这个过程中，为了清晰和方便地阐述，可能会对图中线条的粗细和组件的尺寸进行放大。
另外，下文中部分术语是基于本发明中的功能而定义的术语，可能与用户或者操作者的期望或者以往实践有所不同。因此，这些术语的定义应基于本说明书全文的内容来确定。
此外，本文所描述的实施方式例如可以实施为方法或过程、装置、软件程序、数据流或信号。尽管在本说明书中仅以单一实施形式(例如，仅作为方法)，但所讨论的特征的实现也可以其他形式(例如，设备或程序)来实现。该设备可以用合适的硬件、软件和固件等来实施。该方法可以在诸如处理器的装置中实施，其通常指处理设备，例如包括计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括便于终端用户之间通信的通信设备，例如计算机、移动电话、便携式/个人数字助理(PDAs)和其他设备。
图1是根据本发明实施例的摄像机信号监测装置的框图。参照图1，摄像机信号监测装置描述如下。
如图1所示，根据本发明实施例的摄像机信号监测装置包括车辆信息输入单元10、导航信息输入单元20、激光雷达(LiDAR)及雷达传感器输入单元30、摄像机信息输入单元40和监测单元50。
首先，车辆前置摄像机接收车辆的车辆横摆角速度信号和车辆速度信息等，并出于车辆控制的目的提供车道信息、车道偏移以及曲率信息。当前置摄像机内部使用的横摆角速度信号出现不当输入或错误校正时，会导致输出值错误，从而使得基于前置摄像机执行车辆控制时出现故障。因此，本实施例的特征在于，前置摄像机内部的信号处理单元能够确定前置摄像机是否异常，其中，当输入或校正前置摄像机的信号时，通过对比前置摄像机的摄像机信号和车辆信号来确定可靠性。具体而言，根据本实施例，当确定前置摄像机的信号异常时，监测单元50将前置摄像机异常信号输出到告警单元60和车辆控制单元70中的至少一者，其中，告警单元60用于将异常告警通知驾驶员，车辆控制单元70用于通过将车辆控制系统的操作转换到待机状态来执行控制，从而防止基于前置摄像机执行车辆控制时出现故障。
根据本实施例，车辆信息输入单元10从用于控制车辆操作的车辆控制系统接收总体车辆控制信息，并进一步接收车辆速度和车辆横摆角速度信号。此外，车辆信息输入单元10在接收车辆速度和车辆横摆角速度信号的同时，还可接收来自感测转向角、车轮速度等的传感器的感测信号。
导航信息输入单元20接收高精度地图提供的道路曲率信号，并且可以向监测单元50提供车辆行驶轨迹的道路曲率值。
激光雷达及雷达传感器输入单元30可以从车辆上的光探测和测距(LiDAR)传感器和无线电探测和测距(雷达)传感器接收感测信号。同时，虽然在本实施例中激光雷达和雷达彼此集成，但并不意味激光雷达和雷达必须作为集成传感器部署在车辆上。激光雷达传感器和雷达传感器可以单独部署，并且既可以在车辆中部署这两种传感器，或者也可以只部署这两种传感器中的一者。
摄像机信息输入单元40从车辆前置摄像机接收包括车辆速度和横摆角速度信号的摄像机信号信息，并将其提供至监测单元50。因此，在本实施例中，可以基于由摄像机信息输入单元40提供的摄像机信息来确定前置摄像机是否异常。同时，虽然在本实施例中摄像机信息输入单元40从车辆的前置摄像机接收摄像机信号，但是摄像机信息输入单元40也可以从部署在车辆其他位置的摄像机接收摄像机信号。
监测单元50基于车辆信息输入单元10和导航信息输入单元20输入的信号设定参考值，并将该参考值与摄像机信息输入单元40输入的信号进行对比，以确定前置摄像机是否异常。虽然在本实施例中没有具体描述，但是参考值的设定也可以包括激光雷达及雷达传感器输入单元30输入的曲率值。
具体而言，监测单元50包括信号处理单元52、车辆轨迹计算器54、参考曲率计算器56和可靠性测定器58。监测单元50使用车辆信息输入单元10输入的车辆速度和车辆横摆角速度信号来计算车辆行驶轨迹，再基于计算的车辆行驶轨迹和来自导航信息输入单元20的道路曲率信号中的至少一者计算参考曲率值，最后通过将计算的参考曲率值与基于摄像机信息输入单元40输入的信号计算出的曲率值进行对比来确定可靠性。
在此，信号处理单元52过滤车辆信息输入单元10、导航信息输入单元20和摄像机信息输入单元40中的至少一者输入的信号，并过滤激光雷达及雷达传感器输入单元30输入的信号。另一方面，信号处理单元52可将各过滤后的信号提供给车辆轨迹计算器54和参考曲率计算器56中的至少一者。对于从信号处理单元52接收的信号进行过滤可以通过多种方法实现。
此外，车辆轨迹计算器54基于来自车辆信息输入单元10的车辆速度和横摆角速度信号计算车辆行驶轨迹，其中横摆角速度信号可以是经过偏移校正的信号。在此，车辆轨迹计算器54可以通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值计算第一曲率值。即，第一曲率值是指车辆轨迹计算器54输出的第一信号的曲率值。
此外，当车辆速度值和横摆角速度值小于等于一阈值时，车辆轨迹计算器54计算车辆行驶轨迹。这是为了排除转向过度和突然加速/减速的情况。换言之，在转向过度或突然加速/减速的情况下，不计算车辆的行驶轨迹。
然后，参考曲率计算器56将由车辆轨迹计算器54计算的第一曲率值与从导航信息输入单元20接收的道路曲率信号的第二曲率值进行合并，从而计算出参考曲率值。即，第二曲率值是指导航信息输入单元20的高精度地图提供的道路曲率信号，也为第二信号的曲率值。
此外，当第二曲率值从导航信息输入单元20输入时，参考曲率计算器56通过合并第一曲率值和第二曲率值来计算参考曲率值，但是当第二曲率值没有从导航信息输入单元20输入时，参考曲率计算器56可以将第一曲率值设置为参考曲率值。这里，从激光雷达及雷达传感器输入单元30输入的曲率值是第三曲率值，其中，可以通过合并第一曲率值、第二曲率值和第三曲率值来计算参考曲率值，但并不限于此。
当使用摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时，可靠性测定器58可以计算前置摄像机的可靠性值。即，当由摄像机信号计算的曲率值相比参考曲率值大于一阈值或更大时，可靠性测定器58可以计算前置摄像机的可靠性值。
在此，当摄像机信号的曲率值与参考曲率值相比的差值大于等于上述阈值时，可靠性测定器58可以将摄像机信号曲率值和参考曲率值之间的差值的百分比值作为前置摄像机的可靠性值。
此外，当在预定时间段内可靠性值大于等于一阈值时，监测单元50可以确定前置摄像机的信号为异常。另外，当确定前置摄像机的信号异常时，监测单元50将前置摄像机异常信号输出到告警单元60和车辆控制单元70。即，监测单元50可以通过向告警单元60输出前置摄像机异常信号来通知驾驶员前置摄像机的异常状态，并通过将异常信号输出到车辆控制单元70来执行控制以将车辆控制系统的操作转换到待机状态，从而防止由于前置摄像机中的异常而导致故障。
图2是根据本发明实施例的摄像机信号监测方法的流程图。参照图2，摄像机信号监测方法描述如下。
如图2所示，在根据本发明实施例的摄像机信号监测方法中，监测单元50首先从车辆信息输入单元10接收车辆速度和车辆横摆角速度信号(S10)。
在此，车辆信息输入单元10从用于控制车辆操作的车辆控制系统接收总体车辆控制信息，本实施例中，接收车辆速度和车辆横摆角速度信号。
然后，监测单元50从导航信息输入单元20接收高精度地图提供的道路曲率信号(S20)。
在此，导航信息输入单元20接收高精度地图提供的道路曲率信号，并且向监测单元50提供车辆行驶轨迹的道路曲率值。在本实施例中，导航信息输入单元20输入的道路曲率信号可以被称为第二信号或第二曲率值。
接着，监测单元50从摄像机信息输入单元40接收包括车辆速度和车辆横摆角速度信号的前置摄像机信号(S30)。
在此，摄像机信息输入单元40从车辆前置摄像机接收包括车辆速度和横摆角速度信号的摄像机信号信息，并将其提供给监测单元50。根据本实施例，可以基于摄像机信息输入单元40提供的摄像机信息来确定前置摄像机是否异常。
同时，在本实施例中，监测单元50可以过滤从车辆信息输入单元10、导航信息输入单元20和摄像机信息输入单元40中的至少一者输入的信号。
然后，监测单元50可以使用车辆信息输入单元10输入的车辆速度和车辆横摆角速度信号计算车辆行驶轨迹(S40)。
在此，监测单元50基于来自车辆信息输入单元10的车辆速度和横摆角速度信号计算车辆行驶轨迹，其中横摆角速度信号可以是经过偏移校正的信号。在此，监测单元50可以通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值来计算第一曲率值(第一信号)。
此外，当车辆速度值和横摆角速度值小于等于一阈值时，监测单元50可以计算车辆行驶轨迹。这是为了排除转向过度和突然加速/减速的情况。换言之，在转向过度或突然加速/减速的情况下，不计算车辆行驶轨迹。
此外，监测单元50可以基于计算的车辆行驶轨迹和来自导航信息输入单元20的道路曲率信号中的至少一者计算参考曲率值(S50)。
在此，监测单元50可以通过合并第一曲率值和从导航信息输入单元20接收的道路曲率信号的第二曲率值来计算参考曲率值。然后，当导航信息输入单元20输入第二曲率值时，监测单元50通过合并第一曲率值和第二曲率值来计算参考曲率值，但是当导航信息输入单元20未输入第二曲率值时，监测单元50将第一曲率值确定为参考曲率值。
然后，监测单元50可以通过将计算的参考曲率值与使用摄像机信息输入单元40输入的摄像机信号计算出的曲率值进行对比来确定可靠性(S60)。
在此，当由摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时，监测单元50可以计算前置摄像机的可靠性值。也就是说，当由摄像机信号计算的曲率值相比参考曲率值大于一阈值或更大时，监测单元50可以计算前置摄像机的可靠性值。此外，当摄像机信号的曲率值与参考曲率值相比的差值大于等于上述阈值时，监测单元50可以将摄像机信号曲率值和参考曲率值之间的差值的百分比值作为前置摄像机的可靠性值。
同时，根据本实施例，当在预定时间段内可靠性值大于等于上述阈值时，监测单元50可以确定前置摄像机的信号是否为异常(S70)，并且当确定前置摄像机的信号异常时，监测单元50可以输出前置摄像机异常信号(S80)。
在此，监测单元50可以将前置摄像机异常信号输出到告警单元60和车辆控制单元70中的至少一者，其中，告警单元60用于将异常告警通知驾驶员，车辆控制单元70用于通过将车辆控制系统的操作转换到待机状态来执行控制。
然而，当在步骤S70中确定前置摄像机的信号无异常时，监测单元50可以确定预定时间段内可靠性值是否大于等于上述阈值，或者也可以终止操作。
如上所述，根据本发明实施例的摄像机信号监测装置和方法的优点是：通过确定车辆前置摄像机输出的信号是否异常来确定可靠性，并将异常情况通知驾驶员或通过将车辆控制系统的操作转换到待机状态的方式进行车辆控制，从而防止使用摄像机信号控制车辆时发生故障。
此外，根据本发明实施例的摄像机信号监测装置和方法的优点还有：能够通过确定摄像机内部的计算算法是否异常、而非验证摄像机输出信号，来主要确定摄像机信号是否存在问题，当摄像机信号被修正时，可以通过对比摄像机信号和车辆信号来避免摄像机故障。
虽然通过参考附图中所示的实施例对本发明进行了阐述，但这只是示例性的，并且本领域技术人员应该理解，各种修改和其他等效实施例均是可行的。
因此，本发明的真正技术保护范围由权利要求限定。

Claims (17)

1.一种摄像机信号监测装置，其特征在于，包括：
接收车辆速度信号和车辆横摆角速度信号的车辆信息输入单元；
接收高精度地图提供的道路曲率信号的导航信息输入单元；
接收来自车辆前置摄像机的摄像机信号的摄像机信息输入单元，其中所述摄像机信号包括车辆速度信号和横摆角速度信号；以及
监测单元，用于基于所述车辆信息输入单元输入的车辆速度信号和车辆横摆角速度信号、或来自所述导航信息输入单元的道路曲率信号中的至少一者计算参考曲率值，并且通过将所述计算的参考曲率值与使用所述摄像机信息输入单元输入的摄像机信号计算的摄像机信号曲率值进行对比来确定可靠性，
其中，所述监测单元包括车辆轨迹计算器，用于通过将来自所述车辆信息输入单元的经过偏移校正的横摆角速度信号的横摆角速度值除以来自所述车辆信息输入单元的所述车辆速度信号的车辆速度值来计算第一曲率值，以及
其中，所述监测单元包括参考曲率计算器，用于通过合并由所述车辆轨迹计算器计算得出的所述第一曲率值和从所述导航信息输入单元接收的道路曲率信号的第二曲率值来计算参考曲率值。
2.根据权利要求1所述的装置，其特征在于，所述监测单元包括信号处理单元，用于对从所述车辆信息输入单元、所述导航信息输入单元和所述摄像机信息输入单元中的至少一者输入的信号进行过滤。
3.根据权利要求1所述的装置，其特征在于，所述车辆轨迹计算器，用于基于来自所述车辆信息输入单元的所述经过偏移校正的横摆角速度信号和所述车辆速度信号计算车辆行驶轨迹。
4.根据权利要求3所述的装置，其特征在于，所述车辆轨迹计算器用于在所述车辆速度值和所述横摆角速度值小于等于一阈值时计算所述车辆行驶轨迹。
5.根据权利要求3所述的装置，其特征在于，所述参考曲率计算器用于在所述导航信息输入单元输入所述第二曲率值时，通过合并所述第一曲率值和所述第二曲率值来计算所述参考曲率值，并在所述导航信息输入单元未输入所述第二曲率值时将所述第一曲率值设置为所述参考曲率值。
6.根据权利要求1所述的装置，其特征在于，所述监测单元包括可靠性测定器，用于在使用所述摄像机信号计算的所述摄像机信号曲率值与所述参考曲率值之间的差值大于等于一阈值时，计算所述前置摄像机的可靠性值。
7.根据权利要求6所述的装置，其特征在于，所述可靠性测定器用于在所述摄像机信号曲率值与所述参考曲率值之间的所述差值大于等于所述阈值时，根据所述摄像机信号曲率值和所述参考曲率值之间的所述差值确定所述前置摄像机的可靠性值。
8.根据权利要求6所述的装置，其特征在于，所述监测单元用于在预定时间段内所述可靠性值大于等于所述阈值时，确定所述前置摄像机的摄像机信号为异常，并输出前置摄像机异常信号，其中，所述监测单元用于将所述前置摄像机异常信号输出到告警单元和车辆控制单元中的至少一者，所述告警单元用于将所述前置摄像机的异常通知驾驶员，所述车辆控制单元用于通过将使用前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
9.一种摄像机信号监测方法，其特征在于，包括：
监测单元从车辆信息输入单元接收车辆速度信号和车辆横摆角速度信号；
所述监测单元从导航信息输入单元接收高精度地图提供的道路曲率信号；
所述监测单元从摄像机信息输入单元接收车辆前置摄像机的摄像机信号，所述摄像机信号包括车辆速度信号和横摆角速度信号；
所述监测单元基于所述车辆信息输入单元输入的车辆速度信号和车辆横摆角速度信号、或来自所述导航信息输入单元的道路曲率信号中的至少一者，计算参考曲率值；以及
所述监测单元通过将所述计算的参考曲率值与使用所述摄像机信息输入单元输入的摄像机信号计算出的曲率值进行对比来确定可靠性，
其中，所述计算参考曲率值包括：
所述监测单元通过将来自所述车辆信息输入单元的经过偏移校正的横摆角速度信号的横摆角速度值除以来自所述车辆信息输入单元的所述车辆速度信号的车辆速度值来计算第一曲率值；以及
所述监测单元通过合并由计算得出的所述第一曲率值和所述导航信息输入单元输入的道路曲率信号的第二曲率值计算所述参考曲率值。
10.根据权利要求9所述的方法，其特征在于，进一步包括：
所述监测单元对从所述车辆信息输入单元、所述导航信息输入单元和所述摄像机信息输入单元中的至少一者输入的信号进行过滤。
11.根据权利要求9所述的方法，其特征在于，进一步包括：
所述监测单元在接收所述摄像机信号之后，使用所述车辆信息输入单元输入的所述车辆速度信号和所述车辆横摆角速度信号计算车辆行驶轨迹；
其中，所述计算参考曲率值为：所述监测单元基于所述计算的车辆行驶轨迹和来自所述导航信息输入单元的道路曲率信号中的至少一者来计算所述参考曲率值。
12.根据权利要求11所述的方法，其特征在于，所述计算车辆行驶轨迹包括：所述监测单元基于来自所述车辆信息输入单元的所述经过偏移校正的横摆角速度信号和车辆速度信号计算车辆行驶轨迹。
13.根据权利要求12所述的方法，其特征在于，所述计算车辆行驶轨迹包括：所述监测单元在所述车辆速度值和所述横摆角速度值小于等于一阈值时计算所述车辆行驶轨迹。
14.根据权利要求11所述的方法，其特征在于，所述计算车辆行驶轨迹包括：当所述导航信息输入单元输入所述第二曲率值时，所述监测单元通过合并所述第一曲率值和所述第二曲率值来计算所述参考曲率值，当所述导航信息输入单元未输入所述第二曲率值时，所述监测单元将所述第一曲率值设置为参考曲率值。
15.根据权利要求9所述的方法，其特征在于，所述确定可靠性包括：当由所述摄像机信号计算的所述摄像机信号曲率值与所述参考曲率值之间的差值大于等于一阈值时，所述监测单元计算所述前置摄像机的可靠性值。
16.根据权利要求15所述的方法，其特征在于，所述确定可靠性包括：当所述摄像机信号曲率值与所述参考曲率值之间的所述差值大于等于所述阈值时，所述监测单元根据所述摄像机信号曲率值和所述参考曲率值之间的所述差值确定所述前置摄像机的可靠性值。
17.根据权利要求15所述的方法，其特征在于，进一步包括：
当预定时间段内所述可靠性值大于等于所述阈值时，所述监测单元确定所述前置摄像机的摄像机信号为异常，并输出前置摄像机异常信号；
其中，所述输出前置摄像机异常信号为：所述监测单元将所述前置摄像机异常信号输出到告警单元和车辆控制单元中的至少一者，所述告警单元用于将所述前置摄像机的异常通知驾驶员，所述车辆控制单元用于通过将使用所述前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
CN202010307893.XA 2019-04-18 2020-04-17 摄像机信号监测装置和方法 Active CN111836039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110871773.7A CN113395514B (zh) 2019-04-18 2020-04-17 摄像机信号监测装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0045341 2019-04-18
KR1020190045341A KR102589935B1 (ko) 2019-04-18 2019-04-18 카메라 신호 모니터링 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110871773.7A Division CN113395514B (zh) 2019-04-18 2020-04-17 摄像机信号监测装置和方法

Publications (2)

Publication Number Publication Date
CN111836039A CN111836039A (zh) 2020-10-27
CN111836039B true CN111836039B (zh) 2022-04-05

Family

ID=72660065

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110871773.7A Active CN113395514B (zh) 2019-04-18 2020-04-17 摄像机信号监测装置和方法
CN202010307893.XA Active CN111836039B (zh) 2019-04-18 2020-04-17 摄像机信号监测装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110871773.7A Active CN113395514B (zh) 2019-04-18 2020-04-17 摄像机信号监测装置和方法

Country Status (4)

Country Link
US (2) US11299107B2 (zh)
KR (1) KR102589935B1 (zh)
CN (2) CN113395514B (zh)
DE (1) DE102020110528A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589935B1 (ko) * 2019-04-18 2023-10-18 현대모비스 주식회사 카메라 신호 모니터링 장치 및 방법
CN115240412A (zh) * 2022-07-08 2022-10-25 一汽解放汽车有限公司 行驶风险预警方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102951157A (zh) * 2011-08-24 2013-03-06 现代摩比斯株式会社 车辆的曲率半径估算方法及其装置
CN103770783A (zh) * 2012-10-19 2014-05-07 现代摩比斯株式会社 进入弯路预测装置和方法及利用该装置和方法的智能定速巡航系统
JP2015123930A (ja) * 2013-12-27 2015-07-06 富士重工業株式会社 車両のレーンキープ制御装置
CN106114513A (zh) * 2015-05-08 2016-11-16 丰田自动车株式会社 误识别判定装置
CN107399321A (zh) * 2016-05-12 2017-11-28 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH081385B2 (ja) * 1989-12-18 1996-01-10 トヨタ自動車株式会社 異常運転検出装置
JP2001296138A (ja) * 2000-04-13 2001-10-26 Honda Motor Co Ltd 走行路の曲率算出装置
JP4832903B2 (ja) * 2006-01-17 2011-12-07 アルパイン株式会社 ナビゲーション装置及び現在位置算定方法
US8483944B2 (en) * 2008-12-24 2013-07-09 Toyota Jidosha Kabushiki Kaisha Collision determination device
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
KR20130025055A (ko) * 2011-09-01 2013-03-11 현대자동차주식회사 속도 프로파일 생성장치
KR20130050113A (ko) * 2011-11-07 2013-05-15 현대자동차주식회사 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법
KR101463848B1 (ko) * 2013-01-11 2014-11-21 주식회사 만도 요레이트 센서 오프셋 보정 장치 및 보정 방법
KR102159360B1 (ko) * 2014-09-26 2020-09-23 현대모비스 주식회사 곡률 추정 장치 및 방법
KR20180006759A (ko) 2016-07-11 2018-01-19 주식회사 만도 차량의 다이나믹 센서 이상 검출 장치 및 방법
KR102159965B1 (ko) 2017-04-17 2020-09-25 주식회사 비트센싱 실시간 대규모 교통정보 수집방법 및 그 운용시스템
KR102589935B1 (ko) * 2019-04-18 2023-10-18 현대모비스 주식회사 카메라 신호 모니터링 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102951157A (zh) * 2011-08-24 2013-03-06 现代摩比斯株式会社 车辆的曲率半径估算方法及其装置
CN103770783A (zh) * 2012-10-19 2014-05-07 现代摩比斯株式会社 进入弯路预测装置和方法及利用该装置和方法的智能定速巡航系统
JP2015123930A (ja) * 2013-12-27 2015-07-06 富士重工業株式会社 車両のレーンキープ制御装置
CN106114513A (zh) * 2015-05-08 2016-11-16 丰田自动车株式会社 误识别判定装置
CN107399321A (zh) * 2016-05-12 2017-11-28 本田技研工业株式会社 车辆控制系统、车辆控制方法和车辆控制程序

Also Published As

Publication number Publication date
CN111836039A (zh) 2020-10-27
US11608009B2 (en) 2023-03-21
US20200331408A1 (en) 2020-10-22
DE102020110528A1 (de) 2020-10-22
CN113395514A (zh) 2021-09-14
CN113395514B (zh) 2023-09-26
KR20200123308A (ko) 2020-10-29
US20210354637A1 (en) 2021-11-18
KR102589935B1 (ko) 2023-10-18
US11299107B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
US10933883B2 (en) Driving control apparatus and method for vehicle
EP3552897B1 (en) Apparatus and method for controlling drive of vehicle
US10378890B2 (en) Apparatus and method for determining wheel alignment change of vehicle
US9952599B2 (en) Driving control device
CN111836039B (zh) 摄像机信号监测装置和方法
EP3552902A1 (en) Apparatus and method for providing a driving path to a vehicle
EP3552903B1 (en) Apparatus and method for providing a safety strategy to a vehicle
EP3552911B1 (en) Apparatus and method for providing safety strategy in vehicle
US20230271632A1 (en) Apparatus for controlling autonomous driving of a vehicle, system having the same and method thereof
US20210155239A1 (en) Apparatus and method for controlling backward driving of vehicle
US11529956B2 (en) Apparatus and method for controlling driving in vehicle
US9293047B2 (en) Methods and system for monitoring vehicle movement for use in evaluating possible intersection of paths between vehicle
CN112092808B (zh) 防止车辆碰撞的装置和方法
CN108116402B (zh) 具有控制器的驾驶员辅助系统及其控制方法
US11173899B2 (en) Control device and method for forward collision avoidance in vehicle
US11820378B2 (en) Apparatus for assisting lane change, vehicle, system having the same, and method thereof
KR20200123038A (ko) 카메라 신호 모니터링 장치 및 방법
EP3462426B1 (en) Driving assistance apparatus and driving assistance method
US10633019B2 (en) Method and apparatus for controlling rear wheel steering of vehicle
US20220388508A1 (en) Lane keeping controller, vehicle system including the same, and method thereof
CN116588187B (zh) 用于车道保持功能的控制方法和设备
CN115610423A (zh) 车辆过弯判定的方法、装置、计算机设备和存储介质
KR20240001726A (ko) 차선 유지 제어 장치와 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant