CN113395514B - 摄像机信号监测装置和方法 - Google Patents
摄像机信号监测装置和方法 Download PDFInfo
- Publication number
- CN113395514B CN113395514B CN202110871773.7A CN202110871773A CN113395514B CN 113395514 B CN113395514 B CN 113395514B CN 202110871773 A CN202110871773 A CN 202110871773A CN 113395514 B CN113395514 B CN 113395514B
- Authority
- CN
- China
- Prior art keywords
- signal
- camera
- value
- vehicle
- curvature value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012806 monitoring device Methods 0.000 title claims description 6
- 238000012544 monitoring process Methods 0.000 claims abstract description 79
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 230000005856 abnormality Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 7
- 230000007257 malfunction Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
- B60W40/072—Curvature of the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/105—Speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/114—Yaw movement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0048—Addition or subtraction of signals
- B60W2050/0049—Signal offset
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0052—Filtering, filters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/90—Driver alarms
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本公开提供一种摄像机信号监测装置和方法,摄像机信号监测装置包括:处理器,该处理器包括接收车辆速度和车辆横摆角速度信号的车辆信息输入单元;接收来自车辆前置摄像机的摄像机信号的摄像机信息输入单元,其中摄像机信号包括车辆速度和横摆角速度信号;以及监测单元,用于利用从车辆信息输入单元输入的车辆速度和横摆角速度信号计算车辆行驶轨迹,基于所计算的车辆行驶轨迹计算参考曲率值,并且通过将计算的参考曲率值与由摄像机信息输入单元输入的摄像机信号计算的曲率值进行对比来确定可靠性。
Description
本申请为发明名称为“摄像机信号监测装置和方法”的原中国发明专利申请的分案申请。原申请的申请号为202010307893X;原申请的申请日期为2020年4月17日。
技术领域
本公开涉及一种摄像机信号监测装置和方法,特别地,涉及一种确定车辆前置摄像机输出信号是否存在异常的摄像机信号监测装置和方法。
背景技术
近年来,为了方便车辆驾驶员使用车辆,各种传感器和电子设备应用在车辆中。特别地,为了驾驶员的便利,进行了大量关于高级驾驶员辅助系统(ADAS)的研究。此外,自动驾驶车辆也在积极研发中。
另外,很多车辆制造商都在基于自己的算法和系统提供半自动驾驶功能。典型的半自动驾驶系统主要包括以下部分:智能巡航控制系统,该系统用于保持和前方车辆的相对速度并结合导航控制车辆;车道辅助系统(LKA),该系统用于将车辆保持在车道内;前向避撞辅助系统;紧急制动系统等。
该些系统基于车辆前置摄像机的输入信息来执行车辆控制,车辆前置摄像机接收车辆的横摆角速度信号和车辆速度信息,向系统提供用于车辆控制的车道信息,车道偏移,曲率信息等。
由此可见,前置摄像头输出的信息的可靠性很重要。在相关技术中,车辆控制器不能解析摄像机内部的信号处理,因此无法确认前置摄像机信号是否存在异常,或者在什么时间和什么情况下检查该信号。当前置摄像机内部使用的横摆角速度信号出现不当输入或错误校正时,会导致输出值错误,从而使得基于前置摄像机执行车辆控制时出现故障。
发明内容
本公开是在考虑到相关技术的上述问题的情况下作出的,本公开的目的是提出一种摄像机信号监测装置和方法,该方法基于摄像机内部算法的可靠性来确定车辆前置摄像机输出的信号是否异常。
根据本公开的一方面,摄像机信号监测装置包括处理器。该处理器包括:接收车辆速度和车辆横摆角速度信号的车辆信息输入单元;接收来自车辆前置摄像机的摄像机信号的摄像机信息输入单元,其中摄像机信号包括车辆速度和横摆角速度信号;以及监测单元,用于利用自车辆信息输入单元输入的车辆速度和横摆角速度信号计算车辆行驶轨迹,基于所计算的车辆行驶轨迹计算参考曲率值,并且通过将计算的参考曲率值与由摄像机信息输入单元输入的摄像机信号计算的曲率值进行对比来确定可靠性。
根据本公开的一实施例,监测单元可包括车辆轨迹计算器,用于基于自车辆信息输入单元输入的经过偏移校正的横摆角速度信号和车辆速度计算车辆行驶轨迹。车辆轨迹计算器通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值来计算第一曲率值。
根据本公开的一实施例,车辆轨迹计算器还可包括用于接收高精度地图提供的道路曲率信号的导航信息输入单元,其中,监测单元还可包括参考曲率计算器,用于通过合并车辆轨迹计算器计算的第一曲率值和自导航信息输入单元输入的道路曲率信号的第二曲率值来计算参考曲率值。
根据本公开的一实施例,该装置还可包括激光雷达及雷达传感器输入单元,用于从激光雷达或雷达接收感测值以计算第三曲率值,其中,参考曲率计算器通过合并车辆轨迹计算器计算的第一曲率值、自导航信息输入单元输入的道路曲率信号的第二曲率值和激光雷达及雷达传感器输入单元输入的第三曲率值来计算参考曲率值。
根据本公开的一实施例,监测单元可包括可靠性测定器,用于当使用摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时,计算前置摄像机的可靠性值。
根据本公开的一实施例,可靠性测定器可用于当摄像机信号曲率值与参考曲率值相比的差值大于等于上述阈值时,将摄像机信号曲率值和参考曲率值之间的差值的百分比值确定为前置摄像机的可靠性值。
根据本公开的一实施例,监测单元可用于当预定时间段内可靠性值大于等于阈值时,确定前置摄像机的摄像机信号为异常并输出前置摄像机异常信号。监测单元用于将前置摄像机异常信号输出到告警单元和车辆控制单元中的至少一者,告警单元用于将异常通知驾驶员,车辆控制单元用于通过将使用前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
根据本公开的摄像机信号监测方法包括:监测单元从车辆信息输入单元接收车辆的车辆速度和车辆横摆角速度信号;监测单元从摄像机信息输入单元接收车辆前置摄像机的摄像机信号,摄像机信号包括车辆速度和横摆角速度信号;监测单元利用自车辆信息输入单元接收的车辆速度和横摆角速度信号计算车辆行驶轨迹;监测单元基于所计算的车辆行驶轨迹计算参考曲率值;以及监测单元通过将计算的参考曲率值与使用摄像机信息输入单元输入的摄像机信号计算出的曲率值进行对比来确定可靠性。
根据本公开的一实施例,计算车辆行驶轨迹可包括基于来自车辆信息输入单元的经过偏移校正的横摆角速度信号和车辆速度计算车辆行驶轨迹,其中,第一曲率值通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值来计算。
根据本公开的一实施例,该方法还可以包括:监测单元从导航信息输入单元接收高精度地图提供的道路曲率信号,其中计算参考曲率值包括:通过合并在车辆行驶轨迹的计算中得到的第一曲率值和自导航信息输入单元输入的道路曲率信号的第二曲率值来计算参考曲率值。
根据本公开的一实施例,该方法还可以包括激光雷达及雷达传感器输入单元从激光雷达或雷达接收感测值以计算第三曲率值,其中,计算参考曲率值包括:通过合并在车辆行驶轨迹的计算中计算出的第一曲率值、自导航信息输入单元输入的道路曲率信号的第二曲率值和激光雷达及雷达传感器输入单元输入的第三曲率值来计算参考曲率值。
根据本公开的一实施例,确定可靠性可包括:当由摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时,计算前置摄像机的可靠性值。
根据本公开的一实施例,确定可靠性可包括:当摄像机信号曲率值与参考曲率值相比的差值大于等于阈值时,将摄像机信号曲率值和参考曲率值之间的差值的百分比值确定为前置摄像机的可靠性值。
根据本公开的一实施例,该方法可进一步包括:当预定时间段内可靠性值大于等于阈值时,监测单元确定前置摄像机的摄像机信号为异常并输出前置摄像头异常信号;其中,输出异常信号包括:将前置摄像机异常信号输出到告警单元或车辆控制单元中的至少一者,告警单元用于将异常通知驾驶员,车辆控制单元用于通过将使用前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
基于本公开实施例的摄像机信号监测装置和方法的优点是:通过确定车辆前置摄像机输出的信号是否异常来确定可靠性,并将异常情况通知驾驶员或通过将车辆控制系统的操作转换到待机状态的方式进行车辆控制,从而防止使用摄像机信号控制车辆时发生故障。
此外,根据本公开实施例的摄像机信号监测装置和方法的优点还有:能够通过确定摄像机内部的计算算法是否异常、而非验证摄像机输出信号,来主要确定摄像机信号是否存在问题,当摄像机信号被修正时,可以通过对比摄像机信号和车辆信号来避免摄像机故障。
附图说明
结合附图,下面的详细描述将更进清楚地阐述本公开的上述和其他目的、特征和其它优点,其中:
图1是根据本公开实施例的摄像机信号监测装置的框图;
图2是根据本公开实施例的摄像机信号监测方法的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对根据本公开实施例的摄像机信号监测装置和方法进行描述。在这个过程中,为了清晰和方便地阐述,可能会对图中线条的粗细和组件的尺寸进行放大。
另外,下文中部分术语是基于本公开中的功能而定义的术语,可能与用户或者操作者的期望或者以往实践有所不同。因此,这些术语的定义应基于本说明书全文的内容来确定。
此外,本文所描述的实施方式例如可以实施为方法或过程、装置、软件程序、数据流或信号。尽管在本说明书中仅以单一实施形式(例如,仅作为方法),但所讨论的特征的实现也可以其他形式(例如,设备或程序)来实现。该设备可以用合适的硬件、软件和固件等来实施。该方法可以在诸如处理器的装置中实施,其通常指处理设备,例如包括计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括便于终端用户之间通信的通信设备,例如计算机、移动电话、便携式/个人数字助理(PDAs)和其他设备。
图1是根据本公开实施例的摄像机信号监测装置的框图。参照图1,摄像机信号监测装置描述如下。
如图1所示,根据本公开实施例的摄像机信号监测装置包括相关联的非瞬态存储器,其存储软件指令,当指令由例如处理器执行时,提供如下功能:车辆信息输入单元10、导航信息输入单元20、激光雷达(LiDAR)及雷达传感器输入单元30、摄像机信息输入单元40和监测单元50。在此,存储器和处理器可以实现为单独的半导体电路。或者,存储器和处理器可以实现为单个集成半导体电路。处理器可以包含一个或多个处理器。
首先,车辆前置摄像机接收车辆的车辆横摆角速度信号和车辆速度信息等,并出于车辆控制的目的提供车道信息、车道偏移以及曲率信息。当前置摄像机内部使用的横摆角速度信号出现不当输入或错误校正时,会导致输出值错误,从而使得基于前置摄像机执行车辆控制时出现故障。因此,本实施例的特征在于,前置摄像机内部的信号处理单元能够确定前置摄像机是否异常,其中,当输入或校正前置摄像机的信号时,通过对比前置摄像机的摄像机信号和车辆信号来确定可靠性。具体而言,根据本实施例,当确定前置摄像机的信号异常时,监测单元50将前置摄像机异常信号输出到告警单元60或车辆控制单元70中的至少一者,其中,告警单元60用于将异常告警通知驾驶员,车辆控制单元70用于通过将车辆控制系统的操作转换到待机状态来执行控制,从而防止基于前置摄像机执行车辆控制时出现故障。
根据本实施例,车辆信息输入单元10从用于控制车辆操作的车辆控制系统接收总体车辆控制信息,并进一步接收车辆速度和车辆横摆角速度信号。此外,车辆信息输入单元10在接收车辆速度和车辆横摆角速度信号的同时,还可接收来自感测转向角、车轮速度等的传感器的感测信号。
导航信息输入单元20接收高精度地图提供的道路曲率信号,并且可以向监测单元50提供车辆行驶轨迹的道路曲率值。
激光雷达及雷达传感器输入单元30可以从车辆上的光探测和测距(LiDAR)传感器和无线电探测和测距(雷达)传感器接收感测信号。同时,虽然在本实施例中激光雷达和雷达彼此集成,但并不意味激光雷达和雷达必须作为集成传感器部署在车辆上。激光雷达传感器和雷达传感器可以单独部署,并且既可以在车辆中部署这两种传感器,或者也可以只部署这两种传感器中的一者。
摄像机信息输入单元40从车辆前置摄像机接收包括车辆速度和横摆角速度信号的摄像机信号信息,并将其提供至监测单元50。因此,在本实施例中,可以基于由摄像机信息输入单元40提供的摄像机信息来确定前置摄像机是否异常。同时,虽然在本实施例中摄像机信息输入单元40从车辆的前置摄像机接收摄像机信号,但是摄像机信息输入单元40也可以从部署在车辆其他位置的摄像机接收摄像机信号。
监测单元50基于车辆信息输入单元10和导航信息输入单元20输入的信号设定参考值,并将该参考值与摄像机信息输入单元40输入的信号进行对比,以确定前置摄像机是否异常。虽然在本实施例中没有具体描述,但是参考值的设定也可以包括激光雷达及雷达传感器输入单元30输入的曲率值。
具体而言,监测单元50包括信号处理单元52、车辆轨迹计算器54、参考曲率计算器56和可靠性测定器58。监测单元50使用车辆信息输入单元10输入的车辆速度和车辆横摆角速度信号来计算车辆行驶轨迹,再基于所计算的车辆行驶轨迹或来自导航信息输入单元20的道路曲率信号中的至少一者计算参考曲率值,最后通过将计算的参考曲率值与基于摄像机信息输入单元40输入的信号计算出的曲率值进行对比来确定可靠性。
在此,信号处理单元52过滤车辆信息输入单元10、导航信息输入单元20或摄像机信息输入单元40中的至少一者输入的信号,并过滤激光雷达及雷达传感器输入单元30输入的信号。另一方面,信号处理单元52可将各过滤后的信号提供给车辆轨迹计算器54或参考曲率计算器56中的至少一者。对于从信号处理单元52接收的信号进行过滤可以通过多种方法实现。
此外,车辆轨迹计算器54基于来自车辆信息输入单元10的车辆速度和横摆角速度信号计算车辆行驶轨迹,其中横摆角速度信号可以是经过偏移校正的信号。在此,车辆轨迹计算器54可以通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值计算第一曲率值。即,第一曲率值是指车辆轨迹计算器54输出的第一信号的曲率值。
此外,当车辆速度值和横摆角速度值小于等于一阈值时,车辆轨迹计算器54计算车辆行驶轨迹。这是为了排除转向过度和突然加速/减速的情况。换言之,在转向过度或突然加速/减速的情况下,不计算车辆的行驶轨迹。
然后,参考曲率计算器56将由车辆轨迹计算器54计算的第一曲率值与从导航信息输入单元20接收的道路曲率信号的第二曲率值进行合并,从而计算出参考曲率值。即,第二曲率值是指导航信息输入单元20的高精度地图提供的道路曲率信号,也为第二信号的曲率值。
此外,当第二曲率值从导航信息输入单元20输入时,参考曲率计算器56通过合并第一曲率值和第二曲率值来计算参考曲率值,但是当第二曲率值没有从导航信息输入单元20输入时,参考曲率计算器56可以将第一曲率值设置为参考曲率值。这里,从激光雷达及雷达传感器输入单元30输入的曲率值是第三曲率值,其中,可以通过合并第一曲率值、第二曲率值和第三曲率值来计算参考曲率值,但并不限于此。
当使用摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时,可靠性测定器58可以计算前置摄像机的可靠性值。即,当由摄像机信号计算的曲率值相比参考曲率值大于一阈值或更大时,可靠性测定器58可以计算前置摄像机的可靠性值。
在此,当摄像机信号的曲率值与参考曲率值相比的差值大于等于上述阈值时,可靠性测定器58可以将摄像机信号曲率值和参考曲率值之间的差值的百分比值确定为前置摄像机的可靠性值。
此外,当在预定时间段内可靠性值大于等于一阈值时,监测单元50可以确定前置摄像机的信号为异常。另外,当确定前置摄像机的信号异常时,监测单元50将前置摄像机异常信号输出到告警单元60和车辆控制单元70。即,监测单元50可以通过向告警单元60输出前置摄像机异常信号来通知驾驶员前置摄像机的异常状态,并通过将异常信号输出到车辆控制单元70来执行控制以将车辆控制系统的操作转换到待机状态,从而防止由于前置摄像机中的异常而导致故障。
图2是根据本公开实施例的摄像机信号监测方法的流程图。参照图2,摄像机信号监测方法描述如下。
如图2所示,在根据本公开实施例的摄像机信号监测方法中,监测单元50首先从车辆信息输入单元10接收车辆速度和车辆横摆角速度信号(S10)。
在此,车辆信息输入单元10从用于控制车辆操作的车辆控制系统接收总体车辆控制信息,本实施例中,接收车辆速度和车辆横摆角速度信号。
然后,监测单元50从导航信息输入单元20接收高精度地图提供的道路曲率信号(S20)。
在此,导航信息输入单元20接收高精度地图提供的道路曲率信号,并且向监测单元50提供车辆行驶轨迹的道路曲率值。在本实施例中,导航信息输入单元20输入的道路曲率信号可以被称为第二信号或第二曲率值。
接着,监测单元50从摄像机信息输入单元40接收包括车辆速度和车辆横摆角速度信号的前置摄像机信号(S30)。
在此,摄像机信息输入单元40从车辆前置摄像机接收包括车辆速度和横摆角速度信号的摄像机信号信息,并将其提供给监测单元50。根据本实施例,可以基于摄像机信息输入单元40提供的摄像机信息来确定前置摄像机是否异常。
同时,在本实施例中,监测单元50可以过滤从车辆信息输入单元10、导航信息输入单元20或摄像机信息输入单元40中的至少一者输入的信号。
然后,监测单元50可以使用车辆信息输入单元10输入的车辆速度和车辆横摆角速度信号计算车辆行驶轨迹(S40)。
在此,监测单元50基于来自车辆信息输入单元10的车辆速度和横摆角速度信号计算车辆行驶轨迹,其中横摆角速度信号可以是经过偏移校正的信号。在此,监测单元50可以通过将经过偏移校正的横摆角速度信号的横摆角速度值除以车辆速度信号的车辆速度值来计算第一曲率值(第一信号)。
此外,当车辆速度值和横摆角速度值小于等于一阈值时,监测单元50可以计算车辆行驶轨迹。这是为了排除转向过度和突然加速/减速的情况。换言之,在转向过度或突然加速/减速的情况下,不计算车辆行驶轨迹。
此外,监测单元50可以基于所计算的车辆行驶轨迹或来自导航信息输入单元20的道路曲率信号中的至少一者计算参考曲率值(S50)。
在此,监测单元50可以通过合并第一曲率值和从导航信息输入单元20接收的道路曲率信号的第二曲率值来计算参考曲率值。然后,当导航信息输入单元20输入第二曲率值时,监测单元50通过合并第一曲率值和第二曲率值来计算参考曲率值,但是当导航信息输入单元20未输入第二曲率值时,监测单元50将第一曲率值确定为参考曲率值。
然后,监测单元50可以通过将计算的参考曲率值与使用摄像机信息输入单元40输入的摄像机信号计算出的曲率值进行对比来确定可靠性(S60)。
在此,当由摄像机信号计算的摄像机信号曲率值与参考曲率值相比的差值大于等于一阈值时,监测单元50可以计算前置摄像机的可靠性值。也就是说,当由摄像机信号计算的曲率值相比参考曲率值大于一阈值或更大时,监测单元50可以计算前置摄像机的可靠性值。此外,当摄像机信号的曲率值与参考曲率值相比的差值大于等于上述阈值时,监测单元50可以将摄像机信号曲率值和参考曲率值之间的差值的百分比值确定为前置摄像机的可靠性值。
同时,根据本实施例,当在预定时间段内可靠性值大于等于上述阈值时,监测单元50可以确定前置摄像机的信号是否为异常(S70),并且当确定前置摄像机的信号异常时,监测单元50可以输出前置摄像机异常信号(S80)。
在此,监测单元50可以将前置摄像机异常信号输出到告警单元60或车辆控制单元70中的至少一者,其中,告警单元60用于将异常告警通知驾驶员,车辆控制单元70用于通过将车辆控制系统的操作转换到待机状态来执行控制。
然而,当在步骤S70中确定前置摄像机的信号无异常时,监测单元50可以确定预定时间段内可靠性值是否大于等于上述阈值,或者也可以终止操作。
如上所述,根据本公开实施例的摄像机信号监测装置和方法的优点是:通过确定车辆前置摄像机输出的信号是否异常来确定可靠性,并将异常情况通知驾驶员或通过将车辆控制系统的操作转换到待机状态的方式进行车辆控制,从而防止使用摄像机信号控制车辆时发生故障。
此外,根据本公开实施例的摄像机信号监测装置和方法的优点还有:能够通过确定摄像机内部的计算算法是否异常、而非验证摄像机输出信号,来主要确定摄像机信号是否存在问题,当摄像机信号被修正时,可以通过对比摄像机信号和车辆信号来避免摄像机故障。
虽然通过参考附图中所示的实施例对本公开进行了阐述,但这只是示例性的,并且本领域技术人员应该理解,各种修改和其他等效实施例均是可行的。
因此,本公开的真正技术保护范围由权利要求限定。
Claims (10)
1.一种摄像机信号监测装置,包括处理器,所述处理器包括:
用于接收车辆速度信号和车辆横摆角速度信号的车辆信息输入单元;
用于接收来自车辆前置摄像机的摄像机信号的摄像机信息输入单元,其中所述摄像机信号包括另一车辆速度信号和另一车辆横摆角速度信号;
用于接收高精度地图提供的道路曲率信号的导航信息输入单元;以及
监测单元,包括车辆轨迹计算器,其中,所述车辆轨迹计算器用于通过将自所述车辆信息输入单元输入的经过偏移校正的车辆横摆角速度信号的横摆角速度值除以自所述车辆信息输入单元输入的所述车辆速度信号的车辆速度值来计算第一曲率值,以及
其中,所述监测单元还包括参考曲率计算器,所述参考曲率计算器用于通过合并所述车辆轨迹计算器计算的第一曲率值和自所述导航信息输入单元输入的所述道路曲率信号的第二曲率值来计算参考曲率值,并且通过将所计算的参考曲率值与由所述摄像机信息输入单元输入的摄像机信号计算的摄像机信号曲率值进行对比来确定可靠性。
2.根据权利要求1所述的装置,其特征在于,所述装置还包括:
雷达传感器输入单元,用于从雷达接收感测值以计算第三曲率值,
其中,所述参考曲率计算器还用于通过合并所述车辆轨迹计算器计算的第一曲率值、自所述导航信息输入单元输入的所述道路曲率信号的所述第二曲率值和自所述雷达传感器输入单元输入的所述第三曲率值来计算参考曲率值。
3.根据权利要求1所述的装置,其特征在于,所述监测单元包括可靠性测定器,所述可靠性测定器用于当使用所述摄像机信号计算的所述摄像机信号曲率值与所述参考曲率值相比的差值大于等于一阈值时,计算所述前置摄像机的可靠性值。
4.根据权利要求3所述的装置,其特征在于,所述可靠性测定器用于当所述摄像机信号曲率值与所述参考曲率值相比的差值大于等于所述阈值时,将所述摄像机信号曲率值和所述参考曲率值之间的差值确定为所述前置摄像机的可靠性值。
5.根据权利要求3所述的装置,其特征在于,所述监测单元用于当预定时间段内所述可靠性值大于等于所述阈值时,确定所述前置摄像机的所述摄像机信号为异常并输出前置摄像机异常信号,并且
所述监测单元用于将所述前置摄像机异常信号输出到告警单元或车辆控制单元中的至少一者,所述告警单元用于将异常通知驾驶员,所述车辆控制单元用于通过将使用前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
6.一种利用摄像机信号监测装置进行摄像机信号监测的方法,所述摄像机信号监测装置包括处理器,其特征在于,所述处理器被配置为执行以下步骤:
监测单元从车辆信息输入单元接收车辆速度信号和车辆横摆角速度信号;
所述监测单元从摄像机信息输入单元接收车辆前置摄像机的摄像机信号,所述摄像机信号包括另一车辆速度信号和另一车辆横摆角速度信号;
所述监测单元从导航信息输入单元接收高精度地图提供的道路曲率信号;以及
所述监测单元通过将参考曲率值与使用所述摄像机信息输入单元输入的摄像机信号计算出的摄像机信号曲率值进行对比来确定可靠性,
其中,计算所述参考曲率值包括:
通过将自所述车辆信息输入单元输入的经过偏移校正的车辆横摆角速度信号的横摆角速度值除以自所述车辆信息输入单元输入的所述车辆速度信号的车辆速度值来计算第一曲率值,
通过合并由计算得到的所述第一曲率值和自所述导航信息输入单元输入的所述道路曲率信号的第二曲率值来计算所述参考曲率值。
7.根据权利要求6所述的方法,其特征在于,所述摄像机信号监测装置还包括雷达传感器输入单元,所述方法还包括:
所述雷达传感器输入单元从雷达接收感测值以计算第三曲率值,
其中,所述计算参考曲率值还包括:通过合并计算出的所述第一曲率值、自所述导航信息输入单元输入的所述道路曲率信号的所述第二曲率值和自所述雷达传感器输入单元输入的所述第三曲率值来计算参考曲率值。
8.根据权利要求6所述的方法,其特征在于,所述确定可靠性包括:当由所述摄像机信号计算的所述摄像机信号曲率值与所述参考曲率值相比的差值大于等于一阈值时,计算所述前置摄像机的可靠性值。
9.根据权利要求8所述的方法,其特征在于,所述确定可靠性还包括:当所述摄像机信号曲率值与所述参考曲率值相比的差值大于等于所述阈值时,将所述摄像机信号曲率值和所述参考曲率值之间的差值确定为所述前置摄像机的可靠性值。
10.根据权利要求9所述的方法,其特征在于,进一步包括:
当预定时间段内所述可靠性值大于等于所述阈值时,所述监测单元确定所述前置摄像机的所述摄像机信号为异常并输出前置摄像机异常信号;
其中,所述输出前置摄像机异常信号包括:将所述前置摄像机异常信号输出到告警单元或车辆控制单元中的至少一者,所述告警单元用于将异常通知驾驶员,所述车辆控制单元用于通过将使用所述前置摄像机的车辆控制系统的操作转换到待机状态来执行控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110871773.7A CN113395514B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2019-0045341 | 2019-04-18 | ||
KR1020190045341A KR102589935B1 (ko) | 2019-04-18 | 2019-04-18 | 카메라 신호 모니터링 장치 및 방법 |
CN202010307893.XA CN111836039B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
CN202110871773.7A CN113395514B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010307893.XA Division CN111836039B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113395514A CN113395514A (zh) | 2021-09-14 |
CN113395514B true CN113395514B (zh) | 2023-09-26 |
Family
ID=72660065
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110871773.7A Active CN113395514B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
CN202010307893.XA Active CN111836039B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010307893.XA Active CN111836039B (zh) | 2019-04-18 | 2020-04-17 | 摄像机信号监测装置和方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11299107B2 (zh) |
KR (1) | KR102589935B1 (zh) |
CN (2) | CN113395514B (zh) |
DE (1) | DE102020110528A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102589935B1 (ko) * | 2019-04-18 | 2023-10-18 | 현대모비스 주식회사 | 카메라 신호 모니터링 장치 및 방법 |
US12071150B2 (en) * | 2021-06-25 | 2024-08-27 | Magna Electronics Inc. | Vehicular driving assist system using forward viewing camera |
US20230008230A1 (en) * | 2021-07-09 | 2023-01-12 | Magna Electronics Inc. | Vehicular driving assistance system with enhanced traffic lane determination |
CN115240412A (zh) * | 2022-07-08 | 2022-10-25 | 一汽解放汽车有限公司 | 行驶风险预警方法、装置、电子设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03186713A (ja) * | 1989-12-18 | 1991-08-14 | Toyota Motor Corp | 異常運転検出装置 |
JP2001296138A (ja) * | 2000-04-13 | 2001-10-26 | Honda Motor Co Ltd | 走行路の曲率算出装置 |
CN102951157A (zh) * | 2011-08-24 | 2013-03-06 | 现代摩比斯株式会社 | 车辆的曲率半径估算方法及其装置 |
KR20160036922A (ko) * | 2014-09-26 | 2016-04-05 | 현대모비스 주식회사 | 곡률 추정 장치 및 방법 |
CN106114513A (zh) * | 2015-05-08 | 2016-11-16 | 丰田自动车株式会社 | 误识别判定装置 |
CN107399321A (zh) * | 2016-05-12 | 2017-11-28 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法和车辆控制程序 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4832903B2 (ja) * | 2006-01-17 | 2011-12-07 | アルパイン株式会社 | ナビゲーション装置及び現在位置算定方法 |
US8483944B2 (en) * | 2008-12-24 | 2013-07-09 | Toyota Jidosha Kabushiki Kaisha | Collision determination device |
JP5286214B2 (ja) * | 2009-09-30 | 2013-09-11 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
KR20130025055A (ko) * | 2011-09-01 | 2013-03-11 | 현대자동차주식회사 | 속도 프로파일 생성장치 |
KR20130050113A (ko) * | 2011-11-07 | 2013-05-15 | 현대자동차주식회사 | 위험단계별 경고기능을 갖는 차량 운행보조 시스템 및 그 방법 |
KR20140050397A (ko) * | 2012-10-19 | 2014-04-29 | 현대모비스 주식회사 | 곡선로 진입 예측 장치 및 방법과 이를 이용한 스마트 크루즈 컨트롤 시스템 |
KR101463848B1 (ko) * | 2013-01-11 | 2014-11-21 | 주식회사 만도 | 요레이트 센서 오프셋 보정 장치 및 보정 방법 |
JP6381066B2 (ja) * | 2013-12-27 | 2018-08-29 | 株式会社Subaru | 車両のレーンキープ制御装置 |
KR20180006759A (ko) | 2016-07-11 | 2018-01-19 | 주식회사 만도 | 차량의 다이나믹 센서 이상 검출 장치 및 방법 |
KR102159965B1 (ko) | 2017-04-17 | 2020-09-25 | 주식회사 비트센싱 | 실시간 대규모 교통정보 수집방법 및 그 운용시스템 |
KR102589935B1 (ko) * | 2019-04-18 | 2023-10-18 | 현대모비스 주식회사 | 카메라 신호 모니터링 장치 및 방법 |
-
2019
- 2019-04-18 KR KR1020190045341A patent/KR102589935B1/ko active IP Right Grant
-
2020
- 2020-04-13 US US16/847,014 patent/US11299107B2/en active Active
- 2020-04-17 CN CN202110871773.7A patent/CN113395514B/zh active Active
- 2020-04-17 CN CN202010307893.XA patent/CN111836039B/zh active Active
- 2020-04-17 DE DE102020110528.2A patent/DE102020110528A1/de active Pending
-
2021
- 2021-07-28 US US17/387,317 patent/US11608009B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03186713A (ja) * | 1989-12-18 | 1991-08-14 | Toyota Motor Corp | 異常運転検出装置 |
JP2001296138A (ja) * | 2000-04-13 | 2001-10-26 | Honda Motor Co Ltd | 走行路の曲率算出装置 |
CN102951157A (zh) * | 2011-08-24 | 2013-03-06 | 现代摩比斯株式会社 | 车辆的曲率半径估算方法及其装置 |
KR20160036922A (ko) * | 2014-09-26 | 2016-04-05 | 현대모비스 주식회사 | 곡률 추정 장치 및 방법 |
CN106114513A (zh) * | 2015-05-08 | 2016-11-16 | 丰田自动车株式会社 | 误识别判定装置 |
CN107399321A (zh) * | 2016-05-12 | 2017-11-28 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法和车辆控制程序 |
Also Published As
Publication number | Publication date |
---|---|
US20210354637A1 (en) | 2021-11-18 |
CN113395514A (zh) | 2021-09-14 |
US11299107B2 (en) | 2022-04-12 |
US20200331408A1 (en) | 2020-10-22 |
KR20200123308A (ko) | 2020-10-29 |
CN111836039B (zh) | 2022-04-05 |
CN111836039A (zh) | 2020-10-27 |
KR102589935B1 (ko) | 2023-10-18 |
DE102020110528A1 (de) | 2020-10-22 |
US11608009B2 (en) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113395514B (zh) | 摄像机信号监测装置和方法 | |
US10933883B2 (en) | Driving control apparatus and method for vehicle | |
US11492011B2 (en) | Autonomous driving control device and method for autonomous driving control of vehicles | |
EP3552897B1 (en) | Apparatus and method for controlling drive of vehicle | |
US9731728B2 (en) | Sensor abnormality detection device | |
KR20190124119A (ko) | 차량의 안전 전략 제공 장치 및 방법 | |
US11173912B2 (en) | Apparatus and method for providing safety strategy in vehicle | |
EP3552902A1 (en) | Apparatus and method for providing a driving path to a vehicle | |
EP3552903B1 (en) | Apparatus and method for providing a safety strategy to a vehicle | |
EP3552911B1 (en) | Apparatus and method for providing safety strategy in vehicle | |
US11529956B2 (en) | Apparatus and method for controlling driving in vehicle | |
EP3552909A1 (en) | Apparatus and method for managing control authority transition in vehicle | |
US20230271632A1 (en) | Apparatus for controlling autonomous driving of a vehicle, system having the same and method thereof | |
US11851116B2 (en) | Electric steering control apparatus and control method thereof | |
US11440540B2 (en) | Apparatus and method for preventing vehicle collision | |
US11188077B2 (en) | Apparatus and method for controlling driving of vehicle | |
US9293047B2 (en) | Methods and system for monitoring vehicle movement for use in evaluating possible intersection of paths between vehicle | |
CN108116402B (zh) | 具有控制器的驾驶员辅助系统及其控制方法 | |
CN114771555A (zh) | 自主泊车故障诊断方法、装置和和无人驾驶车辆 | |
KR20200123038A (ko) | 카메라 신호 모니터링 장치 및 방법 | |
CN110371126B (zh) | 用于控制车辆行驶的装置和方法 | |
US20220388508A1 (en) | Lane keeping controller, vehicle system including the same, and method thereof | |
CN115610423A (zh) | 车辆过弯判定的方法、装置、计算机设备和存储介质 | |
US20240294184A1 (en) | Probabilisic system and method for autonomous vehicle control | |
KR20240001726A (ko) | 차선 유지 제어 장치와 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |