CN112449153B - 用于视觉传感器检测的系统和方法 - Google Patents
用于视觉传感器检测的系统和方法 Download PDFInfo
- Publication number
- CN112449153B CN112449153B CN202010919880.8A CN202010919880A CN112449153B CN 112449153 B CN112449153 B CN 112449153B CN 202010919880 A CN202010919880 A CN 202010919880A CN 112449153 B CN112449153 B CN 112449153B
- Authority
- CN
- China
- Prior art keywords
- data
- camera
- pdp
- lighting scene
- upcoming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9315—Monitoring blind spots
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Abstract
用于移动平台的视觉传感器检测系统和方法,主动为即将到来的光照场景做准备。该方法包括根据GPS数据和无线接收的地图数据来确定或预测光照场景(LS)。车载摄像头系统随后使用相关联的预定义简档(PDP)在LS中操作,该PDP具有与LS相关联的色调映射设置。接收的传感器数据和摄像头数据用于确认每个预测的和当前的LS;每一个预测的LS变化都会导致获取与其色调映射设置相关联的PDP。每个确认的LS导致使用传感器数据和摄像头数据来定制色调映射设置。该方法在移动平台运行期间循环。
Description
技术领域
本公开总体上涉及用于移动平台的视觉传感器检测系统,更具体地,涉及主动为即将到来的光照场景进行准备的视觉传感器检测系统和方法。
背景技术
根据检测到的光线水平调整摄像头的色调映射设置是一个技术问题。车辆中的视觉传感器检测系统通常使用勒克斯计来检测光水平,然后开始调整摄像头中的色调映射以匹配检测到的光水平的过程。调整色调映射设置按每秒30帧(fps)可能需要花费36-48帧才能解决。根据车辆行驶的速度,调整时间可以转换为几个车长,在此期间,车辆可能依赖于未优化的摄像头图像。
因此,期望以改进的视觉传感器检测系统和方法的形式提供对该问题的技术解决方案,该系统和方法主动地为即将到来的光照场景做准备并减少色调映射调整时间。除了解决相关问题之外,以下公开内容提供了解决该问题的技术方案。此外,结合附图和前面的背景技术,从随后的详细描述和所附权利要求中,系统和方法的其他期望的特征和特性将变得显而易见。
发明内容
在一个实施例中,提供了一种用于移动平台的视觉传感器检测系统。该系统包括:收发器,从外部源接收地图数据;摄像头系统,根据可调整的色调映射设置来感测移动平台外部的光水平;传感器系统,生成包括相距物体的距离的传感器数据;地理定位系统,(GPS),生成包括移动平台的位置和运动的GPS数据;处理器,用色调映射程序和用于相关联的多个光照场景(LS)的多个预定义简档(PDP)对处理器编程,每个PDP具有用于摄像头系统的色调映射设置,该处理器被配置为:接收地图数据、GPS数据、传感器数据和摄像头数据;使用相关联的第一PDP(PDP1),在第一光照场景(LS1)中操作摄像头系统;在显示系统上显示摄像头数据;根据GPS数据和地图数据预测光照场景(LS)变化,其中LS变化包括从LS1到第二光照场景(LS2)的变化;使用摄像头数据和传感器数据确认LS变化;获取与LS2相关联的PDP2;和使用PDP2操作摄像头系统。
在一个实施例中,处理器还被配置为:确定LS2是否仍然是当前的;并且当LS2仍然是当前的时,处理传感器数据和摄像头数据,从而从PDP2定制色调映射设置;并且使用定制的色调映射设置来操作摄像头系统。
在一个实施例中,处理器还被配置为:当LS2不再是当前的时,根据地图数据、传感器数据和摄像头数据预测即将到来的光照场景;获取与即将到来的光照场景相关联的PDP;并且使用与即将到来的光照场景相关联的PDP来操作摄像头系统。
在一个实施例中,即将到来的光照场景与LS1相同,并且与即将到来的光照场景相关联的PDP是PDP1。
在一个实施例中,即将到来的光照场景是第三光照场景(LS3),并且与即将到来的光照场景相关联的PDP是PDP3。
在一个实施例中,LS1是晴朗白天,LS2是隧道。
在一个实施例中,LS1是晴朗白天,LS2是商业停车库。
在一个实施例中,LS1是晴朗白天,LS2是机场航站楼的入口。
在一个实施例中,LS1是商业停车库,LS2是晴朗白天。
在一个实施例中,LS1是商业停车库,LS2是夜晚。
在另一个实施例中,提供了一种用于移动平台的视觉传感器检测的处理器实现的方法,包括:从外部源接收地图数据;从摄像头系统接收摄像头数据,该摄像头系统感测移动平台外部的光水平,作为可调整的色调映射设置的函数;从传感器系统接收传感器数据;从GPS接收包括移动平台的位置和运动的地理定位系统(GPS)数据;根据GPS数据和地图数据确定光照场景(LS1);通过参考用于相关联的多个光照场景(LS)的多个预定义简档(PDP),使用相关联的第一PDP(PDP1)在LS1中操作摄像头系统,每个PDP具有与其相关LS相关联的色调映射设置;在显示系统上显示摄像头数据;根据GPS数据和地图数据预测光照场景(LS)变化,其中LS变化包括从LS1到第二光照场景(LS2)的变化;使用摄像头数据和传感器数据确认LS变化;获取与LS2相关联的PDP2;和使用PDP2操作摄像头系统。
在一个实施例中,还包括:确定LS2是否仍然是当前的;并且当LS2仍然是当前的时,处理传感器数据和摄像头数据,从而从PDP2定制色调映射设置;以及使用定制的色调映射设置来操作摄像头系统。
在一个实施例中,还包括:当LS2不再是当前的时,根据地图数据、传感器数据和摄像头数据预测即将到来的光照场景;获取与即将到来的光照场景相关联的PDP;以及使用与即将到来的光照场景相关联的PDP来操作摄像头系统。
在一个实施例中,即将到来的光照场景与LS1相同,并且与即将到来的光照场景相关联的PDP是PDP1。
在一个实施例中,即将到来的光照场景是第三光照场景(LS3),并且与即将到来的光照场景相关联的PDP是PDP3。
在一个实施例中,LS1是晴朗白天,LS2是隧道。
在一个实施例中,LS1是晴朗白天,LS2是商业停车库。
在一个实施例中,LS1是晴朗白天,LS2是机场航站楼的入口。
在一个实施例中,LS1是商业停车库,LS2是晴朗白天或夜晚。
在另一个实施例中,提供了一种用于移动平台的视觉传感器检测系统,包括:摄像头系统,其根据可调整的色调映射设置来感测移动平台外部的光水平;传感器系统,其生成包括相距物体的距离的传感器数据;处理器,用色调映射程序和用于相关联的多个光照场景(LS)的多个预定义简档(PDP)对处理器编程,每个PDP具有用于摄像头系统的色调映射设置,所述处理器被配置为:接收地图数据、GPS数据、传感器数据和摄像头数据;使用来自相关联的第一PDP(PDP1)的色调映射设置,在第一光照场景(LS1)中操作摄像头系统;在显示系统上显示摄像头数据;根据GPS数据和地图数据预测光照场景(LS)变化,其中LS变化包括从LS1到第二光照场景(LS2)的变化;使用摄像头数据和传感器数据确认LS变化;获取与LS2相关联的PDP2并使用PDP2中的色调映射设置来操作摄像头系统。
附图说明
下文将结合以下附图描述示例性实施例,其中相同的附图标记表示相同的元件,并且其中:
图1是示出根据各种实施例的包括视觉传感器检测系统的车辆的示意图;
图2是根据示例性实施例的视觉传感器检测系统的数据流图;
图3是描述根据各种实施例的用于车辆中视觉传感器检测的示例方法的过程流程图;
图4-7是根据示例性实施例的示例性用例,示出了没有视觉传感器检测系统和具有视觉传感器检测系统的显示图像;和
图8是描绘根据示例性实施例的由视觉传感器检测系统提供的功能优势的图。
具体实施方式
下面的详细描述本质上仅仅是示例性的,并不旨在限制应用和使用。此外,不打算受前面的技术领域、背景、概述或下面的详细描述中提出的任何明示或暗示的理论的约束。
这里可以根据功能和/或逻辑块组件和各种处理步骤来描述本公开的实施例。应当理解,这样的块组件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如,本公开的实施例可以采用各种集成电路组件,例如存储元件、数字信号处理元件、逻辑元件、查找表等,其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。
如这里所使用的,术语“模块”指单独地或以任何组合的方式存在的任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器设备,包括但不限于:专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供属于模块的功能的其他合适的组件。此外,本领域技术人员将理解,本公开的实施例可以结合任何数量的系统来实施,并且这里描述的系统仅仅是本公开的示例性实施例。
为了简洁起见,与信号处理、数据传输、信号发送、控制、机器学习模型、雷达、激光雷达、图像分析以及系统的其他功能方面(以及系统的各个操作组件)相关的传统技术在此不再详细描述。此外,本文包含的各图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意,在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。
如上所述,车辆中的视觉传感器检测系统通常使用勒克斯计(Lux meter)来检测摄像头系统中的光水平,然后开始将摄像头中的色调映射(tone-mapping)调整到所检测到的光水平的过程。调整色调映射可能需要大约36-48帧来解析,这可以转化为几个汽车长度。这种量的时间和距离会引起自动车辆的安全问题,这就提出了一个需要解决的技术问题。这里描述的用于移动平台的视觉传感器检测系统和方法通过主动准备即将到来的光照场景(lighting scenario)来提供解决方案。该方法包括根据GPS数据和无线接收的地图数据来确定或预测光照场景(LS);这可以在车辆到达光照场景的变化之前(例如,在车辆到达隧道之前)快速完成。车载摄像头系统随后在LS中操作,色调映射设置与LS相关联,该色调映射设置是从与LS相关联的预定义简档(predefined profile:PDP)中获取的。接收的传感器数据和摄像头数据用于确认每个预测的和当前的LS;每一个预测的LS变化都会导致与其色调映射设置相关联的PDP的获取PDP。每个确认的LS实现了使用传感器数据和摄像头数据来定制色调映射设置。该方法在移动平台运行期间循环。下面结合附图更详细地描述该系统和方法。
图1描绘了示例移动平台。示例移动平台是车辆100,其能够移动并将乘客从一个位置运送到另一个位置。车辆100在所示实施例中被描绘为客车,但是也可以使用其他车辆类型,包括摩托车、出租车、车组合(vehicle fleet)、公共汽车、轿车、货车、卡车、运动型多功能车、其他汽车、休闲车(RV)、机车和其他车辆。如通常所理解的,车辆100可以实施为车身、底盘和车轮,每个车轮在车身的相应拐角附近可旋转地连接到底盘。车辆100被描绘为具有四个车轮20,但是在其他实施例中车轮20的数量可以变化。车辆100可以是自主的或半自主的。
示例车辆100包括多个通信联接的部件。通信联接的部件的非限制性示例包括传感器系统104、摄像头106的系统、显示系统108、收发器110、地理定位系统(GPS)112、视觉检测处理器102和存储设备,即存储器54。处理器和存储器54可以通过总线50和通信结构(称为输入/输出52)与车辆100上的其他部件通信。车辆100还可被理解为包括集体功能块,驱动系统114,其通常包括用于车辆操作的已知车辆系统,例如推进系统、传动系统、转向系统、车轮促动器、和制动系统,并且产生各种信号,包括车辆速度和车辆加速度。驱动系统114和其他车载系统向处理器102提供信号,处理器102从该信号产生用于摄像头106的系统和显示系统108的控制,以作为输出。在各种实施例中,车载系统,例如驱动系统114,利用各种处理器102输出,例如显示系统108上显示的图像109,来控制车辆100操作的各个方面,例如,通过控制与车轮和制动器相关联的牵引装置。
车辆100包括视觉检测系统,通常显示为系统103。系统103提供的技术改进是对光照场景(LS)变化的快速调整。对LS变化的快速调整至少部分地通过LS专用色调映射设置来实现,所述LS专用色调映射设置是预定义的并且可用于基于LS的快速获取(在与LS相关联的预定义简档中提供)。处理器102命令摄像头106的系统调整其色调映射设置;因此,系统103在显示系统108上快速传送图像和视频,提供其中的对象的细节。
短语“光照场景”(LS)在本文中被用作对各种预定义的环境或障碍物相关事件进行分类的方式,这些事件可以表示由摄像头106的系统在短时间内检测到的光水平的大幅度摆动(swing)。广义地说,例子包括凸显(overhangs light)、白化(whiteout)和黑化(blackout)。如这里所使用的,黑化是这样定义的一种情况:摄像头感测到场景中有超过60%的白光的光水平,然后,在不到1秒钟的时间内,摄像头感测到场景变化到超过60%的场景是黑的(没有光)。黑化具有相应的时间段,在该时间段中,由摄像头106的系统生成的图像中的所有像素都呈现黑色(没有光),从而阻止物体被检测到。根据黑化时车辆的速度,黑化时段可持续36-48个摄像头帧。如这里所使用的,白化是被定义为:摄像头感测到场景中超过60%是黑(无光)的光水平,然后,在不到1秒的时间内,摄像头感测到场景变化到超过60%的场景的光水平是白光。白化具有相应的时间段,在该时间段中,由摄像头106的系统生成的图像使图像中的所有像素呈现白色,从而阻止检测到物体。根据车辆在白化时的速度,白化时段可能持续36-48个摄像头帧。
在实践中,示例性的LS可以包括白化和黑化情况,并且可以包括有覆盖物的桥梁、隧道、住宅停车库、商业停车库、有覆盖物的机场航站楼等。下文结合表1的讨论更详细地阐述了一些潜在客户服务的例子。图4-7提供的例子显示了由系统103提供的一些常见LS中的技术改进。
回到图1,下面更详细地描述这些组件中的每一个的功能和操作。
传感器系统104包括一个或多个感测设备,该感测设备感测外部环境的可观察条件(例如表面条件、降水、光照水平、到物体的距离等)并生成与其相关的传感器数据。感测设备可以包括但不限于:雷达(例如,远程、中程-短程)、激光雷达、超声波传感器、里程计传感器(例如,编码器)和/或可以结合根据本主题的系统和方法使用的其他传感器。可以实施在传感器系统数据中的特征的非限制性示例包括到物体32的距离、降雨量、表面的不平坦性、冰的存在、水的存在等。
摄像头106的系统可以包括一个或多个光学摄像头(例如,面前向的、360度的、面后向的、面向侧向的、立体的等)、热(例如红外)摄像头等。摄像头106的系统感测光水平30、边缘、对比度、光饱和度等。作为可调色调映射设置的函数,并基于此生成摄像头数据。可以实施在摄像头系统数据中的特征的非限制性示例包括全景、光量、边缘、对比度、饱和度等。摄像头106的系统由处理器102控制,并且具体地对由处理器102提供的色调映射设置做出响应。
显示系统108被配置为连续接收和处理来自处理器102的显示命令,并以图像和视频的形式显示摄像头106的系统数据。显示系统108包括用于呈现显示图像109的显示设备。在本文描述的各种实施例中,显示系统108包括合成视觉系统(synthetic vision system:SVS),并且显示的图像109是SVS图像。在示例性实施例中,显示设备在一个或多个电子显示设备上实现。
收发器110包括支持一个或多个通信协议的硬件和软件,用于处理器102和外部源(例如卫星、云、通信塔和地面站)之间的无线通信。在各种实施例中,收发器110被配置成接收地图数据。在各种实施例中,收发器110被配置为根据有效订阅(valid subscription)接收最新的高清晰度(HD)地图数据,并由全球定位系统112和处理器102使用。HD地图数据通常包括道路几何形状、道路曲率、坡度、角度、宽度、速度限制、车道数量和配置(例如超车道、出口等)、隧道位置、有覆盖物的桥梁位置、商业停车库位置等。
全球定位系统(GPS)112执行对外部地图提供商的订阅功能,例如,获得最新的高清晰度(HD)地图数据。全球定位系统112还为车辆100生成GPS数据,包括车辆100的位置和运动。通过将GPS数据与HD地图数据进行比较,处理器102对即将到来的光照场景变化进行预测。尽管图1将车辆100描绘为具有一个方向,但是在各种实施例中,车辆100可以在任何方向上移动,即360度。同样,在各种实施例中,摄像头106的系统和传感器系统104也可以360度获得和处理信息。
如本文所使用的,处理器102促进系统103的部件之间的通信和/或交互,并且执行额外的过程、任务和/或功能来支持属于系统103的操作,如本文所描述的。根据实施例,处理器102可以实施或实现为具有通用处理器(共享的、专用的或成组的)控制器、微处理器或微控制器以及执行一个或多个软件或固件程序的存储器;内容可寻址存储器;数字信号处理器;专用集成电路(ASIC)、现场可编程门阵列(FPGA);任何合适的可编程逻辑器件;包括离散门或晶体管逻辑的组合逻辑电路;分立硬件组件和存储设备;和/或其任意组合,被设计成执行本文描述的功能。
在各种实施例中,系统103被实现为增强的计算机系统,包括计算机可读存储设备或介质、用于存储指令、算法和/或程序(例如色调映射程序56和多个预定义简档58)的存储器54、执行程序56的处理器102以及输入/输出接口(I/O)52。例如,计算机可读存储设备或介质、存储器54可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储。KAM是持久或非易失性存储器,其可用于在处理器102断电时存储各种操作变量。存储装置54可以使用多种已知的存储装置中的任何一种来实现,例如PROM(可编程只读存储器)、EPROM(电可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或能够存储数据的任何其他电、磁、光或组合存储装置,其中一些存储装置代表处理器102在控制车辆100时使用的可执行指令。在各种实施例中,处理器102被配置成实现系统103。
处理器102可以使用存储器54来为多个预定义光照场景(LS)中的每个预定义光照场景(LS)急性存储和保持:用于摄像头106的操作的相关联的预定义简档(PDP),其包括色调映射设置。例如,对于N个经识别的光照场景,有N个相应的PDP。N个PDP中的每一个都包括用于摄像头106的系统的控制信息,特别是包括用于摄像头106的色调映射设置,以适应所识别的光照场景。
在一个示例性实施例中,多个PDP可以作为查找表存储在存储器54中,每个PDP与相应的多个LS中的一个相关联,每个PDP具有至少一个色调映射设置,用于在相关联的LS中操作摄像头106的系统。在示例性实施例中,白天和夜晚可以由移动平台正在操作时所在的地理位置中的一天中的时间来定义(例如,白天可以是从黎明到黄昏,而夜晚可以是从黄昏到黎明,其中任意分配了对黎明和黄昏的几种可用定义中的一种)。在一个示例性实施例中,白天和夜晚可以用阳光强度的任意二元边界(arbitrary binary boundary)来定义,即,在一水平以上是白天,在该水平以下是夜晚。在示例性实施例中,“晴朗”和“朦胧”可以具有基于阳光强度测量值的定义,例如使用太阳能辐射计。在一个实施例中,“雨天”可以由阳光强度的量和降水和/或雾的量来定义。在一个实施例中,可以基于可用的可测量的光(包括存在或不存在的光的波长)任意定义隧道或车库等的光照场景。在一个实施例中,可以基于可用的可测量的光(包括存在或不存在的光的波长)任意定义有覆盖物的体育场/大型室内穹顶的光照场景,例如,包围足球场和观众的尺寸。在示例性实施例中,在定义多个光照场景、它们的色调映射要求以及它们的尺寸(如果适用,例如对于结构)时,查找表可以被组织成如下表1所示:
表1
存储器54中的信息可以在一方法中的初始化或安装操作期间从外部源组织和/或导入;它也可以通过用户输入设备来编程。输入/输出接口(I/O)52可以通过总线50可操作地联接到处理器102,并实现系统103内的通信。输入/输出接口(I/O)52可以包括一个或多个有线和/或无线网络接口,并且可以使用任何合适的方法和装置来实现。在各种实施例中,输入/输出接口(I/O)52支持与技术人员的通信,和/或用于直接连接到存储设备的一个或多个存储接口。
在如图2所示的实施例中,在系统103的操作期间,处理器102加载并执行体现为程序56的一个或多个算法、指令和规则,并且因此控制系统103的一般操作。
处理器102被编程为接收来自传感器系统104的传感器数据、来自摄像头106的系统的摄像头数据以及来自收发器110的HD地图数据。如下所述,处理器102被编程为根据来自传感器系统104的传感器数据、来自摄像头106的系统的摄像头数据和来自收发器110的HD地图数据,生成用于摄像头106的系统的控制,包括色调映射设置。取决于系统103的实施例,可以根据色调映射算法来执行操作,根据状态机逻辑来执行操作,根据可编程逻辑阵列中的逻辑来执行操作,等等。
虽然图1中的系统103的示例性实施例是在全功能增强计算机系统的环境中描述的,但是本领域技术人员将认识到,本公开的机制能够作为包括程序56和预定义简档58的程序产品来分发。这种程序产品可以包括被组织为多个相互依赖的程序代码模块的指令布置(arrangement of instructions),每个程序代码模块实现单独的过程,被布置为管理经过系统103的数据流(参见图2)。程序代码模块可以各自包括用于实现由系统103执行的过程的逻辑功能的可执行指令的有序列表。当由处理器执行时,这些指令使处理器接收和处理信号,并执行如本文所述的逻辑、计算、方法和/或算法,用于自动和实时地为摄像头106的系统生成色调映射设置和摄像头控制。
一旦被开发,构成程序产品的程序代码模块可以使用一种或多种类型的非暂时性计算机可读信号承载介质而被单独存储和分发,该非暂时性计算机可读信号承载介质可以被用于存储和分发指令,例如非暂时性计算机可读介质。这种程序产品可以采取多种形式,并且无论用于执行分发的计算机可读信号承载介质的类型如何,本公开都可等同地适用。信号承载介质的例子包括:可记录介质(如软盘、硬盘、存储卡和光盘),以及传输媒介(如数字和模拟通信链路)。应当理解,在某些实施例中,基于云的存储和/或其他技术也可以用作存储器和基于时间查看许可请求的程序产品。
现在转到图2,数据流图200示出了由程序56实施并由系统103执行的过程的示例性布置。过程202指导多个(N个)预定义光照场景(LS)的加载和更新。多个LS中的每个LS具有相关联的预定义简档(PDP),该预定义简档包括用于相应LS的色调映射设置。因此,有N个相应的PDP。
过程204从收发器110接收HD地图数据,过程206从GPS 112接收GPS数据。过程208根据HD地图数据和GPS数据预测当前光照场景的变化。在一个示例中,当前光照场景是未被阻碍的阳光,并且经处理的HD地图数据和GPS数据指示前方有隧道:当前光照场景可以被认为是LS1,隧道光照场景可以被认为是LS2,并且预测的LS变化是从LS1到LS2。在各种实施例中,预测的LS变化具有相应的时间,例如2分钟后。在各种实施例中,预测的LS变化具有相应的距离,例如3英里后。在各种实施例中,预测的LS变化具有相应的时间和相应的距离。
在过程210中,从传感系统接收传感器数据,从摄像头106的系统接收摄像头数据。在过程212中,摄像头数据和传感器数据用于确认(或丢弃)来自过程208的预测的LS变化。例如,在过程208,预测隧道在前方3英里,包括隧道的几何形状和位置。在过程212,如果传感器数据包含与预测隧道一致的经检测结构和/或摄像头数据包含与隧道一致的经检测光和边缘变化,则LS变化(从开放道路到隧道)被确认。同样,相反的过程是:回到该示例,在过程208,预测隧道在前方3英里处;如果在过程212,传感器数据不包含与预测隧道一致的经检测结构和/或摄像头数据不包含与隧道一致的经检测光和边缘变化,则丢弃LS变化。这种情况可能表明如HD地图数据所示曾经/现在有一条隧道,但道路工程或其他重新划定路线的操作目前让绕过该隧道。
在过程214,经确认的LS用于获取相关联的PDP,并且在过程216,摄像头106的系统根据来自处理器102的命令操作,并且具体地,被调整到在过程214中获取的PDP的色调映射设置。在过程218,摄像头数据作为图像或视频109显示在显示系统108上。
过程202-218中的每一个都可以由系统103根据方法的步骤来执行,这将在下面更详细地描述。
现在转到图3,上述系统103可以通过用于视觉传感器检测的处理器可执行方法来实现,该方法通常被显示为方法300。为了说明的目的,方法300的以下描述可以涉及上面结合图1-2提到的要素。实际上,方法300的一些部分可以由所描述的系统103的不同部件来执行。应当理解,方法300可以包括任何数量的额外或替代操作和任务,图3中所示的任务不需要以所示的顺序执行,而是方法300可以被结合到具有本文没有详细描述的额外功能的更全面的过程或方法中。此外,图3所示的一个或多个任务可以从方法300的实施例中省略,只要预期的整体功能保持不变。
在302,系统103被初始化。当实现为增强的计算机系统(例如,图1)时,初始化可以包括上传、安装或更新构成程序56和多个预定义简档(PDP)58的指令,以供处理器102执行。
在操作304,至少地图数据和GPS数据被处理以确定初始光照场景(LS),并且摄像头106的系统以初始色调映射设置在初始光照场景(LS)中操作。在各种实施例中,初始LS可以被称为LS1,并且初始色调映射被定义在相关联的PDP1中定义。为了操作摄像头106的系统,用于摄像头106的系统的色调映射设置首先通过参考用于相关联的多个光照场景(LS)的多个预定义简档(PDP)来确定,如上所述,每个PDP具有与其相关LS相关联的色调映射设置。
在306,从收发器110接收HD地图数据。在308,从GPS112接收GPS数据。在310,从传感器系统104接收传感器数据,并且从摄像头106的系统接收摄像头数据。在312,摄像头数据作为图像或视频109而被显示在显示系统108上。图像或视频以帧速率更新。
在314,预测LS变化。LS变化预测是HD地图数据和GPS数据的函数。在一个示例中,LS变化可以被描述为从LS1到LS2的变化。在316,处理器102处理具有预测LS变化的摄像头数据和传感器数据,以确认或丢弃预测的LS变化。在318,当LS改变被确认时,处理器102获取与LS相关联的PDP2。在320,处理器102使用由PDP2定义的相关色调映射设置在LS2中操作摄像头。
回头参考表1,可以理解,在所提供的示例中,第一光照场景可以被标记为LS1,以将其与第二光照场景LS2或第三LS LS3相区别。然而,可以理解,LS1可能不意味着表1的条目1,LS2可能不是表1的条目2。非限制性地,示例可以包括:其中LS1是晴朗白天,而LS2是隧道;其中LS1为晴朗白天,LS2为商业停车库;其中LS1为晴朗白天,LS2为机场航站楼的入口;其中LS1为商业停车库,LS2为晴朗白天;并且,其中LS1是商业停车库,LS2是夜晚。此外,每次存在当前LS时,预测的下一个光照场景可以被称为经预测的即将到来的光照场景。在各种实施例中,经预测的即将到来的光照场景是地图数据的函数;例如,根据地图,隧道即将结束。在其他实施例中,预测的即将到来的光照场景是传感器数据和/或摄像头数据的函数;例如,检测到的光水平变化表明隧道的末端接近。在另外的实施例中,经预测的即将到来的光照场景是地图数据和/或传感器数据和/或摄像头数据的函数。无论如何,响应即将到来的LS,处理器将或与与即将到来的光照场景相关联的PDP;并且使用与即将到来的光照场景相关联的PDP来操作摄像头106的系统。
在322,在将LS1更新为LS2之后,处理器检查LS2是否仍然是当前的。该检查是根据摄像头数据和传感器数据执行的,它是一种有效性检查,表明LS2的状态仍在被检测。参考前面的例子,该操作询问车辆是否仍在隧道中。
在操作324,如果LS2仍然是当前的,则传感器数据和摄像头数据被处理以定制色调映射设置,并且摄像头106的系统以定制的色调映射设置操作。
回到该示例,这可能意味着隧道的预定义简档PDP2具有色调映射设置,但是一旦进入隧道,由于各种环境原因中的任何一种,来自传感器系统和摄像头系统的数据表明不同的色调映射设置可能是最佳的,并且处理器102调谐PDP2色调映射设置,从而将其定制为当前隧道情况。在操作324之后,该过程可以返回到操作306或结束。
总之,所提供的系统103和方法300基于地图数据和色调映射调整(即,定制的色调映射设置)来提供色调映射调整;该策略提供了对光照场景的最佳检测和快速调整,以及通过定制色调映射设置对光照场景的连续调整。
在操作326,如果LS2不再是当前的,则HD地图数据、传感器数据和摄像头数据被处理以识别相关的光照场景(例如,LS3)。处理器102获取PDP3,并根据PDP3中建立的色调映射来操作摄像头106的系统。回到该例子,这可能意味着车辆已经离开隧道,在这种情况下,PDP1可能再次成为当前的,或者第三光照场景,PDP3,可能是当前的。在操作326之后,该过程可以返回到操作306或结束。
如上所述,与来自相同位置的其他可用视觉传感器系统产生的图像(如图4和6所示)相比,视觉传感器检测系统103提供的功能改进是更快速和更清晰的图像或视频109(如图5和7所示)。在图4-7中,视角是车辆100的驾驶员向前看的视角。在图4-5中,可以看到车辆400在车辆100的前面,与车辆100在同一车道上。在车辆100左侧的车道上,有车辆402和车辆404。在车辆100的前方向右倾斜一个角度,有一个行人406。通过比较图4和图5,很明显,由系统103提供的图5是更清晰的图像(即,它具有更好的对比度和清晰度)。事实上,在图4中行人406实际上是不可检测的。
在图6和7中,在车辆100的同一车道在,在车辆100的前方可以看到车辆600。图7中有一个由系统103提供的显著的高架结构或支撑梁602;然而,在图6中几乎检测不到支撑梁602。
如上所述,所提供的视觉传感器检测系统103能够更快地调节光水平转换,这里称为光照场景(LS)变化。在图8中,时间线802描绘了当前可用的视觉传感器检测系统,时间线804描绘了所提供的技术改进的视觉传感器检测系统103。在时间线802上,在车辆800进入隧道803之后,摄像头系统中开始进行色调映射调整(在806处)。在808,当前可用的视觉传感器检测系统完成其对隧道光照场景的色调映射调整。在进行色调映射调整(从它们开始(806)和结束(808)时)的时间期间,车辆800已经行进了一段距离(由箭头810表示)并进入隧道;基于每秒30帧的速率,色调映射可能需要大约36到48帧。摄像头106的系统未被调整到LS的这段时间可以被显示系统上显示的图像的观看者/用户体验为白化阶段或黑化阶段。
相反,在车辆800中提供的技术改进的视觉传感器检测系统103在812检测即将到来的隧道,这是在进入隧道803之前。HD地图和GPS数据允许处理器102预测距离和/或时间,直到预期由于隧道803而发生的LS变化发生。在各种实施例中,基于每秒30帧的速度,该预测/检测(操作314)发生在进入隧道803之前大约10帧时(由箭头814表示)。在进入隧道之前检测并确认隧道,随后在进入隧道之前针对隧道加载PDP,并在进入隧道之前完成隧道视觉的色调映射调整。在一个非限制性的例子中:每小时50英里等于每秒22.4米;车辆的平均长度等于4.6米或15英尺;按30fps,45帧等于1.5秒;在按50mph,节省1.5秒(33.6米)的时间相当于7辆车的长度。整体而言,如图8所示,系统103提供显著改善的功能结果;在该示例中,与可用系统相比,系统103可以以每小时50英里的速度节省大约7个车辆长度的摄像头调整时间。此外,系统103可以消除与箭头810相关联的白化期和/或黑化期摄像头调整场景。
系统103在隧道803的末端(820)再次提供这种技术改进(见操作326)。系统103在816处,在隧道820结束之前大约10帧(箭头818),预测由于隧道结束导致的LS变化。预先检测并确认隧道803的结束(820),随后在隧道使系统103能够在离开隧道803之前完成用于隧道后视觉检测的色调映射调整之后,加载用于光照场景的PDP。
如结合操作322和324所描述的,对当前可用系统的另一个功能改进是,一旦车辆800在隧道803内,系统103可以处理摄像头数据和传感器数据以定制色调映射设置,使得它们针对隧道803内的当前情况进行调整;该定制过程可以重复,直到系统103确定隧道803即将结束。
因此,视觉传感器检测系统103提供了一种技术解决方案,该技术解决方案相对于用于车辆的视觉传感器检测系统的传统方法具有功能改进。所提供的视觉传感器检测系统103和方法主动为即将到来的光照场景做准备。
虽然在前面的详细描述中已经给出了至少一个示例性实施例,但是应当理解,存在大量的变化。还应当理解,一个或多个示例性实施例仅仅是示例,并不旨在以任何方式限制本公开的范围、适用性或配置。相反,前面的详细描述将为本领域技术人员提供实现一个或多个示例性实施例的便利路线图。在不脱离如所附权利要求及其法律等同物中阐述的本公开的范围的情况下,可以对元件的功能和布置进行各种改变。
Claims (10)
1.一种用于移动平台的视觉传感器检测系统,包括:
收发器,从外部源接收地图数据;
摄像头系统,根据可调整的色调映射设置来感测移动平台外部的光水平;
传感器系统,生成包括相距物体的距离的传感器数据;
地理定位系统GPS,生成包括移动平台的位置和运动的GPS数据;
处理器,用色调映射程序和用于相关联的多个光照场景LS的多个预定义简档PDP对处理器编程,每个PDP具有用于摄像头系统的色调映射设置,该处理器被配置为:
接收地图数据、GPS数据、传感器数据和摄像头数据;
使用相关联的第一预定义简档PDP1,在第一光照场景LS1中操作摄像头系统;
在显示系统上显示摄像头数据;
根据GPS数据和地图数据预测光照场景LS变化,其中LS变化包括从LS1到第二光照场景LS2的变化;
使用摄像头数据和传感器数据确认LS变化;
获取与LS2相关联的第二预定义简档PDP2;和
使用PDP2操作摄像头系统。
2.根据权利要求1所述的系统,其中,所述处理器还被配置成:
确定LS2是否仍然是当前的;和
当LS2仍然是当前的时,
处理传感器数据和摄像头数据,从而从PDP2定制色调映射设置;和
使用定制的色调映射设置来操作摄像头系统。
3.根据权利要求2所述的系统,其中,所述处理器还被配置成:
当LS2不再是当前的时,
根据地图数据、传感器数据和摄像头数据预测即将到来的光照场景;
获取与即将到来的光照场景相关联的PDP;和
使用与即将到来的光照场景相关的PDP来操作摄像头系统。
4.根据权利要求3所述的系统,其中,所述即将到来的光照场景与LS1相同,并且与所述即将到来的光照场景相关联的PDP是PDP1。
5.根据权利要求3所述的系统,其中,所述即将到来的光照场景是第三光照场景LS3,并且与所述即将到来的光照场景相关联的PDP是第三预定义简档PDP3。
6.一种用于移动平台的视觉传感器检测的处理器实现的方法,包括:
从外部源接收地图数据;
从摄像头系统接收摄像头数据,该摄像头系统感测移动平台外部的光水平,作为可调整的色调映射设置的函数;
从传感器系统接收传感器数据;
从GPS接收包括移动平台的位置和运动的地理定位系统GPS数据;
根据GPS数据和地图数据确定光照场景LS1;
通过参考用于相关联的多个光照场景LS的多个预定义简档PDP,使用相关联的第一预定义简档PDP1在LS1中操作摄像头系统,每个PDP具有与其相关LS相关联的色调映射设置;
在显示系统上显示摄像头数据;
根据GPS数据和地图数据预测光照场景LS变化,其中LS变化包括从LS1到第二光照场景LS2的变化;
使用摄像头数据和传感器数据确认LS变化;
获取与LS2相关联的第二预定义简档PDP2;和
使用PDP2操作摄像头系统。
7.根据权利要求6所述的方法,进一步包括:
确定LS2是否仍然是当前的;和
当LS2仍然是当前的时,
处理传感器数据和摄像头数据,从而从PDP2定制色调映射设置;和
使用定制的色调映射设置来操作摄像头系统。
8.根据权利要求7所述的方法,进一步包括:
当LS2不再是当前的时,
根据地图数据、传感器数据和摄像头数据预测即将到来的光照场景;
获取与即将到来的光照场景相关联的PDP;和
使用与即将到来的光照场景相关联的PDP来操作摄像头系统。
9.根据权利要求8所述的方法,其中,所述即将到来的光照场景与LS1相同,并且与所述即将到来的光照场景相关联的PDP是PDP1。
10.根据权利要求9所述的方法,其中,所述即将到来的光照场景是第三光照场景LS3,并且与所述即将到来的光照场景相关联的PDP是第三预定义简档PDP3。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/559,822 US10789851B1 (en) | 2019-09-04 | 2019-09-04 | System and method for vision sensor detection |
US16/559,822 | 2019-09-04 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112449153A CN112449153A (zh) | 2021-03-05 |
CN112449153B true CN112449153B (zh) | 2023-06-23 |
Family
ID=72615000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010919880.8A Active CN112449153B (zh) | 2019-09-04 | 2020-09-04 | 用于视觉传感器检测的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10789851B1 (zh) |
CN (1) | CN112449153B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110226078B (zh) * | 2016-12-22 | 2024-04-26 | 日产北美公司 | 自动车辆服务系统 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09244003A (ja) * | 1996-03-13 | 1997-09-19 | Toyota Motor Corp | 車両用画面制御装置 |
DE19940723A1 (de) * | 1999-08-27 | 2001-03-08 | Daimler Chrysler Ag | Verfahren zur Anzeige eines perspektivischen Bildes und Anzeigevorrichtung für mindestens einen Insassen eines Fahrzeugs |
JP3838613B2 (ja) * | 1999-08-31 | 2006-10-25 | 本田技研工業株式会社 | 車載表示装置 |
WO2005080120A1 (en) * | 2004-02-20 | 2005-09-01 | Sharp Kabushiki Kaisha | Condition detection and display system, condition detection and display method, control program for condition detection and display system, and storage medium storing the control program |
JP2006112962A (ja) * | 2004-10-15 | 2006-04-27 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
JP2011240767A (ja) * | 2010-05-17 | 2011-12-01 | Nissan Motor Co Ltd | 車両用表示装置 |
GB201101237D0 (en) * | 2011-01-25 | 2011-03-09 | Trw Ltd | Method of processing images and apparatus |
DE102012002149B3 (de) * | 2012-02-04 | 2013-06-20 | Audi Ag | Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug |
US9041589B2 (en) * | 2012-04-04 | 2015-05-26 | Caterpillar Inc. | Systems and methods for determining a radar device coverage region |
US9123251B2 (en) * | 2013-08-20 | 2015-09-01 | Ford Global Technologies, Llc. | Image system for automotive safety applications |
US9550498B2 (en) * | 2014-05-13 | 2017-01-24 | Ford Global Technologies, Llc | Traffic light anticipation |
JP6706792B2 (ja) * | 2016-03-31 | 2020-06-10 | パナソニックIpマネジメント株式会社 | 車載用表示装置 |
US20170309181A1 (en) * | 2016-04-26 | 2017-10-26 | Hyundai Motor Company | Apparatus for recognizing following vehicle and method thereof |
WO2018031441A1 (en) * | 2016-08-09 | 2018-02-15 | Contrast, Inc. | Real-time hdr video for vehicle control |
US20180096668A1 (en) * | 2016-09-30 | 2018-04-05 | Ford Global Technologies, Llc | Hue adjustment of a vehicle display based on ambient light |
CN106970748A (zh) * | 2016-10-13 | 2017-07-21 | 蔚来汽车有限公司 | 基于环境光颜色自动调节车载hud显示颜色的方法和系统 |
KR20200046437A (ko) * | 2018-10-24 | 2020-05-07 | 삼성전자주식회사 | 영상 및 맵 데이터 기반 측위 방법 및 장치 |
-
2019
- 2019-09-04 US US16/559,822 patent/US10789851B1/en active Active
-
2020
- 2020-09-04 CN CN202010919880.8A patent/CN112449153B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US10789851B1 (en) | 2020-09-29 |
CN112449153A (zh) | 2021-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9734425B2 (en) | Environmental scene condition detection | |
US8964024B2 (en) | System and method for controlling exterior vehicle lights responsive to detection of a semi-truck | |
US9892331B2 (en) | Imaging system and method with ego motion detection | |
US9185363B2 (en) | Vehicle imaging system and method for categorizing objects using relative motion analysis | |
KR101768500B1 (ko) | 운전 보조 장치 및 그 제어방법 | |
US11887378B2 (en) | Close-in sensing camera system | |
US20140198213A1 (en) | Imaging system and method for detecting fog conditions | |
CN111791668B (zh) | 用于控制自主车辆的驾驶状况部件的方法、装置及介质 | |
US9894348B2 (en) | Driver assistance for a vehicle | |
JP6209825B2 (ja) | 視差検出装置、視差検出方法 | |
US20180005384A1 (en) | Motion determination system and method thereof | |
US9619720B2 (en) | Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights | |
CN112449153B (zh) | 用于视觉传感器检测的系统和方法 | |
US20190287262A1 (en) | System and method to determine size of vehicle carrying cargo | |
JP6330296B2 (ja) | 走行支援装置及び走行支援方法 | |
JP7125893B2 (ja) | 走行制御装置、制御方法およびプログラム | |
US10863106B1 (en) | Systems and methods for LED flickering and banding detection | |
CN105705353B (zh) | 包括对颜色衰减进行动态补偿的成像系统 | |
CN112766030B (zh) | 用于led闪烁和条带检测的系统和方法 | |
CN114619963A (zh) | 用于辅助车辆驾驶员的视觉的方法及装置 | |
CN112744159A (zh) | 车辆及其后视显示装置以及后视显示装置的控制方法 | |
US20230382408A1 (en) | Monitoring system and method for monitoring | |
CN116061658A (zh) | 用于自动启动车辆遮阳器的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |