CN106476695B - 用于可视性增强的系统和方法 - Google Patents

用于可视性增强的系统和方法 Download PDF

Info

Publication number
CN106476695B
CN106476695B CN201610768711.2A CN201610768711A CN106476695B CN 106476695 B CN106476695 B CN 106476695B CN 201610768711 A CN201610768711 A CN 201610768711A CN 106476695 B CN106476695 B CN 106476695B
Authority
CN
China
Prior art keywords
image
sensor
critical range
contrast
visibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610768711.2A
Other languages
English (en)
Other versions
CN106476695A (zh
Inventor
阿赫德·阿拉赫玛尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMR Patents SARL
Original Assignee
SMR Patents SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMR Patents SARL filed Critical SMR Patents SARL
Publication of CN106476695A publication Critical patent/CN106476695A/zh
Application granted granted Critical
Publication of CN106476695B publication Critical patent/CN106476695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/22—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明涉及可视性增强系统1，包括：第一传感器装置2，包括摄像头，其适于记录至少一幅图像；第二传感器装置3，适于生成位于该第一传感器装置2的临界范围7内的至少一个物体6的至少一个位置特性；以及，图像处理装置4，其适于：接收来自该第一传感器装置2的包含该至少一幅图像的第一输入信号和来自该第二传感器装置3的包含该位于该临界范围7内的至少一个物体6的该至少一个位置特性的第二输入信号，以及通过改变该图像中示出位于该临界范围7内的该至少一个物体6的部分的对比度处理该至少一幅图像以生成处理后的图像8，以及对应的方法。

Description

用于可视性增强的系统和方法
技术领域
本发明涉及可视性增强的系统和方法。该系统包括第一和第二传感器装置以获取机动车周边的图像信息和位置信息，以及图像处理装置以处理图像信息。
发明背景
当今，智能辅助系统使用安装在车辆多个不同位置的摄像头的图像数据以警告驾驶员危险情况。例如，这些辅助系统可生成路口交通警报，或者自主探测行人。大多数当今的辅助系统不仅仅处理图像信息以产生声音或者视觉警告，还修改从位于车辆多个位置的不同摄像头获取的图像数据，通过将信息增加到原始图像数据从而包括图像警告。由于，在当今的车辆中呈现给驾驶员的信息量持续增加，所以向驾驶员呈现数据的方式变得更加重要。
这些用于探测物体的辅助系统通常包括一个或多个摄像头，其位于该机动车前部的某个地方。例如，摄像头可以位于机动车散热器罩下方，或者该摄像头放置在保险杠的某个地方。例如，DE102013000261A1描述在车辆前部使用两个摄像头从不同角度记录驾驶场景，从而可以通过图像处理确定物体距离车辆的距离。相反，US2003/0095080描述只使用一个摄像头捕获驾驶场景的系统。这里，图像识别技术用来探测特定物体的形状，如出现在车辆一定距离内的交通标志。然后使用高可视性的颜色或闪动的边界突出显示探测到的形状的边界来处理将要在屏幕上显示给驾驶员的图像。
然而，大多数这些现有的系统非常复杂、昂贵，仅能捕获汽车前面的场景，以及采用令人迷惑的突出显示方案，这些方案中在没有物体的图像区域内噪声增加，从而产生令人不快的结果。
所以，本发明目的在于提供改进的可视性增强系统，其克服现有系统的短处和缺点，以及对应的方法。
发明概述
本发明提供一种用于可视性增强的系统。该系统包括第一传感器装置，其包括适于记录至少一幅图像的摄像头，以及第二传感器装置，其适于生成位于该第一传感器装置的临界范围内的至少一个物体的至少一个位置特 性(position profile)。该系统还包括图像处理装置，适于接收来自该第一传感器装置的包含该至少一幅图像的第一输入信号和来自该第二传感器装置的包含位于该临界范围内的该至少一个物体的该至少一个位置特性的第二输入信号。该图像处理装置进一步适于通过改变该图像中示出该至少一个物体的部分的对比度来处理该至少一幅图像以生成处理后的图像。
该用于可视性增强的系统可以是已经存在于机动车中的辅助系统的一部分，或者可以是独立的辅助系统。该系统包括第一传感器装置包括摄像头适于记录至少一幅图像。该摄像头可以是任何能够记录至少一幅图像的数字式摄像头。这里，该术语“记录”用来指通过该摄像头捕获图像信息，其中在一个触发事件只记录一个图像。然而，可以记录多于一个图像，例如每秒20幅图像或者更多，从而可以将实时图像信息呈现给驾驶员。
该系统进一步包括第二传感器装置，其适于生成位于该第一传感器装置的临界范围内的至少一个物体的位置特性。这里，该术语“位置特性”用来指运动参数，如该至少一个物体距离该第二传感器装置的位置，和/或该至少一个物体相对该第二传感器装置的速度。该至少一个物体可以是能够相对该第一传感器装置移动的任何物体，例如人、动物、另一辆汽车等。该临界范围可以是，例如，在该驾驶场景的方向上远离该第一传感器装置一定距离，这里“远离该第一传感器装置”也意味着分别远离该第二传感器装置以及远离该车辆。
并且，图像处理装置包含在该用于可视性增强的系统内。例如，该图像处理装置可以是同样位于该后视装置内的微处理器。然而，该微处理器也可以位于该车辆中的其他地方。该图像处理装置接收来自该第一传感器装置并包含该至少一幅图像的信号作为第一输入信号。这里，该信号可以是连续的数据流，其包含每秒大约20幅或者更多图像的信息。该图像处理装置从该第一传感器装置接收位于该临界范围内的至少一个物体的位置特性作为第二输入信号。该第二传感器装置的刷新速率对应该第一传感器装置的刷新速率，从而假如在该图像处理装置，作为第一输入信号接收包含大约20幅或更多图像的信息的连续数据流，那么该第二输入信号也包括确切数目的大约20个或更多的对应的至少一个物体的位置特性。确定该物体是否在该临界范围可以在该第二传感器装置进行，或者在该图像处理装置中。例如，该临界范围可以是存储在该图像处理装置中的阈值，并且可以由驾驶员自由调节。
该图像处理装置还适于通过改变该图像中示出该至少一个物体的部分的对比度来处理该至少一幅图像以生成处理后的图像。有利地，该图像处理装置可以处理该第一和第二输入信号以便处理由该第一传感器装置记录 的该至少一幅图像，通过突出显示位于该临界范围的该至少一个物体。如果多于一个物体位于该临界范围内，其他物体可以同样的方式突出显示。通过改变该图像中示出该物体的部分的对比度来完成该突出显示。这里，该术语“对比度”用来指颜色和亮度上的差异。例如，该图像中示出该至少一个物体的部分的对比度可以改变，从而该物体分别显示很亮或很黑，而该图像的其余部分，即背景，仍保持不变。有利地，通过仅改变在示出靠近物体那些部分的对比度，可以避免很强的噪声，并且同时可以增加该图像中感兴趣的部分的可视性。并且，在独立权利要求中限定的用于可视性增强的系统使得后视镜替代品更有用，因为其比单个镜子替代品系统可以使路面上的物体更可见。
如上所述，该术语“改变该图像中示出该物体的部分的对比度”可用来指该图像中示出该物体的全部区域的对比度改变，但是也可以另外或者额外地指仅仅是围绕该物体的区域的对比度改变，例如仅改变物体的轮廓线的对比度。并且，当其提及“改变该对比度”时，“对比度”为颜色和亮度的差别的定义可以包括将该图像中示出该物体的部分着色为不同的颜色。
并且，在一个例子中，该术语“摄像头”可用来指能够采集周边信息的传感器，但是其并不能获取周边的实际图像。例如，该摄像头可以是其他一些光学的、电磁或者声音传感器，其能够采集信息。在那种情况下，该处理后的图像可以不同的光学标示呈现给驾驶员,如利用显示在LCD屏上的一些图标。除了或者替换光学输出，还可以发出声音(警告)信号。
在一个例子中，该摄像头安装在机动车的后视装置中，和/或该第二传感器装置与该第一传感器装置对齐，和/或该图像处理装置进一步适于输出该处理后的图像至显示装置以将该处理后的图像显示给该机动车的驾驶员。该摄像头可以是任何能够记录至少一幅图像的数字式摄像头，其具有适当的尺寸以安装在后视装置中，例如在侧后视镜中，或者在该机动车的内部后视镜中。这里该术语“安装在……中”用来指该后视装置的外壳内部或者其上的位置。并且，该摄像头可以是已经安装在该后视装置中的摄像头，如用作后视镜替代品和/或盲点监测的摄像头，并且其通常安装在机动车的侧后视镜之一或者两者中。用于盲点监测的摄像头实际上覆盖了车辆的侧方的部分区域和测量后方的部分区域。或者，该摄像头还可以这样的方式安装在该后视装置中，即其面向行驶方向以捕获汽车前方的驾驶场景。
并且，该第二传感器装置与该第一传感器装置对齐。所以，该第二传感器装置也可以位于该后视装置中。或者，该第二传感器装置可以位于车辆内或其上的其他地方。这里，该术语“对齐”是用来定义该第一和该第二传 感器装置实际上朝向同样的方向，即，远离该车辆并且朝向同样的驾驶场景。
该图像处理装置进一步适于输出该处理后的图像至显示装置以将该图像显示给该驾驶员。例如，该处理后的图像可在该图像处理装置的输出提供至该显示装置，例如提供至车辆乘员舱中的LCD显示器或抬头显示器。
在另一个例子中，改变该图像中示出该至少一个物体的部分的对比度包括增加该对比度。有利地，通过增加该图像中示出该至少一个物体的部分的对比度增加该至少一个物体的可视性，其通过该显示装置显示给驾驶员。
在又另一个例子中，该图像处理装置进一步适于通过改变该图像中未示出该至少一个物体的部分的对比度来处理该至少一幅图像以生成处理后的图像。例如，该图像中未示出该至少一个物体的部分的对比度可减小从而该驾驶员的注意力会从至少一个物体的周边引开。然而，可替代地，取决于至少一个物体的尺寸，例如，在该至少一个物体相对其周边非常小的情况下，可以增加该图像中未示出该至少一个物体的部分的对比度，而降低该物体的对比度。有利地，通过使用后一种方案，可以更好地向驾驶员表明存在非常小的物体。
在另一个例子中，该第二传感器装置包括至少一个光学的、电磁和/或声音传感器，尤其是至少一个红外传感器、和/或至少一个激光传感器、和/或至少一个雷达传感器、和/或至少一个紫外(UV)传感器的形式。取决于已经安装在后视装置中的或者机动车其他地方的传感器，该第二传感器装置可以包括任何上述提及的传感器或者仅其中之一。
在另一个例子中，该第二传感器装置包括至少两个传感器。尤其是，当采用不那么精密的传感器作为第二传感器装置，比如IR传感器，两个传感器可用来生成该至少一个物体的至少一个位置特性。并且，可以并行使用两种不同类型的传感器，例如一个红外和一个激光传感器，以增加该第二传感器装置的精确度。
在另一个例子中，位于该第一传感器装置的临界范围内的物体的位置特性通过三角测量技术确定。通过使用那样的技术，该至少一个位置特性可通过安装在固定的基线上两端的已知位置或点处的两个传感器测量相对该至少一个物体的两个角度而生成。该固定基线可以是例如该后视装置的边缘。该至少一个物体可以确定为一个三角形的第三点，这个三角形具有一个已知边和两个已知角。该第一传感器装置每次记录新的图像可以重复该三角测量，从而为每个图像生成对应的位置特性数据，这里，该至少一个物体的速度可通过与该至少一个物体在随后的测量的位置的差而推知。
在又另一个例子中，该第二传感器装置可以机械方式移动以与该第一传感器装置对齐。取决于该传感器类型，使用的传感器的束宽以及由此的可探测区域可能小于包括在该第一传感器装置的摄像头的视场。在那种情况下，用作第二传感器装置的传感器能够以机械方式移动，或者沿表示摄像头视场的扇形转动，从而在摄像头视场内的所有物体都可以被该第二传感器装置定位。平移和/或转动运动可由例如电动马达提供。
在另一个例子中，该第二传感器装置可以电子方式移动以与该第一传感器装置对齐。电子操纵可通过例如部署传感器阵列而完成，可以在水平方向以及竖直方向引起阵列元件之间的相位移，从而可以在所有方向操纵波束以覆盖该摄像头的整个视场。有利地，通过使用电子操纵装置，不需要机械部件。所以，电子操纵更加可靠并且比以机械方式更快移动该第二传感器装置。
在又另一个例子中，该摄像头对于波长700至1100nm的夜间光谱敏感。有利地，通过使用工作在近红外区的摄像头，该系统还可以在车辆周边弱光的夜间使用。
在另一个例子中，该临界范围由车辆行驶的街道的边界限定，和/或限定为距离该机动车一定距离。例如，该临界范围可以是在该第一传感器装置视场中的一部分街道，或者该临界范围可以只是那个街道的一根车道。在后一种情况下，只有在这个车道内的物体才落在该临界范围内，反之不在这个车道内的物体就不落在该临界范围内。可通过例如图像探测技术确定什么物体位于该临界范围内以及什么物体位于该临界范围外。可替代地或者额外的，该临界范围可以限定为距该机动车预定的距离。例如，该临界范围可以是距该机动车和/或该第一和第二传感器装置1至20米的距离。
在另一个例子中，该摄像头布置为每秒记录至少20幅图像。有利地，通过每秒记录多幅图像以及生成对应的位于该临界范围内该至少一个物体的位置特性，可以向该图像处理装置输出实时信息。通过使用当代的微处理器，其能够计算每秒超过20幅图像，可以实时完成可视性增强。
按照本发明的图像可视性增强的方法包括步骤：记录至少一幅图像；生成位于该图像的临界范围内的物体的至少一个位置特性；以及通过改变该图像中示出该物体的部分的对比度处理该至少一幅图像而生成至少一个处理后的图像。
在该方法的一个例子中，改变该对比度包括增加该至少一个物体的对比度。
并且，按照本发明，一种计算机程序产品描述为包括计算机可读介质，其具有存储在其上的指令用于使得计算机执行如上所述的方法步骤。
附图说明
下面的示意图示出本发明的多个方面以结合示例性的说明增进对本发明的理解，其中，
图1示出该用于可视性增强的系统的示意图；
图2a示出图像的例子，该至少一个物体位于该第一传感器装置的临界范围之外；
图2b示出处理后的图像的一个例子，该至少一个物体位于该第一传感器装置的临界范围内，以及增加该图像中示出该至少一个物体的部分的对比度；
图2c示出处理后的图像的一个例子，该至少一个物体位于该第一传感器装置的临界范围内，以及增加该图像中示出该至少一个物体的部分的对比度，而降低该图像中未示出该至少一个物体的部分的对比度；以及
图3示出图像可视性增强的方法的步骤。
发明详述
图1示出按照本发明一个例子的可视性增强系统1。该系统1包括摄像头的第一传感器装置2、第二传感器装置3和图像处理装置4。
包含在该第一传感器装置2中的摄像头可以是安装在机动车的后视装置的外壳中或其上的数字式摄像头。该第二传感器装置3可以是至少一个红外传感器、激光传感器和/或雷达传感器。然而，本领域技术人员能够了解该第二传感器装置3也可以由多于一个和/或不同的传感器组成。该第二传感器装置3的实质工作是使用本领域已知的探测技术探测其中的物体小于一定距离的图像中的区域。
图1中所示的例子中，传感器装置2和3示为分开的实体。然而，本领域技术人员能够了解传感器装置2和3两个可以位于同一外壳，例如该第二传感器装置2可以也位于该后视装置的外壳中。
该第一和第二传感器装置2、3都连接到该图像处理装置4，或者通过有线连接，例如通过该车辆的CAN总线系统，或者通过蓝牙无线连接，或者任何其他合适的无线标准。该图像处理装置4处理由该摄像头记录的至少一幅图像以生成处理后的图像，通过改变该图像中示出位于该临界范围内的该至少一个物体的部分的对比度。
图1中示出的例子中，该图像处理装置4将该处理后的图像输出至显示装置5，其在图1用虚线描绘。该显示装置5不需要是该可视性增强系统 1的一部分。然而，本领域技术人员能够了解该处理后的图像也可以输出到不同的装置，例如输出至移动设备。
图2a、b中示出的图像是示例图像，其示出在一个具体例子中可视性增强的基本原理，这里该第一和第二装置2、3实质上面向该机动车的行驶方向前方或后方的驾驶场景。然而，本领域技术人员能够理解如果该摄像头例如还用于盲点探测，则该图像会从不同的视角示出街道，例如车辆左侧和右侧的街道部分也会出现在图像中。
图2a中示出图像的一个例子，该至少一个物体6位于该第一传感器装置的临界范围2的外面。在该例子中，该物体描绘为摩托车。然而，该物体可以是进入该临界范围7的任何物体，例如，人或者动物。因为，该至少一个物体6位于该临界范围7之外，该图像中示出该至少一个物体6的部分的对比度并没有改变。在这里示出的例子中，该临界范围7使用虚线标记为机动车所在的街道的一部分。图2a中，所有进入车辆和/或该第一和第二传感器装置2、3几米范围内的物体都落在该临界范围7内。然而，本领域技术人员能够了解该临界范围可以是延伸到距离车辆50米的范围，取决于该第一和第二传感器装置2、3的能力。并且，该临界范围7可以只覆盖街道的一部分，如一个具体的车道。
图2b中示出一个处理后的图像8的例子，该至少一个物体6位于该临界范围7内，以及增强该图像中示出该至少一个物体6的部分的对比度。可以看出，该物体6的可视性在相应处理后的图像8中显著增加，从而该接近的物体6吸引驾驶员的注意。
图2c示出处理后的图像8的一个例子，该至少一个物体6位于该第一传感器装置2的临界范围7内，以及增加该图像中示出该至少一个物体6的部分的对比度，同时降低该图像中未示出该至少一个物体6的部分的对比度。从该图像可见，通过降低该处理后的图像8中没有示出该至少一个物体的其他部分的对比度，该物体6的可视性还进一步增加。
图3中示出用于图像可视性增强的方法100的方法步骤。该方法包括步骤：110，记录至少一幅图像；120，生成位于该图像临界范围7内的物体6的至少一个位置特性；以及130，通过改变该图像中示出该物体6的部分的对比度来处理该至少一幅图像以生成至少一个处理后的图像8。
参考标记
1 用于可视性增强的系统
2 第一传感器装置
3 第二传感器装置
4 图像处理装置
5 显示装置
6 物体
7 临界范围
8 处理后的图像
100 图像可视性增强的方法。

Claims (14)

1.一种用于机动车辅助系统以警告驾驶员危险情况的可视性增强的系统(1)，包括：
第一传感器装置(2)，包括安装在该机动车后视装置上的摄像头，其适于记录至少一幅图像；
第二传感器装置(3)，适于生成位于该第一传感器装置(2)的临界范围(7)内的至少一个物体(6)的至少一个位置特性；以及
图像处理装置(4)，适于：
接收来自该第一传感器装置(2)的包含该至少一幅图像的第一输入信号和来自该第二传感器装置(3)的包含位于该临界范围(7)内的该至少一个物体(6)的该至少一个位置特性的第二输入信号，以及
通过如下方式处理该至少一幅图像以生成处理后的图像(8)，
(i)改变该图像中示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度，其中改变该图像中示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度包括增加该对比度，以及
(ii)改变该图像中没有示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度，其中改变该图像中没有示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度包括降低该对比度，
其中临界范围为距该机动车预定的距离，
其中确定该物体是否在临界范围可以在该第二传感器装置进行，或者在该图像处理装置中进行，且
其中该第一传感器装置(2)和第二传感器装置(3)实质上面向该机动车的行驶方向后方的驾驶场景。
2.如权利要求1的可视性增强的系统(1)，其中该摄像头安装在机动车的后视装置中，和/或其中该第二传感器装置(3)与该第一传感器装置(2)对齐，和/或其中该图像处理装置(4)进一步适于输出该处理后的图像(8)至显示装置(5)以将该处理后的图像(8)显示给该机动车的驾驶员。
3.如权利要求1或2的可视性增强的系统(1)，其中该图像处理装置(4)进一步适于通过改变图像中没有示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度来处理该至少一幅图像而生成处理后的图像(8)。
4.如权利要求1-2任一项的可视性增强的系统(1)，其中该第二传感器装置(3)包括至少一个光学、电磁和/或声音传感器。
5.如权利要求4的可视性增强的系统(1)，其中第二传感器装置(3)为至少一个红外传感器、和/或至少一个激光传感器、和/或至少一个雷达传感器、和/或至少一个紫外线(UV)传感器的形式。
6.如权利要求1-2，5任一项的可视性增强的系统(1)，其中该第二传感器装置(3)包括至少两个传感器。
7.如权利要求6的可视性增强的系统(1)，其中位于该第一传感器装置(2)的该临界范围(7)内的该至少一个物体(6)的位置特性通过三角测量技术确定。
8.如权利要求2，5，7任一项的可视性增强的系统(1)，其中以机械方式移动该第二传感器装置(3)以与该第一传感器装置(2)对齐。
9.如权利要求2，5，7任一项的可视性增强的系统(1)，其中以电子方式移动该第二传感器装置(3)以与该第一传感器装置(2)对齐。
10.如权利要求1，2，5，7任一项的可视性增强的系统(1)，其中该摄像头对波长在700和1100nm之间的夜间光谱敏感。
11.如权利要求1，2，5，7任一项的可视性增强的系统(1)，其中该临界范围(7)定义为该机动车所行驶的街道的边界，和/或定义为距离该机动车一定距离。
12.如权利要求1，2，5，7任一项的可视性增强的系统(1)，其中该摄像头布置为每秒记录至少20幅图像。
13.一种用于机动车辅助系统以警告驾驶员危险情况的图像可视性增强的方法(100)，包括步骤：
(110)使用第一传感器装置记录至少一幅图像，该第一传感器装置包括安装在该机动车后视装置上的摄像头；
(120)使用第二传感器装置生成位于该图像的临界范围(7)内的至少一个物体(6)的至少一个位置特性；以及
(130)通过如下方式处理该至少一幅图像以生成处理后的图像(8)：
(i)改变该图像中示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度，其中改变该图像中示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度包括增加该对比度；以及
(ii)改变该图像中没有示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度，其中改变该图像中没有示出位于该临界范围(7)内的该至少一个物体(6)的部分的对比度包括降低该对比度，
其中临界范围为距该机动车预定的距离，
其中确定该物体是否在临界范围可以在该第二传感器装置进行，或者在该图像处理装置中进行，且
其中该第一传感器装置(2)和第二传感器装置(3)实质上面向该机动车的行驶方向后方的驾驶场景。
14.一种计算机程序产品，其包括计算机可读介质，其具有存储的其上的指令集，使得计算机执行按照权利要求13的方法。
CN201610768711.2A 2015-09-02 2016-08-30 用于可视性增强的系统和方法 Active CN106476695B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15183520.4A EP3139340B1 (en) 2015-09-02 2015-09-02 System and method for visibility enhancement
EP15183520.4 2015-09-02

Publications (2)

Publication Number Publication Date
CN106476695A CN106476695A (zh) 2017-03-08
CN106476695B true CN106476695B (zh) 2021-08-17

Family

ID=54151062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610768711.2A Active CN106476695B (zh) 2015-09-02 2016-08-30 用于可视性增强的系统和方法

Country Status (3)

Country Link
US (1) US10846833B2 (zh)
EP (1) EP3139340B1 (zh)
CN (1) CN106476695B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6552979B2 (ja) * 2016-02-16 2019-07-31 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
US10424198B2 (en) * 2017-10-18 2019-09-24 John Michael Parsons, JR. Mobile starting light signaling system
CN108280840B (zh) * 2018-01-11 2021-09-03 武汉理工大学 一种基于三维激光雷达的道路实时分割方法
EP3533667B1 (en) 2018-03-01 2020-09-16 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Apparatus and method for monitoring a vehicle camera system
KR20190106251A (ko) * 2018-03-08 2019-09-18 삼성전자주식회사 이미지 센서와 연결된 인터페이스 및 복수의 프로세서들간에 연결된 인터페이스를 포함하는 전자 장치
JP6976414B2 (ja) * 2018-03-14 2021-12-08 本田技研工業株式会社 鞍乗り型車両の情報報知装置、鞍乗り型車両、および情報報知方法
US11766938B1 (en) * 2022-03-23 2023-09-26 GM Global Technology Operations LLC Augmented reality head-up display for overlaying a notification symbol over a visually imperceptible object
US20240046605A1 (en) * 2022-08-05 2024-02-08 Motional Ad Llc Visibility determinations in physical space using evidential illumination values

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589456A (zh) * 2001-11-19 2005-03-02 皇家飞利浦电子股份有限公司 利用图像增强提高汽车安全性的方法和系统
US20060125919A1 (en) * 2004-09-30 2006-06-15 Joseph Camilleri Vision system for vehicle
CN1940711A (zh) * 2005-09-27 2007-04-04 欧姆龙株式会社 前方摄影装置
DE102013000261A1 (de) * 2013-01-10 2013-08-08 Daimler Ag Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens
CN103358995A (zh) * 2013-07-17 2013-10-23 胡扬智 倒车摄像测距调试系统、调试方法及倒车摄像测距装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
DE10247563A1 (de) * 2002-10-11 2004-04-22 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Unterstützung des Fahrers
US7356408B2 (en) * 2003-10-17 2008-04-08 Fuji Jukogyo Kabushiki Kaisha Information display apparatus and information display method
US7197396B2 (en) * 2004-03-31 2007-03-27 Ford Global Technologies, Llc Collision mitigation system
DE102004047475A1 (de) * 2004-09-30 2006-04-13 Robert Bosch Gmbh Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
DE102004060776A1 (de) * 2004-12-17 2006-07-06 Audi Ag Vorrichtung zur Aufnahme und Wiedergabe einer Bilddarstellung eines neben oder hinter einem Fahrzeug liegenden Verkehrsraumes
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
DE102006011481A1 (de) * 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
DE102006047777A1 (de) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
DE102006044864A1 (de) * 2006-09-22 2008-04-10 Siemens Ag Verfahren zur rechnergestützten Bildverarbeitung in einem Nachtsichtsystem eines Verkehrsmittels
US8451107B2 (en) * 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
DE102008032747A1 (de) * 2008-07-11 2010-01-14 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bildanzeige
EP2380348A4 (en) * 2008-12-19 2012-06-13 Delphi Tech Inc ELECTRONIC SIDE VIEW INDICATOR SYSTEM
EP2401176B1 (en) * 2009-02-27 2019-05-08 Magna Electronics Alert system for vehicle
US20100231716A1 (en) * 2009-03-13 2010-09-16 Klaerner Mark A Vehicle-Mountable Imaging Systems and Methods
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
JP5141725B2 (ja) * 2010-07-05 2013-02-13 株式会社デンソー 障害物探索システム
TWI468647B (zh) * 2011-10-13 2015-01-11 Altek Autotronics Corp 障礙物偵測系統及其障礙物偵測方法
JP6516089B2 (ja) * 2014-12-17 2019-05-22 日本精機株式会社 車両情報投影システム及び車両情報投影方法
JP6344260B2 (ja) * 2015-02-20 2018-06-20 株式会社デンソー 障害物検出装置
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1589456A (zh) * 2001-11-19 2005-03-02 皇家飞利浦电子股份有限公司 利用图像增强提高汽车安全性的方法和系统
US20060125919A1 (en) * 2004-09-30 2006-06-15 Joseph Camilleri Vision system for vehicle
CN1940711A (zh) * 2005-09-27 2007-04-04 欧姆龙株式会社 前方摄影装置
DE102013000261A1 (de) * 2013-01-10 2013-08-08 Daimler Ag Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens
CN103358995A (zh) * 2013-07-17 2013-10-23 胡扬智 倒车摄像测距调试系统、调试方法及倒车摄像测距装置

Also Published As

Publication number Publication date
US20170061593A1 (en) 2017-03-02
EP3139340B1 (en) 2019-08-28
EP3139340A1 (en) 2017-03-08
US10846833B2 (en) 2020-11-24
CN106476695A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
CN106476695B (zh) 用于可视性增强的系统和方法
US10380439B2 (en) Vehicle sensing system for detecting turn signal indicators
CA3002628C (en) Display control method and display control device
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
RU2724935C1 (ru) Способ и система оповещения водителя грузового автомобиля
KR102004062B1 (ko) 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차
JP4415856B2 (ja) 周囲感知システムによって路上車両の前方周囲を検出するための方法
EP2414776B1 (en) Vehicle handling assistant apparatus
CN105163972A (zh) 信息显示系统以及信息显示装置
JP2000339589A (ja) 車両の交通安全補助システムおよび記録媒体
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
CN110481429B (zh) 车辆用显示控制装置
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
KR101697484B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2007180622A (ja) 車両周囲監視装置
JP5003473B2 (ja) 注意喚起装置
KR101729030B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2004221871A (ja) 車輌周辺監視装置
RU2706757C1 (ru) Способ и блок управления для заднего обзора
JP2007133644A (ja) 歩行者認識装置
KR20160133386A (ko) 차량용 블랙박스 후방카메라를 이용한 측후방 충돌방지 시스템의 충돌방지방법
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
WO2008037473A1 (en) Park assist system visually marking up dangerous objects
US11648876B2 (en) System and method for visibility enhancement
JP3212235B2 (ja) 車両用障害物検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant