CN104691416A - 使用全息技术的车辆的距离确定系统 - Google Patents

使用全息技术的车辆的距离确定系统 Download PDF

Info

Publication number
CN104691416A
CN104691416A CN201410750003.7A CN201410750003A CN104691416A CN 104691416 A CN104691416 A CN 104691416A CN 201410750003 A CN201410750003 A CN 201410750003A CN 104691416 A CN104691416 A CN 104691416A
Authority
CN
China
Prior art keywords
pattern
distance
imager
vehicle
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410750003.7A
Other languages
English (en)
Other versions
CN104691416B (zh
Inventor
F.W.亨茨克
J.N.尼克劳乌
P.R.威廉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104691416A publication Critical patent/CN104691416A/zh
Application granted granted Critical
Publication of CN104691416B publication Critical patent/CN104691416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/26—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with fixed angles and a base of variable length, at, near, or formed by the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)
  • Multimedia (AREA)

Abstract

公开了使用全息技术的车辆的距离确定系统。一种用于车辆的距离确定系统，其包括用于生成并显示由全息编码介质生成的图案的设备，该全息编码介质与致动器可操作地通信并与配置成产生相干电磁波的电磁辐射源通信。距离确定系统还包括成像器和与成像器通信的距离确定模块。成像器配置为从车辆获取表示视场的图像数据。距离确定模块配置为在图像数据中对图案的至少一个特征进行定位，并且至少部分基于设备的已知位置、成像器的已知位置和图案的布局来确定车辆与至少一个特征之间的估计距离。

Description

使用全息技术的车辆的距离确定系统
技术领域
本发明的示例性实施例涉及一种距离确定系统，并且更加具体地，涉及一种在车辆中使用全息技术的距离确定系统。
背景技术
提供车辆与对象之间的距离估计的距离确定系统可用于许多情况。作为一个示例，在较小车库或停车空间中停车对一些人来说可能具有挑战性。在有限车库空间中不当停车可能会导致车身损坏（例如，由车库门、另一车辆或另一障碍物所导致的损坏）。停车辅助系统用于在停车期间指示位于车辆前面或后面的障碍物。作为一个示例，车辆可包括一个或多个超声波传感器，其可用于提供车辆与对象或表面之间的距离估计。虽然这类基于超声传感器的系统相对于大的对象或表面可能有用，但可能难以针对非均匀表面或对象进行距离检测。
作为另一示例，一些类型的停车辅助系统包括成像装置，诸如安装至车辆的前部或后部的摄像机。摄像机获取表示在车前或车后的可视区域的图像数据。接着，停车辅助系统可向驾驶者提供反馈以指示如何操纵车辆进入车库或停车空间。这类系统通常依赖驾驶者来诠释图像数据。
因此，需要提供一种克服了这些缺点的改进的距离确定系统。
发明内容
在本发明的一个示例性实施例中，一种用于车辆的距离确定系统，其包括：用于生成并显示由全息编码介质生成的图案的设备，该全息编码介质与致动器可操作地通信并与产生相干电磁波的电磁辐射源通信。距离确定系统还包括：成像器和与成像器通信的距离确定模块。成像器配置为从车辆获取表示视场的图像数据。距离确定模块，该距离确定模块配置为：在图像数据中对图案的至少一个特征进行定位，并且至少部分基于设备的已知位置、成像器的已知位置和图案的布局来确定成像器与图案的至少一个特征之间的估计距离。
根据另一实施例，一种在车辆中进行距离确定的方法，其包括：将相干电磁波从电磁辐射源引向与致动器可操作的通信的全息编码介质。控制致动器使全息编码介质移动从而生成图案。从车辆获取表示视场的图像数据。在图像数据中对图案的至少一个特征进行定位以在图像数据中建立检测到的至少一个特征的位置。至少部分基于设备的已知位置、成像器的已知位置和图案的布局，确定成像器与至少一个特征之间的估计距离。
本发明包括以下方案：
1、一种用于车辆的距离确定系统，该距离确定系统包括：
用于生成并显示由全息编码介质生成的图案的设备，全息编码介质与致动器可操作地通信并与配置为产生相干电磁波的电磁辐射源通信；
配置为从车辆获取表示视场的图像数据的成像器；以及
距离确定模块，距离确定模块与成像器通信并配置为在图像数据中对图案的至少一个特征进行定位，并且至少部分基于设备的已知位置、成像器的已知位置和图案的布局来确定车辆与至少一个特征之间的估计距离。
2、根据方案1所述的距离确定系统，其中，距离确定模块进一步配置为根据观察到的至少一个特征的移动，检测在多个时间实例之间的图像数据中的变化。
3、根据方案2所述的距离确定系统，其中，相对于至少一个其他特征，确定观察到的至少一个特征的移动。
4、根据方案2所述的距离确定系统，其中，检测到的在多个时间实例之间的图像数据中的变化主要归因于由致动器引起的全息编码介质的移动。
5、根据方案1所述的距离确定系统，其中，设备是可操作的以向距离确定模块提供与全息编码介质相关联的位置数据，以及，距离确定模块进一步配置为基于位置数据，结合成像器相对于车辆的已知位置，确定至少一个特征的期望位置。
6、根据方案1所述的距离确定系统，其中，全息编码介质包括全息图案，并且，图案基于将相干电磁波引向全息图案同时由致动器驱动全息编码介质移动而生成。
7、根据方案1所述的距离确定系统，其中，成像器包括传感阵列，传感阵列配置为检测对应于相干电磁波的电磁波长。
8、根据方案1所述的距离确定系统，其中，全息编码介质为磁盘，以及，致动器是可操作的以使磁盘旋转的电机。
9、根据方案1所述的距离确定系统，其中，致动器是可操作的以使全息编码介质振动的压电装置。
10、根据方案1所述的距离确定系统，其中，基于检测到的车辆的状态选择图案。
11、一种在车辆中进行距离确定的方法，该方法包括：
将相干电磁波从电磁辐射源引向全息编码介质，全息编码介质与致动器可操作地通信；
控制致动器以移动全息编码介质从而生成图案；
从车辆获取表示视场的图像数据；
在图像数据中对图案的至少一个特征进行定位以在图像数据中建立检测到的至少一个特征的位置；以及
至少部分基于设备的已知位置、成像器的已知位置和图案的布局，确定车辆与至少一个特征之间的估计距离。
12、根据方案11所述的方法，其进一步包括：
根据观察到的至少一个特征的移动，检测在多个时间实例之间的图像数据中的变化。
13、根据方案12所述的方法，其中，相对于至少一个其他特征，确定观察到的至少一个特征的移动。
14、根据方案13所述的方法，其中，检测到的在多个时间实例之间的图像数据中的变化主要归因于由致动器引起的全息编码介质的移动。
15、根据方案11所述的方法，其进一步包括：
确定与全息编码介质相关联的位置数据；以及
基于位置数据，结合成像器相对于车辆的已知位置，确定至少一个特征的期望位置。
16、根据方案11所述的方法，其中，全息编码介质包括全息图案，并且，图案基于将相干电磁波引向全息图案同时由致动器驱动全息编码介质移动而生成。
17、根据方案11所述的方法，其中，成像器包括传感阵列，传感阵列配置为检测对应于相干电磁波的电磁波长。
18、根据方案11所述的方法，其中，全息编码介质为磁盘，以及，致动器是可操作的以使磁盘旋转的电机。
19、根据方案11所述的方法，其中，致动器是可操作的以使全息编码介质振动的压电装置。
20、根据方案11所述的方法，其进一步包括：基于检测到的车辆的状态选择图案。
本发明的以上特征和优点以及其他特征和优点通过以下结合附图对本发明的详细说明中变得显而易见。
附图说明
其他特征、优点和细节仅以示例的方式在以下实施例的详细说明中出现，详细说明参考附图，在图中：
图1是根据本发明实施例示例性的车辆中距离确定系统的图示；
图2描绘了根据本发明实施例的配置为在投影表面上生成并显示图案的设备的方框示意图；
图3和图4描绘了根据本发明实施例的多个图案；
图5描绘了根据本发明实施例的全息编码介质和致动器的示例；
图6描绘了根据本发明实施例的全息编码介质和致动器的另一示例；以及
图7是图示了根据本发明实施例的一种在车辆中使用全息技术进行距离确定的方法的过程流程图。
具体实施方式
以下说明本质上仅为示例性的，并不旨在限制本公开、其应用或使用。应理解的是，在整个附图中，对应的附图标记指示相同或相应的部分和特征。如本文所使用的，术语“模块”和“子模块”指的是处理电路，其可包括：专用集成电路（ASIC）、电子电路、处理器（共享处理器、专用处理器或处理器组）和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述的功能性的其他合适部件。
根据本发明的示例性实施例，车辆配备有包括全息图案的全息编码介质。全息编码介质由致动器驱动以导致全息图案相对于电磁辐射源的移动，电磁辐射源可操作以将相干电磁波引向全息图案。相干电磁波是指具有共同频率和相位的电磁辐射，并且可包括电磁波谱的任何部分，诸如可见或不可见光以及电磁辐射的其他已知形式。电磁辐射源的控制与全息编码介质的移动同步以将相干电磁波以预定时间引向全息编码介质的目标部分，从而使全息图案在投影表面上产生投影图像图案。检测投影图像图案的至少一个特征并至少部分基于全息投影设备的已知位置、成像器/摄像机的已知位置和投影图像图案的布局来计算距离。
根据本发明的示例性实施例，总体示出了作为在图1中的车辆10的部分的距离确定系统5。车辆10可为任何地面车辆，例如，像汽车、卡车等。距离确定系统5包括距离确定模块16，距离确定模块16可与停车辅助控制模块22结合或与其通信。虽然将距离确定系统5描绘作为车辆10的部分，但距离确定系统5可用于其他环境并可为便携式的或分配在多个结构之间。
停车辅助控制模块22配置为：使用车辆通信网26与多个车辆系统24通过界面连接。停车控制模块22可与距离确定模块16直接通过界面连接或可经由车辆通信网26与距离确定模块16通信。车辆通信网26可包括许多接口和通信链路。例如，停车辅助控制模块22可与向后的设备32、向前的设备34、转向角传感器40、向后的成像器46、向前的成像器56以及本领域已知的其他车辆传感器系统通过界面连接。
向后的设备32是可操作的用于在后投影表面37上生成并显示图案36。类似地，向前的设备34是可操作的用于在前投影表面43上生成并显示图案42。基于可操作以引导相干电磁波的电磁辐射源，图案36和42可在由设备32和34放射的人类可见的波长范围之内或之外。后投影表面37和前投影表面43可为驾驶表面，例如，地面，车辆10的车轮38在地面上行驶。当操纵车辆10接近其他对象或表面时，诸如在停车的情况下，后投影表面37可与前投影表面43不同，其可包括一个或多个竖直、有角度的或非平面的对象或表面，例如，其他车辆。
向后的成像器46获取关于后可视区域或视场（FOV）47的图像数据。向后的设备32配置为在FOV 47中在后投影表面37上显示图案36，从而使其可作为图像数据由向后的成像器46检测。类似地，向前的成像器56获取关于前可视区域或FOV 57的图像数据。向前的设备34配置为在FOV 57中在后投影表面43上显示图案42，从而使其可由向前的成像器56检测。向后的成像器46和向前的成像器56可各自包括单透镜、非立体摄像机，其中，FOV 47不与FOV 57重叠。距离确定系统5还可包括捕捉其他视场的其他成像器（未示出）。例如，可将一个或多个成像器安装在车辆10的驾驶者侧28上，例如，与驾驶者侧后视镜30结合。此外，可将一个或多个成像器安装在车辆10的乘客侧29上，例如，与乘客侧后视镜31或主动安全传感器（未示出）结合。各个附加的成像器可具有对应的用于生成并显示用于距离确定的图案的设备。成像器，诸如向后的成像器46和向前的成像器56，不必仅对人类可视光敏感，而是可配置为检测电磁波谱中的各种电磁波长。例如，在实施例中的成像器可在可视光波长、紫外线波长、红外线波长或无线电波长下运行。各个成像器，诸如向后的成像器46和向前的成像器56，可包括传感阵列，例如，电荷耦合装置，该传感阵列配置为检测对应于由设备32和34放射的相干电磁波的电磁波长。
停车辅助控制模块22还可与在车辆10的车厢59中的各种输入/输出装置58通过界面连接，诸如用户接口60和变速器挡位选择器62。输入/输出装置58位于接近车辆驾驶者位置66处。用户界面60可为基于触摸屏的系统或其他具有相关联的输入，诸如按钮的非触摸显示系统。变速器挡位选择器62可用于选择使用哪个成像器用于距离估计。例如，当变速器挡位选择器62处于倒挡时，向后的成像器46可用于距离估计，而当变速器挡位选择器62处于向前驱动设置/挡位时，向前的成像器56可用于距离估计。转向角传感器40可产生相对于车轮38和/或车辆转向车轮68的当前位置的转向角。当变速器挡位选择器62处于任意状态时，可为车辆10的成像器设置和调整纵向轨迹和旋转（例如，侧转）角。例如，可主动重新定位向后的成像器46和向前的成像器56以提供所需的视场。在另一实施例中，将向后的成像器46和向前的成像器56安装在相对于车辆10的固定的已知位置处。
不论成像器46、56和/或设备32、34的位置是固定的还是可调整的，距离确定模块16均知道成像器46、56和设备32、34相对于车辆10的作为参照系的位置信息。例如，在固定的配置中，可将位置信息作为常数值存储，其可定义在多轴线中的相对于一个或多个在车辆10上的参考点的位置。在可调整配置中，一个或多个位置传感器（未示出）可提供位置信息，例如，相对于一个或多个参考点的角，从而使距离确定模块16知道成像器46、56和设备32、34的位置。
在示例性实施例中，距离确定模块16控制通过设备32的图案36的显示和通过向后的成像器46对相关联的图像数据的捕捉，和/或通过设备34的图案42的显示和通过向前的成像器56对相关联的图像数据的捕捉。距离确定模块16配置为在图像数据中对图案36、42的至少一个特征41进行定位并至少部分基于设备32、34的已知位置、成像器46、56的已知位置和图案36、42的布局，确定成像器46、56与至少一个特征41之间的估计距离。可根据观察到的至少一个特征41相对于图像数据的多个实例的捕捉时间之间的已知的时间差的移动，检测图像数据的变化。观察到的至少一个特征41的移动还可或替代地相对于至少一个其他特征45确定。对在不同位置处的相同特征的追踪还可被使用用于确定多个距离估计并还可用于针对异常大的变动的误差检查。
特征41、45可为特殊图案或用于确定绝对或相对位置的图案的几何中心。由于距离确定模块16控制图案36、42的显示和图像数据的捕捉并且可利用设备32、34和成像器46、56相对于车辆10的已知布置和角度进行编程，可将本领域已知的三角测量技术用来估计车辆10与对象或表面之间的距离，图案36、42在对象或表面上显示。对于根据图1的车辆10可将估计距离定义为基于行驶方向的最远的凸点，例如，当向前行驶时的前保险杠和当倒挡行驶时的后保险杠。当计算估计距离时，可考虑车辆10的附加状态信息，诸如车辆10的车轮38的转向角和位置。可通过使用可能由噪音、照明变化和其他潜在误差源导致的过滤器异常数据点的多个计算迭代确认估计距离。
虽然图1的示例描绘了具有对应的向后的设备32的向后的成像器46和具有对应的向前的设备34的向前的成像器56，但实施例不限于此。实施例可包括附加的或更少的成像器和设备。例如，在车辆10的实施例中，可仅包括具有向后的设备32的向后的成像器46。此外，在成像器与用于生成并显示图案的设备之间不必存在一对一的关系。例如，多个设备可用于在成像器的FOV内创建单独或重叠的图案。在另一实施例中，多个成像器均可具有用于由单一设备生成的图案的重叠的FOV。
图2描绘了根据本发明实施例的配置为在投影表面202上生成并显示图案210的设备200的方框示意图。设备200是图1的向后的设备32和/或向前的设备34的示例性实施例。因此，图案210可表示图1的图案36和/或图案42；以及投影表面202可表示图1的后投影表面37和/或前投影表面43。投影表面202表示相对于图1的车辆10是外部的并且不为其一部分的表面。图案210包括追踪用于距离估计的至少一个特征41并可包括用于距离估计的至少一个其他特征45。
在实施例中，设备200包括：控制器204、致动器205、设置为与致动器205可操作的通信的能产生相干电磁波211的电磁辐射源206以及设置为与电磁辐射源206通信的全息编码介质208，全息编码介质208包括全息图案209。致动器205可为任何类型的可操作的以控制全息编码介质208的移动的装置，致动器205包括基于电机或不基于电机的装置，诸如记忆金属装置、压电装置等。电磁辐射源206可输出选择以对应全息图案209的尺寸的特定电磁波长。例如，电磁辐射源206可为激光、射频发射器或相干电磁波的其他源。控制器204是可操作的以控制来自电磁辐射源206的相干电磁波211和由致动器205驱动的全息编码介质208的位置的同步，以基于在不同时间将相干电磁波211引向全息图案209的不同部分而在投影表面202上产生图案210。在实施例中，控制器204向电磁辐射源206驱动脉冲控制信号207以控制相干电磁波211和全息编码介质208的同步。控制器204向致动器205提供至少一个控制信号212以实现并控制全息编码介质208的移动，全息编码介质208在连接器214处可操作地连接至致动器205。控制器204还可从致动器205接收反馈信号213以支持反馈控制环路。反馈信号213可提供与致动器205和/或全息编码介质208相关联的位置或速度。
在实施例中，图案210可为不均匀图案、几何形状的轮廓、标志、一个或多个字符、任何种类图像、任何种类形状或前述图案的任何组合。此外，图案210可为二维（2D）的或三维（3D）的并可按时移动。图案210的移动可为在时间周期内改变显示图案、在时间周期内对显示图案重新定位或其组合的形式。
如上所描述的，图案210可呈现不同的布局，但其还可在不同布局之间交替，并且它可在不同的时间间隔间歇、同时或连续显示相同的布局或交替布局。例如，并且现参考图1-3，当设备200用于导航或驾驶辅助时，图案210为可视光图案并可为左转箭头记号210.1、直箭头记号210.2或右转箭头记号210.3，其中，可基于在图2的控制器204处所接收的设备命令203确定特定箭头记号210.1-210.3的显示。可从图1的距离确定模块16在车辆通信网26上接收设备命令203。图1的距离确定模块16可基于检测到的图1的车辆10的状态选择设备命令203以生成已知的图案布局。例如，经由图1的转向角传感器40所确定的转向角可导致用于转向敏感光图案（诸如箭头记号方向）的设备命令203发生变化。
在实施例中，设备200是可操作的以分别产生具有在长度216和/或宽度218上的变化的形式的移动的任何箭头记号210.1-210.3。例如，箭头记号210.1-210.3可按时从小图案变为大图案，或反之亦然，其中显示任何数量的在从第一尺寸到第二尺寸的一系列的图像之间的中等尺寸的图案布局。在另一实施例中，以固定或可变时间间隔关闭或打开箭头记号210.1-210.3的显示。箭头记号210.1-210.3的每个可用作为了在多个时间实例之间检测变化而追踪的图1和图2的特征41。在另一实施例中，将一个或多个子特征，诸如箭头215用作图1和图2的特征41以检测在多个时间实例之间的图像数据的变化。箭尾217是图1和图2的至少一个其他特征45的示例，其可相对于图1和图2的至少一个特征41诸如箭头215对箭尾217进行观察。
图4描绘了根据本发明实施例作为图2的图案210的布局的网格图案210.4。在图4的示例中，网格图案210.4的尺寸可动态改变。在另一实施例中，未显示网格图案210.4，但将其用作针对多个网格间隔的图像220的校准参考。网格间隔图像220可为简单的图案，诸如点或光点或聚焦电磁能。不必一次将网格间隔图像220全部输出，而是可以固定或随机顺序对其进行投影。作为一个示例，可使用交叉和上/下光栅类型的投影和扫描顺序。作为另一示例，在第一时间间隔投影网格间隔图像220.1；在第二时间间隔投影网格间隔图像220.2；以及在第三时间间隔投影网格间隔图像220.3。选择性地将网格间隔图像220的投影显现为图案210，其中，网格间隔图像220.1-220.3的至少一个被照实例提供图1和图2的至少一个特征41，其可被追踪以检测在多个时间实例之间的图像中的变化。当使用可视的电磁波长时，可以相对低水平的亮度显示网格图案210.4和/或网格间隔图像220以降低对于人类的可见度，但仍可由成像器（诸如图1的成像器46、56）检测到。在另一实施例中，可以人类不可见但成像器可检测到的波长显示网格图案210.4和/或网格间隔图像220。
虽然本文所公开的实施例涉及用于图3和图4所图示的图案210的特定几何形状，但要了解，这类参考仅仅是为了论述，并且本发明的范围不仅限于所提及的特定形状。将本文所论述的形状和尺寸的替换形状和尺寸预想并视为在所公开发明的范围之内。例如，可将明显的随机图案，诸如快速响应（QR）类型的代码，用作图案210的布局。虽然本文所公开的实施例仅涉及3个箭头记号210.1-210.3和具有3个被照网格间隔图像220.1-220.3的网格图案210.4，但要理解，这类参考仅仅是为了论述，并且本发明的范围不限于此，而是本发明包含任何数量的适用于本文所公开之目的的图案。
参照参考图2，在实施例中，控制器204与致动器205、电磁辐射源206和一个或多个提供设备命令203的其他系统信号通信。在实施例中，如由设备203指示的以及根据本文所公开的其他实施例，运算由控制器204所执行的控制算法以创建响应于检测到的图1的车辆10的状态改变的图案210。此外，通过利用控制器204来改变全息编码介质208相对于电磁辐射源206的位置，预计可创建图案210。
图5描绘了根据本发明实施例的全息编码介质208.1和致动器205.1的示例。在图5的实施例中，全息编码介质208.1为磁盘，诸如光盘，以及致动器205.1为可操作的以旋转磁盘的电机。致动器205.1可为由图2的控制器204控制的直流（DC）电机，诸如硬盘驱动电机。全息编码介质208.1包括全息图案209.1，全息图案209.1可操作以结合电磁辐射源206和图2的控制器204来创建图案210。使用已知的全息图案创建技术，可将全息图案209.1编码到全息编码介质208.1上。经由图2的脉冲控制信号207，电磁辐射源206的定时脉动实现了相干电磁波211和全息图案209.1的所需部分的同步以共同产生图案210。
图6描绘了根据本发明实施例的全息编码介质208.2和致动器205.2的另一示例。在图6的示例中，致动器205.2是可操作的以使全息编码介质208.2振动的压电装置。全息编码介质208.2的振动可由至少一个控制信号212控制以导致受控的摆动运动，控制信号212由图2的控制器204生成。经由图2的脉冲控制信号207，电磁辐射源206的定时脉冲实现了相干电磁波209.2和全息图案209.1的所需部分的同步以共同产生图案210。
图7是图示了用于图1的车辆10的距离确定的方法700的示例性过程流程图。因此，参考图1-7描述方法700。如根据本公开可了解的，在方法700内的操作的顺序不限于如图7所图示的顺序执行，而是如适用以及根据本公开，可以一个或多个变化的顺序执行。如可进一步了解的，在不改变该方法的精神的情况下，可增加或删除一个或多个步骤。
方法700始于框702，并且当启动了距离确定时，可周期地执行方法700。在步骤704处，将相干电磁波211从电磁辐射源206引向与致动器205可操作的通信的全息编码介质208。电磁辐射源206可为激光或电磁辐射的其他源。
在步骤706处，控制致动器205使全息编码介质208移动从而生成图案210。全息编码介质208包括全息图案209。图案210基于将相干电磁波211引向全息图案209同时全息编码介质208由致动器205驱动移动而生成。全息编码介质208可以是磁盘，例如，全息编码介质208.1；以及致动器205可为可操作的以旋转光盘的电机，例如致动器205.1。在另一实施例中，致动器205为可操作的以使全息编码介质208.2振动的压电装置，例如，致动器205.2。可基于检测到的车辆10的状态来选择可为移动光图案的图案210。
在框708处，通过成像器（诸如图1的向后的成像器46或向前的成像器56）获取来自车辆10 的表示视场（诸如图1的FOV 47或57）的图像数据。在框710处，图案210的至少一个特征41位于图像数据中。该至少一个特征41可为箭头记号210.1-210.3、箭头215、网格图案210.4、一个或多个网格间隔图像220或其他这类特征。可将诸如尺度不变特征转换的图像处理技术用于在图像数据中对图案210的至少一个特征41进行定位并建立检测到的至少一个特征41的位置。基于与全息编码介质208相关联的位置数据，结合成像器（诸如图1的向前的成像器46或向后的成像器56）相对于车辆10的已知位置，可以确定图像数据中的至少一个特征41的期望位置。
在框712处，至少部分基于设备200的已知位置、成像器46、56的已知位置和图案210的布局，使用例如三角测量技术来确定车辆10与至少一个特征41之间的估计距离。根据观察到的至少一个特征41的移动，检测在多个时间实例之间的图像数据中的变化。相对于至少一个其他特征45可确定观察到的至少一个特征41的移动，例如，在网格间隔图像220.1、网格间隔图像220.2与网格间隔图像220.3之间的差异或在箭头215与箭尾217之间的差异。图案210的变化可以如此高的频率发生，从而使检测到的在多个时间实例之间的图像数据中的变化主要归因于由致动器205引起的全息编码介质208的移动而不是车辆10的移动。
可将来自致动器205的反馈可作为反馈信号213传送至控制器204（根据需要重新调节），并将其发送至图1的距离确定模块16以辅助确定与全息编码介质208相关联的位置数据。基于位置数据，结合成像器相对于车辆10的已知位置，图1的距离确定模块16可确定估计距离。例如，来自反馈信号213的位置数据可辅助确定图案210的特征41、45的哪一个应出现在成像器的FOV中，并还可用于确定在FOV中的图案210的特征41、45的期望位置。根据实施方式，使用本领域已知的三角测量技术，可将与在一段时期内观察到的图像数据中的变化相对的监测图像数据的预期变化用于确定多个估计距离。由于图案210可覆盖大面积或将FOV的特定部分作为目标，因此，基于观察到的图案210中的差异来提供多个距离估计，观察到的图案210中的差异可归因于特定形状表面或多个对象和FOV。其中，为图像数据的不同部确定多个距离估计，图1的距离确定模块16可将估计距离标记并叠加在显示于图1的用户界面60上的图像上。
方法700在714处结束。
如上所描述的，本发明可体现为计算机实施过程和用于实践那些过程的设备的形式。本发明实施例还可体现为包含体现在有形介质（诸如，软盘、CD-ROM、硬盘驱动器或任何其他计算机可读存储介质）中的指令的计算机程序代码的形式，其中，当计算机程序代码加载到计算机中并由计算机执行时，计算机成为用于实践本发明的设备。本发明实施例还可具体化为计算机程序代码的形式，例如，不论是存储在存储介质中，加载入计算机和/或由计算机执行，还是通过光纤或经由电磁辐射传输通过某种传输介质（诸如，通过电线或电缆）传输，其中，当计算机程序代码加载入计算机并由计算机执行时，计算机成为用于实践本发明的设备。当在通用微处理器上实施时，计算机处理代码段配置微处理器以创建特定逻辑电路。
虽然参考示例性实施例对本发明进行了描述，但要理解，在不脱离本发明的范围的情况下，本领域的技术人员可对本发明进行各种改变并可用等效物替代本发明的元件。另外，针对本发明的教导，在不脱离本发明的基本范围的情况下，可进行诸多修改以适应特殊情况或材料。因此，本发明旨在不限于所公开的特定实施例，相反，本发明将包括落入本申请范围内的所有实施例。

Claims (10)

1.一种用于车辆的距离确定系统，该距离确定系统包括：
用于生成并显示由全息编码介质生成的图案的设备，全息编码介质与致动器可操作地通信并与配置为产生相干电磁波的电磁辐射源通信；
配置为从车辆获取表示视场的图像数据的成像器；以及
距离确定模块，距离确定模块与成像器通信并配置为在图像数据中对图案的至少一个特征进行定位，并且至少部分基于设备的已知位置、成像器的已知位置和图案的布局来确定车辆与至少一个特征之间的估计距离。
2.根据权利要求1所述的距离确定系统，其中，距离确定模块进一步配置为根据观察到的至少一个特征的移动，检测在多个时间实例之间的图像数据中的变化。
3.根据权利要求2所述的距离确定系统，其中，相对于至少一个其他特征，确定观察到的至少一个特征的移动。
4.根据权利要求2所述的距离确定系统，其中，检测到的在多个时间实例之间的图像数据中的变化主要归因于由致动器引起的全息编码介质的移动。
5.根据权利要求1所述的距离确定系统，其中，设备是可操作的以向距离确定模块提供与全息编码介质相关联的位置数据，以及，距离确定模块进一步配置为基于位置数据，结合成像器相对于车辆的已知位置，确定至少一个特征的期望位置。
6.根据权利要求1所述的距离确定系统，其中，全息编码介质包括全息图案，并且，图案基于将相干电磁波引向全息图案同时由致动器驱动全息编码介质移动而生成。
7.根据权利要求1所述的距离确定系统，其中，成像器包括传感阵列，传感阵列配置为检测对应于相干电磁波的电磁波长。
8.根据权利要求1所述的距离确定系统，其中，全息编码介质为磁盘，以及，致动器是可操作的以使磁盘旋转的电机。
9.根据权利要求1所述的距离确定系统，其中，致动器是可操作的以使全息编码介质振动的压电装置。
10.一种在车辆中进行距离确定的方法，该方法包括：
将相干电磁波从电磁辐射源引向全息编码介质，全息编码介质与致动器可操作地通信；
控制致动器以移动全息编码介质从而生成图案；
从车辆获取表示视场的图像数据；
在图像数据中对图案的至少一个特征进行定位以在图像数据中建立检测到的至少一个特征的位置；以及
至少部分基于设备的已知位置、成像器的已知位置和图案的布局，确定车辆与至少一个特征之间的估计距离。
CN201410750003.7A 2013-12-10 2014-12-10 使用全息技术的车辆的距离确定系统 Active CN104691416B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/101407 2013-12-10
US14/101,407 US9404742B2 (en) 2013-12-10 2013-12-10 Distance determination system for a vehicle using holographic techniques

Publications (2)

Publication Number Publication Date
CN104691416A true CN104691416A (zh) 2015-06-10
CN104691416B CN104691416B (zh) 2017-10-24

Family

ID=53185484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410750003.7A Active CN104691416B (zh) 2013-12-10 2014-12-10 使用全息技术的车辆的距离确定系统

Country Status (3)

Country Link
US (1) US9404742B2 (zh)
CN (1) CN104691416B (zh)
DE (1) DE102014118204B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212543A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证方法
CN111556975A (zh) * 2018-01-11 2020-08-18 三菱电机株式会社 衍射光学元件及光图案生成装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
CN111492262A (zh) * 2017-10-08 2020-08-04 魔眼公司 使用经向网格图案的距离测量
WO2019070806A1 (en) 2017-10-08 2019-04-11 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM COMPRISING MULTIPLE MOBILE SENSORS
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
GB2572831A (en) * 2018-04-04 2019-10-16 Cambridge Mechatronics Ltd Apparatus and methods for 3D sensing
JP7177618B2 (ja) * 2018-07-30 2022-11-24 株式会社デンソーテン 信頼性判定装置および信頼性判定方法
CN113050022B (zh) * 2019-12-28 2023-11-03 香港理工大学深圳研究院 一种基于旋转天线的图像定位方法、装置及终端设备
CN112532836A (zh) * 2020-11-25 2021-03-19 武汉格罗夫氢能汽车有限公司 一种氢能源汽车用的多功能摄像头
FR3124254B1 (fr) * 2021-06-18 2024-02-16 Valeo Vision Procédé de détection d'un objet sur une surface de route, procédé de conduite autonome et dispositif d'éclairage automobile

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58102107A (ja) * 1981-12-15 1983-06-17 Fujitsu Ltd 距離測定法
CN101813776A (zh) * 2008-12-18 2010-08-25 桥梁公路中心实验室 用于远程地检测目标的传感器和成像系统
JP4957134B2 (ja) * 2006-09-12 2012-06-20 株式会社日立製作所 距離計測装置
US20120200832A1 (en) * 2009-10-15 2012-08-09 Nec Corporation Image projection device, image protection method, distance measuring device and distance measuring method
CN102713513A (zh) * 2010-11-24 2012-10-03 松下电器产业株式会社 摄像装置、摄像方法、程序以及集成电路
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法
CN102999910A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种图像深度计算方法
KR20130059190A (ko) * 2011-11-28 2013-06-05 현대자동차주식회사 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
CN103171497A (zh) * 2011-12-20 2013-06-26 西安众智惠泽光电科技有限公司 一种倒车智能防撞系统
CN103226014A (zh) * 2012-01-30 2013-07-31 株式会社日立制作所 距离测量装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3182311A (en) * 1960-03-24 1965-05-04 Lab For Electronics Inc Low frequency responsive vehicle detector
US3706495A (en) * 1970-07-31 1972-12-19 William P Dotson Jr Method of measuring the velocity of a small moving object
US3756683A (en) * 1971-05-03 1973-09-04 Shell Oil Co Hologram image-space scalling
US6507779B2 (en) * 1995-06-07 2003-01-14 Automotive Technologies International, Inc. Vehicle rear seat monitor
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
US4758093A (en) * 1986-07-11 1988-07-19 Robotic Vision Systems, Inc. Apparatus and method for 3-D measurement using holographic scanning
US4800256A (en) * 1986-12-08 1989-01-24 International Business Machines Corporation Halographic scanner having adjustable sampling rate
US5073710A (en) * 1989-09-21 1991-12-17 Copal Company Limited Optical displacement detector including a displacement member's surface having a diffractive pattern and a holographic lens pattern
US5901246A (en) * 1995-06-06 1999-05-04 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US6418424B1 (en) * 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US7887089B2 (en) * 1992-05-05 2011-02-15 Automotive Technologies International, Inc. Vehicular occupant protection system control arrangement and method using multiple sensor systems
US9102220B2 (en) * 1992-05-05 2015-08-11 American Vehicular Sciences Llc Vehicular crash notification system
US5870179A (en) * 1993-06-25 1999-02-09 The Regents Of The University Of Colorado Apparatus and method for estimating range
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
JP3709659B2 (ja) * 1997-06-11 2005-10-26 ソニー株式会社 画像記録装置及び画像記録方法
CA2235788C (en) * 1998-03-09 2005-05-24 Peter Gerber Identification system
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
GB2341965A (en) * 1998-09-24 2000-03-29 Secr Defence Pattern recognition
US6356854B1 (en) * 1999-04-05 2002-03-12 Delphi Technologies, Inc. Holographic object position and type sensing system and method
US6490027B1 (en) * 1999-07-27 2002-12-03 Suzanne K. Rajchel Reduced noise optical system and method for measuring distance
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US7050635B2 (en) * 2001-03-30 2006-05-23 The University Of Connecticut Multi-dimensional pattern recognition by use of digital holography
JP2003255464A (ja) * 2002-03-05 2003-09-10 Denso Corp 映像表示装置及びホログラムスクリーン
JP3895315B2 (ja) * 2003-09-30 2007-03-22 株式会社東芝 ホログラム記録方法及びホログラム記録装置
JP2005113967A (ja) * 2003-10-03 2005-04-28 Toyota Motor Corp 車両用自動変速機の変速制御装置
JP4823781B2 (ja) * 2005-08-31 2011-11-24 本田技研工業株式会社 車両の走行安全装置
JP2007132768A (ja) * 2005-11-10 2007-05-31 Hitachi Ltd 通信機能を有する車載レーダー装置
US9646415B2 (en) * 2006-05-16 2017-05-09 Underground Imaging Technologies, Inc. System and method for visualizing multiple-sensor subsurface imaging data
KR20080037179A (ko) * 2006-10-25 2008-04-30 삼성전자주식회사 홀로그래픽 정보 기록/재생 장치 및 홀로그래픽 정보의기록/재생 방법
JP5070809B2 (ja) * 2006-11-10 2012-11-14 アイシン精機株式会社 運転支援装置、運転支援方法、及び、プログラム
FR2921501B1 (fr) * 2007-09-24 2009-12-18 Commissariat Energie Atomique Dispositif d'enregistrement et de lecture de donnees sur un support de stockage holographique
US8437059B2 (en) * 2010-01-21 2013-05-07 Technion Research & Development Foundation Limited Method for reconstructing a holographic projection
GB201008338D0 (en) * 2010-05-19 2010-07-07 Sec Dep For Innovation Univers Infinity image hologram
KR101898490B1 (ko) * 2012-02-29 2018-09-13 엘지전자 주식회사 홀로그래픽 디스플레이 장치 및 3차원 동영상의 중복성을 이용한 홀로그램 생성 방법
JP2013196353A (ja) * 2012-03-19 2013-09-30 Sharp Corp 周辺情報生成装置、乗物、周辺情報生成方法、周辺情報生成プログラム、コンピュータ読み取り可能な記録媒体
US9163903B2 (en) * 2012-09-06 2015-10-20 Raytheon Company Field boresighting using holographic laser projection
KR101950939B1 (ko) * 2012-09-13 2019-02-22 삼성전자주식회사 홀로그래픽 객체 처리 장치 및 그 동작 방법
US9605954B2 (en) * 2013-03-15 2017-03-28 Flex Instrument Co., Ltd. Distance measuring laser pointer
US9684168B2 (en) * 2013-11-27 2017-06-20 GM Global Technology Operations LLC Apparatus for digital projection using holographic techniques

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58102107A (ja) * 1981-12-15 1983-06-17 Fujitsu Ltd 距離測定法
JP4957134B2 (ja) * 2006-09-12 2012-06-20 株式会社日立製作所 距離計測装置
CN101813776A (zh) * 2008-12-18 2010-08-25 桥梁公路中心实验室 用于远程地检测目标的传感器和成像系统
US20120200832A1 (en) * 2009-10-15 2012-08-09 Nec Corporation Image projection device, image protection method, distance measuring device and distance measuring method
CN102713513A (zh) * 2010-11-24 2012-10-03 松下电器产业株式会社 摄像装置、摄像方法、程序以及集成电路
CN102760234A (zh) * 2011-04-14 2012-10-31 财团法人工业技术研究院 深度图像采集装置、系统及其方法
KR20130059190A (ko) * 2011-11-28 2013-06-05 현대자동차주식회사 스테레오 비전을 이용한 차량검출과 차간거리 산출 방법 및 그 장치
CN103171497A (zh) * 2011-12-20 2013-06-26 西安众智惠泽光电科技有限公司 一种倒车智能防撞系统
CN103226014A (zh) * 2012-01-30 2013-07-31 株式会社日立制作所 距离测量装置
CN102999910A (zh) * 2012-11-27 2013-03-27 西安交通大学 一种图像深度计算方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212543A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证方法
CN111556975A (zh) * 2018-01-11 2020-08-18 三菱电机株式会社 衍射光学元件及光图案生成装置

Also Published As

Publication number Publication date
US20150160003A1 (en) 2015-06-11
DE102014118204B4 (de) 2017-12-28
CN104691416B (zh) 2017-10-24
US9404742B2 (en) 2016-08-02
DE102014118204A1 (de) 2015-06-11

Similar Documents

Publication Publication Date Title
CN104691416A (zh) 使用全息技术的车辆的距离确定系统
US11657604B2 (en) Systems and methods for estimating future paths
JP6303453B2 (ja) 駐車支援装置
JP7069548B2 (ja) 周辺監視装置
JP6760122B2 (ja) 周辺監視装置
KR101844476B1 (ko) 자동차용 카메라 모듈 및 이를 이용한 주차 유도 방법
US20220291346A1 (en) Illumination device and ranging module
JP3905410B2 (ja) 車両用運転支援装置
US10699457B2 (en) Vehicle display with augmented realty
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
US20220317269A1 (en) Signal processing device, signal processing method, and ranging module
US20220314967A1 (en) Vehicular control system
US11663831B2 (en) Image processing device and image processing method
JP5141725B2 (ja) 障害物探索システム
US10897588B2 (en) Electronic apparatus and electronic apparatus controlling method
JP7327298B2 (ja) 通知位置決定装置及び通知位置決定用コンピュータプログラム
US20220413109A1 (en) Distance measurement sensor, distance measurement system, and electronic apparatus
KR20210119626A (ko) 센서 보정을 이용하는 차량의 주차 지원 시스템 및 방법
CN113932829A (zh) 针对传感器校准确定多自由度姿势
CN110364023B (zh) 驾驶辅助系统和方法
US20210163031A1 (en) A vision system for a motor vehicle and a method of training
WO2022269995A1 (ja) 測距装置および方法、並びにプログラム
WO2021131684A1 (ja) 測距装置およびその制御方法、並びに、電子機器
WO2021106623A1 (ja) 測距センサ、測距システム、および、電子機器
WO2021124918A1 (ja) 信号処理装置、信号処理方法、および、測距装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant