CN103974035B - 一种宽视野前视系统及其使用方法 - Google Patents
一种宽视野前视系统及其使用方法 Download PDFInfo
- Publication number
- CN103974035B CN103974035B CN201410157081.6A CN201410157081A CN103974035B CN 103974035 B CN103974035 B CN 103974035B CN 201410157081 A CN201410157081 A CN 201410157081A CN 103974035 B CN103974035 B CN 103974035B
- Authority
- CN
- China
- Prior art keywords
- photographic head
- image processor
- circuit board
- head
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Abstract
一种宽视野前视系统,包括左、右摄像头,同步控制器以及左、右图像处理器,左、右摄像头内镜头的光轴分别与左、右电路板相垂直,左、右电路板之间形成的电路板夹角小于镜头的水平视角的补角,左、右图像处理器之间信号连接,左图像处理器与同步控制器的输入端信号连接,同步控制器的输出端与左、右摄像头的输入端信号连接,左、右摄像头的输出端分别通过信号线与左、右图像处理器对应连接。使用时,先由左图像处理器向同步控制器输出总开关量控制信号,再由同步控制器将其分成两个支开关量控制信号分别输出给左、右摄像头以进行同步拍摄。本设计不仅视觉范围较大、不存在交叉盲区,而且可调性较强、同步误差小。
Description
技术领域
本发明属于汽车辅助驾驶系统领域,涉及一种可以获取汽车侧前方信息的宽视野视觉传感器,尤其涉及一种宽视野前视系统及其使用方法,具体适用于扩展视野,增大视觉范围,避免盲区。
背景技术
汽车辅助驾驶系统通过获取汽车前方的交通信息进行行车环境识别并危险判断来警示驾驶员或控制车辆。获取侧前方信息对环境识别有着很重要的意义,侧前方信息能够使系统判断超车车辆的切入,提早进行危险判断,能够使系统判断汽车是否可以换道操作,能够获取近距离旁车道线的位置,提高车辆换道过程的识别准确性。
摄像头是汽车辅助驾驶系统获取道路信息的主要传感器之一,摄像头的水平视角决定了摄像头的拍摄覆盖范围,为了获取侧前方信息,系统需要摄像头有较大的水平视角。
在现有的摄像头中,鱼眼摄像头视角很大,一般作为倒车摄像头、全景摄像头等用途。但是由于物理成像因素,鱼眼摄像头往往会产生图像失真现象,即图像几何畸变,严重的图像畸变导致无法进行图像处理,因而不能作为驾驶员辅助系统的传感器。普通的车载单目摄像头视角水平视角一般不大于40度,视野有限,无法获取足够的车辆侧方信息。
申请公布号为CN102685516A,公布日为2012年9月19日的中国发明专利申请公布了一种基于立体视觉技术的主动安全式辅助驾驶方法,该发明包括两台高分辨率CCD摄像机、环境光照度传感器、双通道视频采集卡、同步控制器、数据传输电路、供电电路、图像快速处理算法库、语音提醒模块、屏幕显示模块以及主动安全驾驶控制模块等,虽然它在晴天以及阴天、黑夜、雨雪、大雾等恶劣的天气条件下,都可以实时识别出分道线、前方车辆、自行车、行人等危险目标的相对距离、相对速度和相对加速度等参数,但其仍旧具有以下缺陷:
首先,该发明中的两台摄像机位于同一水平面,不仅视觉范围存在太多交叉,不能充分发挥单台摄像机的视野,而且存在交叉盲区,视觉范围较小,不利于收集车辆侧前方信息;
其次,该发明中两台摄像机必须处于同一水平面,其机位固定,无法根据其应用环境的不同对摄像机的位置、视觉范围进行调整,可调性较弱。
发明内容
本发明的目的是克服现有技术中存在的视觉范围较小、可调性较弱的缺陷与问题,提供一种视觉范围较大、可调性较强的宽视野前视系统及其使用方法。
为实现以上目的,本发明的技术解决方案是:一种宽视野前视系统,包括左摄像头、右摄像头与同步控制器,所述左摄像头、右摄像头的结构一致,左摄像头、右摄像头内镜头的光轴均与其成像平面相垂直,且同步控制器与左摄像头、右摄像头信号连接;
所述前视系统还包括左图像处理器与右图像处理器,左图像处理器、左摄像头集成于左电路板上,右图像处理器、右摄像头集成于右电路板上,左摄像头内镜头的光轴与左电路板相垂直设置,右摄像头内镜头的光轴与右电路板相垂直设置,且左电路板、右电路板之间形成的电路板夹角小于镜头的水平视角的补角;
所述左图像处理器与同步控制器的输入端信号连接,同步控制器的输出端与左摄像头、右摄像头的输入端信号连接,左摄像头、右摄像头的输出端分别与左图像处理器、右图像处理器一一对应连接,且左图像处理器、右图像处理器之间信号连接。
所述电路板夹角比镜头的水平视角的补角小3–5度。
所述左图像处理器、右图像处理器之间通过串行接口信号连接,左图像处理器通过数字控制线与同步控制器的输入端信号连接,同步控制器的输出端通过信号控制线分别与左摄像头、右摄像头的输入端信号连接,左摄像头、右摄像头的输出端分别通过信号线与左图像处理器、右图像处理器一一对应连接。
所述左摄像头、右摄像头均包括镜头与图像传感器,且镜头的底部通过图像传感器与电路板相连接。
所述左电路板、右电路板均设置于车里的内后视镜处。
一种上述宽视野前视系统的使用方法,所述使用方法依次包括以下步骤:先由左图像处理器向同步控制器输出总开关量控制信号,再由同步控制器将其接收到的总开关量控制信号分成两个支开关量控制信号以分别输出给左摄像头、右摄像头,接收到支开关量控制信号后,左摄像头、右摄像头同时拍摄图像,拍摄后,左摄像头、右摄像头将其拍摄的图像分别输入给对应的左图像处理器、右图像处理器,随后,右图像处理器将其处理后的图像也输出给左图像处理器,最后,左图像处理器将其处理完的左摄像头的拍摄图像与其接收的右摄像头的拍摄图像汇总,一并通过CAN总线输出给报警器,此时,整个宽视野前视系统使用完毕。
与现有技术相比,本发明的有益效果为:
1、本发明一种宽视野前视系统及其使用方法中左摄像头内镜头的光轴与左电路板相垂直、右摄像头内镜头的光轴与右电路板相垂直,且左电路板、右电路板之间形成的电路板夹角小于镜头的水平视角的补角,该设计使得左摄像头、右摄像头的光轴之间存在一个夹角,而不是平行设置,不仅远远大于现有技术采用的单摄像头的视野,而且利于充分发挥每台摄像机的视野,使得整体视野近似于单台摄像机的2倍,同时,“左电路板、右电路板之间形成的电路板夹角小于镜头的水平视角的补角”的设计能确保不存在交叉盲区,大大扩展了整个系统的视觉范围。因此,本发明不仅视觉范围较大,而且利于充分发挥每台摄像机的视野,不存在交叉盲区。
2、本发明一种宽视野前视系统及其使用方法中左摄像头、右摄像头的光轴之间存在一个夹角,该夹角的大小可通过调整左电路板、右电路板之间电路板夹角的大小而控制,便于根据各种不同的应用环境对本装置进行调控,从而确保获取较大的视觉范围。因此,本发明的可调性较强。
3、本发明一种宽视野前视系统及其使用方法中采取同步触发的方式采集左、右方的图像信息,具体而言为:左图像处理器与同步控制器的输入端信号连接,同步控制器的输出端与左摄像头、右摄像头的输入端信号连接,使用时,先由左图像处理器向同步控制器输出总开关量控制信号,再由同步控制器将其接收到的总开关量控制信号分成两个支开关量控制信号以分别输出给左摄像头、右摄像头,确保左、右摄像头同一时刻采集图像,同步误差小。因此,本发明同步误差小。
附图说明
图1是本发明的结构示意图。
图2是图1的俯视图。
图3是本发明的线路连接示意图。
图4是现有技术的效果图。
图5是本发明的效果图。
图中:同步控制器1、左摄像头2、右摄像头3、左图像处理器4、右图像处理器5、左电路板6、右电路板7、镜头8、图像传感器9、电路板夹角θ、水平视角φ。
具体实施方式
以下结合附图说明和具体实施方式对本发明作进一步详细的说明。
参见图1–图5,一种宽视野前视系统,包括左摄像头2、右摄像头3与同步控制器1,所述左摄像头2、右摄像头3的结构一致,左摄像头2、右摄像头3内镜头8的光轴均与其成像平面相垂直,且同步控制器1与左摄像头2、右摄像头3信号连接;
所述前视系统还包括左图像处理器4与右图像处理器5,左图像处理器4、左摄像头2集成于左电路板6上,右图像处理器5、右摄像头3集成于右电路板7上,左摄像头2内镜头8的光轴与左电路板6相垂直设置,右摄像头3内镜头8的光轴与右电路板7相垂直设置,且左电路板6、右电路板7之间形成的电路板夹角θ小于镜头8的水平视角φ的补角;
所述左图像处理器4与同步控制器1的输入端信号连接,同步控制器1的输出端与左摄像头2、右摄像头3的输入端信号连接,左摄像头2、右摄像头3的输出端分别与左图像处理器4、右图像处理器5一一对应连接,且左图像处理器4、右图像处理器5之间信号连接。
所述电路板夹角θ比镜头8的水平视角φ的补角小3–5度。
所述左图像处理器4、右图像处理器5之间通过串行接口信号连接,左图像处理器4通过数字控制线与同步控制器1的输入端信号连接,同步控制器1的输出端通过信号控制线分别与左摄像头2、右摄像头3的输入端信号连接,左摄像头2、右摄像头3的输出端分别通过信号线与左图像处理器4、右图像处理器5一一对应连接。
所述左摄像头2、右摄像头3均包括镜头8与图像传感器9,且镜头8的底部通过图像传感器9与电路板相连接。
所述左电路板6、右电路板7均设置于车里的内后视镜处。
一种上述宽视野前视系统的使用方法,所述使用方法依次包括以下步骤:
先由左图像处理器4向同步控制器1输出总开关量控制信号,再由同步控制器1将其接收到的总开关量控制信号分成两个支开关量控制信号以分别输出给左摄像头2、右摄像头3,接收到支开关量控制信号后,左摄像头2、右摄像头3同时拍摄图像,拍摄后,左摄像头2、右摄像头3将其拍摄的图像分别输入给对应的左图像处理器4、右图像处理器5,随后,右图像处理器5将其处理后的图像也输出给左图像处理器4,最后,左图像处理器4将其处理完的左摄像头2的拍摄图像与其接收的右摄像头3的拍摄图像汇总,一并通过CAN总线输出给报警器,此时,整个宽视野前视系统使用完毕。
本发明的原理说明如下:
1、左、右摄像头之间呈夹角布置:
参见图1与图2,本发明中的左、右摄像头非平行设置,其中,左摄像头内镜头的光轴与左电路板相垂直、右摄像头内镜头的光轴与右电路板相垂直,左电路板、右电路板之间形成的电路板夹角小于镜头的水平视角的补角,该设计使得左、右摄像头的光轴之间存在一个夹角,该夹角不仅利于充分发挥每台摄像机的视野,使得整体视野近似于单台摄像机的2倍,同时,“左电路板、右电路板之间形成的电路板夹角小于镜头的水平视角的补角的设计”能确保不存在交叉盲区,大大扩展了整个系统的视觉范围。
具体应用时,整个装置安装在车辆挡风玻璃后内后视镜处,安装时,各个零部件做完后就是一个整体,摄像头、图像处理模块、同步控制器都集成在电路板上的,电路板外再罩个外壳和支架,然后固定在挡风玻璃后方。
2、左、右摄像头同步触发采集图像:
参见图3,本发明采用同步触发的方式使左、右摄像头同一时刻采集图像,同步误差小。实现同步触发的关键在于同步控制器与各个零部件之间的线路连接,具体而言为:左图像处理器、右图像处理器之间通过串行接口信号(UARTTX、UARTRX)连接,左图像处理器通过数字控制线(Digital Control)与同步控制器的输入端信号连接,同步控制器的输出端通过信号控制线(Syn_Control_1、Syn_Control_2)分别与左摄像头、右摄像头的输入端信号连接,左摄像头、右摄像头的输出端分别通过信号线(Video_1、Video_2)与左图像处理器、右图像处理器一一对应连接。
使用时,先由左图像处理器输出总开关量控制信号给同步控制器,再由同步控制器将其分成两个支开关量控制信号以输出给左、右摄像头,从而控制左、右摄像头同时拍摄图像,拍摄后,左摄像头拍摄的图像直接输入给对应的左图像处理器处理,右摄像头拍摄的图像直接输入给右图像处理器处理,且当右图像处理器处理后,其将处理后的图像也输出给左图像处理器,便于左图像处理器将左、右摄像头的拍摄图像汇总以一并通过CAN总线输出给报警器。
整个系统的对外输出只有一个接口,以将数据传给报警单元来提醒驾驶员危险的发生,这个唯一的接口就是左图像处理器的外围接口。虽然左图像处理器还需要承担同步控制功能以及整合处理结果并统一向外发送的功能,但这并不是说左图像处理器比右图像处理器重要,两个图像处理器的功能一样的,都需要对本模块的摄像头数据进行处理,区别在于应用时以谁为主,从这个角度来说,左右视野是并列的。
实施例1:
参见图1–图3,一种宽视野前视系统,包括同步控制器1、左摄像头2、右摄像头3、左图像处理器4与右图像处理器5,左图像处理器4、左摄像头2集成于左电路板6上,右图像处理器5、右摄像头3集成于右电路板7上,左摄像头2、右摄像头3的结构一致,均包括镜头8与图像传感器9,镜头8的底部通过图像传感器9与电路板相连接,左摄像头2、右摄像头3内镜头8的光轴均与其成像平面相垂直,左摄像头2内镜头8的光轴与左电路板6相垂直设置,右摄像头3内镜头8的光轴与右电路板7相垂直设置,且左电路板6、右电路板7之间形成的电路板夹角θ小于镜头8的水平视角φ的补角;
所述左图像处理器4、右图像处理器5之间通过串行接口信号连接,左图像处理器4通过数字控制线与同步控制器1的输入端信号连接,同步控制器1的输出端通过信号控制线分别与左摄像头2、右摄像头3的输入端信号连接,左摄像头2、右摄像头3的输出端分别通过信号线与左图像处理器4、右图像处理器5一一对应连接。
一种上述宽视野前视系统的使用方法,依次包括以下步骤:先由左图像处理器4向同步控制器1输出总开关量控制信号,再由同步控制器1将其接收到的总开关量控制信号分成两个支开关量控制信号以分别输出给左摄像头2、右摄像头3,接收到支开关量控制信号后,左摄像头2、右摄像头3同时拍摄图像,拍摄后,左摄像头2、右摄像头3将其拍摄的图像分别输入给对应的左图像处理器4、右图像处理器5,随后,右图像处理器5将其处理后的图像也输出给左图像处理器4,最后,左图像处理器4将其处理完的左摄像头2的拍摄图像与其接收的右摄像头3的拍摄图像汇总,一并通过CAN总线输出给报警器,此时,整个宽视野前视系统使用完毕。
由上可见,本发明通过采用具有夹角的左、右摄像头使得前视系统的视角范围是普通摄像头视角的近两倍。参见图4,图4是现有的单摄像头视觉范围,最多达到32度,参见图5,图5是本发明的视角范围,可达到60度左右,两相比较,明显可见本发明能够获取更多的车辆正前方和侧前方信息,为后期的软件算法提供了足够的信息。
Claims (5)
1.一种宽视野前视系统,包括左摄像头(2)、右摄像头(3)与同步控制器(1),所述左摄像头(2)、右摄像头(3)的结构一致,左摄像头(2)、右摄像头(3)内镜头(8)的光轴均与其成像平面相垂直,且同步控制器(1)与左摄像头(2)、右摄像头(3)信号连接,其特征在于:
所述前视系统还包括左图像处理器(4)与右图像处理器(5),左图像处理器(4)、左摄像头(2)集成于左电路板(6)上,右图像处理器(5)、右摄像头(3)集成于右电路板(7)上,左摄像头(2)内镜头(8)的光轴与左电路板(6)相垂直设置,右摄像头(3)内镜头(8)的光轴与右电路板(7)相垂直设置,且左电路板(6)、右电路板(7)之间形成的电路板夹角(θ)小于镜头(8)的水平视角(φ)的补角;
所述左图像处理器(4)与同步控制器(1)的输入端信号连接,同步控制器(1)的输出端与左摄像头(2)、右摄像头(3)的输入端信号连接,左摄像头(2)、右摄像头(3)的输出端分别与左图像处理器(4)、右图像处理器(5)一一对应连接,且左图像处理器(4)、右图像处理器(5)之间信号连接;
所述宽视野前视系统依照以下步骤使用:先由左图像处理器(4)向同步控制器(1)输出总开关量控制信号,再由同步控制器(1)将其接收到的总开关量控制信号分成两个支开关量控制信号以分别输出给左摄像头(2)、右摄像头(3),接收到支开关量控制信号后,左摄像头(2)、右摄像头(3)同时拍摄图像,拍摄后,左摄像头(2)、右摄像头(3)将其拍摄的图像分别输入给对应的左图像处理器(4)、右图像处理器(5),随后,右图像处理器(5)将其处理后的图像也输出给左图像处理器(4),最后,左图像处理器(4)将其处理完的左摄像头(2)的拍摄图像与其接收的右摄像头(3)的拍摄图像汇总,一并通过CAN总线输出给报警器,此时,整个宽视野前视系统使用完毕。
2.根据权利要求1所述的一种宽视野前视系统,其特征在于:所述电路板夹角(θ)比镜头(8)的水平视角(φ)的补角小3–5度。
3.根据权利要求1或2所述的一种宽视野前视系统,其特征在于:所述左图像处理器(4)、右图像处理器(5)之间通过串行接口信号连接,左图像处理器(4)通过数字控制线与同步控制器(1)的输入端信号连接,同步控制器(1)的输出端通过信号控制线分别与左摄像头(2)、右摄像头(3)的输入端信号连接,左摄像头(2)、右摄像头(3)的输出端分别通过信号线与左图像处理器(4)、右图像处理器(5)一一对应连接。
4.根据权利要求1或2所述的一种宽视野前视系统,其特征在于:所述左摄像头(2)、右摄像头(3)均包括镜头(8)与图像传感器(9),且镜头(8)的底部通过图像传感器(9)与电路板相连接。
5.根据权利要求1或2所述的一种宽视野前视系统,其特征在于:所述左电路板(6)、右电路板(7)均设置于车里的内后视镜处。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410157081.6A CN103974035B (zh) | 2014-04-19 | 2014-04-19 | 一种宽视野前视系统及其使用方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410157081.6A CN103974035B (zh) | 2014-04-19 | 2014-04-19 | 一种宽视野前视系统及其使用方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103974035A CN103974035A (zh) | 2014-08-06 |
CN103974035B true CN103974035B (zh) | 2017-02-08 |
Family
ID=51243014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410157081.6A Active CN103974035B (zh) | 2014-04-19 | 2014-04-19 | 一种宽视野前视系统及其使用方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103974035B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106025912A (zh) * | 2016-05-26 | 2016-10-12 | 国家电网公司 | 一种输电线路走廊无源拍照装置及方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2456967Y (zh) * | 2000-12-06 | 2001-10-31 | 全安电子股份有限公司 | 摄像式路况监视装置 |
CN102088557A (zh) * | 2010-12-01 | 2011-06-08 | 东风汽车有限公司 | 一种车用双目视觉装置的同步控制系统 |
CN202395858U (zh) * | 2011-12-14 | 2012-08-22 | 深圳市中控生物识别技术有限公司 | 一种双目摄像装置 |
CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
CN203872281U (zh) * | 2014-04-19 | 2014-10-08 | 东风商用车有限公司 | 一种宽视野前视系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101638919B1 (ko) * | 2010-09-08 | 2016-07-12 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어방법 |
-
2014
- 2014-04-19 CN CN201410157081.6A patent/CN103974035B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2456967Y (zh) * | 2000-12-06 | 2001-10-31 | 全安电子股份有限公司 | 摄像式路况监视装置 |
CN102088557A (zh) * | 2010-12-01 | 2011-06-08 | 东风汽车有限公司 | 一种车用双目视觉装置的同步控制系统 |
CN102685516A (zh) * | 2011-03-07 | 2012-09-19 | 李慧盈 | 立体视觉主动安全辅助驾驶方法 |
CN202395858U (zh) * | 2011-12-14 | 2012-08-22 | 深圳市中控生物识别技术有限公司 | 一种双目摄像装置 |
CN203872281U (zh) * | 2014-04-19 | 2014-10-08 | 东风商用车有限公司 | 一种宽视野前视系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103974035A (zh) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11535154B2 (en) | Method for calibrating a vehicular vision system | |
US11310461B2 (en) | Imaging apparatus, imaging system, and display system | |
CN105763854B (zh) | 一种基于单目摄像头的全景成像系统及其成像方法 | |
KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
WO2018030285A1 (ja) | 複数カメラを用いた車両用モニタリングシステム | |
US10875452B2 (en) | Driving assistance device and driving assistance method | |
KR101349025B1 (ko) | 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법 | |
US10997737B2 (en) | Method and system for aligning image data from a vehicle camera | |
WO2017175492A1 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器 | |
CN114270798B (zh) | 摄像装置 | |
TWI775808B (zh) | 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法 | |
CN203872281U (zh) | 一种宽视野前视系统 | |
WO2017169274A1 (ja) | 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器 | |
TWI552907B (zh) | 行車安全輔助系統和方法 | |
CN108202666A (zh) | 能于车辆转弯时同步显示后方全景与转弯画面的显示方法 | |
JP7144926B2 (ja) | 撮像制御装置、撮像装置、および、撮像制御装置の制御方法 | |
CN108099788A (zh) | 三维行车影像辅助装置 | |
CN103974035B (zh) | 一种宽视野前视系统及其使用方法 | |
US11924568B2 (en) | Signal processing device, signal processing method, and imaging apparatus | |
CN202896423U (zh) | 一种汽车全景泊车系统 | |
CN111669543A (zh) | 用于停车解决方案的车辆成像系统和方法 | |
JP2005182305A (ja) | 車両走行支援装置 | |
CN105882525A (zh) | 倒车影像显示方法、装置及系统 | |
TWI742636B (zh) | 攝像裝置及攝像方法 | |
US20230098440A1 (en) | Imaging device, imaging system, and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |