CN101010224B - 用于检测车辆座位上对象的装置 - Google Patents
用于检测车辆座位上对象的装置 Download PDFInfo
- Publication number
- CN101010224B CN101010224B CN2005800298062A CN200580029806A CN101010224B CN 101010224 B CN101010224 B CN 101010224B CN 2005800298062 A CN2005800298062 A CN 2005800298062A CN 200580029806 A CN200580029806 A CN 200580029806A CN 101010224 B CN101010224 B CN 101010224B
- Authority
- CN
- China
- Prior art keywords
- dimensional representation
- processing unit
- vehicle seat
- image
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 47
- 230000015572 biosynthetic process Effects 0.000 claims description 7
- 230000035807 sensation Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000011084 recovery Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 239000004744 fabric Substances 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- MDEHFNXAMDVESV-UHFFFAOYSA-N 3-methyl-5-(4-phenylphenyl)pentanoic acid Chemical compound C1=CC(CCC(C)CC(O)=O)=CC=C1C1=CC=CC=C1 MDEHFNXAMDVESV-UHFFFAOYSA-N 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003134 recirculating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01556—Child-seat detection systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Air Bags (AREA)
Abstract
本发明涉及一种用于检测车辆座位上的对象的装置，包括用于产生对象的二维表示的摄像机和处理单元，其特征在于该装置还包括至少两个照明源，这些照明源按照从不同方向照射对象的方式来定位，所述处理单元适用于根据两个二维表示来产生对象的三维表示，每个二维表示是在不同的照明条件下产生的。
Description
技术领域
本发明涉及一种用于检测车辆座位上对象的装置，包括用于生成对象的二维表示的摄像机和处理单元。
背景技术
存在多种技术和系统来实现对机动车辆的乘客的检测、识别和分类。此外，还存在多种技术来识别车辆乘客的头部位置。来自这些技术的信息主要用作使乘客约束系统适应乘客的类型、大小或座位位置的数据。
根据 U.S National Highway Transportation and SafetyAdministration(美国国家高速公路运输和安全局，NHSTA)所规定的Federal Motor Vehicle Safety Standard(联邦机动车安全标准，FMVSS)208，从2006车型年开始，在美国销售的几乎100％的汽车必须能够根据碰撞的严重性、乘客类型及尺寸、以及安全带使用来自动控制气囊的力量部署。随着制造商开始开发各种乘客检测系统，视觉技术由于比其它机电方法能够更好地适应各种车辆舱内环境而更具吸引力。
近年来，已研究了很多光学方法来解决气囊抑制判断问题。根据系统中使用的摄像机数量，可以将这些研究分为两类。在早期的乘客检测系统中，由于成像传感器的高成本而需要单摄像机方法。但是，这种单眼系统无法为诸如检测位于不恰当位置(out-of-positiondetection)的功能提供足够的3D信息，而检测位于不恰当位置是根据乘客的位置/姿势保证低风险配置的辅助性任务。因此，大多数乘客检测系统越来越依赖于使用两个摄像机的立体视觉技术。面对增长的对各种基于视觉的车内应用的需要，增加所使用的摄像机的数量已经成为要认真考察的事。
下面列举用于乘客检测的现有光学方法的一些主要缺陷。
-立体摄像机系统使用多个摄像机。多摄像机大大增加了硬件成本。
-很多方法使用辅助光源来对车辆内部进行照明。这也增加了硬件成本。
-由于立体视觉的理论限制，两个摄像机必须彼此靠近。这使得难以设计紧凑的系统模块。
-立体视觉系统对任何扰乱相关摄像机的几何特性的物理影响非常敏感。
-由于大多数立体视觉技术的3D重构基本上以纹理对应匹配为基础，因此如果目标对象的表面上没有纹理，则大多数立体视觉方法就无法重构该目标对象的形状。
-为了获得令人满意的深度分辨率，大多数立体视觉技术采用子像素空间分辨率，其由于需要更宽的数据带宽和更快的计算功率而增加了总系统成本。
-立体视觉所必须的大量搜索和三角测量过程影响系统成本。
-大多数立体视觉技术需要复杂的摄像机校准。
发明内容
本发明的目的是提供一种能够生成车辆座位占据者的3D信息的单摄像机系统。优选地，该目的是通过使用最少辅助主动照明来实现。
本发明的目的通过一种用于检测车辆座位上对象的装置来完成，该装置包括用于生成对象的二维表示的摄像机和处理单元，其特征在于，该装置还包括至少两个照明源，该照明源以可以从不同方向照射对象的方式而定位，并且所述处理单元适用于根据两个二维表示生成对象的三维表示，其中每个二维表示是在不同的照明条件下产生的。
典型地，按照本发明的装置包括单个摄像机，通过该摄像机获取图像序列。不同的照明条件可以通过照明源的变暗、开关或运动(平移和/或旋转)而产生。为简便起见，按照本发明的一个优选实施例，通过打开或关闭照明源来产生不同的照明条件，即通过主动照明源的不同组合、尤其是通过不同数量的主动照明源来产生不同的照明条件。
本发明的一个优选实施例的特征在于，所述处理单元适用于根据两个二维表示生成对象的三维表示，其中每个二维表示是在不同的照明条件下产生的，其中不同的照明条件是通过不同数量的主动照明源而产生的。所述根据两个二维表示产生三维表示包括根据多于两个的二维表示来产生的情况。
按照本发明的乘客检测系统被设计为对车辆内的对象进行分类，以有助于气囊控制模块。可以根据从原始图像和/或从三维对象表示和/或从中间结果中所提取的对象特征来执行分类。分类的典型目标是将对象分配到目标乘客类型。
根据本发明的一个优选实施例，这样的分类中目标乘客类型的数目是有限的。目标乘客类型被减少到3类：面向前方的小孩座位、面向后方的小孩座位和成人。
因此，本发明的一个优选实施例的特征在于，处理单元适用于将检测到的对象分配到至少两个对象类型中的一个，其中该至少两个对象类型是从包括以下3个对象类型的多个对象类型中选择的：
-设置在向前行驶方向上的小孩座位，
-设置在背向行驶方向上的小孩座位，
-成人。
对象分类的结果通常用于支持、例如简化其他任务。为此，可以将结果通知给其它任务。
按照本发明的一个优选实施例，处理单元向由处理单元自身或由其它装置所执行的任务传送已经为车辆座位上的装置分配的对象类型，其中执行该任务的事实和/或方式取决于已经为车辆座位上的装置所分配的对象类型。特别地，按照本发明的一个优选实施例，检测位于不恰当位置仅在对象被分类为成人时才启动。
在按照本发明的方法中，图像序列内的不同照明条件由至少两个光源产生。要消除环境照明波动和/或阴影。
按照本发明的一个优选实施例，图像序列中的环境照明波动通过所谓的双闪(DoubleFlash)技术消除。
无阴影的图像优选地由通过模拟具有无限范围的虚拟光源的图像序列构成。这适当地通过所谓的阴影闪光(ShadowFlash)技术来实现。
优选地，提取对象在所得到的无阴影图像中的边界信息，并重构对象的3D表面。
最后，按照本发明的一个优选实施例，定义多维特征向量，并用于分类目的。优选地，特征向量使用2D和/或3D信息。
通过本发明，提出了一种用于车辆乘客检测系统的新颖框架。按照本发明的装置的性能可与立体视觉系统相媲美。因此，按照本发明的装置可以用作提供一些明显优点的对双眼视觉系统的一种替换解决方案。
-按照本发明的装置与立体视觉技术相比是经济的，因为只需要一个摄像机。所需要的可开关照明源的市场价通常低于摄像机的价格。
-与立体视觉方法相比，按照本发明的装置和/或方法需要更少的计算功率。用于所建议系统中的算法的复杂度通常低于任何立体视觉算法的复杂度。
-由于所建议的系统不是以纹理对应匹配为基础，因此3D重构的性能完全与目标对象的纹理特征无关。
-定位摄像机和光源的自由度远高于大多数立体视觉技术。
-在按照本发明的方法中，深度分辨率只是摄像机的空间分辨率的函数。因此，不需要子像素成像。
-按照本发明的系统的复杂度、尤其是硬件复杂度通常低于基于立体视觉的系统的复杂度。
附图说明
本发明的其他信息、细节和优选实施例通过附图和下面的解释公开。附图示出：
图1是系统概览：
(a)按照本发明的系统的基本框架。
(b)整个系统的状态变换图。
图2是按照本发明应用的实时阴影闪光技术的例子：
(a)没有滑动N-tuple策略，
(b)采用滑动N-tuple策略。
图3是阴影闪光和分割结果：
(a)-(d)是用于该测试的图像序列，
(e)是所产生的阴影闪光图像，
(f)是被应用于阴影闪光图像的分割结果。
图4是表面法线针状方向图及其恢复的沿z轴投影的3D表面：
(a)-(c)是重叠在其原始图像上的针状方向图，
(d)-(f)是具有扩展轴的表面重构结果。
图5是按照本发明用于特征提取的坐标、轴和参数。
图6是按照本发明的分类器的设计：
(a)是学习过程之后的Jordan网络，
(b)是所提出的具有两条分接的延迟线的分类器框架，
(c)是对于延迟线长度的分类误差空间。
具体实施方式
图1a示出按照本发明的系统的基本框架，即所提出的系统与检测位于不恰当位置系统结合的结构。假定，分类结果可以与如描述两个系统之间状态转换的状态转换图1b中所示的不恰当位置(OOP)检测系统共享。仅当对象被分类为成人时才启动OOP检测。类型“成人”是在分类后连续观察的唯一类型。在视场内发生任何惊人变化、诸如类型的任何突然变化时，发生图1b中的转换“事件”。
首先描述所采用的图像获取和预处理技术。
在15Hz下分辨率为256×256的12位高动态范围单色成像传感器被用于图像获取。并且，使用通过两位格雷码信号所触发的3个红外光源，从而顺序地闪光。格雷码信号还与成像传感器中的触发时钟同步，从而必须在预分配的照明条件下获取每一帧。因此，在获取过程中连续获得4类具有不同照明的图像：由每个光源(加上环境照明)产生的3张图像和一张只具有环境照明的图像。
通过所谓的双闪技术实现照明稳定。基于CCD的主流图像传感器和大多数新的基于CMOS的图像传感器不提供足够的光动态范围来用于监控车辆内部，其中人员在空间上或时间上经历照明的极度变化。为了在这种环境中获取图像而不丢失图像细节，必须采用适用于高动态范围的成像器和/或用于降低动态范围而不改变照明偏移的新方法。在所提出的系统中采用双闪技术，其通过用不同辐射强度对两个输入图像进行照明而将偏移降低和动态范围压缩的优点结合起来。双闪技术最初介绍在C.Koch，S.Park，T.J.Ellis，和A.Georgiadis的“Illumination technique for optical dynamic range compression andoffset reduction.”，British Machine Vision Conference(BMVC01)，293-302页，Manchester，England，September 2001，BMVA Press中。
在消除透镜失真之后，将图像序列传送到通过将暴露在不同照明功率下的两幅图像相减而消除环境照明波动的双闪模块。通过三阶延迟缓冲器的帮助，双闪方法完全消除环境照明，并在每个时钟周期产生3幅图像。
通过所谓的阴影闪光技术消除阴影。
为了获得合适的照明偏移，几乎所有的车辆内部监控应用都引入辅助光源(通常在近红外区)。因此，在视场中，很强的投射阴影是不可避免的。阴影通常带来错误的分割，从而导致错误地检测假想对象，这妨碍了系统的总性能。最初在WO2004/040515A1中公开的阴影闪光技术是一种适用于通过模拟无限大小的虚拟光源来消除阴影的方法。算法采用多个图像，其中从不同方向对每个图像进行闪光。创建一幅无阴影图像所需要的输入图像的数量Nin等于所采用的光源数量nlight加上用于计算环境光抑制的一个附加图像。
Nin＝nlight+1 (1)
根据本发明的一个优选实施例，使用3个光源，从而使得包括环境光在内的输入的数量为4。如果环境照明图像Ioffset可以忽略，则通过忽略双闪可以将输入图像的数量减小到nlight。但是，损失了应付照明变化的鲁棒性。
通过滑动n-tuple策略进行时域处理。
阴影闪光的思想可以通过将照明源与成像器的触发信号同步而扩展到时域，使得成像器产生视频序列(...，Ib，Ioffset，Ia，Ib，Ioffset，Ia，...)，其中Ix表示被光源x照明的图像，Ioffset表示只具有环境照明的图像。
但是，将阴影闪光方法直接应用到时域导致两个问题。首先，输出序列的帧速率被减小到1/Nin，同时在获取开始时具有nlight帧延迟，因为需要Nin幅图像来获得等式1中所解释的一幅无阴影图像。其次，如果场景中的任何对象在获取Nin-tuple的过程中移动，则在对象边界周围会出现一些伪影(artifact)。
为了避免帧速率降低，提出了一种滑动N-tuple策略。创建宽度为Nin帧的存储窗口，其中该窗口沿时间轴移动。在该窗口内，不断刷新Nin幅不同照明的连续图像。这些图像连续形成一组输入，以创建无阴影输出图像。图2a解释通过采用传统的N-tuple策略将结果序列的帧速率除以4，而通过采用滑动的N-tuple策略(参见图2b)连续计算输出帧。
快速移动的对象可能使滑动N-tuple策略的结果失真。失真大小取决于成像器的帧速率。当成像器以足够的速度产生帧时，由运动对象所引起的伪影应当是可忽略的。在可与场景内运动对象的速度相比的慢的帧速率的情况下，应当执行辅助算法来检测和校正帧之间的差异。
在图3e中示出来自所提出的扩展的阴影闪光方法的示例结果。图3a、图3b、图3c和图3d分别示出无阴影图像图3e所基于的图像序列：Ioffset，Ia，Ib和Ic。
为了从可用的2D图像中提取有用的主要信息，执行边界提取。一旦分割过程开始，则通过比较局部变化来分析每个帧与参考背景的纹理相似度。由于通过双闪技术稳定局部和全局照明变化，因此简单适应阈值比较后的变化比较就足以提供被观察对象的近似边界。
采用主动轮廓模型来改进该近似边界。为了提供用于随后蛇形发展(snake evolution)的初始轮廓，在近似边界周围生成凸起的外壳(hull)。在这种情况下，近似边界点序列通常存在于两个连续凸起外壳顶点之间，同时每对顶点形成一条线段。对于每个序列，可以定义深度为该序列与对应线段之间的最大垂直距离。例如，与对应线段相邻/重叠的序列的深度为0。最后，深度被用于对属于提供权重的线段的每个蛇形单元的能量函数进行加权，从而该单元在与近似边界的距离大于其它单元与近似边界的距离时具有更高的活动性。应用于无阴影的阴影闪光图像图3e的分割结果在图3f中示出(曲线1：边界框，曲线2：凸起外壳，曲线3：近似边界，曲线4：蛇形结果)。
为了提供三维信息，使用光度立体视觉方法。
由于目标是在不使用双眼成像器的情况下提供三维信息，因此大致有3种可能性来考虑为表面恢复方法。“结构化照明”是一种所谓的主动立体视觉方法，其根据投影在目标表面上的光图案的变形来计算对象的三维形状。该机算简单而且快速，从而假设准确检测到所投影图案的特征点，则很容易提取场景的形状。但实际中，由于车辆环境中恒定的振动，所以难以利用红外光源来实现准确的图案。此外，这样的图案无法为对象分类提供足够的分辨率。
近来，业界对时间飞越(time-of-flight，TOF)成像器产生了浓厚兴趣，该成像器由用于测量从辅助光源发射的光的运行时间或相位的单点距离测量单元的阵列构成。TOF成像器的优点是其直接测量绝对深度并确定场景的整个距离图而没有任何延迟。但是，由于测量范围受到最大辐射功率大小的限制，因此破坏眼睛安全性的可能仍是是需要解决的问题。
光度立体视觉方法(PSM)是使用多个光源的“根据阴影恢复形状”(SFS：shape from shading)方法的扩展，其通过使用对象的反射特性来构造该对象的相对深度。与在任意辐射图像中缺乏足够信息来明确重构对象表面的SFS不同，PSM更容易执行表面恢复，尤其是在存在多于3个光源时。由于为阴影闪光方法已经采用了多个照明源和条件，因此很容易应用PSM，因为不需要为这样的实施提供辅助硬件。
对象在两个连续帧之间的突然运动可能是将PSM方法用于特定应用中的问题。但是，在本应用中，由运动所引起的典型的失真大小通常是可以接受的。此外，在重构性能低的情况下，判断的时间速率的变化和/或场景的空间分辨率的变化和/或成像器的帧速率的变化可以有所帮助。
PSM的总任务包括两个主要程序：估计表面法线和根据法线向量积分对象表面。表面法线向量的估计通过求解由关于照明源的方向和功率的先验信息所支持的辐射方程来与漫反射系数无关地执行。合适的方法例如由R.Klette，K.Schluens和A.Koschan的“ComputerVision，Three-Dimensional Data from Images”，Springer，1988公开。
经过少许修改后使用以最小化频域中可积分性条件为基础的Frankot-Chellappa算法(由R.T.Frankot和R.Chellappa：“Amethod for enforcing integrability in shape from shading problem”，IEEE Trans.on PAMI，10(4)：439-451，July 1988公开)来改善用于由运动所引起的小伪影的鲁棒性，而不管其在时间消耗方面的缺点。
一些典型的表面恢复例子及其表面法线的针状方向图(needlemap)在图4中示出。图4示出表面法线的相应针状方向图及其恢复的沿z轴投影的3D表面。图4a、图4b和图4c示出重叠在其原始图像上的针状方向图，而图4d、图4e和图4f示出具有扩展轴的表面重构结果。
在下面的段落中描述所应用的分类方法和相应的分类结果。
首先，作为分类的基础，定义和/或选择特征。
由于不需要为安全原因而检测空座位，所以要分类的乘客类型的数量限于3种：成人、面向前方的小孩座位(FFCS)和面向后方的小孩座位(RFCS)。为了使分类器的工作无关紧要，必须定义对输入的任何不相关变换不变的区别特征。
根据本发明的优选实施例，每个特征被设计为指定至少一类对其它两类(例如为了将成人与小孩座位类别区分开，使用乘客大小)。所建议的特征被定义如下：
扩展的高斯图像(EGI)：4维
EGI是在离散化的高斯球面上计算的表面法线的直方图。虽然表面法线很容易在PSM的计算过程中被推导(参见图4)，但期望面向后方的小孩座位应当具有不同于其它两类的表面方向。将直方图分为分别为90度的柱子，并计算属于每个柱子的法线向量的数量。
表面深度：4维
从对象的顶部所投影的相对深度的外形也被用作一个特征。由于摄像机坐标系不同于世界坐标系，因此用给定的代表3个局部变换(摇晃、倾斜和滚动角)的旋转矩阵R执行旋转变换，以提供沿世界坐标系投影的深度外形。在图5a中示出改变观察点的简要图解。摄像机校准提供了相对于世界坐标原点的旋转矩阵R。原则上，对所有这些三维特征进行旋转变换，以便使其从顶部正确的观看。
扩展轴信息：9维
利用对象表面的成功恢复，将表面上的3个极值(图5b中定义的E1、E2和E3)用于定义一些有用的特征。在图5b中，将极值E1、E2和E3分别定义为恢复的表面上的最高、最前(左)和最后(右)的点。扩展轴是重心和极值之间的线。因此，张角(αz1、αx2和αx3)被定义为扩展轴和坐标系之间的角度；而相对张角(β12、β13和β23)是扩展轴相互之间的角度。这两个角度特性以及扩展轴的长度被用做分类器的关键特征。图4d、图4e和图4f示出一些例子。
上限极值的相对位置：1维
上限极值E1沿x轴的相对位置可以是相对于其它两类指定面向后方的小孩座位类别的很好的线索。如图5b所示，将相对位置PE1简单地定义为PE1＝WE1/W，其中W和WE1分别表示对象的宽度和E1与E3之间沿x轴的距离。
容积比和紧密度：2维
由于无法识别对象后面发生了什么，因此难以定义对象的体积。即使假定对象具有扁平的后背，目标的体积仍然可能对分割结果非常敏感。因此，将三维表面面积与两维边界面积之比定义为容积比，其应当随着对象体积增大而增加。假定是扁平的后背，则对象体积与包围该对象的六面体之比或紧密度也可以提供对其体积的鲁棒估计。
其它2D几何信息：9维
将归一化中心矩和Hu矩的3个低阶分量以及对象边界的宽度、高度和面积一起选择为特征。
所采用的分类器被设计如下。
由于乘客类型不太可能在行驶过程中变化，因此在大多数情况下，在运行开始时执行一次分类就足够了，除非在视场中发生任何戏剧性变化，参见图1b。因此，假定所提出的系统必须在3秒钟内做出决定，这意味着在做出最终决定之前以30Hz的帧速率处理90个帧。
考虑到所建议的特征不反映乘客的任何动态特性，因此需要建立能够处理和分类时间序列的分类器模型。以受指导的方式训练地，在两条分接的延迟线的支持下，采用Jordan所提出的局部循环网络(例如由M.I.Jordan：“Attractor dynamics and parallelism in aconnectionist sequential machine”，Proc.of the 8th annualconference of cognitive science society，531-546页，Amherst，MA)，其中延迟线是可以任意中间延迟长度值访问其内容的延迟存储器。每个分接的延迟线通过在特征向量(输入)或分类结果(输出)中过滤噪声分量而改善总分类性能的精度。所提出的系统的最大延迟长度限于90个帧，从而允许系统监控3秒钟的乘客历史记录。学习过程之后的所建议的Jordan网络在图6a中示出，而图6b示出分类器模块的整个结构，即所建议的具有两条分接的延迟线的分类器框架。
为了阐明按照本发明的系统和方法的性能、效率和鲁棒性，在下面的段落中公开利用所建议的系统和方法达到的一些实验结果。
已经在以30Hz、12位灰阶度下从29个不同小孩座位和25个人所采集的578个图像序列的实验中对所提出的系统和方法进行测试。利用校准后的摄像机参数消除了透镜失真。诸如毯子的附加对象和不同环境照明条件被用于提供多样性。最后，将这些序列平均分为两组，从而创建训练组和测试组，而这些序列的长度根据乘客的行为而在100到500个帧之间变化，并且人工观察目标输出值。通过弹性反向传播(Rprop)算法用训练组来训练所提出的网络，同时将规则的逻辑激活函数设置到所有神经元，并且随机选择其突触的初始值。当网络在120次迭代后达到0.0793的均方差时停止学习。
由于神经网络只进行单帧决定，因此根据两条分接的延迟线的长度用测试组来估计分类性能。图6c示出关于延迟线的长度的分类误差空间。图6c示出系统由于循环网络对顺序行为的适应性而明显对输出延迟缓冲器的长度更为敏感。但是，随着两条延迟线的长度增加，敏感度的差异可以忽略不计。表1示出在没有分接的延迟线的支持下按照分类类型的中间误差分析。
表1：没有分接的延迟线的误差统计(总误差率：6.66％)
面向前方的小孩座位(FFCS)：误差率14.2％，期望误差：RFCS(99.5％)
面向后方的小孩座位(RFCS)：误差率15.4％，期望误差：FFCS(90.0％)
成人：误差率0.725％，期望误差：RFCS(68.3％)
根据表1中的中间分析，大多数错误发生在FFCS和RFCS类型之间，因为它们的二维几何特征相似，尤其是在场景被附加对象改变时(例如在RFCS中拿着玩具熊的婴儿被毯子覆盖)。即使用包括大量运动的测试序列也能达到成人类型中的低误差率。这是令人鼓舞的结果，因为成人和小孩座位之间的误分类通常比两种小孩座位之间的误分类更为危险。在应用分接的延迟线之后，所有类型的误差率都如表2所示显著下降。
表2：具有分接的延迟线的误差统计(总误差率：1.14％)
面向前方的小孩座位(FFCS)：误差率10.1％，期望误差：RFCS(100.0％)
面向后方的小孩座位(RFCS)：误差率13.7％，期望误差：FFCS(91.7％)
成人：误差率0.0％。
尽管普通Jordan网络的初始误差率达到6.66％，参见表1，但是在将输入和输出延迟线的长度分别设置为31和59之后实现了98.9％的分类率。
上述结果证明了按照本发明的系统和方法的性能、效率和鲁棒性。
根据本发明的一个优选实施例，将车辆座位上的对象分配到至少两个类型中的一个。所提出的方法的这一特征不必与所提出的方法的其它特征结合，和/或以该特征为表征的方法可与按照本发明的装置无关地被使用。
因此，本发明还涉及一种用于对车辆座位上所检测到的对象进行分类的方法，其中将对象分配到至少两个类型中的一个。根据本发明的一个优选实施例，将对象分配到至少两个对象类型中的一个，其中该至少两个对象类型是从包括以下3个对象类型的多个对象类型中选择的：设置在前向行驶方向上的小孩座位，设置在背向行驶方向上的小孩座位，成人。但是，该分类本身不必通过按照本说明书的方法和/或装置来实现。
Claims (4)
1.一种用于检测车辆座位上对象的装置，包括用于生成对象的二维表示的摄像机和处理单元，其特征在于，
所述装置还包括至少两个照明源，其中所述照明源以能从不同方向照射对象的方式来定位，
所述处理单元适用于使用光度立体视觉方法来根据两个二维表示生成对象的三维表示，其中每个二维表示是在不同照明条件下产生的。
2.根据权利要求1所述的装置，其特征在于，所述处理单元适用于根据两个二维表示生成对象的三维表示，其中每个二维表示是在不同照明条件下产生的，其中不同照明条件是通过不同数量的主动照明源而导致的。
3.根据权利要求1或2所述的装置，其特征在于，所述处理单元适用于将所检测的对象分配到至少两个对象类型中的一个，其中所述至少两个对象类型是从包括以下3个对象类型的多个对象类型中选择的：
-设置在前向行驶方向上的小孩座位，
-设置在背向行驶方向上的小孩座位，
-成人。
4.根据权利要求3所述的装置，其特征在于，所述处理单元向由所述处理单元自身或由其它装置所执行的任务通知已经为车辆座位上的装置分配的对象类型，从而执行该任务的事实和/或方式取决于已经为车辆座位上的装置分配的对象类型。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102004043418.2 | 2004-09-06 | ||
| DE102004043418 | 2004-09-06 | ||
| PCT/EP2005/005462 WO2006027032A1 (en) | 2004-09-06 | 2005-05-20 | Device for the detection of an object on a vehicle seat |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101010224A CN101010224A (zh) | 2007-08-01 |
| CN101010224B true CN101010224B (zh) | 2012-11-14 |
Family
ID=34967786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2005800298062A Active CN101010224B (zh) | 2004-09-06 | 2005-05-20 | 用于检测车辆座位上对象的装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7379195B2 (zh) |
| EP (1) | EP1786654B1 (zh) |
| JP (1) | JP4756044B2 (zh) |
| KR (1) | KR101115944B1 (zh) |
| CN (1) | CN101010224B (zh) |
| DE (1) | DE602005017290D1 (zh) |
| ES (1) | ES2334040T3 (zh) |
| WO (1) | WO2006027032A1 (zh) |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7489425B2 (en) * | 2004-03-15 | 2009-02-10 | Heidelberger Druckmaschinen Ag | Method for controlling an operating process of a printing machine |
| US8121361B2 (en) | 2006-05-19 | 2012-02-21 | The Queen's Medical Center | Motion tracking system for real time adaptive imaging and spectroscopy |
| JP2008129948A (ja) | 2006-11-22 | 2008-06-05 | Takata Corp | 乗員検出装置、作動装置制御システム、シートベルトシステム、車両 |
| KR100785234B1 (ko) * | 2006-12-29 | 2007-12-11 | 주식회사다스 | 자동차 시트의 워크인 메모리 장치 |
| GB2453163B (en) * | 2007-09-26 | 2011-06-29 | Christopher Douglas Blair | Three-dimensional imaging system |
| JP5141317B2 (ja) * | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
| WO2010021972A1 (en) * | 2008-08-18 | 2010-02-25 | Brown University | Surround structured lighting for recovering 3d object shape and appearance |
| US8036795B2 (en) * | 2008-10-08 | 2011-10-11 | Honda Motor Company, Ltd. | Image based occupant classification systems for determining occupant classification and seat belt status and vehicles having same |
| US8116528B2 (en) * | 2008-10-08 | 2012-02-14 | Honda Motor Company, Ltd. | Illumination source for an image based occupant classification system and vehicle using same |
| US8195356B2 (en) | 2008-10-08 | 2012-06-05 | Honda Motor Co., Ltd. | Methods for testing an image based occupant classification system |
| US8781160B2 (en) * | 2009-12-31 | 2014-07-15 | Indian Institute Of Technology Bombay | Image object tracking and segmentation using active contours |
| US8625931B2 (en) * | 2010-09-03 | 2014-01-07 | Adobe Systems Incorporated | Light space graphical model in shape from shading |
| US10972680B2 (en) * | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
| KR101087180B1 (ko) * | 2011-06-22 | 2011-11-28 | 동국대학교 경주캠퍼스 산학협력단 | 신뢰성 있는 금속 표면 ３차원 형상 추출 기법 및 시스템 |
| WO2013032933A2 (en) | 2011-08-26 | 2013-03-07 | Kinecticor, Inc. | Methods, systems, and devices for intra-scan motion correction |
| US10327708B2 (en) | 2013-01-24 | 2019-06-25 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9305365B2 (en) * | 2013-01-24 | 2016-04-05 | Kineticor, Inc. | Systems, devices, and methods for tracking moving targets |
| US9717461B2 (en) | 2013-01-24 | 2017-08-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US9782141B2 (en) | 2013-02-01 | 2017-10-10 | Kineticor, Inc. | Motion tracking system for real time adaptive motion compensation in biomedical imaging |
| US10004462B2 (en) | 2014-03-24 | 2018-06-26 | Kineticor, Inc. | Systems, methods, and devices for removing prospective motion correction from medical imaging scans |
| EP2924663B1 (en) * | 2014-03-26 | 2019-10-23 | Airbus Operations GmbH | Automatic head count determination on board an aircraft |
| CN106714681A (zh) | 2014-07-23 | 2017-05-24 | 凯内蒂科尔股份有限公司 | 用于在医学成像扫描期间追踪和补偿患者运动的系统、设备和方法 |
| US9943247B2 (en) | 2015-07-28 | 2018-04-17 | The University Of Hawai'i | Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan |
| WO2017091479A1 (en) | 2015-11-23 | 2017-06-01 | Kineticor, Inc. | Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan |
| US10730465B2 (en) | 2016-12-07 | 2020-08-04 | Joyson Safety Systems Acquisition Llc | 3D time of flight active reflecting sensing systems and methods |
| WO2018119427A1 (en) * | 2016-12-23 | 2018-06-28 | Tk Holdings Inc. | System and method for detecting movement of an occupant seated in a vehicle |
| DE102017200607B4 (de) * | 2017-01-17 | 2024-02-15 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines Objekts in einem Fahrzeug |
| KR102005956B1 (ko) | 2018-03-19 | 2019-07-31 | 김대훈 | 차량 내부 이미지 인식 장치 |
| US11117594B2 (en) * | 2018-06-22 | 2021-09-14 | GM Global Technology Operations LLC | System and method for detecting objects in an autonomous vehicle |
| KR20200059749A (ko) | 2018-11-21 | 2020-05-29 | 이정호 | 차량 내부 관리 시스템 |
| US11100347B2 (en) | 2019-03-12 | 2021-08-24 | Ford Global Technologies, Llc | Photometric stereo object detection for articles left in an autonomous vehicle |
| CN113874259B (zh) | 2019-04-04 | 2023-11-03 | 乔伊森安全系统收购有限责任公司 | 有源光学回射器的检测及监控 |
| JP7331483B2 (ja) * | 2019-06-18 | 2023-08-23 | 株式会社アイシン | 撮像制御装置 |
| KR102340720B1 (ko) | 2019-07-24 | 2021-12-20 | 김대훈 | 차량 관리 시스템 |
| US20210158625A1 (en) * | 2019-11-27 | 2021-05-27 | Jonathan Rayos | System having predictive analytics and custom visualization for use in imaging a vehicle occupant and method of use |
| DE102019218613B4 (de) * | 2019-11-29 | 2021-11-11 | Volkswagen Aktiengesellschaft | Objektklassifizierungsverfahren, Objektklassifizierungsschaltung, Kraftfahrzeug |
| DE102022004540A1 (de) | 2021-12-15 | 2023-06-15 | Mercedes-Benz Group AG | System und Verfahren zur Erfassung des Vorhandenseins eines Kindersitzes in einem Fahrzeug |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5737083A (en) * | 1997-02-11 | 1998-04-07 | Delco Electronics Corporation | Multiple-beam optical position sensor for automotive occupant detection |
| CN1267835A (zh) * | 1999-03-22 | 2000-09-27 | 易通公司 | 电子光学的目标测距和成象 |
| US6480616B1 (en) * | 1997-09-11 | 2002-11-12 | Toyota Jidosha Kabushiki Kaisha | Status-of-use decision device for a seat |
| FR2815134B1 (fr) * | 2000-10-11 | 2003-01-10 | Siemens Automotive Sa | Dispositif permettant la detection de l'occupation d'un habitacle d'une automobile |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7197180B2 (en) * | 2001-05-30 | 2007-03-27 | Eaton Corporation | System or method for selecting classifier attribute types |
| US6810133B2 (en) * | 2001-06-01 | 2004-10-26 | Trw Inc. | Occupant sensing system and method via imaging |
| US6781676B2 (en) * | 2002-03-22 | 2004-08-24 | Trw Inc. | Structured lighting detection of vehicle occupant type and position |
| US6914526B2 (en) * | 2002-03-22 | 2005-07-05 | Trw Inc. | Intrusion detection system using linear imaging |
| US7102683B2 (en) * | 2002-04-17 | 2006-09-05 | Mitsubishi Electric Research Laboratories, Inc. | Single lens 3D camera |
| DE10250705A1 (de) | 2002-10-31 | 2004-05-13 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Schattenkompensation in digitalen Bildern |
-
2005
- 2005-05-20 EP EP05740740A patent/EP1786654B1/en active Active
- 2005-05-20 ES ES05740740T patent/ES2334040T3/es active Active
- 2005-05-20 DE DE602005017290T patent/DE602005017290D1/de active Active
- 2005-05-20 WO PCT/EP2005/005462 patent/WO2006027032A1/en active Application Filing
- 2005-05-20 KR KR1020077004847A patent/KR101115944B1/ko active IP Right Grant
- 2005-05-20 CN CN2005800298062A patent/CN101010224B/zh active Active
- 2005-05-20 JP JP2007529322A patent/JP4756044B2/ja active Active
-
2007
- 2007-03-05 US US11/713,699 patent/US7379195B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5737083A (en) * | 1997-02-11 | 1998-04-07 | Delco Electronics Corporation | Multiple-beam optical position sensor for automotive occupant detection |
| US6480616B1 (en) * | 1997-09-11 | 2002-11-12 | Toyota Jidosha Kabushiki Kaisha | Status-of-use decision device for a seat |
| CN1267835A (zh) * | 1999-03-22 | 2000-09-27 | 易通公司 | 电子光学的目标测距和成象 |
| FR2815134B1 (fr) * | 2000-10-11 | 2003-01-10 | Siemens Automotive Sa | Dispositif permettant la detection de l'occupation d'un habitacle d'une automobile |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101115944B1 (ko) | 2012-02-13 |
| JP2008516301A (ja) | 2008-05-15 |
| KR20070050053A (ko) | 2007-05-14 |
| US7379195B2 (en) | 2008-05-27 |
| EP1786654A1 (en) | 2007-05-23 |
| DE602005017290D1 (de) | 2009-12-03 |
| EP1786654B1 (en) | 2009-10-21 |
| US20070206836A1 (en) | 2007-09-06 |
| WO2006027032A1 (en) | 2006-03-16 |
| JP4756044B2 (ja) | 2011-08-24 |
| CN101010224A (zh) | 2007-08-01 |
| ES2334040T3 (es) | 2010-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101010224B (zh) | 用于检测车辆座位上对象的装置 | |
| CN111325794B (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| US7574018B2 (en) | Virtual reality scene generator for generating training images for a pattern recognition classifier | |
| US7609893B2 (en) | Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model | |
| US9639748B2 (en) | Method for detecting persons using 1D depths and 2D texture | |
| US20180208201A1 (en) | System and method for a full lane change aid system with augmented reality technology | |
| JP2016203910A (ja) | 乗員検知装置および乗員検知方法 | |
| CN115923607A (zh) | 座椅参数调节方法、设备、存储介质及装置 | |
| CN113920498A (zh) | 一种基于多层特征金字塔的点云3d物体检测方法 | |
| Gong et al. | Fast and Accurate: The Perception System of a Formula Student Driverless Car | |
| Demirdjian et al. | Driver pose estimation with 3D Time-of-Flight sensor | |
| Saleh et al. | Real-time 3D Perception of Scene with Monocular Camera | |
| Brehar et al. | Pedestrian detection in the context of multiple-sensor data alignment for far-infrared and stereo vision sensors | |
| Klomark | Occupant detection using computer vision | |
| Haddon et al. | Shape representations from shading primitives | |
| JP2021056968A (ja) | 物体判定装置 | |
| Kong et al. | Disparity based image segmentation for occupant classification | |
| Hu et al. | Grayscale correlation based 3D model fitting for occupant head detection and tracking | |
| US20240054765A1 (en) | Information processing method and apparatus | |
| Yoon et al. | Vision based occupant detection system by monocular 3D surface reconstruction | |
| Moreau et al. | Depth prediction from 2D images: A taxonomy and an evaluation study | |
| Zhou et al. | Research on distance measurement method of moving objects in video | |
| CN114913507A (zh) | 一种基于公交车尾屏的行人检测方法、装置及公交车尾屏 | |
| Park et al. | Model-based characterisation of vehicle occupants using a depth camera | |
| Da Cruz et al. | An Overview of the SVIRO Dataset and Benchmark |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |