CN104220317A - 路面状态推定装置 - Google Patents

路面状态推定装置 Download PDF

Info

Publication number
CN104220317A
CN104220317A CN201280072047.8A CN201280072047A CN104220317A CN 104220317 A CN104220317 A CN 104220317A CN 201280072047 A CN201280072047 A CN 201280072047A CN 104220317 A CN104220317 A CN 104220317A
Authority
CN
China
Prior art keywords
wheel
preceding vehicle
pavement state
vehicle
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280072047.8A
Other languages
English (en)
Other versions
CN104220317B (zh
Inventor
菅井晴彦
中村友之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN104220317A publication Critical patent/CN104220317A/zh
Application granted granted Critical
Publication of CN104220317B publication Critical patent/CN104220317B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/072Curvature of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • B60G17/0182Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method involving parameter estimation, e.g. observer, Kalman filter
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/22Conjoint control of vehicle sub-units of different type or different function including control of suspension systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02Control of vehicle driving stability
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80Exterior conditions
    • B60G2400/82Ground surface
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80Exterior conditions
    • B60G2400/82Ground surface
    • B60G2400/821Uneven, rough road sensing affecting vehicle body vibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G2401/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60G2401/14Photo or light sensitive means, e.g. Infrared
    • B60G2401/142Visual Display Camera, e.g. LCD
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G2500/00Indexing codes relating to the regulated action or device
    • B60G2500/10Damping action or damper
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60GVEHICLE SUSPENSION ARRANGEMENTS
    • B60G2500/00Indexing codes relating to the regulated action or device
    • B60G2500/20Spring action or springs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/35Road bumpiness, e.g. potholes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/22Suspension systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

相机(20)拍摄包含前行车辆的区域。车轮信息取得部(112)检测拍摄图像中的前行车辆的车轮的位置信息,具体而言检测前行车辆的车轮与路面之间的边界。该边界检测处理利用车轮与路面的亮度差进行。相机姿态校正部(114)通过自动校准功能对检测到的边界进行校正,路面状态推定部(116)以校正后的边界为基础来推定前行车辆行驶中的路面的状态。

Description

路面状态推定装置
技术领域
本发明涉及推定路面的状态的路面状态推定装置。
背景技术
专利文献1公开了一种根据前行车辆的举动来推定路面形状的技术。具体而言,在专利文献1中,根据前行车辆的反射镜或牌照的举动来检测前行车辆的举动,根据该举动的振幅或收敛时间来选择前行车辆的车种,在此基础上根据选择的车辆和前行车辆的举动来推定路面形状。推定的路面形状使用于主动悬架装置的预见控制等。
【在先技术文献】
【专利文献】
【专利文献1】日本特开2005-178530号公报
发明内容
【发明要解决的课题】
然而,根据专利文献1公开的技术,需要利用按车种总结了车身举动的最大振幅与收敛时间的关系的车种特性来确定前行车辆的车种这样复杂的处理。根据该技术,可预想到例如在前行车辆变更了悬架规格这样的情况下,难以准确地确定车种。
本发明鉴于这样的状况而作出,其目的在于提供一种能够简易地推定路面状态的技术。
【用于解决课题的手段】
为了解决上述课题,本发明的一方式的路面状态推定装置具备:车轮信息取得单元,取得由对包含前行车辆的区域进行拍摄的摄像单元拍摄到的图像中的前行车辆的车轮的位置信息;以及推定单元,使用提取出的车轮位置信息来推定行进方向的路面状态。
根据本方式,路面状态的推定处理中利用前行车辆的车轮的位置信息。车轮的动作不受车身举动的影响,因此使用前行车辆的车轮的位置信息来推定路面状态,由此能够提高路面状态的推定精度。
所述车轮信息取得单元可以通过在拍摄图像中检测前行车辆的车轮与路面之间的边界而取得车轮位置信息。通过检测前行车辆的车轮的接地位置而能够直接检测路面状态,从而能够实现路面状态的高精度的推定处理。所述车轮信息取得单元可以通过检测前行车辆的左右轮各自与路面之间的边界而取得车轮位置信息。通过检测前行车辆的左右轮的接地位置而能够直接检测路面状态,从而能够利用于主动悬架装置的预见控制等中。
所述推定单元可以使用检测到的前行车辆的车轮与路面之间的边界来推定路面高度。而且所述推定单元可以测定与前行车辆之间的距离。
【发明效果】
根据本发明,可提供一种能够简易地推定路面状态的技术。
附图说明
图1是搭载有路面状态推定装置的车辆的俯视示意图。
图2是搭载有路面状态推定装置的车辆的侧视示意图。
图3是表示路面状态推定装置的功能块的图。
图4是表示拍摄图像的一例的图。
图5是表示路面状态推定处理的流程图的图。
具体实施方式
本实施方式的车辆具备路面状态推定装置,推定车辆行进方向的路面状态。具体而言,路面状态推定装置使用由对车辆前方的区域进行拍摄的摄像单元拍摄到的前行车辆的车轮位置信息,检测车辆前方的路面的凹凸或倾斜等。车辆具有主动悬架装置,根据路面状态推定装置推定的路面状态,控制主动悬架装置的行程而进行车高调整,实现稳定姿态的车辆行驶。
图1是搭载有路面状态推定装置的车辆的俯视示意图。车辆10具备右前轮12FR、左前轮12FL、右后轮12RR、左后轮12RL这4轮。在右前轮12FR侧设有电磁悬架14FR、车高传感器16FR,在左前轮12FL侧设有电磁悬架14FL、车高传感器16FL,在右后轮12RR侧设有电磁悬架14RR、车高传感器16RR,在左后轮12RL侧设有电磁悬架14RL、车高传感器16RL。以下,在未特别区分右前轮12FR、左前轮12FL、右后轮12RR、左后轮12RL时,统称为“车轮12”。而且,在未特别区分电磁悬架14FR、电磁悬架14FL、电磁悬架14RR、电磁悬架14RL时,统称为“电磁悬架14”。而且,在未特别区分车高传感器16FR、车高传感器16FL、车高传感器16RR、车高传感器16RL时,统称为“车高传感器16”。
电磁悬架14由电动机及通过电动机而伸缩的伸缩装置构成,与螺旋弹簧(未图示)一起构成车辆悬架装置。该车辆悬架装置作为主动悬架装置进行动作。螺旋弹簧防止作用于车轮12的来自路面的冲击向车身直接传递。电磁悬架14通过电动机控制而在车辆10的簧上与簧下之间产生衰减力。需要说明的是,在本说明书中,将由螺旋弹簧支承的构件的位置称为“簧上”,将未由螺旋弹簧支承的构件的位置称为“簧下”。即,簧上为车身侧,簧下为车轮12侧。
在各车轮12的附近分别配置有检测车轮位置处的车高的车高传感器16。该车高传感器16例如是通过测定将车轴与车身连结的连杆的位移而检测车身与车轮12的相对距离的传感器,但也可以是除此以外的类型的传感器。车高传感器16的检测信号向车身具备的电子控制装置100(以下标记为“ECU100”)传送。
ECU100具备控制电磁悬架14的悬架控制装置102和推定路面状态的路面状态推定装置104。悬架控制装置102控制各车轮12的电磁悬架14。悬架控制装置102通过调整向电磁悬架14的电动机施加的电流量,而能够产生所希望的衰减力。需要说明的是,在本实施方式中,如后述那样,路面状态推定装置104使用由相机20拍摄到的拍摄图像,来推定车辆10的行进方向的路面状态。悬架控制装置102可以根据推定到的路面状态,控制各车轮12的电磁悬架14,而使车辆10的姿态稳定。
图2是搭载有路面状态推定装置的车辆的侧视示意图。路面状态推定装置104从相机20接受拍摄图像,而且从3轴加速度传感器22接受传感器值。相机20具备包含透镜、及由CCD或CMOS等构成的摄像元件的摄像部。在摄像元件的受光面上平面性地排列有光电传感器,成像在摄像元件的受光面上的被摄体像通过各光电传感器转换成与入射光量对应的量的信号电荷。摄像元件将蓄积的信号电荷向模拟信号处理部输出,模拟信号处理部生成R、G、B的各色信号的图像数据并向A/D转换器输出。由A/D转换器转换成数字信号后的图像数据在被实施了γ校正等数字处理之后,向路面状态推定装置104提供。相机20是摄像机,以规定的周期执行以上的摄像处理。相机20可以每(1/30)秒进行1次摄像处理。相机20例如安装于车室反射镜,拍摄车辆10的行进方向的区域。在图示的例子中,相机20拍摄车辆10的前方区域。
3轴加速度传感器22安装或内置于相机20,检测相机20的3轴方向的加速度分量。需要说明的是,3轴加速度传感器22可以设置在车辆10内与相机20分离的位置,但是由于相机20设置在簧上,所以3轴加速度传感器22也优选同样地设置在簧上而检测相机20的3轴方向加速度分量。3轴加速度传感器22将检测到的传感器值以规定的周期向路面状态推定装置104提供。需要说明的是,3轴加速度传感器22的检测周期优选等于或短于相机20的摄像周期。路面状态推定装置104具有在接受到传感器值时算出相机姿态并进行校正的自动校准功能。
本实施方式的路面状态推定装置104提取拍摄图像中包含的前行车辆,取得前行车辆的车轮位置信息。该车轮位置信息是确定拍摄图像中的高度方向的位置的信息。具体而言,路面状态推定装置104提取前行车辆的左右后轮与路面之间的边界线作为车轮位置信息。此时,路面状态推定装置104使用从3轴加速度传感器22提供的传感器值,通过自动校准功能对相机姿态进行校正。具体而言,路面状态推定装置104以传感器值为基础来确定相机姿态,对在拍摄图像中提取的边界线的位置(坐标)进行校正。路面状态推定装置104求出从本车10到各边界线的距离,并算出路面高度。
测定与对象物之间的距离的系统一直以来已知有各种系统。例如采用立体相机作为相机20,由此以来自2视点的拍摄图像为基础而能够测定与对象物之间的距离。而且,即使在相机20为单镜头相机的情况下,也能够使用运动立体法来测定与对象物之间的距离。而且,如本实施方式所示那样,在路面状态推定装置104能够确定摄像时的相机姿态时,忽视与倾转方向垂直的方向(横向),由此能够根据1张拍摄图像来求出与对象物之间的距离。而且,也已知有使用激光来测定与前行车辆的距离的测距系统。通过采用这样的测距系统,路面状态推定装置104能够测定与对象物之间的距离,具体而言,能够测定前行车辆的左右后轮和路面之间的边界线与本车10的距离。需要说明的是,车辆10与边界线的距离可看作实质上等于车辆10与前行车辆的距离,因此通过测定车辆10与前行车辆的距离,路面状态推定装置104能够取得车辆10与边界线的距离。
图3示出路面状态推定装置104的功能块。路面状态推定装置104具备拍摄图像取得部110、车轮信息取得部112、相机姿态校正部114及路面状态推定部116。它们的结构以硬件组件来说,可通过任意的计算机的CPU、存储器及载入存储器的程序等来实现,但在此描绘通过它们的协作来实现的功能块。因此,这些功能块能够仅通过硬件、仅通过软件、或通过它们的组合而以各种方式实现的情况对于本领域技术人员来说是能理解的。
拍摄图像取得部110从作为摄像单元的相机20取得拍摄图像数据。如已述那样,相机20为摄像机,拍摄车辆10前方的区域,周期性地向拍摄图像取得部110提供拍摄图像数据。拍摄图像取得部110将拍摄图像数据向车轮信息取得部112供给。
图4示出拍摄图像的一例。车轮信息取得部112从对包含行进方向的前行车辆在内的区域进行拍摄得到的拍摄图像,取得前行车辆的车轮的位置信息。首先,车轮信息取得部112识别拍摄图像中的前行车辆。该车辆识别处理可以通过已有的技术进行,例如与预先登录的车辆图像进行图案匹配处理,由此从拍摄图像提取前行车辆。车轮信息取得部112在拍摄图像中提取前行车辆时确定车轮位置。该确定处理通过检索在提取的前行车辆的左右处向下侧突出的区域而执行。当确定车轮位置时,车轮信息取得部112提取车轮与路面之间的边界。车轮一般为黑色,与路面的颜不同。车轮信息取得部112在拍摄图像中确定车轮时,提取在车轮的下侧产生颜色(亮度)变化的部位。该颜色变化产生的部位表示车轮与路面之间的边界,车轮信息取得部112取得车轮与路面之间的边界位置作为车轮的位置信息。例如,也可以取得车轮宽度的中心位置作为代表车轮与路面之间的边界位置的坐标值。
在图4所示的拍摄图像中,前行车辆相对于水平面而右高(左低)地倾斜。在该拍摄图像中,当设纵轴为Y轴,横轴为X轴时,前行车辆的左后轮的Y坐标设为h1,右后轮的Y坐标设为h2,分别求出车轮的Y坐标。
相机姿态校正部114确定相机20的姿态。如已述那样,在相机20上搭载有3轴加速度传感器22,相机姿态校正部114根据3轴加速度传感器22的传感器值而算出相机姿态。需要说明的是,在本实施方式的车辆10中,在各车轮12的附近设有车高传感器16。因此,相机姿态校正部114可以使用设于各车轮12的车高传感器16的传感器值,算出车辆10的姿态,并利用算出的车辆姿态作为相机姿态。而且,在车辆10未搭载3轴加速度传感器22或车高传感器16时,相机姿态校正部114可以使用由相机20拍摄的白线或路上构造物等来确定相机姿态。作为一例,立在路上的看板通常为直立,因此可以通过确定拍摄图像照入的看板的倾斜来确定相机姿态。
相机姿态校正部114在确定相机姿态时检测从基准姿态偏离的偏离量,对车轮与路面之间的边界位置进行校正。需要说明的是,基准姿态设为车辆10处在平坦路上时的相机姿态。该自动校准功能是已知的技术,即使在相机姿态从基准姿态偏离的情况下,通过进行基于相机姿态校正部114的校正处理,也能够求出车辆10处在平坦路上时拍摄到的拍摄图像中的车轮与路面之间的边界位置。
路面状态推定部116导出前行车辆的车轮和路面之间的边界位置与本车10的距离。路面状态推定部116利用已述的测距系统,测定与边界位置之间的距离。需要说明的是,路面状态推定部116也可以测定本车10与前行车辆之间的距离,并将该距离利用作为本车10与边界位置之间的距离。
路面状态推定部116以通过自动校准功能校正后的边界位置的Y坐标为基础来算出路面高度。在本实施方式中,由于通过相机姿态校正部114进行3轴分量的校正处理,因此路面状态推定部116能够根据本车10的场所而求出前行车辆行驶的路面的绝对的高度。在此,绝对的高度是指连本车10的标高与前行车辆的标高之差也包含在内的高度。例如,当检测到本车10与前行车辆的标高差为50cm,前行车辆的右后轮比左后轮高20cm时,能算出前行车辆的左后轮接地的路面比本车高50cm,前行车辆的右后轮接地的路面比本车高70cm。需要说明的是,路面状态推定部116也可以求出前行车辆的左右后轮的相对的高度作为路面高度。若以上例来说,路面状态推定部116也可以不考虑标高差,而求出前行车辆的右后轮比左后轮高20cm。
路面状态推定部116通过获知与前行车辆的距离,而能够获知拍摄图像中的1像素量在现实空间中的长度。在图4所示的例子中,前行车辆的左后轮的Y坐标为h1,右后轮的Y坐标为h2,路面状态推定部116检测Y轴方向的(h2-h1)的长度中包含的像素数,将检测到的像素数乘以1像素量的长度,由此能够算出左后轮与右后轮的高度之差。需要说明的是,路面状态推定部116也可以具有用于根据与前行车辆的距离和Y轴方向的(h2-h1)的长度来求出实际的高度的表格或函数,利用该表格或函数来求出相对的高度之差。
如以上那样,路面状态推定部116使用前行车辆的车轮位置信息,推定行进方向的路面状态。在悬架控制装置102将路面信息使用于电磁悬架14的控制时,悬架控制主要在低·中频率区域中进行。在这样的频率区域中,利用来自路面的输入与车轮位移实质上相等的情况,本实施方式的路面状态推定部116将车轮位移和路面位移等价地处理,提取前行车辆的车轮与路面之间的边界,由此推定行进方向的路面状态。而且,车轮的举动受到路面的影响,而实质上不受车身举动的影响。因此,路面状态推定部116将车身举动的影响排除,而能够高精度地推定行进方向的路面状态。
路面状态推定部116以距离及路面高度为基础来推定路面状态。例如算出距前行车辆的距离为10m,前行车辆的右后轮比左后轮高20cm,由此能够推定前方10m处的路面状态。该推定处理可以设定为与相机20的摄像周期相等,即每(1/30)秒执行推定处理。需要说明的是,路面状态推定部116可以推定为在前方10m处右轮通过路面比左轮通过路面高20cm作为路面状态,但也可以推定为前方10m处的路面状态为右高地倾斜。
图5示出路面状态推定处理的流程图。相机20拍摄在车辆前方行驶的前行车辆,并向路面状态推定装置104供给拍摄图像数据(S10)。车轮信息取得部112提取拍摄图像中包含的前行车辆(S12),确定前行车辆的车轮(S14)。接着,车轮信息取得部112提取前行车辆的车轮与路面之间的边界(S16)。
相机姿态校正部114确定摄像时的相机姿态,通过自动校准功能对提取的边界进行校正(S18)。需要说明的是,在本实施方式中,车轮信息取得部112先提取边界,然后相机姿态校正部114对提取出的边界进行校正,但也可以是相机姿态校正部114通过自动校准对拍摄图像本身进行校正,车轮信息取得部112根据校正后的拍摄图像,求出前行车辆的车轮与路面之间的边界。路面状态推定部116根据前行车辆的车轮与路面之间的边界,算出前行车辆行驶中的路面的高度及距离(S20)。由此,路面状态推定部116能够推定本车10前方的路面状态(S22),从而例如悬架控制装置102能够执行利用了该推定的路面状态的信息的车高控制等。
以上,以实施方式为基础说明了本发明。该实施方式是例示,各构成要素或各处理工艺的组合可以存在各种变形例,而且这样的变形例也包含于本发明的范围内,这对于本领域技术人员来说不言自明。
例如在相机20的分辨率低的情况下,可想到的是难以提取前行车辆的车轮与路面之间的边界线。这种情况下,车轮信息取得部112可以提取左右后轮的最下部的(x,y)坐标,通过将各个坐标连结的线而取得路面左右差或路面倾斜。需要说明的是,提取的坐标值可以作为例如左右后轮的重心位置。
【标号说明】
10…车辆,12…车轮,14…电磁悬架,16…车高传感器,20…相机,22…3轴加速度传感器,100…ECU,102…悬架控制装置,104…路面状态推定装置,110…拍摄图像取得部,112…车轮信息取得部,114…相机姿态校正部,116…路面状态推定部。
【工业实用性】
本发明能够利用在推定路面的状态的技术中。

Claims (5)

1.一种路面状态推定装置,其特征在于,具备:
车轮信息取得单元,取得由对包含前行车辆的区域进行拍摄的摄像单元拍摄到的图像中的前行车辆的车轮的位置信息;以及
推定单元,使用提取出的车轮位置信息来推定行进方向的路面状态。
2.根据权利要求1所述的路面状态推定装置,其特征在于,
所述车轮信息取得单元通过在拍摄图像中检测前行车辆的车轮与路面之间的边界而取得车轮位置信息。
3.根据权利要求2所述的路面状态推定装置,其特征在于,
所述车轮信息取得单元通过检测前行车辆的左右轮各自与路面之间的边界而取得车轮位置信息。
4.根据权利要求2或3所述的路面状态推定装置,其特征在于,
所述推定单元使用检测到的前行车辆的车轮与路面之间的边界来推定路面高度。
5.根据权利要求1~4中任一项所述的路面状态推定装置,其特征在于,
所述推定单元测定与前行车辆之间的距离。
CN201280072047.8A 2012-03-29 2012-03-29 路面状态推定装置 Expired - Fee Related CN104220317B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/002206 WO2013145015A1 (ja) 2012-03-29 2012-03-29 路面状態推定装置

Publications (2)

Publication Number Publication Date
CN104220317A true CN104220317A (zh) 2014-12-17
CN104220317B CN104220317B (zh) 2017-05-10

Family

ID=49258388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280072047.8A Expired - Fee Related CN104220317B (zh) 2012-03-29 2012-03-29 路面状态推定装置

Country Status (6)

Country Link
US (1) US9586455B2 (zh)
JP (1) JP5761451B2 (zh)
CN (1) CN104220317B (zh)
DE (1) DE112012006147B8 (zh)
IN (1) IN2014DN08219A (zh)
WO (1) WO2013145015A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107009837A (zh) * 2015-10-07 2017-08-04 丰田自动车株式会社 车辆用悬架控制装置
CN107054364A (zh) * 2016-01-11 2017-08-18 Trw汽车股份有限公司 用于确定路面的不规则的控制系统和方法
CN109080402A (zh) * 2018-07-11 2018-12-25 江苏大学 一种精度可调路面不平度辨识系统及方法
CN111216507A (zh) * 2020-02-19 2020-06-02 燕山大学 一种非线性主动液压悬架系统的滑模自适应控制方法
CN111873744A (zh) * 2020-07-15 2020-11-03 吉林大学 基于相机传感器路面信息识别的主动悬架预瞄控制方法
CN112193008A (zh) * 2019-07-08 2021-01-08 现代自动车株式会社 用于电子控制悬架的道路表面信息校正方法和系统
CN112606650A (zh) * 2020-12-08 2021-04-06 宁波汇纳机械有限公司 基于电动马达的双轮悬挂结构控制平台

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104125890B (zh) * 2012-02-16 2016-08-24 丰田自动车株式会社 车高推定装置及车高推定方法
CN104584076B (zh) * 2012-08-31 2017-05-10 富士通株式会社 图像处理装置以及图像处理方法
DE102014204519A1 (de) 2013-04-08 2014-10-09 Ford Global Technologies, Llc Vorrichtung und Verfahren zur proaktiven Steuerung eines Schwingungsdämpfungssystems eines Fahrzeugs
DE102015205369B4 (de) * 2014-04-04 2019-08-22 Ford Global Technologies, Llc Verfahren zum Betrieb eines Federungssystems
EP2942951A1 (en) * 2014-05-06 2015-11-11 Application Solutions (Electronics and Vision) Limited Image calibration
US9727442B2 (en) 2014-05-08 2017-08-08 Mitsubishi Electric Corporation Engineering tool, program editing device, and program editing system
JP6439287B2 (ja) * 2014-06-18 2018-12-19 株式会社デンソー 運転支援装置、運転支援方法、画像補正装置、画像補正方法
JP6306455B2 (ja) * 2014-07-08 2018-04-04 アルパイン株式会社 安全運転支援装置および安全運転支援方法
FR3024572B1 (fr) * 2014-07-31 2016-09-02 Continental Automotive France Procede de controle de la suspension d'un vehicule par un traitement d'images d'au moins une camera embarquee
US10300760B1 (en) 2015-03-18 2019-05-28 Apple Inc. Fully-actuated suspension system
US9682786B2 (en) 2015-05-06 2017-06-20 Goodrich Corporation Isolation systems for image data gathering devices
US9566963B2 (en) * 2015-06-25 2017-02-14 Robert Bosch Gmbh Method of decreasing braking distance
US10160447B2 (en) * 2015-10-20 2018-12-25 Ford Global Technologies, Llc Systems and methods for abrupt road change assist and active suspension control
JP6350555B2 (ja) * 2016-02-10 2018-07-04 トヨタ自動車株式会社 車両用ヘッドランプ配光制御装置及び方法
JPWO2017169752A1 (ja) * 2016-03-29 2019-01-10 京セラ株式会社 車両の姿勢検出装置、画像処理システム、車両、および車両の姿勢検出方法
WO2017169365A1 (ja) * 2016-03-29 2017-10-05 Kyb株式会社 路面変位検出装置およびサスペンション制御方法
DE102016012230A1 (de) * 2016-10-13 2018-04-19 Man Truck & Bus Ag Verfahren zum Betreiben eines Fahrzeugs und Fahrzeug
US11953599B2 (en) 2017-01-26 2024-04-09 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and LIDAR information
DE112018000165A5 (de) * 2017-02-06 2019-08-01 Continental Automotive Gmbh Erkennung von Straßenunebenheiten anhand einer Situationsanalyse
US10678244B2 (en) 2017-03-23 2020-06-09 Tesla, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
FR3072633B1 (fr) 2017-10-24 2019-11-01 Valeo Schalter Und Sensoren Gmbh Assistance a la conduite d'un vehicule automobile a l'approche d'un ralentisseur de vitesse
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
IL282172B2 (en) 2018-10-11 2024-02-01 Tesla Inc Systems and methods for training machine models with enhanced data
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
DE102018221062B4 (de) * 2018-12-05 2021-07-29 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln eines Fahrbahnprofils
US10852746B2 (en) * 2018-12-12 2020-12-01 Waymo Llc Detecting general road weather conditions
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
GB2581954B (en) * 2019-02-18 2021-09-08 Jaguar Land Rover Ltd Vehicle control system and method
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
KR20210099436A (ko) * 2020-02-04 2021-08-12 삼성전자주식회사 길 기하구조 추정을 위한 장치 및 방법
US20230085455A1 (en) 2020-02-20 2023-03-16 Nippon Telegraph And Telephone Corporation Vehicle condition estimation method, vehicle condition estimation device, and vehicle condition estimation program
DE102020106642B4 (de) 2020-03-11 2022-12-22 Ford Global Technologies, Llc Verfahren zum Steuern einer vertikalen Schwingungsdämpfung mindestens eines Rades eines Fahrzeugs und Fahrzeug mit vertikaler Schwingungsdämpfung mindestens eines Rades
KR20220031224A (ko) * 2020-09-04 2022-03-11 현대자동차주식회사 차량 및 그 제어방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05262113A (ja) * 1992-03-18 1993-10-12 Fujitsu Ten Ltd 車両のサスペンション制御装置
JP2002029348A (ja) * 2000-07-17 2002-01-29 Honda Motor Co Ltd 車両用外界認識装置
JP2005178530A (ja) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd 路面形状検出装置及び路面形状検出方法
JP2005229444A (ja) * 2004-02-13 2005-08-25 Toshiba Corp 車両追跡装置およびプログラム
US20090262188A1 (en) * 2008-04-18 2009-10-22 Denso Corporation Image processing device for vehicle, image processing method of detecting three-dimensional object, and image processing program
CN102292249A (zh) * 2009-01-23 2011-12-21 戴姆勒股份公司 用于获得处于车辆前方的行车道的道路轮廓的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005178531A (ja) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd 路面形状検出装置及び路面形状検出方法
DE102005051141A1 (de) 2005-10-26 2007-05-03 GM Global Technology Operations, Inc., Detroit Regelungsverfahren für elektronisch regelbares Dämpfungssystem in Fahrzeugen und elektronisch regelbares Dämpfungssystem
WO2008138067A1 (en) * 2007-05-15 2008-11-20 University Of Technology, Sydney A method and system for estimating parameters of a vehicle
JP5092695B2 (ja) * 2007-11-01 2012-12-05 トヨタ自動車株式会社 車両の制振制御装置
JP4856656B2 (ja) * 2008-01-22 2012-01-18 富士重工業株式会社 車両検出装置
JP5645769B2 (ja) * 2011-08-01 2014-12-24 株式会社日立製作所 画像処理装置
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05262113A (ja) * 1992-03-18 1993-10-12 Fujitsu Ten Ltd 車両のサスペンション制御装置
JP2002029348A (ja) * 2000-07-17 2002-01-29 Honda Motor Co Ltd 車両用外界認識装置
JP2005178530A (ja) * 2003-12-18 2005-07-07 Nissan Motor Co Ltd 路面形状検出装置及び路面形状検出方法
JP2005229444A (ja) * 2004-02-13 2005-08-25 Toshiba Corp 車両追跡装置およびプログラム
US20090262188A1 (en) * 2008-04-18 2009-10-22 Denso Corporation Image processing device for vehicle, image processing method of detecting three-dimensional object, and image processing program
CN102292249A (zh) * 2009-01-23 2011-12-21 戴姆勒股份公司 用于获得处于车辆前方的行车道的道路轮廓的方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107009837A (zh) * 2015-10-07 2017-08-04 丰田自动车株式会社 车辆用悬架控制装置
CN107054364A (zh) * 2016-01-11 2017-08-18 Trw汽车股份有限公司 用于确定路面的不规则的控制系统和方法
CN107054364B (zh) * 2016-01-11 2019-11-08 Trw汽车股份有限公司 控制系统和控制方法
CN109080402A (zh) * 2018-07-11 2018-12-25 江苏大学 一种精度可调路面不平度辨识系统及方法
CN112193008A (zh) * 2019-07-08 2021-01-08 现代自动车株式会社 用于电子控制悬架的道路表面信息校正方法和系统
CN112193008B (zh) * 2019-07-08 2024-04-05 现代自动车株式会社 用于电子控制悬架的道路表面信息校正方法和系统
CN111216507A (zh) * 2020-02-19 2020-06-02 燕山大学 一种非线性主动液压悬架系统的滑模自适应控制方法
CN111873744A (zh) * 2020-07-15 2020-11-03 吉林大学 基于相机传感器路面信息识别的主动悬架预瞄控制方法
CN112606650A (zh) * 2020-12-08 2021-04-06 宁波汇纳机械有限公司 基于电动马达的双轮悬挂结构控制平台

Also Published As

Publication number Publication date
DE112012006147T5 (de) 2015-01-15
CN104220317B (zh) 2017-05-10
JPWO2013145015A1 (ja) 2015-08-03
DE112012006147B8 (de) 2018-09-06
WO2013145015A1 (ja) 2013-10-03
JP5761451B2 (ja) 2015-08-12
DE112012006147B4 (de) 2018-04-26
IN2014DN08219A (zh) 2015-05-15
US20150088378A1 (en) 2015-03-26
US9586455B2 (en) 2017-03-07

Similar Documents

Publication Publication Date Title
CN104220317A (zh) 路面状态推定装置
JP5962771B2 (ja) 移動物体位置姿勢角推定装置及び移動物体位置姿勢角推定方法
US11836989B2 (en) Vehicular vision system that determines distance to an object
CN106056570B (zh) 路面坡度检测装置
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
CN107004277B (zh) 机动车辆摄像头系统的在线标定
JP4803927B2 (ja) 監視システムの距離補正装置および距離補正方法
EP1087626A2 (en) Distance correcting apparatus in a surrounding monitoring system
CN105405319B (zh) 车辆的接近物体检测装置以及车辆的接近物体检测方法
JP2017226270A (ja) 車両制御装置
CN102549631A (zh) 车辆周围监视装置
KR102104005B1 (ko) 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차
WO2018202464A1 (en) Calibration of a vehicle camera system in vehicle longitudinal direction or vehicle trans-verse direction
US10839231B2 (en) Method for detecting a rolling shutter effect in images of an environmental region of a motor vehicle, computing device, driver assistance system as well as motor vehicle
CN103383728A (zh) 使用环视系统的全速车道感测
JP6044084B2 (ja) 移動物体位置姿勢推定装置及び方法
JP6768554B2 (ja) キャリブレーション装置
CN103381825A (zh) 使用多个照相机的全速车道感测
CN206430715U (zh) 车载单目摄像头与六轴传感器结合测距系统
WO2020239457A1 (en) Image acquisition system
JP6023030B2 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
JP4297464B2 (ja) ステレオ測位装置及び方法
JP2020042716A (ja) 異常検出装置および異常検出方法
CN117177891A (zh) 传感装置和车辆控制装置
CN111043977B (zh) 用于确定第一车辆相对于第二车辆的相对参数的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170510