CN113291289A - 车辆用控制系统 - Google Patents

车辆用控制系统 Download PDF

Info

Publication number
CN113291289A
CN113291289A CN202110096172.3A CN202110096172A CN113291289A CN 113291289 A CN113291289 A CN 113291289A CN 202110096172 A CN202110096172 A CN 202110096172A CN 113291289 A CN113291289 A CN 113291289A
Authority
CN
China
Prior art keywords
unit
vehicle
processing
cameras
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110096172.3A
Other languages
English (en)
Other versions
CN113291289B (zh
Inventor
石桥真人
土山净之
滨野大辅
布田智嗣
堀笼大介
田崎笃
桥本阳介
木原裕介
宝神永一
A·万登博谢
R·马歇尔
L·苏力克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nxp Private Ltd
Mazda Motor Corp
Original Assignee
Nxp Private Ltd
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nxp Private Ltd, Mazda Motor Corp filed Critical Nxp Private Ltd
Publication of CN113291289A publication Critical patent/CN113291289A/zh
Application granted granted Critical
Publication of CN113291289B publication Critical patent/CN113291289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/023Avoiding failures by using redundant parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0006Digital architecture hierarchy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • B60W2050/0297Control Giving priority to different actuators or systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/18Braking system
    • B60W2510/182Brake pressure, e.g. of fluid or between pad and disc
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种车辆用控制系统。多个第一摄像头(11a)包围着车辆(100)地设置在车辆(100)上。多个第二摄像头(11b)包围着车辆(100)地设置在车辆(100)上。控制部(20)进行第一工作、第二工作以及第三工作。在第一工作中,控制部(20)根据多个第一摄像头(11a)的输出和多个第二摄像头(11b)的输出来输出用于控制车辆(100)行驶的控制信号;在第二工作中,控制部(20)根据多个第一摄像头(11a)的输出来输出控制信号;在第三个工作中,控制部(20)根据多个第二摄像头(11b)的输出来输出控制信号。该车辆用控制系统会提高控制车辆行驶的持续性。

Description

车辆用控制系统
技术领域
此处所公开的技术涉及一种车辆用控制系统。
背景技术
专利文献1中公开了一种汽车行驶辅助装置。该汽车行驶辅助装置包括红外传感器、雷达、叠加单元、判断单元以及障碍物判断单元。红外传感器拍摄本车辆外的某一方向的图像。雷达朝着红外传感器拍摄的方向发射电波,并接收来自物体的反射波,从而检测到物体的距离和方向。叠加单元在电子电路内对由红外传感器获得的信息和由雷达检测到的信息进行叠加。判断单元判断通过雷达检测出的物体是否是红外传感器图像上的温点。障碍物判断单元根据判断单元的结果,判断温点是否是本车辆行驶中的障碍物。
专利文献1:日本公开专利公报特开平11-16099号公报
发明内容
-发明要解决的技术问题-
在专利文献1那样的装置中,为了监视扩大到车辆周围的环境(车辆的外部环境)而设置有多个摄像头(专利文献1中为红外传感器)。但是,如果包括多个摄像头的信号系统发生异常,则难以继续根据多个摄像头的输出控制车辆行驶。
此处所公开的技术正是为解决上述技术问题而完成的,其目的在于:提高控制车辆行驶的持续性。
-用于解决技术问题的技术方案-
此处所公开的技术涉及一种用于控制车辆的车辆用控制系统。该车辆用控制系统包括:多个第一摄像头,其包围着所述车辆地设置在所述车辆上,多个第二摄像头,其包围着所述车辆地设置在所述车辆上,以及控制部,其进行第一工作、第二工作以及第三工作,在所述第一工作中,所述控制部根据所述多个第一摄像头的输出和多个所述第二摄像头的输出来输出用于控制所述车辆行驶的控制信号;在所述第二工作中,所述控制部根据所述多个第一摄像头的输出来输出所述控制信号;在所述第三工作中,所述控制部根据多个所述第二摄像头的输出来输出所述控制信号。
在上述构成方式中,有两组由包围着车辆设置的多个摄像头构成的组。通过包围着车辆地设置多个第一摄像头,能够根据多个第一摄像头的输出监视扩大到车辆周围的环境(车辆的外部环境)。与此相同,通过包围着车辆地设置多个第二摄像头,能够根据多个第二摄像头的输出监视车辆的外部环境。这样就能够根据多个第一摄像头的输出和多个第二摄像头的输出中的至少一者来监视车辆的外部环境。因此,在包括多个第一摄像头的第一信号系统和包括多个第二摄像头的第二信号系统中的任一系统发生了异常的情况下,也能够通过进行第二工作或第三工作,根据第一信号系统和第二信号系统中的另一系统所包括的多个摄像头的输出,继续控制车辆行驶。这样一来,就能够提高控制车辆行驶的持续性。
需要说明的是,在所述车辆用控制系统中,所述控制部也可以构成为:当包括所述多个第一摄像头的第一信号系统和包括多个所述第二摄像头的第二信号系统皆未发生异常时,所述控制部进行所述第一工作;当所述第一信号系统和所述第二信号系统中的所述第二信号系统发生了异常时,所述控制部进行所述第二工作;当所述第一信号系统和所述第二信号系统中的所述第一信号系统发生了异常时,所述控制部进行所述第三工作。
在上述构成方式中,能够根据第一信号系统和第二信号系统中异常的有无自动地切换第一工作、第二工作以及第三工作。这样一来,在第一信号系统和第二信号系统中的任一系统发生了异常的情况下,能够自动地进行第二工作或第三工作,因此能够自动地继续控制车辆行驶。
在所述车辆用控制系统中,所述多个第一摄像头也可以包括:拍摄所述车辆前方的第一前方摄像头、拍摄所述车辆斜右后方的第一斜右后方摄像头以及拍摄所述车辆斜左后方的第一斜左后方摄像头。所述多个第二摄像头也可以包括:拍摄所述车辆前方的第二前方摄像头、拍摄所述车辆斜右后方的第二斜右后方摄像头以及拍摄所述车辆斜左后方的第二斜左后方摄像头。
在上述构成方式中,能够根据扩大到车辆周围的环境(车辆的外部环境)中的至少车辆的前方区域、斜右后方区域以及斜左后方区域,继续控制车辆行驶。这样一来,在第一信号系统和第二信号系统中的任一系统发生了异常的情况下,也能够继续根据车辆的前方区域控制行驶(例如用于适当地保持与行驶在本车辆前方的其他车辆之间的车间距离的控制)、根据车辆的斜右后方区域以及斜左后方区域进行控制(例如用于在本车辆车道变更时察觉危险的控制)。
在所述车辆用控制系统中,所述控制部也可以具有第一识别处理IC单元和第二识别处理IC单元,所述第一识别处理IC单元根据所述多个第一摄像头的输出进行识别所述车辆的外部环境的识别处理,所述第二识别处理IC单元根据所述多个第二摄像头的输出进行所述识别处理。所述控制部也可以构成为:在所述第一工作中,所述控制部根据所述第一识别处理IC单元的识别处理结果和所述第二识别处理IC单元的识别处理结果输出所述控制信号;在所述第二工作中,所述控制部根据所述第一识别处理IC单元的识别处理结果输出所述控制信号;在所述第三工作中,所述控制部根据所述第二识别处理IC单元的识别处理结果输出所述控制信号。
在上述构成方式中,与仅在第一识别处理IC单元和第二识别处理IC单元中的任一单元中进行识别处理的情况相比,通过在第一识别处理IC单元和第二识别处理IC单元中都进行识别处理,能够提高识别精度。
-发明的效果-
根据此处所公开的技术,能够提高控制车辆行驶的持续性。
附图说明
图1是示例出包括实施方式的车辆用控制系统的车辆的俯视图;
图2是示例出摄像头和雷达的监视区域的俯视图;
图3是示例出第一摄像头和第一雷达的监视区域的俯视图;
图4是示例出第二摄像头和第二雷达的监视区域的俯视图;
图5是示例出实施方式的车辆用控制系统的构成的方框图;
图6是示例出车辆用控制系统的功能性构成的方框图;
图7是示例出车辆用控制系统的功能性构成的方框图;
图8是示例出实施方式的变形例的车辆用控制系统的构成的方框图。
-符号说明-
1-车辆用控制系统;100-车辆;10-信息取得部;11-摄像头;11a-第一摄像头;111a-第一前方摄像头;112a-第一斜右后方摄像头;113a-第一斜左后方摄像头;11b-第二摄像头;111b-第二前方摄像头;112b-第二斜右后方摄像头;113b-第二斜左后方摄像头;12-雷达;12a-第一雷达;12b-第二雷达;20-控制部;21a-第一信号处理IC单元;21b-第二信号处理IC单元;22a-第一识别处理IC单元;22b-第二识别处理IC单元;23a-第一控制IC单元;23b-第二控制IC单元。
具体实施方式
下面,参照附图对实施方式做详细的说明。需要说明的是,用同一符号表示附图中相同或相应的部分,且不再重复做说明。
(实施方式)
图1示例出包括实施方式的车辆用控制系统1的车辆100的外观。车辆用控制系统1设置在车辆100(具体为自动四轮车)上。车辆100能够在手动运行、辅助运行和自动运行之间进行切换。手动驾驶是指根据驾驶员的操作(例如对油门的操作等)而行驶的运行。辅助运行是指辅助驾驶员操作而行驶的运行。自动运行是指在无驾驶员操作的情况下行驶的运行。车辆用控制系统1在辅助运行及自动运行的过程中对车辆100进行控制。具体而言,车辆用控制系统1通过控制设置在车辆100上的致动装置(省略图示)来控制车辆100工作(特别是行驶)。需要说明的是,在以下说明中,将设置有车辆用控制系统1的车辆100记载为“本车辆”,将存在于本车辆周围的其他车辆记载为“其他车辆”。
(致动装置)
设置在车辆100上的致动装置包括驱动系统的驱动装置、转向系统的转动装置、制动系统的制动装置等。能够列举出的作为驱动系统的驱动装置的例子有:发动机、马达、变速器。能够列举出的作为转向系统的转向装置的例子有方向盘。能够列举出的作为制动系统的制动装置的例子有制动器。
(车辆用控制系统的结构)
车辆用控制系统1包括信息取得部10和控制部20。控制部20收纳在设置于车辆100内的特定位置的单一壳体内,例如乘车人员的座位下部或后备箱(trunk room)等。
(信息取得部)
信息取得部10取得用于控制车辆100(特别是行驶控制)的各种信息。如图1、图5、图6所示,信息取得部10包括多个摄像头11、多个雷达12、一个位置传感器13、一个外部输入部14、一个机械传感器15以及一个驾驶员输入部16。需要说明的是,在图1及图5中,省略图示位置传感器13、外部输入部14、机械传感器15以及驾驶员输入部16。
(摄像头)
多个摄像头11彼此具有相同的结构。多个摄像头11包围着车辆100地设置在车辆100上。多个摄像头11分别拍摄扩大到车辆100周围的环境(车辆100的外部环境)的一部分,由此获得表示车辆100的外部环境的一部分的图像数据。由多个摄像头11中的各个摄像头11获得的图像数据分别发送给控制部20。
在该例中,摄像头11是具有广角镜头的单目摄像头。例如,摄像头11由CCD(ChargeCoupled Device:电荷耦合器件)或CMOS(Complementary metal-oxide-semiconductor:互补金属氧化物半导体)等固体图像传感器(solid state image sensor)构成。需要说明的是,摄像头11可以是具有窄角镜头的单目摄像头,也可以是具有广角镜头或窄角镜头的立体摄像头。
多个摄像头11包括多个第一摄像头11a和多个第二摄像头11b。在该车辆100上有两组由包围着车辆100地设置在车辆100上的多个摄像头11构成的组。
〈第一摄像头〉
多个第一摄像头11a包围着车辆100地设置在车辆100上。具体而言,多个第一摄像头11a以多个第一摄像头11a的拍摄区域包围车辆100的方式设置在车辆上。在该例中,多个第一摄像头11a包括第一前方摄像头111a、第一斜右后方摄像头112a、第一斜左后方摄像头113a以及第一后方摄像头114a。第一前方摄像头111a拍摄车辆100的前方。第一斜右后方摄像头112a拍摄车辆100的斜右后方。第一斜左后方摄像头113a拍摄车辆100的斜左后方。第一后方摄像头114a拍摄车辆100的后方。
〈第二摄像头〉
多个第二摄像头11b包围着车辆100地设置在车辆100上。具体而言,多个第二摄像头11b以多个第二摄像头11b的拍摄区域包围着车辆100的方式设置在车辆上。在该例中,多个第二摄像头11b包括第二前方摄像头111b、第二斜右后方摄像头112b、第二斜左后方摄像头113b以及第二后方摄像头114b。第二前方摄像头111b拍摄车辆100的前方。第二斜右后方摄像头112b拍摄车辆100的斜右后方。第二斜左后方摄像头113b拍摄车辆100的斜左后方。第二后方摄像头114b拍摄车辆100的后方。
(雷达)
多个雷达12彼此具有相同的结构。多个雷达12包围着车辆100地设置在车辆100上。多个雷达12分别检测车辆100的外部环境的一部分。具体而言,雷达12向车辆100的外部环境的一部分发送电波,并接收来自车辆100的外部环境的一部分的反射波,由此对车辆100的外部环境的一部分进行检测。多个雷达12的检测结果发送给控制部20。
例如,雷达12既可以是发射毫米波的毫米波雷达,也可以是发射激光的激光雷达(Light Detection and Ranging),又可以是发射红外线的红外线雷达,还可以是发射超声波的超声波传感器。
多个雷达12包括多个第一雷达12a和多个第二雷达12b。在该车辆100上有两组由包围着车辆100地设置在车辆100上的多个雷达12构成的组。
〈第一雷达〉
多个第一雷达12a包围着车辆100地设置在车辆100上。具体而言,多个第一雷达12a以多个第一雷达12a的检测区域包围着车辆100的方式设置在车辆上。在该例中,多个第一雷达12a包括第一前方雷达121a、第一斜右后方雷达122a以及第一斜左后方雷达123a。第一前方雷达121a检测车辆100前方的外部环境。第一斜右后方雷达122a检测车辆100斜右后方的外部环境。第一斜左后方雷达123a检测车辆100斜左后方的外部环境。
〈第二雷达〉
多个第二雷达12b包围着车辆100地设置在车辆100上。具体而言,多个第二雷达12b以多个第二雷达12b的检测区域包围车辆100的方式设置在车辆上。在该例中,多个第二雷达12b包括第二前方雷达121b、第二斜右前方雷达122b、第二斜左前方雷达123b和第二后方雷达124b。第二前方雷达121b检测车辆100前方的外部环境。第二斜右前方雷达122b检测车辆100斜右前方的外部环境。第一斜左前方雷达123b检测车辆100斜左前方的外部环境。第二后方雷达124b检测车辆100后方的外部环境。
(摄像头与雷达之间的关系)
图2示例出摄像头11的拍摄区域(监视区域)和雷达12的检测区域(监视区域)。图3示例出第一摄像头11a的拍摄区域和第一雷达12a的检测区域,图4示例出第二摄像头11b的拍摄区域和第二雷达12b的检测区域。在图2~图4中,粗虚线表示第一摄像头11a的拍摄区域,粗点划线表示第一雷达12a的检测区域。细虚线表示第二摄像头11b的拍摄区域,细点划线表示第二雷达12b的检测区域。
如图3所示,在该例中,决定多个第一摄像头11a各自的监视区域和布置状况,以保证各自的监视区域组合起来绕车辆100整个一周将车辆100包围起来;决定多个第一雷达12a各自的监视区域和布置状况,以保证各自的监视区域组合起来绕车辆100整个一周将车辆100包围起来。与此相同,如图4所示,决定多个第二摄像头11b各自的监视区域和布置状况,以保证各自的监视区域组合起来绕车辆100整个一周将车辆100包围起来;决定多个第二雷达12b各自的监视区域和布置状况,以保证各自的监视区域组合起来绕车辆100整个一周将车辆100包围起来。
(位置传感器)
位置传感器13检测车辆100的位置(例如纬度和经度)。例如,位置传感器13接收来自全球定位系统的GPS信息,并根据GPS信息检测车辆100的位置。由位置传感器13获得的信息(车辆100的位置)发送给控制部20。
(外部输入部)
外部输入部14通过设置在车辆100外部的车辆外网络(例如互联网等)输入信息。例如,外部输入部14接收来自位于车辆100周围的其他车辆(省略图示)的通信信息、来自导航系统(省略图示)的汽车导航数据、交通信息、高精度地图信息等。由外部输入部14获得的信息发送给控制部20。
(机械传感器)
机械传感器15检测车辆100的状态(例如速度、加速度、横摆角速度等)。例如,机械传感器15包括检测车辆100的速度的车速传感器、检测车辆100的加速度的加速度传感器、检测车辆100的横摆角速度的横摆角速度传感器等。由机械传感器15获得的信息(车辆100的状态)发送给控制部20。
(驾驶员输入部)
驾驶员输入部16检测加给车辆100的运行操作。例如,驾驶员输入部16包括油门开度传感器、转向角传感器、制动器油压传感器等。油门开度传感器检测对车辆100油门的操作量。转向角传感器检测车辆100方向盘的转向角。制动器油压传感器检测对车辆100制动器的操作量。由驾驶员输入部16获得的信息(车辆100的运行操作)发送给控制部20。
(控制部)
图5示例出控制部20的结构。在该例中,控制部20具有第一信号处理IC单元21a、第二信号处理IC单元21b、第一识别处理IC单元22a、第二识别处理IC单元22b、第一控制IC单元23a以及第二控制IC单元23b。这些IC单元既可以分别由单一的IC(Integrated Circuit:集成电路)构成,也可以分别由多个IC构成。在IC内可以收纳单一的内核或芯片,也可以收纳彼此联合起来工作的多个内核或芯片。内核或芯片例如可以由CPU(处理器)和存储诸如使CPU运行的程序或CPU处理结果等信息的存储器构成。
在该例中,第一信号处理IC单元21a和第二信号处理IC单元21b构成信号处理部201。第一识别处理IC单元22a和第二识别处理IC单元22b构成识别处理部202。第一控制IC单元23a构成判断处理部203。第二控制IC单元23b构成备用处理部204。
〈信号处理部〉
信号处理部201对摄像头11的输出进行图像处理。信号处理部201还输出通过图像处理获得的图像数据。具体而言,第一信号处理IC单元21a对第一摄像头11a的输出进行图像处理。第二信号处理IC单元21b对第二摄像头11b的输出进行图像处理。
〈识别处理部〉
识别处理部202根据信号处理部201的输出(图像数据)进行识别车辆100的外部环境的识别处理。识别处理部202还输出通过识别处理获得的外部环境数据。具体而言,第一识别处理IC单元22a根据已由第一信号处理IC单元21a处理过的第一摄像头11a的输出进行识别处理。第二识别处理IC单元22b根据由第二信号处理IC单元21b处理的第二摄像头11b的输出进行识别处理。
〈判断处理部〉
判断处理部203根据识别处理部202的输出(外部环境数据)进行用于控制车辆100行驶的判断处理。具体而言,第一控制IC单元23a根据第一识别处理IC单元22a的输出和/或第二识别处理IC单元22b的输出进行判断处理。判断处理部203还根据判断处理的结果输出用于控制车辆100行驶的控制信号。
〈备用处理部〉
备用处理部204根据信号处理部201的输出(图像数据)进行识别车辆100的外部环境的识别处理。具体而言,第二控制IC单元23b根据第一信号处理IC单元21a的输出和/或第二信号处理IC单元21b的输出进行识别处理。备用处理部204还根据识别处理的结果进行用于控制车辆100行驶的判断处理。备用处理部204也根据判断处理的结果输出用于控制车辆100行驶的控制信号。
(车辆用控制系统的功能)
这里,参照图6及图7说明车辆用控制系统1的功能性构成。车辆用控制系统1大致分为识别系统块B1、判断系统块B2以及操作系统块B3。识别系统块B1根据由信息取得部10取得的各种信息来识别车辆100的外部环境。需要说明的是,识别系统块B1也可以构成为识别车辆100的内部环境。判断系统块B2根据识别系统块B1的识别结果判断车辆100的状态及状况,并根据该判断结果决定车辆100的目标工作。操作系统块B3根据由判断系统块B2决定的车辆100的目标工作生成用于控制设置在车辆100上的致动装置的信号,并将该信号输出给致动装置AC。
在该例中,车辆用控制系统1包括主运算部F1、安全功能部F2以及备用功能部F3。
〈主运算部〉
主运算部F1根据信息取得部10的输出来识别车辆100的外部环境,并根据该车辆100的外部环境来决定车辆100的目标路径。主运算部F1还根据车辆100的目标路径决定车辆100的目标运动,并根据该车辆100的目标运动输出控制信号。需要说明的是,主运算部F1使用通过深层学习生成的学习模型进行处理。深层学习使用多层神经网络(Deep NeuralNetwork:深度神经网络)。能够列举出的多层神经网络的例子有CNN(ConvolutionalNeural Network:卷积神经网络)。
在该例中,主运算部F1包括车辆状态检测部F001、驾驶员操作识别部F002、物体识别部F101(图像系统)、物体识别部F102(雷达系统)、地图生成部F103、外部环境推测部F104、外部环境模型F105、路径搜索部F106、路径生成部F107、危险状态判断部F108、第一车辆模型F109、第二车辆模型F110、路径决定部F111、目标运动决定部F112、车辆动能设定部F113、能量管理部F114、选择器F115以及选择器F116。
车辆状态检测部F001、驾驶员操作识别部F002、物体识别部F101、物体识别部F102、地图生成部F103、外部环境推测部F104以及外部环境模型F105属于识别系统块B1。路径搜索部F106、路径生成部F107、危险状态判断部F108、第一车辆模型F109、路径决定部F111以及目标运动决定部F112属于判断系统块B2。第二车辆模型F110、车辆动能设定部F113、能量管理部F114、选择器F115以及选择器F116属于操作系统块B3。
在该例中,物体识别部F101(图像系统)的一部分包含在信号处理部201中,其剩余部分包含在识别处理部202中。物体识别部F102(雷达系统)和地图生成部F103包含在识别处理部202中。外部环境推测部F104、外部环境模型F105、路径搜索部F106、路径生成部F107、第一车辆模型F109以及第二车辆模型F110包含在识别处理部202(具体而言,是第一识别处理IC单元22a)中。车辆状态检测部F001、驾驶员操作识别部F002、危险状态判断部F108、路径决定部F111、目标运动决定部F112、车辆动能设定部F113、能量管理部F114、选择器F115以及选择器F116包含在判断处理部203(具体而言,是第一控制IC单元23a)中。
(车辆状态检测部)
车辆状态检测部F001根据机械传感器15的输出,识别车辆100的状态(例如速度、加速度、横摆角速度等)。
(驾驶员操作识别部)
驾驶员操作识别部F002根据驾驶员输入部16的输出识别加给车辆100的运行操作。
(物体识别部(图像系统))
物体识别部F101根据摄像头11的输出识别车辆100的外部环境中所包括的物体。这样一来,就能够获得有关物体的信息(物体信息)。例如,物体信息表示物体的种类、物体的形状等。能够列举出来的作为物体的例子有:随着时间经过而发生位移的运动物体、和随着时间经过却不发生位移的静止物体。能够列举出的作为运动物体的例子有:自动四轮车、自动二轮车、自行车、行人等。能够列举出的作为静止物体的例子有:标志牌、行道树、中间分隔带、道路中央的柱子柱、建筑物等。
具体而言,物体识别部F101包括图像处理部和图像识别部。图像处理部对摄像头11输出即图像数据进行图像处理。该图像处理包括:修正图像数据所表示的图像失真的失真修正处理、调整图像数据所表示的图像明度的白平衡调整处理等。图像识别部根据在图像处理部中处理过的图像数据识别车辆100的外部环境中所包括的物体。例如,物体识别部F101的图像识别部也可以使用公知的物体识别技术(根据图像数据进行的物体识别技术)进行物体识别处理。物体识别部F101的图像识别部也可以构成为:使用通过深层学习生成的学习模型来进行物体识别处理。
在该例中,物体识别部F101的图像处理部包括根据第一摄像头11a的输出进行处理的第一图像处理部、和根据第二摄像头11b的输出进行处理的第二图像处理部。物体识别部F101的图像识别部包括根据第一图像处理部的输出进行处理的第一图像识别部、和根据第二图像处理部的输出进行处理的第二图像识别部。在该例中,物体识别部F101的图像处理部包含在信号处理部201中,物体识别部F101的图像识别部包含在识别处理部202中。具体而言,第一图像处理部包含在第一信号处理IC单元21a中,第二图像处理部包含在第二信号处理IC单元21b中。第一图像识别部包含在第一识别处理IC单元22a中,第二图像识别部包含在第二识别处理IC单元22b中。
(物体识别部(雷达系统))
物体识别部F102根据雷达12的输出即检测结果(例如反射波的峰值一览表)识别车辆100的外部环境中所包括的物体。这样一来,就能够获得物体信息。具体而言,物体识别部F102对雷达12的检测结果进行解析处理(用于获得物体信息的处理)。例如,物体识别部F102也可以使用公知的物体识别技术(根据雷达12的检测结果进行的物体识别技术)进行物体识别处理。物体识别部F102也可以构成为:利用通过深层学习生成的学习模型进行物体识别处理。
在该例中,物体识别部F102包括根据第一雷达12a的输出进行处理的第一雷达识别部、和根据第二雷达12b的输出进行处理的第二雷达识别部。在该例中,第一雷达识别部包含在第一识别处理IC单元22a中,第二雷达识别部包含在第二识别处理IC单元22b中。
(地图生成部)
地图生成部F103根据物体识别部F101(图像系统)的输出和物体识别部F102(雷达系统)的输出生成表示车辆100的外部环境的地图数据(例如三维地图数据)。例如,地图生成部F103针对分割包围车辆100的周围区域而获得的多个区域(例如前后左右四个区域)中的每个区域生成地图数据。由物体识别部F101(图像系统)和物体识别部F102(雷达系统)分别获得的物体信息输入地图生成部F103后,地图生成部F103对这些物体信息进行整合,并将通过整合获得的物体信息反映在地图数据中。
在该例中,地图生成部F103包括:根据物体识别部F101的第一图像识别部的输出和物体识别部F102的第一雷达识别部的输出进行处理的第一地图生成部、和根据物体识别部F101的第二图像识别部的输出和物体识别部F102的第二雷达识别部的输出进行处理的第二地图生成部。在该例中,第一地图生成部包含在第一识别处理IC单元22a中,第二地图生成部包含在第二识别处理IC单元22b中。
(外部环境推测部)
外部环境推测部F104根据车辆状态检测部F001的输出、地图生成部F103的输出、位置传感器13的输出以及外部输入部14的输出(例如高精度地图信息)推测车辆100的外部环境。具体而言,外部环境推测部F104通过根据外部环境模型F105进行的图像识别处理生成表示车辆100的外部环境的三维地图数据。
在该例中,外部环境推测部F104进行以下工作。首先,外部环境推测部F104对多个区域(例如前后左右四个区域)中每个区域的地图数据进行整合,生成表示车辆100的周围(外部环境)的整合地图数据。接着,外部环境推测部F104针对包含在整合地图数据中的运动物体,预测该运动物体与本车辆之间的距离、该运动物体相对于本车辆的方向、该运动物体相对于本车辆的相对速度的变化量。外部环境推测部F104还将这些预测的结果编入外部环境模型F105。外部环境推测部F104还根据位置传感器13的输出(车辆100的位置)、外部输入部14的输出(高精度地图信息)以及车辆状态检测部F001的输出(车速信息和六轴信息等)推测本车辆在整合地图数据中的位置,并进行路径代价(cost)的计算。外部环境推测部F104将这些推测结果和计算结果与由各种传感器取得的本车辆的信息一起,编入外部环境模型F105中。外部环境模型F105通过以上处理而被随时更新。
(外部环境模型)
外部环境模型F105是与车辆100的外部环境相关的模型。需要说明的是,外部环境模型F105是通过深层学习生成的学习模型。
(路径搜索部)
路径搜索部F106根据位置传感器13的输出和外部输入部14的输出(例如汽车导航数据)搜索车辆100的广域路径。
(路径生成部)
路径生成部F107根据外部环境模型F105和路径搜索部F106的输出生成车辆100的行驶路径。例如,将车辆100在该行驶路径中的安全性和燃料消耗等的分数附加给由路径生成部F107生成的行驶路径。随着车辆100在行驶路径中的安全性提高,该行驶路径的分数变小。随着车辆100在行驶路径中的燃料消耗减少,该行驶路径的分数变小。路径生成部F107至少生成一条分数较小(例如最小)的行驶路径。
需要说明的是,路径生成部F107也可以构成为生成基于多个观点的多条行驶路径。例如,路径生成部F107也可以构成为:驾驶员输入部16的输出被输入该路径生成部F107中,该路径生成部F107根据该驾驶员输入部16的输出调整行驶路径。这样一来,例如,能够生成分数较小的行驶路径和已根据驾驶员输入部16的输出做了调整的行驶路径。
(危险状态判断部)
危险状态判断部F108根据安全功能部F2中的前处理部F204的输出(本车辆相对于车辆100的外部环境中所包括的物体的位置)判断车辆100是否处于危险状态。能够列举出的作为车辆100的危险状态的例子有:车辆100有可能与物体碰撞的状态、车辆100有可能脱离车道的状态等。需要说明的是,危险状态判断部F108也可以构成为:根据外部环境模型F105来判断车辆100是否处于危险状态。当危险状态判断部F108判断出车辆100处于危险状态时,该危险状态判断部F108就生成用于避免该危险的目标路径。
(第一车辆模型)
第一车辆模型F109是与车辆100的六轴运动相关的车辆六轴模型。车辆六轴模型是将行驶中的车辆100的“前后”、“左右”、“上下”三轴方向的加速度和“纵倾”、“侧倾”、“横摆”三轴方向的角速度模型化后得到的模型。也就是说,第一车辆模型F109并不是只在在经典的车辆运动工程学平面上(车辆的前后左右(X-Y移动)和横摆运动(Z轴))捕捉车辆100的运动,而是还利用通过悬架设置在四个车轮上的车身的纵倾(Y轴)运动、侧倾(X轴)运动以及Z轴移动(车体的上下移动)捕捉车辆100的运动,即一共利用六轴来再现车辆100的运动轨迹的数值模型。第一车辆模型F109根据事先设定好的车辆100的基本运动功能、车辆100外部环境等生成。第一车辆模型F109还会根据车辆100的外部环境的变化状况等适当地更新。例如,第一车辆模型F109是通过深层学习生成的学习模型。
(第二车辆模型)
第二车辆模型F110是与车辆的能耗有关的模型。具体而言,第二车辆模型F110是表示致动装置AC工作时车辆100的的代价(燃料消耗和功耗)的模型。例如,第二车辆模型F110是将在输出规定量的发动机扭矩的基础上使燃料消耗最少时的进排气门(省略图示)的开关时刻、喷射器(省略图示)的燃料喷射时刻、排气再循环系统的阀开关时刻等模型化后得到的模型。第二车辆模型F110在车辆行驶过程中生成,并被适当地更新。例如,第二车辆模型F110是通过深层学习生成的学习模型。
(路径决定部)
路径决定部F111根据驾驶员操作识别部F002的输出、路径生成部F107的输出、安全功能部F2中的路径生成部F206的输出决定车辆100的目标路径。具体而言,路径决定部F111从由路径生成部F107生成的行驶路径和在安全功能部F2中的路径生成部F206中生成的行驶路径中任选一条作为目标路径。需要说明的是,路径决定部F111也可以构成为:根据驾驶员操作识别部F002的输出调整该已选择出的目标路径。
例如,路径决定部F111也可以构成为:正常行驶时,优先选择由路径生成部F107生成的行驶路径作为目标路径。路径决定部F111也可以构成为:如果由路径生成部F107生成的行驶路径不通过由安全功能部F2中的自由空间搜索部F205搜索到的自由空间,则选择由安全功能部F2中的路径生成部F206生成的行驶路径作为目标路径。
(目标运动决定部)
目标运动决定部F112根据危险状态判断部F108的输出、第一车辆模型F109以及路径决定部F111的输出,决定车辆100的目标运动。例如,目标运动决定部F112也可以构成为:当由危险状态判断部F108生成的目标路径(用于避免危险的目标路径)输入该目标运动决定部F112时,该目标运动决定部F112根据由危险状态判断部F108生成的目标路径和第一车辆模型F109决定车辆100的目标运动。目标运动决定部F112也可以构成为:在由危险状态判断部F108生成的目标路径没有输入该目标运动决定部F112的情况(车辆100不处于危险状态的情况)下,该目标运动决定部F112根据由路径决定部F111生成的目标路径和第一车辆模型F109,决定车辆100的目标运动。
(车辆动能设定部)
车辆动能设定部F113根据目标运动决定部F112的输出,计算要求驱动系统的驱动装置产生的驱动系统扭矩、要求转向系统的转向装置产生的转向系统扭矩以及要求制动系统的制动装置产生的制动系统扭矩。具体而言,车辆动能设定部F113计算驱动系统扭矩、转向系统扭矩以及制动系统扭矩,以使车辆100的运动成为由目标运动决定部F112决定的目标运动。
(能量管理部)
能量管理部F114根据第二车辆模型F110和车辆动能设定部F113的输出,计算对致动装置AC的控制量。具体而言,为了在实现了由目标运动决定部F112决定的目标运动的基础上能量效率达到最佳,能量管理部F114根据第二车辆模型F110计算对致动装置AC的控制量。例如,为了在实现了由车辆动能设定部F113决定的发动机扭矩的基础上燃料消耗量最少,能量管理部F114计算进排气门(省略图示)的开关时刻和喷射器(省略图示)的燃料喷射时刻等。
(选择器)
选择器F115输出车辆动能设定部F113的输出和备用功能部F3中的车辆动能设定部F310的输出中的任一者。选择器F116输出能量管理部F114的输出和备用功能部F3中的能量管理部F311的输出中的任一者。选择器F115的输出和选择器F116的输出是用于控制车辆100行驶的控制信号。
具体而言,在主运算部F1未发生异常(例如故障)的情况下,选择器F115选择车辆动能设定部F113的输出;在主运算部F1发生异常时选择器F115选择备用功能部F3中的车辆动能设定部F310的输出。与此相同,在主运算部F1未发生异常的情况下,选择器F116选择能量管理部F114的输出;在主运算部F1发生异常时,选择器F116选择备用功能部F3中的能量管理部F311的输出。
〈安全功能部〉
安全功能部F2根据信息取得部10的输出来识别车辆100的外部环境,并从该车辆100的外部环境中搜索自由空间。安全功能部F2生成通过自由空间的行驶路径。由安全功能部F2获得的行驶路径(通过自由空间的行驶路径)被用于主运算部F1中的决定目标路径的处理。需要说明的是,安全功能部F2使用基于事先决定好的规则的算法进行处理,来代替使用通过深层学习生成的学习模型。在安全功能部F2中进行基于规则的处理。
在该例中,安全功能部F2包括物体识别部F201(图像系统)、物体识别部F202(雷达系统)、分类部F203、前处理部F204、自由空间搜索部F205以及路径生成部F206。
物体识别部F201、物体识别部F202、分类部F203以及前处理部F204属于识别系统块B1。自由空间搜索部F205和路径生成部F206属于判断系统块B2。
物体识别部F201(图像系统)的一部分包含在信号处理部201中,其剩余部分包含在识别处理部202中。物体识别部F202(雷达系统)、分类部F203、前处理部F204、自由空间搜索部F205以及路径生成部F206包含在判断处理部203(具体而言,是第一控制IC单元23a)中。
(物体识别部(图像系统))
物体识别部F201根据摄像头11的输出识别车辆100的外部环境中所包括的物体。这样一来,就能够获得物体信息。具体而言,物体识别部F201包括图像处理部和图像识别部。图像处理部对摄像头11输出即图像数据进行图像处理。图像识别部根据在图像处理部中处理过的图像数据识别车辆100的外部环境中所包括的物体。例如,物体识别部F201的图像识别部不使用通过深层学习生成的学习模型进行物体识别处理,而使用公知的模式识别技术进行物体识别处理。需要说明的是,,物体识别部F201的图像识别部也可以采用其他公知的物体识别技术(根据图像数据进行的物体识别技术)进行物体识别处理。
在该例中,物体识别部F201的图像处理部包括:根据第一摄像头11a的输出进行处理的第一图像处理部、和根据第二摄像头11b的输出进行处理的第二图像处理部。物体识别部F201的图像识别部包括:根据第一图像处理部的输出进行处理的第一图像识别部、和根据第二图像处理部的输出进行处理的第二图像识别部。在该例中,物体识别部F201的图像处理部包含在信号处理部201中,物体识别部F201的图像识别部包含在判断处理部203中。具体而言,第一图像处理部包含在第一信号处理IC单元21a中,第二图像处理部包含在第二信号处理IC单元21b中。第一图像识别部包含在第一识别处理IC单元22a中,第二图像识别部包含在第二识别处理IC单元22b中。
(物体识别部(雷达系统))
物体识别部F202根据雷达12的输出即检测结果,识别车辆100的外部环境中所包括的物体。这样一来,就能够获得物体信息。具体而言,物体识别部F202对雷达12的检测结果进行解析处理。例如,物体识别部F202不使用通过深层学习生成的学习模型进行物体识别处理,而使用公知的物体识别技术(根据雷达12的检测结果进行的物体识别技术)进行物体识别处理。
在该例中,物体识别部F202包括:根据第一雷达12a的输出进行处理的第一雷达识别部、和根据第二雷达12b的输出进行处理的第二雷达识别部。在该例中,第一雷达识别部和第二雷达识别部包含在第一控制IC单元23a中。
(分类部)
分类部F203根据物体识别部F201(图像系统)的输出和物体识别部F202(雷达系统)的输出,识别车辆100的外部环境。需要说明的是,分类部F203使用基于事先决定好的规则的算法进行识别处理(基于规则的识别处理),不使用通过深层学习生成的学习模型。也可以使用公知的识别处理技术进行基于规则的识别处理。具体而言,分类部F203将物体识别部F201和物体识别部F202识别出的物体分为运动物体和静止物体。例如,分类部F203对由物体识别部F201(图像系统)获得的物体信息和由物体识别部F202(雷达系统)获得的物体信息进行整合,上述物体信息是针对分割包围车辆100的周围区域而获得的多个区域(例如前后左右四个区域)中每个区域的信息。分类部F203还针对多个区域中的每个区域,生成该区域中所包括的物体的分类信息。分类信息表示物体属于运动物体还是静止物体。
(前处理部)
前处理部F204根据分类部F203的输出、主运算部F1中的车辆状态检测部F001的输出、位置传感器13的输出以及外部输入部14的输出进行前处理。在前处理中,进行分类信息整合、物体行为预测以及自我位置推测。
在分类信息整合中,前处理部F204对针对多个区域(例如前后左右四个区域)中的每个区域生成的分类信息进行整合。整合后的分类信息被作为与车辆100的周围区域相关的分类信息在栅格地图(省略图示)上加以管理。
在物体行为预测中,前处理部F204根据整合后的分类信息,检测车辆100的外部环境中所包括的运动物体。前处理部F204还预测该运动物体与本车辆的距离、该运动物体相对于本车辆的方向、该运动物体相对于本车辆的相对速度的变化量。前处理部F204预测的结果作为运动物体的附加信息加以管理。
在自我位置推测中,前处理部F204根据位置传感器13的输出即车辆100的位置、外部输入部14的输出之一例即高精度地图信息、车辆状态检测部F001的输出即车辆100的状态(车速信息、六轴信息等),推测本车辆相对于车辆100的外部环境中所包括的物体(运动物体和静止物体)的位置。
(自由空间搜索部)
自由空间搜索部F205根据前处理部F204的输出从车辆100的外部环境中搜索自由空间。自由空间是车辆100的外部环境中所包括的道路中不存在障碍物的区域。障碍物包括动态障碍物和静态障碍物。能够列举出的作为动态障碍物的例子有:其他车辆、行人等。能够列举出的作为静态障碍物之例有:中间分隔带、道路中央的柱子等。例如,自由空间可以是能够紧急停车的路边空间。
具体而言,自由空间搜索部F205搜索能够避免与位置由前处理部F204推测出的物体碰撞的自由空间。例如,自由空间搜索部F205根据事先设定好的搜索规则搜索自由空间。搜索规则中,也可以包括将以物体为中心的规定范围(例如数米的范围)作为无法避免的范围的规则。自由空间搜索部F205也可以构成为:在物体是运动物体的情况下,考虑着该运动物体的移动速度来搜索自由空间。
(路径生成部)
路径生成部F206根据自由空间搜索部F205的输出和主运算部F1中的路径搜索部F106的输出(车辆100的广域路径)生成车辆100的行驶路径。具体而言,路径生成部F206生成通过由自由空间搜索部F205获得的自由空间的行驶路径。例如,路径生成部F206也可以构成为:生成通过自由空间的多条行驶路径,从该多条行驶路径中选择路径代价最小的行驶路径。由路径生成部F206生成的行驶路径(通过自由空间的行驶路径)输出给主运算部F1中的路径决定部F111。
〈备用功能部〉
备用功能部F3根据信息取得部10的输出来识别车辆100的外部环境,并从该车辆100的外部环境中搜索自由空间,决定通过自由空间的车辆100的目标路径。备用功能部F3还根据车辆100的目标路径决定车辆100的目标运动,并根据该车辆100的目标运动输出控制信号。由备用功能部F3获得的控制信号供给主运算部F1。需要说明的是,备用功能部F3使用基于事先决定好的规则的算法进行处理。备用功能部F3进行基于规则的处理。
在该例中,备用功能部F3包括:车辆状态检测部F301、驾驶员操作识别部F302、分类部F303、前处理部F304、自由空间搜索部F305、路径生成部F306、危险状态判断部F307、路径决定部F308、目标运动决定部F309、车辆动能设定部F310以及能量管理部F311。
车辆状态检测部F301、驾驶员操作识别部F302、分类部F303以及前处理部F304属于识别系统块B1。自由空间搜索部F305、路径生成部F306、危险状态判断部F307、路径决定部F308以及目标运动决定部F309属于判断系统块B2。车辆动能设定部F310和能量管理部F311属于操作系统块B3。
在该例中,车辆状态检测部F301、驾驶员操作识别部F302、分类部F303、前处理部F304、自由空间搜索部F305、路径生成部F306、危险状态判断部F307、路径决定部F308、目标运动决定部F309、车辆动能设定部F310以及能量管理部F311包含在备用处理部204(具体而言,是第二控制IC单元23b)中。
(车辆状态检测部和驾驶员操作识别部)
车辆状态检测部F301和驾驶员操作识别部F302的功能与主运算部F1中的车辆状态检测部F001和驾驶员操作识别部F002的功能相同。
(分类部、前处理部、自由空间搜索部以及路径生成部)
分类部F303、前处理部F304、自由空间搜索部F305以及路径生成部F306的功能,与安全功能部F2中的分类部F203、前处理部F204、自由空间搜索部F205以及路径生成部F206的功能相同。
在图6的例子中,分类部F303根据安全功能部F2中的物体识别部F201(图像系统)的输出和物体识别部F202(雷达系统)的输出进行处理。需要说明的是,与安全功能部F2中的物体识别部F201(图像系统)相同的物体识别部(图像系统)和与安全功能部F2中的物体识别部F202(雷达系统)相同的物体识别部(雷达系统)也可以包含在备用功能部F3中。在该情况下,分类部F303也可以构成为:根据备用功能部F3中的物体识别部(图像系统)的输出和物体识别部(雷达系统)的输出进行处理。
(路径决定部)
路径决定部F308根据驾驶员操作识别部F302的输出和路径生成部F306的输出(通过自由空间的行驶路径),决定车辆100的目标路径。例如,路径决定部F308从由路径生成部F306生成的多条行驶路径中任选一条行驶路径作为目标路径。需要说明的是,路径决定部F308也可以构成为:根据驾驶员操作识别部F302的输出调整该已选择出的目标路径。
〈目标运动决定部〉
目标运动决定部F309根据危险状态判断部F307的输出(目标路径)和路径决定部F308的输出决定车辆100的目标运动。需要说明的是,与主运算部F1中的目标运动决定部F112不同,目标运动决定部F309使用基于事先决定好的规则的算法决定车辆100的目标运动,不使用通过深层学习生成的学习模型。例如,目标运动决定部F309也可以构成为:当由危险状态判断部F307生成的目标路径(用于避免危险的目标路径)输入该目标运动决定部F309时,该目标运动决定部F309根据由危险状态判断部F307生成的目标路径,决定车辆100的目标运动。目标运动决定部F309也可以构成为:在由危险状态判断部F307生成的目标路径没有输入该目标运动决定部F309的情况(车辆100不处于危险状态的情况)下,该目标运动决定部F309根据由路径决定部F308生成的目标路径,决定车辆100的目标运动。
(车辆动能设定部)
与主运算部F1中的车辆动能设定部F113相同,车辆动能设定部F310根据目标运动决定部F309的输出,计算要求驱动系统的驱动装置产生的的驱动系统扭矩、要求转向系统的转向装置产生的转向系统扭矩以及要求制动系统的制动装置产生的制动系统扭矩。由车辆动能设定部F310计算出的扭矩输出给主运算部F1中的选择器F115。
〈能源管理部〉
能量管理部F311根据动能设定部F310的输出计算对致动装置AC的控制量。具体而言,为了在实现了由目标运动决定部F309决定的目标运动的基础上能量效率达到最佳,能量管理部F311计算对致动装置AC的控制量。需要说明的是,与主运算部F1中的能量管理部F114不同,能量管理部F311使用基于事先决定好的规则的算法来计算对致动装置AC的控制量,不使用通过深层学习生成的学习模型。由能量管理部F311计算出的控制量输出给主运算部F1中的选择器F116。
(控制部的工作情况)
控制部20进行第一工作、第二工作以及第三工作。需要说明的是,车辆用控制系统1中设置有包括多个第一摄像头11a的第一信号系统和包括多个第二摄像头11b的第二信号系统。在该例中,在第一信号系统和第二信号系统皆未发生异常的情况下,控制部20进行第一工作。当第一信号系统和第二信号系统中的第二信号系统发生了异常时,控制部20进行所述第二工作。当第一信号系统和第二信号系统的第一信号系统发生了异常时,控制部20进行所述第三工作。
〈第一工作〉
在第一工作中,控制部20根据多个第一摄像头11a的输出和多个第二摄像头11b的输出来输出控制信号(用于控制车辆100行驶的信号)。在该例中,在第一工作中,控制部20根据第一识别处理IC单元22a的识别处理的结果和第二识别处理IC单元22b的识别处理的结果来输出控制信号。
具体而言,在第一工作中,第一信号处理IC单元21a对第一摄像头11a的输出进行处理,第一识别处理IC单元22a对第一信号处理IC单元21a的输出进行处理。另一方面,第二信号处理IC单元21b对第二摄像头11a的输出进行处理,第二识别处理IC单元22b对第二信号处理IC单元21b的输出进行处理。第二识别处理IC单元22b还将识别处理的结果输出给第一识别处理IC单元22a。第一识别处理IC单元22a对第一识别处理IC单元22a的识别处理的结果和第二识别处理IC单元22b的识别处理的结果进行整合,将通过该整合获得的识别结果输出给第一控制IC单元23a。第一控制IC单元23a根据第一识别处理IC单元22a的输出来输出控制信号。
〈第二工作〉
在第二工作中,控制部20根据多个第一摄像头11a的输出来输出控制信号。在该例中,在第二工作中,控制部20根据第一识别处理IC单元22a的识别处理的结果输出控制信号。
具体而言,在第二工作中,第一信号处理IC单元21a对第一摄像头11a的输出进行处理,第一识别处理IC单元22a对第一信号处理IC单元21a的输出进行处理。第一识别处理IC单元22a还将第一识别处理IC单元22a的识别处理的结果输出给第一控制IC单元23a。第一控制IC单元23a根据第一识别处理IC单元22a的识别处理的结果输出控制信号。
〈第三工作〉
在第三工作中,控制部20根据多个第二摄像头11b的输出来输出控制信号。在该例中,在第三工作中,控制部20根据第二识别处理IC单元22b的识别处理的结果输出控制信号。
具体而言,在第三工作中,第二信号处理IC单元21b对第二摄像头11a的输出进行处理,第二识别处理IC单元22b对第二信号处理IC单元21b的输出进行处理。第二识别处理IC单元22b将识别处理的结果输出给第一识别处理IC单元22a。第一识别处理IC单元22a将第二识别处理IC单元22b的识别处理的结果输出给第一控制IC单元23a。第一控制IC单元23a根据第一识别处理IC单元22a的识别处理的结果输出控制信号。
(实施方式的效果)
如上所述,有两组由包围着车辆100地设置的多个摄像头11构成的组。通过包围着车辆100地设置多个第一摄像头11a,能够根据多个第一摄像头11a的输出,监视扩大到车辆100周围的环境(车辆100的外部环境)。与此相同,通过包围着车辆100地设置多个第二摄像头11b,能够根据多个第二摄像头11b的输出,监视车辆100的外部环境。这样就能够根据多个第一摄像头11a的输出和多个第二摄像头11b的输出中的至少一者来监视车辆100的外部环境。因此,在包括多个第一摄像头11a的第一信号系统和包括多个第二摄像头11b的第二信号系统中的任一者发生了异常的情况下,也能够通过进行第二工作或第三工作,根据第一信号系统和第二信号系统中的另一者中所包括的多个摄像头11的输出继续控制车辆100行驶。这样一来,能够提高控制车辆100行驶的持续性。
能够根据第一信号系统和第二信号系统中异常的有无自动地切换第一工作、第二工作以及第三工作。这样一来,在第一信号系统和第二信号系统中的任一系统发生了异常的情况下,能够自动地进行第二工作或第三工作,因此能够自动地继续控制车辆100行驶。
在该例中,多个第一摄像头11a包括第一前方摄像头111a、第一斜右后方摄像头112a以及第一斜左后方摄像头113a。多个第二摄像头11b包括第二前方摄像头111b、第二斜右后方摄像头112b以及第二斜左后方摄像头113b。因此,能够根据扩大到车辆100周围的环境(车辆100的外部环境)中的至少车辆100的前方区域、斜右后方区域以及斜左后方区域,继续控制车辆100行驶。这样一来,在第一信号系统和第二信号系统中的任一者发生异常的情况下,也能够继续根据车辆100的前方区域控制行驶(例如用于适当地保持与行驶在本车辆前方的其他车辆之间的车间距离的控制)、根据车辆100的斜右后方区域以及斜左后方区域进行控制(例如用于在本车辆的车道变更时察觉危险的控制)。
与仅在第一识别处理IC单元22a和第二识别处理IC单元22b中的任一单元中进行识别处理的情况相比,通过在第一识别处理IC单元22a和第二识别处理IC单元22b中都进行识别处理,能够提高识别精度。
(实施方式的变形例)
如图8所示,识别处理部202也可以由单一的识别处理IC单元(在图8的例子中为第一识别处理IC单元22a)构成。在该例中,第二信号处理IC单元21b的输出供给第一识别处理IC单元22a。第一识别处理IC单元22a根据第一信号处理IC单元21a的输出和第二信号处理IC单元21b的输出进行识别处理。
与此相同,信号处理部201也可以由单一的信号处理IC单元(例如第一信号处理IC单元21a)构成。
(其他实施方式)
在以上的说明中,以该车辆100上有两组由包围着车辆100地设置在车辆100上的多个摄像头11构成的组的情况为例,但不限于此。例如,也可以有三组由包围着车辆100地设置在车辆100上的多个摄像头11构成的组。与此相同,以该车辆100上有两组由包围着车辆100地设置在车辆100上的多个雷达12构成的组的情况为例,但不限于此。例如,也可以有三组由包围着车辆100地设置在车辆100上的多个雷达12构成的组。
可以适当地将以上实施方式组合起来并实施。以上的实施方式在本质上是优选的例示,并不是要限制本发明、其适用对象或其用途的范围。
-产业实用性-
综上所述,此处所公开的技术作为车辆用控制系统很有用。

Claims (5)

1.一种车辆用控制系统,其用于控制车辆,其特征在于:
该车辆用控制系统包括:
多个第一摄像头,其包围着所述车辆地设置在所述车辆上,
多个第二摄像头,其包围着所述车辆地设置在所述车辆上,以及
控制部,其进行第一工作、第二工作以及第三工作,在所述第一工作中,所述控制部根据所述多个第一摄像头的输出和多个所述第二摄像头的输出来输出用于控制所述车辆行驶的控制信号;在所述第二工作中,所述控制部根据所述多个第一摄像头的输出来输出所述控制信号;在所述第三工作中,所述控制部根据多个所述第二摄像头的输出来输出所述控制信号。
2.根据权利要求1所述的车辆用控制系统,其特征在于:
当包括所述多个第一摄像头的第一信号系统和包括多个所述第二摄像头的第二信号系统都未发生异常时,所述控制部进行所述第一工作,
当所述第一信号系统和所述第二信号系统中的所述第二信号系统发生了异常时,所述控制部进行所述第二工作,
当所述第一信号系统和所述第二信号系统中的所述第一信号系统发生了异常时,所述控制部进行所述第三工作。
3.根据权利要求1所述的车辆用控制系统,其特征在于:
所述多个第一摄像头包括:拍摄所述车辆前方的第一前方摄像头、拍摄所述车辆斜右后方的第一斜右后方摄像头以及拍摄所述车辆斜左后方的第一斜左后方摄像头,
所述多个第二摄像头包括:拍摄所述车辆前方的第二前方摄像头、拍摄所述车辆斜右后方的第二斜右后方摄像头以及拍摄所述车辆斜左后方的第二斜左后方摄像头。
4.根据权利要求2所述的车辆用控制系统,其特征在于:
所述多个第一摄像头包括:拍摄所述车辆前方的第一前方摄像头、拍摄所述车辆斜右后方的第一斜右后方摄像头以及拍摄所述车辆斜左后方的第一斜左后方摄像头,
所述多个第二摄像头包括:拍摄所述车辆前方的第二前方摄像头、拍摄所述车辆斜右后方的第二斜右后方摄像头以及拍摄所述车辆斜左后方的第二斜左后方摄像头。
5.根据权利要求1到4中任一项权利要求所述的车辆用控制系统,其特征在于:
所述控制部具有第一识别处理IC单元和第二识别处理IC单元,
所述第一识别处理IC单元根据所述多个第一摄像头的输出进行识别所述车辆的外部环境的识别处理,所述第二识别处理IC单元根据多个所述第二摄像头的输出进行所述识别处理,
在所述第一工作中,所述控制部根据所述第一识别处理IC单元的识别处理结果和所述第二识别处理IC单元的识别处理结果输出所述控制信号,
在所述第二工作中,所述控制部根据所述第一识别处理IC单元的识别处理结果输出所述控制信号,
在所述第三工作中,所述控制部根据所述第二识别处理IC单元的识别处理结果输出所述控制信号。
CN202110096172.3A 2020-02-05 2021-01-25 车辆用控制系统 Active CN113291289B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020018014A JP2021123234A (ja) 2020-02-05 2020-02-05 車両用制御システム
JP2020-018014 2020-02-05

Publications (2)

Publication Number Publication Date
CN113291289A true CN113291289A (zh) 2021-08-24
CN113291289B CN113291289B (zh) 2023-12-05

Family

ID=74285372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110096172.3A Active CN113291289B (zh) 2020-02-05 2021-01-25 车辆用控制系统

Country Status (4)

Country Link
US (1) US20210241001A1 (zh)
EP (1) EP3862240B1 (zh)
JP (1) JP2021123234A (zh)
CN (1) CN113291289B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230159041A1 (en) * 2021-11-23 2023-05-25 Tusimple, Inc. Vehicle safety system for autonomous vehicles

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202169907U (zh) * 2011-07-29 2012-03-21 富士重工业株式会社 车外环境识别装置
JP2015123930A (ja) * 2013-12-27 2015-07-06 富士重工業株式会社 車両のレーンキープ制御装置
US20160031371A1 (en) * 2014-07-29 2016-02-04 Denso Corporation In-vehicle apparatus
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶系统的传感器模块、自动驾驶系统及方法
WO2019035458A1 (en) * 2017-08-18 2019-02-21 Sony Semiconductor Solutions Corporation CONTROL DEVICE AND CONTROL SYSTEM
CN110320905A (zh) * 2018-03-28 2019-10-11 本田技研工业株式会社 车辆控制装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1116099A (ja) 1997-06-27 1999-01-22 Hitachi Ltd 自動車走行支援装置
JP2008269494A (ja) * 2007-04-24 2008-11-06 Auto Network Gijutsu Kenkyusho:Kk 車載撮像システム
US9829884B1 (en) * 2016-05-10 2017-11-28 Dura Operating, Llc Scalable driver assistance system
JP2019174168A (ja) * 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 制御装置、車両、制御方法および制御プログラム
JP7165012B2 (ja) * 2018-09-28 2022-11-02 株式会社Subaru 車両用ステレオカメラ装置
JP2020173744A (ja) * 2019-04-15 2020-10-22 株式会社日立製作所 機械学習を用いた画像処理方式,およびそれを用いた電子制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202169907U (zh) * 2011-07-29 2012-03-21 富士重工业株式会社 车外环境识别装置
JP2015123930A (ja) * 2013-12-27 2015-07-06 富士重工業株式会社 車両のレーンキープ制御装置
US20160031371A1 (en) * 2014-07-29 2016-02-04 Denso Corporation In-vehicle apparatus
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶系统的传感器模块、自动驾驶系统及方法
WO2019035458A1 (en) * 2017-08-18 2019-02-21 Sony Semiconductor Solutions Corporation CONTROL DEVICE AND CONTROL SYSTEM
CN110320905A (zh) * 2018-03-28 2019-10-11 本田技研工业株式会社 车辆控制装置

Also Published As

Publication number Publication date
CN113291289B (zh) 2023-12-05
JP2021123234A (ja) 2021-08-30
US20210241001A1 (en) 2021-08-05
EP3862240B1 (en) 2024-05-15
EP3862240A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
US20210403037A1 (en) Arithmetic operation system for vehicles
US11970186B2 (en) Arithmetic operation system for vehicles
CN113291290B (zh) 车辆用控制装置及车辆用控制系统
CN113212444B (zh) 车辆用控制装置
CN113291289B (zh) 车辆用控制系统
US11830254B2 (en) Outside environment recognition device
JP7296899B2 (ja) 車両用制御装置
JP7288409B2 (ja) 車両用制御装置
JP7298323B2 (ja) 外部環境認識装置
US11451765B2 (en) System and method for determining when a sensor is polluted

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant