CN111493443A - 利用智能头盔来监控双轮车盲区的方法及装置 - Google Patents

利用智能头盔来监控双轮车盲区的方法及装置 Download PDF

Info

Publication number
CN111493443A
CN111493443A CN202010073407.2A CN202010073407A CN111493443A CN 111493443 A CN111493443 A CN 111493443A CN 202010073407 A CN202010073407 A CN 202010073407A CN 111493443 A CN111493443 A CN 111493443A
Authority
CN
China
Prior art keywords
vehicle
nearby
wheel
rider
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010073407.2A
Other languages
English (en)
Other versions
CN111493443B (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申東洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Priority to CN202211056264.XA priority Critical patent/CN115515106A/zh
Publication of CN111493443A publication Critical patent/CN111493443A/zh
Application granted granted Critical
Publication of CN111493443B publication Critical patent/CN111493443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A42B3/046—Means for detecting hazards or accidents
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/042—Optical devices
    • A42B3/0426—Rear view devices or the like
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/0406—Accessories for helmets
    • A42B3/0433—Detecting, signalling or lighting devices
    • A42B3/0453—Signalling devices, e.g. auxiliary brake or indicator lights
    • A—HUMAN NECESSITIES
    • A42—HEADWEAR
    • A42B—HATS; HEAD COVERINGS
    • A42B3/00—Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04—Parts, details or accessories of helmets
    • A42B3/30—Mounting radio sets or communication systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/36—Cycles; Motorcycles; Scooters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9315—Monitoring blind spots
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Business, Economics & Management (AREA)
  • Atmospheric Sciences (AREA)

Abstract

本申请公开了一种利用智能头盔来监控双轮车盲区的方法及装置，所述方法包括以下步骤：(a)若获取与智能头盔相对应的第一盲区的视频图像，则指示对象检测器检测视频图像上的对象，并确认位于第一盲区的第一对象；以及(b)通过参照从安装在智能头盔上的GPS传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照智能头盔方向和双轮车行驶方向来确认与第一对象中的双轮车相对应的位于第二盲区的第二对象，并通过安装在所述智能头盔上的平视显示器来显示第二对象，或通过扬声器的声音警报来表示第二对象位于第二盲区。

Description

利用智能头盔来监控双轮车盲区的方法及装置
技术领域
本申请涉及一种利用双轮车(bike)骑手用智能头盔来监控双轮车盲区的方法及装置，更详细地，涉及一种利用从双轮车的骑手佩戴的智能头盔中获取的视频图像来监控盲区的方法及装置。
背景技术
与自动驾驶车辆的驾驶员相比，双轮车的骑手会更加关注安全。另外，在驾驶双轮车时，因骑手所处位置的开放空间，如安全气囊之类的标准安全系统将不起作用。
因此，双轮车骑手必须小心，以免发生交通事故。具体而言，双轮车骑手必须小心观察周围的车辆，并使周围车辆的驾驶员看到双轮车。尤其在停车时，会出现双轮车的单个后刹车灯(Rear Brake Light)与双轮车前方位置车辆的刹车灯中的一个相互混淆的现象，为了改善这样的现象，有必要开发各种技术。
另外，骑自行车或摩托车等双轮车的骑手由于视角会受到限制，因此骑手无法确认正在行驶的双轮车的所有周围环境，进而会导致各种事故。
因此，本申请提供了一种使双轮车的骑手能够正确感知周围环境的方法。
发明内容
本申请的目的是解决所有上述问题。
本申请的另一个目的是，使行驶中的双轮车的骑手感知到周围环境。
本申请的又一个目的是，使双轮车的骑手感知周围环境以安全驾驶双轮车。
本申请的又一个目的是，通过V2X通信将双轮车骑手获取的信息发送至至少一个附近车辆。
如上述说明，为了达到本申请的上述目的，并实现本申请的下述效果，本申请的结构特征如下。
根据本申请的一实施例，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，包括以下步骤：(a)若获取与骑手佩戴的所述智能头盔相对应的至少一个第一盲区的至少一个视频图像，则盲区监控装置指示对象检测器检测所述视频图像上的至少一个对象，并在检测的所述对象中确认位于所述第一盲区的至少一个第一对象；以及(b)所述盲区监控装置通过参照从安装在所述智能头盔上的全球定位系统(Global PositionSystem，GPS)传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照所述智能头盔方向和所述双轮车行驶方向来确认与所述第一对象中的所述双轮车相对应的位于至少一个第二盲区的至少一个第二对象，并通过安装在所述智能头盔上的平视显示器来显示所述第二对象，或通过安装在所述智能头盔上的至少一个扬声器的声音警报来表示所述第二对象位于所述第二盲区。
在一实施例中，所述步骤(b)还包括以下步骤：(b1)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和拍摄所述视频图像的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)通过参照所述传感器信息获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下步骤中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆和所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
在一实施例中，当位于所述骑手盲区中的所述特定附近车辆的所述特定附近驾驶员通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
在一实施例中，在所述步骤(b)中，所述盲区监控装置计算所述智能头盔方向与所述双轮车行驶方向之间的角度差后，利用所述角度差将所述第一对象的至少一个第一位置变换为与所述双轮车行驶方向相对应的至少一个相对位置，并将与所述第二盲区相匹配的所述相对位置的至少一部分所对应的所述第一对象的至少一部分判断为所述第二对象。
在一实施例中，在所述步骤(a)中，所述盲区监控装置通过将所述视频图像发送至所述对象检测器来指示所述对象检测器(i)将所述视频图像输入至卷积层中，从而使所述卷积层通过对所述视频图像进行卷积运算来生成至少一个特征图，(ii)将所述特征图输入至RPN中，从而使所述RPN生成与所述特征图上的所述对象相对应的至少一个提议框，(iii)将所述特征图输入至池化层，从而使所述池化层对与所述特征图上的所述提议框相对应的至少一个区域进行池化运算以生成至少一个特征向量，(iv)将所述特征向量输入至FC层中，从而使所述FC层对所述特征向量进行FC运算，(v)将出自所述FC层的输出分别输入至分类层和回归层，以使所述分类层和所述回归层分别输出与每个所述提议框相对应的每个所述对象的分类信息和回归信息，从而检测所述视频图像上的所述对象。
在一实施例中，所述对象检测器通过学习装置执行以下过程，进而达到已学习的状态，所述过程包括：(i)将训练图像输入至所述卷积层中，使所述卷积层对所述训练图像进行所述卷积运算，从而生成学习用特征图；(ii)将所述学习用特征图输入至所述RPN，使所述RPN生成与所述学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框；(iii)将所述学习用特征图输入至所述池化层，使所述池化层对与所述学习用特征图上的所述学习用提议框相对应的至少一个区域进行所述池化运算，从而生成学习用特征向量；(iv)将所述学习用特征向量输入至所述FC层，使所述FC层对所述学习用特征向量进行所述FC运算；(v)将出自所述FC层的至少一个学习用输出分别输入至所述分类层和所述回归层，分别输出与所述学习用提议框分别对应的每个所述学习用对象的学习用分类信息和学习用回归信息；以及(vi)使损失层参照所述学习用分类信息、所述学习用回归信息及分别与其相对应的GT来计算至少一个损失，并为了反向传播所述损失以最小化所述损失，使所述FC层及所述卷积层中的至少一个参数中的至少一个进行更新。
根据本申请的再一实施例，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，包括以下步骤：(a)若从骑手佩戴的所述智能头盔上安装的GPS传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则盲区监控装置通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及(b)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
在一实施例中，在所述步骤(b)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
在本申请的另一实施例中，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的盲区监控装置，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行所述指令，所述处理器执行以下过程：(I)若获取与骑手佩戴的所述智能头盔相对应的至少一个第一盲区的至少一个视频图像，则指示对象检测器检测所述视频图像上的至少一个对象的过程，并在检测的所述对象中确认位于所述第一盲区的至少一个第一对象；以及(II)通过参照从安装在所述智能头盔上的GPS传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照所述智能头盔方向和所述双轮车行驶方向来确认与所述第一对象中的所述双轮车相对应的位于至少一个第二盲区的至少一个第二对象，并通过安装在所述智能头盔上的平视显示器来显示所述第二对象，或通过安装在所述智能头盔上的至少一个扬声器的声音警报来表示所述第二对象位于所述第二盲区。
在一实施例中，所述过程(II)还包括以下过程：(II-1)将(i)通过参照佩戴所述智能头盔的所述骑手的视角和拍摄所述视频图像的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)通过参照所述传感器信息获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆和所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
在一实施例中，当位于所述骑手盲区中的所述特定附近车辆的所述特定附近驾驶员通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动的时，所述处理器指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向、及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
在一实施例中，在所述过程(II)中，所述处理器计算所述智能头盔方向与所述双轮车行驶方向之间的角度差后，利用所述角度差将所述第一对象的至少一个第一位置变换为与所述双轮车行驶方向相对应的至少一个相对位置，并将与所述第二盲区相匹配的所述相对位置的至少一部分所对应的所述第一对象的至少一部分判断为所述第二对象。
在一实施例中，在所述过程(I)中，所述处理器通过将所述视频图像发送至所述对象检测器来指示所述对象检测器(i)将所述视频图像输入至卷积层中，从而使所述卷积层通过对所述视频图像进行卷积运算来生成至少一个特征图，(ii)将所述特征图输入至RPN中，从而使所述RPN生成与所述特征图上的所述对象相对应的至少一个提议框，(iii)将所述特征图输入至池化层，从而使所述池化层对与所述特征图上的所述提议框相对应的至少一个区域进行池化运算以生成至少一个特征向量，(iv)将所述特征向量输入至FC层中，从而使所述FC层对所述特征向量进行FC运算，(v)将出自所述FC层的输出分别输入至分类层和回归层，以使所述分类层和所述回归层分别输出与每个所述提议框相对应的每个所述对象的分类信息和回归信息，从而检测所述视频图像上的所述对象。
在一实施例中，所述对象检测器通过学习装置执行以下过程，进而达到已学习的状态，所述过程包括：(i)将训练图像输入至所述卷积层中，使所述卷积层对所述训练图像进行所述卷积运算，从而生成学习用特征图；(ii)将所述学习用特征图输入至所述RPN，使所述RPN生成与所述学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框；(iii)将所述学习用特征图输入至所述池化层，使所述池化层对与所述学习用特征图上的所述学习用提议框相对应的至少一个区域进行所述池化运算，从而生成学习用特征向量；(iv)将所述学习用特征向量输入至所述FC层，使所述FC层对所述学习用特征向量进行所述FC运算；(v)将出自所述FC层的至少一个学习用输出分别输入至所述分类层和所述回归层，分别输出与所述学习用提议框分别对应的每个所述学习用对象的学习用分类信息和学习用回归信息；以及(vi)使损失层参照所述学习用分类信息、所述学习用回归信息及分别与其相对应的GT来计算至少一个损失，并为了反向传播所述损失以最小化所述损失，使所述FC层及所述卷积层中的至少一个参数中的至少一个进行更新。
根据本申请的又一实施例，一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的盲区监控装置，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于执行所述指令，所述处理器执行以下过程:(I)若从骑手佩戴的所述智能头盔上安装的GPS传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及(II)将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)将所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
在一实施例中，在所述过程(II)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
在一实施例中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向、及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
此外，还提供用于记录计算机程序以执行本申请的方法的计算机可读记录介质。
本申请的效果在于，通过使双轮车骑手感知周围环境来防止交通事故。
本申请的另一效果在于，通过使双轮车骑手感知周围环境来改善骑手的行驶质量(Driving Quality)。
本申请的又一效果在于，通过V2X通信将双轮车骑手获取的信息发送至附近车辆，以使附近车辆安全驾驶，由此减少道路上的交通事故。
附图说明
以下用于解释本申请的示例性实施方式的附图仅是本申请的示例性实施方式的一部分，并且本领域技术人员无需进行创造性劳动即可基于这些附图获得其他附图。
图1为本申请一实施例的盲区监控装置的简易示意图，所述盲区监控装置通过利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区；
图2为本申请一实施例的盲区监控方法的简易示意图，所述盲区监控方法通过利用双轮车骑手用智能头盔来监控双轮车的盲区；
图3为本申请一实施例的对象检测器的简易示意图，所述对象检测器用于在利用双轮车骑手用智能头盔来监控双轮车的盲区的方法中从至少一个视频图像检测至少一个对象；
图4为本申请一实施例的监控过程的简易示意图，所述过程为利用双轮车骑手用智能头盔在双轮车盲区监控方法中监控双轮车盲区的过程；
图5为本申请一实施例的在利用双轮车骑手用智能头盔来监控双轮车盲区的方法中的双轮车及周围车辆的行驶状态的简易示意图；
图6为本申请一实施例的进行自动驾驶的自动驾驶车辆的工作状态的简易示意图，所述车辆在利用双轮车骑手用智能头盔来监控双轮车盲区的方法中从智能头盔中参照双轮车盲区的信息来进行自动驾驶。
具体实施方式
下面对本申请进行的详细说明参照作为特定实施例示例性示出的附图，以使本申请的目的、技术方案及优点清楚。这些实施例为使本领域技术人员充分实施本申请而被详细说明。
此外，在本申请的描述中，需要理解的是，术语“包括”及其变化形式的其他术语等仅是为了添加其他技术特征、附加物、组件或步骤，本申请的其他目的、有益效果、特征等内容将通过说明书和本申请的实施方式向本领域技术人员揭示。以下通过一些实施例和附图具体说明本申请的保护内容，当然，它们仅仅为示例，并且目的不在于限制本申请。
此外，本申请涵盖了本说明书中指示的示例实施例的所有可能的组合。应当理解，本申请的各种实施例尽管不同，但不一定是相互排斥的。例如，在不背离本申请的精神和范围的情况下，可以在其他实施例内实现本文结合一个实施例描述的特定形状、结构或特性。另外，应当理解，在不脱离本申请的精神和范围的情况下，可以修改每个公开的实施例内的各个元件的位置或布置。因此，以下详细描述不应被理解为限制性的，并且本申请的范围仅由适当地解释的所附权利要求以及权利要求所赋予的等同物的全部范围来限定。在附图中，贯穿几个方面，相似的附图标记指代相同或相似的功能。
本申请内容中提及的任何图像都可以包括与任何已铺设或未铺设的道路有关的图像，在这种情况下，道路上或道路附近的物体可能包括车辆，人员，动物，植物，建筑物，飞行物体(例如飞机或无人机)，或可能出现在与道路有关的场景中的任何其他障碍物，但是本申请的范围不限于此。作为另一示例，本申请中提及的所述任何图像可以包括与任何道路都不相关的图像，诸如与巷道，土地，海洋，湖泊，河流，山脉，森林，沙漠，天空或任何室内空间有关的图像，在这种情况下，上述任何图像中的物体可能包括车辆，人员，动物，植物，建筑物，飞行物体(如飞机或无人驾驶飞机)，轮船，两栖飞机或轮船，或可能出现在与小巷有关的场景中的任何其他障碍物，土地，海洋，湖泊，河流，山脉，森林，沙漠，天空或任何室内空间，但是本申请的范围不限于此。
本文提供的本申请的标题和摘要仅是为了方便，并不限制或解释实施例的范围或含义。
为了使本申请的本领域技术人员能够容易地实施，将通过参考附图来详细说明本申请的优选实施例，如下所示。
图1为本申请一实施例的盲区监控装置的简易示意图，所述盲区监控装置通过利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区。参照图1，盲区监控装置100可以包括：存储器110，用于存储指令(Instruction)，所述指令为通过参照从双轮车骑手佩戴的智能头盔上安装的至少一个传感器获取的传感器信息来监控双轮车盲区；以及处理器120，用于执行以下步骤，根据存储于存储器110的指令参照从智能头盔上安装的传感器获取的传感器信息来监控双轮车的盲区。在本申请中，双轮车可以包括独轮自行车、自行车、三轮自行车、两轮车、单轮或三轮摩托车等，但本申请的范围不限于此。
具体地，盲区监控装置100通常使用至少一个计算装置与至少一个计算机软件的组合来达到需要的系统性能。计算装置包括例如：计算机处理器、Memory、Storage、输入设备以及输出设备或任何其他常规计算组件，路由器或交换机等电子通信设备，网络附加存储(NA)及存储区域网络(SAN)等电子信息存储系统。计算机软件是使计算装置以特定方式发挥功能的指令。
此外，计算装置的处理器可以包括：MPU(Micro Processing Unit)或CPU(CentralProcessing Unit)，高速缓冲存储器(Cache Memory)，数据总线(Data Bus)等硬件结构。另外，计算装置还可以包括执行运营体制、实现特定功能的应用程序的软件结构。
然而，对计算装置的这种描述不排除包括用于实现本申请的处理器、存储器、介质或任何其他计算组件的任何组合的集成设备。
以下参照图2，来说明双轮车的盲区监控方法，所述方法为利用如上结构的本申请一实施例的盲区监控装置100来参照从智能头盔上安装的传感器获取的传感器信息的双轮车的盲区监控方法。
首先，在步骤S1中，若从双轮车上的骑手佩戴的智能头盔上安装的至少一个照相机或至少一个雷达传感器10获取至少一个第一盲区的至少一个视频图像，则盲区监控装置100指示对象检测器检测视频图像上的至少一个对象。此时，雷达传感器可以包括激光雷达传感器(LiDAR Sensor)、激光传感器(Laser Sensor)、超声波传感器等，并且只要是可以通过扫描周围环境来获取与周围环境相对应的图像的传感器，则都可以包括在其中。
作为一个示例，参照图3，盲区监控装置100可以将视频图像发送至对象检测器150。则对象检测器150会将视频图像输入至卷积层151，使卷积层151对视频图像进行至少一次卷积运算，从而生成至少一个特征图。而且，对象检测器150可以输出与特征图上的至少一个对象相对应的至少一个提议框。此后，对象检测器150可以将特征图输入至池化层(Pooling Layer)153,使池化层153对与特征图上的提议框相对应的至少一个区域进行池化运算，从而输出至少一个特征向量。此后，对象检测器150将特征向量输入至全连接(Fully-Connected，FC)层154，使FC层154对特征向量进行FC运算，并可以将出自FC层154的至少一个输出分别输入至分类层155和回归层156，从而分别生成与每个提议框相对应的每个对象的分类信息和回归信息，以检测视频图像上的对象。
此时，对象检测器可以根据学习装置达到已学习的状态。
即，学习装置将至少一个训练图像输入至卷积层151，使卷积层151通过对训练图像进行至少一次卷积运算来生成至少一个学习用特征图，并且将学习用特征图输入至区域建议网络(Region Proposal Network，RPN)152，使RPN 152输出与学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框。之后，学习装置将学习用特征图输入至池化层153，使池化层153对与学习用特征图上的学习用提议框相对应的至少一个区域进行池化运算，从而生成至少一个学习用特征向量，并将学习用特征向量输入至FC层154，使FC层154对学习用特征向量进行FC运算。此后，学习装置将出自FC层154的至少一个学习用输出分别输入至分类层155和回归层156，从而分别生成与学习用提议框分别对应的至少一个学习用对象的学习用分类信息和学习用回归信息。而且，学习装置使损失层参照与学习用分类信息、学习用回归信息及与其分别相对应的确实信息(Ground Truth Information，GTInformation)来生成至少一个损失，并为了通过利用损失的反向传播来最小化损失，对FC层154及卷积层151中的至少一个参数中的至少一个进行更新。作为重复以上步骤的结果，学习装置可以学习对象检测器。
接下来，在步骤S2中，盲区监控装置100可以在根据对象检测器检测到的对象中确认位于第一盲区的至少一个第一对象。
此时，第一盲区可以为与智能头盔相对应的盲区，可以是智能头盔的预设距离以内且激光雷达无法用视觉感知的区域。
接下来，在步骤S3中，若从安装在智能头盔上的传感器20，例如GPS传感器、加速传感器及地磁传感器中的至少一部分中获取传感器信息，则盲区监控装置100可以通过参照出自GPS传感器、加速传感器及地磁传感器中的至少一部分的传感器信息来确认智能头盔方向和双轮车行驶方向。
此后，在步骤S4中，盲区监控装置100可以通过参照智能头盔方向和双轮车行驶方向来确认与第一对象中的双轮车相对应的位于至少一个第二盲区的至少一个第二对象。此时，第二盲区可以是双轮车周围区域中双轮车上的骑手无法用视觉感知的区域。
即，盲区监控装置100可以计算智能头盔方向与双轮车行驶方向之间的至少一个角度差后，利用角度差将第一对象的至少一个第一位置变换为与双轮车行驶方向相对应的至少一个相对位置(Relative Location)，并将与第二盲区相匹配的相对位置的至少一部分所对应的第一对象的至少一部分确定为第二对象。
作为一个示例，参照图4，双轮车1的骑手佩戴的智能头盔2上安装的照相机或雷达传感器的至少一个感测角4可以与智能头盔的盲区，即，智能头盔的至少一个后方区域相对应，双轮车1的盲区5可以是至少一个预设区域，所述预设区域为骑手无法根据双轮车1的行驶方向来视觉感知的区域。
此时，智能头盔2的智能头盔方向可以由骑手改变，在这种情况下，利用对象检测器检测到的位于作为智能头盔盲区的第一盲区中的第一对象，可能不是从作为双轮车盲区的第二盲区检测到的对象。
因此，盲区监控装置100以智能头盔2为基准来确定头盔方向RD与双轮车行驶方向BD之间的角度，并通过参照确定的角度来将第一对象的第一位置变换为以双轮车行驶方向BD为基准的相对位置，将相对位置位于第二盲区5的第一对象的至少一部分确定为第二对象，从而可以检测位于双轮车的盲区5的对象。
接下来，在步骤S5中，盲区监控装置100通过智能头盔上安装的平视显示器来显示位于作为双轮车盲区的第二盲区的第二对象，或通过安装在智能头盔上的至少一个扬声器发出的警报来表示第二对象位于第二盲区，从而使骑手感知位于双轮车盲区的对象，即，感知到至少一个行人、至少一个车辆或至少一个其他双轮车，以实现双轮车的安全行驶。
与此同时，在步骤S6中，盲区监控装置100可以通过参照佩戴智能头盔的骑手视角和拍摄视频图像的照相机或雷达传感器的感测角来确认至少一个骑手盲区。
即，再次参照图4，可以确定骑手盲区6，所述骑手盲区6为脱离智能头盔上安装的照相机或雷达传感器的感测角4和佩戴智能头盔的骑手视角3范围的状态。
因此，在步骤S7中，盲区监控装置100可以将(i)通过参照佩戴智能头盔的骑手的视角和拍摄视频图像的照相机或雷达传感器的感测角来获取的骑手盲区信息、以及(ii)通过参照出自智能头盔的传感器信息来获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至至少一个附近双轮车的至少一个智能头盔。此时，盲区监控装置100可以通过V2X(Vehicle To Everything)通信发送骑手盲区信息、双轮车位置、双轮车行驶方向及双轮车行驶速度。
之后，位于骑手盲区中的一个位置的特定附近车辆通过参照(i)从盲区监控装置100获取的双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来确定特定附近车辆与双轮车之间发生交通事故的可能性，并可以利用所述可能性来对特定附近车辆的特定附近驾驶员发出警报。另外，与附近智能头盔中的位于骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔可以参照(i)从盲区监控装置100获取的双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近智能头盔的传感器信息中获取的附近车辆位置、附近车辆行驶方向及附近车辆行驶速度来判断特定附近车辆与所述双轮车之间发生交通事故的可能性，从而向与特定附近双轮车相对应的至少一个特定附近骑手发出警报。
此时，位于骑手盲区的特定附近车辆的特定附近驾驶员参照(i)从盲区监控装置100获取的双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来操作特定附近车辆的方向盘以向双轮车的附近前方区域移动时，位于骑手盲区的特定附近车辆可以通过停止方向盘旋转或使方向盘振动来向特定附近驾驶员发出警报。
作为一个示例，参照图5，在双轮车1附近行驶的车辆30通过参照从盲区监控装置100接收的骑手盲区信息来确认车辆30是否位于骑手盲区6中，当车辆30被判断为位于所述骑手盲区6中时，若将车辆30的行驶方向变更为双轮车1的骑手不注意的区域，即，骑手无法视觉性感知的双轮车的附近前方区域，则对发生交通事故的可能性超过预设阈值的危险区域40进行确认，进而中断车辆30进入危险区域40，以防止可能会发生在车辆30与骑手1之间的交通事故。
此外，当位于骑手盲区的特定附近车辆为自动驾驶车辆时，通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从自动驾驶车辆的传感器信息中获取的自动驾驶车辆位置、自动驾驶车辆行驶方向、及自动驾驶车辆行驶速度来判断出自动驾驶车辆的行驶计划为向双轮车的附近前方区域移动时，可以使位于骑手盲区的自动驾驶车辆停止因自动驾驶车辆的行驶计划而导致的自动驾驶车辆的车道变更。
作为一个示例，参照图6，在步骤S11中，自动驾驶车辆200可以通过参照自动驾驶计划201和出自至少一个转向传感器202的至少一个信号来判断车道变更与否及车道变更时的车道变更方向，在步骤S12中，利用从至少一个位置传感器及至少一个速度传感器获取的传感器信息来参照自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆的行驶速度，在自动驾驶车辆行驶期间，若通过V2X通信部204获取到骑手盲区信息、双轮车位置、双轮车行驶方向及双轮车行驶速度，则可以参照骑手盲区信息来判断自动驾驶车辆200自身是否位于骑手盲区中。
之后，在步骤S13中，若判断出自动驾驶车辆200位于骑手盲区中，则可以判断出自动驾驶车辆200的行驶环境是否危险。
即，通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从自动驾驶车辆的传感器信息中获取的自动驾驶车辆位置、自动驾驶车辆行驶方向及自动驾驶车辆行驶速度来判断出自动驾驶车辆的行驶计划为从骑手盲区中的一个位置向双轮车附近前方区域移动时，由于双轮车的骑手无法感知到自动驾驶车辆100，因此可以判断出自动驾驶车辆发生交通事故的可能性大于预设阈值。
则，自动驾驶车辆200通过启动电子转向装置205来使方向盘难以操作或使方向盘发生振动，从而使自动驾驶车辆200的驾驶员感知到危险情况。并且，自动驾驶车辆200可以通过启动自动驾驶系统206来中断自动驾驶车辆200向双轮车方向变更车道，从而防止交通事故。另外，自动驾驶车辆200可以通过启动警报装置207，利用光或声音等来向自动驾驶车辆的驾驶员及双轮车的骑手发出警报，从而防止交通事故。
在上述说明中，盲区监控装置监控双轮车盲区的过程及将骑手盲区信息发送至附近车辆或附近智能头盔的过程被描述为同时执行，但与此不同，可以仅执行盲区监控装置将骑手盲区信息发送至附近车辆或附近智能头盔的步骤。
即，若从骑手佩戴的智能头盔上安装的GPS传感器、加速传感器及地磁传感器中的至少一部分中获取传感器信息，则盲区监控装置可以通过参照出自智能头盔的传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度的过程。之后，盲区监控装置将(i)通过参照佩戴智能头盔的骑手的视角和智能头盔上安装的照相机或雷达传感器的感测角来获取的骑手盲区信息，以及(ii)双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与附近车辆及附近双轮车相对应的附近智能头盔，从而执行以下步骤中的至少一个，(1)指示附近车辆中位于骑手盲区中的特定附近车辆通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断特定附近车辆与双轮车之间发生交通事故的可能性，从而(1-b)向特定附近车辆的特定附近驾驶员发出警报；以及(2)指示与附近智能头盔中位于骑手盲区中的至少一个特定附近双轮车相对应的特定附近智能头盔通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附件双轮车行驶速度来(2-a)判断特定附近双轮车与双轮车之间发生交通事故的可能性，从而(2-b)向与特定附近双轮车相对应的特定附近骑手发出警报。
此时，当位于骑手盲区的特定附近车辆的特定附近驾驶员通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来操作特定附近车辆的方向盘以向双轮车的附近前方区域移动时，盲区监控装置100指示位于骑手盲区的特定附近车辆停止方向盘旋转或使方向盘振动，以向特定附近驾驶员发出警报。
另外，当位于骑手盲区的特定附近车辆为自动驾驶车辆时，通过参照(i)双轮车位置、双轮车行驶方向及双轮车行驶速度，以及(ii)从自动驾驶车辆的传感器信息中获取的自动驾驶车辆位置、自动驾驶车辆行驶方向及自动驾驶车辆行驶速度来判断出自动驾驶车辆的行驶计划为向双轮车的附近前方位置移动时，盲区监控装置100指示位于骑手盲区的自动驾驶车辆停止因行驶计划而导致的自动驾驶车辆的车道变更。
如上所述，本申请通过参照智能头盔上安装的照相机或出自激光传感器的传感器信息来检测盲区，并以生成的头盔方向为基准来获取盲区检测结果后，利用人的识别状态来监控驾驶员的状态从而确认智能头盔方向，参照智能头盔方向和双轮车行驶方向，以头盔方向为基准，将基于从盲区检测结果变换的双轮车行驶方向的盲区检测结果发送至双轮车骑手，从而确认从智能头盔上安装的照相机或激光传感器的感测角和佩戴智能头盔的激光雷达的视角中的任一项都无法确认的激光雷达盲区后，通过V2X通信将确认的激光雷达盲区发送至附近车辆或附近双轮车，从而使附近车辆或附近双轮车可以参照骑手盲区来安全行驶。
并且，本申请的技术方案的目的或对现有技术做出贡献的部分可以通过各种计算机手段以可执行程序命令的形式来实现，并且可以被记录到计算机可读记录介质中。计算机可读介质可以单独地或组合地包括程序命令，数据文件和数据结构。记录到介质的程序命令可以是为本申请内容专门设计的组件，或者可以是计算机软件领域的技术人员可以使用的。计算机可读记录介质包括磁性介质(例如硬盘，软盘和磁带)，光学介质(例如CD-ROM和DVD)，磁光介质(例如软盘)和硬件设备(例如ROM，RAM和闪存)设计用于存储和执行程序。程序命令不仅包括由编译器进行的机器语言代码，而且包括可由计算机执行的解释器等可以使用的高级代码。前述硬件设备可以起软件模块的作用，以执行本申请的动作，并且它们可以在相反的情况下进行相同的操作。硬件设备可以与诸如ROM和RAM之类的存储器组合以存储程序命令，并且可以包括诸如CPU或GPU之类的处理器，以执行存储在存储器中的命令，并且还包括用于与外部设备发送和接收信号的通信部分。
如上所述，已经通过诸如详细的部件，受限的实施例和附图的特定事项解释了本申请。尽管已经通过优选实施例描述了本申请，但是，本领域技术人员将理解，本申请的保护范围可以在不脱离本发明的精神和范围的情况下进行各种改变和修改。
因此，本申请的思想一定不限于所解释的实施例，并且以下专利权利要求以及包括与专利权利要求等同或等同的变型在内的所有内容都属于本申请的思想的范畴。

Claims (20)

1.一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，其中，包括以下步骤：
(a)若获取与骑手佩戴的所述智能头盔相对应的至少一个第一盲区的至少一个视频图像，则盲区监控装置指示对象检测器检测所述视频图像上的至少一个对象，并在检测的所述对象中确认位于所述第一盲区的至少一个第一对象；以及
(b)所述盲区监控装置通过参照从安装在所述智能头盔上的全球定位系统传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照所述智能头盔方向和所述双轮车行驶方向来确认与所述第一对象中的所述双轮车相对应的位于至少一个第二盲区的至少一个第二对象，并通过安装在所述智能头盔上的平视显示器来显示所述第二对象，或通过安装在所述智能头盔上的至少一个扬声器的声音警报来表示所述第二对象位于所述第二盲区。
2.如权利要求1所述的方法，其中，所述步骤(b)还包括以下步骤：
(b1)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和拍摄所述视频图像的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)通过参照所述传感器信息获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下步骤中的至少一个：
(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆和所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及
(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
3.如权利要求2所述的方法，其中，当位于所述骑手盲区中的所述特定附近车辆的所述特定附近驾驶员通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
4.如权利要求2所述的方法，其中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
5.如权利要求1所述的方法，其中，在所述步骤(b)中，所述盲区监控装置计算所述智能头盔方向与所述双轮车行驶方向之间的角度差后，利用所述角度差将所述第一对象的至少一个第一位置变换为与所述双轮车行驶方向相对应的至少一个相对位置，并将与所述第二盲区相匹配的所述相对位置的至少一部分所对应的所述第一对象的至少一部分判断为所述第二对象。
6.如权利要求1所述的方法，其中，在所述步骤(a)中，所述盲区监控装置通过将所述视频图像发送至所述对象检测器来指示所述对象检测器(i)将所述视频图像输入至卷积层中，从而使所述卷积层通过对所述视频图像进行卷积运算来生成至少一个特征图，(ii)将所述特征图输入至区域建议网络中，从而使所述区域建议网络生成与所述特征图上的所述对象相对应的至少一个提议框，(iii)将所述特征图输入至池化层，从而使所述池化层对与所述特征图上的所述提议框相对应的至少一个区域进行池化运算以生成至少一个特征向量，(iv)将所述特征向量输入至全连接层中，从而使所述全连接层对所述特征向量进行全连接运算，(v)将出自所述全连接层的输出分别输入至分类层和回归层，以使所述分类层和所述回归层分别输出与每个所述提议框相对应的每个所述对象的分类信息和回归信息，从而检测所述视频图像上的所述对象。
7.如权利要求6所述的方法，其中，所述对象检测器通过学习装置执行以下过程，进而达到已学习的状态，所述过程包括：
(i)将训练图像输入至所述卷积层中，使所述卷积层对所述训练图像进行所述卷积运算，从而生成学习用特征图；
(ii)将所述学习用特征图输入至所述区域建议网络，使所述区域建议网络生成与所述学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框；
(iii)将所述学习用特征图输入至所述池化层，使所述池化层对与所述学习用特征图上的所述学习用提议框相对应的至少一个区域进行所述池化运算，从而生成学习用特征向量；
(iv)将所述学习用特征向量输入至所述全连接层，使所述全连接层对所述学习用特征向量进行所述全连接运算；
(v)将出自所述全连接层的至少一个学习用输出分别输入至所述分类层和所述回归层，分别输出与所述学习用提议框分别对应的每个所述学习用对象的学习用分类信息和学习用回归信息；以及
(vi)使损失层参照所述学习用分类信息、所述学习用回归信息及分别与其相对应的确实来计算至少一个损失，并为了反向传播所述损失以最小化所述损失，使所述全连接层及所述卷积层中的至少一个参数中的至少一个进行更新。
8.一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的方法，其中，包括以下步骤：
(a)若从骑手佩戴的所述智能头盔上安装的全球定位系统传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则盲区监控装置通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及
(b)所述盲区监控装置将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：
(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及
(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
9.如权利要求8所述的方法，其中，在所述步骤(b)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
10.如权利要求8所述的方法，其中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述盲区监控装置指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
11.一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的盲区监控装置，其中，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，用于执行所述指令，所述处理器执行以下过程：
(I)若获取与骑手佩戴的所述智能头盔相对应的至少一个第一盲区的至少一个视频图像，则指示对象检测器检测所述视频图像上的至少一个对象的过程，并在检测的所述对象中确认位于所述第一盲区的至少一个第一对象；以及
(II)通过参照从安装在所述智能头盔上的全球定位系统传感器、加速传感器及地磁传感器中的至少一部分中获取的传感器信息来判断智能头盔方向及双轮车行驶方向后，通过参照所述智能头盔方向和所述双轮车行驶方向来确认与所述第一对象中的所述双轮车相对应的位于至少一个第二盲区的至少一个第二对象，并通过安装在所述智能头盔上的平视显示器来显示所述第二对象，或通过安装在所述智能头盔上的至少一个扬声器的声音警报来表示所述第二对象位于所述第二盲区。
12.如权利要求11所述的盲区监控装置，其中，所述过程(II)还包括以下过程：
(II-1)将(i)通过参照佩戴所述智能头盔的所述骑手的视角和拍摄所述视频图像的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)通过参照所述传感器信息获取的双轮车位置、双轮车行驶方向及双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：
(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆和所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及
(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
13.如权利要求12所述的盲区监控装置，其中，当位于所述骑手盲区中的所述特定附近车辆的所述特定附近驾驶员通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动的时，所述处理器指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
14.如权利要求12所述的盲区监控装置，其中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向、及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
15.如权利要求11所述的盲区监控装置，其中，在所述过程(II)中，所述处理器计算所述智能头盔方向与所述双轮车行驶方向之间的角度差后，利用所述角度差将所述第一对象的至少一个第一位置变换为与所述双轮车行驶方向相对应的至少一个相对位置，并将与所述第二盲区相匹配的所述相对位置的至少一部分所对应的所述第一对象的至少一部分判断为所述第二对象。
16.如权利要求11所述的盲区监控装置，其中，在所述过程(I)中，所述处理器通过将所述视频图像发送至所述对象检测器来指示所述对象检测器(i)将所述视频图像输入至卷积层中，从而使所述卷积层通过对所述视频图像进行卷积运算来生成至少一个特征图，(ii)将所述特征图输入至区域建议网络中，从而使所述区域建议网络生成与所述特征图上的所述对象相对应的至少一个提议框，(iii)将所述特征图输入至池化层，从而使所述池化层对与所述特征图上的所述提议框相对应的至少一个区域进行池化运算以生成至少一个特征向量，(iv)将所述特征向量输入至全连接层中，从而使所述全连接层对所述特征向量进行全连接运算，(v)将出自所述全连接层的输出分别输入至分类层和回归层，以使所述分类层和所述回归层分别输出与每个所述提议框相对应的每个所述对象的分类信息和回归信息，从而检测所述视频图像上的所述对象。
17.如权利要求16所述的盲区监控装置，其中，所述对象检测器通过学习装置执行以下过程，进而达到已学习的状态，所述过程包括：
(i)将训练图像输入至所述卷积层中，使所述卷积层对所述训练图像进行所述卷积运算，从而生成学习用特征图；
(ii)将所述学习用特征图输入至所述区域建议网络，使所述区域建议网络生成与所述学习用特征图上的至少一个学习用对象相对应的至少一个学习用提议框；
(iii)将所述学习用特征图输入至所述池化层，使所述池化层对与所述学习用特征图上的所述学习用提议框相对应的至少一个区域进行所述池化运算，从而生成学习用特征向量；
(iv)将所述学习用特征向量输入至所述全连接层，使所述全连接层对所述学习用特征向量进行所述全连接运算；
(v)将出自所述全连接层的至少一个学习用输出分别输入至所述分类层和所述回归层，分别输出与所述学习用提议框分别对应的每个所述学习用对象的学习用分类信息和学习用回归信息；以及
(vi)使损失层参照所述学习用分类信息、所述学习用回归信息及分别与其相对应的确实来计算至少一个损失，并为了反向传播所述损失以最小化所述损失，使所述全连接层及所述卷积层中的至少一个参数中的至少一个进行更新。
18.一种利用双轮车骑手用智能头盔来监控双轮车的至少一个盲区的盲区监控装置，其中，包括：
至少一个存储器，用于存储指令；以及
至少一个处理器，用于执行所述指令，所述处理器执行以下过程:
(I)若从骑手佩戴的所述智能头盔上安装的全球定位系统传感器、加速传感器及地磁传感器中的至少一部分中获取到传感器信息，则通过参照所述传感器信息来获取双轮车位置、双轮车行驶方向及双轮车行驶速度；以及
(II)将(i)通过参照佩戴所述智能头盔的所述骑手的视角和所述智能头盔上安装的照相机或雷达传感器的至少一个感测角来获取的骑手盲区信息、以及(ii)将所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度发送至与至少一个附近车辆及至少一个附近双轮车相对应的至少一个附近智能头盔，从而执行以下过程中的至少一个：
(1)指示所述附近车辆中的至少一个位于骑手盲区的至少一个特定附近车辆参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的车辆位置、车辆行驶方向及车辆行驶速度来(1-a)判断所述特定附近车辆与所述双轮车之间发生交通事故的可能性，从而(1-b)向所述特定附近车辆的至少一个特定附近驾驶员发出警报；以及
(2)指示与所述附近智能头盔中的位于所述骑手盲区的至少一个特定附近双轮车相对应的至少一个特定附近智能头盔参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近智能头盔的传感器信息中获取的附近双轮车位置、附近双轮车行驶方向及附近双轮车行驶速度来(2-a)判断所述特定附近双轮车与所述双轮车之间发生交通事故的可能性，从而(2-b)向与所述特定附近双轮车相对应的至少一个特定附近骑手发出警报。
19.如权利要求18所述的盲区监控装置，其中，在所述过程(II)中，当位于所述骑手盲区的所述特定附近车辆的所述特定附近驾驶员参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述特定附近车辆的传感器信息中获取的所述车辆位置、所述车辆行驶方向及所述车辆行驶速度来操作所述特定附近车辆的方向盘以向所述双轮车的附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述特定附近车辆停止所述方向盘的旋转或使所述方向盘振动，从而向所述特定附近驾驶员发出警报。
20.如权利要求18所述的盲区监控装置，其中，当位于所述骑手盲区的所述特定附近车辆为自动驾驶车辆时，通过参照(i)所述双轮车位置、所述双轮车行驶方向及所述双轮车行驶速度，以及(ii)从所述自动驾驶车辆的传感器信息中获取的自动驾驶车辆的位置、自动驾驶车辆的行驶方向、及自动驾驶车辆行驶速度来判断出所述自动驾驶车辆的行驶计划为向所述双轮车的所述附近前方区域移动时，所述处理器指示位于所述骑手盲区的所述自动驾驶车辆停止因所述行驶计划而导致的所述自动驾驶车辆的车道变更。
CN202010073407.2A 2019-01-31 2020-01-22 利用智能头盔来监控双轮车盲区的方法及装置 Active CN111493443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211056264.XA CN115515106A (zh) 2019-01-31 2020-01-22 利用双轮车骑手用智能头盔来监控双轮车的盲区的方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799282P 2019-01-31 2019-01-31
US62/799,282 2019-01-31
US16/732,039 2019-12-31
US16/732,039 US10698222B1 (en) 2019-01-31 2019-12-31 Method for monitoring blind spot of cycle using smart helmet for cycle rider and blind spot monitoring device using them

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211056264.XA Division CN115515106A (zh) 2019-01-31 2020-01-22 利用双轮车骑手用智能头盔来监控双轮车的盲区的方法

Publications (2)

Publication Number Publication Date
CN111493443A true CN111493443A (zh) 2020-08-07
CN111493443B CN111493443B (zh) 2022-09-20

Family

ID=71125280

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202010073407.2A Active CN111493443B (zh) 2019-01-31 2020-01-22 利用智能头盔来监控双轮车盲区的方法及装置
CN202211056264.XA Pending CN115515106A (zh) 2019-01-31 2020-01-22 利用双轮车骑手用智能头盔来监控双轮车的盲区的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211056264.XA Pending CN115515106A (zh) 2019-01-31 2020-01-22 利用双轮车骑手用智能头盔来监控双轮车的盲区的方法

Country Status (5)

Country Link
US (1) US10698222B1 (zh)
EP (1) EP3690859A1 (zh)
JP (1) JP6919925B2 (zh)
KR (1) KR102325021B1 (zh)
CN (2) CN111493443B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115303390A (zh) * 2022-08-30 2022-11-08 拉扎斯网络科技（上海）有限公司 配送场景中转向灯辅助控制方法、装置和系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3745157B1 (en) * 2019-05-31 2023-11-29 Aptiv Technologies Limited Method for detecting non-visible vehicles and system thereof
CN112026693A (zh) * 2020-08-19 2020-12-04 山东交通职业学院 工程机械防倾翻控制系统及其控制方法
US11462021B2 (en) * 2021-01-13 2022-10-04 GM Global Technology Operations LLC Obstacle detection and notification for motorcycles
KR20230094290A (ko) 2021-12-21 2023-06-28 금오공과대학교 산학협력단 스마트 헬멧 시스템
KR102607080B1 (ko) * 2022-04-25 2023-11-29 충남대학교산학협력단 지능형 헬멧 장치 및 이의 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005778A1 (en) * 2000-05-08 2002-01-17 Breed David S. Vehicular blind spot identification and monitoring system
JP2004046426A (ja) * 2002-07-10 2004-02-12 Honda Motor Co Ltd 車両用警告システム
JP2013011939A (ja) * 2011-06-28 2013-01-17 Mitsubishi Motors Corp 運転支援装置
CN104794936A (zh) * 2013-12-31 2015-07-22 国际商业机器公司 用于车辆防撞的方法和系统
US9247779B1 (en) * 2012-11-08 2016-02-02 Peter Aloumanis Enhanced global positioning system (GPS) based functionality for helmets
US20170032195A1 (en) * 2015-07-31 2017-02-02 Suzuki Motor Corporation Image display system
CN207037598U (zh) * 2017-05-31 2018-02-23 广东南海鹰视通达科技有限公司 一种智能显示头盔及其显示系统
CN109606263A (zh) * 2017-10-04 2019-04-12 斯特拉德视觉公司 对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3123844U (ja) * 2006-05-18 2006-07-27 祥一 君塚 自動二輪車用後方確認システム
JP4948115B2 (ja) * 2006-10-18 2012-06-06 ヤマハ発動機株式会社 後方視認装置
US10219571B1 (en) * 2012-11-08 2019-03-05 Peter Aloumanis In helmet sensors providing blind spot awareness
US10368602B2 (en) * 2015-04-27 2019-08-06 Intelligent Cranium Helmets, LLC Protective helmet
TWM516332U (zh) * 2015-11-11 2016-02-01 Jarvish Inc 具視線死角輔助功能的安全帽

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005778A1 (en) * 2000-05-08 2002-01-17 Breed David S. Vehicular blind spot identification and monitoring system
JP2004046426A (ja) * 2002-07-10 2004-02-12 Honda Motor Co Ltd 車両用警告システム
JP2013011939A (ja) * 2011-06-28 2013-01-17 Mitsubishi Motors Corp 運転支援装置
US9247779B1 (en) * 2012-11-08 2016-02-02 Peter Aloumanis Enhanced global positioning system (GPS) based functionality for helmets
CN104794936A (zh) * 2013-12-31 2015-07-22 国际商业机器公司 用于车辆防撞的方法和系统
US20170032195A1 (en) * 2015-07-31 2017-02-02 Suzuki Motor Corporation Image display system
CN207037598U (zh) * 2017-05-31 2018-02-23 广东南海鹰视通达科技有限公司 一种智能显示头盔及其显示系统
CN109606263A (zh) * 2017-10-04 2019-04-12 斯特拉德视觉公司 对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115303390A (zh) * 2022-08-30 2022-11-08 拉扎斯网络科技（上海）有限公司 配送场景中转向灯辅助控制方法、装置和系统

Also Published As

Publication number Publication date
CN111493443B (zh) 2022-09-20
KR20200096122A (ko) 2020-08-11
KR102325021B1 (ko) 2021-11-15
JP6919925B2 (ja) 2021-08-18
CN115515106A (zh) 2022-12-23
US10698222B1 (en) 2020-06-30
EP3690859A1 (en) 2020-08-05
JP2020126629A (ja) 2020-08-20

Similar Documents

Publication Publication Date Title
CN111493443B (zh) 利用智能头盔来监控双轮车盲区的方法及装置
JP6800899B2 (ja) 視界に制限のある交差点への接近のためのリスクベースの運転者支援
US10633007B1 (en) Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
US9862364B2 (en) Collision mitigated braking for autonomous vehicles
US20180134285A1 (en) Autonomous driving apparatus and vehicle including the same
WO2018170074A1 (en) Vehicle sensor system and method of use
US20150293534A1 (en) Vehicle control system and method
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
US20220012995A1 (en) Active vehicle safety system for cyclists and pedestrians
KR101511858B1 (ko) 보행자 또는 이륜차를 인지하는 운전보조시스템 및 그 제어방법
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
KR102581766B1 (ko) 차량 제어 장치, 차량 제어 방법 및 차량 제어 시스템
JP2017091093A (ja) 情報表示装置
JP2017151703A (ja) 自動運転装置
CN107992056A (zh) 一种基于分域集中计算单元的汽车智能驾驶计算平台终端
WO2017115371A1 (en) Apparatus and method for avoiding vehicular accidents
US20200130678A1 (en) Control apparatus, control method, and program
KR102669061B1 (ko) 인공지능 기반의 차량과 객체 간의 충돌 위험도 검출 시스템
KR20200136398A (ko) 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체
JP7133086B2 (ja) 鞍乗り型車両
JP2022139524A (ja) 運転支援装置及び記録媒体
KR101574010B1 (ko) 안전운전용 영상표시장치 및 그 구동방법
WO2022044634A1 (ja) 対象物認識装置、移動体衝突予防装置および対象物認識方法
KR102616203B1 (ko) 차량 후측방 경보 제어장치 및 방법
KR20150074753A (ko) 차량 운전 보조 장치 및 이를 구비한 차량

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant