CN111506057B - 辅助自动驾驶的自动驾驶辅助眼镜 - Google Patents

辅助自动驾驶的自动驾驶辅助眼镜 Download PDF

Info

Publication number
CN111506057B
CN111506057B CN202010010283.3A CN202010010283A CN111506057B CN 111506057 B CN111506057 B CN 111506057B CN 202010010283 A CN202010010283 A CN 202010010283A CN 111506057 B CN111506057 B CN 111506057B
Authority
CN
China
Prior art keywords
network
information
learning
driver
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010010283.3A
Other languages
English (en)
Other versions
CN111506057A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕焄
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111506057A publication Critical patent/CN111506057A/zh
Application granted granted Critical
Publication of CN111506057B publication Critical patent/CN111506057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/109—Lateral acceleration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/162—Visual feedback on control action
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/566—Mobile devices displaying vehicle information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0026—Lookup tables or parameter maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B60W2520/125—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种通过驾驶员佩戴的辅助眼镜来提供驾驶安全信息的方法，包括：步骤a：驾驶安全信息分析装置在获取到来自安装在所述辅助眼镜上的相机的与所述驾驶员的视角对应的视觉依赖性驾驶图像、来自传感器的加速度信息及陀螺仪信息的情况下，将所述视觉依赖性驾驶图像输入到卷积网络以生成特征图，将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络检测客体，使所述分割网络检测车道，并且使所述识别网络检测驾驶环境，将所述加速度信息及所述陀螺仪信息输入到循环网络来生成所述驾驶员的状态信息；以及步骤b：驾驶安全信息分析装置将预测碰撞可能性信息、车道偏离信息及所述驾驶环境告知给所述驾驶员并提供警告。

Description

辅助自动驾驶的自动驾驶辅助眼镜
技术领域
本发明涉及一种驾驶员佩戴的辅助眼镜，更详细而言，涉及一种如下的辅助眼镜：该辅助眼镜通过基于深度学习分析从安装在所述驾驶员佩戴的所述辅助眼镜上的相机获取到的与所述驾驶员的视角对应的视觉依赖性驾驶图像而提供驾驶安全信息。
背景技术
当今的车辆结合IT技术提供各种功能，并且为了强化车辆的驾驶稳定性以及提高用户便利性而正在开发各种高级驾驶员辅助系统(Advanced Driver Assist System,ADAS)。
此时，为了提供用于自动驾驶的各种信息，利用尖端感测装置和智能型成像装置来实现ADAS，该ADAS包括步行者及汽车识别系统、路面识别系统、车道识别系统、防撞系统和车道偏离警告系统等。
但是，由于这种现有的ADAS使用用于识别汽车驾驶环境和驾驶员状态的各种传感器和相机而费用增加。
此外，在现有的ADAS中，传感器和相机需要设置在用于获取相关信息的最佳位置上，但由于在发生位置及感测方向的误差等的情况下无法获得准确的信息，因此发生无法提供用于驾驶员辅助的准确的信息的问题。
发明内容
技术问题
本发明的目的是解决上述的所有问题。
本发明的另一目的是能够利用比现有方法更低的费用来检测至少一个驾驶员状态和至少一个驾驶环境。
本发明的又一目的是能够通过利用至少一个驾驶图像和传感器信息的深度神经网络来实现周边监测、驾驶员监测及危险状况识别。
本发明的又一目的是能够将通过利用所述驾驶图像和所述传感器信息的所述深度神经网络获取到的驾驶辅助信息通报给驾驶员。
技术方案
为了达到如上所述的本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下所述。
根据本发明的一方面，提供一种通过驾驶员佩戴的辅助眼镜来提供驾驶安全信息的方法，包括：步骤a：在获取到从安装在汽车的所述驾驶员佩戴的所述辅助眼镜上的至少一个相机拍摄到的与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像、来自安装在所述辅助眼镜上的一个以上传感器的加速度信息以及陀螺仪信息的情况下，驾驶安全信息分析装置执行以下过程：i)将所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算以生成至少一个特征图；将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体，使所述分割网络检测所述视觉依赖性驾驶图像上的一个以上车道，并且使所述识别网络检测与所述视觉依赖性驾驶图像对应的驾驶环境；以及ii)将所述加速度信息及所述陀螺仪信息输入到循环网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息；以及步骤b：所述驾驶安全信息分析装置执行以下过程：i)以由所述检测网络检测到的所述客体为参考，将所述汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员；以由所述分割网络检测到的所述车道为参考，将所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员；和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及ii)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员。
在一实施例中，所述驾驶安全信息分析装置将所述特征图输入到所述检测网络，从而使所述检测网络执行以下过程来检测位于所述视觉依赖性驾驶图像上的所述客体：i)通过区域建议网络来生成与所述特征图上的估计所述客体所在的一个以上区域对应的建议盒；ii)通过池化层对所述特征图上的与所述建议盒分别对应的一个以上区域分别施加池化运算来生成至少一个客体特征向量；以及iii)通过客体检测全连接FC层对所述客体特征向量施加客体检测FC运算来生成与所述建议盒对应的多个客体信息。
在一实施例中，所述驾驶安全信息分析装置将所述特征图输入到所述分割网络，从而使所述分割网络执行如下过程：通过至少一个反卷积层对所述特征图施加反卷积运算来生成至少一个反卷积特征图；以及将所述反卷积特征图输入到至少一个车道检测FC层，从而使所述车道检测FC层对所述反卷积特征图施加车道检测FC运算来检测位于所述视觉依赖性驾驶图像上的所述车道。
在一实施例中，所述驾驶安全信息分析装置将所述特征图输入到所述识别网络，从而使所述识别网络执行以下过程来检测与所述视觉依赖性驾驶图像对应的所述驾驶环境：i)通过全局池化层对所述特征图施加全局池化运算来生成至少一个全局特征向量；ii)通过识别FC层对所述全局特征向量施加识别FC运算来生成驾驶环境信息。
在一实施例中，所述驾驶安全信息分析装置将所述加速度信息和所述陀螺仪信息输入到所述循环网络，从而使所述循环网络通过一个以上长短期记忆网络LSTM在预设时段对所述加速度信息和所述陀螺仪信息的一个以上变化状态施加循环运算，来生成与所述驾驶员的行为模式对应的所述驾驶员的所述状态信息。
在一实施例中，所述驾驶安全信息分析装置响应于从安装在所述辅助眼镜上的至少一个照度传感器中获取到的照度信息，调节所述辅助眼镜的透镜透明度。
在一实施例中，所述输出单元包括：i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个扬声器设置在与所述驾驶员的至少一侧耳朵对应的位置上；以及ii)至少一个虚拟视网膜显示屏VRD，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个虚拟视网膜显示屏设置在与所述驾驶员的至少一侧眼睛对应的位置上。
在一实施例中，所述卷积网络、所述检测网络、所述分割网络及所述识别网络处于由第一学习装置学习的状态，所述第一学习装置反复执行以下过程：i)将至少一个学习用视觉依赖性驾驶图像输入到所述卷积网络，从而使所述卷积网络对所述学习用视觉依赖性驾驶图案施加利用至少一个以前学习到的卷积参数的卷积运算来生成至少一个学习用特征图；ii)ii-1)将所述学习用特征图输入到所述检测网络，ii-1-1)使所述检测网络的区域建议网络生成与所述学习用特征图上的估计至少一个学习用客体所在的一个以上区域对应的一个以上学习用建议盒，ii-1-2)使所述检测网络的池化层对所述学习用特征图上的与所述学习用建议盒分别对应的一个以上区域施加池化运算来生成至少一个学习用客体特征向量，ii-1-3)使所述检测网络的客体检测FC层对所述学习用客体特征向量施加利用至少一个以前学习到的客体检测参数的客体检测FC运算来生成与所述学习用建议盒对应的多个学习用客体信息，ii-2)将所述学习用特征图输入到所述分割网络，ii-2-1)使所述分割网络的反卷积层对所述学习用特征图施加利用至少一个以前学习到的反卷积参数的反卷积运算来生成至少一个反卷积特征图，ii-2-2)使车道检测FC层对所述反卷积特征图施加利用至少一个以前学习到的车道检测参数的车道检测FC运算，来检测位于所述学习用视觉依赖性驾驶图像上的一个以上学习用车道，ii-3)将所述学习用特征图输入到所述识别网络，ii-3-1)使所述识别网络的全局池化层对所述学习用特征图施加全局池化运算来生成至少一个学习用全局特征向量，ii-3-2)使所述识别网络的识别FC层对所述学习用全局特征向量施加利用至少一个以前学习到的识别参数的识别FC运算来生成学习用驾驶环境信息；以及iii)iii-1)以所述多个学习用客体信息和与所述多个学习用客体信息对应的第1真实值GT为参考，更新所述客体检测FC层的所述以前学习到的客体检测参数，从而使由第一损失层输出的一个以上第一损失最小化；(iii-2)以所述学习用车道和与所述学习用车道对应的第2GT为参考，更新所述车道检测FC层的所述以前学习到的车道检测参数及所述反卷积层的所述以前学习到的反卷积参数中的至少一个参数，从而使由第二损失层输出的一个以上第二损失最小化；(iii-3)以所述学习用驾驶环境信息和与所述学习用驾驶环境信息对应的第3GT为参考，更新所述识别FC层的所述以前学习到的识别参数，从而使由第三损失层输出的一个以上第三损失最小化；以及iii-4)更新所述卷积网络的所述以前学习到的卷积参数，从而使通过对所述第一损失、所述第二损失及所述第三损失或其处理值进行加权求和而生成的至少一个第四损失最小化。
在一实施例中，由第二学习装置学习所述循环网络，所述第二学习装置执行以下过程：i)将当前时刻t与以前时刻t-k之间的学习用加速度信息及学习用陀螺仪信息输入到各个LSTM，从而使各个所述LSTM对所述当前时刻t与所述以前时刻t-k之间的所述学习用加速度信息及所述学习用陀螺仪信息施加正向运算，来输出与所述驾驶员的行为模式对应的学习用驾驶状态信息；以及ii)使第四损失层以所述学习用驾驶状态信息和与所述学习用驾驶状态信息对应的第4GT为参考来调整所述LSTM的一个以上参数，从而使生成的一个以上第五损失最小化。
根据本发明的另一方面，提供一种驾驶安全信息分析装置，所述驾驶安全信息分析装置通过驾驶员佩戴的辅助眼镜来提供驾驶安全信息，包括：至少一个存储器，其用于存储指令；以及至少一个处理器，其配置成运行用于执行以下过程或者使其他装置执行以下过程的所述指令：I)在获取到从安装在汽车的所述驾驶员佩戴的所述辅助眼镜上的至少一个相机拍摄到的与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像、来自安装在所述辅助眼镜上的一个以上传感器的加速度信息以及陀螺仪信息的情况下，I-1)将所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算以生成至少一个特征图，将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体，使所述分割网络检测所述视觉依赖性驾驶图像上的一个以上车道，并且使所述识别网络检测与所述视觉依赖性驾驶图像对应的驾驶环境；以及I-2)将所述加速度信息及所述陀螺仪信息输入到循环网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息；以及II)II-1)以由所述检测网络检测到的所述客体为参考，将所述汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员，以由所述分割网络检测到的所述车道为参考，将所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员，和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及II-2)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员。
在一实施例中，所述处理器将所述特征图输入到所述检测网络，从而使所述检测网络执行以下过程来检测位于所述视觉依赖性驾驶图像上的所述客体：i)通过区域建议网络来生成与所述特征图上估计所述客体所在的一个以上区域对应的建议盒；ii)通过池化层对所述特征图上与所述建议盒分别对应的一个以上区域分别施加池化运算来生成至少一个客体特征向量；以及iii)通过客体检测全连接FC层对所述客体特征向量施加客体检测FC运算来生成与所述建议盒对应的多个客体信息。
在一实施例中，所述处理器将所述特征图输入到所述分割网络，从而使所述分割网络执行如下过程：通过至少一个反卷积层对所述特征图施加反卷积运算来生成至少一个反卷积特征图；以及将所述反卷积特征图输入到至少一个车道检测FC层，从而使所述车道检测FC层对所述反卷积特征图施加车道检测FC运算来检测位于所述视觉依赖性驾驶图像上的所述车道。
在一实施例中，所述处理器将所述特征图输入到所述识别网络，从而使所述识别网络执行以下过程来检测与所述视觉依赖性驾驶图像对应的所述驾驶环境：i)通过全局池化层对所述特征图施加全局池化运算来生成至少一个全局特征向量；ii)通过识别FC层对所述全局特征向量施加识别FC运算来生成驾驶环境信息。
在一实施例中，所述处理器将所述加速度信息和所述陀螺仪信息输入到所述循环网络，从而使所述循环网络通过一个以上长短期记忆网络LSTM在预设时段对所述加速度信息和所述陀螺仪信息的一个以上变化状态施加循环运算，来生成与所述驾驶员的行为模式对应的所述驾驶员的所述状态信息。
在一实施例中，所述处理器响应于从安装在所述辅助眼镜上的至少一个照度传感器中获取到的照度信息，调节所述辅助眼镜的透镜透明度。
在一实施例中，所述输出单元包括：i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个扬声器设置在与所述驾驶员的至少一侧耳朵对应的位置上；以及ii)至少一个虚拟视网膜显示屏VRD，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个虚拟视网膜显示屏设置在与所述驾驶员的至少一侧眼睛对应的位置上。
在一实施例中，所述卷积网络、所述检测网络、所述分割网络及所述识别网络处于由第一学习装置学习的状态，所述第一学习装置反复执行以下过程：i)将至少一个学习用视觉依赖性驾驶图像输入到所述卷积网络，从而使所述卷积网络对所述学习用视觉依赖性驾驶图案施加利用至少一个以前学习到的卷积参数的卷积运算来生成至少一个学习用特征图；ii)ii-1)将所述学习用特征图输入到所述检测网络，ii-1-1)使所述检测网络的区域建议网络生成与所述学习用特征图上的估计至少一个学习用客体所在的一个以上区域对应的一个以上学习用建议盒，ii-1-2)使所述检测网络的池化层对所述学习用特征图上的与所述学习用建议盒分别对应的一个以上区域施加池化运算来生成至少一个学习用客体特征向量，ii-1-3)使所述检测网络的客体检测FC层对所述学习用客体特征向量施加利用至少一个以前学习到的客体检测参数的客体检测FC运算来生成与所述学习用建议盒对应的多个学习用客体信息，ii-2)将所述学习用特征图输入到所述分割网络，ii-2-1)使所述分割网络的反卷积层对所述学习用特征图施加利用至少一个以前学习到的反卷积参数的反卷积运算来生成至少一个反卷积特征图，ii-2-2)使车道检测FC层对所述反卷积特征图施加利用至少一个以前学习到的车道检测参数的车道检测FC运算，来检测位于所述学习用视觉依赖性驾驶图像上的一个以上学习用车道，ii-3)将所述学习用特征图输入到所述识别网络，ii-3-1)使所述识别网络的全局池化层对所述学习用特征图施加全局池化运算来生成至少一个学习用全局特征向量，ii-3-2)使所述识别网络的识别FC层对所述学习用全局特征向量施加利用至少一个以前学习到的识别参数的识别FC运算来生成学习用驾驶环境信息；以及iii)iii-1)以所述多个学习用客体信息和与所述多个学习用客体信息对应的第1真实值GT为参考，更新所述客体检测FC层的所述以前学习到的客体检测参数，从而使由第一损失层输出的一个以上第一损失最小化；(iii-2)以所述学习用车道和与所述学习用车道对应的第2GT为参考，更新所述车道检测FC层的所述以前学习到的车道检测参数及所述反卷积层的所述以前学习到的反卷积参数中的至少一个参数，从而使由第二损失层输出的一个以上第二损失最小化；(iii-3)以所述学习用驾驶环境信息和与所述学习用驾驶环境信息对应的第3GT为参考，更新所述识别FC层的所述以前学习到的识别参数，从而使由第三损失层输出的一个以上第三损失最小化；以及iii-4)更新所述卷积网络的所述以前学习到的卷积参数，从而使通过对所述第一损失、所述第二损失及所述第三损失或其处理值进行加权求和而生成的至少一个第四损失最小化。
在一实施例中，由第二学习装置学习所述循环网络，所述第二学习装置执行以下过程：i)将当前时刻t与以前时刻t-k之间的学习用加速度信息及学习用陀螺仪信息输入到各个LSTM，从而使各个所述LSTM对所述当前时刻t与所述以前时刻t-k之间的所述学习用加速度信息及所述学习用陀螺仪信息施加正向运算，来输出与所述驾驶员的行为模式对应的学习用驾驶状态信息；以及ii)使第四损失层以所述学习用驾驶状态信息和与所述学习用驾驶状态信息对应的第4GT为参考来调整所述LSTM的一个以上参数，从而使生成的一个以上第五损失最小化。
根据本发明的又一方面，提供一种向驾驶员提供驾驶安全信息的辅助眼镜，包括：所述辅助眼镜，所述驾驶员能够佩戴所述辅助眼镜；一个以上传感器，其包括安装在所述辅助眼镜上且拍摄与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像的相机、加速度传感器及陀螺仪传感器；以及所述辅助眼镜的输出单元，其用于向所述驾驶员提供驾驶安全信息，其中，所述辅助眼镜包括执行以下过程的驾驶安全信息分析装置：I)I-1)将从所述相机获取到的所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算以生成至少一个特征图；将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体，使所述分割网络检测所述视觉依赖性驾驶图像上的一个以上车道，并且使所述识别网络检测与所述视觉依赖性驾驶图像对应的驾驶环境；以及I-2)将从所述加速度传感器获取到的加速度信息及从所述陀螺仪传感器获取到的陀螺仪信息输入到循环网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息；以及II)II-1)以由所述检测网络检测到的所述客体为参考，将所述驾驶员的汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员；以由所述分割网络检测到的所述车道为参考，将所述驾驶员的所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员；和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及II-2)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员。
在一实施例中，所述传感器还包括安装在所述辅助眼镜上的至少一个照度传感器，所述驾驶安全信息分析装置进一步执行以下过程：响应于从所述照度传感器获取到的照度信息，调节所述辅助眼镜的一个以上透镜的照明度。
在一实施例中，所述输出单元包括：i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个扬声器设置在与所述驾驶员的至少一侧耳朵对应的位置上；以及ii)至少一个虚拟视网膜显示屏VRD，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个虚拟视网膜显示屏设置在与所述驾驶员的至少一侧眼睛对应的位置上。
除此以外，提供一种计算机可读记录介质，用于记录用于执行本发明的方法的计算机程序。
有益效果
根据本发明，具有如下的效果：能够通过利用从包含在辅助眼镜中的相机和传感器分别获取到的驾驶图像和传感器信息的神经网络，识别驾驶环境和驾驶员状态，从而与现有方法相比能够削减制作费用。
此外，根据本发明，具有如下的效果：能够通过利用包含在所述辅助眼镜中的所述相机和所述传感器分别获取到的所述驾驶图像和所述传感器信息的所述神经网络，来进行周边监测、驾驶员监测及危险状况识别。
此外，根据本发明，具有如下的效果：能够将通过利用所述驾驶图像和所述传感器信息的所述神经网络获取到的驾驶员辅助信息通报给驾驶员。
此外，根据本发明具有如下的效果：通过所述驾驶员能够佩戴的所述辅助眼镜来实现ADAS，从而与对汽车设置所述传感器和所述相机的现有方法相比能削减所述ADAS设置所消耗的时间和费用。
此外，根据本发明，具有如下的效果：通过所述驾驶员佩戴的所述辅助眼镜来实现所述ADAS，从而能够向所述驾驶员提供优化的驾驶信息。
附图说明
在与下面的附图一同提供的优选实施例的说明中，将会明确本发明的上述及其他目的和特征。
为了说明本发明的实施例而所附的以下图只是本发明的实施例中的一部分，本发明所属技术领域的具有普通知识的人员(以下，称为“普通技术人员”)在没有进行发明工作的情况下可以以该图为基础得到其他图。
图1示意性地图示本发明的一实施例所涉及的自动驾驶辅助眼镜。
图2示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的框图。
图3示意性地图示为了分析从本发明的一实施例所涉及的所述自动驾驶辅助眼镜获取的信息以提供驾驶辅助信息而利用的驾驶安全信息分析装置。
图4示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的所述驾驶安全信息分析装置利用至少一个视觉依赖性驾驶图像来检测至少一个驾驶环境的过程。
图5示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的所述驾驶安全信息分析装置利用传感器信息来检测至少一个驾驶员状态的过程。
图6示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的驾驶安全信息分析装置警告一个以上碰撞防止及一个以上车道脱离的过程。
图7示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的驾驶安全信息分析装置介绍至少一个驾驶状况的过程。
图8示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的驾驶安全信息分析装置来劝导驾驶安全的警告过程。
具体实施方式
关于后述的本发明的详细说明参照附图，该附图是为了明确本发明的目的、技术方案和优点而作为示例图示能够实施本发明的具体实施例。详细说明这些实施例，使得本领域技术人员能够实施本发明。
此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、附加物、结构要素或步骤。对于本领域普通技术人员而言，能够部分地从本发明的说明书以及部分地本发明的实施中显然得知本发明的其他目的、优点及特性。以下示例及附图作为实例提供，并不是用来限定本发明。
此外，本发明包括本说明书中表示的实施例的所有可能组合。应理解为本发明的多种实施例虽然彼此不同但没必要相互排斥。例如，在此记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的精神及范围的情况下可以以其他实施例实现。此外，应理解为在不脱离本发明的精神及范围的情况下能够变更各个公开实施例内的个别结构要素的位置或布置。因此，后述的详细说明不应视为限定性含义，在适当说明的情况下，本发明的范围仅由所附的权利要求和与该权利要求所主张的内容均等的所有范围来限定。在附图中，相似的附图标记在各个方面上指代相同或相似的功能
本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。
本说明书中提供的本发明的题目及摘要是为了便利而提供的，不用于限定实施例的范围但并解释实施例的含义。
下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。
图1示意性地图示本发明的一实施例所涉及的辅助眼镜，所述辅助眼镜为汽车驾驶员佩戴的眼镜。此外，用于检测与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像的至少一个相机能够安装在所述辅助眼镜上，包含至少一个加速度传感器、至少一个陀螺仪(gyroscope)传感器及至少一个照度传感器等的传感器能够安装在所述辅助眼镜上。
并且，向所述驾驶员输出并提供驾驶安全信息的至少一个输出单元能够安装在所述辅助眼镜上。所述输出单元可包括：(i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，设置在与所述驾驶员的至少一侧耳朵对应的位置上，用于输出语音信息；以及(ii)至少一个虚拟视网膜显示屏(VRD，Virtual Retina Display)，在所述驾驶员佩戴所述辅助眼镜的情况下，设置在与所述驾驶员的至少一侧眼镜对应的位置上，用于输出视觉信息，但并不限定于此。
此外，能够根据周边照度调节透明度的至少一个透明度调节透镜可利用于所述辅助眼镜。此时，所述辅助眼镜可包括一个以上透明度调节透镜。
此外，所述辅助眼镜可包括驾驶安全信息分析装置。所述驾驶安全信息分析装置可利用神经网络例如深度神经网络来分析从所述相机及所述传感器分别获取的所述视觉依赖性驾驶图像及所述传感器信息来获取驾驶环境信息及所述驾驶员的状态信息，并且以该驾驶环境信息及所述驾驶员的状态信息为参考提供所述驾驶安全信息。此时，所述驾驶安全信息分析装置可安装在所述辅助眼镜上，或者可从所述辅助眼镜分离，但能够通过有线/无线通信与所述辅助眼镜进行通信。
图2示意性地图示本发明的一实施例所涉及的所述自动驾驶辅助眼镜的结构框图，自动驾驶辅助装置1000可包括一个以上输入传感器100、所述驾驶安全信息分析装置200及至少一个输出单元300。
所述输入传感器100可包括为了获取驾驶信息而利用的所述相机和如所述加速度传感器、所述陀螺仪传感器及所述照度传感器等的传感器。所述相机能够拍摄与驾驶中的所述汽车的所述驾驶员的视角对应的所述视觉依赖性驾驶图案，所述加速度传感器和所述陀螺仪传感器能够获取随所述驾驶员的行为模式产生的加速度信息和陀螺仪信息，所述照度传感器能够获取所述驾驶员的周边照度。此时，由于所述相机能够检测与所述驾驶员的视角对应的所述视觉依赖性驾驶图像，并且所述视觉依赖性驾驶图像还可以被视为所述驾驶信息的一部分，因此在本发明中所述输入传感器还可以包括所述相机。
所述驾驶安全信息分析装置200可包括：检测网络，分析所述视觉依赖性驾驶图像来检测一个以上客体，例如，至少一名步行者、其他汽车中的至少一者等；分割网络，分析所述视觉依赖性驾驶图像来识别一个以上车道；以及识别网络，分析所述视觉依赖性驾驶图像来识别天气、时间或场所等。此时，各个所述网络被区分说明，但也可以实现为在一个网络中执行各个所述网络的功能。
所述输出单元300可包括：所述VRD，能够视觉上示出所述驾驶安全信息；所述扬声器，听觉上传递所述驾驶安全信息；以及所述透明度调节透镜，能够根据所述周边照度来调节透明度。此时，所述透明度调节透镜能够响应于从所述照度传感器获取的周边照度信息来自动调节透镜的透明度。
另外，所述驾驶安全信息分析装置200能够将从所述相机获取到的所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算来生成至少一个特征图，并且向所述检测网络、所述分割网络及所述识别网络分别输入所述特征图。并且，所述驾驶安全信息分析装置200可进一步执行以下过程：(i)使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体；(ii)使所述分割网络检测位于所述视觉依赖性驾驶图像上的一个以上车道；(iii)使所述识别网络检测与所述视觉依赖性驾驶图像对应的所述驾驶环境；以及(iv)将从所述加速度传感器获取到的所述加速度信息及从所述陀螺仪传感器获取到的所述陀螺仪信息输入到循环(recurrent)网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息。之后，所述驾驶安全信息分析装置200执行以下过程：(i)以由所述检测网络检测到的所述客体为参考，将所述汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员；以由所述分割网络检测到的所述车道为参考，将所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员；和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及(ii)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员。此外，所述驾驶安全信息分析装置200可进一步执行以下过程：响应于从安装在所述辅助眼镜上的所述照度传感器获取的所述照度信息，调节所述辅助眼镜的透镜的所述透明度。
图3示意性地图示分析从本发明的一实施例所涉及的所述辅助眼镜获取的信息来提供所述驾驶安全信息的所述驾驶安全信息分析装置200。参照图3，所述驾驶安全信息分析装置200可包括用于存储指令的存储器201，并且可包括用于执行与存储在所述存储器201中的所述指令对应的过程的处理器202。所述指令利用如深度神经网络的所述神经网络来分析从所述相机及所述传感器获取到的所述视觉依赖性驾驶图像和所述传感器信息而获取所述驾驶环境信息及所述驾驶员的所述状态信息，并且以所述驾驶环境信息及所述驾驶员的状态信息为参考提供所述驾驶安全信息。即，所述处理器202能够利用所述神经网络，来分析从所述相机获取到的所述视觉依赖性驾驶图像及从所述传感器获取到的所述传感器信息，并且获取所述驾驶环境信息及所述状态信息，从而以所述驾驶环境信息及所述状态信息为参考提供所述驾驶安全信息。
具体而言，所述驾驶安全信息分析装置200能够典型地利用至少一个计算装置(例如，能够包含计算机处理器、内存、存储器、输入装置、输出装置和其他现有的计算结构要素的装置；如路由器或开关等的电子通信装置；如附网存储(NAS)及存储区域网络(SAN)的电子信息存储系统)和至少一个计算机软件(即，能够使计算装置以特定方式进行的指令)的组合来实现所需的系统性能。
所述计算装置的处理器可包括MPU(Micro Processing Unit，微处理器)、CPU(Central Processing Unit，中央处理器)、高速缓冲存储器(Cache Memory)或数据总线(Data Bus)等的硬件结构。此外，所述计算装置还可以进一步包括操作系统及执行特定目的的应用的软件结构。
但是，并不排除所述计算装置包括集成有用于实施本发明的媒介(medium)、处理器及存储器的形态的集成处理器的情况。
参照图4对利用本发明的一实施例所涉及的所述神经网络来分析从所述相机获取到的所述视觉依赖性驾驶图像并利用所述驾驶安全信息分析装置200来检测所述驾驶环境的方法进行说明则如下所述。
首先，在获取到由所述相机拍摄的所述视觉依赖性驾驶图像的情况下，所述驾驶安全信息分析装置200将所述视觉依赖性驾驶图像输入到所述卷积网络210，从而能够使所述卷积网络210对所述视觉依赖性驾驶图像施加卷积运算并生成至少一个特征图。此时，所述卷积网络210可包括至少一个卷积层，并且对所述视觉依赖性驾驶图像施加至少一个卷积运算。
接着，所述驾驶安全信息分析装置200将所述特征图输入到所述检测网络220，从而能够使所述检测网络220利用所述特征图来检测位于所述视觉依赖性驾驶图像上的所述其它汽车、所述步行者等的所述客体。
即，所述驾驶安全信息分析装置200将所述特征图输入到所述检测网络220，从而能够使所述检测网络220执行以下过程：(i)通过区域建议网络221来生成与所述特征图上的估计所述客体所在的一个以上区域对应的建议盒，(ii)通过池化层222对所述特征图上的与所述建议盒分别对应的一个以上区域分别施加池化运算来生成至少一个客体特征向量，(iii)通过客体检测FC(fully-connected，全连接)层223对所述客体特征向量施加客体检测FC运算来生成与所述建议盒对应的多个客体信息；以及其结果检测位于所述视觉依赖性驾驶图像上的所述客体。
此时，虽然所述客体检测FC层223被说明为单一层，但为了识别所述视觉依赖性驾驶图像内的所述客体中的所述步行者及所述其他汽车，也可以利用多重客体检测FC层。此外，从所述视觉依赖性驾驶图像内的所述客体中识别并输出所述步行者及所述其他汽车，但本发明的范围并不限定于此。
此外，所述驾驶安全信息分析装置200将所述特征图输入到所述分割网络230，从而使所述分割网络230检测所述视觉依赖性驾驶图像上的所述车道。
即，所述驾驶安全信息分析装置200可将所述特征图输入到所述分割网络230，从而使所述分割网络230执行如下过程：通过至少一个反卷积层231对所述特征图施加反卷积运算来生成至少一个反卷积特征图；以及将所述反卷积特征图输入到至少一个车道检测FC层232，从而使所述车道检测FC层232对所述反卷积特征图施加车道检测FC运算来检测位于所述视觉依赖性驾驶图像上的所述车道。
此时，虽然所述车道检测FC层232被说明为单一层，但为了检测所述视觉依赖性驾驶图像内的所述车道，也可以利用多重车道检测FC层。
另外，虽然在上面说明了所述车道检测FC层，但与此不同地可利用并非所述车道检测FC层的至少一个1×1卷积层来从所述反卷积特征图中检测所述车道。除所述车道检测FC层和所述1×1卷积层以外，本发明可使用关于图像分割的多种神经网络或深度神经网络。
此外，所述驾驶安全信息分析装置200将所述特征值输入到所述识别网络240，从而能够使所述识别网络240检测与所述视觉依赖性驾驶图像对应的所述驾驶环境。
即，所述驾驶安全信息分析装置200可将所述特征图输入到所述识别网络240，从而使所述识别网络240执行以下过程来检测与所述视觉依赖性驾驶图像对应的如天气、时间、场所等的所述驾驶环境：(i)通过全局池化层241对所述特征图施加全局池化运算来生成至少一个全局特征向量；(ii)通过识别FC层242对所述全局特征向量施加识别FC运算来生成所述驾驶环境信息。
此时，虽然所述识别FC层242被说明为单一层，但为了检测与所述视觉依赖性驾驶图像对应的所述驾驶环境，也可以利用多重识别FC层。
并且，参照图5对利用本发明的一实施例所涉及的所述驾驶安全信息分析装置200来从所述传感器信息中检测至少一个驾驶员状态的方法进行说明则如下所述。
在从所述加速度传感器中获取加速度X、加速度Y及加速度Z的所述传感器信息及从所述陀螺仪传感器中获取角度X、角度Y及角度Z的所述传感器信息的情况下，将当前时刻t与以前时刻t-k之间的各个所述传感器信息输入到用于至少一个正向(forward)运算的多重LSTM(Long Short-Term Memories，长短期记忆网络)，从而利用与所述驾驶员的头部的加速度及位置对应的所述驾驶员的行为模式，来识别所述驾驶员的至少一个行为及至少一个状况即所述驾驶员状态。
此时，所述驾驶员状态可包含注意分散、疲劳驾驶、DUI(driving under theinfluence，酒后驾驶)等，但本发明并不限定于此。
接着，对参照由如上所述的过程检测/识别出的所述驾驶环境及所述驾驶员状态来提供所述驾驶安全信息的方法进行说明。
首先，参照图6，在根据如图4的过程来检测所述视觉依赖性驾驶图像内的包含所述步行者及所述其他汽车的所述客体的状态下，所述驾驶安全信息分析装置200判断各个所述客体是否位于其与所述驾驶员的所述汽车之间的碰撞路径上。作为一例，在以速度、方向盘角度、刹车状态等的当前驾驶信息为参考来维持所述当前驾驶信息的情况下，能够判断通过所述视觉依赖性驾驶图像的图像分析而检测出的各个所述客体是否位于其与所述驾驶员的所述汽车之间的所述碰撞路径上。
此时，在判断为通过所述视觉依赖性驾驶图像的所述图像分析而检测出的所述客体中的至少一者位于所述碰撞路径上的情况下，所述驾驶安全信息分析装置200通过所述VRD输出碰撞警告消息或通过所述扬声器输出碰撞警告声音，从而能够防止所述驾驶员的碰撞。
并且，所述驾驶安全信息分析装置200可以以通过如图4所示的过程从所述视觉依赖性驾驶图像检测出的车道信息为参考，判断所述车道是否位于正常位置上，即所述驾驶员的所述汽车的驾驶方向是否不脱离所述车道而位于正常位置上。
此时，在判断为通过所述视觉依赖性驾驶图像的所述图像分析检测出的所述车道并不是正常位置的情况下，即在判断为所述汽车脱离车道的情况下，所述驾驶安全信息分析装置200通过所述VRD输出车道脱离警告消息，或者通过所述扬声器输出车道脱离警告声音，从而能够防止所述驾驶员脱离车道。
接着，参照图7，在获取通过如图4所示的所述过程从所述视觉依赖性驾驶图像中识别出的所述驾驶环境的情况下，所述驾驶安全信息分析装置通过所述VRD输出与所述驾驶环境对应的导向消息，或者通过所述扬声器输出与所述驾驶环境对应的导向声音，从而使所述驾驶员能够认知所述驾驶环境。作为一例，所述驾驶安全信息分析装置200能够将关于如隧道进入导向、逆光注意导向、暴雪及暴雨时低速驾驶导向等那样用于所述驾驶员的便利的所述驾驶环境及驾驶安全的导向信息通报给所述驾驶员。
此外，所述驾驶安全信息分析装置200为了根据从所述照度传感器获取的周边照度来确保所述驾驶员的视野，能够使所述辅助眼镜的所述透明度调节透镜响应于所述周边照度来调节自身的透明度。此时，所述透明度调节透镜能够响应于从所述照度传感器直接获取到的周边照度信息，自动调节所述透明度。
接着，参照图8，在获取通过如图5所示的所述过程来获取利用所述加速度传感器和所述陀螺仪传感器分析出的所述驾驶员状态的情况下，所述驾驶安全信息分析装置200能够通过所述VRD输出与针对所述驾驶员识别出的行为对应的警告消息，或者通过所述扬声器输出与所述识别出的行为对应的警告声音。作为一例，在判断为所述驾驶员状态为所述注意分散状态的情况下，能够出示让所述驾驶员注视前方的警告，在判断为所述驾驶员状态为所述疲劳驾驶或所述DUI状态的情况下，能够将与所述疲劳驾驶或所述DUI相关的警告提供给驾驶员。
因此，本发明通过深度神经网络来分析从包含在所述汽车的所述驾驶员佩戴的所述辅助眼镜中的所述相机和所述传感器获取的所述视觉依赖性驾驶图像和所述传感器信息，从而监测所述驾驶环境和所述驾驶员，识别与监测到的所述驾驶环境和所述驾驶员状态对应的危险状况并将该状况警告给所述驾驶员，并且生成用于与所述驾驶环境和所述驾驶员状态对应的所述驾驶安全的所述驾驶安全信息，从而能够以利用显示或声音来使所述驾驶员知道的方式进行通报。
另外，所述驾驶安全信息分析装置200的所述卷积网络210、所述检测网络220、所述分割网络230及所述识别网络240可以处于由第一学习装置进行学习的状态。
即，所述第一学习装置将学习用视觉依赖性驾驶图像输入到所述卷积网络210，并且使所述卷积网络210对所述学习用视觉依赖性驾驶图像施加利用至少一个以前学习到的卷积参数的至少一个卷积运算，从而能够生成至少一个学习用特征图。
并且，所述第一学习装置可执行以下过程：将所述学习用特征图输入到所述检测网络220，从而(i)使所述检测网络220的所述区域建议网络221生成与所述学习用特征图上的估计至少一个学习用客体所在的一个以上区域对应的学习用建议盒，(ii)使所述检测网络220的所述池化层222对所述学习用特征图上的与所述学习用建议盒分别对应的一个以上区域分别施加池化运算来生成至少一个学习用客体特征向量，(iii)使所述检测网络220的所述客体检测FC层223对所述学习用客体特征向量施加利用至少一个以前学习到的客体检测参数的客体检测FC运算来生成与所述学习用建议盒对应的多个学习用客体信息。
此外，所述第一学习装置可执行以下过程：将所述学习用特征图输入到所述分割网络230，从而使所述分割网络230的所述反卷积层231对所述学习用特征图施加利用至少一个以前学习到的反卷积参数的反卷积运算来生成至少一个反卷积特征图；以及将所述反卷积特征图输入到所述车道检测FC层232，从而使所述车道检测FC层232对所述反卷积特征图施加利用至少一个以前学习到的车道检测参数的车道检测FC运算，来检测位于所述学习用视觉依赖性驾驶图像上的一个以上学习用车道。
此外，所述第一学习装置可执行以下过程：将所述学习用特征图输入到所述识别网络240，(i)使所述识别网络240的所述全局池化层241对所述学习用特征图施加全局池化运算来生成至少一个学习用全局特征向量，(ii)使所述识别网络240的所述识别FC层242对所述学习用全局特征向量施加利用至少一个以前学习到的识别参数的识别FC运算来生成学习用驾驶环境信息。
之后，所述第一学习装置可反复进行以下过程来执行所述学习：(i)以所述多个学习用客体信息和与此对应的第1GT(真实值，ground truth)为参考，更新所述检测客体FC层223的所述以前学习到的客体检测参数，从而使由第一损失层输出的一个以上第一损失最小化；(ii)以所述学习用车道和与此对应的第2GT为参考，更新所述车道检测FC层232的所述以前学习到的车道检测参数及所述反卷积层231的所述以前学习到的反卷积参数中的至少一个参数，从而使由第二损失层输出的一个以上第二损失最小化；(iii)以所述学习用驾驶环境信息和与此对应的第3GT为参考，更新所述识别FC层的所述以前学习到的识别参数，从而使由第三损失层输出的一个以上第三损失最小化；以及(iv)更新所述卷积网络的所述以前学习到的卷积参数，从而使通过对所述第一损失、所述第二损失及所述第三损失或其处理值进行加权求和而生成的至少一个第四损失最小化。
此时，所述第四损失可以是至少一个第一处理值、至少一个第二处理值及至少一个第三处理值的加权求和值，其中，该第一处理值通过利用第一损失的反向传播(backpropagation)而反向传输到所述卷积网络210，该第二处理值通过利用所述第二损失的反向传播而反向传输到所述卷积网络210，该第三处理值通过利用所述第三损失的反向传播而反向传输到所述卷积网络210。
此外，所述循环网络可以处于由第二学习装置学习的状态，所述第二学习装置可执行以下过程：将当前时刻t与以前时刻t-k之间的学习用加速度信息及学习用陀螺仪信息输入到各个所述LSTM，从而使各个所述LSTM对所述当前时刻t与所述以前时刻t-k之间的所述学习用加速度信息及所述学习用陀螺仪信息施加正向(forward)运算，来输出与所述驾驶员的行为模式对应的学习用驾驶状态信息；以及使第四损失层以所述学习用驾驶状态信息和与此对应的第4GT为参考来调节所述LSTM的一个以上参数，从而使生成的一个以上第五损失最小化。
此时，所述第一学习装置和所述第二学习装置可以以多个系统实现，或者可以以单一系统实现。
此外，以上说明的本发明所涉及的实施例可以以能够通过各种计算机结构要素执行的程序命令的形态实现，并且存储在计算机可读记录介质中。所述计算机可读记录介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读记录介质中的程序命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的程序命令。计算机可读记录介质的例子包含如硬盘、软盘及磁带的磁介质、如CD-ROM、DVD的光记录介质、如软式光盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及如ROM、RAM、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行本发明所涉及的处理，所述硬件装置可配置成以一个以上软件模块实现操作，反之也同样。
以上，通过如具体结构要素等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员基于这种记载可进行各种修改及变形。
因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书均等或等价变形的所有内容属于本发明的思想范畴。

Claims (19)

1.一种通过驾驶员佩戴的辅助眼镜来提供驾驶安全信息的方法，包括：
步骤a：在获取到从安装在汽车的驾驶员所佩戴的所述辅助眼镜上的至少一个相机拍摄到的与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像、来自安装在所述辅助眼镜上的一个以上传感器的加速度信息以及陀螺仪信息的情况下，驾驶安全信息分析装置执行以下过程：i)将所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算以生成至少一个特征图；将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体，使所述分割网络检测所述视觉依赖性驾驶图像上的一个以上车道，并且使所述识别网络检测与所述视觉依赖性驾驶图像对应的驾驶环境；以及ii)将所述加速度信息及所述陀螺仪信息输入到循环网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息；以及
步骤b：所述驾驶安全信息分析装置执行以下过程：i)以由所述检测网络检测到的所述客体为参考，将所述汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员；以由所述分割网络检测到的所述车道为参考，将所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员；和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及ii)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员，
所述驾驶安全信息分析装置将所述加速度信息和所述陀螺仪信息输入到所述循环网络，从而使所述循环网络通过一个以上长短期记忆网络LSTM在预设时段对所述加速度信息和所述陀螺仪信息的一个以上变化状态施加循环运算，来生成与所述驾驶员的行为模式对应的所述驾驶员的所述状态信息。
2.根据权利要求1所述的方法，其中，
所述驾驶安全信息分析装置将所述特征图输入到所述检测网络，从而使所述检测网络执行以下过程来检测位于所述视觉依赖性驾驶图像上的所述客体：i)通过区域建议网络来生成与所述特征图上的估计所述客体所在的一个以上区域对应的建议盒；ii)通过池化层对所述特征图上的与所述建议盒分别对应的一个以上区域分别施加池化运算来生成至少一个客体特征向量；以及iii)通过客体检测全连接FC层对所述客体特征向量施加客体检测FC运算来生成与所述建议盒对应的多个客体信息。
3.根据权利要求1所述的方法，其中，
所述驾驶安全信息分析装置将所述特征图输入到所述分割网络，从而使所述分割网络执行如下过程：通过至少一个反卷积层对所述特征图施加反卷积运算来生成至少一个反卷积特征图；以及将所述反卷积特征图输入到至少一个车道检测FC层，从而使所述车道检测FC层对所述反卷积特征图施加车道检测FC运算来检测位于所述视觉依赖性驾驶图像上的所述车道。
4.根据权利要求1所述的方法，其中，
所述驾驶安全信息分析装置将所述特征图输入到所述识别网络，从而使所述识别网络执行以下过程来检测与所述视觉依赖性驾驶图像对应的所述驾驶环境：i)通过全局池化层对所述特征图施加全局池化运算来生成至少一个全局特征向量；ii)通过识别FC层对所述全局特征向量施加识别FC运算来生成驾驶环境信息。
5.根据权利要求1所述的方法，其中，
所述驾驶安全信息分析装置响应于从安装在所述辅助眼镜上的至少一个照度传感器中获取到的照度信息，调节所述辅助眼镜的透镜透明度。
6.根据权利要求1所述的方法，其中，
所述输出单元包括：i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个扬声器设置在与所述驾驶员的至少一侧耳朵对应的位置上；以及ii)至少一个虚拟视网膜显示屏VRD，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个虚拟视网膜显示屏设置在与所述驾驶员的至少一侧眼睛对应的位置上。
7.根据权利要求1所述的方法，其中，
所述卷积网络、所述检测网络、所述分割网络及所述识别网络处于由第一学习装置学习的状态，所述第一学习装置反复执行以下过程：i)将至少一个学习用视觉依赖性驾驶图像输入到所述卷积网络，从而使所述卷积网络对所述学习用视觉依赖性驾驶图案施加利用至少一个以前学习到的卷积参数的卷积运算来生成至少一个学习用特征图；ii)ii-1)将所述学习用特征图输入到所述检测网络，ii-1-1)使所述检测网络的区域建议网络生成与所述学习用特征图上的估计至少一个学习用客体所在的一个以上区域对应的一个以上学习用建议盒，ii-1-2)使所述检测网络的池化层对所述学习用特征图上的与所述学习用建议盒分别对应的一个以上区域施加池化运算来生成至少一个学习用客体特征向量，ii-1-3)使所述检测网络的客体检测FC层对所述学习用客体特征向量施加利用至少一个以前学习到的客体检测参数的客体检测FC运算来生成与所述学习用建议盒对应的多个学习用客体信息，ii-2)将所述学习用特征图输入到所述分割网络，ii-2-1)使所述分割网络的反卷积层对所述学习用特征图施加利用至少一个以前学习到的反卷积参数的反卷积运算来生成至少一个反卷积特征图，ii-2-2)使车道检测FC层对所述反卷积特征图施加利用至少一个以前学习到的车道检测参数的车道检测FC运算，来检测位于所述学习用视觉依赖性驾驶图像上的一个以上学习用车道，ii-3)将所述学习用特征图输入到所述识别网络，ii-3-1)使所述识别网络的全局池化层对所述学习用特征图施加全局池化运算来生成至少一个学习用全局特征向量，ii-3-2)使所述识别网络的识别FC层对所述学习用全局特征向量施加利用至少一个以前学习到的识别参数的识别FC运算来生成学习用驾驶环境信息；以及iii)iii-1)以所述多个学习用客体信息和与所述多个学习用客体信息对应的第1真实值GT为参考，更新所述客体检测FC层的所述以前学习到的客体检测参数，从而使由第一损失层输出的一个以上第一损失最小化；(iii-2)以所述学习用车道和与所述学习用车道对应的第2GT为参考，更新所述车道检测FC层的所述以前学习到的车道检测参数及所述反卷积层的所述以前学习到的反卷积参数中的至少一个参数，从而使由第二损失层输出的一个以上第二损失最小化；(iii-3)以所述学习用驾驶环境信息和与所述学习用驾驶环境信息对应的第3GT为参考，更新所述识别FC层的所述以前学习到的识别参数，从而使由第三损失层输出的一个以上第三损失最小化；以及iii-4)更新所述卷积网络的所述以前学习到的卷积参数，从而使通过对所述第一损失、所述第二损失及所述第三损失或其处理值进行加权求和而生成的至少一个第四损失最小化。
8.根据权利要求1所述的方法，其中，
由第二学习装置学习所述循环网络，所述第二学习装置执行以下过程：i)将当前时刻t与以前时刻t-k之间的学习用加速度信息及学习用陀螺仪信息输入到各个LSTM，从而使各个所述LSTM对所述当前时刻t与所述以前时刻t-k之间的所述学习用加速度信息及所述学习用陀螺仪信息施加正向运算，来输出与所述驾驶员的行为模式对应的学习用驾驶状态信息；以及ii)使第四损失层以所述学习用驾驶状态信息和与所述学习用驾驶状态信息对应的第4GT为参考来调整所述LSTM的一个以上参数，从而使生成的一个以上第五损失最小化。
9.一种驾驶安全信息分析装置，所述驾驶安全信息分析装置通过驾驶员佩戴的辅助眼镜来提供驾驶安全信息，包括：
至少一个存储器，其用于存储指令；以及
至少一个处理器，其配置成运行用于执行以下过程或者使其他装置执行以下过程的所述指令：I)在获取到从安装在汽车的所述驾驶员佩戴的所述辅助眼镜上的至少一个相机拍摄到的与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像、来自安装在所述辅助眼镜上的一个以上传感器的加速度信息以及陀螺仪信息的情况下，I-1)将所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算以生成至少一个特征图，将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体，使所述分割网络检测所述视觉依赖性驾驶图像上的一个以上车道，并且使所述识别网络检测与所述视觉依赖性驾驶图像对应的驾驶环境；以及I-2)将所述加速度信息及所述陀螺仪信息输入到循环网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息；以及II)II-1)以由所述检测网络检测到的所述客体为参考，将所述汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员，以由所述分割网络检测到的所述车道为参考，将所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员，和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及II-2)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员，
所述处理器将所述加速度信息和所述陀螺仪信息输入到所述循环网络，从而使所述循环网络通过一个以上长短期记忆网络LSTM在预设时段对所述加速度信息和所述陀螺仪信息的一个以上变化状态施加循环运算，来生成与所述驾驶员的行为模式对应的所述驾驶员的所述状态信息。
10.根据权利要求9所述的驾驶安全信息分析装置，其中，
所述处理器将所述特征图输入到所述检测网络，从而使所述检测网络执行以下过程来检测位于所述视觉依赖性驾驶图像上的所述客体：i)通过区域建议网络来生成与所述特征图上估计所述客体所在的一个以上区域对应的建议盒；ii)通过池化层对所述特征图上与所述建议盒分别对应的一个以上区域分别施加池化运算来生成至少一个客体特征向量；以及iii)通过客体检测全连接FC层对所述客体特征向量施加客体检测FC运算来生成与所述建议盒对应的多个客体信息。
11.根据权利要求9所述的驾驶安全信息分析装置，其中，
所述处理器将所述特征图输入到所述分割网络，从而使所述分割网络执行如下过程：通过至少一个反卷积层对所述特征图施加反卷积运算来生成至少一个反卷积特征图；以及将所述反卷积特征图输入到至少一个车道检测FC层，从而使所述车道检测FC层对所述反卷积特征图施加车道检测FC运算来检测位于所述视觉依赖性驾驶图像上的所述车道。
12.根据权利要求9所述的驾驶安全信息分析装置，其中，
所述处理器将所述特征图输入到所述识别网络，从而使所述识别网络执行以下过程来检测与所述视觉依赖性驾驶图像对应的所述驾驶环境：i)通过全局池化层对所述特征图施加全局池化运算来生成至少一个全局特征向量；ii)通过识别FC层对所述全局特征向量施加识别FC运算来生成驾驶环境信息。
13.根据权利要求9所述的驾驶安全信息分析装置，其中，
所述处理器响应于从安装在所述辅助眼镜上的至少一个照度传感器中获取到的照度信息，调节所述辅助眼镜的透镜透明度。
14.根据权利要求9所述的驾驶安全信息分析装置，其中，
所述输出单元包括：i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个扬声器设置在与所述驾驶员的至少一侧耳朵对应的位置上；以及ii)至少一个虚拟视网膜显示屏VRD，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个虚拟视网膜显示屏设置在与所述驾驶员的至少一侧眼睛对应的位置上。
15.根据权利要求9所述的驾驶安全信息分析装置，其中，
所述卷积网络、所述检测网络、所述分割网络及所述识别网络处于由第一学习装置学习的状态，所述第一学习装置反复执行以下过程：i)将至少一个学习用视觉依赖性驾驶图像输入到所述卷积网络，从而使所述卷积网络对所述学习用视觉依赖性驾驶图案施加利用至少一个以前学习到的卷积参数的卷积运算来生成至少一个学习用特征图；ii)ii-1)将所述学习用特征图输入到所述检测网络，ii-1-1)使所述检测网络的区域建议网络生成与所述学习用特征图上的估计至少一个学习用客体所在的一个以上区域对应的一个以上学习用建议盒，ii-1-2)使所述检测网络的池化层对所述学习用特征图上的与所述学习用建议盒分别对应的一个以上区域施加池化运算来生成至少一个学习用客体特征向量，ii-1-3)使所述检测网络的客体检测FC层对所述学习用客体特征向量施加利用至少一个以前学习到的客体检测参数的客体检测FC运算来生成与所述学习用建议盒对应的多个学习用客体信息，ii-2)将所述学习用特征图输入到所述分割网络，ii-2-1)使所述分割网络的反卷积层对所述学习用特征图施加利用至少一个以前学习到的反卷积参数的反卷积运算来生成至少一个反卷积特征图，ii-2-2)使车道检测FC层对所述反卷积特征图施加利用至少一个以前学习到的车道检测参数的车道检测FC运算，来检测位于所述学习用视觉依赖性驾驶图像上的一个以上学习用车道，ii-3)将所述学习用特征图输入到所述识别网络，ii-3-1)使所述识别网络的全局池化层对所述学习用特征图施加全局池化运算来生成至少一个学习用全局特征向量，ii-3-2)使所述识别网络的识别FC层对所述学习用全局特征向量施加利用至少一个以前学习到的识别参数的识别FC运算来生成学习用驾驶环境信息；以及iii)iii-1)以所述多个学习用客体信息和与所述多个学习用客体信息对应的第1真实值GT为参考，更新所述客体检测FC层的所述以前学习到的客体检测参数，从而使由第一损失层输出的一个以上第一损失最小化；(iii-2)以所述学习用车道和与所述学习用车道对应的第2GT为参考，更新所述车道检测FC层的所述以前学习到的车道检测参数及所述反卷积层的所述以前学习到的反卷积参数中的至少一个参数，从而使由第二损失层输出的一个以上第二损失最小化；(iii-3)以所述学习用驾驶环境信息和与所述学习用驾驶环境信息对应的第3GT为参考，更新所述识别FC层的所述以前学习到的识别参数，从而使由第三损失层输出的一个以上第三损失最小化；以及iii-4)更新所述卷积网络的所述以前学习到的卷积参数，从而使通过对所述第一损失、所述第二损失及所述第三损失或其处理值进行加权求和而生成的至少一个第四损失最小化。
16.根据权利要求9所述的驾驶安全信息分析装置，其中，
由第二学习装置学习所述循环网络，所述第二学习装置执行以下过程：i)将当前时刻t与以前时刻t-k之间的学习用加速度信息及学习用陀螺仪信息输入到各个LSTM，从而使各个所述LSTM对所述当前时刻t与所述以前时刻t-k之间的所述学习用加速度信息及所述学习用陀螺仪信息施加正向运算，来输出与所述驾驶员的行为模式对应的学习用驾驶状态信息；以及ii)使第四损失层以所述学习用驾驶状态信息和与所述学习用驾驶状态信息对应的第4GT为参考来调整所述LSTM的一个以上参数，从而使生成的一个以上第五损失最小化。
17.一种向驾驶员提供驾驶安全信息的辅助眼镜，包括：
所述辅助眼镜，所述驾驶员能够佩戴所述辅助眼镜；
一个以上传感器，其包括安装在所述辅助眼镜上且拍摄与所述驾驶员的视角对应的至少一个视觉依赖性驾驶图像的相机、加速度传感器及陀螺仪传感器；以及
所述辅助眼镜的输出单元，其用于向所述驾驶员提供驾驶安全信息，
其中，所述辅助眼镜包括执行以下过程的驾驶安全信息分析装置：I)I-1)将从所述相机获取到的所述视觉依赖性驾驶图像输入到卷积网络，从而使所述卷积网络对所述视觉依赖性驾驶图像施加卷积运算以生成至少一个特征图；将所述特征图分别输入到检测网络、分割网络及识别网络，从而使所述检测网络利用所述特征图来检测位于所述视觉依赖性驾驶图像上的至少一个客体，使所述分割网络检测所述视觉依赖性驾驶图像上的一个以上车道，并且使所述识别网络检测与所述视觉依赖性驾驶图像对应的驾驶环境；以及I-2)将从所述加速度传感器获取到的加速度信息及从所述陀螺仪传感器获取到的陀螺仪信息输入到循环网络，从而使所述循环网络生成与所述加速度信息和所述陀螺仪信息对应的所述驾驶员的状态信息；以及II)II-1)以由所述检测网络检测到的所述客体为参考，将所述驾驶员的汽车与所述客体之间的预测碰撞可能性信息通过所述辅助眼镜的输出单元告知给所述驾驶员；以由所述分割网络检测到的所述车道为参考，将所述驾驶员的所述汽车的车道偏离信息通过所述输出单元告知给所述驾驶员；和将由所述识别网络检测到的所述驾驶环境通过所述输出单元告知给所述驾驶员；以及II-2)以由所述循环网络检测到的所述驾驶员的所述状态信息为参考，将驾驶安全警告通过所述输出单元提供给所述驾驶员，
所述驾驶安全信息分析装置将所述加速度信息和所述陀螺仪信息输入到所述循环网络，从而使所述循环网络通过一个以上长短期记忆网络LSTM在预设时段对所述加速度信息和所述陀螺仪信息的一个以上变化状态施加循环运算，来生成与所述驾驶员的行为模式对应的所述驾驶员的所述状态信息。
18.根据权利要求17所述的辅助眼镜，其中，
所述传感器还包括安装在所述辅助眼镜上的至少一个照度传感器，
所述驾驶安全信息分析装置进一步执行以下过程：响应于从所述照度传感器获取到的照度信息，调节所述辅助眼镜的一个以上透镜的照明度。
19.根据权利要求17所述的辅助眼镜，其中，
所述输出单元包括：i)至少一个扬声器，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个扬声器设置在与所述驾驶员的至少一侧耳朵对应的位置上；以及ii)至少一个虚拟视网膜显示屏VRD，在所述驾驶员佩戴所述辅助眼镜的情况下，所述至少一个虚拟视网膜显示屏设置在与所述驾驶员的至少一侧眼睛对应的位置上。
CN202010010283.3A 2019-01-31 2020-01-06 辅助自动驾驶的自动驾驶辅助眼镜 Active CN111506057B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799086P 2019-01-31 2019-01-31
US62/799,086 2019-01-31
US16/721,963 US10633007B1 (en) 2019-01-31 2019-12-20 Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
US16/721,963 2019-12-20

Publications (2)

Publication Number Publication Date
CN111506057A CN111506057A (zh) 2020-08-07
CN111506057B true CN111506057B (zh) 2023-08-18

Family

ID=70332292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010010283.3A Active CN111506057B (zh) 2019-01-31 2020-01-06 辅助自动驾驶的自动驾驶辅助眼镜

Country Status (5)

Country Link
US (1) US10633007B1 (zh)
EP (1) EP3690722A1 (zh)
JP (1) JP6917080B2 (zh)
KR (1) KR102320979B1 (zh)
CN (1) CN111506057B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752273A (zh) * 2020-06-15 2020-10-09 华侨大学 一种电动履带式挖掘机无人驾驶行走系统及方法
CN112418157B (zh) * 2020-12-08 2022-09-16 北京深睿博联科技有限责任公司 基于差分神经网络和图像序列数据的车速识别方法及装置
CN112590786A (zh) * 2021-01-19 2021-04-02 湖南汽车工程职业学院 一种汽车计算机控制系统
CN112995519B (zh) * 2021-03-26 2024-03-01 精英数智科技股份有限公司 一种用于探水监测的摄像头自适应调整方法及装置
CN112849156B (zh) * 2021-04-25 2021-07-30 北京三快在线科技有限公司 一种行驶风险识别方法及装置
KR102552051B1 (ko) * 2021-09-07 2023-07-06 국민대학교산학협력단 차량 위험도 예측 장치 및 방법
CN114516270B (zh) * 2022-03-11 2023-09-12 禾多科技（北京）有限公司 车辆控制方法、装置、电子设备和计算机可读介质
WO2023219236A1 (ko) * 2022-05-10 2023-11-16 주식회사 비브스튜디오스 스마트 안경에 광고를 디스플레이하는 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098214A (ko) * 2014-12-19 2017-08-29 인텔 코포레이션 안경 디스플레이를 위한 향상된 보기 기능 제공
WO2018170883A1 (en) * 2017-03-24 2018-09-27 SZ DJI Technology Co., Ltd. Vehicle behavior monitoring systems and methods

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
KR101421529B1 (ko) * 2012-10-18 2014-08-13 진성닷컴주식회사 차선 이탈 경고 안경
DE102013207063A1 (de) * 2013-04-19 2014-10-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Auswählen einer Informationsquelle aus einer Mehrzahl von Informationsquellen zur Anzeige auf einer Anzeige einer Datenbrille
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
KR101459908B1 (ko) * 2013-05-20 2014-11-07 현대자동차주식회사 안전운전유도 게임 장치 및 방법
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
GB2517732A (en) * 2013-08-29 2015-03-04 Sim & Pin Ltd System for accessing data from multiple devices
JP2015159383A (ja) * 2014-02-21 2015-09-03 ソニー株式会社 ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置
KR102433291B1 (ko) * 2014-07-31 2022-08-17 삼성전자주식회사 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
DE102014225937A1 (de) * 2014-12-15 2016-06-16 Robert Bosch Gmbh Identifikations- und Prüfunterstützungs-Vorrichtung und -Verfahren
KR101867915B1 (ko) * 2015-01-16 2018-07-19 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
DE102015201456B4 (de) * 2015-01-28 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und System zur Ausgabe einer Warnmeldung in einem Fahrzeug
US10175753B2 (en) * 2015-10-20 2019-01-08 Bragi GmbH Second screen devices utilizing data from ear worn device system and method
US20170111723A1 (en) * 2015-10-20 2017-04-20 Bragi GmbH Personal Area Network Devices System and Method
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention
WO2018070379A1 (ja) * 2016-10-11 2018-04-19 東海光学株式会社 眼球運動測定装置及び眼球運動解析システム
JP6964234B2 (ja) * 2016-11-09 2021-11-10 パナソニックＩｐマネジメント株式会社 情報処理方法、情報処理装置およびプログラム
US20180134215A1 (en) * 2016-11-16 2018-05-17 Samsung Electronics Co., Ltd. Method and device for generating driving assistance information
US20180329209A1 (en) * 2016-11-24 2018-11-15 Rohildev Nattukallingal Methods and systems of smart eyeglasses
JP6798860B2 (ja) * 2016-11-29 2020-12-09 株式会社Ｓｏｋｅｎ 境界線推定装置
KR20180099280A (ko) * 2017-02-28 2018-09-05 삼성전자주식회사 가상 차로 생성 장치 및 방법
JP2018173861A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 走行支援装置及びコンピュータプログラム
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
US10671868B2 (en) * 2017-10-02 2020-06-02 Magna Electronics Inc. Vehicular vision system using smart eye glasses
US11417128B2 (en) * 2017-12-22 2022-08-16 Motorola Solutions, Inc. Method, device, and system for adaptive training of machine learning models via detected in-field contextual incident timeline entry and associated located and retrieved digital audio and/or video imaging
US10496887B2 (en) * 2018-02-22 2019-12-03 Motorola Solutions, Inc. Device, system and method for controlling a communication device to provide alerts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098214A (ko) * 2014-12-19 2017-08-29 인텔 코포레이션 안경 디스플레이를 위한 향상된 보기 기능 제공
WO2018170883A1 (en) * 2017-03-24 2018-09-27 SZ DJI Technology Co., Ltd. Vehicle behavior monitoring systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Marvin Teichmann 等.MultiNet：Real-time Joint Semantic Reasoning for Autonomous Driving.2018 IEEEE INTELLIGENT VEHICLES SYMPOSIUM（IV）.2018,第1013-1020页. *

Also Published As

Publication number Publication date
JP6917080B2 (ja) 2021-08-11
KR102320979B1 (ko) 2021-11-04
KR20200096113A (ko) 2020-08-11
JP2020126625A (ja) 2020-08-20
CN111506057A (zh) 2020-08-07
EP3690722A1 (en) 2020-08-05
US10633007B1 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111506057B (zh) 辅助自动驾驶的自动驾驶辅助眼镜
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
US20210365750A1 (en) Systems and methods for estimating future paths
US20190251374A1 (en) Travel assistance device and computer program
EP3466764A1 (en) Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
KR102224818B1 (ko) 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
US20160325753A1 (en) Road profile along a predicted path
US10635915B1 (en) Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
US20180134285A1 (en) Autonomous driving apparatus and vehicle including the same
US10023204B1 (en) Driving assisting method and driving assisting device using the same
KR20180025591A (ko) 자율 주행 차량을 위한 비전 센서의 제어 방법 및 장치
JP6919925B2 (ja) バイクライダー用スマートヘルメットを利用してバイクのブラインドスポットをモニタリングする方法及びこれを利用したブラインドスポットモニタリング装置
KR102266996B1 (ko) 이미지센서와 함께 회전 감지용 센서 또는 위치 센서를 장착한 모바일 시스템에서의 객체인식영역 제한 방법 및 장치
US20210300428A1 (en) Driver dazzle mitigation systems and methods
CN111505690B (zh) 实时检测应急车辆并规划行驶路径的方法及装置
CN111532253A (zh) 用于自动驾驶系统的具有功能安全监视器的故障运行结构
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
US11104356B2 (en) Display device and method for a vehicle
KR20210039245A (ko) 자율주행차량의 관심 대상 신호등을 특정하기 위한 방법 및 이를 이용한 컴퓨팅 장치
KR20190095567A (ko) 객체를 인식하는 방법 및 장치
JP7433146B2 (ja) 物体検出方法及び物体検出装置
JP2010092353A (ja) 画像処理装置及び画像処理方法
KR101875517B1 (ko) 영상 처리 방법 및 장치
WO2023108364A1 (zh) 驾驶员状态检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant