CN104771132B - 基于眼睛会聚检测视觉疏忽 - Google Patents

基于眼睛会聚检测视觉疏忽 Download PDF

Info

Publication number
CN104771132B
CN104771132B CN201510011698.1A CN201510011698A CN104771132B CN 104771132 B CN104771132 B CN 104771132B CN 201510011698 A CN201510011698 A CN 201510011698A CN 104771132 B CN104771132 B CN 104771132B
Authority
CN
China
Prior art keywords
distance
user
eye
convergence angle
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510011698.1A
Other languages
English (en)
Other versions
CN104771132A (zh
Inventor
S.马蒂
D.迪森索
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104771132A publication Critical patent/CN104771132A/zh
Application granted granted Critical
Publication of CN104771132B publication Critical patent/CN104771132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/002—Monitoring the patient using a local or closed circuit, e.g. in a room or building
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明的一个实施方案阐述一种用于基于眼睛会聚检测用户何时不在专注的技术。所述技术包含确定从所述用户到第一物体的第一距离。所述第一距离可使用深度传感器确定。所述技术还包含确定与所述用户的左眼相关联的第一辐辏角，以及确定与所述用户的右眼相关联的第二辐辏角。所述技术还包含基于所述第一辐辏角、所述第二辐辏角以及所述左眼与所述右眼之间的瞳孔间距离来确定第一眼睛会聚距离。所述技术还包含将所述第一距离与所述第一眼睛会聚距离进行比较以产生第一结果。疏忽警报可基于所述第一结果而产生。

Description

基于眼睛会聚检测视觉疏忽
技术领域
本发明的实施方案大体上涉及眼睛注视跟踪，且更具体地说，涉及基于眼睛会聚检测视觉疏忽。
背景技术
在美国，每年有大约一千万的人牵涉到汽车事故中。尽管多种因素可能导致汽车事故的发生，但驾驶员疏忽是主要原因。在一些情况下，驾驶员疏忽可能因汽车内部的分心事(例如手机的操作)、汽车外部的分心事或驾驶员疲劳导致。
为了减少因驾驶员疏忽而导致的汽车事故的发生率，汽车制造商已开始引入执行头部跟踪的技术。举例来说，各种安全系统跟踪驾驶员头部的位置，且确定头部的位置是否已偏离特定位置，从而指示驾驶员正在打瞌睡。作为响应，安全系统可向驾驶员提供视觉和/或听觉警告。另外，各种安全系统检测驾驶员头部的方向，且如果驾驶员的视线远离道路，那么提供视觉和/或听觉警告。
然而，上文所描述的安全系统不能够检测驾驶员朝道路前方看，但没有在注意他或她前方的东西的情形。就是说，驾驶员头部的方向不一定指示驾驶员的注意力。因此，此些系统可不能够检测驾驶员何时在做白日梦和/或以其它方式未能注意他的或她的周围事物。
如前面所说明，用于实现驾驶员疏忽的检测的改进的技术将有用。
发明内容
本发明的一个实施方案阐述一种用于基于眼睛会聚检测用户何时不在专注的方法。所述方法包含确定从用户到第一物体的第一距离。所述方法还包含确定与用户的左眼相关联的第一辐辏角，以及确定与用户的右眼相关联的第二辐辏角。所述方法还包含基于第一辐辏角、第二辐辏角以及左眼与右眼之间的瞳孔间距离来确定第一眼睛会聚距离。所述方法还包含将第一距离与第一眼睛会聚距离进行比较以产生第一结果。
此外，进一步实施方案提供一种跟踪系统和一种非暂时计算机可读媒体，其经配置以执行上文所阐述的方法步骤。
有利地，所公开的技术实现对使用常规技术无法检测的用户疏忽类型的检测。另外，所公开的技术是对情境敏感的，跟踪用户正在看的方向以及用户正在看的物体。因此，通过跟踪和响应用户疏忽，增加用户安全性。
附图说明
为了可详细理解本发明的上述特征的方式，可参考若干实施方案进行上文简要概述的本发明的更特定描述，所述实施方案中的一些在附图中说明。然而，将注意，附图仅说明本发明的典型实施方案，且因此不被视为限制本发明的范围，因为本发明可承认其它同等有效的实施方案。
图1A和1B是根据本发明各种实施方案的眼睛跟踪装置的概念图；
图2A和2B是说明根据本发明各种实施方案的车辆的驾驶员的眼睛焦点的概念图；
图3是说明根据本发明各种实施方案的用于确定物体距离和眼睛会聚距离的技术的概念图；
图4是说明根据本发明各种实施方案的用于定位深度传感器以确定物体距离的技术的概念图；
图5是说明根据本发明各种实施方案的用于确定眼睛会聚距离的技术的概念图；
图6是根据本发明各种实施方案的用于基于眼睛会聚检测视觉疏忽的方法步骤的流程图；以及
图7是说明经配置以实现本发明的一个或多个方面的计算机系统的框图。
具体实施方式
在以下描述中，阐述大量具体细节以便提供对本发明的实施方案的更全面理解。然而，本领域的技术人员将明白，可在没有这些具体细节中的一者或多者的情况下实践本发明的实施方案。
图1A和1B是根据本发明各种实施方案的眼睛跟踪装置100的概念图。如图所示，眼睛跟踪装置100可包含(但不限于)经配置以获取图像和/或确定用户的位置的一个或多个相机110。一个或多个相机110所获取的图像可由包含于眼睛跟踪装置100中的计算装置120和/或与眼睛跟踪装置100分开的计算装置120分析。
在各种实施方案中，相机110所获取的图像可用来确定用户的左眼和/或右眼的眼睛位置。举例来说，如图1B中所示，相机110可经配置以获取用户的眼睛或面部的图像。接着可分析所述图像以确定眼睛位置、眼睛辐辏角、二维(2D)向量、三维(3D)向量和/或眼睛会聚的焦点和/或距离。在一些实施方案中，使用瞳孔中心角膜反射眼睛跟踪技术(例如，TOBII TECHNOLOGYTM(Fall Church，美国弗吉尼亚州)所生产的“眼睛跟踪器”中所实现的那些技术)来处理用户眼睛的图像。另外，在各种实施方案中，眼睛跟踪装置100可包含多个相机110。在一些实施方案中，眼睛跟踪装置100包含至少两个相机，其中的每一者经配置以跟踪用户眼睛中的一者或两者。另外，额外的相机110和/或传感器(例如，光传感器、图像传感器、深度传感器等)可包含在眼睛跟踪装置100中，以测量从用户到眼睛跟踪装置100的距离、各种物体与眼睛跟踪装置100的距离等等。
在一些实施方案中，眼睛跟踪装置100由用户佩戴。举例来说，且无限制，眼睛跟踪装置100可为由用户佩戴的耳机或一副眼镜。在此些实施方案中，相机110可定位在眼睛跟踪装置100中，靠近用户的眼睛。举例来说，一个或多个相机110可定位在用户眼睛中的每一者附近的耳机或一副眼镜中。
图2A和2B说明根据本发明各种实施方案的车辆的驾驶员的眼睛焦点212、214。如上文所描述，常规安全系统不能够检测驾驶员正朝物体看但没有在注意所述物体的情形。举例来说，相对于图2A，驾驶员的头部面向前，且驾驶员的视线210聚焦在驾驶员前方的车辆的位置212上。然而，如图2B中所示，如果驾驶员停止注意车辆，例如当驾驶员正在做白日梦时，驾驶员的头部可能继续面向前，但他或她可能不聚焦于或注意所述车辆。在一些情况下，驾驶员可看穿车辆而不聚焦在车辆上。在此些情况下，眼睛跟踪装置100可用以确定驾驶员的眼睛会聚的位置和/或距离。
在各种实施方案中，深度传感器230可用以确定与位于驾驶员的视野中的物体的距离。眼睛跟踪装置100可接着获取驾驶员眼睛的一个或多个图像，且分析所述图像以确定驾驶员的眼睛会聚的距离和/或位置。接着可将由深度传感器230确定的物体距离与眼睛会聚距离进行比较以确定驾驶员聚焦在位置214，而不是聚焦在位置212处的物体上。作为响应，眼睛跟踪装置100可确定驾驶员没有注意周围区域中的车辆和/或其它相关物体，且可向驾驶员提供听觉、视觉和/或其它类型的警报(例如，振动警报)以允许驾驶员重新集中他的或她的注意力。
深度传感器230可使用各种技术确定与周围区域中的一个或多个物体的距离。这些技术可包含(不限于)光学技术、飞行时间技术、全球定位系统(GPS)技术、立体视觉技术等等。另外，深度传感器230可定位在相对于驾驶员眼睛的位置的各个位置。举例来说，尽管图2A和2B将深度传感器230描绘为位于驾驶员的前方在车辆的引擎盖附近，但在其它实施方案中，深度传感器230可位于车辆外部或车辆内部的另一位置。此外，当深度传感器230位于车辆的内部时，深度传感器230可位于驾驶员前方、驾驶员后方或驾驶员旁边。在各种实施方案中，深度传感器230位于在驾驶员的眼睛和/或驾驶员的视线210附近或与驾驶员的眼睛和/或驾驶员的视线210成一直线的位置(例如，在耳机或一副眼镜上)。通过将深度传感器230定位在驾驶员的眼睛和/或驾驶员的视线210附近或与驾驶员的眼睛和/或驾驶员的视线210成一直线，深度传感器230视线220可更准确地反映驾驶员的视点，从而使深度传感器能够更准确地确定驾驶员的眼睛注视对准的物体。或者，如果深度传感器230不在驾驶员的眼睛附近和/或不与驾驶员的视线210成一直线，那么可处理由深度传感器230确定的距离以补偿此些差异。举例来说，且不受限制，如果深度传感器230定位在驾驶员前方(或后方)的位置，那么可处理由深度传感器230确定的距离以补偿驾驶员与深度传感器230之间的距离。在处理之后，可接着将物体距离与眼睛跟踪装置100获取的眼睛会聚距离进行比较。在其它实施方案中，如果深度传感器230定位在驾驶员旁边，那么可处理由深度传感器230确定的距离以补偿驾驶员与深度传感器230之间的视点的差异(例如，角度差异)。
在各种实施方案中，深度传感器230可通过访问数据库(例如，地理信息数据库)和/或车辆对车辆协议来确定与周围环境中的物体的距离。在一些实施方案中，深度传感器230可包含经配置以接收和存储与周围环境中的物体的位置相关联的信息的通信装置和/或数据库。举例来说，且不受限制，深度传感器230可接收周围环境中的物体的位置信息(例如，GPS数据)，且使用所述位置信息来确定驾驶员与物体之间的距离。此类通信可通过移动网络(例如，蜂窝式网络)或通过无线协议(例如，车辆对车辆或对等协议)来发射。因此，深度传感器230可依赖于除了光学技术、飞行时间技术等以外的技术来确定驾驶员与周围环境中的物体之间的距离。在此些实施方案中，深度传感器230可位于相对于驾驶员的任何实际位置。
图3是说明根据本发明各种实施方案的用于确定物体距离和眼睛会聚距离的技术的概念图。一般来说，当驾驶员正在开车时，最相关的物体位于驾驶员前方。举例来说，驾驶员必须注意他或她前方的物体以便在适当的时候刹车，以便将他的或她的车辆保持在车道内，且以便避免撞击物体(例如，其它车辆和行人)。因此，在一些实施方案中，深度传感器230可经配置以确定与位于驾驶员前方的物体的距离320。
在操作中，深度传感器320确定驾驶员与驾驶员前方的一个或多个物体之间的一个或多个距离320。眼睛跟踪装置100接着确定与驾驶员的眼睛会聚的位置305的距离310。接着将眼睛会聚距离310与物体距离320进行比较以确定驾驶员是否正注意位于驾驶员的眼睛注视中的物体。在各种实施方案中，眼睛跟踪装置100中所包含的(或与眼睛跟踪装置100分开的装置中所包含的)计算装置120通过确定眼睛会聚距离310与一个或多个物体距离320大体上是否类似来确定驾驶员是否正在注意位于驾驶员的眼睛注视中的物体。如上所述，在将物体距离320与眼睛会聚距离310进行比较之前，可处理距离310、320中的一者或两者以考虑驾驶员与深度传感器230之间的视点的差异。如果眼睛会聚距离310与物体距离320大体上不类似，那么计算装置120可确定驾驶员没有在注意物体。基于此结果，接着可向驾驶员发出听觉、视觉、触觉和/或机电警报以向驾驶员提供将他的或她的注意力集中在周围区域上的机会。
在其它实施方案中，可使用用于将眼睛会聚距离310与物体距离320进行比较的更先进的技术以便确定是否应向驾驶员发出警报。举例来说，计算装置120可确定在眼睛会聚距离310与物体距离320大体上不类似达到阈值次数和/或阈值持续时间的情况下应向驾驶员发出警报。此些实现方式可考虑与眼睛跟踪装置100或深度传感器230相关联的偶然的不准确性，和/或允许驾驶员在短暂的忽视周期之后将他的或她的注意力重新集中在周围区域上而没有接收到警报。
在各种实施方案中，可基于驾驶员的眼睛之间的瞳孔间距离315与驾驶员眼睛中的一者或两者的辐辏角311、312来确定眼睛会聚距离310。举例来说，可使用上述眼睛跟踪技术(例如，不限于瞳孔中心角膜反射眼睛跟踪技术)来确定辐辏角311、312和/或驾驶员眼睛的瞳孔间距离315。可接着将辐辏角311、312和瞳孔间距离315输入到一个或多个三角公式、算法、查找表等来确定与驾驶员的眼睛会聚的位置的距离310，如结合图5进一步详细描述。
图4是说明根据本发明各种实施方案的用于定位深度传感器以确定物体距离的技术的概念图。如图所示，在各种实施方案中，深度传感器230可基于驾驶员的眼睛注视方向定位，以便更准确地确定与位于眼睛注视方向中的物体的距离320。因此，当物体不位于驾驶员正前方时，可在驾驶员的眼睛会聚距离310与物体距离320之间进行更准确的比较。
在各种实施方案中，深度传感器230可基于眼睛跟踪装置100获取的图像和/或测量而定位。举例来说，且不受限制，眼睛跟踪装置100可获取一个或多个图像以确定驾驶员的眼睛注视方向和/或辐辏角311、312。深度传感器230接着可经配置以基于眼睛注视方向和/或辐辏角311、312而旋转、枢转、滑动等到适当位置，以便基于驾驶员的角度更准确地确定与物体的距离320。在其它实施方案中，可使用深度传感器230中或单独装置中所包含的一个或多个传感器来确定驾驶员的眼睛注视方向。
在一些实施方案中，深度传感器230经配置以旋转以匹配驾驶员的眼睛注视方向的定向。举例来说，如图4中所示，深度传感器230相对于任意平面的角度410可与驾驶员的眼睛注视方向相对于任意平面的角度410大体上类似。在其它实施方案中，深度传感器230的方向可与驾驶员的头部面向的方向大体上类似。由于与他的或她的眼睛相比驾驶员通常较不频繁地移动他的或她的头部，因此跟踪且响应于驾驶员的头部方向而不是眼睛注视方向的改变可通过降低深度传感器230重新定位的频率和/或速度来降低功率消耗和/或机电要求。在又其它实施方案中，深度传感器230可位于驾驶员身上(例如，在驾驶员的面部、胸部、肩膀等上)。举例来说，深度传感器230可位于由驾驶员佩戴的耳机或一副眼镜上。在此些实施方案中，深度传感器230可使用上述技术(包含光学技术、飞行时间技术、GPS技术、数据库技术、立体视觉技术等等)中的任一者来确定物体距离320。
图5是说明根据本发明各种实施方案的用于确定眼睛会聚距离310的技术的概念图。如图所示，且如结合图3和4所描述，可确定驾驶员眼睛的辐辏角311、312。接着可使用辐辏角311、312和瞳孔间距离315以使用下文再现的方程式1来确定眼睛会聚距离。在其它实施方案中，可使用其它方程式或算法、查找表等等来确定眼睛会聚距离310。
(方程式1) Deye＝(d/2*sinα’)/sin(ε’/2)
图6是根据本发明各种实施方案的用于基于眼睛会聚检测视觉疏忽的方法步骤的流程图。尽管方法步骤是结合图1-5描述的，但本领域的技术人员将理解，经配置以按任何次序执行所述方法步骤的任何系统落在本发明的范围内。
如图所示，方法600在步骤610处开始，在步骤610处眼睛跟踪装置100(或单独装置)任选地确定用户的眼睛注视方向和/或头部方向。在步骤620处，基于用户的眼睛注视方向和/或头部方向任选地定位深度传感器230。如上所示，在其它实施方案中，深度传感器230可固定到车辆、到用户(例如，在耳机、眼镜或其它类似的可佩戴设备上)或到另一物体。在此些实施方案中，深度传感器230可能不用机电方式重新定位。
接下来，在步骤630处，深度传感器230确定距与用户的眼睛注视方向和/或头部方向相关联的物体的距离320。在步骤640处，确定用户的眼睛的辐辏角311、312。任选地，可在步骤640处确定瞳孔间距离315。接着，在步骤650处，计算装置120基于辐辏角311、312和瞳孔间距离315来确定眼睛会聚距离310。
在步骤660处，计算装置120将眼睛会聚距离310与物体距离320进行比较以确定距离310、320是否大体上类似。如果距离310、320大体上类似，那么方法600进行到步骤670，在步骤670处眼睛跟踪装置100、深度传感器230和/或单独的装置产生警报。在各种实施方案中，警报可包含听觉和/或视觉警报，例如警报灯、警报消息和/或警报声音。另外，其它类型的警报(例如，利用其它类型的物理致动器和/或振动电机的振动和警报)可用以获得用户的注意力。如果在步骤660处计算装置120确定距离310、320大体上不类似，那么方法600结束。
图7是说明经配置以实现本发明的一个或多个方面的计算机系统的框图。如图所示，计算装置120包含处理单元702、输入/输出(I/O)装置704和存储器单元710。存储器单元710包含经配置以与数据库714交互的应用712。
处理单元702可包含中央处理单元(CPU)、数字信号处理单元(DSP)等等。I/O装置704可包含输入装置、输出装置以及能够接收输入和提供输出的装置。存储器单元710可包含存储器模块或存储器模块的集合。存储器单元710内的软件应用712可由处理单元702执行以实现计算装置120的总体功能性，且因此，以总体上协调眼睛跟踪装置100和/或深度传感器230的操作。数据库714可存储瞳孔间距离、GPS坐标、物体位置、物体距离、查找表以及用于计算和比较物体距离320与眼睛会聚距离310的其它数据。
计算装置120可耦合到包含一个或多个传感器的传感器阵列，例如一个或多个相机110和/或深度传感器230。传感器阵列经配置以测量用户驻留的环境的各种属性，以及与用户相关联的各种属性(例如，定向、眼睛辐辏角、眼睛注视方向)。传感器阵列可包含任何数目个相机110、深度传感器、光传感器、电场检测器、罗盘、陀螺仪、无线电收发信机、全球定位系统(GPS)接收器或任何其它类型的传感器。一般来说，传感器阵列捕获与环境相关联的感觉数据以及与用户相关联的感觉数据，且将那个数据提供给计算装置120。
计算装置120还可耦合到与眼睛跟踪装置100和/或深度传感器230相关联的音频输出装置，音频输出装置包含经配置以向用户产生声音输出(例如，听觉警报)的一个或多个装置(例如，扬声器)。音频输出装置可包含任何数目个扬声器、头戴受话器、音频装置或能够产生声音的任何其它类型的装置。
计算装置120作为整体可以是微处理器、专用集成电路(ASIC)、片上系统(SoC)、移动计算装置(例如平板电脑或手机)、媒体播放器等等。一般来说，计算装置120经配置以协调眼睛跟踪装置100和/或深度传感器230的整体操作。经配置以实现眼睛跟踪装置100和/或深度传感器230的功能性的任何技术上可行的系统落在本发明的范围内。
总之，深度传感器确定从用户到靠近用户的眼睛注视的物体的距离。眼睛跟踪系统接着确定用户眼睛的辐辏角，且基于辐辏角和用户的瞳孔间距离确定眼睛会聚距离。接下来，计算装置确定眼睛会聚距离与从用户到物体的距离是否大体上类似。如果眼睛会聚距离与物体距离大体上不类似，那么计算装置确定用户没有在注意他的或她的周围事物。作为响应，警报产生。
本文中描述的技术的一个优点是可检测到使用常规技术不能检测的用户疏忽的类型。另外，所公开的技术是对情境敏感的，跟踪用户正在看的方向以及用户正在看的物体。因此，通过跟踪和响应用户疏忽，增加用户安全性。
本发明的一个实施方案可实现为用于供计算机系统使用的程序产品。程序产品的程序定义实施方案(包含本文中描述的方法)的功能且可被含于各种计算机可读存储媒体上。说明性计算机可读存储媒体包含(但不限于)：(i)永久地存储信息的不可写存储媒体(例如，计算机内的只读存储器装置，例如可由压缩光盘只读存储器(CD-ROM)驱动器读取的CD-ROM磁盘、快闪存储器、只读存储器(ROM)芯片或任何类型的固态非易失性半导体存储器)；以及(ii)存储可改变信息的可写存储媒体(例如，软盘驱动器或硬盘驱动器内的软磁盘或任何类型的固态随机存取半导体存储器)。
上文已参考特定实施方案描述本发明。然而，本领域的技术人员将理解，可在不脱离如所附权利要求书中阐述的本发明的较宽精神和范围的情况下对本发明进行各种修改和改变。举例来说，尽管本文中的描述中的许多将用户称作车辆驾驶员，但本领域的技术人员将了解，本文中描述的系统和技术适用于用户的眼睛注视特性和物体距离的确定可增强用户安全性和/或用户体验的其它情形(例如，非车辆的)。因此，上述描述和图式应视为是说明性的而不是限制性的意义。
因此，在所附的权利要求书中阐述了本发明的实施方案的范围。

Claims (19)

1.一种用于基于眼睛会聚检测用户何时不在专注的计算机实现的方法，所述方法包括：
通过深度传感器确定与车辆相关联的位置和位于所述车辆外部的第一物体之间的第一距离；
基于所述第一距离确定从所述用户到所述第一物体的第二距离；
确定与所述用户的左眼相关联的第一辐辏角；
确定与所述用户的右眼相关联的第二辐辏角；
基于所述第一辐辏角、所述第二辐辏角以及所述左眼与所述右眼之间的瞳孔间距离来确定第一眼睛会聚距离；以及
将所述第二距离与所述第一眼睛会聚距离进行比较以产生第一结果。
2.如权利要求1所述的方法，其中将所述第二距离与所述第一眼睛会聚距离进行比较包括确定所述第二距离与所述第一眼睛会聚距离是否类似。
3.如权利要求2所述的方法，其中所述第二距离与所述第一眼睛会聚距离不类似，且还包括基于所述第一结果为所述用户产生疏忽警报。
4.如权利要求1所述的方法，其中确定所述第一距离包括获取到所述第一物体的深度测量，并且所述深度传感器包括飞行时间深度传感器和光学深度传感器中的至少一者。
5.如权利要求1所述的方法，其中确定所述第一距离包括访问全球定位系统(GPS)数据、车辆对车辆通信协议、对等通信协议以及地理信息数据库中的至少一者来读取距离值。
6.如权利要求1所述的方法，其还包括：
确定所述用户的眼睛注视方向；
确定从所述用户到与所述眼睛注视方向相关联的第二物体的第三距离；
基于所述眼睛注视方向确定与所述用户的所述左眼相关联的第三辐辏角；
基于所述眼睛注视方向确定与所述用户的所述右眼相关联的第四辐辏角；
基于所述第三辐辏角、所述第四辐辏角以及所述瞳孔间距离来确定第二眼睛会聚距离；以及
将所述第三距离与所述第二眼睛会聚距离进行比较以产生第二结果。
7.如权利要求6所述的方法，其还包括在确定所述第三距离之前，基于所述眼睛注视方向和用户头部方向中的至少一者定位深度传感器，且其中确定到所述第一物体的所述第一距离包括借助所述深度传感器获取到所述第一物体的深度测量。
8.如权利要求1所述的方法，其中确定所述第一辐辏角包括跟踪所述用户的左瞳孔，且确定所述第二辐辏角包括跟踪所述用户的右瞳孔。
9.如权利要求1所述的方法，其中确定所述第一辐辏角包括确定与所述用户的左瞳孔相关联的第一三维向量，且确定所述第二辐辏角包括确定与所述用户的右瞳孔相关联的第二三维向量。
10.一种用于跟踪用户注意力的系统，其包括：
深度传感器，其经配置以确定与车辆相关联的位置和位于所述车辆外部的第一物体之间的第一距离；
图像传感器，其经配置以获取所述用户的一个或多个图像；以及
处理单元，其经配置以：
基于所述第一距离确定从所述用户到所述第一物体的第二距离；
基于所述一个或多个图像确定与所述用户的左眼相关联的第一辐辏角；
基于所述一个或多个图像确定与所述用户的右眼相关联的第二辐辏角；
基于所述第一辐辏角、所述第二辐辏角以及所述左眼与所述右眼之间的瞳孔间距离来确定第一眼睛会聚距离；以及
确定所述第二距离与所述第一眼睛会聚距离是否类似以产生第一结果。
11.如权利要求10所述的系统，其中所述第二距离与所述第一眼睛会聚距离不类似，且所述处理单元还经配置以使疏忽警报基于所述第一结果而为所述用户产生。
12.如权利要求11所述的系统，其还包括经配置以产生所述疏忽警报的警报装置，其中所述警报装置包括扬声器、发光装置和振动电机中的至少一者。
13.如权利要求10所述的系统，其中所述深度传感器经配置以通过执行飞行时间深度测量和光学深度测量中的至少一者来确定所述第一距离。
14.如权利要求10所述的系统，其中所述深度传感器经配置以通过访问全球定位系统(GPS)数据、车辆对车辆通信协议、对等通信协议以及地理信息数据库中的至少一者以读取距离值来确定所述第一距离。
15.如权利要求10所述的系统，其中：
所述深度传感器还经配置以确定与车辆相关联的位置和与用户的眼睛注视方向相关联且位于所述车辆外部的第二物体之间的第三距离；且
所述处理单元还经配置以：
基于所述一个或多个图像确定所述用户的眼睛注视方向；
基于所述第三距离确定从所述用户到所述第二物体的第四距离；
基于所述一个或多个图像确定与所述用户的所述左眼相关联的第三辐辏角；
基于所述一个或多个图像确定与所述用户的所述右眼相关联的第四辐辏角；
基于所述第三辐辏角、所述第四辐辏角以及所述瞳孔间距离来确定第二眼睛会聚距离；以及
将所述第四距离与所述第二眼睛会聚距离进行比较以产生第二结果。
16.如权利要求15所述的系统，其中所述深度传感器还经配置以在确定所述第三距离之前基于所述眼睛注视方向和用户头部方向中的至少一者重新定位。
17.如权利要求16所述的系统，其中所述深度传感器经配置以通过执行飞行时间深度测量和光学深度测量中的至少一者来确定所述第三距离。
18.如权利要求10所述的系统，其中所述处理单元经配置以通过基于所述一个或多个图像分析所述用户的左瞳孔来确定所述第一辐辏角，且通过基于所述一个或多个图像分析所述用户的右瞳孔来确定所述第二辐辏角。
19.如权利要求18所述的系统，其中所述处理单元还经配置以通过确定与所述用户的左瞳孔相关联的第一三维向量来确定所述第一辐辏角，且通过确定与所述用户的右瞳孔相关联的第二三维向量来确定所述第二辐辏角。
CN201510011698.1A 2014-01-09 2015-01-09 基于眼睛会聚检测视觉疏忽 Active CN104771132B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/151,670 US9298994B2 (en) 2014-01-09 2014-01-09 Detecting visual inattention based on eye convergence
US14/151,670 2014-01-09

Publications (2)

Publication Number Publication Date
CN104771132A CN104771132A (zh) 2015-07-15
CN104771132B true CN104771132B (zh) 2018-01-16

Family

ID=52449932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510011698.1A Active CN104771132B (zh) 2014-01-09 2015-01-09 基于眼睛会聚检测视觉疏忽

Country Status (4)

Country Link
US (1) US9298994B2 (zh)
EP (1) EP2893867B1 (zh)
JP (2) JP6694233B2 (zh)
CN (1) CN104771132B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10115164B1 (en) 2013-10-04 2018-10-30 State Farm Mutual Automobile Insurance Company Systems and methods to quantify and differentiate individual insurance risk based on actual driving behavior and driving environment
US9189692B2 (en) 2014-02-14 2015-11-17 GM Global Technology Operations LLC Methods and systems for detecting driver attention to objects
DE102014213422A1 (de) * 2014-07-10 2016-01-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Vermeidung eines Tunnelblicks
US9423669B2 (en) * 2014-11-04 2016-08-23 Qualcomm Incorporated Method and apparatus for camera autofocus based on Wi-Fi ranging technique
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
JP6319350B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
US20170161950A1 (en) * 2015-12-08 2017-06-08 GM Global Technology Operations LLC Augmented reality system and image processing of obscured objects
US20170161949A1 (en) * 2015-12-08 2017-06-08 GM Global Technology Operations LLC Holographic waveguide hud side view display
US20170210289A1 (en) * 2016-01-22 2017-07-27 Arjun Kundan Dhawan Driver Focus Analyzer
US11462301B2 (en) * 2016-06-07 2022-10-04 BlyncSync Technologies, LLC System and method for fleet driver biometric tracking
US11102567B2 (en) 2016-09-23 2021-08-24 Apple Inc. Foldable headphones
CN113596667A (zh) * 2016-09-23 2021-11-02 苹果公司 耳机
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
US10474145B2 (en) 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
US10747859B2 (en) * 2017-01-06 2020-08-18 International Business Machines Corporation System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation
JP7057893B2 (ja) * 2017-03-07 2022-04-21 マツダ株式会社 視認状態判定装置
CN111316664A (zh) 2017-11-20 2020-06-19 苹果公司 耳机
US10267960B1 (en) 2018-02-05 2019-04-23 GM Global Technology Operations LLC Cloaking device and apparatus
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
CN108932825A (zh) * 2018-07-11 2018-12-04 重庆第二师范学院 一种儿童智能防近视警示装置及方法
US10552986B1 (en) * 2018-07-20 2020-02-04 Banuba Limited Computer systems and computer-implemented methods configured to track multiple eye-gaze and heartrate related parameters during users' interaction with electronic computing devices
US10869128B2 (en) 2018-08-07 2020-12-15 Pangissimo Llc Modular speaker system
US10627901B2 (en) * 2018-09-14 2020-04-21 Facebook Technologies, Llc Vergence determination
SE543249C2 (en) * 2018-12-12 2020-11-03 Lincoding Ab Alcolock device using mapping gaze and motion parameters
CN113994403B (zh) * 2019-03-13 2023-12-29 联邦快递公司 缓解飞行器的操作风险
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US11055864B2 (en) * 2019-05-24 2021-07-06 Nanjing Polagis Technology Co. Ltd Method and apparatus for determining a geographic position of a target object on a street view map
JP7309480B2 (ja) * 2019-06-27 2023-07-18 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、及び車載装置の制御方法
EP3822931B1 (en) * 2019-11-12 2023-12-27 Aptiv Technologies Limited A vehicle alert system for notifying a potentially dangerous driving situation to a driver
JPWO2021246141A1 (zh) 2020-06-01 2021-12-09
CN111914784B (zh) * 2020-08-10 2022-02-08 北京大成国测科技有限公司 轨旁障碍物入侵实时检测方法、装置及电子设备
SE2030301A1 (en) * 2020-09-30 2022-03-31 Chadalavada Ravi Teja Method and system for driving skill feedback
US11539762B2 (en) 2020-10-06 2022-12-27 Harman International Industries, Incorporated Conferencing based on driver state and context
US11269420B1 (en) * 2020-11-05 2022-03-08 Harman International Industries, Incorporated Techniques for detecting acknowledgment from a driver of a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2357626A1 (en) * 2010-02-17 2011-08-17 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CN102656613A (zh) * 2009-12-18 2012-09-05 本田技研工业株式会社 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口
CN103110400A (zh) * 2011-09-02 2013-05-22 沃尔沃汽车公司 车辆驾驶员的视觉输入

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274302A (ja) * 2001-03-21 2002-09-25 Mitsubishi Electric Corp 障害物検知システム
US7460940B2 (en) * 2002-10-15 2008-12-02 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
JP4760113B2 (ja) * 2005-04-27 2011-08-31 トヨタ自動車株式会社 運転者状態推定装置
JP4918807B2 (ja) * 2006-04-06 2012-04-18 トヨタ自動車株式会社 車両位置演算装置、車両選定方法
US7571048B2 (en) * 2006-08-18 2009-08-04 Google Inc. Providing routing information based on ambiguous locations
US8344894B2 (en) 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
JP5488105B2 (ja) * 2010-03-26 2014-05-14 マツダ株式会社 車両の運転支援装置
JP2012085746A (ja) * 2010-10-18 2012-05-10 Panasonic Corp 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
JP5644414B2 (ja) * 2010-11-22 2014-12-24 アイシン精機株式会社 覚醒度判定装置、覚醒度判定方法及びプログラム
US20120215403A1 (en) * 2011-02-20 2012-08-23 General Motors Llc Method of monitoring a vehicle driver
EP2696588B1 (en) * 2011-04-01 2019-09-04 Panasonic Corporation Three-dimensional image output device and method of outputting three-dimensional image
ES2589000T3 (es) * 2012-04-24 2016-11-08 Universitat De Barcelona Sistema y procedimiento de medir la atención
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656613A (zh) * 2009-12-18 2012-09-05 本田技研工业株式会社 使用眼睛注视技术、盲点指示器和驾驶员经验的预测人机接口
EP2357626A1 (en) * 2010-02-17 2011-08-17 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CN103110400A (zh) * 2011-09-02 2013-05-22 沃尔沃汽车公司 车辆驾驶员的视觉输入

Also Published As

Publication number Publication date
CN104771132A (zh) 2015-07-15
US20150193664A1 (en) 2015-07-09
JP6694233B2 (ja) 2020-05-13
EP2893867B1 (en) 2019-10-09
EP2893867A1 (en) 2015-07-15
JP2015133113A (ja) 2015-07-23
JP2020095748A (ja) 2020-06-18
US9298994B2 (en) 2016-03-29

Similar Documents

Publication Publication Date Title
CN104771132B (zh) 基于眼睛会聚检测视觉疏忽
EP2891953B1 (en) Eye vergence detection on a display
US11206388B2 (en) Image processing apparatus and image processing method for aligning polarized images based on a depth map and acquiring a polarization characteristic using the aligned polarized images
KR101587147B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN108944454B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
CN109323708B (zh) 电子装置及其控制方法
JP5664603B2 (ja) 車載音響装置及びプログラム
JP2017019436A (ja) 自動運転システム
CN105654778B (zh) 电子装置、电子装置的控制方法
EP3107069A1 (en) Object detection apparatus, object detection method, and mobile robot
CN104680714A (zh) 用于向用户发送提醒的方法及系统
US20170015260A1 (en) Apparatus And Method For Exchanging And Displaying Data Between Electronic Eyewear, Vehicles And Other Devices
CN111665513A (zh) 面部特征部检测装置、面部特征部检测方法
US11663831B2 (en) Image processing device and image processing method
JP7143736B2 (ja) 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム
Ortiz et al. Applications and services using vehicular exteroceptive sensors: A survey
KR101911632B1 (ko) 스마트 바이크 시스템 및 이의 동작 방법
JPWO2018020884A1 (ja) 端末機器、および機器システム
US11990066B2 (en) System and method to adjust inclined heads-up display perspective
RU2681346C2 (ru) Способ и система точной локализации слабовидящего или слепого человека
JP2008305283A (ja) 運転支援装置および運転支援方法
KR102299081B1 (ko) 전자 장치 및 그의 제어 방법
KR20160097661A (ko) 차량 내 탑승자 인식 장치 및 그 방법
FR3038101A1 (fr) Procede de guidage d'un individu et systeme de navigation
KR20170024943A (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant