CN112541386A - 用于眼睛的位置识别的图像处理 - Google Patents

用于眼睛的位置识别的图像处理 Download PDF

Info

Publication number
CN112541386A
CN112541386A CN202010914033.2A CN202010914033A CN112541386A CN 112541386 A CN112541386 A CN 112541386A CN 202010914033 A CN202010914033 A CN 202010914033A CN 112541386 A CN112541386 A CN 112541386A
Authority
CN
China
Prior art keywords
vehicle
camera
image
processor
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010914033.2A
Other languages
English (en)
Other versions
CN112541386B (zh
Inventor
K-H.常
T.A.塞德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112541386A publication Critical patent/CN112541386A/zh
Application granted granted Critical
Publication of CN112541386B publication Critical patent/CN112541386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在各种实施例中，提供了用于定位车辆的乘员的眼睛的方法、系统和车辆。在示例性实施例中，提供了一种系统，该系统包括：(i)被构造为生成车辆的乘员的相机图像的相机；以及(ii)处理器，其联接到相机并被构造为至少促进：(a)执行相机图像的一个或多个傅里叶变换；以及(b)使用经由一个或多个傅立叶变换生成的相位模型来识别车辆的乘员的眼睛的位置。

Description

用于眼睛的位置识别的图像处理
技术领域
该技术领域大体上涉及车辆(例如，陆基车辆、水基车辆和飞行器)的领域，并且更具体地，涉及用于识别车辆中的个人的眼睛的位置的方法和系统。
背景技术
某些车辆包括用于将信息提供给车辆的驾驶员的平视显示器。这样的平视显示器可能需要驾驶员的眼睛的检测位置，例如以便以可见的方式显示信息以供驾驶员看到。
因此，期望提供用于定位车辆的驾驶员的眼睛的改进的方法和系统。此外，结合附图和本发明的背景技术，根据本发明的后续详细描述和所附权利要求，本发明的其他期望的特征和特性将变得显而易见。
发明内容
根据示例性实施例，提供了一种方法，该方法包括：经由车辆的相机获得车辆的乘员的相机图像；以及经由处理器执行相机图像的一个或多个傅立叶变换；以及使用经由一个或多个傅立叶变换生成的相位模型，经由处理器识别车辆乘员的眼睛的位置。
此外，在一个实施例中，该方法还包括基于所识别的眼睛的位置来对车辆执行控制动作。
同样在一个实施例中，执行一个或多个傅里叶变换的步骤包括经由处理器执行相机图像的傅里叶逆变换。
同样在一个实施例中，执行一个或多个傅里叶变换的步骤还包括经由处理器执行为相机图像生成仅相位全息图。
同样在一个实施例中，执行一个或多个傅立叶变换的步骤还包括经由处理器执行附加的傅立叶变换，生成用于相机图像的增强图像。
同样在一个实施例中，增强图像包括用于乘员的面部的加亮(highligh)边缘。
同样在一个实施例中，执行一个或多个傅里叶变换的步骤还包括利用调整后的阈值执行图像处理，为相机图像生成进一步增强的图像，该进一步增强的图像包括针对乘员的面部的其他加亮边缘。
在另一个示例性实施例中，提供了一种系统，该系统包括：(i)被构造为生成车辆的乘员的相机图像的相机；以及(ii)处理器，其联接到相机并被构造为至少促进：(a)执行相机图像的一个或多个傅里叶变换；以及(b)使用经由一个或多个傅立叶变换生成的相位模型来识别车辆的乘员的眼睛的位置。
同样在一个实施例中，处理器还被构造为基于识别出的眼睛的位置，至少促进对车辆的控制动作。
同样在一个实施例中，处理器还被构造为至少促进执行相机图像的傅立叶逆变换。
同样在一个实施例中，处理器还被构造为至少促进执行仅相位变换，从相机图像生成仅相位全息图。
同样在一个实施例中，处理器还被构造为至少促进执行附加的傅里叶变换，为相机图像生成增强的图像。
同样在一个实施例中，增强图像包括用于乘员的面部的加亮边缘。
同样在一个实施例中，处理器还被构造为至少促进利用调谐阈值执行一个或多个另外的傅里叶变换，为相机图像生成进一步增强的图像，该增强的图像包括针对乘员的面部的进一步加亮的边缘。
在另一个示例性实施例中，提供了一种车辆，该车辆包括：(i)车身；(ii)被构造为移动车身的驱动系统；(iii)安装在车身上的相机，该相机被构造为生成车辆的乘员的相机图像；以及(iv)处理器，该处理器联接到相机并且被构造为至少促进：(a)执行相机图像的一个或多个傅里叶变换；以及(b)使用经由一个或多个傅立叶变换生成的相位模型来识别车辆的乘员的眼睛的位置。
同样在一个实施例中，处理器还被构造为基于所识别的眼睛的位置，至少促进执行对车辆的控制动作。
同样在一个实施例中，处理器还被构造为至少促进执行相机图像的傅立叶逆变换。
同样在一个实施例中，处理器还被构造为至少促进执行仅相位变换，为相机图像生成仅相位全息图。
同样在一个实施例中，处理器还被构造为至少促进执行附加的傅立叶变换，为相机图像生成增强图像，其中，增强图像包括用于乘员的面部的加亮边缘。
同样在一个实施例中，处理器还被构造为至少促进利用调谐阈值执行一个或多个另外的傅立叶变换，为相机图像生成进一步的增强图像，该进一步的增强图像包括针对乘员的面部的另外的加亮边缘。
附图说明
在下文中，将结合以下附图描述本公开，其中，相同的附图标记表示相同的元件，并且在附图中：
图1是根据示例性实施例的用于识别车辆的乘员的眼睛的位置的过程的流程图；
图2是根据示例性实施例的车辆的功能框图，该车辆包括用于识别车辆乘员的眼睛的位置的控制系统并且可以与图1的过程结合使用；和
图3描绘了根据示例性实施例的经由图2的过程的各个步骤生成的示例性图像。
具体实施方式
以下详细描述本质上仅是示例性的，并且不意图限制本公开或其应用和使用。此外，无意受到在先前背景或以下详细描述中提出的任何理论的约束。
图1是根据示例性实施例的用于识别和利用车辆驾驶员的眼睛的位置的过程200的流程图。在各种实施例中，过程200可以结合一个或多个车辆来实现，例如图2中描绘的并且在下面描述的车辆100。在某些实施例中，过程200在诸如汽车、卡车或其他陆基车辆(例如，如图2中所描绘并且在下文中进一步详细描述)的陆基车辆中实现。在某些其他实施例中，过程200在诸如船、潜艇或其他水基车辆的水基车辆中实现。在其他实施例中，过程200在飞行器(例如，飞机、直升机、航天器和/或其他飞行器)中实施。
下面还结合图3讨论过程200，其描绘了在各个示例性实施例中经由过程200的各个步骤生成的示例性图像。
如图1所示，过程从步骤202开始。在一个实施例中，过程200开始于车辆驾驶或点火循环开始时，例如，当驾驶员打开车辆和/或为其点火时(例如，通过转动钥匙，接合密钥卡或开始按钮等)。在另一个实施例中，过程200开始于相机(例如，图2中描绘并且在下文进一步描述的相机132)被激活时。在一个实施例中，过程200的步骤在车辆的操作期间执行。
在步骤204获得相机图像。具体地，获得相机(例如图2的相机132)的相机图像。在各种实施例中，每个相机图像包括二维图像。同样在各种实施例中，相机图像表示如下：A(x,y)，
其中，“A”代表相机图像，“x”和“y”分别代表相机图像的二维x和y轴。在各种实施例中，相机图像由相机提供给处理器(例如，图2中描绘的并且下面结合其进一步描述的计算机系统140的处理器142)以进行处理。参考图3，提供了示例性相机图像304(例如，表示图2的车辆100的驾驶员104的事实的二维视图)。
在步骤206，对相机图像应用傅里叶逆变换。具体地，在各个实施例中，处理器(例如图2的处理器142)对步骤204的相机图像应用傅里叶逆变换。
在各个实施例中，对A(x,y)执行的傅立叶逆变换表示为(相对于图1的208)如下：
Figure BDA0002664373240000041
其中A’(p,q)和eiφ(p,q)分别是傅里叶逆变换结果的幅度部分和相位部分。ωm和ωn是单位(unity)的复数根，其中ωm等于ei2π/m且ωn等于ei2π/n。输入A(x,y)具有m x n像素，而输出A’(p,q)eiφ(p,q)具有相同数量的像素。不同的坐标系(p,q)和(x,y)用于定义不同的空间。
在各个实施例中，在210处丢弃傅立叶逆变换的幅度部分A’(p,q)。在212处，相位部分，二维“m”x“n”相全息图eiφ(p,q)，被保留用于快速傅立叶变换(FFT)处理。
在各个实施例中，在步骤214期间，对逆傅立叶变换的结果的相位部分eiφ(p,q)执行两自由度快速傅立叶变换(2-DFFT)，其表示如下(参考图1的216)，
Figure BDA0002664373240000042
其中A”(x’,y’)和eiφ"(x’,y’)分别是FFT结果的幅度部分和相位部分。ω'm和ω'n是的单位的复数根，其中ω'm等于e-i2π/m且ω'n等于e-i2π/n。输入eiφ(p,q)具有m x n像素，而输出A”(x’,y’)eiφ"(x’,y’)的像素数相同。不同的坐标系(p,q)和(x’,y’)用于定义不同的空间。在各种实施例中，在218处将复数值转换为强度分布。
参考图3，提供了示例性的仅相位全息图eiφ(p,q)图像308，如从图3的初始相机图像304经由逆傅立叶变换生成的，并丢弃了iFFT的幅度部分，在各种实施例中，仅相位全息图308(及其使用iFFT的生成)仅利用相位信息，而不是直接来自相机图像304的像素强度信息。
在各个实施例中，增强图像|A”(x,y)|2(表示为图1的220)，其为FFT的幅度部分的平方，为相机图像提供了突出显示的边缘，包括车辆100的驾驶员104的面部。参照图3，根据示例性实施例，提供了示例性的重构图像310，如经由图1的FFT从图3的仅相位全息图308生成的。另外，在图3的重构图像310中示出了驾驶员104的面部的加亮图像。
在某些实施例中，在步骤222为图像提供进一步的降噪。例如，在某些实施例中，处理器142通过定义|A”(x’,y’)|2的调整阈值来提供进一步的图像处理并提供降噪的边缘增强新图像A”’(x’,y’)(在图1中表示为224)，如图像312所示的，以进一步突出显示边缘(例如，具有均匀的面部的边缘的更清晰图像)。
在各个实施例中，进一步增强的图像从相机图像提供加亮的边缘，包括图2的车辆100的驾驶员104的面部，同时进一步减少了与驾驶员104的面部轮廓无关的噪声。参考图3，提供了示例性的进一步重构的图像312。另外，在图3的进一步重构的图像312中示出了驾驶员104的面部的加亮显示的图像，其中边缘(包括驾驶员104的眼睛的边缘)在进一步重构的图像312中进一步突出(standing out)，并且代表驾驶员104的面部的边缘增强图像，
在步骤226处提供眼睛的位置的标识。在各种实施例中，图2的处理器142使用驾驶员104的面部的相位模型、使用具有在该图像中驾驶员104面部的加强边缘的图3的重构的图像310和/或312，来识别驾驶员104的一只或多只眼睛的位置。
在各种实施例中，至少部分地基于驾驶员的一只或多只眼睛的识别，在步骤228处提供一种或多种车辆动作。例如，在某些实施例中，处理器142可以基于眼睛的位置来控制图2的平视显示单元120。例如，在某些实施例中，处理器142可以例如朝向驾驶员104的一只或多只眼睛调整平视显示单元120的显示器的角度，例如使得驾驶员104可以容易地从平视显示单元120读取信息。此外，在某些实施例中，处理器142还可以利用眼睛的位置来控制车辆100的一个或多个其他系统122。例如，在某些实施例中，如果驾驶员104看起来正在闭上眼睛和/或未注意路，则处理器142可以提供指令以进行警告或警报或对更多其他系统122进行自动控制(例如制动、转向等)。
在各个实施例中，该过程然后返回到步骤204以获取下一帧。
图2示出了根据示例性实施例的车辆100。如下面更进一步详细描述的，车辆100包括用于识别车辆100的乘员104的眼睛的位置的控制系统102。在各个实施例中，控制系统102被构造为识别坐在车辆100的前座106中的驾驶员104的眼睛的位置，并使用结合图1和3描述的技术将所识别的位置用于车辆的平视单元120和/或一个或多个其他系统122的操作。
在各种实施例中，车辆100可包括任何数量的不同类型的车辆或移动平台。在某些实施例中，车辆100包括陆基车辆，例如许多不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(SUV)、摩托车和/或其他陆上车辆。在某些其他实施例中，车辆100包括水基车辆，例如船、潜艇或其他水基车辆。在又一些其他实施例中，车辆100包括飞行器(例如，飞机、直升机、航天器和/或其他飞行器)。
在所示的示例性实施例中，车辆100包括布置在底盘109上的上述车身110。车身110基本上包围了车辆100的其他部件。车身110和底盘109可以共同形成一框架。车辆100还包括多个轴112和车轮114。每个车轮114在车身110的相应拐角附近均可旋转地联接至一个或多个轴112，以促进车辆100的运动。在一个实施例中，车辆100包括四个车轮114，尽管这在其他实施例中可以变化(例如，对于卡车和某些其他车辆)。
另外，在所示的示例性实施例中，驱动系统116安装在底盘109上，并驱动车轮114。驱动系统116优选地包括推进系统。在某些示例性实施例中，驱动系统116包括与其传动装置联接的内燃发动机和/或电动机/发电机。在某些实施例中，驱动系统116可以改变，和/或可以使用两个或更多个驱动系统116。举例来说，车辆100还可结合多种不同类型的推进系统中的任何一种或其组合，例如汽油或柴油燃料的内燃机、“柔性燃料车辆”(FFV)发动机(即，使用汽油和酒精的混合物)、气态化合物(例如，氢气和/或天然气)为燃料的发动机、燃烧/电动机混合动力发动机和电动机。
如图2所示，在各个实施例中，控制系统102包括传感器阵列130和计算机系统140。在各个实施例中，控制系统102安装在底盘109上。
在各种实施例中，传感器阵列包括靠近驾驶员104的一个或多个相机132。在某些实施例中，相机132定位在车辆100的平视单元120内(例如，在车辆100的前仪表板内或之上)。在某些其他实施例中，相机132被定位在车辆100的镜子118(例如后视镜)之内或之上。在各种实施例中，相机132朝向驾驶员104定位，特别是朝向其面部定位，以捕获驾驶员104的面部的图像。在某些实施例中，传感器阵列130还可包括一个或多个用于操作车辆100的其他传感器。
在各个实施例中，计算机系统140联接到传感器阵列130。在各个实施例中，计算机系统140从相机132接收相机图像，并使用相机图像识别车辆100的驾驶员104的眼睛的位置。同样如图2所示，在各种实施例中，计算机系统104经由通信链路111联接到相机132，并经由通信链路111从相机132接收相机图像。在某些实施例中，通信链路111包括一个或多个有线连接，例如一根或多根电缆(例如同轴电缆和/或一种或多种其他类型的电缆)和/或一个或多个无线连接(例如使用无线总线技术)。
在各个实施例中，计算机系统140进一步联接至车辆100的平视显示单元和其他系统122。在某些实施例中，计算机系统140还在执行一辆或多辆车辆动作时利用眼睛的位置。例如，举例来说，控制平视显示单元120(例如，通过使平视显示单元120朝向驾驶员104的眼睛倾斜)。另外，在某些实施例中，计算机系统140还在控制车辆100的一个或多个其他系统122时利用眼睛的位置(例如，通过提供警告或警报，或者对一个或多个其他系统122进行自动控制，例如制动、转向等，如果驾驶员104似乎正在闭上他的眼睛和/或不注意道路)。
在各个实施例中，计算机系统140根据以上结合图1描述的过程200以及如图3所示的实施方式来执行这些功能。
在所描绘的实施例中，计算机系统140包括处理器142、存储器144、接口146、存储设备148和总线150。处理器142执行计算机系统140的计算和控制功能，并可以包括任何类型的处理器或多个处理器、单个集成电路(例如微处理器)或任何适当数量的集成电路设备和/或协同工作以完成处理单元的功能的电路板。在操作期间，处理器142执行存储器144内包含的一个或多个程序152，并且因此通常在执行本文所述的过程中控制计算机系统140的一般操作和计算机系统140的计算机系统，例如如以上结合图1和3所述的过程200。
存储器144可以是任何类型的合适的存储器。例如，存储器144可以包括诸如SDRAM的各种类型的动态随机存取存储器(DRAM)、各种类型的静态RAM(SRAM)以及各种类型的非易失性存储器(PROM、EPROM和闪存)。在某些示例中，存储器144与处理器142位于同一计算机芯片上和/或共同位于同一计算机芯片上。在所描绘的实施例中，存储器144存储以上所述的程序152以及一个或多个存储的值154。
总线150用于在计算机系统140的计算机系统的各个部件之间传输程序、数据、状态和其他信息或信号。接口146允许例如从系统驱动器和/或另一个计算机系统到计算机系统140的计算机系统的通信，并且可以使用任何合适的方法和装置来实现。在一个实施例中，接口146从相机132获得各种数据。接口146可包括一个或多个网络接口以与其他系统或部件通信。接口146还可包括用于与技术人员通信的一个或多个网络接口，和/或用于连接到诸如存储设备148的存储装置的一个或多个存储接口。
存储设备148可以是任何合适类型的存储装置，包括直接访问存储设备，例如硬盘驱动器、闪存系统、软盘驱动器和光盘驱动器。在一个示例性实施例中，存储设备148包括程序产品，存储器144可以从该程序产品接收程序152，该程序152执行本公开的一个或多个过程的一个或多个实施例，例如结合图1和图3描述的过程200的步骤(以及其任何子步骤)。在另一个示例性实施例中，程序产品可以直接存储在存储器144和/或磁盘(例如，磁盘156)中和/或由其访问，如下所述。
总线150可以是连接计算机系统和部件的任何合适的物理或逻辑器件。这包括但不限于直接硬连线连接、光纤、红外和无线总线技术。在操作期间，程序152被存储在存储器144中并由处理器142执行。
应当认识到，尽管在功能全面的计算机系统的上下文中描述了该示例性实施例，但是本领域技术人员将认识到，本发明的机制能够作为程序产品分发，该程序产品具有用于存储程序及其指令并执行其分发的一种或多种类型的非临时计算机可读信号承载介质，例如承载程序并包含存储在其中的用于使计算机处理器(例如处理器142)实施和执行程序的计算机指令的非暂时性计算机可读介质。这样的程序产品可以采取多种形式，并且不管用于执行分发的计算机可读信号承载介质的特定类型如何，本公开都同样适用。信号承载介质的示例包括：可记录介质，例如软盘、硬盘驱动器、存储卡和光盘，以及传输介质，例如数字和模拟通信链接。应当理解，在某些实施例中也可以利用基于云的存储和/或其他技术。类似地，将意识到，计算机系统140的计算机系统也可以与图2所示的实施例不同，例如，计算机系统140的计算机系统可以联接至或者可以利用一个或多个远程计算机系统和/或其他控制系统。
因此，所公开的方法、系统和车辆提供了对车辆乘员(例如车辆驾驶员)的一只或多只眼睛的位置的识别。在各个实施例中，执行多个傅立叶变换(包括逆傅立叶变换和傅立叶变换)以便从相机图像生成增强图像，包括驾驶员104的面部的加亮边缘。在各个实施例中，增强图像用于识别驾驶员的一只或多只眼睛的位置，并用于执行可能取决于一只或多只眼睛的位置的各种车辆命令。另外，在各个实施例中，使用来自处理后的相机像素化强度信息的相位信息来识别眼睛的位置。在各种实施例中，这又允许在所公开的方法、系统和车辆中使用的相机范围更广(例如，特别是当针对特定乘员多次执行该过程时，相机的图像质量要求可能会由于对乘员面部的熟悉而进一步减少等等)。
应当理解，系统、车辆和方法可以与图中所示和本文所述的那些不同。例如，在各种实施例中，车辆100、控制系统102和/或其各种部件可以不同于图2中描绘的以及结合图2描述的那些。将类似地认识到，过程200的步骤和/或实现方式可以不同于图1和图3中所描绘的，和/或过程200的各个步骤可以与图1和3中所描绘的过程同时地和/或以不同的顺序发生。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但是应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或构造。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应该理解的是，在不脱离所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种方法，包括：
经由车辆的相机获得车辆的乘员的相机图像；
经由处理器执行相机图像的一个或多个傅立叶变换；和
使用经由一个或多个傅立叶变换生成的相位模型，经由处理器来识别车辆的乘员的眼睛的位置。
2.根据权利要求1所述的方法，还包括：
基于所识别的眼睛的位置，执行车辆的控制动作。
3.根据权利要求1所述的方法，其中执行一个或多个傅立叶变换的步骤包括经由所述处理器执行所述相机图像的傅立叶逆变换。
4.根据权利要求3所述的方法，其中，执行一个或多个傅里叶变换的步骤还包括经由所述处理器执行仅相位变换，为所述相机图像生成仅相位全息图。
5.根据权利要求4所述的方法，其中，执行一个或多个傅立叶变换的步骤还包括经由所述处理器执行附加的傅立叶变换，为所述相机图像生成增强图像。
6.根据权利要求5所述的方法，其中，所述增强图像包括用于乘员的面部的加亮边缘。
7.根据权利要求6所述的方法，其中，执行一个或多个傅立叶变换的步骤还包括利用调整后的阈值执行图像处理，为相机图像生成进一步增强的图像，该进一步增强的图像包括乘员的面部的另外的加亮边缘。
8.一种系统，包括：
相机，构造为生成车辆的乘员的相机图像；和
处理器，联接到相机并构造为至少促进：
执行相机图像的一个或多个傅立叶变换；和
使用经由一个或多个傅立叶变换生成的相位模型，识别车辆的乘员的眼睛的位置。
9.一种车辆，包括：
车身；
驱动系统，构造为移动车身；
相机，安装在车身上，该相机被构造为生成车辆的乘员的相机图像；和处理器，联接到相机并构造为至少促进：
执行相机图像的一个或多个傅立叶变换；和
使用经由一个或多个傅立叶变换生成的相位模型，识别车辆的乘员的眼睛的位置。
10.根据权利要求9所述的系统，其中，所述处理器还被构造为基于所识别的眼睛的位置，至少促进对所述车辆的控制动作。
CN202010914033.2A 2019-09-04 2020-09-03 用于眼睛的位置识别的图像处理 Active CN112541386B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/560,035 2019-09-04
US16/560,035 US11024056B2 (en) 2019-09-04 2019-09-04 Image processing for eye location identification

Publications (2)

Publication Number Publication Date
CN112541386A true CN112541386A (zh) 2021-03-23
CN112541386B CN112541386B (zh) 2024-04-16

Family

ID=74680032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010914033.2A Active CN112541386B (zh) 2019-09-04 2020-09-03 用于眼睛的位置识别的图像处理

Country Status (2)

Country Link
US (1) US11024056B2 (zh)
CN (1) CN112541386B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11454813B2 (en) 2019-11-07 2022-09-27 GM Global Technology Operations LLC Holographic display systems with polarization correction and distortion reduction providing enhanced image quality
KR102440255B1 (ko) * 2020-08-14 2022-09-07 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어 방법
US11880036B2 (en) 2021-07-19 2024-01-23 GM Global Technology Operations LLC Control of ambient light reflected from pupil replicator
US11630302B1 (en) 2022-04-06 2023-04-18 GM Global Technology Operations LLC Driving guidance system for a motor vehicle having an augmented reality head up display
US11654771B1 (en) 2022-07-20 2023-05-23 GM Global Technology Operations LLC Multi-view display device for a co-pilot application of a motor vehicle
US11915395B2 (en) 2022-07-20 2024-02-27 GM Global Technology Operations LLC Holographic display system for a motor vehicle with real-time reduction of graphics speckle noise

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US20070230819A1 (en) * 2004-04-27 2007-10-04 Japan Science And Technology Agency Method and Apparatues for Image Inspection
US20100245093A1 (en) * 2009-03-30 2010-09-30 Tobii Technology Ab Eye closure detection using structured illumination
US20150098654A1 (en) * 2013-10-09 2015-04-09 Aisin Seiki Kabushiki Kaisha Eye part detection apparatus
CN106809123A (zh) * 2015-10-27 2017-06-09 昶洧新能源汽车发展有限公司 智能后视镜系统
CN107977994A (zh) * 2016-10-21 2018-05-01 上海交通大学 用于测量被测物在参考物上的平面位置的方法
US10011216B1 (en) * 2017-04-27 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Auto turn signal initiation based on lane change and driver history
CN108399903A (zh) * 2018-03-27 2018-08-14 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统
US20180307935A1 (en) * 2015-03-24 2018-10-25 Hrl Laboratories, Llc System for detecting salient objects in images
CN108717529A (zh) * 2018-05-17 2018-10-30 山东深图智能科技有限公司 一种基于车型的极低质量车牌字符识别方法及系统
WO2019036751A1 (en) * 2017-08-22 2019-02-28 Seeing Machines Limited ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9964925B2 (en) * 2015-12-29 2018-05-08 Oculus Vr, Llc Holographic display architecture
US11067805B2 (en) * 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095989A (en) * 1993-07-20 2000-08-01 Hay; Sam H. Optical recognition methods for locating eyes
US20070230819A1 (en) * 2004-04-27 2007-10-04 Japan Science And Technology Agency Method and Apparatues for Image Inspection
US20100245093A1 (en) * 2009-03-30 2010-09-30 Tobii Technology Ab Eye closure detection using structured illumination
US20150098654A1 (en) * 2013-10-09 2015-04-09 Aisin Seiki Kabushiki Kaisha Eye part detection apparatus
US20180307935A1 (en) * 2015-03-24 2018-10-25 Hrl Laboratories, Llc System for detecting salient objects in images
CN106809123A (zh) * 2015-10-27 2017-06-09 昶洧新能源汽车发展有限公司 智能后视镜系统
CN107977994A (zh) * 2016-10-21 2018-05-01 上海交通大学 用于测量被测物在参考物上的平面位置的方法
US10011216B1 (en) * 2017-04-27 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Auto turn signal initiation based on lane change and driver history
WO2019036751A1 (en) * 2017-08-22 2019-02-28 Seeing Machines Limited ENHANCED VIDEO-BASED DRIVER MONITORING USING PHASE DETECTION SENSORS
CN108399903A (zh) * 2018-03-27 2018-08-14 京东方科技集团股份有限公司 一种成像位置的调节方法及装置、平视显示系统
CN108717529A (zh) * 2018-05-17 2018-10-30 山东深图智能科技有限公司 一种基于车型的极低质量车牌字符识别方法及系统

Also Published As

Publication number Publication date
US20210065401A1 (en) 2021-03-04
US11024056B2 (en) 2021-06-01
CN112541386B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN112541386B (zh) 用于眼睛的位置识别的图像处理
US10860093B1 (en) Eye location tracking device integrated with head-up display
US10195994B2 (en) Vehicle side mirror automation
DE102019112175A1 (de) Verzerrungskorrektur für fahrzeug-surround-view-kamera-projektionen
CN108696746B (zh) 摄像机失准确定方法和系统
CN107672522A (zh) 车辆外部监视
CN107431787A (zh) 周边监控装置
CN113315946A (zh) 自然的周围视图
CN115605386A (zh) 驾驶员筛选
US11760318B2 (en) Predictive driver alertness assessment
US20170297487A1 (en) Vehicle door opening assessments
CN107979724B (zh) 具有多焦点相机的车辆
US11354784B2 (en) Systems and methods for training a non-blind image deblurring module
US10086871B2 (en) Vehicle data recording
US20220134953A1 (en) Panoramic virtual environment for in-vehicle entertainment
CN116137584A (zh) 通过使用can收发器唤醒功能消除安全使能硬件
CN116484563A (zh) 用于拖车的自动制动感优化的方法和系统
US20220179410A1 (en) Systems And Methods For Eliminating Vehicle Motion Interference During A Remote-Control Vehicle Maneuvering Operation
US11772561B1 (en) Digital flashlight to help hitching and other maneuvers in dim environment
US20220089084A1 (en) Proactive headlight tracking for vehicle auto high beam assist
US10023121B1 (en) Rear vision camera switching
US20240131991A1 (en) Methods and systems for augmented trailer view for vehicles
US20240227681A9 (en) Methods and systems for augmented trailer view for vehicles
US20230367098A1 (en) Methods and systems for automated dynamic lens utilization
CN108297691B (zh) 用于在车辆的相机显示器上提供通知的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant