CN110502096B - 基于眼球追踪的显示控制系统 - Google Patents

基于眼球追踪的显示控制系统 Download PDF

Info

Publication number
CN110502096B
CN110502096B CN201810685020.5A CN201810685020A CN110502096B CN 110502096 B CN110502096 B CN 110502096B CN 201810685020 A CN201810685020 A CN 201810685020A CN 110502096 B CN110502096 B CN 110502096B
Authority
CN
China
Prior art keywords
image
transparency
capturing device
controller
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810685020.5A
Other languages
English (en)
Other versions
CN110502096A (zh
Inventor
曾天仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN110502096A publication Critical patent/CN110502096A/zh
Application granted granted Critical
Publication of CN110502096B publication Critical patent/CN110502096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/086—Anti-glare mirrors, e.g. "day-night" mirrors using a mirror angularly movable between a position of use and a non-glare position reflecting a dark field to the user, e.g. situated behind a transparent glass used as low-reflecting surface; Wedge-shaped mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088—Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0033—Rear-view mirrors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Instrument Panels (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

一种基于眼球追踪的显示控制系统，包含本体，定义一空间以容置镜子；第一影像撷取装置，设于本体，面向第一方向用以撷取第一影像；控制器，电性连接第一影像撷取装置，以接收并处理第一影像；及透明度可控膜，设于镜子背离本体的一侧。当控制器判断第一影像当中的光源亮度超过预设第一临界值，且控制器判断第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则控制器根据眼球的偏移距离与初始坐标，校正光源的原始位置以得到校正位置，据以改变透明度可控膜相应于光源的局部区域的透明度。

Description

基于眼球追踪的显示控制系统
技术领域
本发明有关一种显示系统，特别是关于一种基于眼球追踪(eyetracking-based)的显示控制系统。
背景技术
后照镜(rearview mirror)是汽车的一项重要配备，通常设于前挡风玻璃(windshield)的上端，用以经由后挡风玻璃(或后车窗)查看车后方的状况。
当太阳的角度较小(例如清晨或黄昏)或者夜晚后方同向车辆的大灯亮度太强，很容易于后照镜间接造成眩光(glare)而影响驾驶人的视线与行车安全。类似的情形，当太阳的角度较小或者夜晚前方对向车辆的大灯亮度太强，也会经由前挡风玻璃而直接形成强光以影响驾驶人的视线与行车安全。
为了防眩光或抗强光，通常会于后照镜或前挡风玻璃的表面整体涂布一或多层特殊材质。然而，所涂布的特殊材质层会因此影响后照镜或前挡风玻璃的整体透明度(transparency)。
抬头显示器(head-up display,HUD)原本是军用飞机的配备，目前也使用于汽车，配合全球定位系统(GPS)显示导航影像于前挡风玻璃以指引驾驶人。然而，当遇到复杂的道路时，会因为驾驶人头部的移动，使得眼睛视线看到的导航影像产生偏移而指引到错误的方向，甚至会造成行车的危险。
因此亟需提出一种新颖机制，适用于后照镜、前挡风玻璃或抬头显示器，用以改善防眩光、抗强光或提供导航指引。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种基于眼球追踪的显示控制系统，有效防眩光、抗强光或作为抬头显示器。
根据本发明实施例，基于眼球追踪的显示控制系统包含本体、第一影像撷取装置、控制器及透明度可控膜。本体定义一空间以容置镜子。第一影像撷取装置设于本体上，面向第一方向用以撷取第一影像。控制器电性连接第一影像撷取装置，以接收并处理第一影像。透明度可控膜设于镜子背离本体的一侧。当控制器判断第一影像当中的光源亮度超过预设第一临界值，且控制器判断第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则控制器根据眼球的偏移距离与初始坐标，校正光源的原始位置以得到校正位置，据以改变透明度可控膜相应于光源的局部区域的透明度。
根据本发明另一实施例，基于眼球追踪的显示控制系统包含本体、第一影像撷取装置、第二影像撷取装置、控制器及透明度可控膜。本体定义一空间以容置镜子。第一影像撷取装置设于本体上，面向第一方向用以撷取第一影像；第二影像撷取装置设于本体上，面向第二方向用以撷取第二影像，该第二方向异于第一方向。控制器电性连接第一影像撷取装置与第二影像撷取装置，以分别接收并处理第一影像及第二影像。透明度可控膜贴附于前挡风玻璃的内侧或设于前挡风玻璃与方向盘之间。当控制器判断第二影像当中的光源亮度超过预设第二临界值，且控制器判断第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则控制器根据眼球的偏移距离与初始坐标，校正光源的原始位置以得到校正位置，据以改变透明度可控膜相应于光源的局部区域的透明度。
根据本发明又一实施例，基于眼球追踪的显示控制系统包含本体、第一影像撷取装置、控制器、透明度可控膜、电子地图数据库及导航单元。本体定义一空间以容置镜子。第一影像撷取装置设于本体上，用以撷取第一影像。控制器电性连接第一影像撷取装置，以接收并处理第一影像。透明度可控膜贴附于前挡风玻璃的内侧或设于前挡风玻璃与方向盘之间；电子地图数据库提供电子地图；且导航单元提供位置信息。控制器根据电子地图及位置信息，显示相应导航影像于透明度可控膜。当控制器判断第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则控制器根据眼球的偏移距离与初始坐标，校正导航影像的原始位置以得到校正位置，据以显示相应导航影像于透明度可控膜。
附图说明
图1A显示本发明第一实施例的基于眼球追踪的显示控制系统的系统方块图。
图1B显示图1A的显示控制系统的相应流程图。
图2A至图2E分别显示后照镜的立体图、侧视图、正视图、后视图及分解图。
图3A显示第一实施例的镜子与透明度可控膜的侧面俯视图。
图3B至图3D显示使用三维坐标的例子。
图4A显示本发明第二实施例的基于眼球追踪的显示控制系统的系统方块图。
图4B显示图4A的显示控制系统的相应流程图。
图5A显示本发明第三实施例的基于眼球追踪的显示控制系统的系统方块图。
图5B显示图5A的显示控制系统的相应流程图。
图6A及图6B例示抬头显示器的简化示意图。
符号说明：
100 基于眼球追踪的显示控制系统
400 基于眼球追踪的显示控制系统
500 基于眼球追踪的显示控制系统
11 第一影像撷取装置
12 控制器
13 透明度可控膜
14 第二影像撷取装置
15 电子地图数据库
16 导航单元
101 撷取第一影像
101B 撷取第一影像与第二影像
102 判断是否出现强光
103 判断眼球位置是否偏移
104 根据眼球偏移距离得到强光的校正位置
104B 根据眼球偏移距离得到导航影像的校正位置
105 改变透明度可控膜的局部透明度
105B 显示导航影像
200 后照镜
21 本体
22 镜子
23 支架
30 强光光源
31 区域
32 区域
61 导航影像区块
a 偏移距离
A 位置
B 位置
具体实施方式
图1A显示本发明第一实施例的基于眼球追踪(eye tracking-based)的显示控制系统100的系统方块图。本实施例的基于眼球追踪的显示控制系统100(以下简称显示控制系统)可适用于交通工具(例如汽车)的后照镜，用以防眩光。
在本实施例中，显示控制系统100可包含第一影像撷取装置11，例如相机镜头，其面向第一方向用以撷取第一影像。在本实施例中，第一影像撷取装置11面向后方(例如面向后挡风玻璃)用以撷取后影像。图2A至图2E分别显示后照镜200的立体图、侧视图、正视图、后视图及分解图。后照镜200主要包含本体21(例如外壳)及镜子22，其中本体21定义一空间，用以容置镜子22。如图2A或图2C所示，本实施例的第一影像撷取装置11可设于本体21上，例如设于本体21的底端，但不限定于此。
本实施例的显示控制系统100可包含控制器12，例如数字图像处理器，其电性连接第一影像撷取装置11以接收并处理第一影像撷取装置11所撷取的第一影像。在本说明书中，电性连接可指有线电性连接或无线电性连接。本实施例的控制器12可设于后照镜200的本体21所定义的空间内，但不限定于此。
根据本实施例的特征之一，显示控制系统100可包含透明度可控膜(transparencycontrollable film)13，设于后照镜200的镜子22背离本体21的一侧，如图2E所示。透明度可控膜13可固定于支架23，该支架23再耦接至本体21。透明度可控膜13的大小不须相同于镜子22，两者可形成部分重叠。在本实施例中，支架23可旋转于本体21，使得透明度可控膜13与镜子22(或本体21)之间具有一角度α，如图2B所例示，用以防止周围光于透明度可控膜13表面所造成的反射光。本实施例的透明度可控膜13受控于控制器12，可改变透明度可控膜13的局部区域的透明度或者于局部区域显示预设影像。在一例子中，透明度可控膜13可使用传统的液晶显示器(LCD)架构，例如薄膜晶体管(TFT)液晶显示器或横向电场效应(in-plane-switching,IPS)液晶显示器，其主要包含有液晶层与像素控制层(例如薄膜晶体管(TFT)控制层)，但不需背光层。于正常模式，光线可通过液晶层而未被液晶层的液晶分子极化(polarized)，因此透明度可控膜13呈现透明。然而于控制模式，光线被液晶层的液晶分子极化，因此于像素控制层所控制的局部区域，可降低透明度可控膜13的透明度。在另一例子中，透明度可控膜13可使用传统的发光二极管显示器(例如有机发光二极管(OLED)显示器)架构，其主要包含有发光二极管层与像素控制层(例如薄膜晶体管(TFT)控制层)，但不需背盖板。于正常模式，发光二极管层未作显示，因此透明度可控膜13呈现透明。然而于控制模式，于像素控制层所控制的局部区域，发光二极管层可进行显示，因而降低透明度可控膜13的透明度。
图1B显示图1A的显示控制系统100的相应流程图。于步骤101，第一影像撷取装置11撷取第一影像，其可涵盖驾驶人眼部与后挡风玻璃至少一部分范围内的影像。第一影像撷取装置11可周期地进行影像撷取，也可依照天候、交通状况或其他条件改变影像撷取的频率。于步骤102，控制器12判断所撷取的第一影像是否有出现强光，例如后方同向车辆的车灯所发出的一个或多个强光或后方的阳光。如果经判断出现有强光(例如光源亮度超过预设第一临界值)，则接着于步骤103，控制器12判断(或追踪)所撷取的第一影像当中，驾驶人的眼球(或眼睛)位置是否偏移初始(基准)位置。如果经判断驾驶人的眼球位置与初始位置之间的偏移距离非为零，则于步骤104，控制器12根据眼球的偏移距离与初始(基准)坐标，校正所撷取第一影像的强光原始位置，以得到强光的校正位置。在本说明书中，偏移距离为零也可包含该偏移距离很小而为可忽略(negligible)的情形。最后，于步骤105，控制器12根据(步骤104)所得到强光的校正位置(如果眼球有偏移)或者校正前的强光原始位置(如果眼球没有偏移)，改变透明度可控膜13相应于强光校正/原始位置的局部区域的透明度，例如降低相应位置的透明度。藉此，可防止后照镜200因强光造成的眩光对驾驶人的影响。
图3A显示第一实施例的镜子22与透明度可控膜13的侧面俯视图，用以说明本实施例的显示控制系统100的原理。位置A为(驾驶人)眼球于初始(基准)坐标的初始位置。为了防止强光光源30经由镜子22对眼睛的照射，因此降低透明度可控膜13于区域31的透明度。然而，由于驾驶人头部的移动，眼球偏移至位置B(亦即眼球的偏移距离为a)，因此降低区域31的透明度并无法防止强光光源30对于驾驶人眼睛的影响。根据眼球的偏移距离a与初始(基准)坐标，校正强光原始位置31，以得到强光的校正位置32，据此，改为降低透明度可控膜13于区域32的透明度，因而得以有效防止强光光源30造成的眩光对驾驶人的影响。在另一实施例中，显示控制系统100使用两个第一影像撷取装置11，用以撷取得到三维影像，因而可以得到眼球的深度信息，据以更精确的得知眼球的位置。图3B至图3D显示使用三维坐标的例子。图3B显示初始位置的左眼与右眼坐标。图3C显示头部左移之后的左眼与右眼坐标，其中Z轴坐标没有改变。图3D显示头部右移且前移之后的左眼与右眼坐标，其中Z轴坐标有改变，且头部影像的大小也产生变化(例如变大)。
图4A显示本发明第二实施例的基于眼球追踪的显示控制系统400的系统方块图。与第一实施例相同的组成要件，其细节省略不再赘述。本实施例的基于眼球追踪的显示控制系统400(以下简称显示控制系统)可适用于交通工具(例如汽车)内的前方，用以抗强光。
在本实施例中，显示控制系统400可包含第一影像撷取装置11，用以撷取第一影像。显示控制系统400还可包含第二影像撷取装置14，例如相机镜头，其面向第二方向(其异于第一方向)用以撷取第二影像。在本实施例中，第二影像撷取装置14面向前方(例如面向前挡风玻璃)，用以撷取第二影像。本实施例的第二影像撷取装置14可设于本体21背离镜子22的一侧(图2D)，但不限定于此。
本实施例的显示控制系统400可包含控制器12，其电性连接第一影像撷取装置11与第二影像撷取装置14，以分别接收并处理第一影像撷取装置11所撷取的第一影像与第二影像撷取装置14所撷取的第二影像。
根据本实施例的特征之一，显示控制系统400可包含透明度可控膜13，可贴附于前挡风玻璃的内侧或者设于前挡风玻璃与方向盘之间。透明度可控膜13的大小不须相同于前挡风玻璃，两者可形成部分重叠。本实施例的透明度可控膜13受控于控制器12，可改变透明度可控膜13的局部区域的透明度或者于局部区域显示预设影像。在一例子中，透明度可控膜13可使用传统的液晶显示器(LCD)架构(例如薄膜晶体管(TFT)液晶显示器或横向电场效应(in-plane-switching,IPS)液晶显示器)；在另一例子中，透明度可控膜13可使用传统的发光二极管显示器(例如有机发光二极管(OLED)显示器)架构。
图4B显示图4A的显示控制系统400的相应流程图。于步骤101B，第一影像撷取装置11撷取第一影像，其可涵盖驾驶人眼部的影像，且第二影像撷取装置14撷取第二影像，其可涵盖前挡风玻璃至少一部分范围内的影像。第一影像撷取装置11及第二影像撷取装置14可周期地进行影像撷取，也可依照天候、交通状况或其他条件改变影像撷取的频率。于步骤102，控制器12判断所撷取的第二影像是否有出现强光，例如前方对向车辆的车灯所发出的一个或多个强光或前方阳光。如果经判断出现有强光(例如光源亮度超过预设第二临界值)，则接着于步骤103，控制器12判断(或追踪)所撷取的第一影像当中，驾驶人的眼球(或眼睛)位置是否偏移初始(基准)位置。如果经判断驾驶人的眼球位置与初始位置之间的偏移距离非为零，则于步骤104，控制器12根据眼球的偏移距离与初始(基准)坐标，校正所撷取第一影像的强光原始位置，以得到强光的校正位置。最后，于步骤105，控制器12根据(步骤104)所得到强光的校正位置(如果眼球有偏移)或者校正前的强光原始位置(如果眼球没有偏移)，改变透明度可控膜13相应于强光校正/原始位置的局部区域的透明度，例如降低相应位置的透明度。藉此，可抵抗因前方强光对驾驶人的影响。
图5A显示本发明第三实施例的基于眼球追踪的显示控制系统500的系统方块图。与第一实施例或第二实施例相同的组成要件，其细节省略不再赘述。本实施例的基于眼球追踪的显示控制系统500(以下简称显示控制系统)可适用于交通工具(例如汽车)内的前方，作为抬头显示器(HUD)。
在本实施例中，显示控制系统500可包含第一影像撷取装置11，用以撷取第一影像。本实施例的显示控制系统500可包含控制器12，其电性连接第一影像撷取装置11以接收并处理第一影像撷取装置11所撷取的第一影像。
根据本实施例的特征之一，显示控制系统500可包含透明度可控膜13，可贴附于前挡风玻璃的内侧或者设于前挡风玻璃与方向盘之间。透明度可控膜13的大小不须相同于前挡风玻璃，两者可形成部分重叠。本实施例的透明度可控膜13受控于控制器12，控制器12根据电子地图数据库15所提供的电子地图及导航(navigation)单元16(例如全球定位系统或GPS)所提供的位置信息，显示相应导航影像于透明度可控膜13。在一例子中，透明度可控膜13可使用传统的液晶显示器(LCD)架构(例如薄膜晶体管(TFT)液晶显示器或横向电场效应(in-plane-switching,IPS)液晶显示器)；在另一例子中，透明度可控膜13可使用传统的发光二极管显示器(例如有机发光二极管(OLED)显示器)架构。
图5B显示图5A的显示控制系统500的相应流程图。于步骤101，第一影像撷取装置11撷取第一影像，其可涵盖驾驶人眼部的影像。于步骤103，控制器12判断(或追踪)所撷取的第一影像当中，驾驶人的眼球(或眼睛)位置是否偏移初始(基准)位置。如果经判断驾驶人的眼球位置与初始位置之间的偏移距离非为零，则于步骤104B，控制器12根据眼球的偏移距离与初始(基准)坐标，校正导航影像的原始位置，以得到导航影像的校正位置。最后，于步骤105B，控制器12根据(步骤104B)所得到导航影像的校正位置(如果眼球有偏移)或者校正前的导航影像原始位置(如果眼球没有偏移)，显示相应导航影像于透明度可控膜13。藉此，可正确显示导航影像，不受驾驶人因眼球偏移造成的导航误差。图6A例示抬头显示器的简化示意图，其中导航影像区块61指引驾驶人于(两虚线之间的)转弯车道向右转弯。然而，由于驾驶人头部移动，使得眼睛视线看到的导航影像区块61造成偏移或错位(misalign)而指引到错误的方向，如图6B所示。藉由本实施例可校正导航影像区块61的显示位置使其对位(align)，以正确指引驾驶人。
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的权利要求范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在所附权利要求范围内。

Claims (13)

1.一种基于眼球追踪的显示控制系统，包含：
一本体，定义一空间以容置一镜子；
一第一影像撷取装置，其设于所述本体上，面向第一方向用以撷取第一影像；
一控制器，其电性连接所述第一影像撷取装置，以接收并处理所述第一影像；及
一透明度可控膜，设于所述镜子背离所述本体的一侧；
其中当所述控制器判断所述第一影像当中的光源亮度超过预设第一临界值，且所述控制器判断所述第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则所述控制器根据眼球的偏移距离与初始坐标，校正所述光源的原始位置以得到校正位置，据以改变所述透明度可控膜相应于所述光源的局部区域的透明度；
其中当所述控制器判断所述第一影像当中的光源亮度超过预设第一临界值时，但驾驶人的偏移距离为零，则所述控制器根据所述光源的原始位置，据以改变所述透明度可控膜相应于所述光源的局部区域的透明度。
2.根据权利要求1所述的基于眼球追踪的显示控制系统，其中所述第一影像涵盖驾驶人眼部与后挡风玻璃至少一部分范围内的影像。
3.根据权利要求1所述的基于眼球追踪的显示控制系统，其中所述第一影像撷取装置设于所述本体的底端。
4.根据权利要求1所述的基于眼球追踪的显示控制系统，其中所述透明度可控膜与所述镜子之间具有一角度。
5.根据权利要求1所述的基于眼球追踪的显示控制系统，其中所述透明度可控膜包含薄膜晶体管液晶显示器、横向电场效应液晶显示器或有机发光二极管显示器。
6.一种基于眼球追踪的显示控制系统，包含：
一本体，定义一空间以容置一镜子；
一第一影像撷取装置，设于所述本体上，面向第一方向用以撷取第一影像；
一第二影像撷取装置，设于所述本体上，面向第二方向用以撷取第二影像，所述第二方向异于所述第一方向；
一控制器，其电性连接所述第一影像撷取装置与所述第二影像撷取装置，以分别接收并处理所述第一影像及所述第二影像；及
一透明度可控膜，贴附于前挡风玻璃的内侧或设于前挡风玻璃与方向盘之间；
其中当所述控制器判断所述第二影像当中的光源亮度超过预设第二临界值，且判断所述第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则所述控制器根据眼球的偏移距离与初始坐标，校正所述光源的原始位置以得到校正位置，据以改变所述透明度可控膜相应于所述光源的局部区域的透明度；
其中当所述控制器判断所述第二影像当中的光源亮度超过预设第二临界值时，但驾驶人的偏移距离为零，则所述控制器根据所述光源的原始位置，据以改变所述透明度可控膜相应于所述光源的局部区域的透明度。
7.根据权利要求6所述的基于眼球追踪的显示控制系统，其中所述第一影像涵盖驾驶人眼部的影像，且所述第二影像涵盖前挡风玻璃至少一部分范围内的影像。
8.根据权利要求6所述的基于眼球追踪的显示控制系统，其中所述第一影像撷取装置设于所述本体的底端，且所述第二影像撷取装置设于所述本体背离镜子的一侧。
9.根据权利要求6所述的基于眼球追踪的显示控制系统，其中所述透明度可控膜包含薄膜晶体管液晶显示器、横向电场效应液晶显示器或有机发光二极管显示器。
10.一种基于眼球追踪的显示控制系统，包含：
一本体，定义一空间以容置一镜子；
一第一影像撷取装置，设于所述本体上，面向第一方向用以撷取第一影像；
一控制器，其电性连接所述第一影像撷取装置，以接收并处理所述第一影像；
一透明度可控膜，贴附于前挡风玻璃的内侧或设于前挡风玻璃与方向盘之间；
一电子地图数据库，提供电子地图；及
一导航单元，提供位置信息；
其中所述控制器根据所述电子地图及所述位置信息，显示相应导航影像于所述透明度可控膜；
其中当所述控制器判断所述第一影像当中驾驶人的眼球位置与初始位置之间的偏移距离非为零，则所述控制器根据眼球的偏移距离与初始坐标，校正所述导航影像的原始位置以得到校正位置，据以显示相应导航影像于所述透明度可控膜。
11.根据权利要求10所述的基于眼球追踪的显示控制系统，其中所述第一影像涵盖驾驶人眼部的影像。
12.根据权利要求10所述的基于眼球追踪的显示控制系统，其中所述第一影像撷取装置设于所述本体的底端。
13.根据权利要求10所述的基于眼球追踪的显示控制系统，其中所述透明度可控膜包含薄膜晶体管液晶显示器、横向电场效应液晶显示器或有机发光二极管显示器。
CN201810685020.5A 2018-05-18 2018-06-28 基于眼球追踪的显示控制系统 Active CN110502096B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107117040A TWI637289B (zh) 2018-05-18 2018-05-18 基於眼球追蹤的顯示控制系統
TW107117040 2018-05-18

Publications (2)

Publication Number Publication Date
CN110502096A CN110502096A (zh) 2019-11-26
CN110502096B true CN110502096B (zh) 2022-10-28

Family

ID=64797475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810685020.5A Active CN110502096B (zh) 2018-05-18 2018-06-28 基于眼球追踪的显示控制系统

Country Status (3)

Country Link
US (1) US10755632B2 (zh)
CN (1) CN110502096B (zh)
TW (1) TWI637289B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3445138A1 (en) * 2017-08-17 2019-02-20 Philips Lighting Holding B.V. Storing a preference for a light state of a light source in dependence on an attention shift
TWI674518B (zh) * 2018-11-28 2019-10-11 國立臺灣大學 眼球追蹤的校正方法和其裝置
US11590845B2 (en) * 2021-04-29 2023-02-28 Toyota Research Institute, Inc. Systems and methods for controlling a head-up display in a vehicle
DE102022100954A1 (de) 2022-01-17 2023-07-20 Bayerische Motoren Werke Aktiengesellschaft Rückspiegel-Modul und Verfahren zum Abblenden eines Rückspiegels

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334132A (ja) * 2003-05-12 2004-11-25 Calsonic Kansei Corp 車両用表示器
CN103303141A (zh) * 2012-03-15 2013-09-18 由田新技股份有限公司 具有照明光源的车用眼控装置
CN204559791U (zh) * 2015-05-14 2015-08-12 大昱光电股份有限公司 裸眼3d影像处理装置
CN105323539A (zh) * 2014-07-17 2016-02-10 原相科技股份有限公司 车用安全系统及其操作方法
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4874938A (en) * 1988-03-16 1989-10-17 Prospects Corp. Automatic motor vehicle visor system
US5305012A (en) * 1992-04-15 1994-04-19 Reveo, Inc. Intelligent electro-optical system and method for automatic glare reduction
US5298732A (en) * 1993-02-18 1994-03-29 Emee, Inc. Automatic visor for continuously repositioning a shading object to shade a designated location from a direct radiation source
US5322996A (en) * 1993-04-28 1994-06-21 Reliant Laser Corporation Mirror with dynamic dazzle light attenuation zone
KR100290543B1 (ko) * 1998-12-29 2001-05-15 허문영 온도 보상 눈부심 방지장치 및 그 방법
US6439638B1 (en) * 1999-08-20 2002-08-27 Kasai Kogyo Co., Ltd. Vehicle sun visor
US6196689B1 (en) * 2000-06-10 2001-03-06 Timothy Brown Mirror system for tractor trailers
WO2003074307A1 (en) * 2002-03-07 2003-09-12 Yechezkal Evan Spero Enhanced vision for driving
US6918674B2 (en) * 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
US6715894B1 (en) * 2003-02-19 2004-04-06 Henderson O. Taylor Forward-viewing mirror
US7432800B2 (en) * 2004-07-07 2008-10-07 Delphi Technologies, Inc. Adaptive lighting display for vehicle collision warning
US7134707B2 (en) * 2005-02-10 2006-11-14 Motorola, Inc. Selective light attenuation system
US7970172B1 (en) * 2006-01-24 2011-06-28 James Anthony Hendrickson Electrically controlled optical shield for eye protection against bright light
US7505136B2 (en) * 2006-05-16 2009-03-17 The Boeing Company Testing and tuning electrically dimmable windows
US7646422B2 (en) * 2006-10-04 2010-01-12 Branislav Kisacanin Illumination and imaging system with glare reduction and method therefor
US20090168185A1 (en) * 2007-12-27 2009-07-02 Motorola, Inc. Electrochromic Windshield with Computer Vision Control
BR112012022561A2 (pt) * 2010-03-10 2016-08-30 Honda Motor Co Ltd dispositivo para confirmar visualmente a direção à frente
US8228590B2 (en) * 2010-08-09 2012-07-24 Gentex Corporation Electro-optic system configured to reduce a perceived color change
JP2012086831A (ja) * 2010-09-22 2012-05-10 Toshiba Corp 車載表示装置
US8482834B2 (en) * 2010-12-07 2013-07-09 David A. Cordova Window tinting systems
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
US8888304B2 (en) * 2012-05-10 2014-11-18 Christopher V. Beckman Optical control techniques
US9321329B2 (en) * 2012-05-10 2016-04-26 Chris Beckman Glare elimination and image enhancement system improving lenses, windows and displays
US9759916B2 (en) * 2012-05-10 2017-09-12 Christopher V. Beckman Mediated reality display system improving lenses, windows and screens
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
US9414746B2 (en) * 2012-01-26 2016-08-16 Nokia Technologies Oy Eye tracking
US9409464B2 (en) * 2013-04-25 2016-08-09 Globalfoundries Inc. Dynamically managing vehicle glass dimming
FR3010938B1 (fr) * 2013-09-26 2015-10-30 Valeo Vision Dispositif et procede d'aide a la conduite
FR3010940B1 (fr) * 2013-09-26 2017-01-13 Valeo Vision Dispositif et procede d'aide a la conduite
FR3011090B1 (fr) * 2013-09-26 2016-12-23 Valeo Vision Lunettes a affichage de donnees munies d'un ecran anti-eblouissement
US9511650B2 (en) * 2014-03-30 2016-12-06 Bob Momot Adjustable opacity control based on operator and light source position
CN106458059B (zh) * 2014-04-25 2018-10-16 三菱电机株式会社 自动调整装置、自动调整系统以及自动调整方法
US20170072774A1 (en) * 2014-06-20 2017-03-16 Grey Matter Fusion, Inc. Sun tracking tint visor
GB2528446B (en) * 2014-07-21 2021-08-04 Tobii Tech Ab Method and apparatus for detecting and following an eye and/or the gaze direction thereof
US9939664B2 (en) * 2014-12-10 2018-04-10 The Boeing Company High temperature range and high strain range transparent composites based on matrices having optically tunable refractive indices
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
US20160185191A1 (en) * 2014-12-31 2016-06-30 Zirve Universitesi Automatic vehicle sun shade
WO2016131075A1 (en) * 2015-02-20 2016-08-25 Seeing Machines Limited Glare reduction
US20160253971A1 (en) * 2015-03-01 2016-09-01 Daniel Robert Shepard Dynamic visor
CN107683220B (zh) * 2015-03-19 2019-03-08 富士胶片株式会社 投影型显示装置以及投影显示方法
JP6319350B2 (ja) * 2015-04-03 2018-05-09 株式会社デンソー 情報提示装置
CN107615755B (zh) * 2015-05-19 2020-07-03 麦克赛尔株式会社 头戴式显示器、平视显示器和影像显示方法
CN104977739B (zh) * 2015-07-17 2018-09-18 京东方科技集团股份有限公司 一种显示控制方法及显示控制装置、显示系统
JP6478224B2 (ja) * 2015-08-25 2019-03-06 本田技研工業株式会社 車両用自動防眩装置
JP2019506017A (ja) * 2015-11-06 2019-02-28 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ オプティカル・フローを用いる眼球追跡
US10401625B2 (en) * 2015-12-28 2019-09-03 Facebook Technologies, Llc Determining interpupillary distance and eye relief of a user wearing a head-mounted display
JP2017138350A (ja) * 2016-02-01 2017-08-10 アルプス電気株式会社 画像表示装置
US10319272B1 (en) * 2016-02-10 2019-06-11 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Vehicular brightness limiting system
US9702183B1 (en) * 2016-02-26 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smart sunshade for a vehicle window
JP6357601B2 (ja) * 2016-03-02 2018-07-11 富士フイルム株式会社 投写型表示装置、投写制御方法、及び、投写制御プログラム
US10321122B2 (en) * 2016-04-14 2019-06-11 Gentex Corporation Vehicle display system providing depth information
US9671626B2 (en) * 2016-05-19 2017-06-06 Maximilian Ralph Peter von und zu Liechtenstein Apparatus and method for augmenting human vision by means of adaptive polarization filter grids
US20180126907A1 (en) * 2016-06-24 2018-05-10 Faraday&Future Inc. Camera-based system for reducing reflectivity of a reflective surface
US10106018B2 (en) * 2016-10-26 2018-10-23 International Business Machines Corporation Automated windshield glare elimination assistant
KR20180060788A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 눈부심 방지 장치 및 방법
WO2018125870A1 (en) * 2016-12-27 2018-07-05 Gentex Corporation Rear vision system with eye-tracking
CN207148136U (zh) * 2017-08-07 2018-03-27 长沙开元仪器股份有限公司 一种自动夹取及转移机构
TWI653170B (zh) * 2017-11-01 2019-03-11 宏碁股份有限公司 駕駛提示方法與系統
US20190156134A1 (en) * 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
US20190168586A1 (en) * 2017-12-04 2019-06-06 Toyota Research Institute, Inc. Adaptive light passage region control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004334132A (ja) * 2003-05-12 2004-11-25 Calsonic Kansei Corp 車両用表示器
CN103303141A (zh) * 2012-03-15 2013-09-18 由田新技股份有限公司 具有照明光源的车用眼控装置
CN105323539A (zh) * 2014-07-17 2016-02-10 原相科技股份有限公司 车用安全系统及其操作方法
WO2016064361A1 (en) * 2014-10-23 2016-04-28 Tofas Turk Otomobil Fabrikasi Anonim Sirketi A rear view system
CN204559791U (zh) * 2015-05-14 2015-08-12 大昱光电股份有限公司 裸眼3d影像处理装置

Also Published As

Publication number Publication date
TWI637289B (zh) 2018-10-01
US20190355298A1 (en) 2019-11-21
CN110502096A (zh) 2019-11-26
US10755632B2 (en) 2020-08-25
TW202004411A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
CN110502096B (zh) 基于眼球追踪的显示控制系统
CN111433067B (zh) 平视显示装置及其显示控制方法
JP6437532B2 (ja) グレア防止スクリーンを備えるデータ表示眼鏡
US8716644B2 (en) Glare reduction apparatus
KR101759945B1 (ko) 디스플레이 장치
CN109791300B (zh) 平视显示器系统
US9566946B2 (en) Systems, methods, and computer readable media for protecting an operator against glare
US11506891B2 (en) Method for operating a visual field display device for a motor vehicle
US20160178901A1 (en) Vehicle head-up display device
US9753283B2 (en) Head-up display device
US20100066925A1 (en) Head Up Display
US10274726B2 (en) Dynamic eyebox correction for automotive head-up display
US10583773B2 (en) Vehicle-mounted system and vehicle
US20170270367A1 (en) Onboard display system
CN110816408A (zh) 显示装置、显示控制方法及存储介质
KR20190094461A (ko) 자동차용 헤드업 디스플레이 장치, 헤드업 디스플레이 장치의 디스플레이를 제어하기 위한 방법, 장치 및 명령어를 포함하는 컴퓨터 판독 가능 저장 매체
WO2019238854A1 (en) Head-up-display
KR20170059459A (ko) 헤드업 디스플레이, 헤드업 디스플레이 방법 및 차량 장착 디스플레이 장치
JP6466421B2 (ja) 防眩スクリーンを備えるデータ表示眼鏡
CN106030377A (zh) 车辆显示模块
US10795167B2 (en) Video display system, video display method, non-transitory storage medium, and moving vehicle for projecting a virtual image onto a target space
US10703298B2 (en) Display device, display control method, and storage medium
KR20170091259A (ko) 유사홀로그램 방식의 자동차 사이드 영상 조사장치.
JP2019015936A (ja) ヘッドアップディスプレイ装置
KR101642747B1 (ko) 헤드 업 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant