CN109840014B - 虚拟触摸识别装置及用于校正其识别误差的方法 - Google Patents

虚拟触摸识别装置及用于校正其识别误差的方法 Download PDF

Info

Publication number
CN109840014B
CN109840014B CN201811382126.4A CN201811382126A CN109840014B CN 109840014 B CN109840014 B CN 109840014B CN 201811382126 A CN201811382126 A CN 201811382126A CN 109840014 B CN109840014 B CN 109840014B
Authority
CN
China
Prior art keywords
user
image
virtual touch
display
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811382126.4A
Other languages
English (en)
Other versions
CN109840014A (zh
Inventor
申熙元
金东禹
池相雨
金石中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN109840014A publication Critical patent/CN109840014A/zh
Application granted granted Critical
Publication of CN109840014B publication Critical patent/CN109840014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

本公开涉及虚拟触摸识别装置和校正虚拟触摸识别装置的识别误差的方法，其利用用户的眼睛位置和平视显示器(HUD)的图像显示位置或投射位置。虚拟触摸识别装置包括检测用户的眼睛位置的姿势识别器、将图像投射在用户前方的图像显示位置上的平视显示器以及基于用户的眼睛位置和图像显示位置校正虚拟触摸的识别误差的控制器。当使用虚拟触摸的姿势控制技术应用于车辆时，该装置和方法能够最小化取决于用户的眼睛位置和HUD的图像显示位置出现的虚拟触摸识别误差。

Description

虚拟触摸识别装置及用于校正其识别误差的方法
相关申请的交叉引用
本申请根据中国专利法要求于2017年11月24日向韩国知识产权局提交的第10-2017-0158175号韩国专利申请的权益，其全部内容通过引用并入本文。
技术领域
本公开涉及当虚拟触摸技术结合平视显示器应用于车辆时，取决于用户的眼睛位置和/或平视显示器的图像显示位置，能够校正虚拟触摸的识别误差的虚拟触摸识别装置，以及涉及用于校正虚拟触摸识别装置的识别误差的方法。
背景技术
平视显示器是被设计为在车辆的挡风玻璃上呈现对车辆驾驶员有用的信息的显示装置。也就是说，平视显示器将显示在仪表组中的信息(诸如，车辆的当前速度和燃料液面)以及导航单元的路线信息投射到挡风玻璃上作为虚拟图像。由于平视显示器在驾驶员的视野范围内提供信息以最小化用户的目光转移，所以平视显示器不会使驾驶员分心，从而确保驾驶时的安全性。
为了防止驾驶员在平视显示器操作时分心，可以在车辆中并入虚拟触摸(姿势控制)识别技术。虚拟触摸识别技术通过使用3D相机感测驾驶员的眼睛或手的移动来识别虚拟触摸的位置，并且基于所识别的虚拟触摸控制诸如导航单元和/或空调系统等仪器。
在虚拟触摸识别技术结合平视显示器应用于车辆的情况下，由于驾驶员看到的平视显示器图像的虚拟图像的位置根据驾驶员的眼睛位置或平视显示器图像的显示位置改变，所以在识别用户的虚拟触摸时可能出现识别误差。
发明内容
本公开的方面提供当结合平视显示器应用虚拟触摸技术时，取决于用户的眼睛位置和/或平视显示器的图像显示位置，能够校正虚拟触摸的识别误差的虚拟触摸识别装置，以及用于校正虚拟触摸识别装置的识别误差的方法。
本公开要解决的技术问题不局限于上述问题，并且从以下描述中，本公开所属领域技术人员将更清楚地理解本文未提及的其他任何技术问题。
根据本公开的方面，虚拟触摸识别装置包括检测用户的眼睛位置的姿势识别器、将图像投射在用户前方的图像显示位置上的平视显示器以及基于用户的眼睛位置和图像显示位置校正虚拟触摸的识别误差的控制器。
平视显示器将图像投射在车辆的挡风玻璃上，挡风玻璃位于用户前方。
姿势识别器包括拍摄用户的图像的图像拾取器以及分析由图像拾取器获取的图像并且计算用户的眼睛位置和用户的手指位置的空间坐标计算器。
图像拾取器由三维相机实施。
空间坐标计算器计算相对于车辆前轮中心的用户眼睛的中心位置的空间坐标及用户手指的指尖位置的空间坐标。
控制器基于从姿势识别器输出的用户的眼睛位置和用户的手指位置计算虚拟触摸位置。
控制器参考存储在存储器中的查找表，根据眼睛位置和图像显示位置确定校正量。
控制器校正由平视显示器投射的图像中的控制对象的坐标。
控制对象是分配有指定功能的图形对象。
当在校正控制对象的坐标之后改变用户的眼睛位置和图像显示位置中的至少一个时，控制器参考查找表重新校正控制对象的坐标。
根据本公开的另一方面，校正虚拟触摸识别装置的识别误差的方法包括：使用图像拾取器检测用户的眼睛位置；获取从平视显示器投射在用户前方的图像的位置；以及基于眼睛位置和所投射的图像的位置校正虚拟触摸的识别误差。
平视显示器将图像投射在车辆的挡风玻璃上，挡风玻璃位于用户前方。
用户眼睛位置的检测包括通过三维相机获取用户图像并且分析所获取的用户图像以计算用户眼睛的中心位置的空间坐标。
用户眼睛位置的检测包括使用三维坐标计算方法计算用户眼睛的中心位置的空间坐标。
用户眼睛位置的检测包括计算相对于车辆前轮中心的用户眼睛的中心位置的空间坐标。
用户眼睛位置的检测包括使用所获取的用户图像计算用户手指的指尖位置的空间坐标。
虚拟触摸的识别误差的校正包括校正所投射的图像中的控制对象的位置。
控制对象由分配有指定功能的图形对象实施。
该方法进一步包括当在校正虚拟触摸的识别误差之后改变用户的眼睛位置和所投射的图像的位置中的至少一个时，参考查找表重新校正控制对象的位置。
虚拟触摸的识别误差的校正包括参考查找表，根据眼睛位置和所投射的图像的位置，确定校正量。
根据本公开，由于当结合平视显示器应用虚拟触摸技术时，根据用户的眼睛位置校正由平视显示器投射的图像中的控制对象的位置，所以可以更精确地识别虚拟触摸位置。
此外，根据本公开，由于当结合平视显示器应用虚拟触摸技术时，根据平视显示器的图像显示位置校正由平视显示器投射的图像中的控制对象的位置，所以可以减少虚拟触摸的识别误差。
附图说明
从以下结合附图的详细描述中，本公开的上述和其他目的、特征和优点将更显而易见：
图1是示出根据本公开的示例性实施例的虚拟触摸识别装置的框图；
图2A和图2B是示出根据本公开的示例性实施例的由平视显示器投射的图像的视图；
图3是根据本公开的示例性实施例的用于校正虚拟触摸的查找表；
图4是示意性地描绘根据本公开的示例性实施例的计算虚拟触摸位置的方法的视图；
图5A和图5B是示意性地描绘根据本公开的示例性实施例的取决于眼睛位置和图像显示位置的虚拟触摸识别误差的视图；
图6是示出根据本公开的示例性实施例的用于校正虚拟触摸识别装置的识别误差的方法的流程图；
图7是示出根据本公开的另一示例性实施例的用于校正虚拟触摸识别装置的识别误差的方法的流程图；并且
图8是示出根据本公开的另一示例性实施例的用于校正虚拟触摸识别装置的识别误差的方法的流程图。
具体实施方式
应当理解，如本文所用的术语“车辆”或“车辆的”或其他类似术语通常包括机动车辆，诸如包括运动型多用途车辆(SUV)、公共汽车、卡车、各种商用车辆的客运汽车，包括各种船艇和船舶的船只，飞行器等，并且包括混合动力车辆、电动车辆、插电式混合动力车辆、氢动力车辆和其他替代燃料车辆(例如，来自石油以外的资源的燃料)。如本文所指，混合动力车辆是具有两种或更多种动力源的车辆，例如汽油动力和电动两者车辆。
本文所用的术语仅用于描述具体实施例的目的，并且不旨在限制本公开。如本文所用的单数形式“一个/种”和“该”也旨在包括复数形式，除非上下文另外清楚地指示。将进一步理解，词语“包括”和/或“包含”当在本说明书中使用时限定了所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或他们的组的存在或添加。如本文所用的词语“和/或”包括关联的所列项中的一个或多个的任何组合和所有组合。贯穿本说明书，除非有明确相反描述，否则单词“包括”以及变型诸如“包含”或“具有)”应理解为暗示包括所述元件但不排除任何其他元件。此外，说明书中描述的术语“单元”、“...器”“…件”和“模块”意指用于处理至少一种功能和操作的单元，且能够由硬件部件或软件部件以及他们的组合实施。
进一步地，本公开的控制逻辑可以体现为在包括由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非暂时性计算机可读介质。计算机可读介质的示例包括但不限于ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存驱动器、智能卡以及光学数据存储器件。计算机可读介质也能够分布在网络耦合的计算机系统中，使得计算机可读介质以分布的方式存储和执行，例如，通过远程信息处理服务器或控制器局域网(CAN)。
提供本公开以在使用虚拟触摸的姿势控制技术结合平视显示器(HUD)应用于车辆时，最小化根据驾驶员的眼睛位置和HUD的显示位置(即，投射位置)而出现的虚拟触摸识别误差。
图1是示出根据本公开的示例性实施例的虚拟触摸识别装置100的框图，图2A和图2B是示出根据本公开的示例性实施例的由平视显示器投射的图像的视图，图3是根据本公开的示例性实施例的用于校正虚拟触摸的查找表，图4是示意性地描绘根据本公开的示例性实施例的计算虚拟触摸位置的方法的视图，并且图5A和图5B是示意性地描绘根据本公开的示例性实施例的取决于眼睛位置和图像显示位置的虚拟触摸识别误差的视图。
如图1中所示，根据本公开的虚拟触摸识别装置100包括姿势识别器110、用户界面120、平视显示器130、存储器140和控制器150。
姿势识别器110识别由用户(例如，驾驶员)输入的姿势。姿势识别器110包括图像拾取器111和空间坐标计算器112。
图像拾取器111安装在车辆前侧内部以面向用户，并且图像拾取器111拍摄用户的照片(即，用户图像)。图像拾取器111可以是能够获取深度距离的三维(3D)相机，并且可以由飞行时间(TOF)相机、立体相机、结构光相机之一实施。
图像拾取器111可以包括照明单元1111、图像传感器1112和镜头1113。
照明单元1111向用户发出光。照明单元1111可以由一个或多个红外发光二极管(IR LED)或激光二极管实施。此外，照明单元1111可以向用户投射指定图案，例如斑纹图案。
图像传感器1112获取指定图案投射于其上的用户图像。图像传感器1112将所获取的图像发送到空间坐标计算器112和/或控制器150。图像传感器1112可以将所获取的图像存储在存储器140中。
图像传感器1112可以由图像传感器(诸如，电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器、电荷引发器件(CPD)图像传感器、电荷注入器件(CID)图像传感器等)中的至少一种图像传感器实施。
作为示例，图像拾取器111可以包括3D图像传感器或深度图像传感器，并且可以选择性地(可选地)包括至少一种彩色图像传感器。
镜头1113可以包括标准镜头、超广角镜头、广角镜头、变焦镜头、近摄镜头、鱼眼镜头和半鱼眼镜头中的至少一种镜头。
图像拾取器111可以包括对由图像传感器1112获取的图像执行各种图像处理过程(例如，噪声去除过程、彩色再现过程、图像质量和色度控制过程、文件压缩过程等)的图像处理器。
空间坐标计算器112可以使用已知的3D坐标检测方法之一计算用户的身体(例如，眼睛、手指等)的3D坐标(空间坐标)。作为3D坐标检测方法，可以代表性地使用光学三角测量方法或延时测量方法。光学三角测量方法通过使用光束投射仪将结构光束图案投射到对象上、拍摄结构光束图案投射于其上的对象的图像、使用相机并且使用由相机拍摄的图像来计算对象的3D位置。
延时测量方法通过计算在由发送器生成并且被对象反射之后到达接收器的激光、红外线或超声波的飞行时间(TOF)并且使用所计算的TOF来计算3D位置。
空间坐标计算器112分析通过图像拾取器111获取的用户图像以识别用户的眼睛和手指。空间坐标计算器112计算所识别的用户的眼睛和手指的位置。空间坐标计算器112计算相对于车辆前轮中心的眼睛的中心位置(眼睛中心的空间坐标)和手指的指尖位置(手指指尖的空间坐标)。
空间坐标计算器112可以包括处理器(未示出)和存储器(未示出)。在这种情况下，处理器(未示出)可以包括图像处理器、专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微控制器和微处理器中的至少一种。
用户界面120响应于用户的操作而生成输入数据。此外，用户界面120可以生成指示虚拟触摸识别装置100“开”或“关”的信号。用户界面120可以包括各种输入器件(诸如，键盘、圆顶开关、触摸板(电阻式/电容式)、拨动开关、微动滚轮、微动开关等)中的至少一种。
平视显示器130安装在车辆的仪表盘上以将各种信息投射在车辆的挡风玻璃上作为虚拟图像。各种信息可以包括：路线信息、行驶速度、燃料液面、检查控制消息、控制对象、用户界面(UI)、图形用户界面(GUI)等。特殊的塑料膜设置在挡风玻璃的外板玻璃和挡风玻璃的内板玻璃之间以防止出现重影图像。
作为示例，如图2A和2B所示，平视显示器130将车辆的行驶速度、导航的路线信息、分配有指定指令的控制对象(图形图标或视觉指示符)201至203、以及多媒体播放器的控制图标204和205显示车辆的挡风玻璃上。
平视显示器130包括投射显示器、背光源和反射器。投射显示器可以由液晶显示器(LCD)、薄膜晶体管液晶显示器(TFI-LCD)、有机光发射二极管(OLED)显示器和柔性显示器之一实施。
背光源作为投射显示器的背景照明操作并且基本上同时生成平视显示器130的亮度所需的光。背光源是配置为包括绿色LED和红色LED的LED阵列。反射器将通过投射显示器显示的信息(图形图像)反射到挡风玻璃上。
平视显示器130将当前显示的图像的显示位置(即，图像显示位置)输出到控制器150。具体地，图像显示位置(即，图像投射位置)意指相对于参考坐标的投射到车辆的挡风玻璃上的图像中心所在的位置的空间坐标。
存储器140可以存储被编程为使控制器150能够执行预定操作的软件，并且可以暂时性存储输入/输出数据。存储器140可以存储由图像拾取器111拍摄的图像数据。
此外，存储器140存储用于校正虚拟触摸的查找表。查找表包括取决于用户的眼睛位置和图像显示器位置的车辆高度方向和/或车辆宽度(幅度)方向上的校正值(即，校正量)。
作为示例，查找表包括取决于相对于参考眼睛高度和参考图像显示高度的驾驶员眼睛高度和HUD图像的显示高度的车辆高度方向上的校正值。如图3中所示，当眼睛高度约为850mm且图像显示高度为第十步时，校正值为零(0)。当仅眼睛高度从约850mm改变为约790mm时，车辆高度方向上的校正值为约+20mm。
存储器140可以安装在控制器150内部和/或外部。存储器140可以由诸如闪速存储器、硬盘、安全数字(SD)卡、随机存取存储器(RAM)、只读存储器(ROM)、网页存储等的存储介质中至少一种存储介质实施。
控制器150控制虚拟触摸识别装置100的整体操作。控制器150可以包括专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微控制器和微处理器中的至少一种。
控制器150使用用户的眼睛位置(即，第一空间坐标)和用户的手指位置(即，第二空间坐标)计算虚拟触摸位置(即，虚拟触摸坐标)。参考图4，控制器150计算将第一空间坐标P1连接到第二空间坐标P2的直线与投射在挡风玻璃W上的虚拟图像所显示的显示表面(反射表面)接触的接触点，作为虚拟触摸位置(即，虚拟触摸坐标P3)。
控制器150从姿势识别器110和平视显示器130获取用户的眼睛位置和图像显示位置。控制器150基于被获取以校正虚拟触摸位置的眼睛位置和图像显示位置，校正由平视显示器130通过车辆的挡风玻璃显示的图像中的控制对象的坐标。在这种情况下，控制器150参考查找表校正控制对象的坐标。控制对象可以分配有指定指令和/或功能，并且可以实施在图形图标或视觉显示器中。控制对象的坐标意指虚拟图像通过平视显示器130所投射的挡风玻璃上的控制对象的位置的空间坐标。
当在校正控制对象的坐标之后将用户的眼睛位置和图像显示位置中的至少一个位置改变为超过参考值(例如，约为5mm的半径)时，控制器150参考查找表重新校正控制对象的坐标。
在校正控制对象的坐标后，控制器150基于从姿势识别器110输出的用户的眼睛位置和手指位置计算虚拟触摸位置。当所计算的虚拟触摸位置与控制对象的所校正的坐标重合时，控制器150执行分配给对应控制对象的功能。
作为示例，在如图5A中所示，HUD图像中的分配有指定功能(指令)的控制对象的位置被设定为1、2和3的情况下，当驾驶员高于平均水平或座椅位置被调节为更高使得驾驶员的眼睛高度高于参考眼睛高度时，HUD图像比参考图像显示高度更低地显示给驾驶员。因此，当驾驶员输入虚拟触摸时，出现控制器150将控制对象的位置(即，坐标)识别为1”、2”和3”的识别误差。
同时，当驾驶员矮于平均水平或座椅位置被调节为更低使得驾驶员的眼睛高度低于参考眼睛高度时，HUD图像比参考图像显示高度更高地显示给驾驶员。因此，当控制器150识别虚拟触摸(姿势)时，控制器150将控制对象的位置(坐标)误识为1’、2’和3’。
此外，如图5B中所示，在HUD图像中的控制对象的位置被设定为A、B和C的情况下，当驾驶员调节HUD图像的高度且HUD图像的显示高度变得高于参考图像显示高度时，即使驾驶员通过虚拟触摸选择控制对象A、B和C，也会出现控制器150将控制对象的位置(坐标)识别为A’、B’和C’的识别误差。
同时，在驾驶员将HUD图像显示高度调节到低于参考图像显示高度的情况下，当驾驶员输入虚拟触摸时，控制器150将控制对象的位置(坐标)A、B和C识别为A”、B”和C”。
如上所述，为了校正当驾驶员的眼睛高度和/或HUD图像的显示高度与参考不同时出现的识别误差，控制器150确认驾驶员的眼睛位置和HUD图像的显示高度，并且参考查找表，基于与所确认的眼睛位置和HUD图像的显示高度对应的校正量(校正值)来校正控制对象的位置(坐标)。
例如，当驾驶员的眼睛高度变得更高时，虚拟触摸识别装置100参考查找表将控制对象的预定位置1、2和3分别校正为1”、2”和3”，并且当驾驶员的眼睛高度变得更低时，虚拟触摸识别装置100参考查找表将控制对象的预定位置1、2和3分别校正为1’、2’和3’。
同时，当驾驶员将HUD图像的显示高度调节到高于参考图像显示高度时，虚拟触摸识别装置100参考查找表将控制对象的位置A、B和C分别校正为A’、B’和C’，并且当驾驶员将HUD图像的显示高度调节到低于参考图像显示高度时，虚拟触摸识别装置100参考查找表将控制对象的位置A、B和C分别校正为A”、B”和C”。
如上所述，由于基于驾驶员的眼睛位置和HUD图像的显示高度校正控制对象的位置(坐标)，所以虚拟触摸识别装置100可以精确地识别由用户输入的虚拟触摸。
图6是示出根据本公开的示例性实施例的用于校正虚拟触摸识别装置的识别误差的方法的流程图。
参考图6，虚拟触摸识别装置100的控制器150响应于从用户界面120输出的指令开启虚拟触摸识别装置100(S110)。
当虚拟触摸识别装置100开启时，控制器150通过姿势识别器110检测驾驶员的眼睛位置(S120)。姿势识别器110根据控制器150的控制来控制图像拾取器111以获取用户图像。姿势识别器110的空间坐标计算器112使用通过图像拾取器111获取的用户图像计算用户眼睛的中心位置的空间坐标。姿势识别器110将由空间坐标计算器112计算的用户眼睛的中心位置的空间坐标发送到控制器150。
控制器150从平视显示器130获取当前图像显示位置(S130)。也就是说，平视显示器130向控制器150提供根据控制器150的请求设定的图像显示位置(高度)。
控制器150使用所检测的用户的眼睛位置和所获取的图像显示位置校正HUD图像中的控制对象的位置(S140)。控制器150参考查找表，基于所检测的用户的眼睛位置和所获取的图像显示位置确定校正量。控制器150基于所确定的校正量来校正控制对象的坐标。
然后，控制器150在每个预定周期(例如，1秒、10秒或每次出现虚拟触摸输入时)重复执行操作S120至S140。
此外，当出现用户的虚拟触摸输入时，控制器150通过姿势识别器110识别用户眼睛的中心位置和用户手指的指尖位置的位置(空间坐标)。控制器150使用所识别的用户眼睛的中心位置和用户手指的指尖位置的位置(空间坐标)计算虚拟触摸位置，并且确定所计算的虚拟触摸位置是否与控制对象的校正位置匹配。当所计算的虚拟触摸位置与控制对象的校正位置匹配时，控制器150执行分配给对应控制对象的功能。
图7是示出根据本公开的另一示例性实施例的用于校正虚拟触摸识别装置的识别误差的方法的流程图。
首先，虚拟触摸识别装置100的控制器150确认在虚拟触摸识别装置100开启后当前执行的虚拟触摸校正是否为第一次校正(S210)。控制器150响应于通过用户界面120提供的用户输入开启虚拟触摸识别装置100，并且确认在虚拟触摸识别装置100开启后当前执行的虚拟触摸校正是否为第一次校正。
当在虚拟触摸识别装置100开启后当前执行的虚拟触摸校正是第一次校正时，控制器150通过姿势识别器110检测用户的眼睛位置(S220)。也就是说，姿势识别器110通过图像拾取器111获取用户图像，并且通过使用空间坐标计算器112根据所获取的图像计算用户眼睛的中心位置的空间坐标。
然后，控制器150从平视显示器130获取当前图像显示位置(S230)。控制器150首先使用所检测的用户的眼睛位置和所获取的图像显示位置校正HUD图像中的控制对象的位置(S240)。控制器150参考存储在存储器140中的查找表，基于所检测的用户的眼睛位置和所获取的图像显示位置来确定校正量。控制器150基于所确定的校正量来校正控制对象的位置。
同时，当在操作S210中开启虚拟触摸识别装置100后当前执行的虚拟触摸校正不是第一次校正时，控制器150通过姿势识别器110检测用户的眼睛位置(S250)。换句话说，当在开启虚拟触摸识别装置100后当前执行的虚拟触摸校正不是第一次校正时，控制器150通过姿势识别器110计算用户眼睛的中心位置的空间坐标。
控制器150从平视显示器130获取当前图像显示位置(S260)。例如，控制器150计算平视显示器130投射的图像与参考坐标在车辆的高度方向上间隔开的竖直距离(平视显示器的图像显示高度)。
控制器150确认眼睛位置和图像显示位置中的至少一个是否改变(S270)。控制器150将所检测的眼睛位置和所获取的图像显示位置与先前检测的眼睛位置和先前获取的图像显示位置进行比较，以确认眼睛位置和图像显示位置是否改变。
在眼睛位置和图像显示位置中的至少一个改变的情况下，控制器150参考查找表校正控制对象的位置(S240)。控制器150通过查找表根据所检测的眼睛位置和所获取的图像显示位置来确认校正量，并且校正控制对象的位置。
然后，控制器150在每个预定周期(例如，1秒、10秒或每次出现虚拟触摸输入时)重复执行上述校正过程。
此外，当出现用户的虚拟触摸输入时，控制器150通过姿势识别器110识别用户眼睛的中心位置和用户手指的指尖位置的位置(空间坐标)。控制器150使用所识别的用户眼睛的中心位置和用户手指的指尖位置的位置(空间坐标)来计算虚拟触摸位置，并且确定所计算的虚拟触摸位置是否与控制对象的校正位置匹配。当所计算的虚拟触摸位置与控制对象的校正位置匹配时，控制器150执行分配给对应控制对象的功能(操作)。
图8是示出根据本公开的另一示例性实施例的用于校正虚拟触摸识别装置的识别误差的方法的流程图。
首先，虚拟触摸识别装置100的姿势识别器110响应于控制器150的控制通过图像拾取器111获取用户图像(S310)。
姿势识别器110分析所获取的用户图像以检测用户的眼睛位置和用户的手指位置(S320)。姿势识别器110的空间坐标计算器112使用用户图像计算用户眼睛的中心位置的空间坐标和用户手指的指尖位置的空间坐标。
虚拟触摸识别装置100的控制器150使用由姿势识别器110检测的眼睛位置和手指位置来计算虚拟触摸位置(S330)。控制器150计算将用户眼睛的中心位置的空间坐标连接到用户手指的指尖位置的空间坐标的直线(延长线)与投射在挡风玻璃W上的虚拟图像所显示的显示表面(反射表面或投射表面)接触的接触点，作为虚拟触摸位置。
控制器150从平视显示器130获取图像显示位置(S340)。
控制器150确认眼睛位置和图像显示位置中的至少一个是否改变(S350)。控制器150将所检测的眼睛位置和所获取的图像显示位置与先前检测的眼睛位置和先前获取的图像显示位置进行比较，或者将所检测的眼睛位置和所获取的图像显示位置与参考眼睛位置和参考图像显示位置进行比较，以确认眼睛位置和图像显示位置是否改变。
在眼睛位置和图像显示位置中的至少一个改变的情况下，控制器150参考存储在存储器140中的查找表，校正所计算的虚拟触摸位置(S360)。
控制器150执行与所校正的虚拟触摸位置对应的操作(功能)(S370)。例如，控制器150识别与所校正的虚拟触摸位置对应的控制对象，并且执行分配给所识别的控制对象的指定功能。
同时，在操作S350中眼睛位置或图像显示位置没有改变的情况下，控制器150执行与所计算的虚拟触摸位置对应的操作(S370)。

Claims (18)

1.一种虚拟触摸识别装置，包括：
姿势识别器，配置为使用相机检测用户的眼睛位置；
平视显示器，配置为将图像投射在所述用户前方的图像显示位置上；以及
控制器，配置为基于所述用户的眼睛位置和所述图像显示位置校正虚拟触摸的识别误差；
其中，所述控制器配置为：参考存储在存储器中的查找表，根据所述眼睛位置和所述图像显示位置的当前图像显示位置来确定校正量；以及
其中，所述查找表包括取决于相对于参考眼睛高度和参考图像显示高度的驾驶员的眼睛高度和当前图像的显示高度和/或相对于参考眼睛宽度和参考图像显示宽度的驾驶员的眼睛宽度和当前图像的显示宽度的在车辆的高度方向和/或宽度方向上的校正值。
2.根据权利要求1所述的虚拟触摸识别装置，其中，所述平视显示器配置为：
将所述图像投射在车辆的挡风玻璃上，所述挡风玻璃位于所述用户前方。
3.根据权利要求1所述的虚拟触摸识别装置，其中，所述姿势识别器包括：
所述相机，所述相机为配置为拍摄所述用户的图像的图像拾取器；和
空间坐标计算器，配置为分析由所述图像拾取器获取的图像并且计算所述用户的眼睛位置和所述用户的手指位置。
4.根据权利要求3所述的虚拟触摸识别装置，其中，所述图像拾取器由三维相机实施。
5.根据权利要求3所述的虚拟触摸识别装置，其中，所述空间坐标计算器配置为：
计算相对于所述车辆的前轮中心的所述用户的眼睛的中心位置的空间坐标和所述用户的手指的指尖位置的空间坐标。
6.根据权利要求3所述的虚拟触摸识别装置，其中，所述控制器配置为：
基于从所述姿势识别器输出的所述用户的眼睛位置和所述用户的手指位置来计算虚拟触摸位置。
7.根据权利要求1所述的虚拟触摸识别装置，其中，所述控制器配置为：
校正由所述平视显示器投射的图像中的控制对象的坐标。
8.根据权利要求7所述的虚拟触摸识别装置，其中，所述控制对象是分配有指定功能的图形对象。
9.根据权利要求7所述的虚拟触摸识别装置，其中，所述控制器配置为：
当在校正所述控制对象的坐标之后改变所述用户的眼睛位置和所述图像显示位置中的至少一个时，参考所述查找表重新校正所述控制对象的坐标。
10.一种校正虚拟触摸识别装置的识别误差的方法，所述方法包括以下步骤：
使用图像拾取器检测用户的眼睛位置；
获取从平视显示器投射在所述用户前方的图像的位置；以及
基于所述眼睛位置和所投射的图像的位置，校正虚拟触摸的识别误差；
其中校正虚拟触摸的识别误差包括：参考存储在存储器中的查找表，根据所述眼睛位置和所投射的图像的位置的当前图像显示位置来确定校正量；并且
其中，所述查找表包括取决于相对于参考眼睛高度和参考图像显示高度的驾驶员的眼睛高度和当前图像的显示高度和/或相对于参考眼睛宽度和参考图像显示宽度的驾驶员的眼睛宽度和当前图像的显示宽度的在车辆的高度方向和/或宽度方向上的校正值。
11.根据权利要求10所述的方法，其中，所述平视显示器配置为：
将所述图像投射在车辆的挡风玻璃上，所述挡风玻璃位于所述用户前方。
12.根据权利要求10所述的方法，其中，所述用户的眼睛位置的检测包括：
通过图像拾取器获取用户图像，其中所述图像拾取器为三维相机；并且
分析所获取的用户图像以计算所述用户的眼睛的中心位置的空间坐标。
13.根据权利要求12所述的方法，其中，所述用户的眼睛位置的检测包括：
使用三维坐标计算方法计算所述用户的眼睛的中心位置的空间坐标。
14.根据权利要求12所述的方法，其中，所述用户的眼睛位置的检测包括：
计算相对于所述车辆的前轮中心的所述用户的眼睛的中心位置的空间坐标。
15.根据权利要求12所述的方法，其中，所述用户的眼睛位置的检测包括：
使用所获取的用户图像计算所述用户的手指的指尖位置的空间坐标。
16.根据权利要求10所述的方法，其中，所述虚拟触摸的识别误差的校正包括：
校正所投射的图像中的控制对象的位置。
17.根据权利要求16所述的方法，其中，所述控制对象由分配有指定功能的图形对象实施。
18.根据权利要求16所述的方法，还包括当在校正所述虚拟触摸的识别误差之后改变所述用户的眼睛位置和所投射的图像的位置中的至少一个时，参考查找表重新校正所述控制对象的位置。
CN201811382126.4A 2017-11-24 2018-11-20 虚拟触摸识别装置及用于校正其识别误差的方法 Active CN109840014B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170158175A KR102463712B1 (ko) 2017-11-24 2017-11-24 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
KR10-2017-0158175 2017-11-24

Publications (2)

Publication Number Publication Date
CN109840014A CN109840014A (zh) 2019-06-04
CN109840014B true CN109840014B (zh) 2024-03-08

Family

ID=66633014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811382126.4A Active CN109840014B (zh) 2017-11-24 2018-11-20 虚拟触摸识别装置及用于校正其识别误差的方法

Country Status (3)

Country Link
US (1) US10866636B2 (zh)
KR (1) KR102463712B1 (zh)
CN (1) CN109840014B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN108171673B (zh) * 2018-01-12 2024-01-23 京东方科技集团股份有限公司 图像处理方法、装置、车载抬头显示系统及车辆
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
US10706300B2 (en) 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
KR102686009B1 (ko) * 2019-01-07 2024-07-19 현대자동차주식회사 단말기, 그를 가지는 차량 및 그 제어 방법
US11106044B2 (en) * 2019-07-02 2021-08-31 GM Global Technology Operations LLC Eye height based virtual image alignment for head-up display
US20210157135A1 (en) * 2019-11-26 2021-05-27 GM Global Technology Operations LLC Head-up display image acquistion and correction
CN113947652A (zh) * 2020-07-15 2022-01-18 北京芯海视界三维科技有限公司 实现目标物体定位的方法、装置及显示器件
US11833901B2 (en) * 2020-10-12 2023-12-05 GM Global Technology Operations LLC System and method for adjusting a location and distortion of an image projected onto a windshield of a vehicle by a head-up display
US20220187600A1 (en) * 2020-12-14 2022-06-16 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method of realizing touch for head-up display
KR20240132830A (ko) * 2023-02-27 2024-09-04 삼성전자주식회사 복수의 시각적 객체들 중 하나를 선택하기 위한 전자 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246664A (zh) * 2012-04-23 2014-12-24 维塔驰有限公司 不显示指针的透明显示器虚拟触摸装置
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101151962B1 (ko) 2011-02-16 2012-06-01 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101381928B1 (ko) 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101364133B1 (ko) 2011-06-15 2014-02-21 주식회사 브이터치 가상터치를 이용한 3차원 장치 및 3차원 게임 장치
KR101235432B1 (ko) 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
KR101533320B1 (ko) 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
KR101272458B1 (ko) 2012-05-11 2013-06-07 김석중 포인터를 사용하지 않는 가상 터치 장치 및 방법
KR101334585B1 (ko) 2012-05-29 2013-12-05 주식회사 브이터치 프로젝터를 통해 표시되는 정보를 이용하여 가상터치를 수행하는 원격 조작 장치 및 방법
KR101321274B1 (ko) 2012-05-29 2013-11-08 주식회사 브이터치 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치
KR101441882B1 (ko) 2012-11-12 2014-09-22 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치에서의 디스플레이 표시면 둘레의 가상 평면을 사용하여 전자기기를 제어하는 방법
TWI531495B (zh) * 2012-12-11 2016-05-01 Automatic Calibration Method and System for Vehicle Display System
KR101533319B1 (ko) 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
KR101611898B1 (ko) 2014-05-24 2016-04-12 주식회사 브이터치 매칭 시스템
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
WO2016200197A1 (ko) 2015-06-10 2016-12-15 (주)브이터치 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104246664A (zh) * 2012-04-23 2014-12-24 维塔驰有限公司 不显示指针的透明显示器虚拟触摸装置
CN105593787A (zh) * 2013-06-27 2016-05-18 视力移动科技公司 用于与数字设备交互的直接指向检测的系统和方法
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置

Also Published As

Publication number Publication date
US10866636B2 (en) 2020-12-15
KR102463712B1 (ko) 2022-11-08
US20190163268A1 (en) 2019-05-30
KR20190060197A (ko) 2019-06-03
CN109840014A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN109840014B (zh) 虚拟触摸识别装置及用于校正其识别误差的方法
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
US11034294B2 (en) Driving notification method and driving notification system
JP2018150043A (ja) 自動車における情報伝送のためのシステム
CN108621941B (zh) 车辆的显示系统及车辆的显示系统的控制方法
US11858424B2 (en) Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof
CN113165653B (zh) 跟随车辆
US10289249B2 (en) Input device
TWI522257B (zh) 車用安全系統及其運作方法
CN111094898B (zh) 控制机动车辆增强现实抬头显示设备的显示的方法和设备
US20150293585A1 (en) System and method for controlling heads up display for vehicle
JP2015163501A (ja) 表示制御プログラム、表示制御装置および表示装置
EP3361352B1 (en) Graphical user interface system and method, particularly for use in a vehicle
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
JP2017097608A (ja) 画像認識装置
CN107291219B (zh) 用户界面、运输工具和用于识别用户的手的方法
CN105323539B (zh) 车用安全系统及其操作方法
US10040395B2 (en) Vehicular display control apparatus
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
US20150092994A1 (en) Eligible operator determination device and eligible operator determination method
JP6581482B2 (ja) 画像認識装置
TWI636395B (zh) 基於深度值之手勢操作方法及其系統
JP2007080187A (ja) 操作入力装置
CN112074801B (zh) 用于检测通过指向手势的输入的方法和用户界面
US20220187600A1 (en) Method of realizing touch for head-up display

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant