CN103869970A - 通过2d相机操作用户界面的系统和方法 - Google Patents

通过2d相机操作用户界面的系统和方法 Download PDF

Info

Publication number
CN103869970A
CN103869970A CN201310655463.7A CN201310655463A CN103869970A CN 103869970 A CN103869970 A CN 103869970A CN 201310655463 A CN201310655463 A CN 201310655463A CN 103869970 A CN103869970 A CN 103869970A
Authority
CN
China
Prior art keywords
image
gesture
passenger
virtual image
real image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310655463.7A
Other languages
English (en)
Other versions
CN103869970B (zh
Inventor
金圣云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN103869970A publication Critical patent/CN103869970A/zh
Application granted granted Critical
Publication of CN103869970B publication Critical patent/CN103869970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K37/00—Dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • B60K2360/146—
    • B60K2360/21—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Abstract

本发明公开了通过2D相机操作用户界面的系统和方法，其中，该方法包括：接收所获取的乘客的图像和所获取的反射镜上的乘客的反射的图像；从所获取的图像中提取乘客的实像和虚像，并且通过实像和虚像之间的相关性来识别手势；以及选择与所识别的手势对应的车载设备作业。因此，乘客能够在利用一只手操作方向盘并且保持他们的眼睛向前的同时利用另一只手的简单运动来控制多个车载电子设备，从而使乘客更加方便并提高行车安全。

Description

通过2D相机操作用户界面的系统和方法
相关申请的交叉引用
本申请要求于2012年12月18日提交给韩国知识产权局的韩国专利申请第10-2012-0148814号的优先权和权益，通过引用将其全部内容结合于此。
技术领域
本发明涉及一种通过由2D相机识别乘客的手势来操作控制车载设备的用户界面的系统和方法。
背景技术
现代车辆配备有方便乘客的许多电子设备。这些电子设备包括：导航系统、免提移动电话系统等、以及诸如收音机和空调器等常规电子设备。
常规车载电子设备提供经由指派按钮的用户界面，并且近几年触屏的使用已经普及。乘客可以通过利用他们的手直接触摸这些设备而操作它们。然而，基于乘客的视线和手运动的操作可能妨碍安全驾驶。因此，有必要开发提供用户方便而并不妨碍驾驶的用户界面技术。
为了解决这个问题，超声波传感器常用于通过距离和速度检测来识别手的位置和/或运动。
此外，手的存在或不存在和/或手的位置已经通过利用手遮断红外光束或者检测反射信号来间接地检测。
近距离接近电子设备的手已经通过由静电电容式传感器电识别手的接近来检测。
最近已经公开了利用人体导电性的手势识别技术，其通过类似天线一样发射和接收无线电波来识别手势。
然而，利用静电电容式传感器的常规方法仅提供诸如距离等的一维信息，并且即使使用多个传感器，才可以识别一些运动，而未考虑手势。
此外，即使当使用诸如网络摄像头等2D相机时，仅操作由相机看见的二维图像，因此使得难于测量面向相机的运动。
所公开的上述信息仅用于增强对本发明的背景技术的理解，并因此上述信息包含的信息并不形成为该国的本领域的普通技术人员所已知的现有技术。
发明内容
进行本发明以致力于提供一种从由车载的反射镜和2D相机获取的图像信息中识别手势并因此控制多个车载电子设备的系统和方法。
一种通过车载的2D相机操作用户界面的方法，包括：
接收所获取的乘客图像和所获取的反射镜上的乘客的反射的图像；从所获取的图像中提取乘客的实像和虚像，并且通过在实像和虚像之间的相关性来识别手势；以及选择与识别的手势对应的车载设备作业。
从所获取的图像中对乘客的实像和虚像进行提取，以及通过实像和虚像之间的相关性对手势进行识别可以包括：
从所获取的乘客图像中提取乘客的手的实像和虚像；从所获取的乘客图像中提取乘客的手的图像；生成实像和虚像的轨迹；以及从实像和虚像的轨迹中识别手势。
从实像和虚像的轨迹中对手势的识别可以包括：确定匹配实像和虚像的轨迹的手势是否存储在信息数据库中；以及如果匹配手势存储在信息数据库中，则将实像和虚像的轨迹识别为手势。
该方法可以进一步包括：确定在接收获取的乘客图像之前是否存在使用手势识别功能的请求；以及如果存在使用手势识别功能的请求，则接收获取的乘客图像。
该方法可以进一步包括：确定是否存在终止手势识别功能的请求；以及如果存在终止手势识别功能的请求，则终止手势识别功能。
一种用于具有反射镜的车内通过2D相机操作用户界面的系统，包括：
图像获取器，用于获取乘客的图像；图像存储器，用于存储由图像获取器获取的图像；信息数据库，存储可识别的手势和相应的车载设备信息；以及电子控制单元（本文中也称作电子控制器），用于基于来自图像获取器的输入信号和图像存储器中存储的蓄积图像信息来控制车载设备作业，其中，电子控制器执行一系列用于执行该方法的命令。
该系统可以进一步包括：信号接收器，用于从乘客接收请求信号以使用手势识别功能，并且将请求信号传递至电子控制器；以及输出展示器，用于显示电子控制器的车载设备作业的内容。
根据本发明的示例性实施方式，由于能够通过由2D相机获取的实像和虚像之间的相关性来提取乘客的手势，因此可实现成本降低。
此外，根据本发明的示例性实施方式，由于使用了车载的常规2D相机和反射镜，所以可以在没有额外努力的情况下，可以识别3D运动或手势。
此外，根据本发明的示例性实施方式，识别出的手的向上运动、向下运动、向左运动、以及向右运动的3D运动使乘客的自然手势能够操作相应的设备，从而实现改进使用性能。
因此，乘客能够在利用一只手操作方向盘并且保持他们的眼睛向前的同时利用另一只手的简单运动来控制多个车载电子设备，从而提高乘客的便利的同时提高行车安全。
附图说明
图1是示意性地示出了根据本发明的示例性实施方式的利用2D相机的用户界面系统的示图。
图2是根据本发明的示例性实施方式的由车载的2D相机操作用户界面的方法的顺序图。
图3是与根据本发明的示例性实施方式的手势对应的操作的说明。
具体实施方式
在下文中，将参考附图详细地描述本发明的示例性实施方式。
如本领域的技术人员应当理解的，在不偏离本发明的精神或范围的情况下，可以以各种不同的方式对所描述的实施方式进行修改。
图1是示意性地示出了根据本发明的示例性实施方式的利用2D相机的用户界面系统的示图。
参考图1，利用2D相机的用户界面（UI）系统包括：信号接收器100、图像获取器110、信息数据库120、定时器160、图像存储器150、电子控制单元（ECU）130、以及输出展示器140。
信号接收器100包括：按钮、触屏等。本文中所使用的输入指代通过按钮或触屏生成输入信号，但也可以使用诸如声音、手势等的其他输入方法。
图像获取器110包括：2D相机、光学传感器、超声波传感器、图像传感器等。图像获取器110能够将人体部分的实像和反射镜200上反射的虚像获取为彩色图像或黑白图像。只要图像获取器110定位为获取包括用户的手、腿等人体的图像的位置，图像获取器110可以位于紧挨着方向盘、方向盘以下、或方向盘以上的位置。
反射镜200可以是显示器，诸如AVN、挡风玻璃、客厢内后视镜（roommirror）、中央仪表板的内部、变速杆侧的内部、或人造镜面。
图像存储单元150可以蓄积地存储由图像获取器110获取的图像帧，或者存储电子控制单元130中处理的图像。
定时器160校对时间。
信息数据库120存储与多个预定的人体部分的实像和虚像的轨迹对应的手势。此外，信息数据库120根据需要存储与手势对应的设备操作信息。例如，如图3所示，车载设备作业可以针对各种手势进行操作，诸如当实像和虚像中的手掌靠近时、实像和虚像中的手掌向左移动或向上移动时，用于在行车时接电话、播放音乐、停止音乐、打开/关闭音乐、暂停音乐、以及打开/关闭空调器。
优选地，存储的手势针对通常定义的手势而预设。
信息数据库120存储由乘客登记的手势。乘客可以选择各种人体部分的实像和虚像的轨迹并将它们存储为手势。
优选每个乘客输入诸如手等他们自己身体部分的实像和虚像的轨迹，以便将不同身体部分的实像和虚像的轨迹没有误差地识别为手势。
电子控制单元130从图像获取器110获取的图像中提取手的实像和反射镜200上反射的手的虚像。这样，通过重复提取实像和虚像并且蓄积它们可以生成实像和虚像的轨迹。
此外，可通过将当前图像帧与存储在图像存储单元150中的先前图像帧进行比较来检测手的实像和手的虚像的轨迹。
可以以各种方式对生成实像和虚像的轨迹的方法进行修改，但也可以使用其他方法来检测实像和虚像的轨迹。
例如，电子控制单元130可以基于人体图像执行图像处理。即，将外围图像从乘客的身体的实像和虚像移除，并对提取的图像中的头、躯干、每只胳膊、每只手、以及每条腿分别建模。实像和虚像的轨迹从手的建模图像中来检测。
此外，电子控制单元130通过参考信息数据库120从针对预定时段创建的实像和虚像的轨迹中识别手势。
预定时段指代需要形成实像和虚像的轨迹所需的时间，该时段足够识别手势，并可以参考定时器160进行校正。
此外，电子控制单元130确定匹配所检测的实像和虚像的轨迹的手势是否存储在信息数据库120中。如果匹配手势存储在信息数据库120中，则电子控制单元130将实像和虚像的轨迹识别为乘客的手势。另一方面，如果匹配手势未存储在信息数据库120中，则致使乘客的身体的实像和虚像的轨迹无法识别，并因此手势不被识别。
利用实像和虚像之间相关性的手势识别原理如下。
例如，如果手接近反射镜200，实像和虚像变得彼此靠近，而如果手远离反射镜200移动，实像和虚像变得彼此疏远。基于实像和虚像之间的距离来推定（估计）Z轴运动。
在诸如向上、向下、向左、向右和旋转等手势的情况下，实像和虚像之间的距离改变不大，并且实像和虚像朝着同一方向移动。利用这种关系，推定X轴运动和Y轴运动。
此外，电子控制单元130根据来自信号接收器100的输入信号来确定是否使用手势识别功能。即，当接收开始或终止手势识别功能的输入信号时，电子控制单元130控制图像获取器110开始或终止获取图像。这时，图像获取器110可以被控制为获取用户的一只手运动的活动区域。
此外，电子控制单元130选择与识别的手势对应的车载设备作业。
电子控制单元130根据所选择的车载设备作业来生成控制信号，并且呈现乘客期望执行的作业。乘客可以选择的车载设备作业的实例包括：切换AVN的频道/模式、接听/挂电话、播放/停止/静音音乐、调高/调低音量、打开/关闭空调器、打开/关闭取暖器、遮阳板操作等。
输出展示器140包括：触屏、扬声器、以及诸如AVN、移动电话、音乐播放器、空调器、取暖器、遮阳板和内容显示器等要被操作的车载设备。输出展示器140将车载设备作业的内容显示在屏幕上。
图2是根据本发明的示例性实施方式的由车载的2D相机操作用户界面的方法的顺序图。
参考图2，乘客通过信号接收器100发送使用手势识别功能的请求（S100）。
然后，当接收来自乘客的使用手势识别功能的请求时，电子控制器130开始通过图像获取器110来获取诸如手等乘客身体的图像（S110）。
接下来，将由图像获取器110获取的图像传递至电子控制单元130，在图像存储器150中蓄积并进行存储。
电子控制单元130从获取的乘客身体的图像移除外围图像（S120）。此外，电子控制单元130分别对提取的图像中的躯干、每只胳膊以及每只手建模（S130），并且单独追踪手的图像。同样地，仅针对手追踪由反射镜200反射的虚像。
然后，基于手的实像和虚像提取实像和虚像的轨迹（S140）。
可以以各种方式对这种提取实像和虚像的方法进行修改。
例如，电子控制单元130从自图像获取器110输入的图像中提取手的实像和反射镜200上反射的手的虚像。这样，通过重复并蓄积实像和虚像的提取可以生成实像和虚像的轨迹。
此外，通过将当前图像帧与存储在图像存储器150中的先前图像帧进行比较可以检测手的实像和虚像的轨迹。
电子控制单元130确定匹配所检测的手的实像和虚像的轨迹的手势是否存储在信息数据库120中（S150）。
如果匹配手势存储在信息数据库130中，电子控制单元130将匹配手势识别为乘客的手势（S160）。
此外，电子控制单元130选择与所识别的手势对应的车载设备作业。电子控制单元130根据所选择的车载设备作业生成控制信号，并呈现乘客期望执行的作业（S170）。
这种车载设备作业包括诸如车载空调器和音频系统等设备的操作，并也可适于对类似内容、媒体等信息进行传送、复制、存储以及修改的操作。
操作结果通过输出展示器140来显示，并且如果驾驶员发送终止手势识别功能的请求，用户界面对手势识别的使用结束（S180）。
因为乘客的手势能够通过2D相机进行提取，所以本发明的示例性实施方式能够实现成本降低。
虽然已结合目前被视为实用的示例性实施方式对本发明进行了描述，但应当理解，本发明不限于所公开的实施方式。相反，本发明旨在涵盖包含在所附权利要求的精神和范围内的各种修改和等同配置。

Claims (7)

1.一种通过车载的2D相机操作用户界面的方法，包括：
接收所获取的乘客的图像和所获取的反射镜上所述乘客的反射的图像；
从所获取的图像中提取所述乘客的实像和虚像，并且通过所述实像和所述虚像之间的相关性来识别手势；以及
选择与所识别的手势对应的车载设备作业。
2.根据权利要求1所述的方法，其中，从所获取的图像中提取所述乘客的实像和虚像、并且通过所述实像和所述虚像之间的相关性来识别手势包括：
从所获取的所述乘客的图像中提取乘客的手的实像和虚像；
从所获取的所述乘客的图像中提取所述乘客的手的图像；
生成所述实像和所述虚像的轨迹；以及
从所述实像和所述虚像的所述轨迹识别所述手势。
3.根据权利要求2所述的方法，其中，从所述实像和所述虚像的所述轨迹识别所述手势包括：
确定与所述实像和所述虚像的所述轨迹匹配的所述手势是否存储在信息数据库中；以及
如果匹配的手势存储在所述信息数据库中，则将所述实像和所述虚像的所述轨迹识别为手势。
4.根据权利要求1所述的方法，进一步包括：
在接收所获取的所述乘客的图像之前，确定是否存在使用手势识别功能的请求，以及
如果存在使用所述手势识别功能的请求，则接收所获取的所述乘客的图像。
5.根据权利要求4所述的方法，进一步包括：
确定是否存在终止所述手势识别功能的请求，以及
如果存在终止所述手势识别功能的请求，则终止所述手势识别功能。
6.一种用于在具有反射镜的车内通过2D相机操作用户界面的系统，包括：
图像获取器，用于获取乘客的图像；
图像存储器，用于存储由所述图像获取器获取的所述图像；
信息数据库，存储可识别的手势和相应的车载设备信息；以及
电子控制器，用于基于来自所述图像获取器的输入信号和所述图像存储器中存储的蓄积图像信息来控制车载设备作业，
其中，所述电子控制器执行用于实现权利要求1至5中任一项所述的方法的一系列命令。
7.根据权利要求6所述的系统，进一步包括：
信号接收器，用于接收来自所述乘客的请求信号以使用手势识别功能，并且将所述请求信号传送至所述电子控制器；以及
输出展示器，用于显示所述电子控制器的车载设备作业的内容。
CN201310655463.7A 2012-12-18 2013-12-05 通过2d相机操作用户界面的系统和方法 Active CN103869970B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0148814 2012-12-18
KR1020120148814A KR101438615B1 (ko) 2012-12-18 2012-12-18 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법

Publications (2)

Publication Number Publication Date
CN103869970A true CN103869970A (zh) 2014-06-18
CN103869970B CN103869970B (zh) 2018-04-17

Family

ID=50821644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310655463.7A Active CN103869970B (zh) 2012-12-18 2013-12-05 通过2d相机操作用户界面的系统和方法

Country Status (4)

Country Link
US (1) US9052750B2 (zh)
KR (1) KR101438615B1 (zh)
CN (1) CN103869970B (zh)
DE (1) DE102013225027A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104182043A (zh) * 2014-08-15 2014-12-03 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104216514A (zh) * 2014-07-08 2014-12-17 深圳市华宝电子科技有限公司 一种车载设备控制方法、装置及车辆
CN112061137A (zh) * 2020-08-19 2020-12-11 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
CN112947761A (zh) * 2021-03-26 2021-06-11 芜湖汽车前瞻技术研究院有限公司 Ar-hud系统的虚像位置调整方法、装置及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US10606468B2 (en) 2015-11-20 2020-03-31 International Business Machines Corporation Dynamic image compensation for pre-touch localization on a reflective surface
US9823782B2 (en) * 2015-11-20 2017-11-21 International Business Machines Corporation Pre-touch localization on a reflective surface
CN109814553A (zh) * 2019-01-15 2019-05-28 北京百度网讯科技有限公司 自动驾驶系统的控制方法、装置、系统及可读存储介质
US20210284175A1 (en) * 2020-03-11 2021-09-16 GM Global Technology Operations LLC Non-Intrusive In-Vehicle Data Acquisition System By Sensing Actions Of Vehicle Occupants

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050074800A (ko) * 2004-01-14 2005-07-19 한국과학기술연구원 컴퓨터 시각 기반의 제스쳐 인식 시스템 및 방법
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
KR20080065032A (ko) * 2007-01-08 2008-07-11 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
CN101996048A (zh) * 2009-08-05 2011-03-30 罗伯特·博世有限公司 娱乐媒体可视化及交互方法
CN202025281U (zh) * 2011-04-15 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载人机交互装置及车载系统
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN102622083A (zh) * 2012-02-24 2012-08-01 北京盈胜泰科技术有限公司 一种手势识别方法及手势识别装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075991A (ja) 1998-08-28 2000-03-14 Aqueous Research:Kk 情報入力装置
JP2004334590A (ja) 2003-05-08 2004-11-25 Denso Corp 操作入力装置
KR100687737B1 (ko) 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
JP5569062B2 (ja) * 2010-03-15 2014-08-13 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識装置の制御方法、および、制御プログラム
KR101490908B1 (ko) * 2012-12-05 2015-02-06 현대자동차 주식회사 차량 내 손모양 궤적 인식을 이용한 사용자 인터페이스 조작 시스템 및 방법
KR101459441B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US9323346B2 (en) * 2012-12-31 2016-04-26 Futurewei Technologies, Inc. Accurate 3D finger tracking with a single camera
US9122351B2 (en) * 2013-03-15 2015-09-01 Verizon Patent And Licensing Inc. Apparatus for detecting proximity of object near a touchscreen
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050074800A (ko) * 2004-01-14 2005-07-19 한국과학기술연구원 컴퓨터 시각 기반의 제스쳐 인식 시스템 및 방법
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
KR20080065032A (ko) * 2007-01-08 2008-07-11 전자부품연구원 제스처 인식 기능을 이용한 반투과 거울 기반 사용자인터페이스 시스템
CN101996048A (zh) * 2009-08-05 2011-03-30 罗伯特·博世有限公司 娱乐媒体可视化及交互方法
CN202025281U (zh) * 2011-04-15 2011-11-02 上海博泰悦臻电子设备制造有限公司 车载人机交互装置及车载系统
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN102622083A (zh) * 2012-02-24 2012-08-01 北京盈胜泰科技术有限公司 一种手势识别方法及手势识别装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216514A (zh) * 2014-07-08 2014-12-17 深圳市华宝电子科技有限公司 一种车载设备控制方法、装置及车辆
CN104182043A (zh) * 2014-08-15 2014-12-03 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN104182043B (zh) * 2014-08-15 2017-05-03 北京智谷睿拓技术服务有限公司 对象拾取方法、对象拾取装置及用户设备
CN112061137A (zh) * 2020-08-19 2020-12-11 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
CN112061137B (zh) * 2020-08-19 2022-01-14 一汽奔腾轿车有限公司 一种车外的人车互动控制方法
CN112947761A (zh) * 2021-03-26 2021-06-11 芜湖汽车前瞻技术研究院有限公司 Ar-hud系统的虚像位置调整方法、装置及存储介质

Also Published As

Publication number Publication date
US9052750B2 (en) 2015-06-09
DE102013225027A1 (de) 2014-06-18
US20140168064A1 (en) 2014-06-19
CN103869970B (zh) 2018-04-17
KR20140079160A (ko) 2014-06-26
KR101438615B1 (ko) 2014-11-03

Similar Documents

Publication Publication Date Title
CN103869970A (zh) 通过2d相机操作用户界面的系统和方法
CN103870802B (zh) 使用指谷操作车辆内的用户界面的系统和方法
US9738158B2 (en) Motor vehicle control interface with gesture recognition
CN104460974B (zh) 车辆操纵装置
CN102398600B (zh) 使用扩增实境来控制车内装置的系统及其方法
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
US10025388B2 (en) Touchless human machine interface
KR101459445B1 (ko) 차량내 손목각을 이용한 사용자 인터페이스 조작 시스템 및 방법
JP6671288B2 (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
WO2022226736A1 (zh) 一种多屏交互的方法、装置、终端设备和车辆
CN108399044B (zh) 用户界面、运输工具和用于区分用户的方法
KR102303556B1 (ko) 기기 제어 장치
EP4261659A1 (en) Method for human-computer interaction and device for human-computer interaction
US20220244789A1 (en) Method for operating a mobile terminal using a gesture recognition and control device, gesture recognition and control device, motor vehicle, and an output apparatus that can be worn on the head
KR101946746B1 (ko) 차량에서 비-차량 오브젝트의 위치 결정
KR20210057358A (ko) 제스처 인식 방법 및 이를 수행하는 제스처 인식 장치
JP5549571B2 (ja) 車内状況表示装置
CN112612281A (zh) 汽车的泊车控制方法、装置及计算机存储介质
CN108475485A (zh) 显示装置和用于控制显示装置的方法
CN107107756B (zh) 通过检测驾驶员的运动和/或表情控制交通工具功能的人/机界面和方法
KR101556520B1 (ko) 단말기, 그를 가지는 차량 및 그 제어 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant