CN113220111A - 一种车载设备控制装置及方法 - Google Patents

一种车载设备控制装置及方法 Download PDF

Info

Publication number
CN113220111A
CN113220111A CN202010072018.8A CN202010072018A CN113220111A CN 113220111 A CN113220111 A CN 113220111A CN 202010072018 A CN202010072018 A CN 202010072018A CN 113220111 A CN113220111 A CN 113220111A
Authority
CN
China
Prior art keywords
driver
target
vehicle
control
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010072018.8A
Other languages
English (en)
Inventor
酒井和彦
周维成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Clarion Electronics Enterprise Co Ltd
Original Assignee
Xiamen Clarion Electronics Enterprise Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Clarion Electronics Enterprise Co Ltd filed Critical Xiamen Clarion Electronics Enterprise Co Ltd
Priority to CN202010072018.8A priority Critical patent/CN113220111A/zh
Priority to PCT/CN2021/072867 priority patent/WO2021147897A1/en
Publication of CN113220111A publication Critical patent/CN113220111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种车载设备控制装置及方法，涉及车载设备领域。本申请能够使驾驶员更加便捷、安全的对车载设备进行控制。该装置包括视线检测单元，用于检测驾驶员的视线；第一显示单元，用于响应于检测到驾驶员的视线落入第一显示屏上的目标区域上，将选择光标显示在目标控件上；目标控件为目标区域内所显示的控件；手势检测单元，用于在将选择光标显示在目标控件上后，检测驾驶员的手部动作；第一显示单元，还用于根据驾驶员的手部动作，移动选择光标的位置。本申请应用于车载设备控制。

Description

一种车载设备控制装置及方法
技术领域
本申请涉及车载设备领域，尤其涉及一种车载设备控制装置及方法。
背景技术
目前，驾驶员通常通过对车载显示屏进行触控操作来控制车载设备的相关功能。但随着车载显示屏的尺寸越来越大越来越长，驾驶员在对车载显示屏进行直接的触控操作时也越来越不方便。驾驶员可能需要作出较大幅度的动作，才能实现对车载显示屏上远离驾驶员的部分的操作。这样一来，不仅会严重影响用户的使用体验，还会增加出现危险情况的风险。
因此，如何能够使驾驶员更加便捷、安全的对车载设备进行控制，这是目前需要解决的技术难题。
发明内容
本申请提供一种车载设备控制装置及车载设备控制方法，能够使驾驶员更加便捷、安全的对车载设备进行控制。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，本申请实施例提供一种车载设备控制装置，包括：视线检测单元，用于检测驾驶员的视线；第一显示单元，用于响应于检测到驾驶员的视线落入第一显示屏上的目标区域上，将选择光标显示在目标控件上；目标控件为目标区域内所显示的控件；手势检测单元，用于在将选择光标显示在目标控件上后，检测驾驶员的手部动作；第一显示单元，还用于根据驾驶员的手部动作，移动选择光标的位置。
第二方面，本申请实施例提供一种车载设备控制方法，包括：检测驾驶员的视线；响应于检测到驾驶员的视线落入第一显示屏上的目标区域上，将选择光标显示在目标控件上；目标控件为目标区域内所显示的控件；在将选择光标显示在目标控件上后，检测驾驶员的手部动作；根据驾驶员的手部动作，移动选择光标的位置。
第三方面，本申请实施例提供一种车载设备控制装置，包括：处理器、用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如上述第二方面所提供的车载设备控制方法。
第四方面，本申请实施例提供一种计算机存储介质，包括指令，当指令由计算机执行时，使得计算机执行如上述第二方面所提供的车载设备控制方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述第二方面所提供的车载设备控制方法。
本申请提供的车载设备控制装置及车载设备控制方法，考虑到在车载显示屏的面积过大或者车载显示屏设置的位置与驾驶员较远的情况下，驾驶员需要作出较大幅度的动作，才能实现对车载显示屏上远离驾驶员的部分的操作。基于上述问题，本申请提出将视线识别和手势识别相结合，通过检测驾驶员的视线，来确定驾驶员想要进行操作的控件在车载显示屏上的位置范围。然后在检测到驾驶员的视线落入车载显示屏上的目标区域后，将选择光标显示在目标区域内的目标控件上，然后通过检测驾驶员的手部动作，移动选择光标的位置，以使选择光标能够精确定位至驾驶员希望操作的控件上。这样一来，在将选择光标移动至驾驶员希望操作的控件上后，通过触发该控件便可实现对车载设备的控制。本申请所提供的方案，既能够避免利用视线识别时，因为无法精准识别视线对应的位置所导致的控制误差较大的问题，又能避免单纯利用手势识别进行控制时所导致操作复杂的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种车载设备的结构示意图之一；
图2为本申请实施例提供的一种车载设备控制装置的结构示意图之一；
图3为本申请实施例提供的一种车载设备控制装置的工作流程图；
图4为本申请实施例提供的一种显示界面示意图之一；
图5为本申请实施例提供的一种显示界面示意图之二；
图6为本申请实施例提供的一种手势与控制动作对应关系的示意图；
图7为本申请实施例提供的一种车载设备控制装置的结构示意图之三；
图8为本申请实施例提供的一种车载设备控制装置的结构示意图之四；
图9为本申请实施例提供的一种车载设备的结构示意图之二；
图10为本申请实施例提供的一种视线检测的流程示意图；
图11为本申请实施例提供的一种驾驶员视线检测的原理图；
图12为本申请实施例提供的一种车载设备控制装置的结构示意图之五；
图13为本申请实施例提供的一种车载设备控制装置的结构示意图之六。
具体实施方式
下面结合附图，对本申请的实施例进行描述。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述各种标记物、阈值、信号以及指令等，但这些标记物、阈值、信号以及指令不应限于这些术语。这些术语仅用来将标记物、阈值、信号以及指令彼此区分开。例如，在不脱离本申请实施例范围的情况下，第一目标标记物也可以被称为第二目标标记物等。
取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
首先，对本申请的发明构思进行介绍：本申请中考虑到在车载显示屏的面积过大或者车载显示屏设置的位置与驾驶员较远的情况下，若通过接收驾驶员对车载显示屏进行触控操作，来实现对车载设备的控制，会极大影响用户的使用体验同时还会提高驾驶的危险性。进而，就需要通过非直接触控的方式来实现对车载设备的控制。然而现有的控制方法中，无论是利用手势识别进行控制还是利用语音识别进行控制，都存在识别精度不高、操作复杂等问题。
因此，本申请提出一种车载设备控制装置及车载设备控制方法。在本申请中通过检测驾驶员的视线，来确定驾驶员想要进行操作的控件在车载显示屏上的位置范围。然后在检测到驾驶员的视线落入车载显示屏上的目标区域后，将选择光标显示在目标区域内的目标控件上，然后通过检测驾驶员的手部动作，移动选择光标的位置，以使选择光标能够精确定位至驾驶员希望操作的控件上。这样一来，在将选择光标移动至驾驶员希望操作的控件上后，通过触发该控件便可实现对车载设备的控制。
基于上述发明构思，本申请实施例提供一种车载设备控制方法，应用于车载设备控制装置。示例性的，图1为本申请所提供的一种车载设备的结构示意图。该车载设备10包括第一摄像头102、第二摄像头103、第一显示屏104.其中，第一摄像头102用于采集驾驶员的面部图像，以便根据驾驶员的面部图像检测驾驶员的视线。第二摄像头103用于采集驾驶员的手部图像，以便根据驾驶员的手部图像检测驾驶员的手部动作。当然，在另一些场景中采集驾驶员的面部图像和采集驾驶员的手部图像也可由同一个摄像头来完成。第一显示屏104用于显示各类信息。具体的，第一显示屏104可以为车辆中控台上的显示屏。
另外，如图1，车载设备10还包括车载设备控制装置101，车载设备控制装置101用于应用本申请所提供的车载设备控制方法。
如图2所示，该车载设备控制装置101可以包括：视线检测单元1011、第一显示单元1012、手势检测单元1013。
其中，视线检测单元1011用于检测驾驶员的视线。例如，图1中第一摄像头102将采集到的驾驶员面部图像传至车载设备控制装置101后，视线检测单元1011利用获取到的驾驶员面部图像来检测驾驶员的视线。第一显示单元1012，用于控制车载显示屏的显示内容。例如，第一显示单元1012用于控制图1中第一显示屏104中显示的内容。手势检测单元1013用于检测驾驶员的手部动作。例如，图1中第二摄像头103将采集到的驾驶员手部图像传至车载设备控制装置101后，手势检测单元1013利用获取到的驾驶员手部图像来检测驾驶员的手部动作。
在一些实现方式中，上述各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。对此，本申请不做限制。
以下对应用本申请实施例所提供的车载设备控制装置101的工作流程进行介绍。如图3所示，车载设备控制装置101的工作流程，可以包括以下步骤S201-S204：
S201、视线检测单元1011检测驾驶员的视线。
S202、第一显示单元1012响应于检测到驾驶员的视线落入第一显示屏上的目标区域上，将选择光标显示在目标控件上。
其中，目标控件可以包括目标区域内所显示的控件。
示例性的，图4所示为本申请实施例提供的一种第一显示屏的显示界面示意图。可以看出，此时第一显示屏为一个狭长的矩形显示屏，当驾驶员直接对该显示屏进行触控时，驾驶员在对显示屏上远离驾驶员的部分进行触控操作时会比较困难。因此，本申请中通过检测驾驶员的视线，来判断驾驶员想要进行操作的显示区域。例如，根据驾驶员的视线，确定驾驶员的视线位于图4中目标区域A中时，则将选择光标显示在目标区域A中的目标控件“按键A”上，例如将按键A高亮显示。此时，第一显示屏的显示内容如图5所示，其中“按键A”被高亮显示(图中阴影部分用于示意高亮显示)。
需要说明的是，本申请中所称“控件”用于表示显示界面中所显示的在被触发后会执行相应操作、功能的图案。在一些场景中，“控件”也可被称为控制部件、按键等等名称。可以理解的是，这些名称都可以被认为是本申请中所称“控件”。
另外，本申请中所称“选择光标”具体指用于在显示界面中显示当前待触发的控件的位置的光标。例如，具体的，选择光标可以是一个具体特定形状的图案标记(例如箭头形图案，手指形图像等等)。再例如，选择光标也可以以改变待触发控件的显示形态的方式来表示(例如，将待触发控件进行高亮等区别于其他控件的显示形态)。
S203、手势检测单元1013在将选择光标显示在目标控件上后，检测驾驶员的手部动作。
S204、第一显示单元1014根据驾驶员的手部动作，移动选择光标的位置。
示例性的，如图6所示，为本申请实施例提供的手部动作与控制选择光标的方式的对应关系。其中，在图6的(a)中，向左摆手则将选择光标向左移动；向右摆手则将选择光标向右移动；向上移动手则将选择光标向上移动；向下移动手则将选择光标向下移动；握拳则表示确定，即触发选择光标对应的功能。在图6的(b)中，用手指分别指向上下左右，分别对应将选择光标向上下左右移动；用手做出“OK”的动作则表示确定，即触发选择光标对应的功能。
这样一来，在将选择光标移动至驾驶员希望操作的控件上后，通过触发该控件便可实现对车载设备的控制。本申请所提供的方案，既能够避免利用视线识别时，因为无法精准识别视线对应的位置所导致的控制误差较大的问题，又能避免单纯利用手势识别进行控制时所导致操作复杂的问题。
在一种实现方式中，如图7所示，本申请所提供的车载设备控制装置101还包括，功能触发单元1014。功能触发单元1014，用于触发显示屏上所显示的各种控件对应的功能。
如图3所示，车载设备控制装置101的工作流程还可以包括：
S205、功能触发单元1014响应于手势检测单元1013检测到驾驶员的第一目标手势，触发选择光标当前所对应控件的功能。
例如，第一目标手势可以为如图6中(a)所示的握拳的动作，或者为如图6中(b)所示的“OK”的动作。当检测到驾驶员用手做出握拳的动作后，触发选择光标当前所对应控件的功能，或者，当检测到驾驶员用手做出“OK”的动作后，触发选择光标当前所对应控件的功能。
在一种实现方式中，考虑到在一些场景中(例如界面中的控件较多，较杂乱)，采用根据手部动作移动选择光标的这种方式依然比较复杂。进而，本申请中想到当出现不宜使用手势来进行操作等情况下，可以将根据驾驶员视线确定出的目标区域显示在另一块距离驾驶员更近的屏幕上，以便驾驶员进行触控操作。
进而，如图8所示，车载设备控制装置101还可以包括：第二显示单元1015。其中，第二显示单元1015，用于控制第二显示屏的显示内容。如图3所示，该车载设备控制装置101的工作流程还可以包括：
S206、第二显示单元响应于手势检测单元1013检测到驾驶员的第二目标手势，将当前目标区域内的显示内容显示至第二显示屏上。
例如，第二目标手势可以是从握拳状态展开五个手指的手势。第二显示屏可以是与车载设备进行无线或者有线连接的各种电子设备的显示屏，例如手机、平板电脑等。进而，在驾驶员做出从握拳状态展开五个手指的手势后，将目标区域内的显示内容显示在电子设备的显示屏上。进而驾驶员便可以通过将电子设备放在自己便于操作的地方，来进行相应的触控操作。
在一种可能的设计中，本申请考虑到可以在车辆上设置两个显示屏，一个显示屏距离驾驶员较远，另一个显示屏距离驾驶员较近。其中，距离驾驶员远的显示屏可以有更大的显示面积，用于显示更加丰富的内容；距离驾驶员近的显示屏则可以用于显示根据驾驶员视线确定出的目标区域的内容。进而，如图9所示，本申请所提供的车载设备10还包括第二显示屏105。其中，第二显示屏105包括与驾驶员的距离大于第一显示屏104与驾驶员的距离的车载显示屏。
另外，在一种实现方式中，可以将目标区域设置为矩形区域，进而本申请还提供一种判断驾驶员的视线是否落入目标区域的方法。具体的，如图10所示，本申请上述步骤S201可以包括：
S2011、检测驾驶员的眼睛位置以及驾驶员的视线方向。
示例性的，如上文所描述，可以通过摄像头采集的驾驶员脸部图像，利用图像识别技术确定出驾驶员的眼睛位置以及驾驶员的视线方向。
S2012、根据驾驶员的眼睛位置，计算目标区域的四个顶点在目标坐标系中的坐标值。
目标坐标系包括以驾驶员的眼睛位置为原点，竖直方向、水平方向以及车辆正前方分别做坐标轴的空间直角坐标系。
示例性的，如图11为本申请实施例提供的一种驾驶员视线检测的原理图。其中，假设驾驶员的眼睛位置为O，用于检测驾驶员视线的摄像头的位置为O’，目标区域为矩形abcd的区域。
由于摄像头与目标区域的相对位置是固定的，因此在便可以知道目标区域的四个顶点abcd在以O’为原点的空间坐标系中的坐标。另外，再根据驾驶员的眼睛位置，便可以将abcd在以O’为原点的空间坐标系中的坐标转换为以O为原点的目标坐标系中的坐标。具体的，可以为以驾驶员的眼睛位置为原点，竖直方向、水平方向以及车辆正前方分别做坐标轴的空间直角坐标系。
假设a,b,c,d四点相对于目标坐标系的坐标分别为(x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4)，0点的坐标(0,0,0)。
其中，为了便于描述，本申请以下描述中将目标坐标系中竖直方向的坐标轴称为z轴，指向车辆正前方的坐标轴称为x轴，另外一个水平方向的坐标轴称为y轴。
S2013、根据目标区域的四个顶点在目标坐标系中的坐标值，以及驾驶员的视线方向，判断驾驶员的视线是否落入目标区域。
具体的，在已知目标区域的四个顶点在目标坐标系中的坐标值以及驾驶员的视线方向后，便可以判断驾驶员的视线是否落入目标区域。例如，通过判断驾驶员的视线与显示屏所在平面的交点是否落入至a,b,c,d构成的矩形内，便可以判断驾驶员的视线是否落入目标区域。
在一种实现方式中，S2013具体包括：若满足以下条件一至条件四，则确定驾驶员的视线是否落入目标区域。其中：
条件一：驾驶员的视线E与Oxy平面的夹角大于Oab平面与Oxy平面的夹角；
条件二：驾驶员的视线E与Oxy平面的夹角小于Ocd平面与Oxy平面的夹角；
条件三：驾驶员的视线E与Oyz平面的夹角大于Oac平面与Oyz平面的夹角；
条件四：驾驶员的视线E与Oyz平面的夹角小于Obd平面与Oyz平面的夹角。
其中，Oxy平面为目标坐标系中x轴与y轴形成的平面。Oab平面为O点、a点和b点构成的平面。Oyz平面为目标坐标系中y轴与z轴形成的平面。Ocd平面为O点、c点和d点构成的平面。Oac平面为O点、a点和c点构成的平面。Obd平面为O点、b点和d点构成的平面。
进一步的，在一种可能的设计中，条件一可以为：驾驶员的视线E与Oxy平面的夹角大于θ1；
其中，
Figure BDA0002377529040000081
其中，x1、y1、z1分别为目标区域的顶点a在目标坐标系中的x轴、y轴、z轴的坐标；x3、y3、z3分别为目标区域的顶点c在目标坐标系中的x轴、y轴、z轴的坐标。另外，0≤θ1≤180°。
具体的，当a点、c点相对于目标坐标系的坐标分别为(x1,y1,z1)和(x3,y3,z3)时，根据根据向量积公式，可知：平面Oac的法向量为oac＝Oa×Oc。即oac＝(y1z3-z1y3,z1x3-z3x1,x1y3-y1x3)。
进而，根据余弦公式可知：
Figure BDA0002377529040000091
进而，可知：
其中，
Figure BDA0002377529040000092
同理，在一种可能的设计中，条件二可以为：驾驶员的视线E与Oxy平面的夹角小于θ2。
其中，
Figure BDA0002377529040000093
其中，x1、y1、z1分别为目标区域的顶点a在目标坐标系中的x轴、y轴、z轴的坐标；x2、y2、z2分别为目标区域的顶点b在目标坐标系中的x轴、y轴、z轴的坐标；x3、y3、z3分别为目标区域的顶点c在目标坐标系中的x轴、y轴、z轴的坐标。另外，0≤θ2≤180°。
条件三可以为：驾驶员的视线E与Oyz平面的夹角θ3。
其中，
Figure BDA0002377529040000094
其中，x1、y1、z1分别为目标区域的顶点a在目标坐标系中的x轴、y轴、z轴的坐标；x3、y3、z3分别为目标区域的顶点c在目标坐标系中的x轴、y轴、z轴的坐标；x4、y4、z4分别为目标区域的顶点d在目标坐标系中的x轴、y轴、z轴的坐标。另外，0≤θ3≤180°。
条件四可以为：驾驶员的视线E与Oyz平面的夹角小于θ4。
其中，
Figure BDA0002377529040000095
其中，x2、y2、z2分别为目标区域的顶点b在目标坐标系中的x轴、y轴、z轴的坐标；x3、y3、z3分别为目标区域的顶点c在目标坐标系中的x轴、y轴、z轴的坐标；x4、y4、z4分别为目标区域的顶点d在目标坐标系中的x轴、y轴、z轴的坐标。另外，0≤θ4≤180°。
本申请提供的车载设备控制装置及车载设备控制方法，考虑到在车载显示屏的面积过大或者车载显示屏设置的位置与驾驶员较远的情况下，驾驶员需要作出较大幅度的动作，才能实现对车载显示屏上远离驾驶员的部分的操作。基于上述问题，本申请提出将视线识别和手势识别相结合，通过检测驾驶员的视线，来确定驾驶员想要进行操作的控件在车载显示屏上的位置范围。然后在检测到驾驶员的视线落入车载显示屏上的目标区域后，将选择光标显示在目标区域内的目标控件上，然后通过检测驾驶员的手部动作，移动选择光标的位置，以使选择光标能够精确定位至驾驶员希望操作的控件上。这样一来，在将选择光标移动至驾驶员希望操作的控件上后，通过触发该控件便可实现对车载设备的控制。本申请所提供的方案，既能够避免利用视线识别时，因为无法精准识别视线对应的位置所导致的控制误差较大的问题，又能避免单纯利用手势识别进行控制时所导致操作复杂的问题。
在另一种实施例中，本申请还提供一种车载设备控制方法。该方法包括：
S301、检测驾驶员的视线。
S302、响应于检测到驾驶员的视线落入第一显示屏上的目标区域上，将选择光标显示在目标控件上；目标控件为目标区域内所显示的控件。
S303、在将选择光标显示在目标控件上后，检测驾驶员的手部动作。
S304、根据驾驶员的手部动作，移动选择光标的位置。
可选的，在将选择光标显示在目标控件上后，检测驾驶员的手部动作之后，方法还包括：
S305、响应于检测到驾驶员的第一目标手势，触发选择光标当前所对应控件的功能。
可选的，目标区域为矩形区域；
检测驾驶员的视线，包括：检测驾驶员的眼睛位置以及驾驶员的视线方向；根据驾驶员的眼睛位置，计算目标区域的四个顶点在目标坐标系中的坐标值；目标坐标系包括以驾驶员的眼睛位置为原点，竖直方向、水平方向以及车辆正前方分别做坐标轴的空间直角坐标系；根据目标区域的四个顶点在目标坐标系中的坐标值，以及驾驶员的视线方向，判断驾驶员的视线是否落入目标区域。
可选的，在将选择光标显示在目标控件上后，检测驾驶员的手部动作之后，方法还包括：
S306、响应于检测到驾驶员的第二目标手势，将当前目标区域内的显示内容显示至第二显示屏上。
可选的，第二显示屏包括与驾驶员的距离大于第一显示屏与驾驶员的距离的车载显示屏。
基于同一发明构思，本申请上述所提供车载设备控制方法，其具体实现过程、所解决技术问题、所实现技术效果，可参照上述车载设备控制装置的相关描述，在此不再赘述。
在采用集成的单元的情况下，图12示出了上述实施例中所涉及的车载设备控制装置的另一种可能的结构示意图。其中，车载设备控制装置40包括：处理模块401、通信模块402和存储模块403。处理模块401用于对车载设备控制装置40的动作进行控制管理，例如，处理模块401用于支持车载设备控制装置40执行上述实施例的步骤。通信模块402用于支持车载设备控制装置与其他实体的通信。存储模块403用于存储车载设备控制装置的程序代码和数据。
其中，处理模块401可以是处理器或控制器，例如可以是中央处理器(centralprocessing unit，CPU)，通用处理器，数字信号处理器(digital signal processor，DSP)，专用集成电路(application-specific integrated circuit，ASIC)，现场可编程门阵列(field programmabl egate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含N个微处理器组合，DSP和微处理器的组合等等。通信模块402可以是收发器、收发电路或通信接口等。存储模块403可以是存储器。
当处理模块401为如图13所示的处理器，通信模块402为图13的收发器，存储模块403为图13的存储器时，本申请实施例所涉及的车载设备控制装置可以为如下的车载设备控制装置50。
参照图13所示，该车载设备控制装置50包括：处理器501、存储器503。还可以包括收发器502和总线504。
其中，处理器501、收发器502、存储器503通过总线504相互连接；总线504可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器501可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或N个用于控制本申请方案程序执行的集成电路。
存储器503可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器503用于存储执行本申请方案的应用程序代码，并由处理器501来控制执行。收发器502用于接收外部设备输入的内容，处理器501用于执行存储器503中存储的应用程序代码，从而实现本申请实施例中车载设备控制装置中各虚拟单元的功能。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括N个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含N个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid StateDisk，SSD))等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种车载设备控制装置，所述车载设备包括第一显示屏，其特征在于，包括：
视线检测单元，用于检测驾驶员的视线；
第一显示单元，用于响应于检测到所述驾驶员的视线落入所述第一显示屏上的目标区域上，将选择光标显示在目标控件上；所述目标控件为所述目标区域内所显示的控件；
手势检测单元，用于在将所述选择光标显示在所述目标控件上后，检测驾驶员的手部动作；
所述第一显示单元，还用于根据所述驾驶员的手部动作，移动所述选择光标的位置。
2.根据权利要求1所述车载设备控制装置，其特征在于，所述装置还包括：功能触发单元，用于响应于所述手势检测单元检测到驾驶员的第一目标手势，触发所述选择光标当前所对应控件的功能。
3.根据权利要求1所述车载设备控制装置，其特征在于，所述目标区域为矩形区域；
所述视线检测单元，具体用于：
检测驾驶员的眼睛位置以及驾驶员的视线方向；
根据所述驾驶员的眼睛位置，计算所述目标区域的四个顶点在目标坐标系中的坐标值；所述目标坐标系包括以所述驾驶员的眼睛位置为原点，竖直方向、水平方向以及车辆正前方分别做坐标轴的空间直角坐标系；
根据所述目标区域的四个顶点在目标坐标系中的坐标值，以及所述驾驶员的视线方向，判断所述驾驶员的视线是否落入所述目标区域。
4.根据权利要求1所述车载设备控制装置，其特征在于，所述装置还包括：第二显示单元；
所述第二显示单元，用于响应于所述手势检测单元检测到驾驶员的第二目标手势，将当前所述目标区域内的显示内容显示至第二显示屏上。
5.根据权利要求4所述车载设备控制装置，其特征在于，
所述第二显示屏包括与驾驶员的距离大于所述第一显示屏与驾驶员的距离的车载显示屏。
6.一种车载设备控制方法，所述车载设备包括第一显示屏，其特征在于，包括：
检测驾驶员的视线；
响应于检测到所述驾驶员的视线落入所述第一显示屏上的目标区域上，将选择光标显示在目标控件上；所述目标控件为所述目标区域内所显示的控件；
在将所述选择光标显示在所述目标控件上后，检测驾驶员的手部动作；
根据所述驾驶员的手部动作，移动所述选择光标的位置。
7.根据权利要求6所述车载设备控制方法，其特征在于，在所述将所述选择光标显示在所述目标控件上后，检测驾驶员的手部动作之后，所述方法还包括：
响应于检测到驾驶员的第一目标手势，触发所述选择光标当前所对应控件的功能。
8.根据权利要求6所述车载设备控制方法，其特征在于，所述目标区域为矩形区域；
所述检测驾驶员的视线，包括：
检测驾驶员的眼睛位置以及驾驶员的视线方向；
根据所述驾驶员的眼睛位置，计算所述目标区域的四个顶点在目标坐标系中的坐标值；所述目标坐标系包括以所述驾驶员的眼睛位置为原点，竖直方向、水平方向以及车辆正前方分别做坐标轴的空间直角坐标系；
根据所述目标区域的四个顶点在目标坐标系中的坐标值，以及所述驾驶员的视线方向，判断所述驾驶员的视线是否落入所述目标区域。
9.根据权利要求6所述车载设备控制方法，其特征在于，在将所述选择光标显示在所述目标控件上后，检测驾驶员的手部动作之后，所述方法还包括：
响应于检测到驾驶员的第二目标手势，将当前所述目标区域内的显示内容显示至第二显示屏上。
10.根据权利要求9所述车载设备控制方法，其特征在于，
所述第二显示屏包括与驾驶员的距离大于所述第一显示屏与驾驶员的距离的车载显示屏。
11.一种车载设备控制装置，其特征在于，包括：处理器、用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求6-10中任一项所提供的车载设备控制方法。
12.一种计算机可读存储介质，其特征在于，包括指令，当所述指令由计算机执行时，使得所述计算机执行如权利要求6-10中任一项所提供的车载设备控制方法。
CN202010072018.8A 2020-01-21 2020-01-21 一种车载设备控制装置及方法 Pending CN113220111A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010072018.8A CN113220111A (zh) 2020-01-21 2020-01-21 一种车载设备控制装置及方法
PCT/CN2021/072867 WO2021147897A1 (en) 2020-01-21 2021-01-20 Apparatus and method for controlling a vehicle-mounted device, and vehicle-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010072018.8A CN113220111A (zh) 2020-01-21 2020-01-21 一种车载设备控制装置及方法

Publications (1)

Publication Number Publication Date
CN113220111A true CN113220111A (zh) 2021-08-06

Family

ID=74550388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010072018.8A Pending CN113220111A (zh) 2020-01-21 2020-01-21 一种车载设备控制装置及方法

Country Status (2)

Country Link
CN (1) CN113220111A (zh)
WO (1) WO2021147897A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610432A (zh) * 2022-03-17 2022-06-10 芜湖汽车前瞻技术研究院有限公司 车载显示屏的图形显示控制方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
DE102016108885A1 (de) * 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Verfahren zum berührungslosen Verschieben von visuellen Informationen
EP3361352B1 (en) * 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle
ES2718429B2 (es) * 2017-12-29 2019-11-18 Seat Sa Método y dispositivo asociado para controlar al menos un parámetro de un vehículo

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610432A (zh) * 2022-03-17 2022-06-10 芜湖汽车前瞻技术研究院有限公司 车载显示屏的图形显示控制方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2021147897A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
US9269331B2 (en) Information processing apparatus which cooperates with other apparatus, and information processing system in which a plurality of information processing apparatuses cooperates
JP5052677B2 (ja) 表示入力装置
JP5312655B2 (ja) 表示入力装置および車載情報装置
JP4943543B2 (ja) 地図表示装置、地図表示方法、地図表示プログラムおよび記録媒体
JP6335556B2 (ja) ポインティングによる情報クエリ
US20120235947A1 (en) Map information processing device
US9740396B1 (en) Adaptive gesture recognition
US9389766B2 (en) Image display device, image display method, image display program, and computer-readable recording medium for providing zoom functionality
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
US20140289672A1 (en) Graph display apparatus, graph display method and storage medium having stored thereon graph display program
KR20170086101A (ko) 그래픽 인터페이스 및 디스플레이 된 요소를 터치-선택하는 동안 그래픽 인터페이스를 관리하는 방법
JP6202874B2 (ja) 電子機器、キャリブレーション方法およびプログラム
CN107707955A (zh) 一种显示器上的光标控制方法及智能设备
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
CN113220111A (zh) 一种车载设备控制装置及方法
US20170090716A1 (en) Computer program for operating object within virtual space about three axes
CN103940375B (zh) 一种测量角度的方法、装置及电子设备
US10564762B2 (en) Electronic apparatus and control method thereof
US20160018917A1 (en) Touch system, touch apparatus, and mobile device
WO2015033682A1 (ja) 操作入力装置、携帯型情報端末、操作入力装置の制御方法、プログラム、及び記録媒体
CN116700481A (zh) 触控手势响应方法、装置、设备及其存储介质
EP3557186A2 (en) Electronically damped touchscreen display
US20140078058A1 (en) Graph display control device, graph display control method and storage medium storing graph display control program
US20160124602A1 (en) Electronic device and mouse simulation method
US10558270B2 (en) Method for determining non-contact gesture and device for the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210806

WD01 Invention patent application deemed withdrawn after publication