CN108919959A - 车辆人机交互方法及系统 - Google Patents
车辆人机交互方法及系统 Download PDFInfo
- Publication number
- CN108919959A CN108919959A CN201810811473.8A CN201810811473A CN108919959A CN 108919959 A CN108919959 A CN 108919959A CN 201810811473 A CN201810811473 A CN 201810811473A CN 108919959 A CN108919959 A CN 108919959A
- Authority
- CN
- China
- Prior art keywords
- gesture
- data
- hologram
- interface
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000002452 interceptive effect Effects 0.000 claims abstract description 52
- 239000011521 glass Substances 0.000 claims description 45
- 238000001093 holography Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 7
- 239000006185 dispersion Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 206010016256 fatigue Diseases 0.000 description 7
- 230000009467 reduction Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明是关于一种车辆人机交互方法及系统，属于智能车领域，该车辆人机交互系统包括：全息影像显示设备用于从车载终端获取待显示操作界面的第一界面数据，并在驾驶舱中呈现操作界面的第一全息影像；交互设备用于采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定对应的目标控制指令；车载终端用于对操作界面执行目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据；全息影像显示设备还用于根据第二界面数据在驾驶舱中呈现更新后的操作界面的第二全息影像，解决了相关技术中交互方式操作繁琐，效率较低，容易分散驾驶员注意力，降低车辆行驶安全性的问题，简化了操作过程，提高了效率，提高了车辆行驶安全性。
Description
技术领域
本发明涉及智能车领域，特别涉及一种车辆人机交互方法及系统。
背景技术
随着汽车工业的快速发展和人们生活水平的不断提高，汽车已快速进入普通家庭。随着汽车的日益普及和广泛使用，汽车的舒适性和安全性成为用户越来越关注的问题。车载终端为用户提供了很多功能，比如视频通话、导航等。
相关技术中，用户使用车载终端的某一功能时，常常是通过显示屏上的按键执行相应的操作，这种交互方式操作繁琐，效率较低，当驾驶员执行操作时还容易分散驾驶员的注意力，降低车辆行驶的安全性。
发明内容
本发明实施例提供了一种车辆人机交互方法及系统，可以解决相关技术中交互方式操作繁琐，效率较低，容易分散驾驶员的注意力，降低车辆行驶的安全性的问题。所述技术方案如下：
根据本发明实施例的第一方面，提供一种车辆人机交互系统，包括：车载终端、交互设备和全息影像显示设备，
所述全息影像显示设备用于从所述车载终端获取待显示的操作界面的第一界面数据，并根据所述第一界面数据在驾驶舱中呈现出所述操作界面的第一全息影像；
所述交互设备用于采集用户在所述第一全息影像上进行操作时所产生的目标手势数据，并确定所述目标手势数据对应的目标控制指令；
所述车载终端用于对所述操作界面执行所述目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据；
所述全息影像显示设备还用于从所述车载终端获取所述第二界面数据，并根据所述第二界面数据在所述驾驶舱中呈现出所述更新后的操作界面的第二全息影像；
其中，所述操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
可选的，所述交互设备包括：红外摄像头和手势识别模块，所述红外摄像头设置在副驾驶储物箱的下方，
所述红外摄像头用于采集所述目标手势数据，并将所述目标手势数据发送至所述手势识别模块；
所述手势识别模块用于在所述目标手势数据为有效手势数据时，从预设的第一对应关系中获取所述目标手势数据对应的目标控制指令，并将所述目标控制指令发送至所述车载终端，所述第一对应关系用于记录手势数据和控制指令的对应关系，所述控制指令为对所述操作界面执行操作的指令。
可选的，所述目标手势数据包括手势坐标数据和手势类型数据，所述手势识别模块用于：
检测所述目标手势数据中的手势坐标数据所指示的手部位置是否在预设的手势识别区域内，所述手势识别区域为所述第一全息影像所在的区域；
当所述手部位置在所述手势识别区域内时，检测所述目标手势数据中的手势类型数据所指示的手势类型是否为预设手势类型集中的手势类型；
当所述目标手势数据中的手势类型数据所指示的手势类型为所述预设手势类型集中的手势类型时，确定所述目标手势数据为有效手势数据。
可选的，所述全息影像显示设备包括：显示器和全息玻璃板，所述全息玻璃板设置在中央扶手箱的盖板上，所述显示器设置在所述中央扶手箱内，且位于所述全息玻璃板的下方，
所述显示器用于：
从所述车载终端获取所述第一界面数据，根据所述第一界面数据显示所述操作界面，
或者，从所述车载终端获取所述第二界面数据，根据所述第二界面数据显示所述更新后的操作界面；
所述显示器显示的图像的光线穿过所述全息玻璃板，聚集在目标位置并呈现出所述第一全息影像或所述第二全息影像，所述目标位置与所述全息玻璃板的距离等于所述显示器与所述全息玻璃板的距离。
可选的，所述车载终端用于从预设的第二对应关系中获取所述目标控制指令对应的目标操作，并对所述操作界面执行所述目标操作，所述第二对应关系用于记录控制指令和操作的对应关系。
根据本发明实施例的第二方面，提供一种车辆人机交互方法，所述方法包括：
全息影像显示设备从车载终端获取待显示的操作界面的第一界面数据，并根据所述第一界面数据在驾驶舱中呈现出所述操作界面的第一全息影像；
交互设备采集用户在所述第一全息影像上进行操作时所产生的目标手势数据，并确定所述目标手势数据对应的目标控制指令；
所述车载终端对所述操作界面执行所述目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据；
所述全息影像显示设备从所述车载终端获取所述第二界面数据，并根据所述第二界面数据在所述驾驶舱中呈现出所述更新后的操作界面的第二全息影像；
其中，所述操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
可选的，所述交互设备采集用户在所述第一全息影像上进行操作时所产生的目标手势数据，并确定所述目标手势数据对应的目标控制指令，包括：
所述交互设备通过红外摄像头采集所述目标手势数据，所述红外摄像头设置在副驾驶储物箱的下方；
当所述目标手势数据为有效手势数据时，所述交互设备通过手势识别模块从预设的第一对应关系中获取所述目标手势数据对应的目标控制指令，所述第一对应关系用于记录手势数据和控制指令的对应关系，所述控制指令为对所述操作界面执行操作的指令。
可选的，所述目标手势数据包括手势坐标数据和手势类型数据，所述方法还包括：
所述交互设备通过所述手势识别模块检测所述目标手势数据中的手势坐标数据所指示的手部位置是否在预设的手势识别区域内，所述手势识别区域为所述第一全息影像所在的区域；
当所述手部位置在所述手势识别区域内时，所述交互设备通过所述手势识别模块检测所述目标手势数据中的手势类型数据所指示的手势类型是否为预设手势类型集中的手势类型；
当所述目标手势数据中的手势类型数据所指示的手势类型为所述预设手势类型集中的手势类型时，所述交互设备通过所述手势识别模块确定所述目标手势数据为有效手势数据。
可选的，所述全息影像显示设备包括：显示器和全息玻璃板，所述全息玻璃板设置在中央扶手箱的盖板上，所述显示器设置在所述中央扶手箱内，且位于所述全息玻璃板的下方，
所述全息影像显示设备从车载终端获取待显示的操作界面的第一界面数据，并根据所述第一界面数据在驾驶舱中呈现出所述操作界面的第一全息影像，包括：
所述全息影像显示设备通过所述显示器从所述车载终端获取所述第一界面数据；
所述全息影像显示设备通过所述显示器根据所述第一界面数据显示所述操作界面，所述显示器显示的图像的光线穿过所述全息玻璃板，聚集在目标位置并呈现出所述第一全息影像，所述目标位置与所述全息玻璃板的距离等于所述显示器与所述全息玻璃板的距离；
所述全息影像显示设备从所述车载终端获取所述第二界面数据，并根据所述第二界面数据在所述驾驶舱中呈现出所述更新后的操作界面的第二全息影像，包括：
所述全息影像显示设备通过所述显示器从所述车载终端获取所述第二界面数据；
所述全息影像显示设备通过所述显示器根据所述第二界面数据显示所述更新后的操作界面，所述显示器显示的图像的光线穿过所述全息玻璃板，聚集在所述目标位置并呈现出所述第二全息影像。
可选的，所述车载终端对所述操作界面执行所述目标控制指令对应的目标操作，包括：
所述车载终端从预设的第二对应关系中获取所述目标控制指令对应的目标操作，并对所述操作界面执行所述目标操作，所述第二对应关系用于记录控制指令和操作的对应关系。
本发明实施例提供的技术方案至少包括以下有益效果：
全息影像显示设备在驾驶舱中呈现出操作界面的第一全息影像，交互设备能够采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定对应的目标控制指令，车载终端再对操作界面执行对应的目标操作，得到更新后的操作界面的第二界面数据，之后，全息影像显示设备根据该第二界面数据呈现出更新后的操作界面的第二全息影像，通过采集用户的手势数据执行相应的操作，使用户使用车载终端的相应功能，简化了操作过程，提高了效率，当驾驶员对全息影像进行操作时，不易分散驾驶员的注意力，提高了车辆行驶的安全性。
附图说明
为了更清楚地说明本发明的实施例，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车辆人机交互系统的结构示意图；
图2是本发明实施例提供的另一种车辆人机交互系统的结构示意图；
图3是相关技术中全息影像呈现的示意图；
图4是本发明实施例提供的视频通话请求界面的全息影像的示意图；
图5是本发明实施例提供的视频通话界面的全息影像的示意图；
图6是本发明实施例提供的一种车辆人机交互方法的流程图；
图7是本发明实施例提供的另一种车辆人机交互方法的流程图；
图8是本发明实施例提供的一种呈现第一全息影像的流程图；
图9是本发明实施例提供的一种呈现第二全息影像的流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
相关技术中，用户使用车载终端的某一功能时，常常是通过显示屏上的按键执行相应的操作，这种交互方式操作繁琐，效率较低，当驾驶员执行操作时容易分散驾驶员的注意力，降低车辆行驶的安全性。
目前，通过全息技术可以使物体得到再现，产生与原物体相同的影像，呈现在空中。本发明实施例基于全息技术在驾驶舱中呈现操作界面的全息影像，并采集用户针对全息影像的手势数据，然后对操作界面执行对应的操作，之后，将更新后的操作界面的全息影像展示给用户，操作更简单，效率更高。当驾驶员对全息影像进行操作时，不易分散驾驶员的注意力，车辆行驶的安全性较高。
图1示出了本发明实施例提供的一种车辆人机交互系统100的结构示意图，该车辆人机交互系统100包括：车载终端110、交互设备120和全息影像显示设备130。
全息影像显示设备130用于从车载终端110获取待显示的操作界面的第一界面数据，并根据该第一界面数据在驾驶舱中呈现出该操作界面的第一全息影像。
交互设备120用于采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定该目标手势数据对应的目标控制指令。
车载终端110用于对该操作界面执行目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据。交互设备120将目标控制指令发送至车载终端110，车载终端110确定目标控制指令对应的目标操作，并对操作界面执行该目标操作。车载终端110设置有显示屏，该显示屏用于显示操作界面。
全息影像显示设备130还用于从车载终端110获取第二界面数据，并根据该第二界面数据在驾驶舱中呈现出更新后的操作界面的第二全息影像。
其中，操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
综上所述，本发明实施例提供的车辆人机交互系统，全息影像显示设备在驾驶舱中呈现出操作界面的第一全息影像，交互设备能够采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定对应的目标控制指令，车载终端再对操作界面执行对应的目标操作，得到更新后的操作界面的第二界面数据，之后，全息影像显示设备根据该第二界面数据呈现出更新后的操作界面的第二全息影像，该系统通过采集用户的手势数据执行相应的操作，使用户使用车载终端的相应功能，简化了操作过程，提高了效率，当驾驶员对全息影像进行操作时，不易分散驾驶员的注意力，提高了车辆行驶的安全性。
图2是本发明实施例在图1的基础上提供的另一种车辆人机交互系统的结构示意图，该车辆人机交互系统100包括：车载终端110、交互设备120和全息影像显示设备130。
全息影像显示设备130用于从车载终端110获取待显示的操作界面的第一界面数据，并根据该第一界面数据在驾驶舱中呈现出该操作界面的第一全息影像。
交互设备120用于采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定该目标手势数据对应的目标控制指令。
如图2所示，交互设备120可以包括红外摄像头121和手势识别模块122，红外摄像头121设置在副驾驶储物箱的下方。副驾驶储物箱位于副驾驶座椅的前方。
红外摄像头121用于采集目标手势数据，并将目标手势数据发送至手势识别模块122；手势识别模块122用于在目标手势数据为有效手势数据时，从预设的第一对应关系中获取目标手势数据对应的目标控制指令，并将目标控制指令发送至车载终端110。
手势识别模块接收到红外摄像头发送的目标手势数据时，可以先检测该目标手势数据是否为有效手势数据。当目标手势数据为有效手势数据时，手势识别模块从第一对应关系中获取该目标手势数据对应的目标控制指令。
可选的，目标手势数据包括手势坐标数据和手势类型数据，手势识别模块用于：检测目标手势数据中的手势坐标数据所指示的手部位置是否在预设的手势识别区域内，其中，手势识别区域为第一全息影像所在的区域；当手部位置在手势识别区域内时，检测目标手势数据中的手势类型数据所指示的手势类型是否为预设手势类型集中的手势类型；当目标手势数据中的手势类型数据所指示的手势类型为预设手势类型集中的手势类型时，确定目标手势数据为有效手势数据。
示例的，预设手势类型集可以包括放大，滑动，选择，以及缩小等手势类型。
可选的，手势识别模块可以集成在车辆处理器上，也可以单独设置。
其中，预设的第一对应关系用于记录手势数据和控制指令的对应关系。控制指令为对操作界面执行操作的指令。手势数据包括手势坐标数据和手势类型数据，控制指令由手势数据中的手势坐标数据和手势类型数据得到。比如控制指令可以包括对操作界面执行放大操作的指令，对操作界面执行缩小操作的指令，以及对操作界面执行滑动操作的指令等。
示例的，第一对应关系可以如表1所示，比如，手势数据A对应的控制指令为M1，M1为对操作界面执行放大操作的指令；手势数据B对应的控制指令为M2，M2为对操作界面执行滑动操作的指令。手势数据C对应的控制指令为M3，M3为对操作界面执行选择操作的指令。每个手势数据包括手势坐标数据和手势类型数据。假设目标手势数据为A，那么手势识别模块从表1中获取的该目标手势数据对应的目标控制指令为M1。
表1
| 手势数据 | 控制指令 |
| A | M1：对操作界面执行放大操作的指令 |
| B | M2：对操作界面执行滑动操作的指令 |
| C | M3：对操作界面执行选择操作的指令 |
车载终端110用于对该操作界面执行目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据。
可选的，目标操作可以包括选择操作、放大操作、缩小操作和关闭操作中的任一种。
可选的，车载终端110用于从预设的第二对应关系中获取目标控制指令对应的目标操作，并对操作界面执行目标操作，该第二对应关系用于记录控制指令和操作的对应关系。
示例的，第二对应关系可以如表2所示，控制指令M1对应的操作为C1，M1为对操作界面执行放大操作的指令，C1为放大操作；控制指令M2对应的操作为C2，M2为对操作界面执行滑动操作的指令，C2为滑动操作；控制指令M3对应的操作为C3，M3为对操作界面执行点击操作的指令，C3为选择操作。假设目标控制指令为M1，那么车载终端从表2中获取的该目标控制指令对应的目标操作为C1：放大操作。车载终端对操作界面执行放大操作。
表2
| 控制指令 | 操作 |
| M1：对操作界面执行放大操作的指令 | C1：放大操作 |
| M2：对操作界面执行滑动操作的指令 | C2：滑动操作 |
| M3：对操作界面执行选择操作的指令 | C3：选择操作 |
全息影像显示设备130还用于从车载终端110获取第二界面数据，并根据该第二界面数据在驾驶舱中呈现出更新后的操作界面的第二全息影像。
如图2所示，全息影像显示设备130可以包括：显示器131和全息玻璃板132，其中，全息玻璃板132设置在中央扶手箱的盖板上，显示器131设置在中央扶手箱内，且位于全息玻璃板132的下方。
显示器131用于：
从车载终端110获取第一界面数据，根据该第一界面数据显示操作界面，
或者，从车载终端110获取第二界面数据，根据第二界面数据显示更新后的操作界面。
显示器131显示的图像的光线穿过全息玻璃板132，聚集在目标位置并呈现出第一全息影像或第二全息影像，该目标位置与全息玻璃板132的距离等于显示器131与全息玻璃板132的距离。显示器显示的图像的光线穿过全息玻璃板，再次相聚于相反侧相同距离的位置，形成与原图像相同的影像。关于全息玻璃板的结构和工作原理可以参考相关技术，在此不再赘述。
示例的，显示器可以为平板显示器，平板显示器可以节省占用空间。
图3示例性示出了平板显示器131显示的图像的光线穿过全息玻璃板132，聚集在目标位置并呈现出全息影像300的示意图。
本发明实施例中的操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
在本发明实施例中，车载终端提供视频通话、导航、智能家居互联、疲劳检测等功能，这些功能为用户提供多种良好的服务，给用户带来便利与乐趣。比如，用户使用视频通话功能可以与好友交流。用户使用导航功能可以得到定位导航服务，例如，得到从家到公司的导航路径。用户使用智能家居互联功能可以对家里智能设备的工作状态进行控制，例如，控制家里的扫地机器人工作。用户使用疲劳检测功能可以在驾驶员疲惫时，播放音乐提醒驾驶员。全息影像显示设备能够在驾驶舱中呈现出这些功能对应的操作界面的全息影像，用户通过手直接对全息影像进行操作，例如，在使用车载终端提供的智能家居互联功能时，用户点击全息影像中的扫地机器人图标，扫地机器人便开始工作。在使用车载终端提供的视频通话功能时，用户点击全息影像中的通话挂断图标时，视频通话结束。
现以车载终端提供的视频通话功能为例对该车辆人机交互系统的工作过程做一说明。假设当前时刻，用户接收到好友小A的视频通话请求，显示器从车载终端获取第一界面数据，根据第一界面数据显示视频通话请求界面，视频通话请求界面的光线穿过全息玻璃板，再次相聚于相反侧相同距离的位置，形成视频通话请求界面的全息影像，如图4所示，用户点击图4所示的全息影像上的“接收”按键，红外摄像头采集该手势数据(包括手势坐标数据和手势类型数据)，并将该手势数据发送至手势识别模块，手势识别模块确定该手势数据为有效手势数据，并确定该手势数据对应的控制指令：对视频通话请求界面上的“接收”按键执行选择操作，手势识别模块将该控制指令发送至车载终端，之后，车载终端对视频通话请求界面执行该控制指令对应的选择操作，得到视频通话界面的第二界面数据，显示器从车载终端获取第二界面数据，根据第二界面数据显示视频通话界面，视频通话界面的光线穿过全息玻璃板，再次相聚于相反侧相同距离的位置，形成视频通话界面的全息影像，如图5所示，用户与好友开始进行视频通话。
在本发明实施例中，用户只要通过手对呈现在驾驶舱中的全息影像进行操作，就能实现选择，放大，缩小，关闭等操作，操作简单，效率高，不易分散驾驶员的注意力，车辆行驶的安全性较高，交互方式友好，用户体验较高。
综上所述，本发明实施例提供的车辆人机交互系统，全息影像显示设备在驾驶舱中呈现出操作界面的第一全息影像，交互设备能够采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定对应的目标控制指令，车载终端再对操作界面执行对应的目标操作，得到更新后的操作界面的第二界面数据，之后，全息影像显示设备根据该第二界面数据呈现出更新后的操作界面的第二全息影像，该系统通过采集用户的手势数据执行相应的操作，使用户使用车载终端的相应功能，简化了操作过程，提高了效率，当驾驶员对全息影像进行操作时，不易分散驾驶员的注意力，提高了车辆行驶的安全性。
图6示出了本发明实施例提供的一种车辆人机交互方法的流程图，该车辆人机交互方法包括：
步骤501、全息影像显示设备从车载终端获取待显示的操作界面的第一界面数据，并根据第一界面数据在驾驶舱中呈现出操作界面的第一全息影像。
步骤502、交互设备采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定目标手势数据对应的目标控制指令。
步骤503、车载终端对操作界面执行目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据。
步骤504、全息影像显示设备从车载终端获取第二界面数据，并根据第二界面数据在驾驶舱中呈现出更新后的操作界面的第二全息影像。
其中，操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
综上所述，本发明实施例提供的车辆人机交互方法，全息影像显示设备在驾驶舱中呈现出操作界面的第一全息影像，交互设备能够采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定对应的目标控制指令，车载终端再对操作界面执行对应的目标操作，得到更新后的操作界面的第二界面数据，之后，全息影像显示设备根据该第二界面数据呈现出更新后的操作界面的第二全息影像，该方法通过采集用户的手势数据执行相应的操作，使用户使用车载终端的相应功能，简化了操作过程，提高了效率，当驾驶员对全息影像进行操作时，不易分散驾驶员的注意力，提高了车辆行驶的安全性。
图7是本发明实施例在图6的基础上提供的另一种车辆人机交互方法的流程图，该车辆人机交互方法可以包括：
步骤601、全息影像显示设备从车载终端获取待显示的操作界面的第一界面数据，并根据第一界面数据在驾驶舱中呈现出操作界面的第一全息影像。
可选的，如图2所示，全息影像显示设备130包括：显示器131和全息玻璃板132，其中，全息玻璃板132设置在中央扶手箱的盖板上，显示器131设置在中央扶手箱内，且位于全息玻璃板132的下方。相应的，如图8所示，步骤601可以包括：
步骤6011、全息影像显示设备通过显示器从车载终端获取第一界面数据。
步骤6012、全息影像显示设备通过显示器根据第一界面数据显示操作界面，显示器显示的图像的光线穿过全息玻璃板，聚集在目标位置并呈现出第一全息影像。
该目标位置与全息玻璃板的距离等于显示器与全息玻璃板的距离。
步骤602、交互设备通过红外摄像头采集目标手势数据。
目标手势数据包括手势坐标数据和手势类型数据。红外摄像头设置在副驾驶储物箱的下方。
步骤603、交互设备通过手势识别模块检测目标手势数据中的手势坐标数据所指示的手部位置是否在预设的手势识别区域内。
其中，手势识别区域为第一全息影像所在的区域。
步骤604、当手部位置在手势识别区域内时，交互设备通过手势识别模块检测目标手势数据中的手势类型数据所指示的手势类型是否为预设手势类型集中的手势类型。
步骤605、当目标手势数据中的手势类型数据所指示的手势类型为预设手势类型集中的手势类型时，交互设备通过手势识别模块确定目标手势数据为有效手势数据。
步骤606、当目标手势数据为有效手势数据时，交互设备通过手势识别模块从预设的第一对应关系中获取目标手势数据对应的目标控制指令。
第一对应关系用于记录手势数据和控制指令的对应关系，控制指令为对操作界面执行操作的指令。
步骤607、车载终端对操作界面执行目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据。
其中，步骤607中车载终端对操作界面执行目标控制指令对应的目标操作，可以包括：车载终端从预设的第二对应关系中获取目标控制指令对应的目标操作，并对操作界面执行目标操作，第二对应关系用于记录控制指令和操作的对应关系。
可选的，目标操作可以包括选择操作、放大操作、缩小操作和关闭操作中的任一种。
步骤608、全息影像显示设备从车载终端获取第二界面数据，并根据第二界面数据在驾驶舱中呈现出更新后的操作界面的第二全息影像。
可选的，如图9所示，步骤608可以包括：
步骤6081、全息影像显示设备通过显示器从车载终端获取第二界面数据。
步骤6082、全息影像显示设备通过显示器根据第二界面数据显示更新后的操作界面，显示器显示的图像的光线穿过全息玻璃板，聚集在目标位置并呈现出第二全息影像。
在本发明实施例中，操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
综上所述，本发明实施例提供的车辆人机交互方法，全息影像显示设备在驾驶舱中呈现出操作界面的第一全息影像，交互设备能够采集用户在第一全息影像上进行操作时所产生的目标手势数据，并确定对应的目标控制指令，车载终端再对操作界面执行对应的目标操作，得到更新后的操作界面的第二界面数据，之后，全息影像显示设备根据该第二界面数据呈现出更新后的操作界面的第二全息影像，该方法通过采集用户的手势数据执行相应的操作，使用户使用车载终端的相应功能，简化了操作过程，提高了效率，当驾驶员对全息影像进行操作时，不易分散驾驶员的注意力，提高了车辆行驶的安全性。
需要说明的是，本发明实施例提供的车辆人机交互方法的步骤的先后顺序可以进行适当调整，车辆人机交互方法的步骤也可以根据情况进行相应增减。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法实施例中各步骤的具体工作过程，可以参考前述系统实施例中各设备的具体工作过程，在此不再赘述。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种车辆人机交互系统，其特征在于，包括：车载终端、交互设备和全息影像显示设备，
所述全息影像显示设备用于从所述车载终端获取待显示的操作界面的第一界面数据，并根据所述第一界面数据在驾驶舱中呈现出所述操作界面的第一全息影像；
所述交互设备用于采集用户在所述第一全息影像上进行操作时所产生的目标手势数据，并确定所述目标手势数据对应的目标控制指令；
所述车载终端用于对所述操作界面执行所述目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据；
所述全息影像显示设备还用于从所述车载终端获取所述第二界面数据，并根据所述第二界面数据在所述驾驶舱中呈现出所述更新后的操作界面的第二全息影像；
其中，所述操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
2.根据权利要求1所述的系统，其特征在于，所述交互设备包括：红外摄像头和手势识别模块，所述红外摄像头设置在副驾驶储物箱的下方，
所述红外摄像头用于采集所述目标手势数据，并将所述目标手势数据发送至所述手势识别模块；
所述手势识别模块用于在所述目标手势数据为有效手势数据时，从预设的第一对应关系中获取所述目标手势数据对应的目标控制指令，并将所述目标控制指令发送至所述车载终端，所述第一对应关系用于记录手势数据和控制指令的对应关系，所述控制指令为对所述操作界面执行操作的指令。
3.根据权利要求2所述的系统，其特征在于，所述目标手势数据包括手势坐标数据和手势类型数据，所述手势识别模块用于：
检测所述目标手势数据中的手势坐标数据所指示的手部位置是否在预设的手势识别区域内，所述手势识别区域为所述第一全息影像所在的区域；
当所述手部位置在所述手势识别区域内时，检测所述目标手势数据中的手势类型数据所指示的手势类型是否为预设手势类型集中的手势类型；
当所述目标手势数据中的手势类型数据所指示的手势类型为所述预设手势类型集中的手势类型时，确定所述目标手势数据为有效手势数据。
4.根据权利要求1所述的系统，其特征在于，所述全息影像显示设备包括：显示器和全息玻璃板，所述全息玻璃板设置在中央扶手箱的盖板上，所述显示器设置在所述中央扶手箱内，且位于所述全息玻璃板的下方，
所述显示器用于：
从所述车载终端获取所述第一界面数据，根据所述第一界面数据显示所述操作界面，
或者，从所述车载终端获取所述第二界面数据，根据所述第二界面数据显示所述更新后的操作界面；
所述显示器显示的图像的光线穿过所述全息玻璃板，聚集在目标位置并呈现出所述第一全息影像或所述第二全息影像，所述目标位置与所述全息玻璃板的距离等于所述显示器与所述全息玻璃板的距离。
5.根据权利要求1所述的系统，其特征在于，
所述车载终端用于从预设的第二对应关系中获取所述目标控制指令对应的目标操作，并对所述操作界面执行所述目标操作，所述第二对应关系用于记录控制指令和操作的对应关系。
6.一种车辆人机交互方法，其特征在于，所述方法包括：
全息影像显示设备从车载终端获取待显示的操作界面的第一界面数据，并根据所述第一界面数据在驾驶舱中呈现出所述操作界面的第一全息影像；
交互设备采集用户在所述第一全息影像上进行操作时所产生的目标手势数据，并确定所述目标手势数据对应的目标控制指令；
所述车载终端对所述操作界面执行所述目标控制指令对应的目标操作，得到更新后的操作界面的第二界面数据；
所述全息影像显示设备从所述车载终端获取所述第二界面数据，并根据所述第二界面数据在所述驾驶舱中呈现出所述更新后的操作界面的第二全息影像；
其中，所述操作界面为视频通话界面、导航界面、智能家居互联界面或疲劳检测界面。
7.根据权利要求6所述的方法，其特征在于，所述交互设备采集用户在所述第一全息影像上进行操作时所产生的目标手势数据，并确定所述目标手势数据对应的目标控制指令，包括：
所述交互设备通过红外摄像头采集所述目标手势数据，所述红外摄像头设置在副驾驶储物箱的下方；
当所述目标手势数据为有效手势数据时，所述交互设备通过手势识别模块从预设的第一对应关系中获取所述目标手势数据对应的目标控制指令，所述第一对应关系用于记录手势数据和控制指令的对应关系，所述控制指令为对所述操作界面执行操作的指令。
8.根据权利要求7所述的方法，其特征在于，所述目标手势数据包括手势坐标数据和手势类型数据，所述方法还包括：
所述交互设备通过所述手势识别模块检测所述目标手势数据中的手势坐标数据所指示的手部位置是否在预设的手势识别区域内，所述手势识别区域为所述第一全息影像所在的区域；
当所述手部位置在所述手势识别区域内时，所述交互设备通过所述手势识别模块检测所述目标手势数据中的手势类型数据所指示的手势类型是否为预设手势类型集中的手势类型；
当所述目标手势数据中的手势类型数据所指示的手势类型为所述预设手势类型集中的手势类型时，所述交互设备通过所述手势识别模块确定所述目标手势数据为有效手势数据。
9.根据权利要求7所述的方法，其特征在于，所述全息影像显示设备包括：显示器和全息玻璃板，所述全息玻璃板设置在中央扶手箱的盖板上，所述显示器设置在所述中央扶手箱内，且位于所述全息玻璃板的下方，
所述全息影像显示设备从车载终端获取待显示的操作界面的第一界面数据，并根据所述第一界面数据在驾驶舱中呈现出所述操作界面的第一全息影像，包括：
所述全息影像显示设备通过所述显示器从所述车载终端获取所述第一界面数据；
所述全息影像显示设备通过所述显示器根据所述第一界面数据显示所述操作界面，所述显示器显示的图像的光线穿过所述全息玻璃板，聚集在目标位置并呈现出所述第一全息影像，所述目标位置与所述全息玻璃板的距离等于所述显示器与所述全息玻璃板的距离；
所述全息影像显示设备从所述车载终端获取所述第二界面数据，并根据所述第二界面数据在所述驾驶舱中呈现出所述更新后的操作界面的第二全息影像，包括：
所述全息影像显示设备通过所述显示器从所述车载终端获取所述第二界面数据；
所述全息影像显示设备通过所述显示器根据所述第二界面数据显示所述更新后的操作界面，所述显示器显示的图像的光线穿过所述全息玻璃板，聚集在所述目标位置并呈现出所述第二全息影像。
10.根据权利要求6所述的方法，其特征在于，所述车载终端对所述操作界面执行所述目标控制指令对应的目标操作，包括：
所述车载终端从预设的第二对应关系中获取所述目标控制指令对应的目标操作，并对所述操作界面执行所述目标操作，所述第二对应关系用于记录控制指令和操作的对应关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810811473.8A CN108919959B (zh) | 2018-07-23 | 2018-07-23 | 车辆人机交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810811473.8A CN108919959B (zh) | 2018-07-23 | 2018-07-23 | 车辆人机交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108919959A true CN108919959A (zh) | 2018-11-30 |
| CN108919959B CN108919959B (zh) | 2021-11-02 |
Family
ID=64417156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810811473.8A Active CN108919959B (zh) | 2018-07-23 | 2018-07-23 | 车辆人机交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108919959B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110740282A (zh) * | 2019-09-29 | 2020-01-31 | 浙江合众新能源汽车有限公司 | 一种基于汽车透明a柱的视频通话方法及系统 |
| CN112286357A (zh) * | 2020-10-31 | 2021-01-29 | 中环曼普科技(南京)有限公司 | 一种行车人机交互方法及系统 |
| CN113335185A (zh) * | 2021-08-06 | 2021-09-03 | 智己汽车科技有限公司 | 一种基于空中成像的车内多功能信息显示装置及控制方法 |
| CN114179610A (zh) * | 2021-12-23 | 2022-03-15 | 奇瑞汽车股份有限公司 | 汽车座椅加热通风调节的界面控制方法及装置 |
| CN114488752A (zh) * | 2022-01-24 | 2022-05-13 | 深圳市无限动力发展有限公司 | 基于扫地机平台的全息投影方法、装置、设备及介质 |
| CN115129207A (zh) * | 2021-03-29 | 2022-09-30 | 博泰车联网科技(上海)股份有限公司 | 车载显示模块交互系统工作方法、装置、存储介质和终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105091887A (zh) * | 2015-09-16 | 2015-11-25 | 王占奎 | 3d交互式全息车内导航系统 |
| CN105136151A (zh) * | 2015-09-16 | 2015-12-09 | 王占奎 | 3d全息车联网交互显示终端 |
| US20160021167A1 (en) * | 2014-07-17 | 2016-01-21 | Hyundai Motor Company | Method for extending vehicle interface |
| CN105786361A (zh) * | 2014-12-23 | 2016-07-20 | 北京中博安达知识产权服务有限公司 | 一种3d车载终端人机交互系统 |
| US20160274669A1 (en) * | 2015-03-16 | 2016-09-22 | Thunder Power Hong Kong Ltd. | Vehicle operating system using motion capture |
| CN106774827A (zh) * | 2016-11-21 | 2017-05-31 | 歌尔科技有限公司 | 一种投影交互方法、投影交互装置和智能终端 |
| CN106952348A (zh) * | 2017-03-28 | 2017-07-14 | 云南大学 | 一种基于红外手势识别的数字建筑模型展示方法及系统 |
-
2018
- 2018-07-23 CN CN201810811473.8A patent/CN108919959B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160021167A1 (en) * | 2014-07-17 | 2016-01-21 | Hyundai Motor Company | Method for extending vehicle interface |
| CN105786361A (zh) * | 2014-12-23 | 2016-07-20 | 北京中博安达知识产权服务有限公司 | 一种3d车载终端人机交互系统 |
| US20160274669A1 (en) * | 2015-03-16 | 2016-09-22 | Thunder Power Hong Kong Ltd. | Vehicle operating system using motion capture |
| CN105091887A (zh) * | 2015-09-16 | 2015-11-25 | 王占奎 | 3d交互式全息车内导航系统 |
| CN105136151A (zh) * | 2015-09-16 | 2015-12-09 | 王占奎 | 3d全息车联网交互显示终端 |
| CN106774827A (zh) * | 2016-11-21 | 2017-05-31 | 歌尔科技有限公司 | 一种投影交互方法、投影交互装置和智能终端 |
| CN106952348A (zh) * | 2017-03-28 | 2017-07-14 | 云南大学 | 一种基于红外手势识别的数字建筑模型展示方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110740282A (zh) * | 2019-09-29 | 2020-01-31 | 浙江合众新能源汽车有限公司 | 一种基于汽车透明a柱的视频通话方法及系统 |
| CN112286357A (zh) * | 2020-10-31 | 2021-01-29 | 中环曼普科技(南京)有限公司 | 一种行车人机交互方法及系统 |
| CN115129207A (zh) * | 2021-03-29 | 2022-09-30 | 博泰车联网科技(上海)股份有限公司 | 车载显示模块交互系统工作方法、装置、存储介质和终端 |
| CN113335185A (zh) * | 2021-08-06 | 2021-09-03 | 智己汽车科技有限公司 | 一种基于空中成像的车内多功能信息显示装置及控制方法 |
| CN114179610A (zh) * | 2021-12-23 | 2022-03-15 | 奇瑞汽车股份有限公司 | 汽车座椅加热通风调节的界面控制方法及装置 |
| CN114488752A (zh) * | 2022-01-24 | 2022-05-13 | 深圳市无限动力发展有限公司 | 基于扫地机平台的全息投影方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108919959B (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108919959A (zh) | 车辆人机交互方法及系统 | |
| CN105666502B (zh) | 一种无人加油站用全自主加油服务机器人及加油服务方法 | |
| CN105894733B (zh) | 驾驶员监控系统 | |
| US20180201207A1 (en) | Vehicle and method of controlling a display therein | |
| WO2020151431A1 (zh) | 一种智能看车的数据处理方法及系统 | |
| CN110489048A (zh) | 应用快速启动方法及相关装置 | |
| US20230080734A1 (en) | Control of display device for autonomous vehicle | |
| KR20150072074A (ko) | 차량 제스처 인식 시스템 및 그 제어 방법 | |
| CN109933388A (zh) | 车载终端设备及其应用组件的显示处理方法 | |
| US20210122242A1 (en) | Motor Vehicle Human-Machine Interaction System And Method | |
| CN107585164B (zh) | 一种分类驾驶员的方法及装置 | |
| CN104950721B (zh) | 一种便携式通信设备的车载智能适配器装置系统的工作方法 | |
| DE102018133011A1 (de) | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren | |
| DE102019210383A1 (de) | Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung | |
| CN103853462A (zh) | 车辆内使用手形痕迹识别提供用户界面的系统和方法 | |
| DE102021111109A1 (de) | Umgebungsinteraktives System mit erweiterter Realität für Infotainment und Entertainment im Fahrzeug | |
| CN205854057U (zh) | 一种汽车前中控系统 | |
| CN109948509A (zh) | 对象状态监测方法、装置及电子设备 | |
| CN208092708U (zh) | 车载终端设备 | |
| CN105844735A (zh) | 用于管理车辆计算机以记录信息和图像的方法和系统 | |
| CN114661026A (zh) | 基于增强现实的交互式车辆远程诊断方法、系统及其存储介质 | |
| CN104850374A (zh) | 用于控制车辆的头单元的智能设备镜像的系统和方法 | |
| DE102018133030A1 (de) | Fahrzeugfernsteuerungsvorrichtung und fahrzeugfernsteuerungsverfahren | |
| CN109358928A (zh) | 在车载设备的桌面展示数据的方法、装置以及车载设备 | |
| CN106945671A (zh) | 具有多个设定点的车辆巡航控制 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |