CN112109729A - 用于车载系统的人机交互方法、装置和系统 - Google Patents

用于车载系统的人机交互方法、装置和系统 Download PDF

Info

Publication number
CN112109729A
CN112109729A CN201910528894.4A CN201910528894A CN112109729A CN 112109729 A CN112109729 A CN 112109729A CN 201910528894 A CN201910528894 A CN 201910528894A CN 112109729 A CN112109729 A CN 112109729A
Authority
CN
China
Prior art keywords
user
instruction
gesture
human
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910528894.4A
Other languages
English (en)
Other versions
CN112109729B (zh
Inventor
张弢
J·比勒费尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to CN201910528894.4A priority Critical patent/CN112109729B/zh
Publication of CN112109729A publication Critical patent/CN112109729A/zh
Application granted granted Critical
Publication of CN112109729B publication Critical patent/CN112109729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于车载系统的人机交互方法(100),其特征在于,包括:获取(101)用户的语音指令;获取(102)用户的手势指令;通过对语音指令做语义分析,确定(103)用户的操作意图;通过分析手势指令,获取(104)手势指令中的目标位置信息;和根据用户的操作意图和目标位置信息,确定(105)用来执行用户指令的功能设备。此外,本发明还涉及一种用于车载系统的人机交互装置以及一种人机交互系统和车辆。根据本发明,人机交互可以更加简单和高效,用户无需繁琐地手动操作,改善了用户体验,增强了驾驶安全性。

Description

用于车载系统的人机交互方法、装置和系统
技术领域
本发明实施例涉及车载系统和汽车电子技术,更具体而言,涉及用于车载系统的人机交互方法、装置和系统。
背景技术
众所周知,驾驶员在驾驶时应避免注意力分散。为了防止这一点,很多国家和地区都某种程度地禁止驾驶员在驾驶过程中操作手机或其他电子设备,以使得驾驶员专注于驾驶,从而避免交通事故的发生。
目前的车载系统,大多使用独立的操作系统,且可以连接外围设备如无线通信模块、GPS定位模块、手势识别模块和摄像头照相模块等。
在实现现有技术实施例的过程中,发明人发现现有技术至少存在以下问题:驾驶员无法简单高效地操控车载的功能设备,例如摄像头、雷达和车窗等。特别是当存在多个功能设备需要被操控时,通常需要以分散一定的注意力为代价,由此带来安全隐患。例如虽然车辆配置了一个甚至多个摄像头模块,但是目前的功能单一。不支持在避免分散驾驶员注意力的前提下,利用车载摄像头提供照相功能。另一方面,如果车辆配置有多个摄像头,繁琐的人机交互过程也会使驾驶员的注意力分散,带来安全隐患。
因此,如何利用现有的车载系统以及配套的传感器等硬件设备按照用户意图来操控相应的功能设备,例如实施照相功能,以提供更好的车内的用户体验成为一个亟待解决的问题。
发明内容
为了解决现有技术中的至少一个问题,本发明实施例提供了一种用于车载系统的人机交互方法、装置和系统。所述技术方案如下:
本发明的第一方面提供了一种用于车载系统的人机交互方法,其特征在于,所述人机交互方法包括:
获取用户的语音指令;
获取用户的手势指令;
通过对语音指令做语义分析,确定用户的操作意图;
通过分析手势指令,获取手势指令中的目标位置信息;和
根据用户的操作意图和目标位置信息,确定用来执行用户指令的功能设备。
根据本发明,车载系统首先获取用户(例如驾驶员或乘客)的指令,所述指令包括语音指令部分和手势指令部分。然后从语音指令中提取用户的操作意图,如照相功能。同时可以从手势指令中分析计算出一个目标位置,特别是手指所指向的方向信息。然后根据用户所需要的功能来确定可以用来执行此功能的外围设备。如果用户希望照相,则选择车载的摄像头为执行该指令的功能模块。如果有多个可执行照相的摄像头,则通过从手势中获得手势中包含的目标位置信息来选择与该目标位置信息例如方向信息相匹配的摄像头。从而可以拍摄到用户希望的画面。根据本发明,当驾驶员想拍摄下路旁物体或景色时,可以简单直观的给出语音和手势指令,车载系统通过车内传感器识别语音指令和手势指令,再利用外部功能模块执行用户意图。操作过程简单高效,无需在车载系统的操作界面上手动操作,从而提高了用户体验。
根据本发明,除了上面提及的照相之外,用户的操作意图可以是多样的,例如拍摄视频、获取雷达图像、操控车窗或车门等等。以操控车窗为例,在车辆中通常存在左前车窗、左后车窗、右前车窗、右后车窗和天窗。为了简化操作,用户可以借助语音指令和手势指令来对相应车窗进行操控。如果用户希望打开天窗,那么配设给天窗的马达作为执行该指令的功能模块。用户可以通过语音指令(例如代表“开窗”的任意适宜的语音指令)以及手势指令(例如通过手指或手臂指向车顶)来进行指定。车载系统可以根据用户的语音指令和手势指令来选择适合的用于操控天窗的马达。该操作过程简单高效,无需手动操作,从而提高了用户体验。
根据本发明,语音指令可以是用户发出的基于数据库被预先设定的关键词,当用户通过语音指令发出预先设定的关键词时,车载系统能够高效地确定用户的操作意图。以照相为例,预先设定的关键词例如可以是:拍照、摄像、照片、摄影或照相等类似的词语。在一些实施例中,语音指令也可以是用户发出的任意表达自身操作意图的自然语言。在此,车载系统对自然语言进行语义分析,挖掘出关键词,最终确定用户的操作意图。
根据本发明,由于通过语音指令仅需陈述用户的操作意图,因此用户、尤其是驾驶员不会由于过多地陈述而影响驾驶任务。此外,由于用户的语音指令相对简单,这降低了对语音识别的要求,提高了语音识别的效率和正确性,并且在一定程度上也降低了购置成本。
根据本发明,用户的手势指令可以是多样的,例如可以通过手指或手臂指定特定方向,或者可以通过手指或手臂划过特定的区域来进行指定。
优选地,所述步骤“通过分析手势指令,获取手势指令中的目标位置信息”包括:通过分析用户的手势指令,获取用户做出手势指令的位置;和通过分析用户的手势指令,获取用户手势指令中的方向信息。
优选地,所述步骤“根据用户的操作意图和目标位置信息,确定用来执行用户指令的功能设备”包括:根据用户的操作意图,确定用于执行用户指令的设备类型;获取所述功能设备类型中各个功能设备的功能范围;根据手势指令中的目标位置信息和所述功能设备的功能范围,选择执行用户指令的功能设备。
根据本发明,用户可以借助语音指令和手势指令简单高效地操控多个功能模块,而无需繁琐地手动操作多个功能模块。
以照相或者拍摄视频为例,当用户同时对车辆左侧和前方的风景感兴趣时,用户仅需发出代表“照相”或者“拍视频”的语音指令来表明操作意图,并且通过手势指令例如借助手指或手臂指向左前方或者划过左前方的特定区域来指定目标位置信息。车载系统从语音指令中提取用户的操作意图并且从手势指令中获取目标位置信息,由此确定用来执行用户指令的功能设备,在此例如为处于车辆前方和左侧的车载摄像头。
以开窗为例,用户需要同时打开天窗和左前侧的车窗时,用户仅需发出代表“开窗”的语音指令来表明操作意图,并且通过手势指令例如借助手指或手臂指向左上方或者划过左上方的特定区域来指定目标位置信息。车载系统从语音指令中提取用户的操作意图并且从手势指令中获取目标位置信息,由此确定用来执行用户指令的功能设备,在此例如为与天窗和左前侧的车窗相配设的马达。
优选地,所述方法进一步包括:在两个或更多个功能设备的功能范围之间设有公共区域,当手势指令中的目标位置信息匹配于该公共区域时,选择所述两个或更多个功能设备来共同执行用户指令。
根据本发明,基于从手势指令中获取的用户做出手势指令的位置和用户手势指令中的方向信息来确定相匹配的功能设备。当用户做出手势指令的位置和/或用户手势指令中的方向信息落入一个或多个功能范围时,确定相应的一个或多个匹配的功能设备。可能的是,只需采取适宜的手势指令,使得用户做出手势指令的位置和/或用户手势指令中的方向信息落入特定的公共区域,就能同时操控多个功能设备。
优选地,所述方法进一步包括:根据功能设备的执行结果和/或车辆的当前行驶状态(例如车辆的当前位置、速度、姿态等)适配(例如更换或增减)用于执行用户指令的功能设备。以照相或者拍视频为例,在一些实施例中,可以规定预先设定的拍摄时间,例如10s、30s、1min、2min、10min等等。随着车辆的行驶,原本处于车辆前方的景象可能会逐渐处于车辆侧面或者后方,由此可能导致正在执行拍摄任务的摄像头无法拍摄到或者无法以期望的角度拍摄到景象。根据本发明,为此可以基于当前执行用户指令的摄像头所拍摄的图像以及当前车辆的位置,确定新的用于执行用户指令的摄像头,例如处于车辆侧面或者后方的摄像头,并且停止原本的摄像头继续执行拍摄任务。在一些实施例中,在对当前执行用户指令的摄像头所拍摄的图像进行分析处理时,可以捕获图像中的特征对象,当特征对象在预先设定的拍摄时间内无法呈现或者无法以优化的状态呈现在图像中时,确定当前执行用户指令的摄像头为不适宜的,为此需要重新选择适宜的摄像头。
优选地,所述方法进一步包括:向执行用户指令的功能设备,发出与用户的操作意图相应的操作指令。
优选地,所述方法进一步包括:根据功能设备的执行结果和/或车辆的当前行驶状态(例如车辆的当前位置、速度、姿态等),向执行用户指令的功能设备,发出调整指令,以便调整功能设备的功能范围。在一些实施例中,功能设备的功能范围是可调节的。以照相或拍视频为例,随着车辆的行驶,可以基于当前执行用户指令的摄像头所拍摄的图像以及当前车辆的位置,自适应地调整该摄像头的拍摄角度或者说功能范围,以此更好地适配于当前执行的拍摄任务。
优选地,所述功能设备为照相装置。
本发明的第二方面提供了一种用于车载系统的人机交互装置,其特征在于,所述人机交互装置包括:
语音指令模块,用于获取用户的语音指令;
手势指令模块,用于获取用户的手势指令;
分析模块,用来通过对语音指令做语义分析,以确定用户的操作意图;
方向信息模块,通过分析手势指令,获取手势指令中的目标位置信息;和
确定模块,根据用户的操作意图和目标位置信息,确定用来执行用户指令的功能设备。
根据本发明,在根据本发明的第一方面中所描述的各实施例以及相应的技术效果能够直接转用到根据本发明的第二方面的用于车载系统的人机交互装置中。优选地,所述方向信息模块进一步用于:通过分析用户的手势指令,获取用户做出手势指令的位置;和通过分析用户的手势指令,获取用户手势指令中的方向信息。
优选地,所述确定模块进一步用于:
-根据用户的操作意图,确定用于执行用户指令的设备类型;
-获取所述设备类型中各个功能设备的功能范围;
-根据手势指令中的目标位置信息和所述功能设备的功能范围,选择执行用户指令的功能设备。
优选地,人机交互装置、优选确定模块进一步用于:在两个或更多个功能设备的功能范围之间设有公共区域的情况下,当手势指令中的目标位置信息匹配于该公共区域时,选择所述两个或更多个功能设备来共同执行用户指令。
优选地,人机交互装置、优选确定模块进一步用于:获取功能设备的执行结果和/或车辆的当前行驶状态(例如车辆的当前位置、速度、姿态等),并且根据功能设备的执行结果和/或车辆的当前行驶状态适配(例如更换或增减)执行用户指令的功能设备。
根据本发明的人机交互装置中的各模块可以构成为单独的电子构件,也可以构成为集成在控制器中的功能模块。例如语音指令模块可以构成为麦克风。手势指令模块可以构成为手势识别传感器。分析模块、方向信息模块和确定模块可以分别构成为独立的控制单器,也可以构成为集成在一个控制器中的不同功能模块。
优选地,所述人机交互装置进一步用于:向执行用户指令的功能设备,发出与用户的操作意图相应的操作指令。
优选地,人机交互装置、优选确定模块进一步用于:根据功能设备的执行结果和/或车辆的当前行驶状态(例如车辆的当前位置、速度、姿态等),向执行用户指令的功能设备,发出调整指令,以便调整功能设备的功能范围。
优选地,所述功能设备为照相装置。
本发明的第三方面提供了一种人机交互系统,其特征在于,包括:
-至少一个根据本发明第二方面所述的人机交互装置;
-至少一个车内传感器模块,所述车内传感器模块包括至少一个用来获取用户的语音指令的麦克风和至少一个用来获取用户的手势指令的手势识别传感器;和
-至少一组设备,所述一组设备包括至少两个功能设备。
本发明的第四方面提供了一种车辆,其特征在于,包括根据本发明第三方面所述的人机交互系统。
如上所述,本发明可以从手势指令中分析计算出一个方向,特别是手指所指向的方向。如果有多个可执行照相的摄像头,则根据从手势中获得的方向来选择匹配的摄像头。从而可以拍摄到用户希望的画面。根据本发明,当驾驶员想拍摄下路旁物体或景色时,可以简单直观的给出语音和手势指令,车载系统通过车内传感器识别语音指令和手势指令,再利用外部功能模块执行用户意图。操作过程简单高效,无需在车载系统的操作界面上手动操作,从而提高了用户体验。
附图说明
图1是本发明一个实施例的示意图;
图2是本发明实施例的用于车载系统的人机交互方法的流程图;和
图3是本发明实施例的用于车载系统的人机交互装置的示意性结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
表述“和/或”在本文中使用的含义为,包括该表述之前和之后列出的组件中的至少一个。而且,表述“连接/联接”使用的含义为,包括与另一个组件的直接连接,或通过另一个组件而间接连接。本文中的单数形式也包括复数形式,除非在措辞中特别提及。而且,本文中使用的涉及“包括”或“包含”的组件、步骤、操作和元件的含义为,存在或添加至少一个其他的组件、步骤、操作和元件。
应理解的是,本文中所用的术语“车辆”或“车辆的”或其他类似术语通常包括机动车辆,如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆,包括各种舟艇、船舶的船只,航空器等,并包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他替代性的燃料车辆(例如,源于除了石油之外的来源的燃料)。正如本文所提到的,混合动力车辆为具有两种或更多种动力源的车辆,例如汽油动力和电力动力两者的车辆。
如本文中所用的,短语“车辆(车载)系统”的含义为,具有无线通信能力的集成信息系统。这些系统有时称为车内信息系统,并且通常与远程信息通信服务、娱乐系统和/或导航系统整合为一体。驾驶辅助系统(Advanced Driver Assistance System,ADAS),是利用安装于车上的各式各样的传感器,例如摄像头、雷达、激光和超声波等,收集实时(路况)环境数据,进行静、动态物体的辨识、侦测与分析。从而能够让驾驶者在最快的时间察觉可能发生的危险,以引起注意和提高安全性的主动安全技术。
此外,应当理解的是,术语“控制器”是指包括存储器和处理器的硬件设备。存储器配置为存储程序指令,而处理器配置为执行所述程序指令以执行下面进一步描述的一个或多个过程。
图1中的车辆10上配置了多种类型的可以探测周围环境的传感器组,例如雷达,激光雷达和照相传感器30。其中照相传感器30由多个摄像头31,32和33组成。由于各摄像头的拍摄角有限,如图中所示,照相传感器30中各个摄像头31,32,33分别有各自的功能范围31a,32a,33a(拍摄照片的角度区域)。如图1所示,车辆10的正常行驶方法为R1(前方)。
此外,车辆10中配置了车内传感器20。该车内传感器20至少包括麦克风和手势识别传感器。
图2是本发明实施例的用于车载系统的人机交互方法的流程图。车载系统首先利用车内传感器20获取乘客或驾驶员的指令,所述指令包括语音指令部分和手势指令部分。根据本发明,在步骤101中车载系统获取语音指令,在步骤102中车载系统获取手势指令。在一些实施例中,步骤101和步骤102可以同时进行,例如驾驶员用手指指向图中R2方向,并同时发出语音指令“照相”。在一些实施例中,步骤101和步骤102也可以先后进行,例如驾驶员首先用手指指向图中R2方向,然后发出语音指令“照相”;或者驾驶员首先发出语音指令“照相”,然后用手指指向图中R2方向。
然后,在步骤103中,车载系统从语音指令中提取用户的操作意图,即照相功能。
在步骤104中,车载系统可以通过分析手势获取手势指令中包含的方向信息,即手指所指向的方向R2上的一个位置。同时,也可以获取用户做出手势指令的具体位置,即方向R2的始发点。因此可以获取用户手势的目标位置信息。
根据步骤105,根据步骤103和104的结果、即根据用户的操作意图和用户手势的目标位置信息来确定可以用来执行此功能的外围设备。如果用户希望照相,则选择车载的摄像头为执行该指令的功能模块30。当存在多个可用于照相的摄像头31,32和33时,则通过从手势中获得的方向R2来选择与该方向匹配的摄像头。从而可以拍摄到用户希望的画面。具体而言,根据用户的操作意图,确定用于执行用户指令的功能设备的设备类型30。然后,从系统信息中获取所述设备类型30的各个功能设备31,32,33的功能范围31a,32a,33a。根据手势指令中的方向信息R2以及发出手势指令的具体位置,即方向R2的始发点,则可以确定最适合用来执行该用户指令的一个或若干个摄像头,也就是拍摄范围与手势指令信息匹配的摄像头。
在一些实施例中,用户希望拍摄在正常行驶时处于车辆前方、即方向R1上的景象,那么用户可以通过语音指令(例如代表“照相”的任意适宜的语音指令)以及手势指令(例如通过手指或手臂指向前方)来进行指定。车载系统根据用户的语音指令和手势指令选择适合的摄像头,在此例如为摄像头32。
在一些实施例中,可以规定预先设定的拍摄时间,例如10s、30s、1min、2min、10min等等。随着车辆的行驶,原本处于车辆前方的景象可能会逐渐处于车辆侧面或者后方,由此可能导致正在执行拍摄任务的摄像头无法拍摄到或者无法以期望的角度拍摄到景象。为此可以基于当前执行用户指令的摄像头所拍摄的图像以及当前车辆的位置,确定新的用于执行用户指令的摄像头,例如处于车辆侧面或者后方的摄像头,并且停止原本的摄像头继续执行拍摄任务。在一些实施例中,在对当前执行用户指令的摄像头所拍摄的图像进行分析处理时,可以捕获图像中的特征对象,当特征对象在预先设定的拍摄时间内无法呈现或者无法以优化的状态呈现在图像中时,确定当前执行用户指令的摄像头为不适宜的,为此需要重新选择适宜的摄像头。
在一些实施例中,随着车辆的行驶,可以基于当前执行用户指令的摄像头所拍摄的图像以及当前车辆的位置,自适应地调整该摄像头的拍摄角度或功能范围,以此更好地适配于当前执行的拍摄任务。
所述摄像头31,32,33的功能范围31a,32a,33a,可以存储在车载系统中。选择执行用户指令的功能设备31,32,33。
然后,车载系统向执行用户指令的功能设备,发出与用户的操作意图相应的操作指令。具体而言,当用户想拍照时,车载系统选择角度合适的摄像头,拍摄用户指向的位置的照片。
根据本发明,当驾驶员想拍摄下路旁物体或景色时,可以简单直观的给出语音和手势指令,车载系统通过车内传感器识别语音指令和手势指令,再利用外部功能模块执行用户意图。操作过程简单高效,无需在车载系统的操作界面上手动操作,从而提高了用户体验。
图3为对应于图2中用于车载系统的人机交互方法的装置200的结构框图。所述用于车载系统的人机交互装置200,包括:语音指令模块201,用于获取用户的语音指令;手势指令模块202,用于获取用户的手势指令;分析模块203,用来通过对语音指令做语义分析,确定用户的操作意图;方向信息模块204,通过分析手势指令,获取手势指令中的目标位置信息;和确定模块205,根据用户的操作意图和目标位置信息,确定用来执行用户指令的功能设备。
所述方向信息模块204进一步用于:通过分析用户的手势指令,获取用户做出手势指令的位置;通过分析用户的手势指令,获取用户手势指令中的方向信息R2。
所述确定模块205进一步用于:根据用户的操作意图,确定用于执行用户指令的设备类型30;获取所述设备类型30中各个功能设备31,32,33的功能范围31a,32a,33a;根据手势指令中的方向信息和所述功能设备31,32,33的功能范围31a,32a,33a,选择执行用户指令的功能设备31,32,33。
所述确定模块205进一步用于:获取功能设备的执行结果和/或车辆的当前行驶状态,并且根据功能设备的执行结果和/或车辆的当前行驶状态适配执行用户指令的功能设备31,32,33,从而更好地执行拍摄任务。
所述确定模块205进一步用于:根据功能设备的执行结果和/或车辆的当前行驶状态,向执行用户指令的功能设备发出调整指令,以便调整功能设备31,32,33的功能范围31a,32a,33a,从而更好地执行拍摄任务。
所述人机交互装置200可以进一步用于:向执行用户指令的功能设备,发出与用户的操作意图相应的操作指令。
此外,车载系统中的所述装置200与车辆10中配置的车内传感器20和照相功能模块30组成一个人机交互系统。该车内传感器20至少包括麦克风和手势识别传感器。照相功能模块30包括至少两个摄像头。
综上所述,本发明的技术方案至少具有以下有益效果:车载系统可以从手势指令中分析计算出一个用户意图的目标位置,特别是手指所指向的方向上的一个位置。如果有多个可执行照相的摄像头,则根据从手势中获得的方向和位置信息来选择匹配的摄像头。从而可以拍摄到用户希望的画面。当驾驶员想拍摄下路旁物体或景色时,可以简单直观的给出语音和手势指令,车载系统通过车内传感器识别语音指令和手势指令,再选择一个拍摄角度匹配的车身上配置的摄像头来执行用户拍照的意图。操作过程简单高效,无需在车载系统的操作界面上手动操作,从而提高了用户体验。

Claims (14)

1.一种用于车载系统的人机交互方法(100),其特征在于,所述人机交互方法包括:
获取(101)用户的语音指令;
获取(102)用户的手势指令;
通过对语音指令做语义分析,确定(103)用户的操作意图;
通过分析手势指令,获取(104)手势指令中的目标位置信息;和
根据用户的操作意图和目标位置信息,确定(105)用来执行用户指令的功能设备。
2.如权利要求1所述的人机交互方法(100),其特征在于,所述步骤“通过分析手势指令,获取(104)手势指令中的目标位置信息”包括:
通过分析用户的手势指令,获取用户做出手势指令的位置;和
通过分析用户的手势指令,获取用户手势指令中的方向信息(R2)。
3.如权利要求1或2所述的人机交互方法(100),其特征在于,所述步骤“根据用户的操作意图和目标位置信息,确定(105)用来执行用户指令的功能设备”包括:
-根据用户的操作意图,确定用于执行用户指令的设备类型(30);
-获取所述功能设备类型(30)中各个功能设备(31,32,33)的功能范围(31a,32a,33a);
-根据手势指令中的目标位置信息和所述功能设备(31,32,33)的功能范围(31a,32a,33a),选择执行用户指令的功能设备(31,32,33)。
4.如权利要求1或2所述的人机交互方法(100),其特征在于,所述人机交互方法进一步包括:
向执行用户指令的功能设备,发出与用户的操作意图相应的操作指令。
5.如权利要求1或2所述的人机交互方法(100),其特征在于,所述功能设备为照相装置。
6.一种用于车载系统的人机交互装置(200),其特征在于,所述人机交互装置包括:
语音指令模块(201),用于获取用户的语音指令;
手势指令模块(202),用于获取用户的手势指令;
分析模块(203),用来通过对语音指令做语义分析,以确定用户的操作意图;
方向信息模块(204),通过分析手势指令,获取手势指令中的目标位置信息;和
确定模块(205),根据用户的操作意图和目标位置信息,确定用来执行用户指令的功能设备。
7.如权利要求6所述的人机交互装置(200),其特征在于,所述方向信息模块(204)进一步用于:
-通过分析用户的手势指令,获取用户做出手势指令的位置;和
-通过分析用户的手势指令,获取用户手势指令中的方向信息(R2)。
8.如权利要求6或7所述的人机交互装置(200),其特征在于,所述确定模块(205)进一步用于:
-根据用户的操作意图,确定用于执行用户指令的设备类型(30);
-获取所述设备类型(30)中各个功能设备(31,32,33)的功能范围(31a,32a,33a);
-根据手势指令中的目标位置信息和所述功能设备(31,32,33)的功能范围(31a,32a,33a),选择执行用户指令的功能设备(31,32,33)。
9.如权利要求6或7所述的人机交互装置(200),其特征在于,所述人机交互装置进一步用于:
向执行用户指令的功能设备,发出与用户的操作意图相应的操作指令。
10.如权利要求6或7所述的人机交互装置(200),其特征在于,所述功能设备为照相装置。
11.如权利要求6或7所述的人机交互装置(200),其特征在于,所述人机交互装置进一步用于:获取功能设备的执行结果和/或车辆的当前行驶状态,并且根据功能设备的执行结果和/或车辆的当前行驶状态适配执行用户指令的功能设备。
12.如权利要求8所述的人机交互装置(200),其特征在于,所述人机交互装置进一步用于:根据功能设备的执行结果和/或车辆的当前行驶状态,向执行用户指令的功能设备发出调整指令,以便调整功能设备的功能范围。
13.人机交互系统,其特征在于,包括:
-至少一个如权利要求6-12之一所述的人机交互装置(200);
-至少一个车内传感器模块(20),所述车内传感器模块(20)包括至少一个用来获取用户的语音指令的麦克风和至少一个用来获取用户的手势指令的手势识别传感器;和
-至少一组设备(30),所述一组设备(30)包括至少两个功能设备(31,32,33)。
14.一种车辆,其特征在于,包括如权利要求13所述的人机交互系统。
CN201910528894.4A 2019-06-19 2019-06-19 用于车载系统的人机交互方法、装置和系统 Active CN112109729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910528894.4A CN112109729B (zh) 2019-06-19 2019-06-19 用于车载系统的人机交互方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910528894.4A CN112109729B (zh) 2019-06-19 2019-06-19 用于车载系统的人机交互方法、装置和系统

Publications (2)

Publication Number Publication Date
CN112109729A true CN112109729A (zh) 2020-12-22
CN112109729B CN112109729B (zh) 2023-06-06

Family

ID=73795069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910528894.4A Active CN112109729B (zh) 2019-06-19 2019-06-19 用于车载系统的人机交互方法、装置和系统

Country Status (1)

Country Link
CN (1) CN112109729B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040107A (zh) * 2021-11-19 2022-02-11 智己汽车科技有限公司 智能汽车图像拍摄系统、方法、车辆及介质
WO2022204925A1 (zh) * 2021-03-30 2022-10-06 华为技术有限公司 一种图像的获取方法以及相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134117A1 (en) * 2003-12-17 2005-06-23 Takafumi Ito Interface for car-mounted devices
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
US20150344040A1 (en) * 2014-05-30 2015-12-03 Honda Research Institute Europe Gmbh Method for controlling a driver assistance system
JP2017090615A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
US20170197636A1 (en) * 2016-01-08 2017-07-13 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
US20170270924A1 (en) * 2016-03-21 2017-09-21 Valeo Vision Control device and method with voice and/or gestural recognition for the interior lighting of a vehicle
WO2017181901A1 (zh) * 2016-04-20 2017-10-26 斑马网络技术有限公司 语音唤起方法、装置和设备
CN107738564A (zh) * 2017-10-24 2018-02-27 重庆长安汽车股份有限公司 预防突发性恶劣天气的汽车天窗远程控制系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134117A1 (en) * 2003-12-17 2005-06-23 Takafumi Ito Interface for car-mounted devices
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
US20150344040A1 (en) * 2014-05-30 2015-12-03 Honda Research Institute Europe Gmbh Method for controlling a driver assistance system
JP2017090615A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
US20170197636A1 (en) * 2016-01-08 2017-07-13 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command
US20170270924A1 (en) * 2016-03-21 2017-09-21 Valeo Vision Control device and method with voice and/or gestural recognition for the interior lighting of a vehicle
WO2017181901A1 (zh) * 2016-04-20 2017-10-26 斑马网络技术有限公司 语音唤起方法、装置和设备
CN107738564A (zh) * 2017-10-24 2018-02-27 重庆长安汽车股份有限公司 预防突发性恶劣天气的汽车天窗远程控制系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022204925A1 (zh) * 2021-03-30 2022-10-06 华为技术有限公司 一种图像的获取方法以及相关设备
CN114040107A (zh) * 2021-11-19 2022-02-11 智己汽车科技有限公司 智能汽车图像拍摄系统、方法、车辆及介质
CN114040107B (zh) * 2021-11-19 2024-04-16 智己汽车科技有限公司 智能汽车图像拍摄系统、方法、车辆及介质

Also Published As

Publication number Publication date
CN112109729B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US9656690B2 (en) System and method for using gestures in autonomous parking
CN110831819B (zh) 泊车辅助方法以及泊车辅助装置
US9552519B2 (en) Providing vehicle owner's manual information using object recognition in a mobile device
WO2015098156A1 (ja) 視界支援装置、視界支援方法、及び視界支援プログラム
US20140152549A1 (en) System and method for providing user interface using hand shape trace recognition in vehicle
WO2015155715A2 (en) Panoramic view blind spot eliminator system and method
US20140168068A1 (en) System and method for manipulating user interface using wrist angle in vehicle
KR102266354B1 (ko) 다중설정을 위한 생체인증 장치 및 방법
US9349044B2 (en) Gesture recognition apparatus and method
CN112109729B (zh) 用于车载系统的人机交互方法、装置和系统
WO2019230020A1 (ja) 状態判定装置、運転支援装置、状態判定方法、及び、運転支援方法
WO2020250525A1 (ja) 車両用情報表示装置
US11189048B2 (en) Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region
JP7202903B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
EP4137380A1 (en) Human-computer interaction method and apparatus, and electronic device and storage medium
JP2018198022A (ja) 車両の運転支援装置およびその方法
JP2020192877A (ja) 制御装置、制御方法、およびプログラム
US11276378B2 (en) Vehicle operation system and computer readable non-transitory storage medium
CN108024049B (zh) 一种车载拍摄装置的朝向控制方法及装置
JP7202195B2 (ja) 表示システム、走行制御装置、表示制御方法およびプログラム
JP2015144406A (ja) 視界支援装置、視界支援方法、及び視界支援プログラム
CN116419072A (zh) 车辆摄像头动态
US20150082186A1 (en) Customized interface system and operating method thereof
US11279376B2 (en) Vehicle control device and vehicle control method
EP3948493A1 (de) Verfahren und vorrichtung zur interaktion mit einem umgebungsobjekt im umfeld eines fahrzeugs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant