CN112947740A - 基于动作分析的人机交互方法、车载装置 - Google Patents

基于动作分析的人机交互方法、车载装置 Download PDF

Info

Publication number
CN112947740A
CN112947740A CN201911158229.7A CN201911158229A CN112947740A CN 112947740 A CN112947740 A CN 112947740A CN 201911158229 A CN201911158229 A CN 201911158229A CN 112947740 A CN112947740 A CN 112947740A
Authority
CN
China
Prior art keywords
vehicle
passenger
seating
action
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911158229.7A
Other languages
English (en)
Inventor
钟庭颢
王于青
黄子魁
王淳毅
许乃晟
黄俊翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dutch mobile drive Co.
Original Assignee
Shenzhen Chaojie Communication Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Chaojie Communication Co ltd filed Critical Shenzhen Chaojie Communication Co ltd
Priority to CN201911158229.7A priority Critical patent/CN112947740A/zh
Priority to TW108143515A priority patent/TWI738132B/zh
Priority to US16/934,808 priority patent/US20210155250A1/en
Publication of CN112947740A publication Critical patent/CN112947740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明提供了一种基于动作分析的人机交互方法，包括：通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；侦测乘坐位置的乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。本发明还提供一种实现所述基于动作分析的人机交互方法的车载装置。本发明能够在实现人机交互的同时有效提升乘员的乘坐体验。

Description

基于动作分析的人机交互方法、车载装置
技术领域
本发明涉及车辆管理技术领域，具体涉及一种基于动作分析的人机交互方法、车载装置。
背景技术
随着车辆的普及，人们在生活中使用车辆的频率越来越高。发明人在实施本发明的过程中，发现当前并没有车辆能够很好的车内乘员互动，使得乘员在驾驶或乘坐过程中有好的乘坐体验。因此，存在对车辆改进的空间。
发明内容
鉴于以上内容，有必要提出一种基于动作分析的人机交互方法、车载装置，能够在实现人机交互的同时有效提升乘员的乘坐体验。
本发明第一方面提供一种基于动作分析的人机交互方法，应用于车载装置，该方法包括：
获取摄像头实时拍摄的车内的视频资料；
基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；
侦测乘坐位置的乘员的动作；及
当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。
优选地，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：
基于所获取的视频资料确定车内各个乘坐位置是否有乘员；及
当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。
优选地，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括：
从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像；
确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联；及
根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。
优选地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括：
预先存储一张图像模板，其中，该图像模板是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据；及
将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，其中，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例的坐标点数据时，确定所述车内的该某个乘坐位置有乘员；其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。
优选地，所述指定的动作是指打电话的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述打电话的动作的乘员的乘坐位置为非驾驶位置时，调低车内的指定的音响设备的音量，该指定的音响设备是指与所述非驾驶位置所对应的音响设备；及
当作出所述打电话的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
优选地，所述指定的动作是指看手机的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述看手机的动作的乘员的乘坐位置为所述非驾驶位置时，打开车内的指定的灯光设备，该指定的灯光设备是指用于为所述非驾驶位置的乘员照明的设备；及
当作出所述看手机的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
优选地，所述指定的动作是指打瞌睡的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置时，关闭车内的所述指定的灯光设备；及
当作出所述打瞌睡的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
优选地，所述乘坐状况还包括各个乘坐位置的对应乘员的属性；所述属性包括年龄段、性别、以及乘员喜好。
优选地，所述乘员喜好包括：座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。
优选地，该方法还包括：基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。
本发明第二方面提供一种车载装置，该车载装置包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现所述的基于动作分析的人机交互方法。
本发明实施例中所述的基于动作分析的人机交互的方法、车载装置，通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；侦测乘坐位置的乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作，能够实现人机交互的同时提升乘员乘坐体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明较佳实施例提供的基于动作分析的人机交互方法的流程图。
图2是本发明较佳实施例提供的基于动作分析的人机交互系统的功能模块图。
图3是本发明较佳实施例提供的车载装置的架构图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
图1是本发明较佳实施例提供的基于动作分析的人机交互方法的流程图。
在本实施例中，所述基于动作分析的人机交互方法可以应用于车载装置中，对于需要进行基于动作分析的人机交互的车载装置，可以直接在车载装置上集成本发明的方法所提供的用于基于动作分析的人机交互的功能，或者以软件开发工具包(SoftwareDevelopment Kit，SDK)的形式运行在车载装置上。
如图1所示，所述基于动作分析的人机交互方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S1，车载装置获取摄像头实时拍摄的车内的视频资料。
本实施例中，所述摄像头可以为广角摄像头，该广角摄像头能够拍摄到车内的各个乘坐位置的对应乘员的实时影像。
本实施例中，所述摄像头在车内的安装位置，可以由用户自行确定，只要使得所述摄像头能够拍摄到车内的各个乘坐位置的乘员的实时影像即可。
在其他实施例中，也可以每个乘坐位置对应配置一个摄像头，由此获得每个乘坐位置的乘员的实时影像。
步骤S2，车载装置基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况。
在一个实施例中，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：
(t1)基于所获取的视频资料确定车内各个乘坐位置是否有乘员；
(t2)当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。
本实施例中，所述各个乘坐位置包括驾驶员的驾驶位置、副驾驶位置，以及后排的每个位置(如靠左边窗户的左侧位置、中间位置、靠右边窗户的右侧位置)。
在一个实施例中，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括(a1)-(a3)：
(a1)从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像。
具体地，可以利用人脸识别算法从所述图片帧中识别每个人脸图像。
(a2)确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联。
具体地，可以首先基于所述图片帧建立一个坐标系，然后基于所建立的坐标系来确定所述各个人脸图像在所述图片帧的坐标点数据。
举例而言，所述坐标系可以以所述图片帧的左下角为原点，以所述图片帧的下边缘为横轴，以所述图片帧的左边缘为纵轴来建立所述坐标系。
(a3)根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。
具体地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括(a31)-(a32)：
(a31)预先存储一张图像模板，其中，该图像模板可以是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据。
具体地，所述确定每个乘坐位置在所述图像模板中的分布区域可以通过识别各个座椅来确定。
此外，所述确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据包括基于所述图像模板建立一个坐标系。需要说明的是，基于所述图像模板建立坐标系的原理与所述基于所述图片帧建立坐标系的原理相同。例如，以所述图像模板的左下角为原点，以所述图像模板的下边缘为横着，以及以所述图像模板的左边缘为纵轴来建立坐标系。
(a32)将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，由此确定各个乘坐位置是否有乘员。
具体地，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例(例如90％，或95％)的坐标点数据时，确定所述车内的该某个乘坐位置有乘员。其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。
举例而言，假设与副驾驶位置所对应的坐标点数据包括了某个人脸所对应的坐标点数据中的90％的坐标点数据时，则可确定所述副驾驶位置有乘员。
在一个实施例中，当确定车内任意一个乘坐位置有乘员时，所述车载装置还可以将所述人脸图像与所述乘坐位置建立关联。
在一个实施例中，所述乘坐状况还包括各个乘坐位置的对应乘员的属性。
本实施例中，所述属性包括年龄段。在其他实施例中，所述属性还可以进一步包括性别、乘员喜好。所述乘员喜好包括，但不限于，座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。
本实施例中，所述车载装置可以预先将乘员喜欢好与年龄段、性别建立对用关系，由此当获得了乘员的性别和年龄段时即可获得对应的乘员喜好。
本实施例中，所述车载装置可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的年龄段识别模型，由此获得各个乘坐位置的乘员的年龄段。
所述车载装置可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的性别识别模型，由此获得各个乘坐位置的乘员的性别。
本实施例中，所述车载装置训练所述年龄段识别模型的方法包括(b1)-(b3)：
(b1)将预设数量(例如10万张)的包含人脸的图片作为训练样本，根据每张图片所对应的年龄将所述训练样本分组，得到多个样本组，每个样本组对应一个年龄段。
(b2)提取其中某个样本组中的每张图片的人脸特征，然后提取该某个样本组中的每张图片的人脸特征的特征向量，对该某个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该某个样本组所对应的的人脸特征的特征向量。其中，该某个样本组为所述多个样本组中的任意一个样本组。
(b3)根据上述步骤(b2)计算所述多个样本组中的其他样本组中的每个样本组所对应的人脸特征的特征向量，由此获得所述多个样本组中的每个样本组所对应的人脸特征的特征向量。所述其他样本组是指所述多个样本组中除所述某个样本组之外的样本组。
本实施例中，所述车载装置训练所述性别识别模型的方法包括(c1)-(c3)：
(c1)将预设数量(例如30万张)的包含人脸的图片作为训练样本，根据每张图片所对应的性别将所述训练样本分为两组，得到两个样本组，每个样本组对应其中一个性别。
(c2)提取其中一个样本组中的每张图片的人脸特征，然后提取该其中一个样本组中的每张图片的人脸特征的特征向量，对该其中一个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该其中一个样本组所对应的人脸特征的特征向量。其中，该其中一个样本组为所述两个样本组中的任意一个样本组。
(c3)根据上述步骤(c2)计算所述两个样本组中的另外一个样本组所对应的人脸特征的特征向量，由此获得所述两个样本组中的每个样本组所对应的人脸特征的特征向量。
步骤S3，车载装置侦测乘坐位置的乘员的动作。
具体地，可以利用预先训练生成的动作识别模型来侦测每个乘员的动作。
在一个实施例中，训练所述动作识别模型的步骤包括：
(d1)获取预设数量(例如30万个)的视频作为样本集，将个视频对应预设的多种动作中的其中一种动作；按照每个视频所对应的动作将所述样本集分组，每组对应一种预设的动作。
所述预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。
(d2)抽取每组中的每个视频的灰度特征、水平梯度特征、竖直梯度特征、水平光流特征和竖直光流特征，构成五个特征立方体，将所获得的特征立方体输入卷积神经网络，进行端到端训练得到所述动作识别模型。
步骤S4，车载装置确定是否侦测到指定的动作。当侦测到所述指定的动作时执行步骤S5。否则回到步骤S3，继续侦测每个乘坐位置的每个乘员的动作。
本实施例中，所述指定的动作可以是指所述预设的多种动作中的任意一种。如前面所述，该预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。
步骤S5,车载装置基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。
在一个实施例中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
(f1)当所述指定的动作为所述打电话的动作时，且作出所述打电话的动作的乘员的乘坐位置为非驾驶位置(即除驾驶位置之外的其他的乘坐位置)例如后排时，调低车内的指定的音响设备的音量，其中，该指定的音响设备可以是指与所述非驾驶位置所对应的音响设备。举例而言，假设作出所述打电话的动作的乘员是后排其中一个乘客，那么可以调低对应后排的音响设备的音量。
(f2)当所述指定的动作为所述看手机的动作时，且作出所述看手机的动作的乘员的乘坐位置为非驾驶位置例如后排时，打开车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。
(f3)当所述指定的动作为所述打瞌睡的动作，且作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置例如副驾驶位置或者后排时，关闭车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。
(f4)当所述指定的动作为所述打电话的动作或者看手机的动作或者打瞌睡的动作，且作出所述指定的动作的乘员的乘坐位置为所述驾驶员位置时，则发出警示。例如可以通过语音提示驾驶员该指定的动作影响开车安全，或者通过扬声器播放预设的警示音效。
在其他实施例中，所述车载装置也可以基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。
举例而言，当乘员的乘坐位置为后排靠窗位置，且乘员为小孩(例如年龄段是0～14岁)时，锁定与该乘员的乘坐位置所对应的门窗。
在其他实施例中，所述车载装置也可以基于所侦测到的所述指定的动作、作出所述指定的动作的乘员所在的乘坐位置以及作出所述指定的动作的乘员的属性，执行相应的控制操作。
根据上述记载可知，本发明实施例的所述基于动作分析的人机交互方法，通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐状况，所述乘坐状况包括各个乘员对应的乘坐位置；实时侦测每个乘坐位置的每个乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作，可以基于车内乘员的动作及乘坐位置来实现相应的控制从而实现人机交互同时有效提升乘员的乘坐体验。
上述图1详细介绍了本发明的基于动作分析的人机交互方法，下面结合图2和图3，分别对实现所述基于动作分析的人机交互方法的软件装置的功能模块以及实现所述基于动作分析的人机交互方法的硬件装置架构进行介绍。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
参阅图2所示，是本发明较佳实施例提供的基于动作分析的人机交互系统30的功能模块图。
在一些实施例中，所述基于动作分析的人机交互系统30运行于车载装置中。所述基于动作分析的人机交互系统30可以包括多个由程序代码段所组成的功能模块。所述基于动作分析的人机交互系统30中的各个程序段的计算机程序代码可以存储于车载装置的存储器中，并由所述车载装置的至少一个处理器所执行，以实现(详见图1描述)基于动作分析的人机交互。
本实施例中，所述基于动作分析的人机交互系统30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：执行模块301、确定模块302。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
执行模块301获取摄像头实时拍摄的车内的视频资料。
本实施例中，所述摄像头可以为广角摄像头，该广角摄像头能够拍摄到车内的各个乘坐位置的对应乘员的实时影像。
本实施例中，所述摄像头在车内的安装位置，可以由用户自行确定，只要使得所述摄像头能够拍摄到车内的各个乘坐位置的乘员的实时影像即可。
在其他实施例中，也可以每个乘坐位置对应配置一个摄像头，由此获得每个乘坐位置的乘员的实时影像。
所述执行模块301基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况。
在一个实施例中，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：
(t1)基于所获取的视频资料确定车内各个乘坐位置是否有乘员；
(t2)当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。
本实施例中，所述各个乘坐位置包括驾驶员的驾驶位置、副驾驶位置，以及后排的每个位置(如靠左边窗户的左侧位置、中间位置、靠右边窗户的右侧位置)。
在一个实施例中，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括(a1)-(a3)：
(a1)从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像。
具体地，可以利用人脸识别算法从所述图片帧中识别每个人脸图像。
(a2)确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联。
具体地，可以首先基于所述图片帧建立一个坐标系，然后基于所建立的坐标系来确定所述各个人脸图像在所述图片帧的坐标点数据。
举例而言，所述坐标系可以以所述图片帧的左下角为原点，以所述图片帧的下边缘为横轴，以所述图片帧的左边缘为纵轴来建立所述坐标系。
(a3)根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。
具体地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括(a31)-(a32)：
(a31)预先存储一张图像模板，其中，该图像模板可以是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据。
具体地，所述确定每个乘坐位置在所述图像模板中的分布区域可以通过识别各个座椅来确定。
此外，所述确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据包括基于所述图像模板建立一个坐标系。需要说明的是，基于所述图像模板建立坐标系的原理与所述基于所述图片帧建立坐标系的原理相同。例如，以所述图像模板的左下角为原点，以所述图像模板的下边缘为横着，以及以所述图像模板的左边缘为纵轴来建立坐标系。
(a32)将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，由此确定各个乘坐位置是否有乘员。
具体地，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例(例如90％，或95％)的坐标点数据时，确定所述车内的该某个乘坐位置有乘员。其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。
举例而言，假设与副驾驶位置所对应的坐标点数据包括了某个人脸所对应的坐标点数据中的90％的坐标点数据时，则可确定所述副驾驶位置有乘员。
在一个实施例中，当确定车内任意一个乘坐位置有乘员时，所述执行模块301还可以将所述人脸图像与所述乘坐位置建立关联。
在一个实施例中，所述乘坐状况还包括各个乘坐位置的对应乘员的属性。
本实施例中，所述属性包括年龄段。在其他实施例中，所述属性还可以进一步包括性别、乘员喜好。所述乘员喜好包括，但不限于，座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。
本实施例中，所述执行模块301可以预先将乘员喜欢好与年龄段、性别建立对用关系，由此当获得了乘员的性别和年龄段时即可获得对应的乘员喜好。
本实施例中，所述执行模块301可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的年龄段识别模型，由此获得各个乘坐位置的乘员的年龄段。
所述执行模块301可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的性别识别模型，由此获得各个乘坐位置的乘员的性别。
本实施例中，所述执行模块301训练所述年龄段识别模型的方法包括(b1)-(b3)：
(b1)将预设数量(例如10万张)的包含人脸的图片作为训练样本，根据每张图片所对应的年龄将所述训练样本分组，得到多个样本组，每个样本组对应一个年龄段。
(b2)提取其中某个样本组中的每张图片的人脸特征，然后提取该某个样本组中的每张图片的人脸特征的特征向量，对该某个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该某个样本组所对应的的人脸特征的特征向量。其中，该某个样本组为所述多个样本组中的任意一个样本组。
(b3)根据上述步骤(b2)计算所述多个样本组中的其他样本组中的每个样本组所对应的人脸特征的特征向量，由此获得所述多个样本组中的每个样本组所对应的人脸特征的特征向量。所述其他样本组是指所述多个样本组中除所述某个样本组之外的样本组。
本实施例中，所述执行模块301训练所述性别识别模型的方法包括(c1)-(c3)：
(c1)将预设数量(例如30万张)的包含人脸的图片作为训练样本，根据每张图片所对应的性别将所述训练样本分为两组，得到两个样本组，每个样本组对应其中一个性别。
(c2)提取其中一个样本组中的每张图片的人脸特征，然后提取该其中一个样本组中的每张图片的人脸特征的特征向量，对该其中一个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该其中一个样本组所对应的人脸特征的特征向量。其中，该其中一个样本组为所述两个样本组中的任意一个样本组。
(c3)根据上述步骤(c2)计算所述两个样本组中的另外一个样本组所对应的人脸特征的特征向量，由此获得所述两个样本组中的每个样本组所对应的人脸特征的特征向量。
所述执行模块301侦测乘坐位置的乘员的动作。
具体地，所述执行模块301可以利用预先训练生成的动作识别模型来识别每个乘员的动作。
在一个实施例中，训练所述动作识别模型的步骤包括：
(d1)获取预设数量(例如30万个)的视频作为样本集，将个视频对应预设的多种动作中的其中一种动作；按照每个视频所对应的动作将所述样本集分组，每组对应一种预设的动作。
所述预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。
(d2)抽取每组中的每个视频的灰度特征、水平梯度特征、竖直梯度特征、水平光流特征和竖直光流特征，构成五个特征立方体，将所获得的特征立方体输入卷积神经网络，进行端到端训练得到所述动作识别模型。
确定模块302确定是否侦测到指定的动作。当侦测到所述指定的动作时执行步骤S5。否则回到步骤S3，所述执行模块301继续侦测每个乘坐位置的每个乘员的动作。
本实施例中，所述指定的动作可以是指所述预设的多种动作中的任意一种。如前面所述，该预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。
所述执行模块301基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。
在一个实施例中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
(f1)当所述指定的动作为所述打电话的动作时，且作出所述打电话的动作的乘员的乘坐位置为非驾驶位置(即除驾驶位置之外的其他的乘坐位置)例如后排时，调低车内的指定的音响设备的音量，其中，该指定的音响设备可以是指与所述非驾驶位置所对应的音响设备。举例而言，假设作出所述打电话的动作的乘员是后排其中一个乘客，那么可以调低对应后排的音响设备的音量。
(f2)当所述指定的动作为所述看手机的动作时，且作出所述看手机的动作的乘员的乘坐位置为非驾驶位置例如后排时，打开车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。
(f3)当所述指定的动作为所述打瞌睡的动作，且作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置例如副驾驶位置或者后排时，关闭车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。
(f4)当所述指定的动作为所述打电话的动作或者看手机的动作或者打瞌睡的动作，且作出所述指定的动作的乘员的乘坐位置为所述驾驶员位置时，则发出警示。例如可以通过语音提示驾驶员该指定的动作影响开车安全，或者通过扬声器播放预设的警示音效。
在其他实施例中，所述执行模块301也可以基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。
举例而言，当乘员的乘坐位置为后排靠窗位置，且乘员为小孩(例如年龄段是0～14岁)时，锁定与该乘员的乘坐位置所对应的门窗。
在其他实施例中，所述执行模块301也可以基于所侦测到的所述指定的动作、作出所述指定的动作的乘员所在的乘坐位置以及作出所述指定的动作的乘员的属性，执行相应的控制操作。
根据上述记载可知，本发明实施例的所述基于动作分析的人机交互系统，通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐状况，所述乘坐状况包括各个乘员对应的乘坐位置；实时侦测每个乘坐位置的每个乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作，可以基于车内乘员的动作及乘坐位置来实现相应的控制从而实现人机交互同时有效提升乘员的乘坐体验。
参阅图3所示，为本发明较佳实施例提供的车载装置的结构示意图。
本发明的较佳实施例中，车载装置3可以安装在车100上。该车载装置3可以是指车载电脑。所述车100可以是汽车、机车等。所述车载装置3可以包括，但不限于，至少一个摄像头101、一个或多个灯光设备102、一个或多个扬声器103等。所述基于动作分析的人机交互系统30用于根据车100内的乘员的动作以及乘坐位置执行相应的控制(具体细节后面介绍)。
本实施例中，所述至少一个摄像头101用于拍摄车100内的各个乘坐位置的对应乘员的实时影像。所述摄像头101可以为广角摄像头。
本实施例中，所述摄像头101在车100内的安装位置，可以由用户自行确定，只要使得所述摄像头101能够拍摄到车100内的各个乘坐位置的乘员的实时影像即可。
在其他实施例中，也可以每个乘坐位置对应配置一个摄像头101，由此利用对应每个乘坐位置的摄像头101分别获得每个乘坐位置的乘员的实时影像。
本实施例中，所述各个乘坐位置包括驾驶员的驾驶位置、副驾驶位置，以及后排的每个位置(如靠左边窗户的左侧位置、中间位置、靠右边窗户的右侧位置)。
本实施例中，所述一个或多个灯光设备102可以为安装在所述车100内的照明灯。所述一个或多个扬声器103可以用于输出音频数据。
本实施例中，所述车载装置3还可以包括互相之间电气连接的存储器31、至少一个处理器32。
本领域技术人员应该了解，图1示出的车载装置3以及车100的结构并不构成本发明实施例的限定，所述车载装置3或者车100还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。例如，所述车载装置3还可以包括显示屏等部件。
在一些实施例中，所述车载装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
需要说明的是，所述车载装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31可以用于存储计算机程序的程序代码和各种数据。例如，所述存储器31可以用于存储安装在所述车载装置3中的基于动作分析的人机交互系统30，并在车载装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31可以是包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(ProgrammableRead-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。
在一些实施例中，所述至少一个处理器32可以由集成电路组成。例如，可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述车载装置3的控制核心(Control Unit)，利用各种接口和线路连接整个车载装置3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行车载装置3的各种功能和处理数据，例如，根据车100内的乘员的动作以及乘坐位置对应控制相关设备如所述灯光设备102以实现人机交互的功能(具体细节后面介绍)。
尽管未示出，所述车载装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述车载装置3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块包括若干指令，该若干指令用以使得一台车载装置(可以车载电脑等)或处理器(processor)执行本发明各个实施例所述方法的部分。
在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述车载装置3的操作装置以及安装的各类应用程序(如基于动作分析的人机交互系统30)等。
所述存储器31中存储有计算机程序代码，且所述至少一个处理器32可调用所述存储器31中存储的计算机程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的计算机程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以根据车100内的乘员的动作以及乘坐位置对应控制相关设备实现人机交互的功能的目的。
在本发明的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以根据车100内的乘员的动作以及乘坐位置对应控制相关设备实现人机交互。
具体地，结合图1所示，所述至少一个处理器32对上述指令的具体实现方法包括：
获取摄像头实时拍摄的车内的视频资料；
基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；
侦测乘坐位置的乘员的动作；及
当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。
优选地，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：
基于所获取的视频资料确定车内各个乘坐位置是否有乘员；及
当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。
优选地，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括：
从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像；
确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联；及
根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。
优选地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括：
预先存储一张图像模板，其中，该图像模板是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据；及
将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，其中，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例的坐标点数据时，确定所述车内的该某个乘坐位置有乘员；其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。
优选地，所述指定的动作是指打电话的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述打电话的动作的乘员的乘坐位置为非驾驶位置时，调低车内的指定的音响设备的音量，该指定的音响设备是指与所述非驾驶位置所对应的音响设备；及
当作出所述打电话的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
优选地，所述指定的动作是指看手机的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述看手机的动作的乘员的乘坐位置为所述非驾驶位置时，打开车内的指定的灯光设备，该指定的灯光设备是指用于为所述非驾驶位置的乘员照明的设备；及
当作出所述看手机的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
优选地，所述指定的动作是指打瞌睡的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置时，关闭车内的所述指定的灯光设备；及
当作出所述打瞌睡的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
优选地，所述乘坐状况还包括各个乘坐位置的对应乘员的属性；所述属性包括年龄段、性别、以及乘员喜好。
优选地，所述乘员喜好包括：座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。
优选地，该方法还包括：基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。
在本发明所提供的几个实施例中，应该理解到，所揭露的计算机可读存储介质，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (11)

1.一种基于动作分析的人机交互方法，应用于车载装置，其特征在于，该方法包括：
获取摄像头实时拍摄的车内的视频资料；
基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；
侦测乘坐位置的乘员的动作；及
当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。
2.如权利要求1所述的基于动作分析的人机交互方法，其特征在于，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：
基于所获取的视频资料确定车内各个乘坐位置是否有乘员；及
当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。
3.如权利要求2所述的基于动作分析的人机交互方法，其特征在于，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括：
从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像；
确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联；及
根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。
4.如权利要求3所述的基于动作分析的人机交互方法，其特征在于，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括：
预先存储一张图像模板，其中，该图像模板是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据；及
将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，其中，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例的坐标点数据时，确定所述车内的该某个乘坐位置有乘员；其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。
5.如权利要求1所述的基于动作分析的人机交互方法，其特征在于，所述指定的动作是指打电话的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述打电话的动作的乘员的乘坐位置为非驾驶位置时，调低车内的指定的音响设备的音量，该指定的音响设备是指与所述非驾驶位置所对应的音响设备；及
当作出所述打电话的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
6.如权利要求1所述的基于动作分析的人机交互方法，其特征在于，所述指定的动作是指看手机的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述看手机的动作的乘员的乘坐位置为非驾驶位置时，打开车内的指定的灯光设备，该指定的灯光设备是指用于为所述非驾驶位置的乘员照明的设备；及
当作出所述看手机的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
7.如权利要求1所述的基于动作分析的人机交互方法，其特征在于，所述指定的动作是指打瞌睡的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：
当作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置时，关闭车内的所述指定的灯光设备；及
当作出所述打瞌睡的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。
8.如权利要求1所述的基于动作分析的人机交互方法，其特征在于，所述乘坐状况还包括各个乘坐位置的对应乘员的属性；所述属性包括年龄段、性别、以及乘员喜好。
9.如权利要求8所述的基于动作分析的人机交互方法，其特征在于，所述乘员喜好包括：座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。
10.如权利要求8所述的基于动作分析的人机交互方法，其特征在于，该方法还包括：基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。
11.一种车载装置，其特征在于，该车载装置包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现权利要求1-10任意一项所述的基于动作分析的人机交互方法。
CN201911158229.7A 2019-11-22 2019-11-22 基于动作分析的人机交互方法、车载装置 Pending CN112947740A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911158229.7A CN112947740A (zh) 2019-11-22 2019-11-22 基于动作分析的人机交互方法、车载装置
TW108143515A TWI738132B (zh) 2019-11-22 2019-11-28 基於動作分析的人機交互方法、車載裝置
US16/934,808 US20210155250A1 (en) 2019-11-22 2020-07-21 Human-computer interaction method, vehicle-mounted device and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911158229.7A CN112947740A (zh) 2019-11-22 2019-11-22 基于动作分析的人机交互方法、车载装置

Publications (1)

Publication Number Publication Date
CN112947740A true CN112947740A (zh) 2021-06-11

Family

ID=75971536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911158229.7A Pending CN112947740A (zh) 2019-11-22 2019-11-22 基于动作分析的人机交互方法、车载装置

Country Status (3)

Country Link
US (1) US20210155250A1 (zh)
CN (1) CN112947740A (zh)
TW (1) TWI738132B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115431919A (zh) * 2022-08-31 2022-12-06 中国第一汽车股份有限公司 一种控制车辆的方法、装置、电子设备及存储介质
WO2023124384A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 确定车辆内乘员的座位及车辆控制方法、装置、电子设备、介质和程序产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113411496B (zh) * 2021-06-07 2022-07-22 恒大新能源汽车投资控股集团有限公司 一种车载摄像头的控制方法、装置及电子设备
CN114347932A (zh) * 2021-12-30 2022-04-15 宜宾凯翼汽车有限公司 基于车内乘员状态的车辆个性化控制系统及方法
CN115905734A (zh) * 2022-11-08 2023-04-04 中国第一汽车股份有限公司 一种基于地理位置信息进行智能推荐的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置
US8527146B1 (en) * 2012-01-30 2013-09-03 Google Inc. Systems and methods for updating vehicle behavior and settings based on the locations of vehicle passengers
CN105235615A (zh) * 2015-10-27 2016-01-13 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
CN105843375A (zh) * 2016-02-22 2016-08-10 乐卡汽车智能科技（北京）有限公司 用于车辆的设置方法、装置及车载电子信息系统
CN106891833A (zh) * 2017-01-19 2017-06-27 深圳市元征科技股份有限公司 一种基于驾驶习惯的车辆设置方法及车载设备
CN107111754A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
CN108146360A (zh) * 2017-12-25 2018-06-12 出门问问信息科技有限公司 车辆控制的方法、装置、车载设备和可读存储介质
CN110059611A (zh) * 2019-04-12 2019-07-26 中国石油大学(华东) 一种智能化教室空余座位识别方法
CN110103978A (zh) * 2018-02-01 2019-08-09 株式会社斯巴鲁 车辆的乘员监视装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
WO2007023900A1 (ja) * 2005-08-24 2007-03-01 Pioneer Corporation コンテンツ提供装置、コンテンツ提供方法、コンテンツ提供プログラムおよびコンピュータに読み取り可能な記録媒体
KR20100063394A (ko) * 2008-12-03 2010-06-11 한국전자통신연구원 차량에 탑승한 유아의 안전을 위한 제어 시스템 및 방법
TWI511092B (zh) * 2013-03-27 2015-12-01 原相科技股份有限公司 用於載人行動載具的安全監控裝置及安全監控方法
DE102013021928A1 (de) * 2013-12-20 2015-06-25 Audi Ag Komfortgerätesteuerung für ein Kraftfahrzeug
FR3048657B1 (fr) * 2016-03-08 2019-07-05 Alstom Transport Technologies Dispositif de gestion de l'eclairage dans une salle de vehicule de transport public, notamment de vehicule ferroviaire
CN107392094A (zh) * 2017-06-14 2017-11-24 蔚来汽车有限公司 自动调整车载音响音效模式的系统和方法
WO2019049355A1 (ja) * 2017-09-11 2019-03-14 三菱電機株式会社 車載機器制御装置および車載機器制御方法
CN108382296A (zh) * 2018-03-06 2018-08-10 戴姆勒股份公司 车内照明系统
CN108549720A (zh) * 2018-04-24 2018-09-18 京东方科技集团股份有限公司 一种基于情绪识别的安抚方法、装置及设备、存储介质
CN112203903A (zh) * 2018-05-22 2021-01-08 日产自动车株式会社 车载设备的控制装置和控制方法
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
WO2021020905A1 (ko) * 2019-07-30 2021-02-04 엘지전자 주식회사 차량에서 탑승자의 행동 모니터링 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置
US8527146B1 (en) * 2012-01-30 2013-09-03 Google Inc. Systems and methods for updating vehicle behavior and settings based on the locations of vehicle passengers
CN107111754A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN105235615A (zh) * 2015-10-27 2016-01-13 浙江吉利控股集团有限公司 一种基于人脸识别的车辆控制系统
CN105843375A (zh) * 2016-02-22 2016-08-10 乐卡汽车智能科技（北京）有限公司 用于车辆的设置方法、装置及车载电子信息系统
CN106891833A (zh) * 2017-01-19 2017-06-27 深圳市元征科技股份有限公司 一种基于驾驶习惯的车辆设置方法及车载设备
CN107766835A (zh) * 2017-11-06 2018-03-06 贵阳宏益房地产开发有限公司 行车安全检测方法及装置
CN108146360A (zh) * 2017-12-25 2018-06-12 出门问问信息科技有限公司 车辆控制的方法、装置、车载设备和可读存储介质
CN110103978A (zh) * 2018-02-01 2019-08-09 株式会社斯巴鲁 车辆的乘员监视装置
CN110059611A (zh) * 2019-04-12 2019-07-26 中国石油大学(华东) 一种智能化教室空余座位识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023124384A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 确定车辆内乘员的座位及车辆控制方法、装置、电子设备、介质和程序产品
CN115431919A (zh) * 2022-08-31 2022-12-06 中国第一汽车股份有限公司 一种控制车辆的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TW202121121A (zh) 2021-06-01
US20210155250A1 (en) 2021-05-27
TWI738132B (zh) 2021-09-01

Similar Documents

Publication Publication Date Title
CN112947740A (zh) 基于动作分析的人机交互方法、车载装置
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
US9501693B2 (en) Real-time multiclass driver action recognition using random forests
CN109416733B (zh) 便携式个性化
US9449516B2 (en) Gesture recognition for on-board display
CN107303793B (zh) 空调控制方法、装置、控制设备及操作系统
CN111860254A (zh) 一种驾驶员异常行为检测方法、装置、存储介质及设备
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
CN113492756A (zh) 一种车外信息展示方法、装置、设备及存储介质
CN112330844A (zh) 一种增强型行车记录的方法及其系统
CN114170559A (zh) 车载设备的控制方法、装置和车辆
CN115158197A (zh) 一种基于声源定位的车载智能座舱娱乐的控制系统
CN112735182B (zh) 行车安全提示方法、车辆
CN113127710A (zh) 信息呈现方法、装置、服务器及介质
CN112506353A (zh) 车辆交互系统、方法、存储介质和车辆
CN210983432U (zh) 一种基于计算机视觉技术的驾驶员打电话检测系统
CN110751008B (zh) 基于驾驶行为的处理方法、装置、设备和存储介质
CN218287648U (zh) 汽车的车载娱乐系统及汽车
CN114379582A (zh) 一种控制车辆各自动驾驶功能的方法、系统及存储介质
CN116872674A (zh) 空调出风控制方法、装置、车辆控制单元及存储介质
CN115116439A (zh) 一种语音控制方法、装置、终端设备及存储介质
CN115457519A (zh) 基于多模态的识别方法、装置、电子设备及存储介质
JP2023128911A (ja) 車両情報提供装置
CN116486383A (zh) 吸烟行为识别方法、吸烟检测模型、装置、车辆及介质
CN117246352A (zh) 接管提醒方法、装置和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211013

Address after: 238 helicoburg Road, Amsterdam, the Netherlands

Applicant after: Dutch mobile drive Co.

Address before: 42nd floor, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518052

Applicant before: Shenzhen Chaojie Communication Co.,Ltd.

RJ01 Rejection of invention patent application after publication

Application publication date: 20210611