CN112203903A - 车载设备的控制装置和控制方法 - Google Patents
车载设备的控制装置和控制方法 Download PDFInfo
- Publication number
- CN112203903A CN112203903A CN201880093683.6A CN201880093683A CN112203903A CN 112203903 A CN112203903 A CN 112203903A CN 201880093683 A CN201880093683 A CN 201880093683A CN 112203903 A CN112203903 A CN 112203903A
- Authority
- CN
- China
- Prior art keywords
- occupant
- vehicle
- information
- unit
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000004378 air conditioning Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000002414 leg Anatomy 0.000 description 5
- 230000004886 head movement Effects 0.000 description 4
- 239000005357 flat glass Substances 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000007664 blowing Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/227—Position in the vehicle
Abstract
具备：第一信息获取部(11)，其获取与乘员的动作有关的动作信息；第二信息获取部(12)，其获取与伴随着所述乘员的动作产生的对规定的车载设备(2)的输入操作有关的操作信息；存储部(13)，其将所述动作信息与所述操作信息相关联地存储；动作检测部(14)，其检测乘员的动作；以及控制部(15)，其在与由所述动作检测部检测到的乘员的动作有关的动作信息已存储于所述存储部的情况下，参照与所述动作信息相关联地存储的操作信息，输出与对所述车载设备的操作指示有关的指示信息。
Description
技术领域
本发明涉及一种车载设备的控制装置和控制方法。
背景技术
已知如下技术：在通过执行乘员的生物体认证来允许使用车辆功能的车辆功能控制装置中，在多人乘车的情况下，通过各乘员的生物体认证来掌握乘员的组合，检索该组合所涉及的过去的车辆功能的设定信息(椅子位置、空调温度、反射镜角度、音量、模式(DVD模式或CD模式)等)，基于提取到的设定信息来设定车辆功能(专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2006-131031号公报
发明内容
发明要解决的问题
然而，车载设备的操作并不是仅通过多个乘员的组合来设定，不少是因与各种场景对应的乘员的动作或思考引起的。例如，在乘员A乘坐到后部座位的情况下，在乘员A想要读书时，使后部座位用照明点亮，或者在乘员A想要交叉腿时，使前座的椅子位置向前方移动。在上述以往的车辆功能控制装置中，存在不能自动化地进行与这样的乘员的动作对应的车载设备的设定的这样的问题。
本发明想要解决的问题在于提供能够基于乘员的动作来控制车载设备的操作的车载设备的控制装置和控制方法。
用于解决问题的方案
在本发明中，获取与乘员的动作有关的动作信息，获取与伴随着所述乘员的动作产生的对所述车载设备的输入操作有关的操作信息，将所述动作信息与所述操作信息相关联地存储，在检测到所述乘员进行了与已存储的动作信息有关的动作的情况下，参照与该动作信息相关联地存储的操作信息，输出与对所述车载设备的操作指示有关的指示信息，由此，解决上述问题。
发明的效果
根据本发明，参照预先存储的乘员的动作信息和操作信息，输出基于检测到的乘员的动作的、对车载设备的指示信息，因此能够对适于各种场景的车载设备的操作进行控制。
附图说明
图1是示出本发明所涉及的车载设备的控制装置的一个实施方式的框图。
图2是示出通过图1的车载设备的控制装置的控制部执行的处理的一例的流程图。
图3的(A)是示出由照相机等非接触传感器获取到的乘员的图像数据的一例的图，图3的(B)是示出从图3的(A)的图像数据提取到的乘员的姿势信息的一例的图。
图4是示出在图1的车载设备的控制装置1的操作学习部17中生成学习模型的情况下的一例的数据表。
具体实施方式
以下，基于附图来说明本发明的实施方式。图1是示出本发明所涉及的车载设备的控制装置的一个实施方式的框图，也是使用了本发明所涉及的车载设备的控制方法的一个实施方式的车载设备的控制装置。本实施方式的车载设备的控制装置和控制方法不被特别限定，但是，例如在后部座位的乘员想要读书时，检测到该动作并使后部座位用照明点亮，或者在后部座位的乘员想要交叉腿时，检测到该动作并使前座的椅子位置向前方移动，或者如果乘员想要脱掉上衣或打开窗，则检测到该动作并打开空调设备，或者如果乘员取出便携用音乐再现装置，则检测到该动作并读入该便携用音乐再现装置的乐曲数据，从车载音频再现设备播放音乐，或者在乘员读书时或喝咖啡等时，检测到该动作并对车辆的行驶速度进行抑制控制。
因此，本实施方式的车载设备的控制装置1具备：第一信息获取部11，其获取与乘员的动作有关的动作信息；第二信息获取部12，其获取伴随着乘员的动作产生的对规定的车载设备2的输入操作有关的操作信息；存储部13，其将动作信息与操作信息相关联地存储；动作检测部14，其检测乘员的动作；控制部15；通知部16，其对乘员通知是否进行对车载设备的操作指示；以及操作学习部17。此外，第一信息获取部11、第二信息获取部12、存储部13以及控制部15可以被车载于特定的车辆，也可以经由因特网等网络被构建于服务器。另外，还可以是在第一信息获取部11、第二信息获取部12、存储部13和控制部15被车载于特定的车辆的情况下，将存储部13中累积的数据经由网络向服务器发送，从而与通过其它的车辆获取到的数据进行共用，根据这些数据来生成学习模型也可。另外，还可以是在第一信息获取部11、第二信息获取部12、存储部13和控制部15被构建于服务器的情况下，读入来自多个车辆的数据，通过后述的操作学习部17对这些数据进行学习。
作为成为本实施方式的车载设备的控制装置1的控制对象的车载设备2，不被特别限定，但是，至少包括室内灯等照明设备、音频再现设备或空调设备，除此以外还可以对椅子位置调整装置、窗玻璃开关装置、外后视镜或内后视镜的角度调整装置、导航装置、自动驾驶控制装置(包括速度控制装置或操舵控制装置)等进行控制。针对这些车载设备2的控制内容作为其输入操作，至少包括针对车载设备2的电源开启操作或电源关断操作，除此以外，如果是照明设备则可以包括照度调整或角度调整，如果是音频再现设备则可以包括音量调整、选曲调整、频道选择或来自其它的设备的数据的读入，如果是空调设备则可以包括温度调节、内外气导入口的选择、空调打开/关闭或吹出模式的选择、如果是椅子位置调整装置则可以包括特定的椅子的前后方向位置调整或椅子背的角度调整，如果是窗玻璃开关装置则可以包括窗玻璃的开关，如果是反射镜的角度调整装置则可以包括角度调整、除雾加热器的打开/关闭或防眩反射镜的打开/关闭，如果是导航装置则可以包括设定的行驶路线的变更，如果是自动驾驶控制装置则可以包括速度选择等。
动作检测部14由对车室内进行拍摄的照相机或距离传感器等非接触传感器以及电子电路构成，对乘员的动作进行检测，该电子电路安装有对由该传感器检测到的检测信号进行分析的程序。例如，在将照相机用作动作检测部14的情况下，在内后视镜的近旁配置对车辆的前座的乘员进行拍摄的照相机，在顶棚或前座的椅子背等配置对后座的乘员进行拍摄的照相机，对由这些照相机拍摄到的图像数据进行图像处理来检测乘员的动作。图3的(A)是示出由照相机等非接触传感器获取到的乘员的图像数据的一例的图，图3的(B)是示出从图3的(A)的图像数据提取到的乘员的姿势信息的一例的图。通过照相机等非接触传感器来获取在某个时刻时的乘员的图像(图3的(A))并施行图像处理，如图3的(B)所示那样提取乘员的器官部位(例如手、肘、膝、腿、腰、胸、脸(包括眼)等)的位置或方向，确定在该时刻时的乘员的姿势。另外，将乘员的脸数据与对个人进行确定的乘员ID相关联地存储在存储部13中，基于从由照相机获取的乘员的图像数据提取到的脸图像，参照在存储部13中存储的脸数据，由此对脸图像所包含的乘员进行确定，将确定出的乘员ID存储到存储部13中。
由动作检测部14检测的乘员的动作是如图3的(B)那样的确定出的乘员的姿势的时间性的连续信息。即，从通过照相机等非接触传感器按照时间序列记录的图像数据中提取至少包括乘员的手、脚、头或视线的乘员的器官部位(例如手、肘、膝、腿、腰、胸、脸(包括眼)等)的位置或方向，根据时间上连续的乘员的姿势信息的变化来检测乘员的动作。例如，在从乘员的脚对齐的状态变化为一个脚重叠到另一个脚的姿势的情况下，检测为该乘员进行了交叉脚的动作。另外，在乘员的手、肘或脸的位置和方向变化为从书包中取出书而读该书的姿势信息的情况等，检测为该乘员进行了读书的动作。
而且，像这样做而由动作检测部14检测的乘员的动作至少包括乘员对车载设备2进行输入操作之前的动作、乘员对车载设备2进行输入操作之后的动作、或乘员对车载设备2进行输入操作前后的动作中的至少任一个。例如，在助手席的后部座位的乘员想要交叉脚的情况下，在操作助手席的椅子位置调整装置而使助手席向前方移动之后交叉脚，或者在交叉脚之后操作助手席的椅子位置调整装置而使助手席向前方移动，或者一边交叉脚一边操作助手席的椅子位置调整装置而使助手席向前方移动。另外，在乘员想要从书包取出书来读的情况下，也在将照明装置打开之后从书包取出书并翻开，或者在从书包取出并翻开书之后将照明装置打开，或者在从书包取出书之后将照明装置打开并将书翻开。因此，动作检测部14检测的乘员的动作期望包括乘员对椅子位置调节装置或照明装置等车载设备2进行输入操作之前的动作、乘员对车载设备2进行输入操作之后的动作、或者乘员对车载设备2进行输入操作前后的动作中的至少任一个。
第一信息获取部11获取由上述的动作检测部14检测到的与乘员的动作有关的动作信息并向控制部15输出。另外，第二信息获取部12从车载设备2获取伴随着由上述的动作检测部14检测到的乘员的动作产生的对规定的车载设备2的输入操作有关的操作信息并向控制部15输出。这些第一信息获取部11获取的动作信息和第二信息获取部12获取的操作信息被控制部15相关联地识别。例如，在乘员交叉脚并使助手席椅子的位置向前方移动的情况下，作为乘员的动作信息的、交叉脚这样的信息被从第一信息获取部11向控制部15输出，并且作为操作信息的、助手席椅子位置向前方移动的信息被从第二信息获取部12向控制部15输出。同样地，在乘员从书包取出书、想要将照明装置打开来读书的情况下，作为乘员的动作信息的、从书包取出书来读这样的信息被从第一信息获取部11向控制部15输出，并且作为操作信息的、将照明装置打开的信息被从第二信息获取部12向控制部15输出。
控制部15将第一信息获取部11获取的动作信息和第二信息获取部12获取的操作信息相关联，并将此存储到存储部13中。但是，在用户通过后述的通知部16没有允许向存储部13登记的情况下，也可以不存储。存储部18按照每个车载设备2将第一信息获取部11获取的动作信息和第二信息获取部12获取的操作信息相关联地存储。
操作学习部17基于车载设备2、对车载设备2的输入操作和乘员的动作来执行规定的学习算法，生成车载设备2的输入操作相对于乘员的动作的学习模型。即，将通过控制部15而在存储部13中累积的、按照每个车载设备2相关联的第一信息获取部11获取的动作信息和第二信息获取部12获取的操作信息作为输入值(特征量)，应用规定的学习算法，生成车载设备2的输入操作相对于乘员的动作的学习模型。如上述那样，在关于多个车辆而收集有车载设备2、对车载设备2的输入操作和乘员的动作的数据的情况下，获得使用了这些大数据的车载设备2的输入操作相对于乘员的动作的学习模型。此外，操作学习部17可以构成为存储部13的一部分，也可以构成为另外的组件。
在包括操作学习部17的存储部13中生成以及存储有车载设备2的输入操作相对于乘员的动作的学习模型的状态下，控制部15在与由动作检测部14检测到的乘员的动作有关的动作信息已存储于存储部13的情况下，参照与动作信息相关联地存储的操作信息来输出与对车载设备2的操作指示有关的指示信息。在此，与由动作检测部14检测到的乘员的动作有关的动作信息已存储于存储部13的情况不仅包括由动作检测部14检测到的动作信息与在存储部13中存储的动作信息相同的情况，还包括由动作检测部14检测到的动作信息与在存储部13中存储的动作信息在规定的阈值以内类似的情况。交叉脚的动作或读书的动作等乘员的动作不管多少都存在个人差，因此期望吸收这样的因个人差造成的动作信息的误差，为了识别为相同的动作而设定规定的阈值以内的类似范围。
通知部16具有显示器或扬声器等装置，作为车载设备的控制装置1与用户之间的联络单元和指令单元发挥功能。即，在通过控制部15将按照每个车载设备2相关联的第一信息获取部11获取的动作信息和第二信息获取部12获取的操作信息存储到存储部13中时，通知部16向用户通知是否可以将这些信息存储到存储部13中。然后，通知部16在用户对该通知的回答是不可以的情况下，将该意思向控制部15输出，控制部15按照用户的回答而不进行向存储部13的存储。
另外，在通过控制部15参照与动作信息相关联地存储的操作信息来输出与对车载设备2的操作指示有关的指示信息时，通知部16通知是否进行对车载设备2的操作指示。然后，通知部16在用户对该通知的回答是不可以的情况下，将该意思向控制部15输出，控制部15按照用户的回答而不执行对车载设备2的操作指令。此外，通知部16也可以根据需要而省略。
并且，在操作学习部17中，将按照每个车载设备2相关联的第一信息获取部11获取的动作信息和第二信息获取部12获取的操作信息作为输入值(特征量)，应用规定的学习算法，生成车载设备2的输入操作相对于乘员的动作的学习模型，在此时，还可以添加车辆信息作为输入值。作为这种车辆信息，例如列举出乘员ID、乘员人数、乘员的就坐位置、当前日期、天气、温度、车速、乘车后的经过时间等。乘员ID通过基于作为动作检测部14而使用的照相机的脸识别来检测，乘员人数或乘员的就坐位置通过基于作为相同的动作检测部14而使用的照相机进行的图像处理来检测，当前日期或乘车后的经过时间通过车载时钟来检测，天气能够经由网络而从天气信息提供服务器获取，气温或车速能够由车载传感器来检测。通过向乘员的动作添加车辆信息，也能够学习即使相同乘员的动作而车辆信息不同造成的操作信息的不同，因此能够实现车载设备更精密的控制。
图4是示出在操作学习部17中生成学习模型的情况下的一例的数据表。学习模型号码是将按照每个车辆信息、每个操作设备信息以及每个动作检测到的信息彼此相关联后的1单位的数据，例如学习模型号码1的数据是在乘员A(被脸识别出的乘员)、乘员数为2名、就坐位置为后部椅子#2(助手席之后)、日期为12月8日AM8:00、平均车速为40km/h、气温为5℃、天气为阴这样的车辆信息之下、获取照明装置#2被开启操作而此时的输入操作前(从输入起规定时间前～输入的期间)的乘员A的视线的运动、手的运动、头的运动以及输入操作后(输入～从输入起规定时间后的期间)的乘员A的视线的运动、手的运动、头的运动的数据。假设根据输入操作前的乘员A的视线的运动、手的运动、头的运动而检测到乘员A从书包取出书的动作，根据输入操作后的乘员A的视线的运动、手的运动、头的运动而检测到乘员A翻开书而开始读书的动作。
同样地，图4的学习模型号码2的数据是在乘员A(被脸识别出的乘员)、乘员数为2名、就坐位置为后部椅子#3(驾驶席之后)、日期为8月9日PM12:00、平均车速为40km/h、气温为30℃、天气为晴这样的车辆信息之下、获取后部座位用空调装置#2被开启操作而此时的输入操作前(从输入起规定时间前～输入的期间)的乘员A的视线的运动、手的运动、头的运动以及输入操作后(输入～从输入起规定时间后的期间)的乘员A的视线的运动、手的运动、头的运动的数据。假设根据输入操作前的乘员A的视线的运动、手的运动、头的运动而检测到乘员A脱掉上衣的动作，根据输入操作后的乘员A的视线的运动、手的运动、头的运动而检测到乘员A用手对脸扇风的动作。
接着，参照图2来说明本实施方式的车载设备的控制装置1的动作。图2是示出通过图1的车载设备的控制装置1的控制部15执行的处理的一例的流程图。在步骤S1中，获取来自作为动作检测部14的非接触传感器的传感器信息(照相机拍摄出的图像信息等)，在步骤S2中，根据时间序列图像数据检测乘员的动作。另一方面，在步骤S3中从各种传感器类获取车辆信息。
在步骤S4中，基于在步骤S2中检测到的乘员的动作和在步骤S3中检测到的车辆信息，参照由存储部13的操作学习部17生成的学习模型，在步骤S5中判定是否存在相同或类似的场景数据。例如，在步骤S2中检测到乘员从书包取出书的动作，在存储有与此时的车辆信息如图4的学习模型号码1那样乘员A(被脸识别出的乘员)、乘员数为2名、就坐位置为后部椅子#2(助手席之后)、日期为12月8日AM8:00、平均车速为40km/h、气温为5℃、天气为阴这样的车辆信息相同或类似的数据的情况下，进入步骤S11，在没有存储的情况下进入步骤S6。在此，作为车辆信息的类似范围，也可以设为乘员ID、乘员人数、乘员的就坐位置、当前日期、天气、气温、车速、乘车后的经过时间之中的任一个是相同的。
在步骤S5中、判断为在存储部13的操作学习部17中没有存储与在步骤S2中检测到的乘员的动作和在步骤S3中检测到的车辆信息相同或类似的场景数据的情况下，在步骤S6中经由第二信息获取部12将乘员对车载设备2的手动操作向控制部15输入。然后，在步骤S7中判定是否发生对车载设备2的操作，在发生了操作的情况下向步骤S8前进，将对该车载设备2的操作内容向通知部16通知。作为向该通知部16的通知内容，例如是“刚刚进行了空调装置的开启操作，可以对其进行登记吗？”。并且，与该通知一起在通知部16中显示“是”和“否”的按钮来提示用户进行回答。在步骤S9中，用户对步骤S8的通知的回答是授权的意思的情况例如为“是”的情况下，进入步骤S10，使在步骤S2中检测到的乘员的动作和在步骤S3中检测到的车辆信息以及在步骤S6中检测到的车载设备2及其操作内容存储到存储部13中。
此外，在步骤S7中并没有发生任何对车载设备2的手动操作的情况下，设为在步骤S2中检测到的乘员的动作是与对车载设备2的操作无关的动作，进入步骤S16。同样地，虽然在步骤S7中发生了对车载设备2的手动操作但是在步骤S9中用户不授权(例如为“否”)的情况下，设为在步骤S2中检测到的乘员的动作是与在步骤S6中检测到的对车载设备2的手动操作无关的动作，进入步骤S16。
返回步骤S5，在判断为与在步骤S2中检测到的乘员的动作和在步骤S3中检测到的车辆信息相同或类似的场景数据被存储于存储部13的操作学习部17的情况下，进入步骤S11，参照存储在存储部13的操作学习部17中的成为对象的车载设备2及其操作内容，在步骤S12中在通知部16通知该操作内容。作为向该通知部16的通知内容，例如为“将空调装置打开，可以吗？”。并且，与该通知一起在通知部16中显示“是”和“否”的按钮来提示用户进行回答。在步骤S13中，用户对步骤S12的通知的回答是授权的意思的情况例如为“是”的情况下，进入步骤S14，执行该操作(在上述的例子中是空调装置的开启操作)。相对于此，在步骤S13中用户不授权(例如为“否”)的情况下，设为在步骤S11中提取到的对车载设备2的操作内容不是用户意图的操作内容，进入步骤S15，将在存储部13的操作学习部17中存储的乘员的动作和车辆信息以及车载设备2及其操作内容删除。
在步骤S16中，判定车辆电源是否关闭，在继续开启的情况下向步骤S1返回，在关闭的情况下结束处理。
此外，如上述，在步骤S3中获取的车辆信息未必是必须的结构，因此也可以省略该步骤S3并在接下来的到步骤S4～S16为止的处理中也基于除了车辆信息之外的信息来执行上述的处理。另外，如上述，能够根据需要省略通知部16，在省略通知部16的情况下也可以省略步骤S12和S13而在步骤S14中直接执行在步骤S11中提取到的操作内容。同样地，在省略通知部16的情况下，可以省略步骤S8和S9而在步骤S10中直接追加在步骤S6中检测到的手动操作内容。
如以上，根据本实施方式的车载设备的控制装置1和控制方法，参照预先存储的乘员的动作信息和操作信息，输出基于检测到的乘员的动作的对车载设备2的指示信息，因此，能够对适于各种场景的车载设备2的操作进行控制。特别是这样的操作控制并不是通过乘员ID或多个乘员的组合来唯一地决定，而是不拘泥于乘员ID等地因乘员的动作或思考而产生的，因此，成为进一步适于各种场景的操作控制。
另外，根据本实施方式的车载设备的控制装置1和控制方法，动作信息是按照时间序列记录的至少与乘员的手、脚、头或视线的运动有关的信息。由于这些各要素与车载设备2的操作有特别强的关系，因此进一步增强动作信息与操作信息的关联性。
另外，根据本实施方式的车载设备的控制装置1和控制方法，作为车载设备2，至少包括照明设备、音频再现设备或空调设备，对车载设备的输入操作至少包括针对车载设备2的电源开启操作，由于这些车载设备2以及其电源开启操作与乘员的动作有特别强的关系，因此动作信息与操作信息的关联性进一步变强。
另外，根据本实施方式的车载设备的控制装置1和控制方法，乘员的动作至少包括乘员进行输入操作之前的动作、乘员进行输入操作之后的动作、或者乘员进行输入操作前后的动作，因此，在对车载设备2的操作前后的任一个期间即使进行乘员的动作也能够应对。
另外，根据本实施方式的车载设备的控制装置1和控制方法，还具备通知部16，该通知部通知是否进行对车载设备2的操作指示，从控制部15输出的指示信息向通知部17通知，因此能够避免错误动作。
另外，根据本实施方式的车载设备的控制装置1和控制方法，控制部15对车载设备2输出指示信息，因此能够在不经过通知部16获得的回答等烦杂的手续的情况下将对车载设备2的操作自动化。
另外，根据本实施方式的车载设备的控制装置1和控制方法，具备操作学习部17，该操作学习部基于对车载设备2的输入操作和乘员的动作来执行规定的学习算法，生成车载设备2的输入操作相对于乘员的动作的学习模型。因此，除了已有的学习模型之外还能够生成适于实际的使用状况的个人的学习模型。
另外，根据本实施方式的车载设备的控制装置1以及控制方法，控制部15在从对车载设备2输出指示信息起规定期间内、从乘员处接受到将指示信息的内容停止的指示的情况下，执行学习模型的修正或不进行向学习模型的登记，因此针对不适当的操作的建议避免向学习模型的登记或针对不适当的操作的建议进行修正，其结果，抑制再次提出不适当的操作的建议。
另外，根据本实施方式的车载设备的控制装置1以及控制方法，控制部15向乘员询问可否追加或变更学习模型，因此能够抑制不适当的学习模型的追加或变更。
附图标记说明
1：车载设备的控制装置；11：第一信息获取部；12：第二信息获取部；13：存储部；14：动作检测部；15：控制部；16：通知部；17：操作学习部；2：车载设备。
Claims (10)
1.一种车载设备的控制装置，具备：
第一信息获取部，其获取与乘员的动作有关的动作信息；
第二信息获取部，其获取与伴随着所述乘员的动作产生的对规定的车载设备的输入操作有关的操作信息；
存储部，其将所述动作信息与所述操作信息相关联地存储；
动作检测部，其检测乘员的动作；以及
控制部，其在与由所述动作检测部检测到的乘员的动作有关的动作信息已存储于所述存储部的情况下，参照与所述动作信息相关联地存储的操作信息，输出与对所述车载设备的操作指示有关的指示信息。
2.根据权利要求1所述的车载设备的控制装置，其中，
所述动作信息是按照时间序列记录的至少与乘员的手、脚、头或视线的运动有关的信息。
3.根据权利要求1或2所述的车载设备的控制装置，其中，
所述规定的车载设备至少包括照明设备、音频再现设备或者空调设备，
所述输入操作至少包括针对所述车载设备的电源接通操作。
4.根据权利要求1～3中的任一项所述的车载设备的控制装置，其中，
所述乘员的动作至少包括所述乘员进行所述输入操作之前的动作、所述乘员进行所述输入操作之后的动作、或者所述乘员进行所述输入操作前后的动作。
5.根据权利要求1～4中的任一项所述的车载设备的控制装置，其中，
还具备通知部，所述通知部对所述乘员通知是否进行对所述车载设备的操作指示，
从所述控制部输出的所述指示信息是向所述通知部的通知。
6.根据权利要求1～4中的任一项所述的车载设备的控制装置，其中，
所述控制部对所述车载设备输出所述指示信息。
7.根据权利要求1～6中的任一项所述的车载设备的控制装置，其中，
还具备操作学习部，所述操作学习部基于所述车载设备、对所述车载设备的输入操作和所述乘员的动作来执行规定的学习算法，生成所述车载设备的输入操作相对于所述乘员的动作的学习模型。
8.根据权利要求7所述的车载设备的控制装置，其中，
所述控制部在从对所述车载设备输出所述指示信息起规定期间内、从所述乘员处接受到将所述指示信息的内容停止的指示的情况下，执行所述学习模型的修正或者不进行向所述学习模型的登记。
9.根据权利要求7所述的车载设备的控制装置，其中，
所述控制部向乘员询问可否追加或变更所述学习模型。
10.一种车载设备的控制方法，使用控制器来控制对规定的车载设备的输入操作，其中，
所述控制器进行以下动作：
获取与乘员的动作有关的动作信息；
获取与伴随着所述乘员的动作产生的对所述车载设备的输入操作有关的操作信息；
将所述动作信息与所述操作信息相关联地存储；
在检测到所述乘员进行了与已存储的动作信息有关的动作的情况下，参照与该动作信息相关联地存储的操作信息，输出与对所述车载设备的操作指示有关的指示信息。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/019639 WO2019224905A1 (ja) | 2018-05-22 | 2018-05-22 | 車載機器の制御装置及び制御方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112203903A true CN112203903A (zh) | 2021-01-08 |
Family
ID=68616877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880093683.6A Pending CN112203903A (zh) | 2018-05-22 | 2018-05-22 | 车载设备的控制装置和控制方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20210206384A1 (zh) |
| EP (1) | EP3798059B1 (zh) |
| JP (1) | JP7111156B2 (zh) |
| CN (1) | CN112203903A (zh) |
| WO (1) | WO2019224905A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112947740A (zh) * | 2019-11-22 | 2021-06-11 | 深圳市超捷通讯有限公司 | 基于动作分析的人机交互方法、车载装置 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007170898A (ja) * | 2005-12-20 | 2007-07-05 | Toyota Motor Corp | サービス提供システム |
| JP2007307992A (ja) * | 2006-05-17 | 2007-11-29 | Toyota Motor Corp | ワイパ制御装置 |
| JP2008287626A (ja) * | 2007-05-21 | 2008-11-27 | Sony Corp | 学習制御装置および方法、並びにプログラム |
| JP2014078124A (ja) * | 2012-10-10 | 2014-05-01 | Mitsubishi Electric Corp | ジェスチャー入力装置および表示システム |
| CN104002745A (zh) * | 2013-02-27 | 2014-08-27 | 通用汽车环球科技运作有限责任公司 | 用于根据车辆乘员来调整性能的方法和系统 |
| CN104108357A (zh) * | 2013-04-18 | 2014-10-22 | 福特全球技术公司 | 乘员存在的检测和识别 |
| US20150362997A1 (en) * | 2014-06-13 | 2015-12-17 | Ford Global Technologies, Llc | Vehicle computing system in communication with a wearable device |
| US20160187992A1 (en) * | 2014-04-03 | 2016-06-30 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
| CN107122053A (zh) * | 2017-04-27 | 2017-09-01 | 奥英光电（苏州）有限公司 | 一种显示器的控制方法、装置及显示器 |
| CN107463122A (zh) * | 2016-05-02 | 2017-12-12 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法以及车辆控制程序产品 |
| WO2018016248A1 (ja) * | 2016-07-22 | 2018-01-25 | パナソニックＩｐマネジメント株式会社 | 情報推定システム、情報推定方法及びプログラム |
| CN107741781A (zh) * | 2017-09-01 | 2018-02-27 | 中国科学院深圳先进技术研究院 | 无人机的飞行控制方法、装置、无人机及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4404390B2 (ja) | 1998-10-26 | 2010-01-27 | 株式会社東海理化電機製作所 | 自動車用付帯装置の自動制御システム |
| JP2006131031A (ja) | 2004-11-04 | 2006-05-25 | Toyota Motor Corp | 車両機能制御装置 |
| JP2009101927A (ja) * | 2007-10-24 | 2009-05-14 | Toyota Motor Corp | 車両制御装置 |
| JP2017182531A (ja) * | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-05-22 JP JP2020520898A patent/JP7111156B2/ja active Active
- 2018-05-22 CN CN201880093683.6A patent/CN112203903A/zh active Pending
- 2018-05-22 WO PCT/JP2018/019639 patent/WO2019224905A1/ja unknown
- 2018-05-22 US US17/057,395 patent/US20210206384A1/en active Pending
- 2018-05-22 EP EP18919660.3A patent/EP3798059B1/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007170898A (ja) * | 2005-12-20 | 2007-07-05 | Toyota Motor Corp | サービス提供システム |
| JP2007307992A (ja) * | 2006-05-17 | 2007-11-29 | Toyota Motor Corp | ワイパ制御装置 |
| JP2008287626A (ja) * | 2007-05-21 | 2008-11-27 | Sony Corp | 学習制御装置および方法、並びにプログラム |
| JP2014078124A (ja) * | 2012-10-10 | 2014-05-01 | Mitsubishi Electric Corp | ジェスチャー入力装置および表示システム |
| CN104002745A (zh) * | 2013-02-27 | 2014-08-27 | 通用汽车环球科技运作有限责任公司 | 用于根据车辆乘员来调整性能的方法和系统 |
| CN104108357A (zh) * | 2013-04-18 | 2014-10-22 | 福特全球技术公司 | 乘员存在的检测和识别 |
| US20160187992A1 (en) * | 2014-04-03 | 2016-06-30 | Honda Motor Co., Ltd. | Smart tutorial for gesture control system |
| US20150362997A1 (en) * | 2014-06-13 | 2015-12-17 | Ford Global Technologies, Llc | Vehicle computing system in communication with a wearable device |
| CN107463122A (zh) * | 2016-05-02 | 2017-12-12 | 本田技研工业株式会社 | 车辆控制系统、车辆控制方法以及车辆控制程序产品 |
| WO2018016248A1 (ja) * | 2016-07-22 | 2018-01-25 | パナソニックＩｐマネジメント株式会社 | 情報推定システム、情報推定方法及びプログラム |
| CN107122053A (zh) * | 2017-04-27 | 2017-09-01 | 奥英光电（苏州）有限公司 | 一种显示器的控制方法、装置及显示器 |
| CN107741781A (zh) * | 2017-09-01 | 2018-02-27 | 中国科学院深圳先进技术研究院 | 无人机的飞行控制方法、装置、无人机及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7111156B2 (ja) | 2022-08-02 |
| JPWO2019224905A1 (ja) | 2021-07-01 |
| US20210206384A1 (en) | 2021-07-08 |
| EP3798059A4 (en) | 2021-04-28 |
| EP3798059B1 (en) | 2022-05-11 |
| WO2019224905A1 (ja) | 2019-11-28 |
| EP3798059A1 (en) | 2021-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108725357B (zh) | 基于人脸识别的参数控制方法、系统与云端服务器 | |
| JP6237725B2 (ja) | 乗員情報取得装置及び車両制御システム | |
| JP5206314B2 (ja) | 車載用電子機器 | |
| US9335826B2 (en) | Method of fusing multiple information sources in image-based gesture recognition system | |
| JP4561703B2 (ja) | 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム | |
| US20230078327A1 (en) | Vehicular driver monitoring system with customized outputs | |
| US20140152549A1 (en) | System and method for providing user interface using hand shape trace recognition in vehicle | |
| JP2017220097A (ja) | 運転支援装置 | |
| JP5853897B2 (ja) | 操作制御装置、及び、操作制御プログラム | |
| CN112109647A (zh) | 一种车辆及车辆情景模式的实现方法、装置 | |
| CN112203903A (zh) | 车载设备的控制装置和控制方法 | |
| US11366326B2 (en) | Method for operating a head-mounted electronic display device, and display system for displaying a virtual content | |
| JP2010108046A (ja) | 顔認識装置 | |
| JP6785889B2 (ja) | サービス提供装置 | |
| JP2017095008A (ja) | 制御装置、制御方法、及び、プログラム | |
| CN107832726B (zh) | 使用者识别和确认装置及车用中央控制系统 | |
| CN114954486A (zh) | 车辆的乘员监视装置 | |
| KR20150135933A (ko) | 동작 인식 장치 및 그 동작 방법 | |
| WO2022264453A1 (ja) | 画像処理装置及び画像処理方法 | |
| TWI731574B (zh) | 車輛個人使用情境偵測系統 | |
| JP7046439B2 (ja) | 車室内照明制御装置 | |
| WO2023105700A1 (ja) | 更新判定装置及び更新判定方法 | |
| CN117508054A (zh) | 用于车辆的操作方法、计算机可读存储介质及车辆 | |
| JP2009262654A (ja) | 車内環境設定装置及びプログラム | |
| CN117580732A (zh) | 移动体用装置以及移动体用控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |