CN110688885A - 控制装置和控制方法 - Google Patents

控制装置和控制方法 Download PDF

Info

Publication number
CN110688885A
CN110688885A CN201910533408.8A CN201910533408A CN110688885A CN 110688885 A CN110688885 A CN 110688885A CN 201910533408 A CN201910533408 A CN 201910533408A CN 110688885 A CN110688885 A CN 110688885A
Authority
CN
China
Prior art keywords
unit
user
degree
control
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910533408.8A
Other languages
English (en)
Other versions
CN110688885B (zh
Inventor
齐藤航太
松仪良广
松浦侑纪
崔胜镐
松尾祥和
佐藤大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN110688885A publication Critical patent/CN110688885A/zh
Application granted granted Critical
Publication of CN110688885B publication Critical patent/CN110688885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/654—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • B60K2360/1464—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B60W2050/0071—Controller overrides driver automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands

Abstract

本发明涉及一种控制装置和控制方法。控制装置(14)具有：识别部(32)，其识别用户(U)的规定行为；推定部(34)，其根据由识别部(32)识别出的规定行为来推定用户(U)的状态；评价部(36)，其评价推定部(34)的推定结果的确证度；和输出部(38)，其向控制部(52、64、74、82)输出与确证度对应的动作指示。据此，能够按照用户的状态适宜地使控制部进行动作。

Description

控制装置和控制方法
技术领域
本发明涉及一种对控制规定功能的控制部输出动作指示的控制装置和控制方法。
背景技术
在日本发明专利公开公报特开2014-174776号中公开以下便携式计算机：在系统根据由摄像头拍摄到的帧识别出规定的手势的情况下，启动特定的应用程序。
发明内容
日本发明专利公开公报特开2014-174776号所示的装置按照用户有意进行的手势使装置进行动作。当应用该技术时，能够按照用户处于对某些情况感到踌躇的状态时无意识地进行的行为来自动地使具有规定功能的装置(以下称为被控制装置。)进行动作。此时，向被控制装置的控制部输出与行为对应的动作指示。但是，用户无意识地进行的行为和用户感到踌躇的状态(用户的状态)不一定对应。因此，当按照用户的行为而使被控制装置进行动作时，有时执行不适合用户的状态的动作。
本发明是考虑这样的技术问题而完成的，其目的在于，提供一种能够按照用户的状态适宜地使被控制装置进行动作的控制装置和控制方法。
本发明的第1方式是一种控制装置，其向控制规定功能的控制部输出动作指示，具有：
识别部，其识别用户的规定行为；
推定部，其根据由所述识别部识别出的所述规定行为来推定所述用户的状态；
评价部，其评价所述推定部的推定结果的确证度；和
输出部，其向所述控制部输出与所述确证度对应的所述动作指示。
本发明的第2方式是一种控制方法，该控制方法向控制规定功能的控制部输出动作指示，
使用识别部来识别用户的规定行为，
使用推定部根据由所述识别部识别出的所述规定行为来推定所述用户的状态，
使用评价部评价所述推定部的推定结果的确证度，
使用输出部向所述控制部输出与所述确证度对应的所述动作指示。
根据本发明，能够按照用户的状态适宜地使控制部进行动作。
根据参照附图对以下实施方式进行的说明，上述的目的、特征和优点应易于被理解。
附图说明
图1是包括本实施方式所涉及的控制装置的车辆控制系统的结构图。
图2是表示状态表的图。
图3是表示评价要素表的图。
图4是表示装置动作表的图。
图5是控制装置进行的处理的流程图。
具体实施方式
下面，列举优选的实施方式且参照附图对本发明所涉及的控制装置和控制方法详细进行说明。
[1.车辆控制系统10的结构]
使用图1来说明车辆控制系统10的结构。车辆控制系统10进行除与车辆的行驶有关的控制(驱动控制、制动控制、操舵控制)之外的控制，在此为进行向车辆的用户U告知的告知控制、车内的空气调节控制、雨刮器的动作控制。
车辆控制系统10具有获取各种信息且输出各种信息的传感器12、输入各种信息的控制装置14、和作为控制装置14的控制对象的被控制装置16。
传感器12包括摄像头22、车内温度传感器24、车外温度传感器26和雨滴传感器28等。摄像头22被设置在车内，拍摄车内的用户U和用户U的手H且输出图像信息。摄像头22可以设置为能拍摄坐在特定的座椅上的用户U，也可以设置为能同时拍摄坐在各座椅上的多个用户U。车内温度传感器24检测车内(车厢内)的温度且输出内部温度信息。车外温度传感器26检测车外的温度且输出外部温度信息。雨滴传感器28设置于前窗的内侧，通过检测附着于前窗的水来检测降雨且输出降雨信息。
控制装置14是具有运算部30、存储部40和输入输出接口(未图示)等的电子控制单元(ECU)。运算部30具有具备CPU等的处理器，通过处理器执行存储于存储部40的程序来实现各种功能。在本实施方式中，运算部30作为识别部32、推定部34、评价部36和输出部38来发挥作用。
存储部40具有ROM和RAM等存储装置。在存储部40中存储状态表42、评价要素表44和装置动作表46。如图2所示，在状态表42中，将表示用户U进行的规定行为的行为信息88和根据该规定行为推定出的用户U的状态的状态信息90建立关联来保存。如图3所示，在评价要素表44中，将状态信息90和表示用于评价推定结果的确证度(准确度)的评价要素的多个评价要素信息92建立关联来保存。如图4所示，在装置动作表46中，将状态信息90、表示与当前的状况一致的评价要素的数量的数量信息94、表示与一致的评价要素的数量对应的确证度的确证度信息96、表示与确证度对应的动作指示的动作指示信息98、表示与确证度对应的被控制装置16且作为动作指示的输出对象的被控制装置16的装置信息100建立关联来保存。
返回图1继续说明。在被控制装置16中包括导航装置50、空调装置60、雨刮器装置70和告知装置80等。各装置具有由电子控制器(ECU等)构成的控制部。导航装置50具有：导航控制部52，其通过卫星导航法和自主导航法来计测车辆的当前位置，并且设定从当前位置至目的地的路径；导航存储部54，其存储地图信息56；和导航显示部58，其显示地图、路径等。导航控制部52具有在导航显示部58显示车辆的周边地图的地图显示功能。空调装置60具有向车内输送冷气或暖气的主体、进行主体的控制的空调控制部64和空调开关62。空调控制部64按照用户U操作空调开关62或者从控制装置14输出的动作指示来进行规定功能(启动、停止、设定温度的改变等空气调节功能)的控制。雨刮器装置70具有雨刮臂、包括驱动雨刮臂的马达的雨刮器电路、进行雨刮器电路的通电控制的雨刮器控制部74、和雨刮器开关72。雨刮器控制部74通过用户U操作雨刮器开关72来进行规定功能(擦拭功能)的控制。告知装置80具有告知控制部82，该告知控制部82进行向用户U提供的视觉信息和语音信息的输出控制。
[2.车辆控制系统10的动作]
使用图5说明控制装置14的动作。在此，说明根据坐在驾驶席上的用户U(驾驶员)进行的规定行为来控制被控制装置16的实施方式。每隔规定时间进行图5所示的处理。
在步骤S1中，控制装置14获取传感器12输出的各种信息。在本实施方式中，控制装置14获取摄像头22输出的用户U的图像信息、车内温度传感器24输出的内部温度信息、车外温度传感器26输出的外部温度信息和雨滴传感器28输出的降雨信息。
在步骤S2中，识别部32使用图像信息进行公知的图像识别处理，识别用户U进行的规定行为。作为规定行为，识别部32识别用户U的前倾姿势、用户U的手H在空调开关62附近小幅高频移动、用户U的手H在雨刮器开关72附近小幅高频移动等。
例如，识别部32在识别出用户U的上半身的规定部位(头部、肩等)位于比规定位置靠前方的位置的情况下，识别为用户U处于前倾姿势。或者，在识别出用户U的上半身的规定部位与座椅靠背的距离远离规定距离以上的情况下，识别为用户U处于前倾姿势。或者，在识别出用户U的上半身相对于座垫的前倾角度在规定角度以上的情况下，识别为用户U处于前倾姿势。另外，规定位置、规定距离、规定角度被预先存储于存储部40。
例如，识别部32识别用户U的手H与空调开关62的距离x1是否在第1距离d1以上且第2距离d2以下(d1≦x1≦d2)，并且识别用户U的手H是否正小幅移动。另外，例如，识别部32识别用户U的手H与雨刮器开关72的距离x2是否在第1距离d1以上且第2距离d2以下(d1≦x2≦d2)，并且识别用户U的手H是否正小幅高频移动。另外，第1距离d1、第2距离d2被预先存储于存储部40。在本说明书中，还将手H的小幅高频移动称为手H的踌躇动作。除了上述例子之外，识别部32还能够使用公知的手势识别技术(例如上述日本发明专利公开公报特开2014-174776号的技术)来识别用户U的手H正在进行踌躇动作的情况。或者，在识别到用户U的手H在规定时间内在一定的范围内重复同一动作的情况下，还能够识别为手H正进行踌躇动作。
在识别部32识别出规定行为的情况下(步骤S3：是)，处理进入步骤S4。另一方面，在识别部32没有识别出规定行为的情况下(步骤S3：否)，处理进入步骤S9。
当从步骤S3进入步骤S4时，推定部34根据由识别部32识别出的规定行为来推定用户U的状态。推定部34从图2所示的状态表42读出与表示规定行为的行为信息88建立关联的状态信息90，且将该状态信息90所示的状态推定为用户U的状态。
在步骤S5中，评价部36评价推定部34的推定结果的确证度。评价部36参照在图3所示的评价要素表44中与表示用户U的状态的状态信息90建立关联的评价要素信息92，判定各评价要素信息92所示的评价要素与当前的状况的一致度。具体而言，按每一评价要素判定是否与当前的状况一致，且判定一致的评价要素的数量。
例如，在步骤S4中，设推定部34推定出用户U的状态为“迷路”状态。评价部36根据评价要素表44判定与表示“迷路”的状态信息90建立关联的4个评价要素信息92a所示的评价要素是否与当前的状况一致。在步骤S4中，与推定部34将用户U的状态推定为“对空调操作感到踌躇”或者“对雨刮器操作感到踌躇”状态的情况同样，评价部36判定评价要素信息92b、92c所示的评价要素是否与当前的状况一致。
关于评价要素信息92a中“用户U的视线正朝向道路”、“用户U的头或眼睛正不停地移动”、“用户U表现出不安的表情”这一评价要素，评价部36根据识别部32的识别结果来进行判定。识别部32使用摄像头22的图像信息进行图像识别处理，识别用户U的视线是否正朝向道路、用户U的头或者眼睛是否正不停地移动。另外，识别部32利用使用摄像头22的图像信息的情感推定技术(例如日本发明专利公开公报特开2018-63486号)，识别用户U是否表现出不安的表情。关于“分支点近”这一评价要素，评价部36根据导航装置50的输出信息进行判定。具体而言，根据车辆的当前位置的计测结果和地图信息56来判定车辆的周边环境，当在距车辆的当前位置规定距离内的位置有分支点时判定为分支点近。
关于评价要素信息92b中“用户U的视线正朝向空调”、“用户U正进行表示冷或热的动作”这一评价要素，评价部36根据识别部32的识别结果来进行判定。识别部32使用摄像头22的图像信息进行图像识别处理，识别用户U的视线是否正朝向空调装置60。识别部32使用摄像头22的图像信息进行图像识别处理，识别出用户U搓身体的动作。在该情况下，评价部36判定为用户U正进行表示冷的动作。另外，识别部32使用摄像头22的图像信息进行图像识别处理，识别出用户U将衣袖卷起的状态、用手H对脸部扇风的动作。在该情况下，评价部36判定为用户U正进行表示热的动作。关于“车内与车外的温度差在规定温度以上”这一评价要素，评价部36根据从车内温度传感器24输出的内部温度信息和从车外温度传感器26输出的外部温度信息进行判定。
关于评价要素信息92c中“用户U的视线正朝向雨刮器开关72”这一评价要素，评价部36根据识别部32的识别结果进行判定。识别部32使用摄像头22的图像信息进行图像识别处理，识别用户U的视线是否正朝向雨刮器开关72。关于“正在降雨”这一评价要素，评价部36根据从雨滴传感器28输出的降雨信息进行判定。关于“雨刮器处于停止状态”这一评价要素，评价部36根据从雨刮器装置70输出的动作信号进行判定。
评价部36进行上述的一致性判定，并且对与当前的状况一致的评价要素的数量进行计数。评价部36使用图4所示的装置动作表46，确定与计数得到的数量所示的数量信息94建立关联的确证度信息96，将该确证度信息96所示的确证度作为推定部34的推定结果的确证度进行评价。在本实施方式的装置动作表46中，确证度被划分为高、中、低这3个等级。
在步骤S6中，在确证度为“高”的情况下(步骤S6：高)，处理进入步骤S7。在确证度为“中”的情况下(步骤S6：中)，处理进入步骤S8。在确证度为“低”的情况下(步骤S6：低)，处理进入步骤S9。
当从步骤S6进入步骤S7时，输出部38使用装置动作表46，确定与表示“高”的确证度信息96建立关联的装置信息100和动作指示信息98，且向该装置信息100所示的被控制装置16的控制部输出该动作指示信息98所示的具体的动作指示。具体的动作是指，与用户U的状态对应的直接的辅助动作。更详细而言，具体的动作是指，基于直接有助于消除用户U的状态(用户U踌躇的状态)的功能(导航装置50的地图显示功能、空调装置60的空气调节功能、雨刮器装置70的擦拭功能)的辅助动作。在用户U的状态为迷路的状态的情况下，由导航装置50显示周边地图相当于具体的动作。输出部38向导航控制部52输出动作指示。另外，在用户U的状态为对空调操作感到踌躇的状态的情况下，用空调装置60调节车内温度相当于具体的动作。输出部38向空调控制部64输出动作指示。另外，在用户U的状态为对雨刮器操作感到踌躇的状态的情况下，启动雨刮器装置70相当于具体的动作。输出部38向雨刮器控制部74输出动作指示。接受具体的动作指示的被控制装置16的控制部按照指示来控制各功能。这样，在步骤S7中，功能被控制的被控制装置16是导航装置50、空调装置60、雨刮器装置70。
当从步骤S6进入步骤S8时，输出部38使用装置动作表46，确定与表示“中”的确证度信息96建立关联的装置信息100和动作指示信息98，且对该装置信息100所示的被控制装置16的控制部输出该动作指示信息98所示的抽象的动作指示。所谓抽象的动作是指，与用户U的状态对应的间接的辅助动作。当更详细地进行说明时，抽象的动作是指通过对其他功能(告知装置80的引导功能)进行控制而实现的辅助动作，其中所述其他功能是辅助直接有助于消除用户U的状态(用户U踌躇的状态)的功能(导航装置50的地图显示功能，空调装置60的空气调节功能、雨刮器装置70的擦拭功能)的功能。抽象的动作的辅助程度比具体的动作的辅助程度低。在用户U的状态为迷路的状态的情况下，由告知装置80向用户U进行询问、例如进行“是不是迷路了？”等询问相当于抽象的动作。另外，在用户U的状态为对空调操作感到踌躇的状态的情况下，由告知装置80向用户U进行询问、例如进行“是不是改变车内温度？”等询问相当于抽象的动作。另外，在用户U的状态为对雨刮器操作感到踌躇的情况下，由告知装置80向用户U进行询问、例如进行“是不是起动雨刮器？”等询问相当于抽象的动作。接受抽象的动作指示的被控制装置16按照指示进行动作。输出部38向告知控制部82输出动作指示。这样，在步骤S8中，功能被控制的被控制装置16是告知装置80。
当从步骤S3或者步骤S6进入步骤S9时，输出部38使用装置动作表46，确定与表示“低”的确证度信息96建立关联的装置信息100和动作指示信息98，且向该装置信息100所示的被控制装置16的控制部输出该动作指示信息98所示的动作指示。另外，在本实施方式中，输出部38在确证度低的情况下不向任一被控制装置16输出动作指示。
[3.变形例]
在图2所示的状态表42中，也可以保存表示用户U迷路时进行的其他行为的行为信息88。另外，在状态表42中，也可以保存表示用户U的其他状态的状态信息90。另外，在图3所示的评价要素表44中，也可以保存表示其他评价要素的评价要素信息92。另外，在图4所示的装置动作表46中，可以保存表示其他指示动作的动作指示信息98，也可以保存表示其他被控制装置16的装置信息100。
在上述实施方式中，将1个行为信息88和1个状态信息90建立关联，但也可以将1个行为信息88和多个状态信息90建立关联。在该情况下，输出部38将与推定部34推定出的多个推定结果(用户U的状态)中、确证度最大的推定结果(用户U的状态)对应的动作指示输出给相符合的被控制装置16。
在上述实施方式中，确证度被划分为3个等级。作为替代，也可以将确证度划分为2个等级或者4个等级以上的等级。在该情况下也与上述实施方式同样，由评价部36评价出的确证度越低则输出部38输出越抽象的动作指示，且由评价部36评价出的确证度越高则输出越具体的动作指示。
也可以为：存储部40预先存储确证度的分界，输出部38以分界为基准来判定确证度的高低。并且，在确证度比规定的分界低的情况下，输出部38向对其他功能(告知装置80的引导功能)进行控制的控制部(告知控制部82)输出抽象的动作指示，其中所述其他功能是辅助直接有助于消除用户U的状态的功能(导航装置50的地图显示功能、空调装置60的空气调节功能、雨刮器装置70的擦拭功能)的功能。另外，在确证度比规定的分界高的情况下，输出部38向控制直接有助于消除用户U的状态的功能(导航装置50的地图显示功能、空调装置60的空气调节功能、雨刮器装置70的擦拭功能)的控制部(导航控制部52、空调控制部64、雨刮器控制部74)，输出具体的动作指示。
在上述实施方式中，当评价部36评价确证度时，判定与当前的状况一致的评价要素的数量。作为替代，也可以预先按每一评价要素与单独的分数建立关联，评价部36确定符合当前的状况的评价要素，并对它们的分数进行计数，且对计数得到的合计分数进行评价。在该情况下，可以预先设定用于判定确证度的高低的1个以上的阈值，将确证度的高低与阈值进行比较来进行评价。
[4.由实施方式得到的发明]
下面记载有根据上述实施方式和变形例能掌握的发明。
上述实施方式是一种控制装置14，
该控制装置14向控制规定功能的控制部(导航控制部52、空调控制部64、雨刮器控制部74、告知控制部82)输出动作指示，
具有：识别部32，其识别用户U的规定行为；
推定部34，其根据由识别部32识别出的规定行为来推定用户U的状态；
评价部36，其评价推定部34的推定结果的确证度；和
输出部38，其向控制部输出与确证度对应的动作指示。
根据上述结构，对推定出用户U的状态的推定结果的确证度进行评价，且向控制部输出与确证度对应的动作指示，因此，能够按照用户U的状态来适宜地使被控制装置16进行动作。
输出部38向与确证度对应的控制部输出与确证度对应的动作指示。
根据上述结构，由于按照确证度来改变动作指示和输出动作指示的控制部，因此，能够按照用户U的状态适宜地使被控制装置16进行动作。
确证度越低则输出部38输出越抽象的动作指示。
确证度相对较低是指，由于处于难以消除用户U的状态的状态，因此，与由被控制装置16进行直接的辅助即具体的动作相比，进行间接的辅助即抽象的动作对于用户U而言更有用。根据上述结构，在确证度相对较低的情况下输出抽象的动作指示，因此，能够按照用户U的状态适宜地使被控制装置16进行动作。
作为用户U的状态，推定部34推定出用户U迷路，
在确证度比规定确证度低的情况下，输出部38向对其他功能进行控制的控制部输出动作指示，其中所述其他功能是辅助直接有助于消除用户U的状态的功能的功能。
确证度越高则输出部38输出越具体的动作指示。
确证度相对较高是指，由于处于难以消除用户U的状态的状态，因此，与由被控制装置16进行间接的辅助即抽象的动作相比，进行直接的辅助即具体的动作对于用户U而言更有用。根据上述结构，在确证度相对较高的情况下输出具体的动作指示，因此，能够按照用户U的状态适宜地使被控制装置16进行动作。
作为用户U的状态，推定部34识别出用户U迷路，
在确证度比规定确证度高的情况下，输出部38向控制直接有助于消除用户U的状态的功能的控制部输出动作指示。
控制装置14具有状态表42，该状态表42将表示规定行为的行为信息88和表示用户U的状态的状态信息90建立关联，
当在状态表42中保存有由识别部32识别出的表示规定行为的行为信息88的情况下，推定部34推定为用户U的状态是在状态表42中与行为信息88建立关联的状态。
根据上述结构，使用预先准备的状态表42，因此，能够简易地推定用户U的状态。
控制装置14具有评价要素表44，该评价要素表44将表示用于评价确证度的评价要素的评价要素信息92和表示用户U的状态的状态信息90建立关联，
评价部36根据当前的状况与评价要素的符合度来评价确证度。
根据上述结构，由于使用预先准备的评价要素表44，因此能够简易地评价推定结果。
作为规定行为，识别部32识别出车辆内的用户U在设置于车辆的规定的操作开关(空调开关62、雨刮器开关72)的规定距离内进行的手H的踌躇动作，
输出部38向由操作开关操作的控制部(空调控制部64、雨刮器控制部74)输出动作指示。
根据上述结构，能够识别出用户U对具有操作开关的被控制装置16的操作感到踌躇。
控制部包括空调控制部64，
评价部36至少根据车辆内的温度来评价确证度。
根据上述结构，由于根据与空调装置60的操作有关的车辆内的温度来评价确证度，因此能够进行高精度的评价。
控制部还包括告知控制部82，
在确证度为第1确证度(例如图4的“高”)的情况下，输出部38向空调控制部64输出用于改变车辆内的温度的动作指示，
在确证度为比第1确证度低的第2确证度(例如图4的“中”)的情况下，输出部38向告知控制部82输出用于询问用户U是否需要空调控制部64的操作辅助的动作指示。
根据上述结构，在确证度相对较高的情况下使空调装置60进行动作，在确证度相对较低的情况下通过告知装置80向用户U进行询问，因此能够适宜地进行被控制装置16(空调装置60、告知装置80)的动作。
作为规定行为，识别部32识别出车辆内的用户U的前倾姿势，
输出部38向控制部(导航控制部52)输出与道路引导有关的动作指示。
根据上述结构，能够识别出用户U迷路的情况。
评价部36根据视线的变化和面部朝向的变化中的至少一方来评价确证度。
根据上述结构，根据用户U迷路时进行的行动来评价确证度，因此，能够进行精度高的评价。
控制部包括在画面上显示地图的导航控制部52和告知控制部82，
在确证度为第1确证度(例如图4的高)的情况下，输出部38向导航控制部52输出用于显示车辆的周边的详细地图的动作指示，
在确证度为比第1确证度低的第2确证度(例如图4的“中”)的情况下，输出部38向告知控制部82输出用于询问用户U是否需要道路引导的动作指示。
根据上述结构，在确证度相对较高的情况下使导航装置50显示地图，在确证度相对较低的情况下通过告知装置80向用户U进行询问，因此，能够适宜地进行被控制装置16(导航装置50、告知装置80)的动作。
上述实施方式是一种控制方法，
该控制方法向控制规定功能的控制部输出动作指示，
使用识别部32来识别用户U进行的规定行为，
使用推定部34根据由识别部32识别出的规定行为来推定用户U的状态，
使用评价部36评价推定部34的推定结果的确证度，
使用输出部38向控制部(导航控制部52、空调控制部64、雨刮器控制部74、告知控制部82)输出与确证度对应的动作指示。
根据上述结构，对推定出用户U的状态的推定结果的确证度进行评价，向控制部输出与确证度对应的动作指示，因此，能够按照用户U的状态使被控制装置16适宜地动作。
另外，本发明所涉及的控制装置和控制方法并不限定于上述的实施方式，当然能够在没有脱离本发明的要旨的范围内采用各种结构。

Claims (15)

1.一种控制装置(14)，其向控制规定功能的控制部(52、64、74、82)输出动作指示，其特征在于，具有：
识别部(32)，其识别用户(U)的规定行为；
推定部(34)，其根据由所述识别部识别出的所述规定行为来推定所述用户的状态；
评价部(36)，其评价所述推定部的推定结果的确证度；和
输出部(38)，其向所述控制部输出与所述确证度对应的所述动作指示。
2.根据权利要求1所述的控制装置，其特征在于，
所述输出部向与所述确证度对应的所述控制部输出与所述确证度对应的所述动作指示。
3.根据权利要求1或2所述的控制装置，其特征在于，
所述确证度越低则所述输出部输出越抽象的所述动作指示。
4.根据权利要求1或2所述的控制装置，其特征在于，
在所述确证度比规定的分界低的情况下所述输出部向对其他功能进行控制的所述控制部输出所述动作指示，其中所述其他功能是指辅助直接有助于消除所述用户的状态的功能的功能。
5.根据权利要求1或者2所述的控制装置，其特征在于，
所述确证度越高则所述输出部输出越具体的所述动作指示。
6.根据权利要求1或2所述的控制装置，其特征在于，
在所述确证度比规定的分界高的情况下，所述输出部向控制直接有助于消除所述用户的状态的功能的所述控制部输出所述动作指示。
7.根据权利要求1或2所述的控制装置，其特征在于，
具有状态表(42)，该状态表(42)将表示所述规定行为的行为信息(88)和表示所述用户的状态的状态信息(90)建立关联，
当在所述状态表中保存有由所述识别部识别出的表示所述规定行为的所述行为信息时，所述推定部推定为所述用户的状态是在所述状态表中与所述行为信息建立关联的状态。
8.根据权利要求1或2所述的控制装置，其特征在于，
具有评价要素表(44)，该评价要素表(44)将表示用于评价所述确证度的评价要素的评价要素信息(92)和表示所述用户的状态的状态信息(90)建立关联，
所述评价部根据当前的状况与所述评价要素的符合度来评价所述确证度。
9.根据权利要求1或2所述的控制装置，其特征在于，
作为所述规定行为，所述识别部识别出车辆内的所述用户在设置于所述车辆的规定的操作开关(62、72)的规定距离内进行的手(H)的踌躇动作，
所述输出部向由所述操作开关操作的所述控制部输出所述动作指示。
10.根据权利要求9所述的控制装置，其特征在于，
所述控制部包括空调控制部(64)，
所述评价部至少根据所述车辆内的温度来评价所述确证度。
11.根据权利要求10所述的控制装置，其特征在于，
所述控制部还包括告知控制部(82)，
在所述确证度为第1确证度的情况下，所述输出部向所述空调控制部输出用于改变所述车辆内的温度的所述动作指示，
在所述确证度为比所述第1确证度低的第2确证度的情况下，所述输出部向所述告知控制部输出用于询问所述用户是否需要所述空调控制部的操作辅助的所述动作指示。
12.根据权利要求1或2所述所述的控制装置，其特征在于，
作为所述规定行为，所述识别部识别出车辆内的所述用户的前倾姿势，
所述输出部向所述控制部输出与道路引导有关的动作指示。
13.根据权利要求12所述的控制装置，其特征在于，
所述评价部根据视线的变化和面部朝向的变化中的至少一方来评价所述确证度。
14.根据权利要求13所述的控制装置，其特征在于，
所述控制部包括在画面上显示地图的导航控制部(52)和告知控制部(82)，
在所述确证度为第1确证度的情况下，所述输出部向所述导航控制部输出用于显示所述车辆的周边的详细地图的所述动作指示，
在所述确证度为比第1确证度低的第2确证度的情况下，所述输出部向所述告知控制部输出用于询问所述用户是否需要所述道路引导的所述动作指示。
15.一种控制方法，该控制方法向控制规定功能的控制部(52、64、74、82)输出动作指示，其特征在于，
使用识别部(32)来识别用户(U)的规定行为，
根据由所述识别部识别出的所述规定行为，使用推定部(34)来推定所述用户的状态，
使用评价部(36)评价所述推定部的推定结果的确证度，
使用输出部(38)向所述控制部输出与所述确证度对应的所述动作指示。
CN201910533408.8A 2018-06-19 2019-06-19 控制装置和控制方法 Active CN110688885B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018115782A JP7066541B2 (ja) 2018-06-19 2018-06-19 制御装置および制御方法
JP2018-115782 2018-06-19

Publications (2)

Publication Number Publication Date
CN110688885A true CN110688885A (zh) 2020-01-14
CN110688885B CN110688885B (zh) 2022-12-06

Family

ID=68839934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910533408.8A Active CN110688885B (zh) 2018-06-19 2019-06-19 控制装置和控制方法

Country Status (3)

Country Link
US (1) US10963064B2 (zh)
JP (1) JP7066541B2 (zh)
CN (1) CN110688885B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
US20050278093A1 (en) * 2004-06-10 2005-12-15 Denso Corporation Vehicle control unit and vehicle control system having the same
JP2007263931A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2008257363A (ja) * 2007-04-02 2008-10-23 Toyota Motor Corp 操作支援装置
JP2010009484A (ja) * 2008-06-30 2010-01-14 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP2011232270A (ja) * 2010-04-30 2011-11-17 Clarion Co Ltd ナビゲーション装置およびそのヘルプ提示方法
CN104417457A (zh) * 2013-08-20 2015-03-18 哈曼国际工业有限公司 驾驶者辅助系统
JP2015153325A (ja) * 2014-02-18 2015-08-24 富士通フロンテック株式会社 情報処理装置、操作支援方法及び操作支援プログラム
CN105136156A (zh) * 2014-05-29 2015-12-09 通用汽车环球科技运作有限责任公司 基于用户行为模式的自适应导航与基于位置的服务
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN106562793A (zh) * 2015-10-08 2017-04-19 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置
WO2017110233A1 (ja) * 2015-12-22 2017-06-29 クラリオン株式会社 車載装置
CN107886045A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 设施满意度计算装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3864568B2 (ja) 1998-06-29 2007-01-10 株式会社デンソー ナビゲーション装置
US9684380B2 (en) * 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2012078298A (ja) 2010-10-06 2012-04-19 Alpine Electronics Inc ナビゲーション用経路案内画面表示装置
JP5782061B2 (ja) 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
WO2014172312A2 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc User interface and virtual personality presentation based on user profile
US9092766B1 (en) * 2014-10-28 2015-07-28 Poynt Co. Payment terminal system and method of use
US10034066B2 (en) * 2016-05-02 2018-07-24 Bao Tran Smart device
JP6466385B2 (ja) 2016-10-11 2019-02-06 本田技研工業株式会社 サービス提供装置、サービス提供方法およびサービス提供プログラム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
US20050278093A1 (en) * 2004-06-10 2005-12-15 Denso Corporation Vehicle control unit and vehicle control system having the same
JP2007263931A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc ドライバ思考推定装置、ドライバ思考推定方法及びドライバ思考推定プログラム
JP2008210239A (ja) * 2007-02-27 2008-09-11 Nissan Motor Co Ltd 視線推定装置
JP2008257363A (ja) * 2007-04-02 2008-10-23 Toyota Motor Corp 操作支援装置
JP2010009484A (ja) * 2008-06-30 2010-01-14 Denso It Laboratory Inc 車載機器制御装置および車載機器制御方法
JP2011232270A (ja) * 2010-04-30 2011-11-17 Clarion Co Ltd ナビゲーション装置およびそのヘルプ提示方法
CN104417457A (zh) * 2013-08-20 2015-03-18 哈曼国际工业有限公司 驾驶者辅助系统
JP2015153325A (ja) * 2014-02-18 2015-08-24 富士通フロンテック株式会社 情報処理装置、操作支援方法及び操作支援プログラム
CN105894733A (zh) * 2014-05-15 2016-08-24 Lg电子株式会社 驾驶员监控系统
CN105136156A (zh) * 2014-05-29 2015-12-09 通用汽车环球科技运作有限责任公司 基于用户行为模式的自适应导航与基于位置的服务
CN106562793A (zh) * 2015-10-08 2017-04-19 松下电器（美国）知识产权公司 信息提示装置的控制方法、以及信息提示装置
WO2017110233A1 (ja) * 2015-12-22 2017-06-29 クラリオン株式会社 車載装置
CN107886045A (zh) * 2016-09-30 2018-04-06 本田技研工业株式会社 设施满意度计算装置
CN106650633A (zh) * 2016-11-29 2017-05-10 上海智臻智能网络科技股份有限公司 一种驾驶员情绪识别方法和装置

Also Published As

Publication number Publication date
US20190384410A1 (en) 2019-12-19
CN110688885B (zh) 2022-12-06
US10963064B2 (en) 2021-03-30
JP2019219835A (ja) 2019-12-26
JP7066541B2 (ja) 2022-05-13

Similar Documents

Publication Publication Date Title
CN108351958B (zh) 停车位的框线的检测方法及装置
EP3686084B1 (en) Parking support method and parking support device
JP5905691B2 (ja) 車両用操作入力装置
EP3307572B1 (en) Automated climate control system
JP5126666B2 (ja) 車両用操作入力装置
EP3381758B1 (en) Driver information system and method for a vehicle capable of driving in an autonomous driving mode
CN110968184B (zh) 设备控制装置
JP6028467B2 (ja) 車両用空調制御装置及びシステム
US20190236343A1 (en) Gesture detection device
JP2008056078A (ja) 車両用空調装置
JP2007182139A (ja) 車載機器自動調整システム
JP7226197B2 (ja) 車両制御装置
CN110688885B (zh) 控制装置和控制方法
JP2019020312A (ja) 表示制御装置および表示制御方法
JP2019200544A (ja) 安全運転支援装置
JP2018501998A (ja) 自動車の機器を制御するためのシステムおよび方法
JP2005047331A (ja) 制御装置
EP4029716A1 (en) Vehicle interactive system and method, storage medium, and vehicle
CN114724248A (zh) 控制方法、控制装置、车辆、计算机设备和介质
CN110774992B (zh) 操作辅助系统和操作辅助方法
EP3448723B1 (en) Human-machine interface apparatus for a vehicle
JP7295046B2 (ja) 装置操作システムおよび装置制御方法
US11975607B2 (en) Method and a display device for visualising an arrangement and method of operation of surroundings sensors of a motor vehicle
JP4879065B2 (ja) 車両用空調装置、車両用空調装置の制御方法、車載機器制御装置および車載機器の制御方法
EP3798059A1 (en) Control device and control method for vehicle-mounted equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant