CN116234724A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN116234724A
CN116234724A CN202080105926.0A CN202080105926A CN116234724A CN 116234724 A CN116234724 A CN 116234724A CN 202080105926 A CN202080105926 A CN 202080105926A CN 116234724 A CN116234724 A CN 116234724A
Authority
CN
China
Prior art keywords
operation target
target device
line
information processing
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080105926.0A
Other languages
English (en)
Inventor
森田祐介
古屋友和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN116234724A publication Critical patent/CN116234724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Selective Calling Equipment (AREA)

Abstract

信息处理装置和信息处理方法基于与用户的视线方向有关的视线数据来从多个设备中确定操作对象设备，在从确定了操作对象设备起的规定时间的期间获取声音数据，并生成针对操作对象设备的控制命令，以控制操作对象设备。

Description

信息处理装置和信息处理方法
技术领域
本发明涉及一种信息处理装置和信息处理方法。
背景技术
已知如下发明：识别车辆的驾驶者的声音，并基于识别结果来将车载设备中的一个设为操作对象设备，允许受理针对操作对象设备的操作输入，识别驾驶者进行的控制指示并向操作对象设备发送该控制指示(专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-159692号公报
发明内容
发明要解决的问题
专利文献1中记载的发明是基于识别驾驶者的声音所得到的结果来确定操作对象设备，存在如下问题：在无法唯一地确定操作对象设备的情况下，有可能发生误操作。
本发明是鉴于上述问题而完成的，其目的在于提供一种能够唯一地确定操作对象设备从而降低发生操作对象设备的误操作的可能性的信息处理装置和信息处理方法。
用于解决问题的方案
本发明的一个方式所涉及的信息处理装置和信息处理方法基于与用户的视线方向有关的视线数据来从多个设备中确定操作对象设备，在从确定了操作对象设备起的规定时间的期间获取声音数据，并生成针对操作对象设备的控制命令，以控制操作对象设备。
发明的效果
根据本发明，能够唯一地确定操作对象设备从而降低发生操作对象设备的误操作的可能性。
附图说明
图1是示出本发明的一个实施方式所涉及的信息处理装置的结构的框图。
图2是示出本发明的一个实施方式所涉及的信息处理装置的处理的流程图。
具体实施方式
下面参照附图来对本发明的实施方式进行说明。在附图的记载中对相同的部分标注相同的附图标记并省略说明。
[信息处理装置的结构]
参照图1来说明本实施方式所涉及的信息处理装置1的结构例。作为一例，信息处理装置1搭载于车辆。如图1所示，信息处理装置1具备视线数据受理部21、声音数据受理部22以及控制器100。除此以外，信息处理装置1也可以还具备存储部25和告知部300。
视线数据受理部21与视线探测装置11及控制器100连接，从视线探测装置11获取(或受理)与用户的视线方向有关的视线数据。用户例如是乘坐车辆的乘客。视线探测装置11对从未图示的摄像机输入的图像数据进行例如以用户的脸、眼球为探测对象物的特征量计算和形状判别等识别处理，并基于识别出的探测对象物来计算用户的视线方向(视线向量)。
包含与由视线探测装置11计算出的视线方向有关的信息的视线数据被输入到视线数据受理部21。此外，视线数据中也可以包含用户看向该视线方向的时刻、用户看向该视线方向的频度、用户看向该视线方向的时间等信息。
视线数据受理部21向控制器100发送从视线探测装置11获取到的视线数据。除此以外，视线数据受理部21也可以还向后述的存储部25发送所获取到的视线数据。
声音数据受理部22与声音识别装置12及控制器100连接，从声音识别装置12获取(或受理)声音数据。在此，声音识别装置12应用频率分析等周知的技术来对从未图示的麦克风输入的用户的声音进行声音的识别处理，并计算与该声音对应的文本数据来作为声音数据。
由声音识别装置12计算出的声音数据被输入到声音数据受理部22。此外，声音数据中也可以包含获取到用于计算该声音数据的声音的时刻的信息。
声音数据受理部22向控制器100发送从声音识别装置12获取到的声音数据。除此以外，声音数据受理部22也可以还向后述的存储部25发送所获取到的声音数据。
存储部25与控制器100连接，存储由视线数据受理部21获取到的视线数据、由声音数据受理部22获取到的声音数据。存储部25也可以将所获取到的数据(视线数据、声音数据)存储规定时间的期间。即，也可以是，被存储的数据在从被存储起的规定时间的期间由存储部25保持，在从被存储起经过了规定时间之后被删除。
控制器100是具备CPU(Central Processing Unit：中央处理器)、存储器、存储装置、输入输出部等的通用的计算机。控制器100与作为信息处理装置1的控制对象的设备组400连接。
在此，设备组400是多个设备，例如是导航设备、门锁控制设备、窗开闭控制设备、摄像图像的显示设备、仪表显示设备、空调装置、天窗、遮阳板、音频装置等。设备组400中的被确定为操作对象设备的一个设备通过来自控制器100的信号而被进行控制。设备组400例如是搭载于车辆的多个设备。
在控制器100中安装有用于使该控制器100作为信息处理装置1发挥功能的计算机程序。控制器100通过执行计算机程序来作为信息处理装置1所具备的多个信息处理电路发挥功能。
此外，在此，示出通过软件来实现信息处理装置1所具备的多个信息处理电路的例子，但是当然还能够准备用于执行以下所示的各信息处理的专用的硬件来构成信息处理电路。另外，也可以是多个信息处理电路通过独立的硬件构成。
控制器100具备作为多个信息处理电路的设备确定部110、控制命令生成部120以及发送部130。
设备确定部110基于视线数据来将作为多个设备的设备组400中的至少一个设备确定为操作对象设备。更具体地说，设备确定部110也可以参照视线数据来将位于视线方向的设备确定为操作对象设备。
另外，设备确定部110也可以参照规定期间内的视线数据来针对设备组400中的各个设备计算频度，并基于计算出的频度来确定为操作对象设备。在此，针对每个设备计算的“频度”的意思是在规定期间内视线方向朝向该设备的次数。在该情况下，也可以将所计算出的“频度”最高的设备确定为操作对象设备。
设备确定部110也可以参照规定期间内的视线数据来针对设备组400中的各个设备计算“停留时间”，并基于计算出的“停留时间”来确定为操作对象设备。在此，针对每个设备计算的“停留时间”的意思是在规定期间内视线方向持续地朝向该设备的时间。在该情况下，既可以将所计算出的“停留时间”比规定的阈值(例如2秒～5秒)长的设备确定为操作对象设备，也可以将所计算出的“停留时间”最长的设备确定为操作对象设备。
除此以外，由设备确定部110进行的确定操作对象设备的处理与由声音数据受理部22进行的获取(受理)声音数据的处理不分先后。即，既可以在确定操作对象设备之后获取声音数据，也可以在获取声音数据之后确定操作对象设备。
在获取声音数据之后确定操作对象设备的情况下，设备确定部110既可以基于输入了声音数据的时刻的视线方向来确定操作对象设备，也可以基于输入了声音数据的时刻之前(例如以输入了声音数据的时刻为基准该时刻之前的规定时间)的视线方向来确定操作对象设备。
具体地说，设备确定部110也可以参照声音数据中包含的时刻的信息，来从存储部25获取与该时刻或该时刻之前的时刻对应的视线数据，并基于所获取到的视线数据来确定操作对象设备。
设备确定部110也可以判定基于规定的时刻的视线方向是否能够确定出操作对象设备，在判定为无法确定出操作对象设备的情况下，基于该时刻之前的视线方向来确定操作对象设备。
具体地说，设备确定部110也可以在判定为基于某视线数据无法确定出操作对象设备的情况下，参照该视线数据中包含的时刻的信息，来从存储部25获取与该时刻之前的时刻对应的视线数据，并基于所获取到的视线数据来确定操作对象设备。
作为设备确定部110判定为无法确定出操作对象设备的情况的例子，例如能够例举如下情况：存在多个能够基于某视线数据中包含的视线方向被确定为操作对象设备的设备，从而无法从设备组400中唯一地确定出操作对象设备。例如可能在视线方向朝向相邻的多个设备的边界附近的情况下发生。
在这样的情况下，有可能无法高精度地决定应将相邻的多个设备中的哪一个设备确定为操作对象设备。因此，设备确定部110也可以参照该该视线数据中包含的时刻的信息，来从存储部25获取与该时刻之前的时刻对应的视线数据，并基于所获取到的视线数据来确定操作对象设备。
在上述的说明中，假定视线方向上存在设备本身的情况来进行了说明。除此以外，也可以是，即使是在视线方向上不存在设备本身的情况下，在视线方向上存在规定的图像、图标的情况下，设备确定部110也将与位于视线方向的图像、图标对应的设备、服务确定为操作对象设备或操作对象服务。
另外，也可以是，即使是在视线方向上没有设备、图像、图标的情况下，在存在对通过视线方向确定出的区域预先关联的操作对象设备的情况下，也确定操作对象设备。例如，对车外前方区域预先关联了搭载于车辆前方的车载摄像机，在视线方向处于车外前方区域内的情况下，确定该车载摄像机。
控制命令生成部120基于声音数据来生成针对操作对象设备的控制命令。在此生成的控制命令例如是显示于操作对象设备的图像的放大、缩小、旋转或移动、或者操作对象设备的锁的解除或上锁等，控制命令是根据操作对象设备而事先决定的。
另外，对控制命令关联的声音数据也可以是事先决定的，例如，声音数据是用于指示显示于操作对象设备的图像的放大、缩小、旋转或移动、以及操作对象设备的锁的解除或上锁中的至少一个操作的数据。另外，也可以是对一个控制命令关联多个声音数据。作为该情况的例子，对放大这一控制命令关联“请放大”、“请变大”等多个声音数据。
例如，在操作对象设备是导航设备的情况下，控制命令是显示于导航设备的图像的“放大”、“缩小”、“旋转”、“移动”等。与控制命令对应地，声音数据是“放大”、“缩小”、“(顺时针/逆时针)旋转”、“上/下/左/右”等。
例如，在操作对象设备是门锁控制设备的情况下，控制命令是“上锁”、“解锁”等。与控制命令对应地，声音数据是“关闭”、“打开”等。
此外，控制命令生成部120在无法基于声音数据生成控制命令的情况下，也可以解除操作对象设备。在此“解除”的意思是针对由设备确定部110确定出的操作对象设备，视作不是操作对象设备进行处理，意味着恢复到设备组400中的任何设备都没有被确定为操作对象设备的状态。
发送部130向由设备确定部110确定出的操作对象设备发送由控制命令生成部120生成的控制命令。发送部130也可以在向操作对象设备发送了控制命令之后解除操作对象设备。
此外，告知部300通过声音或光来进行告知。更具体地说，告知部300也可以向用户告知正在获取(或正在受理)声音数据。例如，告知部300既可以通过蜂鸣声等来告知正在受理中，也可以经由扬声器通过声音读出所确定的操作对象设备的名称，由此进行告知。此外，告知部300也可以经由设备组400中的各个设备所具备的灯、显示器等通过闪烁动作等光的变化来向用户进行告知。
[信息处理装置的处理过程]
接着，参照图2的流程图来说明本实施方式所涉及的信息处理装置1的处理过程。图2所示的信息处理装置1的处理既可以以规定的周期重复执行，也可以仅在车辆处于行驶状态的情况下执行。
此外，也可以与图2的流程图中示出的处理的执行并行地执行视线数据的获取(或受理)和声音数据的获取(或受理)。
首先，在步骤S101中，视线数据受理部21获取(或受理)视线数据，之后，在步骤S103中，控制器100判定是否被输入了视线数据。
在判定为没有被输入视线数据的情况下(在步骤S103中为“否”的情况下)，回到步骤S101。
另一方面，在判定为被输入了视线数据的情况下(在步骤S103中为“是”的情况下)，在步骤S105中，设备确定部110基于视线数据来将作为多个设备的设备组400中的至少一个设备确定为操作对象设备。
然后，在步骤S107中，声音数据受理部22获取(或受理)声音数据，之后，在步骤S109中，控制器100判定是否被输入了声音数据。
在判定为被输入了声音数据的情况下(在步骤S109中为“是”的情况下)，在步骤S113中，控制命令生成部120基于声音数据来生成针对操作对象设备的控制命令。然后，在步骤S115中，发送部130向操作对象设备发送所生成的控制命令。之后，结束图2的处理。
在判定为没有被输入声音数据的情况下(在步骤S109中为“否”的情况下)，在步骤S111中，控制器100判定从确定操作对象设备起是否经过了规定时间。
在判定为没有经过规定时间的情况下(在步骤S111中为“否”的情况下)，回到步骤S107。
另一方面，在判定为经过了规定时间的情况下(在步骤S111中为“是”的情况下)，在步骤S117中，控制命令生成部120解除操作对象设备。之后，结束图2的处理。
此外，“规定时间”也可以能够根据车辆的驾驶状况而变化。例如，用户的驾驶负担大的情况下的规定时间被设定得比用户的驾驶负担小的情况下的规定时间长。
[实施方式的效果]
如上面详细地说明的那样，本实施方式所涉及的信息处理装置和信息处理方法基于与用户的视线方向有关的视线数据来从多个设备中确定操作对象设备，在从确定了操作对象设备起的规定时间的期间获取声音数据，并生成针对操作对象设备的控制命令，向操作对象设备发送控制命令。
由此，能够唯一地确定操作对象设备从而降低发生操作对象设备的误操作的可能性。另外，由于基于视线数据来确定操作对象设备，因此用户不需要通过声音来指定操作对象设备，能够缩短用户的讲话。其结果，能够提高用户的便利性。
另外，由于使用视线数据来确定操作对象设备，因此与仅基于声音数据进行操作的情况相比，能够削减在声音识别中为了确定操作对象设备所需要的计算成本。另外，能够防止声音识别中的识别错误，降低发生误操作的可能性。
另外，用户仅通过视觉确认作为操作对象的设备并说出针对该设备的声音就能够操作该设备，因此不需要记住设备的操作按钮的位置、配置。并且，用户不需要为了触摸设备的操作按钮而移动上臂、手指。其结果，能够降低操作的繁杂度。
举例说明操作对象设备的确定和缩短用户的讲话。例如，在设备组400包括“音频设备”和“空调装置”的情况下，仅通过“提高”、“降低”这样的声音，无法确定要操作哪个设备。
然而，在用户视觉确认了“音频设备”之后发出“提高”、“降低”这样的声音的情况下，“音频设备”被确定为操作对象设备，并生成“提高音频设备的音量”、“降低音频设备的音量”这样的控制命令。其结果，即使在不通过声音指定“音频设备”的情况下，也不会对“空调装置”进行操作。由此，能够降低发生误操作的可能性。
反之，在用户视觉确认了“空调装置”之后发出“提高”、“降低”这样的声音的情况下，“空调装置”被确定为操作对象设备，并生成“提高空调装置的音量”、“降低空调装置的音量”这样的控制命令。其结果，即使在不通过声音指定“空调装置”的情况下，也不会对“音频设备”进行操作。由此，能够降低发生误操作的可能性。
除此以外，例如在设备组400包括“导航设备”、“摄像图像的显示设备”、“仪表显示设备”的情况下，仅通过“放大”、“缩小”、“旋转”、“移动”这样的声音，无法确定要操作哪个设备。在该情况下，也通过用户在视觉确认了想要操作的设备之后发出“放大”、“缩小”、“旋转”、“移动”这样的声音，从而视觉确认的设备被确定为操作对象设备，并生成与声音对应的控制命令。由此，能够降低发生误操作的可能性。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，将位于视线方向的设备确定为操作对象设备。由此，用户仅通过视觉确认作为操作对象的设备，就能够指定操作对象设备。其结果，能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，计算设备位于视线方向的频度，并基于该频度来将设备确定为操作对象设备。由此，能够探测用户有意地视觉确认作为操作对象的设备的情况。其结果，能够降低发生误操作的可能性，并且能够降低操作的繁杂度。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，计算设备位于视线方向的时间，并基于该时间来将设备确定为操作对象设备。由此，能够探测用户有意地视觉确认作为操作对象的设备的情况。其结果，能够降低发生误操作的可能性，并且能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，在规定时间的期间无法基于声音数据生成控制命令的情况下，解除操作对象设备。由此，进行仅以从用户视觉确认作为操作对象的设备起的规定时间的期间内的用户的讲话为对象的处理，能够降低发生误操作的可能性。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，在规定时间的期间通过声音或光来进行告知。尤其是，也可以以明示所确定出的操作对象设备的方式通过声音或光来进行告知。由此，用户能够识别出正在获取(或正在受理)表示针对所确定出的操作对象设备的操作内容的声音。其结果，能够提高用户的便利性。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，设备包括导航设备、门锁控制设备、窗开闭控制设备、摄像图像的显示设备、仪表显示设备、空调装置、天窗、遮阳板以及音频装置中的至少任一者。
用户仅通过视觉确认这些设备中的作为操作对象的设备并发出针对该设备的声音就能够操作该设备，因此不需要记住设备的操作按钮的位置、配置。并且，用户不需要为了触摸设备的操作按钮而移动上臂、手指。其结果，能够降低操作的繁杂度。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，控制命令是显示于操作对象设备的图像的放大、缩小、旋转或移动、或者操作对象设备的锁的解除或上锁。由于基于声音数据来自动地生成与操作对象设备对应的控制命令，因此能够提高用户的便利性。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，声音数据是用于指示显示于操作对象设备的图像的放大、缩小、旋转或移动、以及操作对象设备的锁的解除或上锁中的至少任一者的数据。由于使用与操作对象设备对应的声音数据来生成控制命令，因此在确定了操作对象设备的状态下，用户不需要通过声音来指定操作对象设备，从而能够缩短用户的讲话。其结果，能够提高用户的便利性。
上述的实施方式中示出的各功能能够通过一个或多个处理电路来实现。处理电路包括被进行了编程的处理器、电路等，并且还包括专用的集成电路(ASIC)那样的装置、被配置为执行所记载的功能的电路构成要素等。
以上，按照实施方式来对本发明的内容进行了说明，但是对于本领域技术人员而言明确可知的是，本发明不限定于这些记载，能够进行各种变形以及改进。构成本公开的一部分的记述和附图不应被理解为用于限定本发明。根据本公开，本领域技术人员应明确各种各样的替代实施方式、实施例以及应用技术。
本发明当然包括在此没有记载的各种实施方式等。因而，本发明的技术范围仅根据基于上述的说明而妥当的权利要求书所涉及的技术特征确定。
附图标记说明
1：信息处理装置；11：视线探测装置；12：声音识别装置；21：视线数据受理部；22：声音数据受理部；25：存储部；100：控制器；110：设备确定部；120：控制命令生成部；130：发送部；300：告知部；400：设备组。

Claims (10)

1.一种信息处理装置，其特征在于，具备：
视线数据受理部，其被输入与用户的视线方向有关的视线数据；
声音数据受理部，其被输入声音数据；以及
控制器，
其中，所述控制器基于所述视线数据来从多个设备中确定操作对象设备，
在从确定了所述操作对象设备起的规定时间的期间，所述控制器获取所述声音数据，并生成针对所述操作对象设备的控制命令，
所述控制器向所述操作对象设备发送所述控制命令。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述控制器将位于所述视线方向的所述设备确定为所述操作对象设备。
3.根据权利要求1或2所述的信息处理装置，其特征在于，
所述控制器计算所述设备位于所述视线方向的频度，
所述控制器基于所述频度来将所述设备确定为所述操作对象设备。
4.根据权利要求1～3中的任一项所述的信息处理装置，其特征在于，
所述控制器计算所述设备位于所述视线方向的时间，
所述控制器基于所述时间来将所述设备确定为所述操作对象设备。
5.根据权利要求1～4中的任一项所述的信息处理装置，其特征在于，
所述控制器在所述规定时间的期间无法基于所述声音数据生成所述控制命令的情况下，解除所述操作对象设备。
6.根据权利要求1～5中的任一项所述的信息处理装置，其特征在于，
还具备告知部，所述告知部在所述规定时间的期间通过声音或光来进行告知。
7.根据权利要求1～6中的任一项所述的信息处理装置，其特征在于，
所述设备包括导航设备、门锁控制设备、窗开闭控制设备、摄像图像的显示设备、仪表显示设备、空调装置、天窗、遮阳板以及音频装置中的至少任一者。
8.根据权利要求1～7中的任一项所述的信息处理装置，其特征在于，
所述控制命令是显示于所述操作对象设备的图像的放大、缩小、旋转或移动、或者所述操作对象设备的锁的解除或上锁。
9.根据权利要求1～8中的任一项所述的信息处理装置，其特征在于，
所述声音数据是用于指示显示于所述操作对象设备的图像的放大、缩小、旋转或移动、以及所述操作对象设备的锁的解除或上锁中的至少任一者的数据。
10.一种信息处理方法，其特征在于，包括以下步骤：
基于由视线数据受理部获取到的与用户的视线方向有关的视线数据，来从多个设备中确定操作对象设备；
在从确定了所述操作对象设备起的规定时间的期间，获取被输入到声音数据受理部的声音数据，并生成针对所述操作对象设备的控制命令；以及
向所述操作对象设备发送所述控制命令。
CN202080105926.0A 2020-10-22 2020-10-22 信息处理装置和信息处理方法 Pending CN116234724A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2020/000892 WO2022084709A1 (ja) 2020-10-22 2020-10-22 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
CN116234724A true CN116234724A (zh) 2023-06-06

Family

ID=81290142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080105926.0A Pending CN116234724A (zh) 2020-10-22 2020-10-22 信息处理装置和信息处理方法

Country Status (5)

Country Link
US (1) US20230365141A1 (zh)
EP (1) EP4234339A4 (zh)
JP (1) JPWO2022084709A1 (zh)
CN (1) CN116234724A (zh)
WO (1) WO2022084709A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4754294B2 (ja) * 2005-08-02 2011-08-24 株式会社村上開明堂 車両用ミラーの鏡面角度調整方法およびその装置
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
CN105204628A (zh) * 2015-09-01 2015-12-30 涂悦 一种基于视觉唤醒的语音控制方法
JP2017090611A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
JP2017159692A (ja) 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用入力装置
US20200183496A1 (en) * 2017-08-01 2020-06-11 Sony Corporation Information processing apparatus and information processing method
WO2019142295A1 (ja) * 2018-01-18 2019-07-25 三菱電機株式会社 機器操作装置、機器操作システムおよび機器操作方法

Also Published As

Publication number Publication date
EP4234339A1 (en) 2023-08-30
WO2022084709A8 (ja) 2023-01-05
WO2022084709A1 (ja) 2022-04-28
JPWO2022084709A1 (zh) 2022-04-28
EP4234339A4 (en) 2023-12-20
US20230365141A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
CN104755308B (zh) 具有手势识别的机动车操作接口
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US9785235B2 (en) Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
CN106471573B (zh) 语音识别装置以及语音识别系统
JP2005050177A (ja) 非接触式情報入力装置
CN105620354A (zh) 用于提醒驾驶员可能的后座乘客或物品的系统和方法
JP6011579B2 (ja) ジェスチャ入力装置
JP2017097695A (ja) 車両停車誘導システムおよび車両停車誘導方法
US20030065515A1 (en) Information processing system and method operable with voice input command
JP2017159692A (ja) 車両用入力装置
CN116234724A (zh) 信息处理装置和信息处理方法
CN116323324A (zh) 信息处理装置和信息处理方法
US10228769B2 (en) Equipment control device, equipment control method, and non-transitory recording medium
CN111045512B (zh) 车辆、输出车辆的信息的方法及计算机可读记录介质
CN115649109B (zh) 基于智能汽车手环的汽车控制方法、系统及存储介质
CN113990318A (zh) 控制方法、装置、车载终端、车辆和存储介质
CN112069914A (zh) 一种车辆的控制方法和系统
CN113157195A (zh) 控制触摸屏的方法、装置、存储介质及电子设备
EP4174636A1 (en) Information processing device and information processing method
EP4325395A2 (en) Hybrid rule engine for vehicle automation
CN114834391B (zh) 一种车辆启动钥匙检测方法、装置及车辆
CN109923442B (zh) 物体检测装置及物体检测方法
CN114872657A (zh) 车门控制方法、装置、电子设备和车辆
CN118314635A (zh) 一种车辆行驶计费监控方法、装置、行业设备和存储介质
CN112669489A (zh) 行车记录仪的拍摄方法、装置、行车记录仪及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination