CN116323324A - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN116323324A
CN116323324A CN202080105925.6A CN202080105925A CN116323324A CN 116323324 A CN116323324 A CN 116323324A CN 202080105925 A CN202080105925 A CN 202080105925A CN 116323324 A CN116323324 A CN 116323324A
Authority
CN
China
Prior art keywords
operation target
target device
line
information processing
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080105925.6A
Other languages
English (en)
Inventor
森田祐介
古屋友和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN116323324A publication Critical patent/CN116323324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

信息处理装置和信息处理方法存储与用户的视线方向有关的视线数据，在获取到声音数据时，基于所存储的视线数据来从多个设备中确定操作对象设备，并基于声音数据来生成针对操作对象设备的控制命令，以控制操作对象设备。

Description

信息处理装置和信息处理方法
技术领域
本发明涉及一种信息处理装置和信息处理方法。
背景技术
已知如下发明：识别车辆的驾驶者的声音，并基于识别结果来将车载设备中的一个设为操作对象设备，允许受理针对操作对象设备的操作输入，识别驾驶者进行的控制指示并向操作对象设备发送该控制指示(专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2017-159692号公报
发明内容
发明要解决的问题
专利文献1中记载的发明是基于识别驾驶者的声音所得到的结果来确定操作对象设备，存在如下问题：在无法唯一地确定操作对象设备的情况下，有可能发生误操作。
本发明是鉴于上述问题而完成的，其目的在于提供一种能够唯一地确定操作对象设备从而降低发生操作对象设备的误操作的可能性的信息处理装置和信息处理方法。
用于解决问题的方案
本发明的一个方式所涉及的信息处理装置和信息处理方法存储与用户的视线方向有关的视线数据，在获取到声音数据时，基于所存储的视线数据来从多个设备中确定操作对象设备，并基于声音数据来生成针对操作对象设备的控制命令，以控制操作对象设备。
发明的效果
根据本发明，能够唯一地确定操作对象设备从而降低发生操作对象设备的误操作的可能性。
附图说明
图1是示出本发明的一个实施方式所涉及的信息处理装置的结构的框图。
图2是示出本发明的一个实施方式所涉及的信息处理装置的处理的流程图。
具体实施方式
下面参照附图来对本发明的实施方式进行说明。在附图的记载中对相同的部分标注相同的附图标记并省略说明。
[信息处理装置的结构]
参照图1来说明本实施方式所涉及的信息处理装置1的结构例。作为一例，信息处理装置1搭载于车辆。如图1所示，信息处理装置1具备视线数据受理部21、声音数据受理部22以及控制器100。除此以外，信息处理装置1也可以还具备存储部25和告知部300。
视线数据受理部21与视线探测装置11及控制器100连接，从视线探测装置11获取(或受理)与用户的视线方向有关的视线数据。用户例如是乘坐车辆的乘客。视线探测装置11对从未图示的摄像机输入的图像数据进行例如以用户的脸、眼球为探测对象物的特征量计算和形状判别等识别处理，并基于识别出的探测对象物来计算用户的视线方向(视线向量)。
包含与由视线探测装置11计算出的视线方向有关的信息的视线数据被输入到视线数据受理部21。此外，视线数据中也可以包含用户看向该视线方向的时刻、用户看向该视线方向的频度、用户看向该视线方向的时间等信息。
视线数据受理部21向控制器100发送从视线探测装置11获取到的视线数据。除此以外，视线数据受理部21也可以还向后述的存储部25发送所获取到的视线数据。
声音数据受理部22与声音识别装置12及控制器100连接，从声音识别装置12获取(或受理)声音数据。在此，声音识别装置12应用频率分析等周知的技术来对从未图示的麦克风输入的用户的声音进行声音的识别处理，并计算与该声音对应的文本数据来作为声音数据。
由声音识别装置12计算出的声音数据被输入到声音数据受理部22。此外，声音数据中也可以包含获取到用于计算该声音数据的声音的时刻的信息。
声音数据受理部22向控制器100发送从声音识别装置12获取到的声音数据。除此以外，声音数据受理部22也可以还向后述的存储部25发送所获取到的声音数据。
存储部25与控制器100连接，存储由视线数据受理部21获取到的视线数据、由声音数据受理部22获取到的声音数据。存储部25也可以将所获取到的数据(视线数据、声音数据)存储规定时间的期间。即，也可以是，被存储的数据在从被存储起的规定时间的期间由存储部25保持，在从被存储起经过了规定时间之后被删除。
控制器100是具备CPU(Central Processing Unit：中央处理器)、存储器、存储装置、输入输出部等的通用的计算机。控制器100与作为信息处理装置1的控制对象的设备组400连接。
在此，设备组400是多个设备，例如是导航设备、门锁控制设备、窗开闭控制设备、摄像图像的显示设备、仪表显示设备、空调装置、天窗、遮阳板、音频装置等。设备组400中的被确定为操作对象设备的一个设备通过来自控制器100的信号而被进行控制。设备组400例如是搭载于车辆的多个设备。
在控制器100中安装有用于使该控制器100作为信息处理装置1发挥功能的计算机程序。控制器100通过执行计算机程序来作为信息处理装置1所具备的多个信息处理电路发挥功能。
此外，在此，示出通过软件来实现信息处理装置1所具备的多个信息处理电路的例子，但是当然还能够准备用于执行以下所示的各信息处理的专用的硬件来构成信息处理电路。另外，也可以是多个信息处理电路通过独立的硬件构成。
控制器100具备作为多个信息处理电路的设备确定部110、控制命令生成部120以及发送部130。
设备确定部110基于视线数据来将作为多个设备的设备组400中的至少一个设备确定为操作对象设备。更具体地说，设备确定部110也可以参照视线数据来将位于视线方向的设备确定为操作对象设备。此外，也可以是基于视线数据来从作为多个设备的设备组400中确定多个操作对象设备的结构。
另外，设备确定部110也可以参照规定期间内的视线数据来针对设备组400中的各个设备计算频度，并基于计算出的频度来确定为操作对象设备。在此，针对每个设备计算的“频度”的意思是在规定期间内视线方向朝向该设备的次数。在该情况下，也可以将所计算出的“频度”最高的设备确定为操作对象设备。
设备确定部110也可以参照规定期间内的视线数据来针对设备组400中的各个设备计算“停留时间”，并基于计算出的“停留时间”来确定为操作对象设备。在此，针对每个设备计算的“停留时间”的意思是在规定期间内视线方向持续地朝向该设备的时间。在该情况下，既可以将所计算出的“停留时间”比规定的阈值(例如2秒～5秒)长的设备确定为操作对象设备，也可以将所计算出的“停留时间”最长的设备确定为操作对象设备。
除此以外，由设备确定部110进行的确定操作对象设备的处理与由声音数据受理部22进行的获取(受理)声音数据的处理不分先后。即，既可以在确定操作对象设备之后获取声音数据，也可以在获取声音数据之后确定操作对象设备。
在获取声音数据之后确定操作对象设备的情况下，设备确定部110既可以基于输入了声音数据的时刻的视线方向来确定操作对象设备，也可以基于输入了声音数据的时刻之前(例如以输入了声音数据的时刻为基准该时刻之前规定时间时)的视线方向来确定操作对象设备。
具体地说，设备确定部110也可以参照声音数据中包含的时刻的信息，来从存储部25获取与该时刻或该时刻之前的时刻对应的视线数据，并基于所获取到的视线数据来确定操作对象设备。
设备确定部110也可以判定基于规定的时刻的视线方向是否能够确定出操作对象设备，在判定为无法确定出操作对象设备的情况下，基于该时刻之前的视线方向来确定操作对象设备。
具体地说，设备确定部110也可以在判定为基于某视线数据无法确定出操作对象设备的情况下，参照该视线数据中包含的时刻的信息，来从存储部25获取与该时刻之前的时刻对应的视线数据，并基于所获取到的视线数据来确定操作对象设备。
作为设备确定部110判定为无法确定出操作对象设备的情况的例子，例如能够例举如下情况：存在多个能够基于某视线数据中包含的视线方向被确定为操作对象设备的设备，从而无法从设备组400中唯一地确定出操作对象设备。例如可能在视线方向朝向相邻的多个设备的边界附近的情况下发生。
在这样的情况下，有可能无法高精度地决定应将相邻的多个设备中的哪一个设备确定为操作对象设备。因此，设备确定部110也可以参照该该视线数据中包含的时刻的信息，来从存储部25获取与该时刻之前的时刻对应的视线数据，并基于所获取到的视线数据来确定操作对象设备。
在上述的说明中，假定视线方向上存在设备本身的情况来进行了说明。除此以外，也可以是，即使是在视线方向上不存在设备本身的情况下，在视线方向上存在规定的图像、图标的情况下，设备确定部110也将与位于视线方向的图标对应的设备、服务确定为操作对象设备或操作对象服务。
另外，也可以是，即使是在视线方向上没有设备、图像、图标的情况下，在存在对通过视线方向确定出的区域预先关联的操作对象设备的情况下，也确定操作对象设备。例如，对车外前方区域预先关联了搭载于车辆前方的车载摄像机，在视线方向处于车外前方区域内的情况下，确定该车载摄像机。
控制命令生成部120基于声音数据来生成针对操作对象设备的控制命令。在此生成的控制命令例如是显示于操作对象设备的图像的放大、缩小、旋转或移动、或者操作对象设备的锁的解除或上锁等，控制命令是根据操作对象设备而事先决定的。
另外，对控制命令关联的声音数据是事先决定的，例如，声音数据是用于指示显示于操作对象设备的图像的放大、缩小、旋转或移动、以及操作对象设备的锁的解除或上锁中的至少一个操作的数据。另外，也可以是对一个控制命令关联多个声音数据。作为该情况的例子，对放大这一控制命令关联“请放大”、“请变大”等多个声音数据。
例如，在操作对象设备是导航设备的情况下，控制命令是显示于导航设备的图像的“放大”、“缩小”、“旋转”、“移动”等。与控制命令对应地，声音数据是“放大”、“缩小”、“(顺时针/逆时针)旋转”、“上/下/左/右”等。
例如，在操作对象设备是门锁控制设备的情况下，控制命令是“上锁”、“解锁”等。与控制命令对应地，声音数据是“关闭”、“打开”等。
此外，控制命令生成部120在无法基于声音数据生成控制命令的情况下，也可以解除操作对象设备。在此“解除”的意思是针对由设备确定部110确定出的操作对象设备，视作不是操作对象设备进行处理，意味着恢复到设备组400中的任何设备都没有被确定为操作对象设备的状态。
发送部130向由设备确定部110确定出的操作对象设备发送由控制命令生成部120生成的控制命令。发送部130也可以在向操作对象设备发送了控制命令之后解除操作对象设备。
此外，告知部300通过声音或光来进行告知。更具体地说，告知部300也可以向用户告知正在获取(或正在受理)声音数据。例如，告知部300既可以通过蜂鸣声等来告知正在受理中，也可以经由扬声器通过声音读出所确定的操作对象设备的名称，由此进行告知。此外，告知部300也可以经由设备组400中的各个设备所具备的灯、显示器等通过闪烁动作等光的变化来向用户进行告知。
[信息处理装置的处理过程]
接着，参照图2的流程图来说明本实施方式所涉及的信息处理装置1的处理过程。图2所示的信息处理装置1的处理既可以以规定的周期重复执行，也可以仅在车辆处于行驶状态的情况下执行。
此外，也可以与图2的流程图中示出的处理的执行并行地执行视线数据的获取(或受理)和声音数据的获取(或受理)。
首先，在步骤S101中，声音数据受理部22获取(或受理)声音数据，之后，在步骤S103中，控制器100判定是否被输入了声音数据。
在判定为没有被输入声音数据的情况下(在步骤S103中为“否”的情况下)，回到步骤S101。
另一方面，在判定为被输入了声音数据的情况下(在步骤S103中为“是”的情况下)，在步骤S105中，控制器100参照存储部25，来判定是否存在存储的视线数据。此外，设为在存储部25中随时存储视线数据受理部21获取到的视线数据。
在判定为不存在存储的视线数据的情况下(在步骤S105中为“否”的情况下)，结束图2的处理。
另一方面，在判定为存在存储的视线数据的情况下(在步骤S105中为“是”的情况下)，在步骤S107中，设备确定部110尝试能否基于所存储的视线数据中的一个视线数据来将作为多个设备的设备组400中的至少一个设备确定为操作对象设备。或者，也可以基于在S101中被输入的声音数据和所存储的视线数据这双方来确定操作对象设备。在步骤S109中，设备确定部110判定是否能够确定出操作对象设备。
在判定为无法确定出操作对象设备的情况下(在步骤S109中为“否”的情况下)，回到步骤S105。此外，在重复步骤S105的处理时，控制器100在将无法确定出操作对象设备的一个视线数据从对象中排除后判定是否存在存储的其它视线数据。
在判定为能够确定出操作对象设备的情况下(在步骤S109中为“是”的情况下)，在步骤S111中，控制命令生成部120基于在S101中被输入的声音数据和在S109中确定出的操作对象设备来生成针对操作对象设备的控制命令。然后，在步骤S113中，发送部130向操作对象设备发送所生成的控制命令。之后，结束图2的处理。
此外，在上述结构中，例示了在针对操作对象设备生成控制命令的情况下始终基于视线数据来确定操作对象设备的结构，但不限于此。
例如也可以设为如下结构：在S103中被输入了声音数据的情况下，判定是否能够根据声音数据来进行操作对象设备的确定和针对操作对象设备的控制命令的生成，(1)在基于被输入的声音数据能够进行操作对象设备的确定和针对操作对象设备的控制命令的生成的情况下，进入S113，对操作对象设备发送控制命令，(2)在基于被输入的声音数据无法进行操作对象设备的确定和针对操作对象设备的控制命令的生成的情况下，进入S105及其之后的步骤。在该情况下，在通过声音数据无法进行操作对象设备的确定或针对操作对象设备的控制命令的生成的情况下，基于视线数据来确定操作对象设备。
[实施方式的效果]
如上面详细地说明的那样，本实施方式所涉及的信息处理装置和信息处理方法存储与用户的视线方向有关的视线数据，在获取到声音数据时，基于所存储的视线数据来从多个设备中确定操作对象设备，并基于声音数据来生成针对操作对象设备的控制命令，向操作对象设备发送控制命令。
由此，能够唯一地确定操作对象设备从而降低发生操作对象设备的误操作的可能性。另外，由于基于视线数据来确定操作对象设备，因此用户不需要通过声音来指定操作对象设备，能够缩短用户的讲话。其结果，能够提高用户的便利性。
另外，由于使用视线数据来确定操作对象设备，因此与仅基于声音数据进行操作的情况相比，能够削减在声音识别中为了确定操作对象设备所需要的计算成本。另外，能够防止声音识别中的识别错误，降低发生误操作的可能性。
另外，用户仅通过视觉确认作为操作对象的设备并说出针对该设备的声音就能够操作该设备，因此不需要记住设备的操作按钮的位置、配置。并且，用户不需要为了触摸设备的操作按钮而移动上臂、手指。其结果，能够降低操作的繁杂度。
举例说明操作对象设备的确定和缩短用户的讲话。例如，在设备组400包括“音频设备”和“空调装置”的情况下，仅通过“提高”、“降低”这样的声音，无法确定要操作哪个设备。
然而，在用户发出“提高”、“降低”的声音之前视觉确认了“音频设备”的情况下，“音频设备”被确定为操作对象设备，并生成“提高音频设备的音量”、“降低音频设备的音量”这样的控制命令。其结果，即使在不通过声音指定“音频设备”的情况下，也不会对“空调装置”进行操作。由此，能够降低发生误操作的可能性。
反之，在用户发出“提高”、“降低”的声音之前视觉确认了“空调装置”的情况下，“空调装置”被确定为操作对象设备，并生成“提高空调装置的音量”、“降低空调装置的音量”这样的控制命令。其结果，即使在不通过声音指定“空调装置”的情况下，也不会对“音频设备”进行操作。由此，能够降低发生误操作的可能性。
除此以外，例如在设备组400包括“导航设备”、“摄像图像的显示设备”、“仪表显示设备”的情况下，仅通过“放大”、“缩小”、“旋转”、“移动”这样的声音，无法确定要操作哪个设备。在该情况下，也通过用户在发出“放大”、“缩小”、“旋转”、“移动”这样的声音之前视觉确认想要操作的设备，从而视觉确认的设备被确定为操作对象设备，并生成与声音对应的控制命令。由此，能够降低发生误操作的可能性。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，基于输入了声音数据的时刻的视线方向来确定操作对象设备。由此，用户仅通过在讲话的时刻视觉确认作为操作对象的设备，就能够指定操作对象设备。其结果，能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，基于输入了声音数据的时刻之前的视线方向来确定操作对象设备。由此，用户仅通过在紧挨着进行讲话之前视觉确认作为操作对象的设备，就能够指定操作对象设备。其结果，能够降低操作的繁杂度。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，基于从输入了声音数据的时刻起之前的规定时间的视线方向，来确定操作对象设备。由此，用户仅通过在紧挨着进行讲话之前视觉确认作为操作对象的设备，就能够指定操作对象设备。其结果，能够降低操作的繁杂度。特别是，进行仅以从讲话的时刻起规定时间的期间内的用户的视觉确认为对象的处理，能够降低发生误操作的可能性。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，在判定为基于输入了声音数据的时刻的视线方向无法确定操作对象设备的情况下，基于输入了声音数据的时刻之前的视线方向来确定操作对象设备。由此，用户不需要在视觉确认作为操作对象的设备的同时说出针对该设备的操作内容，能够降低操作的繁杂度。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，在判定为存在多个能够基于视线方向被确定为操作对象设备的设备的情况下，基于相比于视线方向而言之前的时刻的视线方向来确定操作对象设备。由此，能够在用户朝向各种各样的视觉确认方向的过程中，探测出朝向能够唯一地确定操作对象设备的视觉确认方向的情况，从而确定操作对象设备。其结果，用户不需要凝视特定的视觉确认方向。另外，能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，在无法基于声音数据从多个设备中确定操作对象设备的情况下，基于视线数据来确定操作对象设备。由此，确定操作对象设备的可能性提高，能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，将位于视线方向的设备确定为操作对象设备。由此，用户仅通过视觉确认作为操作对象的设备，就能够指定操作对象设备。其结果，能够降低操作的繁杂度。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，计算设备位于视线方向的频度，并基于该频度来将设备确定为操作对象设备。由此，能够探测用户有意地视觉确认作为操作对象的设备的情况。其结果，能够降低发生误操作的可能性，并且能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，计算设备位于视线方向的时间，并基于该时间来将设备确定为操作对象设备。由此，能够探测用户有意地视觉确认作为操作对象的设备的情况。其结果，能够降低发生误操作的可能性，并且能够降低操作的繁杂度。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，设备包括导航设备、门锁控制设备、窗开闭控制设备、摄像图像的显示设备、仪表显示设备、空调装置、天窗、遮阳板以及音频装置中的至少任一者。
用户仅通过视觉确认这些设备中的作为操作对象的设备并发出针对该设备的声音就能够操作该设备，因此不需要记住设备的操作按钮的位置、配置。并且，用户不需要为了触摸设备的操作按钮而移动上臂、手指。其结果，能够降低操作的繁杂度。
并且，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，控制命令是显示于操作对象设备的图像的放大、缩小、旋转或移动、或者操作对象设备的锁的解除或上锁。由于基于声音数据来自动地生成与操作对象设备对应的控制命令，因此能够提高用户的便利性。
另外，在本实施方式所涉及的信息处理装置和信息处理方法中，也可以是，声音数据是用于指示显示于操作对象设备的图像的放大、缩小、旋转或移动、以及操作对象设备的锁的解除或上锁中的至少任一者的数据。由于使用与操作对象设备对应的声音数据来生成控制命令，因此在确定了操作对象设备的状态下，用户不需要通过声音来指定操作对象设备，从而能够缩短用户的讲话。其结果，能够提高用户的便利性。
上述的实施方式中示出的各功能能够通过一个或多个处理电路来实现。处理电路包括被进行了编程的处理器、电路等，并且还包括专用的集成电路(ASIC)那样的装置、被配置为执行所记载的功能的电路构成要素等。
以上，按照实施方式来对本发明的内容进行了说明，但是对于本领域技术人员而言明确可知的是，本发明不限定于这些记载，能够进行各种变形以及改进。构成本公开的一部分的记述和附图不应被理解为用于限定本发明。根据本公开，本领域技术人员应明确各种各样的替代实施方式、实施例以及应用技术。
本发明当然包括在此没有记载的各种实施方式等。因而，本发明的技术范围仅根据基于上述的说明而妥当的权利要求书所涉及的技术特征确定。
附图标记说明
1：信息处理装置；11：视线探测装置；12：声音识别装置；21：视线数据受理部；22：声音数据受理部；25：存储部；100：控制器；110：设备确定部；120：控制命令生成部；130：发送部；300：告知部；400：设备组。

Claims (14)

1.一种信息处理装置，其特征在于，具备：
存储装置，其存储由视线数据受理部获取到的与用户的视线方向有关的视线数据；
声音数据受理部，其被输入声音数据；以及
控制器，
其中，所述控制器在获取到所述声音数据时，基于所述视线数据来从多个设备中确定操作对象设备，
所述控制器基于所述声音数据来生成针对所述操作对象设备的控制命令，
所述控制器向所述操作对象设备发送所述控制命令。
2.根据权利要求1所述的信息处理装置，其特征在于，
所述控制器基于输入了所述声音数据的时刻的所述视线方向来确定所述操作对象设备。
3.根据权利要求1或2所述的信息处理装置，其特征在于，
所述控制器基于输入了所述声音数据的时刻之前的所述视线方向来确定所述操作对象设备。
4.根据权利要求3所述的信息处理装置，其特征在于，
所述控制器基于从输入了所述声音数据的时刻起之前规定时间时的所述视线方向来确定所述操作对象设备。
5.根据权利要求1～4中的任一项所述的信息处理装置，其特征在于，
所述控制器在判定为基于输入了所述声音数据的时刻的所述视线方向无法确定出所述操作对象设备的情况下，基于输入了所述声音数据的时刻之前的所述视线方向来确定所述操作对象设备。
6.根据权利要求5所述的信息处理装置，其特征在于，
所述控制器在判定为存在多个能够基于所述视线方向被确定为所述操作对象设备的所述设备的情况下，基于相比于所述视线方向而言之前的时刻的所述视线方向来确定所述操作对象设备。
7.根据权利要求1～6中的任一项所述的信息处理装置，其特征在于，
所述控制器在基于所述声音数据无法从多个设备中确定出操作对象设备的情况下，基于所述视线数据来确定所述操作对象设备。
8.根据权利要求1～7中的任一项所述的信息处理装置，其特征在于，
所述控制器将位于所述视线方向的所述设备确定为所述操作对象设备。
9.根据权利要求1～8中的任一项所述的信息处理装置，其特征在于，
所述控制器计算所述设备位于所述视线方向的频度，
所述控制器基于所述频度来将所述设备确定为所述操作对象设备。
10.根据权利要求1～9中的任一项所述的信息处理装置，其特征在于，
所述控制器计算所述设备位于所述视线方向的时间，
所述控制器基于所述时间来将所述设备确定为所述操作对象设备。
11.根据权利要求1～10中的任一项所述的信息处理装置，其特征在于，
所述设备包括导航设备、门锁控制设备、窗开闭控制设备、摄像图像的显示设备、仪表显示设备、空调装置、天窗、遮阳板以及音频装置中的至少任一者。
12.根据权利要求1～11中的任一项所述的信息处理装置，其特征在于，
所述控制命令是显示于所述操作对象设备的图像的放大、缩小、旋转或移动、或者所述操作对象设备的锁的解除或上锁。
13.根据权利要求1～12中的任一项所述的信息处理装置，其特征在于，
所述声音数据是用于指示显示于所述操作对象设备的图像的放大、缩小、旋转或移动、以及所述操作对象设备的锁的解除或上锁中的至少任一者的数据。
14.一种信息处理方法，其特征在于，包括以下步骤：
存储由视线数据受理部获取到的与用户的视线方向有关的视线数据；
在从声音数据受理部获取到声音数据时，基于所存储的所述视线数据来从多个设备中确定操作对象设备；
基于所述声音数据来生成针对所述操作对象设备的控制命令；以及
向所述操作对象设备发送所述控制命令。
CN202080105925.6A 2020-10-22 2020-10-22 信息处理装置和信息处理方法 Pending CN116323324A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2020/000891 WO2022084708A1 (ja) 2020-10-22 2020-10-22 情報処理装置及び情報処理方法

Publications (1)

Publication Number Publication Date
CN116323324A true CN116323324A (zh) 2023-06-23

Family

ID=81290139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080105925.6A Pending CN116323324A (zh) 2020-10-22 2020-10-22 信息处理装置和信息处理方法

Country Status (5)

Country Link
US (1) US20230377578A1 (zh)
EP (1) EP4234338A4 (zh)
JP (1) JP7473002B2 (zh)
CN (1) CN116323324A (zh)
WO (1) WO2022084708A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4754294B2 (ja) 2005-08-02 2011-08-24 株式会社村上開明堂 車両用ミラーの鏡面角度調整方法およびその装置
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
CN105204628A (zh) 2015-09-01 2015-12-30 涂悦 一种基于视觉唤醒的语音控制方法
JP2017090611A (ja) 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム
JP2017159692A (ja) 2016-03-07 2017-09-14 トヨタ自動車株式会社 車両用入力装置
US20200183496A1 (en) * 2017-08-01 2020-06-11 Sony Corporation Information processing apparatus and information processing method
US20210064334A1 (en) * 2018-01-18 2021-03-04 Mitsubishi Electric Corporation Device operation apparatus, device operation system and device operation method

Also Published As

Publication number Publication date
US20230377578A1 (en) 2023-11-23
EP4234338A1 (en) 2023-08-30
JPWO2022084708A1 (zh) 2022-04-28
JP7473002B2 (ja) 2024-04-23
EP4234338A4 (en) 2023-12-20
WO2022084708A1 (ja) 2022-04-28

Similar Documents

Publication Publication Date Title
CN104755308B (zh) 具有手势识别的机动车操作接口
JP3903968B2 (ja) 非接触式情報入力装置
CN106471573B (zh) 语音识别装置以及语音识别系统
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
CN105620354A (zh) 用于提醒驾驶员可能的后座乘客或物品的系统和方法
US9489941B2 (en) Operation assisting method and operation assisting device
JP6011579B2 (ja) ジェスチャ入力装置
CN112498463B (zh) 电动转向柱的控制方法、装置、系统、设备及存储介质
CN106379262B (zh) 一种带语音识别控制的车载蓝牙麦克风
JP2017159692A (ja) 車両用入力装置
CN111045512B (zh) 车辆、输出车辆的信息的方法及计算机可读记录介质
CN116323324A (zh) 信息处理装置和信息处理方法
CN116234724A (zh) 信息处理装置和信息处理方法
US10228769B2 (en) Equipment control device, equipment control method, and non-transitory recording medium
CN115649109B (zh) 基于智能汽车手环的汽车控制方法、系统及存储介质
CN113990318A (zh) 控制方法、装置、车载终端、车辆和存储介质
CN112666921B (zh) 车载控制模块的故障处理方法、装置和车载控制模块
CN115071563A (zh) 车辆提示信息生成方法、装置、车门锁控制器及车辆
EP4174636A1 (en) Information processing device and information processing method
EP4325395A2 (en) Hybrid rule engine for vehicle automation
WO2020007881A1 (en) Method for training a gesture recognition system
CN117666803A (zh) 一种车辆控制方法、装置、存储介质和车辆
CN114802286A (zh) 车辆手势识别控制方法、装置、系统、存储介质及车辆
CN113613931A (zh) 信息提示系统
CN114872657A (zh) 车门控制方法、装置、电子设备和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination