CN113260953A - 信息处理设备与信息处理方法 - Google Patents

信息处理设备与信息处理方法 Download PDF

Info

Publication number
CN113260953A
CN113260953A CN201980087213.3A CN201980087213A CN113260953A CN 113260953 A CN113260953 A CN 113260953A CN 201980087213 A CN201980087213 A CN 201980087213A CN 113260953 A CN113260953 A CN 113260953A
Authority
CN
China
Prior art keywords
situation
information processing
voice command
voice
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980087213.3A
Other languages
English (en)
Inventor
田中辉行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113260953A publication Critical patent/CN113260953A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803Home automation networks
    • H04L12/2816Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Abstract

本发明使得用户能够满意地执行语音操作。根据本发明,情形判断部判断情形。状态控制部执行适合于所判断的情形的语音命令的接收状态的控制。例如,通过显示器或语音输出通知用户处于接收状态的语音命令是什么。在不执行诸如发出唤醒字的用户动作的情况下,用户能够发出语音命令,以防止出现错误识别。这减少了用户的困扰与负担。

Description

信息处理设备与信息处理方法
技术领域
本技术涉及一种信息处理设备与信息处理方法。更具体地,本技术涉及一种适合应用于包括智能TV和智能扬声器的语音使能装置的信息处理设备与信息处理方法。
背景技术
通常,在诸如智能TV或智能扬声器等语音使能装置中,从用户接收语音命令需要用户执行用户动作,诸如发出指定的唤醒字(其也可以被称为“热字”、“开始字”等)或按下指定按钮等。
需要该用户动作,以仅将紧跟用户动作之后发出的语音视为语音命令,以防止将用户在日常对话中的话语错误地识别为语音命令。然而,每次迫使用户执行发出语音命令的用户动作是麻烦并且烦人的。
例如,PTL 1公开了一种在判断用户看着预定对象的情况下,基于关于用户在显示屏幕上的视线的位置的信息而开始接收语音命令的技术。在这种情况下,对于用户来说,用户看着预定对象(作为指定唤醒字的上述所述话语的可替代方案)或按下指定按钮的动作也是麻烦并且烦人的。
[引用列表]
[专利文献]
[PTL 1]
日本专利特开公开号2015-055718
发明内容
[技术问题]
为了减少用户的麻烦与负担,在不需要用户动作的情况下,使得能够发出语音命令。
本技术的目的是使得用户适当地执行语音操作。
[问题的解决方案]
本技术的构思是提供一种信息处理设备,包括:控制部,控制判断情形的处理,以将适合于所判断的情形的语音命令置于可接收状态。
在本技术中,控制部控制判断情形的处理。随后,控制部将适合于所判断的情形的语音命令置于可接收状态。例如,信息处理设备可以进一步包括:命令执行器,在语音命令适合于情形的情况下,执行所输入的语音命令。
例如,控制部可以控制应用功能的情形的判断,并且情形可以是应用功能的所判断的情形。因此,将适合于应用功能的情形的语音命令自动置于可接收状态。在这种情况下,应用功能可以是例如智能电视或智能扬声器的应用功能。
而且,信息处理设备可以进一步包括例如传感器部,并且情形可以是通过传感器部获取的情形。因此,将适合于通过传感器部获取的情形的语音命令自动置于可接收状态。在这种情况下,例如,传感器部可以包括摄像机。此外,在这种情况下,例如,情形可以是用户的情形。
进一步地,例如,信息处理设备可以进一步包括与外部装置进行通信的通信器,并且情形可以是通过外部装置获取的情形。因此,将适合于通过外部装置获取的情形的语音命令自动置于可接收状态。
由此,在本技术中,执行控制,以使得将适合于所判断情形的语音命令置于可接收状态。这使得用户能够在不执行用户动作的情况下发出语音命令而防止出现错误识别并且减少用户的麻烦与负担。
进一步地,根据本技术,信息处理设备可以进一步包括例如向用户通知适合于情形的语音命令的命令通知器。这使得用户能够适当地发出适合于情形的语音命令。
附图说明
图1是描述信息处理系统的实施例的概况作为实施方式的框图。
图2是描述语音使能装置中所包括的信息处理设备的配置的实施例的框图。
图3描述了示出其中语音使能装置是智能TV或智能扬声器的配置的实施例的示图。
图4是描述信息处理设备的控制部中的过程的实施例的流程图。
图5是描述与情况1对应的信息处理设备的配置的实施例的框图。
图6是描述显示器上所显示的可接收语音命令的列表的实施例的示图。
图7是描述与情况2对应的信息处理设备的配置的实施例的框图。
图8是描述与情况3对应的信息处理设备的配置的实施例的框图。
图9是描述与情况4对应的信息处理设备的配置的实施例的框图。
图10是描述车辆控制系统的示意性配置的实施例的框图。
图11是辅助说明车外信息检测部与成像部的安装位置的实施例的示图。
具体实施方式
现将执行本发明的实施方式(以下称为“实施方式”)描述如下。将按照下列顺序给出描述。
1.实施方式
2.移动体的应用
3.变形例
<1.实施方式>
[信息处理系统的配置例]
图1示出了作为实施方式的信息处理系统10的实施例的概况。在本实施例中,信息处理系统10包括语音使能装置100,并且还包括能够与语音使能装置100进行通信的外部装置200,例如,IoT(万物网)装置。
语音使能装置100是通过由用户300发出的语音命令而操作的电子装置。语音使能装置100的具体实施例包括智能TV和智能扬声器。此处,通过使传统TV变得智能而实现智能TV。例如,智能TV具有诸如能够经由因特网获取各种各样的信息和能够经由网络连接至另一装置而实现装置之间的协作的特征。同时,通过使传统扬声器变得智能而实现智能扬声器并且智能扬声器能够使用交互式的语音使能AI(人工智能)助理。有时,智能TV还能够单独使用交互式的语音使能AI助理。
例如,外部装置200能够是安全摄像机或照明器、并且还能够是微波炉、吸尘器、空调、洗衣机、冰箱等。语音使能装置100与外部装置200以有线或无线方式进行通信。无线网络的实施例包括“Wi-Fi”和“蓝牙”。“Wi-Fi”和“蓝牙”是注册商标。
语音使能装置100判断情形(situation)并且进入能够接收适合于所判断的情形的语音命令的状态。在从用户300接收的语音命令适合于情形的情况下,语音使能装置100执行语音命令。在这种情况下,用户300能够发出语音命令,而无需执行用于防止错误识别的用户动作,例如,发出唤醒字。这减少了用户的麻烦与负担。
例如,语音使能装置100能够判断由语音使能装置100所拥有的应用功能部的情形并且进入能够接收适合于所判断的情形的语音命令的状态。例如,在语音使能装置100是智能TV的情况下,应用功能部可以是TV接收功能部、邮件功能部、因特网连接功能部、信息显示功能部等。同时,例如,在语音使能装置100是智能扬声器的情况下,应用功能部可以是语音输出功能部、邮件功能部、因特网连接功能部、信息显示功能部等。
进一步地,例如,语音使能装置100进入能够接收适合于通过由语音使能装置100所拥有的传感器部而获取的情形(涉及用户或外部环境的信息)的语音命令的状态。传感器部的实施例包括温度传感器、湿度传感器、运动传感器、距离传感器、以及接近传感器(proximity sensor),并且进一步包括摄像机(图像传感器)和麦克风。例如,能够使用摄像机、麦克风、以及运动传感器中的任一项来获得用户的情形。
进一步地,例如,语音使能装置100可以进入能够接收适合于通过外部装置200而获取的情形(涉及用户或外部环境的信息)的语音命令的状态。顺便提及,外部装置200可以是用于获取情形的装置、通过执行语音命令而控制的装置、或具有两种功能的装置。
上述描述中所提及的情形如下:应用功能部的情形;通过由语音使能装置100所拥有的传感器部而获取的情形;以及通过外部装置获取的情形。然而,所使用的情形并不局限于此。进一步地,除进入能够接收适合于这些单独情形的语音命令的状态之外,语音使能装置100可以进入能够接收适合于将各种情形中的一些或全部进行组合的复杂情形的语音命令的状态。
此外,当进入能够接收适合于情形的语音命令的状态时,语音使能装置100向用户300通知语音使能装置100能够接收哪一语音命令。在这种情况下,通过显示器上的显示以视觉识别方式、通过从扬声器输出的语音以听觉识别方式、或通过两种方式将可接收的语音命令通知给用户。由此,向用户通知可接收的语音命令能够使得用户适当地发出适合于情形的语音命令。
然而,通知用户的可接收语音命令可能不包含用户希望发出的语音命令。在这种情况下,用户能够首先执行诸如发出唤醒字等用户动作并且然后发出所希望的语音命令,由此实现所需语音操作。
图2示出了语音使能装置100中所包括的信息处理设备110的配置的实施例。信息处理设备110包括控制部111、通信部112、传感器部113、麦克风114、扬声器115、以及显示器116。例如,如图3的(a)中示出的,包括显示器116的该实施例假设语音使能装置100是智能TV。同时,如图3的(b)中示出的,在假设语音使能装置100是智能扬声器的情况下,可能配置在于外部电视机(或监视器或投影仪)400具有显示器116的功能。可替代地,智能扬声器100自身可以具有显示器116的功能,诸如投影仪等。
返回参考图2,通信部112与外部装置200进行通信。传感器部113包括摄像机、麦克风、以及其他各种各样的传感器。顺便提及,传感器113中所包括的麦克风能够被麦克风114或安装在操作装置(诸如远程控制或智能手机等)中的麦克风所替代。在这种情况下,例如,通过按下利用红外线操作语音使能设备100的远程控制上的指定按钮能够开始在安装于远程控制上的麦克风或麦克风114处接收语音命令的处理。可替代地,通过选择智能手机的显示部上所显示的指定图标图像能够开始类似的处理。进一步可替代地,不包括摄像机或麦克风的构造是可能的。
控制部111控制信息处理设备110的全部。控制部111包括情形判断部117和语音识别控制部118。经由通信部112将通过外部装置200获取的情形信息给至控制部111的情形判断部117。同时,将通过传感器部113获取的情形信息给至控制部111的情形判断部117。应注意,控制部111始终知道由语音使能装置100所拥有的应用功能部的情形。顺便提及,将情形信息给至情形判断部117。
基于从各个部给出的情形信息,情形判断部117判断应用功能部的情形、通过传感器部获取的情形、以及通过外部装置获取的情形。语音识别控制部118选择适合于通过情形判断部117判断的情形的语音命令并且将语音命令置于可接收状态。
此时,语音识别控制部118执行控制,以向用户300通知语音使能装置100能够接收哪一语音命令。在这种情况下,例如,通过显示器116显示语音命令或将语音命令作为语音从扬声器115进行输出。
进一步地,语音识别控制部118对通过麦克风114输入的语音命令的话语进行识别,并且在语音命令适合于情形的情况下,语音识别控制部118执行控制来执行语音命令。在这种情况下,如果需要,则经由通信部112将控制信息发送至外部装置200。此外,还可以采用其中由未示出的云服务器执行信息处理设备110中的一些处理(例如,语音识别处理)的配置。
图4中的流程图示出了信息处理设备110的控制部111中的过程的实施例。控制部111周期性地执行流程图中的处理。在步骤ST1中,控制部111开始处理。
接着,在步骤ST2中,控制部111获取情形信息。在这种情况下,控制部111获取下列中的至少一项:应用功能部的情形信息;传感器部113的情形信息;以及外部装置200的情形信息。
然后,在步骤ST3中,控制部111基于情形信息对情形进行判断。随后,在步骤ST4中,控制部111从所判断的情形中判断是否存在适合于情形的语音命令。当存在适合于情形的语音命令时,在步骤ST5中,控制部111将适合于情形的语音命令置于可接收状态并且通过显示器或语音输出而将其通知给用户。
此后,在步骤ST6中,控制部111判断是否发出语音命令。如果已经发出语音命令,在步骤ST7中,控制部111则判断所发出的语音命令是否适合于情形,或换言之,所发出的语音命令是否是可接收的语音命令。
当所发出的语音命令适合于情形时,在步骤ST8中,控制部111则执行语音命令。然后,在步骤ST8的处理之后,在步骤ST9中,控制部111终止处理。
同时,在步骤ST4中,当不存在适合于情形的语音命令时,在步骤ST6中,当不发出语音命令时,或在步骤ST7中,当所发出的语音命令不适于情形时,在步骤ST9中,控制部111终止处理。可替代地,在这些情况下,控制器111可以在步骤ST9中终止处理之前执行将适合于情形的语音命令通知给用户的处理。
接着,具体情况描述如下。此处,将考虑下列四种情况。
[情况1]
情况1是语音使能装置100仅从其自身拥有的信息中判断情形的情况。情况1是已经检测到语音使能装置100的应用功能的情形的变化,从而预期用户在使用语音命令的情况下执行下一动作的情况。在情况1中,信息处理设备110判断应用功能部的情形并且进入能够接收适合于所判断的情形的语音命令的状态。
图5示出了与情况1对应的信息处理设备110的配置的实施例。信息处理设备110包括控制部111、麦克风114、扬声器115、以及显示器116。在图5中,以相同的参考标号表示与图2中示出的对应的部件,并且将省去这些部件的细节描述。情况1并不使用图2中示出的信息处理设备110中所包括的通信部112和传感器部113。
情况1能够是下列任意使用情况。
(1)已经检测到新邮件到达(通过装置的应用功能而获取的信息),从而预期用户读取邮件主体的情况。
(2)已经检测到事件是九点钟(通过装置的应用功能而获取的信息),从而预期用户显示TV节目屏幕并且改变频道的情况。
在使用情况(1)中,例如,适合于情形的可能语音命令是“打开新邮件”。同时,在使用情况(2)中,例如,在“改变成这样那样的TV秀”之后,可能语音命令是“显示TV节目”。进一步地,图6示出了使用情况(1)中的显示器116上所显示的可接收语音命令的列表的实施例。
[情况2]
情况2是语音使能装置100利用由语音使能装置100所拥有的摄像机或各种各样的传感器而判断情形的情况。情况2是已经从通过由语音使能装置100所拥有的摄像机或各种各样的传感器获取的信息中检测到用户或外部环境的情形的变化,从而预期用户使用语音命令执行下一动作的情况。在情况2中,信息处理设备110判断通过传感器部113获取的情形并且进入能够接收适合于所判断的情形的语音命令的状态。
图7示出了与情况2对应的信息处理设备110的配置的实施例。信息处理设备110包括控制部111、传感器部113、麦克风114、扬声器115、以及显示器116。在图7中,以相同的参考标号表示与图2中示出的对应的部件,并且将省去这些部件的细节描述。情况2并不使用图2中示出的信息处理设备110中所包括的通信部112。
情况2能够是下列任意使用情况。
(1)已经检测到用户坐在TV前(通过由装置自身所拥有的摄像机获取的信息),从而预期用户接通装置的电源的情况。
(2)从通过距离传感器获得的信息中已经检测到用户远离设备,从而预测用户改变自体大小的情况。
在使用情况(1)中,例如,适合于情形的可能语音命令是“打开TV”。同时,在使用情况(2)中,例如,适合于情形的可能语音命令是“使自体大小变大”。
[情况3]
情况3是语音使能装置100通过与外部IoT装置进行通信而判断情形的情况。情况3是从经由网络连接至语音使能装置100的各种各样的IoT装置所获取的信息中检测到用户或外部环境的情形的变化,从而预期用户使用语音命令执行下一动作的情况。在情况3中,信息处理设备110判断通过外部装置200获取的信息并且进入能够接收适合于所判断的情形的语音命令的状态。
图8示出了与情况3对应的信息处理设备110的配置的实施例。信息处理设备110包括控制部111、通信部112、麦克风114、扬声器115、以及显示器116。在图8中,以相同的参考标号表示与图2中示出的对应的部件,并且将省去这些部件的细节描述。情况3并不使用图2中示出的信息处理设备110中所包括的传感器部113。
情况3能够是下列任意使用情况。
(1)访问者已经到达入口(通过IoT安全摄像机获取的信息),从而预期在TV的显示器上显示IoT安全摄像机上的视频的情况。
在使用情况(1)中,例如,适合于情形的可能语音命令是“显示入口处的摄像机上的视频”。
在这种情况下,控制部111可以基于从外部IoT装置等获取的信息而执行诸如将通知输出至显示器116或从扬声器115输出语音通知等处理。然后,控制部111可以仅接收与这些输出通知有关的语音命令。同样,在情况1中,可以输出基于应用功能的情形的变化的通知,并且可以仅接收基于通知的语音命令。
[情况4]
情况4是语音使能装置100根据上述情况1至3中所使用的各条信息的组合判断情形的情况。情况4是通过整合下列信息而检测到用户或外部环境的情形的变化,从而预期用户使用语音命令执行下一动作的情况:由语音使能装置100拥有的功能的信息;从语音使能装置100所拥有的摄像机或各种各样的传感器而获取的信息;以及通过经由网络连接至语音使能装置100的各种各样的IoT装置而获取的信息。
在情况4中,信息处理设备110整体判断下列各项:应用功能部的情形;通过传感器部113获取的情形;以及通过外部装置200获取的情形。然后,信息处理设备110进入能够接收适合于所判断的情形的语音命令的状态。
图9示出了与情况4对应的信息处理设备110的配置的实施例。信息处理设备110包括控制部111、通信部112、传感器部113、麦克风114、扬声器115、以及显示器116。在图9中,以相同的参考标号表示与图2中示出的对应的部件,并且将省去这些部件的细节描述。情况4使用图2中示出的信息处理设备110中所包括的全部部件。
如上所述,在图1示出的信息处理系统10中,语音使能装置100自动进入能够接收适合于所判断的情形的语音命令的状态。因此,用户能够发出语音命令而无需执行防止错误识别的用户动作,诸如发出唤醒字等。这能够减少用户300的麻烦与负担。
进一步地,在图1示出的信息处理系统10中,语音使能装置100通过显示器或语音输出向用户300通知哪一语音命令适合于情形,或换言之,可接收的语音命令是什么。因此,用户300能够适当地执行适合于情形的语音命令的发出。
在相应情况下,控制部可以基于用户提前选择的设置或根据迄今执行的用户动作而累积的信息控制由情形判断部做出的信息判断。例如,情况1包括例如在用户之前设置为九点钟开始观看节目的情况下在九点钟开始语音接收处理的处理、或在基于传感器信息确认用户在用户经常观看的节目开始时间坐在TV前的情况下开始语音接收处理的处理。顺便提及,可以将诸如用户选择的设置和他/她的动作历史等信息存储在语音使能装置100内或记录在诸如云服务器等未示出的外部记录装置中。
应注意,本说明书中所描述的效果仅是实施例并且可能存在额外的效果。
<2.移动体的应用>
根据本公开的技术(本技术)能够应用于各种产品。例如,根据本公开的技术可以实现为安装在各种任意移动体(诸如汽车、电动车、混合电动车、摩托车、自行车、个人移动、飞机、无人机、船只、或机器人等)中的装置。
图10是描述作为应用根据本公开的实施方式的技术的移动体控制系统的实施例的车辆控制系统的示意性配置的实施例的框图。
车辆控制系统12000包括经由通信网络12001连接至彼此的多个电子控制单元。在图10描述的实施例中,车辆控制系统12000包括驱动系统控制单元12010、体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040、以及集成控制单元12050。此外,示出了作为集成控制单元12050的功能配置的微型计算机12051、声音/图像输出部12052、以及车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种各样的过程控制与车辆的驱动系统有关的设备的操作。例如,驱动系统控制单元12010用作用于产生车辆的驱动力的驱动力生成设备(诸如内燃机、驱动电机等)的控制设备、用于将驱动力传输至车轮的驱动力传输机构、用于调整车辆的转向角的转向机构、用于产生车辆的制动力的制动设备等。
体系统控制单元12020根据各种各样的过程控制被提供至车身的各种各样的设备的操作。例如,体系统控制单元12020用作无秘钥进入系统、智能秘钥系统、电动车窗设备、或诸如头灯、备用灯、制动灯、转向信号、雾灯等各种各样的车灯的控制设备。在这种情况下,能够将作为替代品从移动设备传输至各种各样的开关的秘钥或信号的无线电波输入至体系统控制单元12020。体系统控制单元12020接收这些输入的无线电波或信号并且控制车辆的门锁设备、电动车窗设备、车灯等。
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆的外部的信息。例如,车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使得成像部12031对车辆的外部图像进行成像并且接收所成像的图像。基于所接收的图像,车外信息检测单元12030可以执行检测诸如路面上的人、车辆、障碍物、标识、字符等对象的处理、或检测其距离的处理。
成像部12031是接收光并且输出与所接收的光的光量对应的电信号的光学传感器。成像部12031能够输出电信号作为图像或能够输出电信号作为关于测量距离的信息。此外,通过成像部12031接收的光可以是可见光、或可以是诸如红外线等不可见光。
车内信息检测单元12040检测关于车辆的内部的信息。例如,车内信息检测单元12040与检测驾驶员的状态的驾驶员状态检测部12041连接。例如,驾驶员状态检测部12041包括使驾驶员成像的摄像机。基于从驾驶员状态检测部12041输入的检测信息,车内信息检测单元12040可以计算驾驶员的疲劳度或驾驶员的注意力程度、或可以判断驾驶员是否在打盹。
微型计算机12051能够基于关于通过车外信息检测单元12030或车内信息检测单元12040获得其信息的车辆的内部或外部的信息计算驱动力生成设备、转向机构、或制动设备的控制目标值、并且将控制命令输出至驱动系统控制单元12010。例如,微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协作控制,其功能包括车辆的防撞或减震、基于随后距离的随后驱动、车辆速度保持行驶、车辆碰撞警告、车辆偏离车道的警告等。
此外,通过基于关于通过车外信息检测单元12030或车内信息检测单元12040获得其信息的车辆的外部或内部的信息控制驱动力生成设备、转向机构、制动设备等,微型计算机12051能够执行旨在自动驾驶的协作控制,以使得车辆在不依赖驾驶员的操作的情况下自动行进。
此外,微型计算机12051能够基于关于通过车外信息检测单元12030获得其信息的车辆的外部的信息而将控制命令输出至体系统控制单元12020。例如,微型计算机12051能够通过例如根据通过车外信息检测单元12030检测的前面车辆或对行车辆的位置控制头灯、将高光束改变成低光束而执行旨在防止眩光的协作控制。
声音/图像输出部12052将声音和图像中的至少一项的输出信号传输至能够可视或可听地将信息通知给车辆的乘客或车辆外部的输出设备。在图10的实施例中,输出了作为输出设备的音频扬声器12061、显示部12062、以及仪表板12063。例如,显示部12062可以包括车载显示器和头戴显示器中的至少一项。
图11是描述成像部12031的安装位置的实施例的示图。
在图11中,成像部12031包括成像部12101、12102、12103、12104、以及12105。
例如,成像部12101、12102、12103、12104、以及12105设置在车辆12100的前鼻、侧视镜、后保险杠、以及后门的位置处、以及车辆内部的挡风玻璃的上部位置处。设置在前鼻处的成像部12101和设置在车辆内部的挡风玻璃的上部的成像部12105主要获得车辆12100的前方的图像。设置在侧视镜处的成像部12102和12103主要获得车辆12100的侧方的图像。设置在后保险杠或后门处的成像部12104主要获得车辆12100的后方的图像。设置在车辆内部的挡风玻璃的上部的成像部12105主要用于检测前方车辆、行人、障碍物、信号、交通标识、车道等。
顺便提及,图11描述了成像部12101至12104的摄影范围的实施例。成像范围12111表示设置在前鼻处的成像部12101的成像范围。成像范围12112和12113分别表示设置在侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置在后保险杠或后门的成像部12104的成像范围。例如,通过对由成像部12101至12104成像的图像数据进行叠加而获得从上面观看的车辆12100的鸟瞰图像。
成像部12101至12104中的至少一项可以具有获得距离信息的功能。例如,成像部12101至12104中的至少一项可以是由多个成像元件构成的立体摄像机、或可以是具有用于相差检测的像素的成像元件。
例如,微型计算机12051能够基于从成像部12101至12104获得的距离信息判断到成像范围12111至12114内的各个三维对象的距离和距离的时间变化(相对于车辆12100的相对速度),并且由此提取尤其是车辆12100的行进路径上存在并且以预定速度(例如,等于或大于0km/时)与车辆12100在大致同一方向上行进的最近三维对象作为前行车辆。进一步地,微型计算机12051能够提前设置在前行车辆前方所保持的随后距离并且执行自动制动控制(包括随后停车控制)、自动加速度控制(包括随后启动控制)等。由此,可以执行旨在自动驾驶的协作控制,以使得车辆在不依赖驾驶员的操作等的情况下自动行进。
例如,微型计算机12051能够基于从成像部12101至12104获得的距离信息将关于三维对象的三维对象数据分类成两轮车辆、标准尺寸车辆、大尺寸车辆、行人、电线杆、以及其他三维对象的三维对象数据、提取已分类的三维对象数据、并且使用所提取的三维对象数据用于自动避免障碍物。例如,微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员能够可视地识别的障碍物和车辆12100的驾驶员难以可视地识别的障碍物。然后,微型计算机12051判断指示与各个障碍物发生碰撞的风险的碰撞风险。在其中碰撞风险等于或高于设置值并且由此可能存在碰撞的情形中,微型计算机12051经由音频扬声器12061或显示部12062将警告输出给驾驶员、并且经由驱动系统控制单元12010执行强制减速或避免转向。由此,微型计算机12051能够辅助驾驶避免碰撞。
成像部12101至12104中的至少一项可以是检测红外线的红外摄像机。例如,微型计算机12051能够通过判断成像部12101至12104的成像图像中是否存在行人而识别行人。例如,通过提取成像部12101至12104的成像图像中的特征点作为红外摄像机的过程和通过对表示对象的轮廓的一系列特征点执行图案匹配处理而判断是否是行人的过程而执行行人的这种识别。当微型计算机12051判断成像部12101至12104的成像图像中存在行人并且由此识别行人时,声音/图像输出部12052控制显示部12062显示被叠加在所识别的行人上、用于强化的正方形轮廓线。声音/图像输出部12052还可以控制显示部12062,以使得在所需位置显示表示行人的图标等。
上面已经描述了能够应用本公开的技术的车辆控制系统的实施例。例如,根据本公开的技术能够应用于上述所述配置的部件之中的集成控制单元12050。在用户执行车辆控制系统12000中的语音操作的情况下,将根据本公开的技术应用于集成控制单元12050使得用户能够发出语音命令而无需执行防止错误识别的用户动作,诸如发出唤醒字等。这减少了用户的麻烦与负担。而且,例如,能够使用安装在车辆中的汽车导航系统作为外部装置200。进一步地,可以基于汽车导航系统的控制部中的情形判断处理控制车辆控制系统12000的音频扬声器12061或显示部12062。
<3.变形例>
已经参考所附附图对本公开的优选实施方式进行了详细描述。然而,本公开的技术范围并不局限于实施方式。本领域技术人员应当理解的是,在权利要求的范围内所描述的技术构思的范围内,可以做出各种各样的变更和改造。此外,本领域技术人员应自然地理解为,这些变更和改造还属于本公开的技术范围。
进一步地,技术还能够具有下列配置。
(1)一种信息处理设备,包括:
控制部,控制判断情形的处理,以将适合于所判断的情形的语音命令置于可接收状态。
(2)根据上面(1)所述的信息处理设备,其中,控制部控制应用功能的情形的判断;并且情形包括应用功能的所判断的情形。
(3)根据上面(2)所述的信息处理设备,其中,应用功能包括智能电视或智能扬声器的应用功能。
(4)根据上面(1)至(3)中任一项所述的信息处理设备,进一步包括:
传感器部;其中,
情形包括通过传感器部获取的情形。
(5)根据上面(4)所述的信息处理设备,其中,传感器部包括摄像机。
(6)根据上面(4)或(5)所述的信息处理设备,其中,情形包括用户的情形。
(7)根据上面(1)至(6)中任一项所述的信息处理设备,进一步包括:
通信部,与外部装置进行通信;其中,
情形包括通过外部装置获取的情形。
(8)根据上面(1)至(7)中任一项所述的信息处理设备,进一步包括:
命令执行器,在键入的语音命令是适合于情形的语音命令的情况下,执行所键入的语音命令。
(9)根据上面(1)至(8)中任一项所述的信息处理设备,进一步包括:
命令通知器,向用户通知适合于情形的语音命令。
(10)一种信息处理方法,包括:
判断情形的过程;和
将适合于所判断的情形的语音命令置于可接收状态的过程。
[参考标号列表]
10:信息处理系统
100:语音使能装置
110:信息处理设备
111:控制部
112:通信部
113:传感器部
114:麦克风
115:扬声器
116:显示器
117:情形判断部
118:语音识别控制部
200:外部装置
300:用户
400:电视机(TV)。

Claims (10)

1.一种信息处理设备,包括:
控制部,控制判断情形的处理,以将适合于所判断的情形的语音命令置于可接收状态。
2.根据权利要求1所述的信息处理设备,其中,
所述控制部控制应用功能的情形的判断;并且
所述情形包括所述应用功能的所判断的情形。
3.根据权利要求2所述的信息处理设备,其中,所述应用功能包括智能电视或智能扬声器的应用功能。
4.根据权利要求1所述的信息处理设备,进一步包括:
传感器部;其中,
所述情形包括通过所述传感器部获取的情形。
5.根据权利要求4所述的信息处理设备,其中,所述传感器部包括摄像机。
6.根据权利要求4所述的信息处理设备,其中,所述情形包括用户的情形。
7.根据权利要求1所述的信息处理设备,进一步包括:
通信部,被配置为与外部装置进行通信;其中,
所述情形包括通过所述外部装置获取的情形。
8.根据权利要求1所述的信息处理设备,进一步包括:
命令执行器,在键入的语音命令是适合于所述情形的语音命令的情况下,执行所键入的语音命令。
9.根据权利要求1所述的信息处理设备,进一步包括:
命令通知器,被配置为向用户通知适合于所述情形的语音命令。
10.一种信息处理方法,包括:
判断情形的过程;和
将适合于所判断的情形的语音命令置于可接收状态的过程。
CN201980087213.3A 2019-01-07 2019-12-19 信息处理设备与信息处理方法 Pending CN113260953A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-000497 2019-01-07
JP2019000497 2019-01-07
PCT/JP2019/049762 WO2020145071A1 (ja) 2019-01-07 2019-12-19 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
CN113260953A true CN113260953A (zh) 2021-08-13

Family

ID=71521326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087213.3A Pending CN113260953A (zh) 2019-01-07 2019-12-19 信息处理设备与信息处理方法

Country Status (5)

Country Link
US (1) US20220084518A1 (zh)
EP (1) EP3910447A4 (zh)
JP (1) JPWO2020145071A1 (zh)
CN (1) CN113260953A (zh)
WO (1) WO2020145071A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501022A (ja) * 2011-09-30 2015-01-08 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
EP3382949A1 (en) * 2017-03-28 2018-10-03 Lg Electronics Inc. Smart controlling device and method of controlling therefor

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6221535B2 (ja) 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6405316B2 (ja) * 2013-11-08 2018-10-17 株式会社ソニー・インタラクティブエンタテインメント エンタテインメント装置、表示制御方法、プログラム及び情報記憶媒体
CN107408027B (zh) * 2015-03-31 2020-07-28 索尼公司 信息处理设备、控制方法及程序
JP2018073067A (ja) * 2016-10-27 2018-05-10 京セラ株式会社 電子機器、制御方法およびプログラム
WO2018098301A1 (en) * 2016-11-23 2018-05-31 Abraham Joseph Kinney Detection of authorized user presence and handling of unauthenticated monitoring system commands
JP7026449B2 (ja) * 2017-04-21 2022-02-28 ソニーグループ株式会社 情報処理装置、受信装置、及び情報処理方法
US11128636B1 (en) * 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015501022A (ja) * 2011-09-30 2015-01-08 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
EP3382949A1 (en) * 2017-03-28 2018-10-03 Lg Electronics Inc. Smart controlling device and method of controlling therefor

Also Published As

Publication number Publication date
WO2020145071A1 (ja) 2020-07-16
JPWO2020145071A1 (ja) 2021-11-18
US20220084518A1 (en) 2022-03-17
EP3910447A1 (en) 2021-11-17
EP3910447A4 (en) 2022-03-09

Similar Documents

Publication Publication Date Title
US11548551B2 (en) Parking support apparatus
CN109572702B (zh) 车辆控制装置和包括该车辆控制装置的车辆
EP3128462B1 (en) Driver assistance apparatus and control method for the same
EP3456576B1 (en) Vehicle control device and vehicle including the same
US10713501B2 (en) Focus system to enhance vehicle vision performance
US10887568B2 (en) Image processing apparatus, and image processing method
CN109715467B (zh) 车辆控制装置、车辆控制方法以及可移动体
CN106314424B (zh) 基于汽车的超车辅助方法、装置及汽车
US10549779B2 (en) Vehicle control device mounted on vehicle and method for controlling vehicle
US9290177B2 (en) Vehicle control apparatus
CN112534487A (zh) 信息处理设备、移动体、信息处理方法和程序
KR20160148394A (ko) 자율 주행 차량
KR102331882B1 (ko) 음성 인식 기반의 차량 제어 방법 및 장치
KR20160148395A (ko) 자율 주행 차량
KR101816570B1 (ko) 차량용 디스플레이 장치
US11787342B2 (en) Vehicular cabin monitoring camera system with dual function
CN113260953A (zh) 信息处理设备与信息处理方法
KR20160064762A (ko) 차량용 디스플레이 장치 및 이를 구비한 차량
KR102089955B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
CN111746512A (zh) 车辆控制系统
US20230311922A1 (en) Traffic safety support system
US20230311927A1 (en) Traffic safety support system
US20230351895A1 (en) Traffic safety support system
US20230326344A1 (en) Traffic safety support system
US20230054104A1 (en) Image processing apparatus, display system, image processing method, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination