CN104412323B - 车载信息装置 - Google Patents

车载信息装置 Download PDF

Info

Publication number
CN104412323B
CN104412323B CN201280074229.9A CN201280074229A CN104412323B CN 104412323 B CN104412323 B CN 104412323B CN 201280074229 A CN201280074229 A CN 201280074229A CN 104412323 B CN104412323 B CN 104412323B
Authority
CN
China
Prior art keywords
vehicle
sound
car
state
information apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280074229.9A
Other languages
English (en)
Other versions
CN104412323A (zh
Inventor
加藤真
竹里尚嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN104412323A publication Critical patent/CN104412323A/zh
Application granted granted Critical
Publication of CN104412323B publication Critical patent/CN104412323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Abstract

根据本发明，搭载于车辆且提供支援搭乘者的信息的车载信息装置包括：声音获取部，当所述车载信息装置启动时始终侦测并获取所述搭乘者所发出的声音；声音识别部，对利用所述声音获取部所获取的所述声音的发声内容进行识别；车辆状态检测部，检测车辆状态，所述车辆状态包含所述车辆的车厢内的环境状态、所述车辆周边的环境状态或所述车辆的运行状态；输出控制部，根据由所述车辆状态检测部所检测出的所述车辆状态而将由所述声音识别部所识别出的所述发声内容作为显示数据或声音数据来生成并进行输出控制；以及输出部，输出由所述输出控制部生成的显示数据或声音数据；因此可以基于不断识别搭乘者的发声内容所获得的识别结果，实时地进行有效的对话支援。

Description

车载信息装置
技术领域
本发明涉及一种始终识别搭乘者的发声内容并支援车内的对话的车载信息装置。
背景技术
通常，就车内的对话来说，有被引擎声或轮胎噪声、或来自车外的噪音妨碍而漏听对话内容的问题。因此，以往提出了用来改善该问题的技术。例如在专利文献1中，公开了一种车内对话支援系统，其可以利用话筒将车内对话集音，并利用扬声器收听放大的声音。
但是，就例如专利文献1那样的现有的车内对话支援系统来说，由于是利用声音的对话支援，所以有如下问题：无法解决竟连由扬声器输出的声音也漏听了的情况。另外，由于为声音数据，所以也有如下问题：如果之后不重放，便无法确认内容。进而，还有如下问题：有因话筒的集音及从扬声器的输出而引起啸叫的担忧。
因此，考虑利用话筒将车内的对话集音，以字符串的形式提供对话内容。
作为与此相关的技术，提出了利用话筒将会议中的发声内容集音并自动地制成会议记录的各种装置。例如在专利文献2中，公开了可以制成再现出多个说话者每个人的发声内容的会议记录数据的声音识别装置及会议系统。
现有技术文献
专利文献
专利文献1：日本专利特开2008-42390号公报
专利文献2：日本专利特开2008-275987号公报
发明内容
[发明要解决的技术问题]
然而，例如专利文献2那样的现有的声音识别装置及会议系统可以将声音以字符串的形式记录，但由于为会议系统，所以未设想过在车内使用或用作车内的对话支援的情况，因此未考虑过被引擎声或轮胎噪声、或来自车外的噪音妨碍而漏听对话内容这种以往便存在的车辆行驶中的问题，另外，也未考虑过为漏听对话内容的人所设的实时对话支援。因此，有如下问题：即使将例如专利文献2那样的声音识别装置及会议系统应用于车载信息装置，也无法解决车辆特有的问题。
本发明是为了解决如上所述的问题而完成的，目的在于提供一种车载信息装置，所述车载信息装置可以基于不断识别车内的对话内容而获得的识别结果，实时地进行有效的对话支援。
[解决问题的技术方案]
为了达成所述目的，本发明涉及一种车载信息装置，搭载于车辆，且提供支援搭乘者的信息，所述车载信息装置的特征在于包括：声音获取部，当所述车载信息装置启动时始终侦测并获取所述搭乘者所发出的声音；声音识别部，对利用所述声音获取部所获取的所述声音的发声内容进行识别；关键字提取部，从所述声音识别部所识别出的发声内容中提取规定的关键字；车辆状态检测部，检测车辆状态，所述车辆状态包含所述车辆的车厢内的环境状态、所述车辆周边的环境状态或所述车辆的运行状态；以及输出控制部，根据由所述车辆状态检测部所检测出的所述车辆状态和所述关键字提取部提取出的关键字，将由所述声音识别部所识别出的所述发声内容作为显示数据或声音数据来生成并进行提供至输出部的输出控制。
[发明的效果]
根据本发明的车载信息装置，可以基于不断识别搭乘者(同乘者等说话者)的发声内容而获得的识别结果，实时地进行有效的对话支援。
附图说明
图1是表示实施方式1的车载信息装置的基本结构的框图。
图2是表示实施方式1的车载信息装置的基本动作的流程图。
图3是表示实施方式1的车载信息装置的结构的框图。
图4是表示实施方式1的车载信息装置的动作的流程图。
图5是表示将对话内容显示于显示部的显示例的图。
图6是表示实施方式2的车载信息装置的结构的框图。
图7是表示实施方式2中的车载信息装置的动作的流程图。
图8是表示实施方式3的车载信息装置的结构的框图。
图9是表示实施方式3中的车载信息装置的动作的流程图。
图10是表示实施方式4的车载信息装置的结构的框图。
图11是表示实施方式4中的车载信息装置的动作的流程图。
图12是显示部的位置为副驾驶座侧的情况下的显示例。
图13是显示部的位置为驾驶座侧的情况下的显示例。
图14是显示部的位置为副驾驶座侧的情况下的另一显示例。
图15是表示实施方式5的车载信息装置的结构的框图。
图16是表示实施方式5的车载信息装置的动作的流程图。
图17是表示实施方式6的车载信息装置的结构的框图。
图18是表示实施方式7的车载信息装置的结构的框图。
图19是表示实施方式7的车载信息装置的动作的流程图。
图20是表示实施方式8的车载信息装置的结构的框图。
图21是表示实施方式9的车载信息装置的结构的框图。
图22是表示实施方式10的车载信息装置的结构的框图。
图23是表示实施方式10的车载信息装置的动作的流程图。
图24是表示实施方式11的车载信息装置的结构的框图。
图25是表示实施方式11的车载信息装置的动作的流程图。
图26是表示实施方式12的车载信息装置的结构的框图。
图27是表示实施方式12的车载信息装置的动作的流程图。
具体实施方式
下面，一边参照附图，一边对本发明的实施方式进行详细说明。
实施方式1.
本发明是一种车载信息装置，如车载导航装置、车载音响装置、车载视频装置等，在该车载信息装置启动的情况下始终识别车辆内的搭乘者的发声内容，并基于该识别结果，实时地进行对话支援。另外，关于以下实施方式也相同。
图1是表示本发明的实施方式1的车载信息装置的基本结构的框图。该车载信息装置包括声音获取部1、声音识别部2、显示控制部(输出控制部)3、及显示部(输出部)4。另外，虽然省略了图示，但该车载信息装置还包括获取按键或触摸面板等的输入信号的按键输入部。
声音获取部1将利用车内的话筒等而集音的搭乘者发声、也就是通过车辆内的搭乘者的发声而输入的声音进行A/D(Analog-to-Digital，模数)转换，并以例如PCM(PulseCode Modulation，脉码调制)形式获取。另外，由于在车内环境中是从车载音响或汽车导航等输出音乐或导向声音等，所以使用通常的回波抵消技术，对这些声音实施如无法被声音获取部1获取的处理，所述回波抵消技术使用了FIR(Finite Impulse Response，有限冲击响应)滤波器。
声音识别部2具有识别词典(未图示)，从由声音获取部1所获取的声音数据中检测与搭乘者发声的内容相符的声音区间，提取该声音区间的声音数据的特征量，基于该特征量并使用识别词典进行识别处理，并输出声音识别结果的字符串。此外，作为识别处理，只要使用例如HMM(Hidden Markov Model，隐式马尔可夫模型)法这种通常的方法进行即可。另外，声音识别部2也可以使用网络上的声音识别服务器。
然而，在搭载于汽车导航系统等的声音识别功能中，通常是搭乘者明示(指示)系统开始发声。因此，指示声音识别开始的按钮等(下面，称作“声音识别开始指示部”)显示在触摸面板上或设置在方向盘上。而且，在由搭乘者按下声音识别开始指示部之后，识别所发出的声音。也就是说，声音识别开始指示部输出声音识别开始信号，声音识别部一接收到该信号，便从在接收到该信号之后由声音获取部所获取的声音数据中检测与搭乘者发声的内容相符的声音区间，进行上述识别处理。
但是，本实施方式1中的声音识别部2即使没有如上所述的搭乘者的声音识别开始指示，也始终识别搭乘者发声的内容。也就是说，声音识别部2即使未接收声音识别开始信号，也从由声音获取部1所获取的声音数据中检测与搭乘者发声的内容相符的声音区间，提取该声音区间的声音数据的特征量，基于该特征量并使用识别词典进行识别处理，反复进行输出声音识别结果的字符串的处理。此外，关于以下实施方式也相同。
显示控制部3将经声音识别部2进行声音识别所得的声音识别结果即搭乘者的发声内容作为显示数据来生成，且例如按时间序列顺序等排列而生成。
显示部4显示由显示控制部3生成的显示数据，例如是导航的显示画面、仪表板上的显示部、挡风玻璃、后座娱乐系统(RSE(Rear Seat Entertainment))等。
接下来，对该车载信息装置的基本动作进行说明。图2是表示实施方式1的车载信息装置的基本动作的流程图。此外，以下处理在本装置(车载信息装置)启动期间始终进行。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而作为例如PCM形式的声音数据来获取(步骤ST1)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST2)。然后，显示控制部3生成将声音识别部2的声音识别结果的字符串按时间序列顺序等排列而成的显示数据，并将该显示数据发送至显示部4，由此，在显示部4以字符串的形式显示对话内容(步骤ST3)。(参照下述实施方式4中的图12)
图3是表示本发明的实施方式1的车载信息装置的结构的框图。此外，对于与以图1所示的基本结构进行说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式1中，与图1所示的基本构成相比的话，会考虑到在车内有多名搭乘者而针对每位搭乘者(N人)准备多个(N个)话筒，且具备检测每位搭乘者的发声位置的车厢内环境状态检测部(车辆状态检测部)30。
而且，本实施方式1的车载信息装置包括对应搭乘者数(话筒个数)N的声音获取部1(1-1、1-2、···、1-N)、分别对应的声音识别部2(2-1、2-2、···、2-N)、车厢内环境状态检测部(车辆状态检测部)30、显示控制部(输出控制部)3、及显示部(输出部)4，且针对车辆内的每位搭乘者具备多个声音获取部1及声音识别部2的对。
本发明的实施方式1中的车厢内环境状态检测部(车辆状态检测部)30检测针对每位搭乘者而准备的声音获取部1(1-1、1-2、···、1-N)的配置状态作为车厢内的环境状态，由此，可以检测出每位搭乘者的发声位置。
另外，显示控制部3(输出控制部)是将经声音识别部2进行声音识别所得的声音识别结果作为与由车厢内环境状态检测部(车辆状态检测部)30所检测出的每位搭乘者的发声位置配对的发声内容，生成显示数据并对显示数据进行输出控制，从而生成例如针对每位搭乘者按时间序列顺序等排列等的、可识别发声的多名搭乘者的模式的显示数据。
接下来，对本实施方式1的车载信息装置的动作进行说明。图4是表示实施方式1中的车载信息装置的动作的流程图。
首先，当有某些发声输入时，各声音获取部1(1-1、1-2、···、1-N)获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST11)。其次，对应的各声音识别部2(2-1、2-2、···、2-N)识别由各声音获取部1所获取的声音数据(步骤ST12)。然后，车厢内环境状态检测部30按照各声音识别部2，也就是按与各声音识别部2对应的各声音获取部1的位置，针对每个搭乘者的位置检测各声音识别部2的声音识别结果的各字符串(步骤ST13)，显示控制部3将这些字符串整理并制成针对每个搭乘者的位置按时间序列顺序等排列的显示数据，且将该显示数据发送至显示部4，由此，在显示部4以字符串的形式显示对话内容(步骤ST14)。
图5是表示以所述方式将对话内容显示于显示部4的显示例的图。在该例中，区分并整理每个搭乘者的位置的发声位置，并按时间序列顺序排列驾驶者A与副驾驶座的同乘者B的对话按。也就是说，以可识别发声的多名搭乘者的布局来进行显示。
由此，即使在受到引擎声或轮胎噪声、或来自车外的噪音的妨碍而漏听对话内容，或者因全神贯注于驾驶操作等而突然未听取到对话内容的情况下，也可以确认对话内容，并且也易于理解对话的话题走向。
此外，此处如图5所示，显示控制部(输出控制部)3针对每位搭乘者改变显示字符在画面内的布局，由此，输出可识别发声的多名搭乘者的不同模式的显示数据，但作为不同模式的显示数据，只要生成并显示出显示字符或显示图像的种类、形状、大小、颜色、浓度、亮度、画面内的布局中的任一者不同的显示数据即可。关于以下实施方式也相同。
如上所述，根据本实施方式1，即使搭乘者未意识到，车载信息装置也会在启动时始终进行声音获取及声音识别，只要有某些发声就自动地进行声音获取及声音识别，并将该声音识别结果以字符串的形式按时间序列顺序等排列并输出，因此，无需用于开始声音获取或声音识别的搭乘者的手动操作或输入的意向等，即使在因噪音或全神贯注于驾驶操作等而突然未听取到对话内容的情况下，也可以确认对话内容。
另外，始终针对每位搭乘者听取车内的对话并进行声音识别，区分并检测每位搭乘者的发声位置，整理这些发声位置并进行提示，因此，即使在因噪音或全神贯注于驾驶操作等而未听取到对话的情况下，也可以确认对话内容，并且也容易理解对话的话题走向。另外，由于可以针对每位搭乘者进行声音识别，因此可以提高同时发声时的声音识别率。
实施方式2.
图6是表示本发明的实施方式2的车载信息装置的结构的框图。此外，对于与在实施方式1中说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式2中，与图3所示的实施方式1的结构相比的话，声音获取部1为将M个话筒(1-1、1-2、···、1-M)呈阵列状配置而成的阵列式话筒，且追加有信号处理部5。也就是说，在本实施方式2的车载信息装置中，将M个话筒呈阵列状配置而成的声音获取部1(1-1、1-2、···、1-M)获取声音(音源)，信号处理部5将该音源分离成N个，针对各搭乘者N人，N个声音识别部对发声内容进行声音识别。
在本实施方式2中，相对于搭乘者N人，将阵列式话筒所具备的话筒的数量设为M个，而并非针对发声的每位搭乘者设置话筒，但信号处理部5使用波束成形(beamforming)法等通常的音源分离方法，将从使M个话筒呈阵列状配置而成的阵列式话筒获取的声音数据分离成相当于N个(相当于搭乘者的人数N)音源。该音源分离为公知的技术，因而此处省略说明，但以下的实施方式中的“音源分离”是利用这种通常的音源分离方法而进行。
而且，本发明的实施方式2中的车厢内环境状态检测部(车辆状态检测部)30是根据利用信号处理部5所分离出的N个音源而检测每位搭乘者(N人)的发声位置、也就是搭乘者的配置状态作为车厢内的环境状态。
另外，显示控制部3(输出控制部)将经声音识别部2进行声音识别所得的声音识别结果作为与由车厢内环境状态检测部(车辆状态检测部)30所检测出的每位搭乘者的发声位置配对的发声内容，生成显示数据并对显示数据进行输出控制，从而生成例如针对每位搭乘者按时间序列顺序等排列等的、可识别发声的多名搭乘者的模式的显示数据。
接下来，对本实施方式2的车载信息装置的动作进行说明。图7是表示实施方式2中的车载信息装置的动作的流程图。
首先，当有某些发声输入时，声音获取部1(1-1、1-2、···、1-M)获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST21)。其次，信号处理部5将由声音获取部1所获取的声音数据进行音源分离，从而分离成N个(相当于搭乘者的人数N)(步骤ST22)。各声音识别部2(2-1、2-2、···、2-N)识别该被音源分离成N个的对话的声音数据(步骤ST23)。然后，车厢内环境状态检测部30针对每个搭乘者的位置检测各声音识别部2的声音识别结果的各字符串(步骤ST24)，显示控制部3将这些字符串整理并制成针对每个搭乘者的位置按时间序列顺序等排列的显示数据，且将该显示数据发送至显示部4，由此，在显示部4以字符串的形式显示对话内容(步骤ST25)。
作为以所述方式显示的显示例，与实施方式1中所示的图5同样，针对每个搭乘者的位置整理并按时间序列顺序排列驾驶者A与副驾驶座的同乘者B的对话。
由此，即使在受到引擎声或轮胎噪声、或来自车外的噪音的妨碍而漏听对话内容，或者因全神贯注于驾驶操作等而突然未听取到对话内容的情况下，也可以确认对话内容，并且也易于理解对话的话题走向。
如上所述，根据本实施方式2，在车内准备将多个话筒呈阵列状配置而成的阵列式话筒，始终听取车内的对话并进行声音识别，针对每个搭乘者进行整理并呈现，因此与实施方式1同样地，即使在因噪音或全神贯注于驾驶操作等而未听取到对话的情况下，也可以确认对话内容，并且也易于理解对话的话题走向。另外，由于可以针对每位搭乘者进行声音识别，因此可以提高同时发声时的声音识别率。
实施方式3.
图8是表示本发明的实施方式3的车载信息装置的结构的框图。此外，对于与实施方式1、2中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式3中，与图3所示的实施方式1的结构相比的话，追加了与在信号处理部5中分离的N个声音数据对应的N个发声有无检测部6、N个发声数据提取部7、发声数据顺序整理部8、及声音识别等待发声数据存储部9，另外，在该结构中只要1个声音识别部2。
此外，在本实施方式3中与实施方式2同样地，设为使用将M个话筒呈阵列状配置而成的阵列式话筒的结构，但也可以与实施方式1的图3所示的结构同样地，针对每个搭乘者具备话筒即具备N个话筒。
发声有无检测部6对从信号处理部5输出的针对每个搭乘者的位置将声音分离而得的声音数据进行声音区间检测，当检测出发声时，指示发声数据提取部7提取所检测出的声音区间的发声数据。
发声数据提取部7对从信号处理部5输出的针对每个搭乘者的位置将声音分离而得的声音数据，提取由发声有无检测部6所指示的声音区间，将所提取的发声数据(声音数据)发送至发声数据顺序整理部8。
发声数据顺序整理部8与从发声数据提取部7接收发声数据同时地，根据从哪一个发声数据提取部7接收到该发声数据来判断发声的搭乘者的位置，对后级的声音识别部2发送发声数据(声音数据)，另外，对车厢内环境状态检测部(车辆状态检测部)30发送搭乘者的位置信息。然而，当声音识别部2未结束对前一次的发声数据的声音识别处理时，暂时将发声数据及发声的搭乘者的位置信息发送至声音识别等待发声数据存储部9，在声音识别部2结束前一次声音识别处理之后，从声音识别等待发声数据存储部9获取发声数据(声音数据)及发声的搭乘者的位置信息，并将发声数据(声音数据)及发声的搭乘者的位置信息发送至声音识别部2及车厢内环境状态检测部(车辆状态检测部)30。
声音识别等待发声数据存储部9将从发声数据顺序整理部8发送来的发声数据及发声的搭乘者的位置信息存储至队列(queue)(FIFO(First In First Out，先进先出))，且如果由发声数据顺序整理部8发出获取请求，那么交还发声数据及发声的搭乘者的位置信息。
而且，本发明的实施方式3的车厢内环境状态检测部(车辆状态检测部)30通过检测由发声数据顺序整理部8所获取、整理的发声数据(声音数据)作为车厢内的环境状态，以此来检测每个搭乘者(N人)的发声位置、也就是搭乘者的配置状态。
另外，显示控制部3(输出控制部)根据从车厢内环境状态检测部(车辆状态检测部)30接收到的搭乘者的配置状态(发声位置信息)，针对每个搭乘者的位置整理由声音识别部2所识别出的发声内容即声音识别结果，生成例如针对每位搭乘者按时间序列顺序等排列等的、可识别发声的多名搭乘者的模式的显示数据，对显示部4进行呈现内容的输出控制。
接下来，对本实施方式3的车载信息装置的动作进行说明。图9是表示实施方式3中的车载信息装置的动作的流程图。
首先，当有某些发声输入时，声音获取部1(1-1、1-2、···、1-M)获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST31)。其次，信号处理部5将由声音获取部1所获取的声音数据进行音源分离，从而分离成N个(相当于搭乘者的人数N)(步骤ST32)。各发声有无检测部6(6-1、6-2、···、6-N)检测在该被音源分离成N个的对话的声音数据中是否包含发声(步骤ST33)。关于该发声有无检测，只要通过如下步骤进行即可，也就是，对各声音数据进行检测声音音量的电平的声音区间检测。
此处，在未检测出发声的情况(步骤ST33的“否”的情况)下，返回至步骤ST31进行处理。另一方面，在检测出发声的情况(步骤ST33的“是”的情况)下，针对从信号处理部5接收到的N个已分离的各声音数据，从发声有无检测部6对发声数据提取部7(7-1、7-2、···、7-N)进行声音区间提取的指示，利用发声数据提取部7进行提取处理，将所提取的发声数据发送至发声数据顺序整理部8(步骤ST34)。
然后，只要不处于利用声音识别部2进行声音识别处理的过程中(步骤ST35的“否”的情况)，便利用声音识别部2进行发声数据的声音识别处理(步骤ST38)。另一方面，正在利用声音识别部2进行了前一次声音识别处理的情况(步骤ST35的“是”的情况)下，将预定从发声数据顺序整理部8发送至声音识别部2的发声数据及预定从发声数据顺序整理部8发送至显示控制部3的搭乘者的位置信息暂时保存在声音识别等待发声数据存储部9(步骤ST36)。
然后，等待声音识别部2的声音识别处理结束，声音识别处理一结束，发声数据顺序整理部8便立即获取保存在声音识别等待发声数据存储部9中的发声数据及搭乘者的位置信息，并分别发送至声音识别部2及车厢内环境状态检测部30(步骤ST37)。然后，利用声音识别部2进行发声数据的声音识别处理(步骤ST38)。
最后，车厢内环境状态检测部30基于从发声数据顺序整理部8接收到的搭乘者的位置信息，针对每个搭乘者的位置检测声音识别部2的声音识别结果的各字符串(步骤ST39)，显示控制部3整理这些字符串并生成针对每个搭乘者的位置按时间序列顺序等排列的显示数据，且将该显示数据发送至显示部4，由此，在显示部4以字符串的形式显示对话内容(步骤ST40)。
作为以所述方式显示的显示例，与实施方式1中所示的图5同样，针对每个搭乘者的位置进行整理并按时间序列顺序排列驾驶者A与副驾驶座的同乘者B的对话。
由此，即使在受到引擎声或轮胎噪声、或来自车外的噪音的妨碍而漏听对话内容，或者因全神贯注于驾驶操作等而突然未听取到对话内容的情况下，也可以确认对话内容，并且也易于理解对话的话题走向。
如上所述，根据本实施方式3，除了与实施方式1、2相同的效果以外，还有如下效果：由于可以将声音识别部2设为1个，因此可以减少声音识别部2所需的资源，另外，可以利用该减少的资源部分来提高声音识别部2的性能。
实施方式4.
图10是表示本发明的实施方式4的车载信息装置的结构的框图。此外，对于与实施方式1～3中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式4中，与实施方式1中所说明的图1所示的基本结构相比的话，具备多个(N个)显示部4，且具备检测各显示部4(4-1、4-2、···、4-N)的位置的车厢内环境状态检测部(车辆状态检测部)30。而且，在以字符串的形式显示所识别的声音数据时，根据车厢内环境状态检测部(车辆状态检测部)30所检测出的各显示部4(4-1、4-2、···、4-N)的位置，改变显示形式(显示内容)来进行显示。
而且，本发明的实施方式4中的车厢内环境状态检测部(车辆状态检测部)30检测显示部4(4-1、4-2、···、4-N)的配置状态作为车厢内的环境状态。
另外，显示控制部3(输出控制部)基于由车厢内环境状态检测部(车辆状态检测部)30所检测出的显示部4(4-1、4-2、···、4-N)的配置状态，也就是根据例如该显示部4是位于驾驶座还是位于副驾驶座，而生成不同显示模式的显示数据，对显示部4进行呈现内容的输出控制。
接下来，对本实施方式4的车载信息装置的动作进行说明。图11是表示实施方式4的车载信息装置的动作的流程图。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST41)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST42)。另一方面，车厢内环境状态检测部(车辆状态检测部)30检测各显示部4(4-1、4-2、···、4-N)的位置(步骤ST43)。然后，显示控制部3将声音识别部2的声音识别结果的字符串按时间序列顺序排列，根据车厢内环境状态检测部(车辆状态检测部)30所检测出的各显示部4(4-1、4-2、···、4-N)的位置而改变显示形式(显示内容)并生成显示数据，且将该显示数据发送至各显示部4，由此，在各显示部4以字符串的形式显示对话内容(步骤ST44)。
图12及图13是表示以所述方式显示的显示例的图。图12是显示部4的位置为副驾驶座侧的情况下的显示例，图13是显示部4的位置为驾驶座侧的情况下的显示例。在该例中，在图12所示的副驾驶座侧的显示部4，所有对话按时间序列顺序显示多行(在该例中，与发声时间一起显示、且同时显示5行左右)。另一方面，在图13所示的驾驶座侧的显示部4，占满画面来较大地显示仅2行(连发声时间也没有)。这是因为驾驶者必须将精神集中于驾驶，因而如果字符不大，就无法在短时间内确认对话内容。
另外，在像实施方式1～3那样有多个话筒的情况下，或通过使用阵列式话筒还可以获取搭乘者的位置的情况下，例如也可以在副驾驶座侧的显示部4，代替图12而显示如图14的显示画面。在此情况下，较大地显示除副驾驶座侧本人(B)的发声内容以外的他人的发声内容，由此，可以更易于理解并识别他人的对话。
如上所述，根据本实施方式4，始终听取车内的对话并进行声音识别，且例如在位于驾驶座侧的显示部以可在短时间内视认字符且也可无需注视的方式进行显示，或在位于副驾驶座侧的显示部没有像驾驶者那样的限制而显示更多信息等，针对每个显示部的位置进行最佳显示，所以可更容易理解显示内容。另外，考虑了搭乘者的位置来进行显示，由此，相较于本人的对话可更容易理解并识别他人的对话。
实施方式5.
图15是表示本发明的实施方式5的车载信息装置的结构的框图。此外，对于与实施方式1～4中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式5中，与实施方式1中所说明的图1所示的基本结构相比的话，具备车厢内环境状态检测部(车辆状态检测部)30、声音的S/N(Signal-to-Nosie ratio，信噪比)获取部31、音频设备动作状态获取部32、空调设备动作状态获取部33、车厢内的噪音状态获取部34、及车窗或车顶的开闭状态获取部35。
声音的S/N获取部31基于从声音获取部1获取的声音数据而进行声音区间检测，计算声音区间的信号电平与除此以外的区间的信号电平的比。
音频设备动作状态获取部32、空调设备动作状态获取部33分别获取车厢内的音响设备等音频设备、或空调机等空调设备的动作状态。
车厢内的噪音状态获取部34获取车厢内的噪音电平是否超过规定阈值这种噪音状态。
车窗或车顶的开闭状态获取部35根据来自车辆的CAN(Controller AreaNetwork，控制器局域网)信号等而获取车辆的车窗或车顶的开闭状态。
此处，实施方式1～4中的车厢内环境状态检测部30检测车厢内的说话者(搭乘者)、声音获取部1、显示部(输出部)4中的任一者的配置状态，但本实施方式5中的车厢内环境状态检测部30检测声音获取部1所获取的声音的S/N比、车厢内的音频设备(音响设备等)或空调设备(空调机等)的动作状态、车厢内的噪音状态、车窗或车顶的开闭状态中的任一者。
而且，在本实施方式5中，当由车厢内环境状态检测部30检测出车厢内的环境状态被判断为嘈杂的车辆状态时，基于该所检测出的车辆状态，而改变显示形式(显示内容)来进行显示。
接下来，对本实施方式5的车载信息装置的动作进行说明。图16是表示实施方式5的车载信息装置的动作的流程图。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST51)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST52)。
然后，利用车厢内环境状态检测部30，基于车厢内的环境状态是否被判断为嘈杂，来判断是否有必要显示对话内容(步骤ST53)。也就是说，当为如下任一种状态时，车厢内环境状态检测部30判断车厢内的环境状态嘈杂，从而判断为需要呈现对话，所述状态是指：由声音的S/N获取部31所获取的声音的S/N比超过规定阈值；由音频设备动作状态获取部32所获取的车厢内的音频设备动作状态为动作中；由空调设备动作状态获取部33所获取的车厢内的空调设备动作状态为动作中；由车厢内的噪音状态获取部34所获取的车厢内的噪音电平超过规定阈值；以及由车窗或车顶的开闭状态获取部35所获取的车辆的车窗或车顶的开闭状态为打开。
然后，在判断为不需要呈现对话的情况(步骤ST53的“否”的情况)下，返回至步骤ST51进行处理。
另一方面，在判断为需要呈现对话的情况(步骤ST53的“是”的情况)下，显示控制部3将在步骤ST52中所识别出的声音数据进行整理并制成按时间序列顺序等排列的显示数据，且将该显示数据发送至显示部4，由此，在显示部4以字符串的形式显示对话内容(步骤ST54)。
如上所述，根据本实施方式5，始终听取车内的对话并进行声音识别，并且在判断为车厢内的环境状态嘈杂且搭乘者很有可能漏听对话的情况下，呈现对话内容，所以即使在因噪音等而未听取到对话的情况下，也可以确认对话内容，并且也易于理解对话的话题走向。
实施方式6.
图17是表示本发明的实施方式6的车载信息装置的结构的框图。此外，对于与实施方式1～5中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式6中，与实施方式1中所说明的图1所示的基本结构相比的话，具备车厢内环境状态检测部(车辆状态检测部)30、及声音特征信息获取部36。
在本实施方式6中，利用声音特征信息获取部36获取由声音获取部1所获取的声音的声音特征信息，所述声音特征信息包含声音的种类、音量、音程、音质、音色、声调、节奏、频率特性中的任一者，车厢内环境状态检测部30通过基于该声音特征信息的推断，而检测发出声音的搭乘者的感情状态作为车辆状态。
而且，在本实施方式6中，在由车厢内环境状态检测部30检测出搭乘者的感情状态被推断为明朗/阴郁等的车辆状态的情况下，基于该所检测出的车辆状态，改变显示形式(显示内容)来进行显示。
接下来，对本实施方式6的车载信息装置的动作进行说明。关于表示本实施方式6中的车载信息装置的动作的流程图，与实施方式5中的图16所示的流程图相同，所以省略图示。但是，步骤ST53中的判断的处理与实施方式5不同。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST51)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST52)。
然后，利用车厢内环境状态检测部30，基于车厢内的搭乘者的感情状态是明朗还是阴郁，来判断是否有必要显示对话内容(步骤ST53)。也就是说，车厢内环境状态检测部30基于由声音特征信息获取部36所获取的声音特征信息，而推断车厢内的搭乘者的感情状态是明朗还是阴郁，当搭乘者的感情状态阴郁时，很有可能为难以听取到对话的状态，从而判断为需要呈现对话。
然后，在车厢内的搭乘者的感情状态被推断为明朗，从而判断为无需呈现对话的情况(步骤ST53的“否”的情况)下，返回至步骤ST51进行处理。
另一方面，在车厢内的搭乘者的感情状态被推断为阴郁，从而判断为需要呈现对话的情况(步骤ST53的“是”的情况)下，显示控制部3将在步骤ST52中所识别出的声音数据进行整理并制成按时间序列顺序等排列的显示数据，且将该显示数据发送至显示部4，由此，在显示部4以字符串的形式显示对话内容(步骤ST54)。
如上所述，根据本实施方式6，始终听取车内的对话并进行声音识别，且当判断为车厢内的搭乘者的感情状态阴郁、很有可能处于难以听取到对话的状态时，呈现对话内容，所以即使为因噪音或全神贯注于驾驶操作等而难以听取到对话的状态下，也可以确认对话内容，并且也易于理解对话的话题走向。
实施方式7.
图18是表示本发明的实施方式7的车载信息装置的结构的框图。此外，对于与实施方式1～6中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式7中，与实施方式4中所说明的图10所示的框图相比的话，代替车厢内环境状态检测部(车辆状态检测部)30而具备车辆周边环境状态检测部(车辆状态检测部)40，还具备时刻获取部41、天气状态获取部42。
本实施方式7的车辆周边环境状态检测部40基于由时刻获取部41及天气状态获取部42所获取的车辆周边当前的年月日、时刻、星期、天气状态中的任一者，而检测车辆周边的环境状态作为车辆状态，所述时刻获取部41获取当前的日期、时刻、星期等信息，天气状态获取部42经由通信设备而获取当前本车位置的天气信息。
而且，在本实施方式7中，当由车辆周边环境状态检测部40根据车辆周边的环境状态检测出为驾驶者必须全神贯注于驾驶操作的状况时，基于该所检测出的车辆状态，而改变显示形式(显示内容)来进行显示，或在驾驶座侧的显示部4进行使显示变为不显示等的控制，如，对输出显示数据的显示部或不输出显示数据的显示部等进行选择、变更、切换等的控制。
接下来，对本实施方式7的车载信息装置的动作进行说明。图19是表示实施方式7的车载信息装置的动作的流程图。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST71)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST72)。
然后，在并非在驾驶座侧(可由驾驶者看见的位置)的显示部4进行显示的情况(步骤ST73的“否”的情况)下，显示控制部3将在步骤ST72中由声音识别部2所识别出的声音识别结果的字符串进行整理并按时间序列顺序等排列，根据各显示部4(4-1、4-2、···、4-N)的位置而改变显示形式(显示内容)并生成显示数据，且将该显示数据发送至各显示部4，由此，在各显示部4以字符串的形式显示对话内容(步骤ST74)。
另一方面，在显示控制部3在驾驶座侧(可由驾驶者看见的位置)的显示部4进行显示的情况(步骤ST73的“是”的情况)下，进而在步骤75中，利用车辆周边环境状态检测部40，基于当前车辆周边的年月日、时刻、星期、天气中的任一者，来判断是否需要全神贯注于驾驶操作(步骤ST75)。也就是说，基于由时刻获取部41所获取的当前车辆周边的年月日、时刻、星期是何时，另外，基于由天气状态获取部42所获取的当前车辆周边的天气为哪种天气，当日期或星期为交通拥堵时期时、时间段为夜间时、天气为下雨时等，车辆周边环境状态检测部40判断为驾驶者处于必须全神贯注于驾驶操作的状态。
然后，在判断为无需全神贯注于驾驶操作的情况(步骤ST75的“否”的情况)下，使驾驶座侧的显示部4成为显示状态(步骤ST76)。但是，在已经是显示状态的情况下不进行任何操作。
另一方面，在判断为需要全神贯注于驾驶操作的情况(步骤ST75的“是”的情况)下，使驾驶座侧的显示部4成为不显示状态(步骤ST77)。但是，在已经是不显示状态的情况下不进行任何操作。
如上所述，根据本实施方式7，始终听取车内的对话并进行声音识别，当显示部的位置及车辆周边的环境状态为驾驶者必须全神贯注于驾驶操作的状态时，使得在驾驶座侧的显示部不显示声音识别结果，所以除了与实施方式4相同的效果以外，还可以防止驾驶者在驾驶中往旁侧看。
实施方式8.
图20是表示本发明的实施方式8的车载信息装置的结构的框图。此外，对于与实施方式1～7中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式8中，与实施方式5中所说明的图10所示的框图相比的话，代替车厢内环境状态检测部(车辆状态检测部)30而具备车辆运行状态检测部(车辆状态检测部)50，还具备转向装置状态获取部51、变速杆使用状态获取部52、制动器使用状态获取部53、转向灯使用状态获取部54、照明状态获取部55、及雨刷使用状态获取部56。
转向装置状态获取部51、变速杆使用状态获取部52、制动器使用状态获取部53、转向灯使用状态获取部54、照明状态获取部55、雨刷使用状态获取部56分别从来自车辆的CAN信号等获取转向装置状态、变速杆、制动器、转向灯、照明及雨刷的使用有无信号。
本实施方式8中的车辆运行状态检测部50检测车辆的转向装置、变速杆、制动器、转向灯、照明、雨刷等的使用状态。
而且，在本实施方式8中，当由车辆运行状态检测部50检测出所述车辆设备为正被使用的状态时，基于该所检测出的车辆状态，而改变显示形式(显示内容)来进行显示，或在驾驶座侧的显示部4进行使显示成为不显示的控制等，如，对输出显示数据的显示部或不输出显示数据的显示部进行选择、变更、切换等的控制。
接下来，对本实施方式8的车载信息装置的动作进行说明。关于表示本实施方式8中的车载信息装置的动作的流程图，与实施方式7中的图19所示的流程图相同，所以省略图示。但是，步骤ST75中的判断的处理与实施方式7不同。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST71)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST72)。
然后，在并非在驾驶座侧(可由驾驶者看见的位置)的显示部4进行显示的情况(步骤ST73的“否”的情况)下，显示控制部3将声音识别部2的声音识别结果的字符串按时间序列顺序排列，并根据各显示部4(4-1、4-2、···、4-N)的位置而改变显示形式(显示内容)并生成显示数据，将该显示数据发送至各显示部4，由此，在各显示部4以字符串的形式显示对话内容(步骤ST74)。
另一方面，在显示控制部3在驾驶座侧(可由驾驶者看见的位置)的显示部4进行显示的情况(步骤ST73的“是”的情况)下，进而在步骤75中，利用车辆运行状态检测部50，基于是否使用车辆的转向装置、变速杆、制动器、转向灯、照明及雨刷等，而判断是否有必要全神贯注于驾驶操作(步骤ST75)。也就是说，当由转向装置状态获取部51、变速杆使用状态获取部52、制动器使用状态获取部53、转向灯使用状态获取部54、照明状态获取部55、雨刷使用状态获取部56所获取的车辆的转向装置状态、变速杆、制动器、转向灯、照明、雨刷中的任一者的使用有无信号为使用中(有使用)时，车辆运行状态检测部50判断为驾驶者处于必须全神贯注于驾驶操作的状态。
然后，在判断为无需全神贯注于驾驶操作的情况(步骤ST75的“否”的情况)下，使驾驶座侧的显示部4成为显示状态(步骤ST76)。但是，在已经是显示状态的情况下不进行任何操作。
另一方面，在判断为需要全神贯注于驾驶操作的情况(步骤ST75的“是”的情况)下，使驾驶座侧的显示部4成为不显示状态(步骤ST77)。但是，在已经是不显示状态时不进行任何操作。
如上所述，根据本实施方式8，始终听取车内的对话并进行声音识别，当显示部的位置及车辆的转向装置状态、变速杆、制动器、转向灯、照明、雨刷中的任一者的操作状态为使用中，且驾驶者处于必须全神贯注于驾驶操作的状态时，使得在驾驶座侧的显示部不显示声音识别结果，所以，除了与实施方式4相同的效果以外，还可以防止驾驶者在驾驶中往旁侧看。
实施方式9.
图21是表示本发明的实施方式9的车载信息装置的结构的框图。此外，对于与实施方式1～8中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式9中，与实施方式4中所说明的图10所示的框图相比的话，代替车厢内环境状态检测部(车辆状态检测部)30而具备车辆运行状态检测部(车辆状态检测部)50，还具备本车位置获取部61、车速信号获取部62、加速度获取部63、方位获取部64、行驶持续距离获取部65、行驶持续时间获取部66、行驶道路类别获取部67、行驶道路路面状态获取部68、行驶道路拥堵状况获取部69、行驶路径设定状态获取部70、及行驶路径引导状态获取部71。
本实施方式9中的车辆运行状态检测部50检测车辆当前的位置、速度、加速度、方位、行驶持续距离、行驶持续时间、行驶道路类别、行驶道路路面状态、行驶道路拥堵状况、行驶路径设定状态、行驶路径引导状态中的任一种车辆的运行状态。
而且，在本实施方式9中，基于由车辆运行状态检测部50所检测出的车辆状态，改变显示形式(显示内容)来进行显示。
此外，如实施方式4、7、8所示，当具备多个显示部4时，也可以基于由车辆运行状态检测部50所检测出的车辆状态，而改变显示形式(显示内容)来进行显示，或在驾驶座侧的显示部4进行在车辆运行中将显示改为不显示等控制，如，对输出显示数据的显示部或不输出显示数据的显示部等进行选择、变更、切换等的控制。
本车位置获取部61使用从GPS(Global Positioning System，全球定位系统)接收机或回转仪等获取的信息，而获取当前的本车位置。
车速信号获取部62从来自车辆的CAN信号等中获取车辆的速度信息。
加速度信号获取部63从回转仪或车辆的加速器、制动器、方向盘操作获取车辆的加速度。
方位获取部64从本车位置的移动方向或电子指南针获取车辆的方位。
行驶持续时间获取部65、行驶持续距离获取部66根据汽车导航或来自车辆的CAN信号等，分别判断并获取行驶持续时间、行驶持续距离。
行驶道路类别获取部67、行驶道路路面状态获取部68基于由本车位置获取部61所获取的当前的本车位置信息、及存储于下述地图数据存储部72等的地图数据，而分别获取当前行驶中的行驶道路类别、行驶道路路面状态。作为可获取的信息，为“是否为隧道内”“已铺路还是未铺路”等对噪音状况或驾驶操作带来影响的道路的状态。另外，例如在即使本车位置尚未处于隧道内，但如果保持这种状态前进便会进入隧道内的情况下等，也可以获取“不久后进入隧道内”这种信息。
行驶道路拥堵状况获取部69经由通信设备而获取本车位置的拥堵信息，或从电波信标/光信标获取VICS(Vehicle Information and Communication System(道路交通信息通信系统)/注册商标)信息(道路交通信息)。
行驶路径设定状态获取部70、行驶路径引导状态获取部71分别从导航装置获取当前的行驶路径设定状态、行驶路径引导状态的信息。
在地图数据存储部72，存储着例如道路数据、隧道数据等地图数据。该地图数据存储部72可以是DVD-ROM(Digital Versatile Disc-Read Only Memory，只读数字多功能光盘)、硬盘、SD卡等任何形态。另外，也可以是存在于网络上，可以经由通信网络而获取道路数据等信息的结构。
车辆运行状态检测部50基于从本车位置获取部61、车速信号获取部62、加速度获取部63、方位获取部64、行驶持续时间获取部65、行驶持续距离获取部66等获取的信息，而判定是行驶中还是停车中，或根据从行驶道路类别获取部67、行驶道路路面状态获取部68、行驶道路拥堵状况获取部69获取的信息，而判定是否为行驶中的道路的噪音状况或对驾驶操作造成影响的道路状态，或判定是否为利用导航装置设定、引导行驶路径的状态。
然后，在车辆运行状态检测部50判断为行驶中的情况下，或在判断为对驾驶操作造成影响的道路状态的情况下，显示控制部3使驾驶座侧(可由驾驶者看见的位置)的显示部4的显示内容成为不显示。
接下来，对本实施方式9的车载信息装置的动作进行说明。关于表示本实施方式9中的车载信息装置的动作的流程图，与实施方式7中的图19所示的流程图相同，所以省略图示。但是，步骤ST75中的判断的处理与实施方式7不同。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST71)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST72)。然后，在并非在驾驶座侧(可由驾驶者看见的位置)的显示部4进行显示的情况(步骤ST73的“否”的情况)下，显示控制部3将声音识别部2的声音识别结果的字符串按时间序列顺序排列，且根据各显示部4(4-1、4-2、···、4-N)的位置而改变显示形式(显示内容)并生成显示数据，且将该显示数据发送至各显示部4，由此，在各显示部4以字符串的形式显示对话内容(步骤ST74)。
另一方面，在显示控制部3在驾驶座侧(可由驾驶者看见的位置)的显示部4进行显示的情况(步骤ST73的“是”的情况)下，进而在步骤75中，利用车辆运行状态检测部50，基于当前的本车位置、车速、加速度、方位、行驶持续时间、行驶持续距离中的任一者而判定为行驶中还是停车中，或基于当前行驶中的道路类别、道路路面状态、道路拥堵状况中的任一者而判定是否为行驶中的道路的噪音状况或对驾驶操作造成影响的道路状态，或基于行驶路径设定状态或行驶路径引导状态而判定是否为行驶路径的导航中(是否为利用导航装置设定、引导行驶路径的状态)，由此，判断当前对驾驶者来说是否有必要全神贯注于驾驶操作(步骤ST75)。
然后，在判断为无需全神贯注于驾驶操作的情况(步骤ST75的“否”的情况)下，使驾驶座侧的显示部4成为显示状态(步骤ST76)。但是，在已经是显示状态的情况下不进行任何操作。
另一方面，在判断为需要全神贯注于驾驶操作的情况(步骤ST75的“是”的情况)下，使驾驶座侧的显示部4成为不显示状态(步骤ST77)。但是，在已经是不显示状态的情况下不进行任何操作。
如上所述，根据本实施方式9，始终听取车内的对话并进行声音识别，当显示部的位置及车辆的运行状态为驾驶者必须全神贯注于驾驶操作的状态时，使得在驾驶座侧的显示部不显示声音识别结果，所以除了与实施方式4相同的效果以外，还可以防止驾驶者在行驶中往旁侧看。
实施方式10.
图22是表示本发明的实施方式10的车载信息装置的结构的框图。此外，对于与实施方式1～9中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式10中，与实施方式7中所说明的图18所示的框图相比的话，还具备声音输出控制部11及声音输出部12，在驾驶座侧的显示部4在行驶中使显示成为不显示，所以作为提供给驾驶者的替代信息而利用声音输出来呈现对话内容。此外，此处，根据实施方式7进行说明，但在实施方式8、9中也同样地，可以具备声音输出控制部及声音输出部而成为相同的结构。
在使驾驶座侧的显示部4成为不显示的情况下，声音输出控制部11对利用声音识别部2所识别出的发声内容进行声音合成，并发送至声音输出部12。
此外，本实施方式10是输出合成声音的结构，但也可以是代替合成声音而输出利用声音识别部2进行过声音区间检测的部分的结构。
声音输出部12利用扬声器等而输出从声音输出控制部11发送的声音数据。
接下来，对本实施方式10的车载信息装置的动作进行说明。图23是表示实施方式10的车载信息装置的动作的流程图。
关于步骤ST101～ST107的处理，与实施方式7中的图19的流程图的步骤ST71～ST77相同，所以省略说明。而且，在本实施方式10中，在步骤ST107中使驾驶座侧的显示部4成为不显示状态之后，声音输出控制部11将利用声音识别部2所识别出的发声内容的声音数据发送至声音输出部12，并输出声音数据(步骤ST108)。
像这样，在本实施方式10中，与实施方式7同样地，在行驶中使驾驶座侧的显示部成为不显示，作为提供给驾驶者的替代信息而利用声音输出呈现对话内容，由此，驾驶者可以通过声音来识别对话内容。
如上所述，根据本实施方式10，当在行驶中使驾驶座侧的显示部成为不显示时，利用声音输出部输出声音识别结果，所以除了与实施方式7相同的效果以外，即使在行驶中，驾驶者也可以通过声音来识别对话内容。
实施方式11.
图24是表示本发明的实施方式11的车载信息装置的结构的框图。此外，对于与实施方式1～10中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式11中，与实施方式8中所说明的图20所示的框图相比的话，还具备声音输出保留判定部10、声音输出控制部11及声音输出部12，在驾驶座侧的显示部4在行驶中使显示成为不显示，所以作为提供给驾驶者的替代信息而利用声音输出呈现对话内容。此外，此处，根据实施方式8进行说明，但在实施方式9中也同样地，可以具备声音输出保留判定部、声音输出控制部及声音输出部而成为相同的结构。
本实施方式11与实施方式10相比，只有如下方面不同，也就是具备声音输出保留判定部10。
声音输出保留判定部10根据来自转向装置状态获取部51、变速杆使用状态获取部52、制动器使用状态获取部53、转向灯使用状态获取部54、照明状态获取部55、雨刷使用状态获取部56的信息，判断是否为向左右拐弯时或车道变更时等需要特别注意驾驶的场景，由此判定是否需要保留声音输出，将其通知给声音输出控制部11。
在使驾驶座侧的显示部4为不显示时，声音输出控制部11对利用声音识别部2所识别出的发声内容进行声音合成，并发送至声音输出部12。但是，当从声音输出保留判定部10通知保留声音输出时立即停止输出。当解除保留时，从所保留的声音数据的前头开始重新发送。另外，当保留时间较长时，也可以破坏所保留的声音数据。
此外，本实施方式10为输出合成声音的结构，但也可以是代替合成声音而输出利用声音识别部2进行过声音区间检测的部分的结构。
声音输出部12利用扬声器等而输出从声音输出控制部11发送的声音数据。
接下来，对本实施方式11的车载信息装置的动作进行说明。图25是表示实施方式11的车载信息装置的动作的流程图。
关于步骤ST111～ST117的处理，与实施方式10中的图23的流程图的步骤ST101～ST107相同，所以省略说明。而且，在本实施方式11中，在步骤ST117中使驾驶座侧的显示部4成为不显示状态之后，利用声音输出保留判定部10进行是否需要保留声音输出的判断(步骤ST118)。当判断为需要保留声音输出的情况(步骤ST118的“是”的情况)下，在解除保留声音输出之前，保留提供给声音输出部12的声音数据(步骤ST119的“否”的情况)。
当在步骤ST118中判断无需保留声音输出的情况(步骤ST118的“否”的情况)或解除保留声音输出的情况(步骤ST119的“是”的情况)下，将利用声音识别部2所识别出的发声内容的声音数据发送至声音输出部12，而输出声音数据(步骤ST120)。此外，当在声音输出中进行保留、解除保留时，从所保留的声音数据的前头开始重新输出。
此处，在步骤ST118中，对声音输出保留判定部10判断是否需要保留声音输出的处理进行说明。例如当由转向灯使用状态获取部54侦测出正在使用转向灯，且由车辆运行状态检测部50检测出车辆的运行状态为向左右拐弯中或车道变更中时，声音输出保留判定部10根据车辆处于该向左右拐弯中或车道变更中，而判定为必须特别注意驾驶的场景，且判断需要保留声音输出，对声音输出控制部11通知“需要保留声音输出”。另外，相反，当从转向装置状态获取部51、变速杆使用状态获取部52、制动器使用状态获取部53、转向灯使用状态获取部54、照明状态获取部55、雨刷使用状态获取部56侦测出未使用任一者时，判断为无需保留声音输出，对声音输出控制部11通知“无需保留声音输出”。
像这样，在本实施方式11中，与实施方式10同样地，在行驶中使驾驶座侧的显示部成为不显示，作为提供给驾驶者的替代信息而利用声音输出呈现对话内容，由此，驾驶者可以通过声音来识别对话内容。另外，检测是否为向左右拐弯时或车道变更时等需要特别注意驾驶的场景，当以这种方式判断为需要注意驾驶的场景时，连声音输出也不进行(进行保留)，由此，驾驶者可以更全神贯注于驾驶。
如上所述，根据本实施方式11，当在行驶中使驾驶座侧的显示部成为不显示时，利用声音输出部输出声音识别结果，所以除了与实施方式10相同的效果以外，即使在行驶中，驾驶者也可以利用声音来识别对话内容。另外，在向左右拐弯时或车道变更时等需要特别注意的情况下，连声音也不呈现不进行提示，由此，驾驶者可以更全神贯注于驾驶。
实施方式12.
图26是表示本发明的实施方式12的车载信息装置的结构的框图。此外，对于与实施方式1～11中所说明的结构相同的结构，标注相同的标号并省略重复的说明。在以下所示的实施方式12中，与实施方式1中所说明的图1所示的基本结构相比的话，除了实施方式5～10中所说明的各种获取部31～36、41～42、51～56、61～72中的任一者、及车辆状态检测部30、40、50以外，还具备关键字提取部13及对话历史存储部14，基于由车辆状态检测部30、40、50所检测出的车辆状态或由关键字提取部13所提取的规定关键字，而判断是否需要输出发声内容的全部或部分，并仅生成被判断为需要输出的发声内容的全部或部分的显示数据，或判断开始或停止显示的定时改变显示的定时。
关于关键字提取部13，如果在利用声音识别部2所识别出的对话字符串中包含“啊？什么？”“利用反射式幻灯机显示对话”“不将对话显示于反射式幻灯机”“这个反射式幻灯机碍事”等规定关键字，便提取这些关键字。
对话历史存储部14将利用声音识别部2所识别出的发声内容全部存储，当根据来自显示控制部3的指示而视为需要之前的对话时，发送所存储的对话内容之前的对话。
显示控制部3基于从各种获取部31～36、41～42、51～56、61～72获取的信息，将利用声音识别部2所识别出的发声内容作为呈现内容发送至显示部4，但例如通过组合如下所述的判定来进行控制，如，切换对话内容的显示/不显示，或即使在显示的情况下也从所呈现的对话之前的对话开始进行显示，或相反从对话刚结束后开始进行呈现这些控制。此外，当从之前的对话开始进行呈现时，从对话历史存储部14获取之前的对话并显示。另外，下述a)～h)的判定终究只是一例，当然也可以根据从各种获取部31～36、41～42、51～56、61～72获取的信息来组合其他条件。
a)如果车速在某一阈值以上则进行呈现，如果小于某一阈值则不进行呈现。
b)如果车窗打开则进行呈现，如果关闭则不进行呈现。
c)如果在隧道内行驶则进行呈现，如果在隧道外则不进行呈现。
d)当被通知将在不久后进入隧道内时，从这之后的对话开始进行呈现。
e)如果输入声音的S/N比在某一阈值以下则进行呈现，如果大于某一阈值则不进行呈现。
f)如果在声音识别结果中包含“啊？什么？”等意味着未听清对话的关键字，那么从这之前的对话开始进行呈现。
g)如果在声音识别结果中包含“利用反射式幻灯机显示对话”等指示显示的关键字，那么从这之后的对话开始进行呈现。
h)如果在声音识别结果中包含“不将对话显示于反射式幻灯机”“这个反射式幻灯机碍事”等指示不进行显示的关键字，那么不呈现对话。
接下来，对本实施方式12的车载信息装置的动作进行说明。图27是表示实施方式12的车载信息装置的动作的流程图。
首先，当有某些发声输入时，声音获取部1获取所输入的声音，并进行A/D转换，从而获取作为例如PCM形式的声音数据(步骤ST121)。其次，声音识别部2识别由声音获取部1所获取的声音数据(步骤ST122)。然后，将所识别出的对话的字符串作为对话历史保存在对话历史存储部14，以便显示控制部3在之后可以参照利用声音识别部2所识别出的发声内容(步骤ST123)。
然后，利用显示控制部3，组合所述判定a)～h)而判断是否需要显示对话内容(步骤ST124)。在判断为需要呈现对话的情况(步骤ST124的“是”的情况)，且被通知进行呈现的定时为该识别刚结束之后的情况(步骤ST125的“是”的情况)下，返回至步骤ST121进行处理。
此外，在判断为无需呈现对话的情况(步骤ST124的“否”的情况)下，也返回至步骤ST121。
另一方面，当判断为需要呈现对话，且被通知进行呈现的定时为该识别即将开始之前的情况(步骤ST126的“是”的情况)下，显示控制部3从存储在对话历史存储部14的对话历史中获取之前的对话内容，生成显示数据并发送至显示部4(步骤ST127)，接着，将根据利用声音识别部2所识别出的发声(当前的发声内容)的字符串所生成的显示数据发送至显示部4进行显示(步骤ST128)。
另外，在进行呈现的定时既非该识别即将开始之前也非该识别刚结束之后的情况(步骤ST126的“否”的情况)下，将根据利用声音识别部所识别出的对话的字符串所生成的显示数据发送至显示部4进行显示(步骤ST128)。
像这样，本实施方式12与实施方式1同样地，始终听取车内的对话并进行声音识别，且呈现对话，但基于由车辆状态检测部所检测出的车辆状态或由关键字提取部所提取的规定关键字，而判断是否需要输出发声内容的全部或部分，并仅生成被判断为需要输出的发声内容的全部或部分的显示数据，由此，仅在需要时呈现对话，所以在不需要显示对话的情况下可以显示其他内容。另外，对于呈现对话的定时，也进行如下控制：基于由车辆状态检测部所检测出的车辆状态或由关键字提取部所提取的规定关键字，而判断例如从刚进入隧道内之后、从意味着未听取到对话的关键字之前、从指示显示的关键字之后等开始或停止显示的定时，且在必要的定时呈现对话，或者只要包含指示不显示的关键字则之后便不进行显示等。
此外，可以是：当在关键字提取部13所提取的关键字中包含规定的语句时，生成将该规定的语句转换为规定的不同的语句或规定的图像而得的显示数据(或将规定的语句转换为规定的不同的语句或规定的声音而得的声音数据)，或当包含规定的缩略词、替换词或方言时，生成将该规定的缩略词、替换词或方言转换为规定的标准语句而得的显示数据(或声音数据)。具体来说，例如将品牌名替换为该品牌的记号，或将“太好了”等感情词汇替换为图画字符或记号，或对于“祝贺”等关键字输出鼓掌等效果音。
由此，难懂的语句等也被明确地呈现，所以可以明确地确认对话内容。
如上所述，根据本实施方式12，始终听取车内的对话并进行声音识别，基于由车辆状态检测部所检测出的车辆状态或由关键字提取部所提取出的规定的关键字，仅在必要时且在必要的定时呈现对话，所以可根据需要确认对话内容，且可以在不需要时显示其他内容。
本发明的车载信息装置可以应用于能够进行搭乘者与装置的声音对话的车载用导航装置、车载音响装置、车载影像装置等。
此外，本案发明可以在其发明的范围内，自由组合各实施方式，或使各实施方式的任意的构成要素变形，或对各实施方式省略任意的构成要素进行省略。
[工业上的可利用性]
本发明的车载信息装置可以应用于能够进行搭乘者与装置的声音对话的车载用导航装置、车载音响装置、车载影像装置等。
[标号说明]
1 声音获取部
2 声音识别部
3 显示控制部(输出控制部)
4 显示部(输出部)
5 信号处理部
6 发声有无检测部
7 发声数据提取部
8 发声数据顺序整理部
9 声音识别等待发声数据存储部
10 声音输出保留判定部
11 声音输出控制部(输出控制部)
12 声音输出部(输出部)
13 关键字提取部
14 对话历史存储部
30 车厢内环境状态检测部(车辆状态检测部)
31 声音的S/N获取部
32 音频设备动作状态获取部
33 空调设备动作状态获取部
34 车厢内的噪音状态获取部
35 车窗或车顶的开闭状态获取部
36 声音特征信息获取部
40 车辆周边环境状态检测部(车辆状态检测部)
41 时刻获取部
42 天气状态获取部
50 车辆运行状态检测部(车辆状态检测部)
51 转向装置状态获取部
52 变速杆使用状态获取部
53 制动器使用状态获取部
54 转向灯使用状态获取部
55 照明状态获取部
56 雨刷使用状态获取部
61 本车位置获取部
62 车速信号获取部
63 加速度获取部
64 方位获取部
65 行驶持续距离获取部
66 行驶持续时间获取部
67 行驶道路类别获取部
68 行驶道路路面状态获取部
69 行驶道路拥堵状况获取部
70 行驶路径设定状态获取部
71 行驶路径引导状态获取部
72 地图数据存储部

Claims (17)

1.一种车载信息装置，搭载于车辆，且提供支援搭乘者的信息，所述车载信息装置的特征在于包括：
声音获取部，当所述车载信息装置启动时始终侦测并获取多个所述搭乘者所发出的声音；
声音识别部，对利用所述声音获取部所获取的所述声音的发声内容进行识别；
关键字提取部，从所述声音识别部所识别出的由多个所述搭乘者的各发声构成的发声内容中提取规定的关键字；
车辆状态检测部，检测车辆状态，所述车辆状态包含所述车辆的车厢内的环境状态、所述车辆周边的环境状态或所述车辆的运行状态；以及
输出控制部，根据由所述车辆状态检测部所检测出的所述车辆状态和由所述关键字提取部提取出的关键字，将由所述声音识别部所识别出的由多个所述搭乘者的各发声构成的发声内容作为显示数据或声音数据来生成并进行提供至输出部的输出控制。
2.根据权利要求1所述的车载信息装置，其特征在于，
还包括对话历史存储部，所述对话历史存储部存储所述声音识别部所识别出的发声内容，
所述输出控制部利用存储于所述对话历史存储部的发声内容而生成显示数据或声音数据。
3.根据权利要求1所述的车载信息装置，其特征在于，
所述车辆状态检测部检测搭乘者、声音获取部及输出部中的任一者的配置状态作为车厢内的环境状态。
4.根据权利要求1所述的车载信息装置，其特征在于，
所述车辆状态检测部检测声音获取部所获取的声音的S/N比、车厢内的音频设备或空调设备的动作状态、车厢内的噪音状态、及车窗或车顶的开闭状态中的任一者作为车厢内的环境状态。
5.根据权利要求1所述的车载信息装置，其特征在于，
所述车辆状态检测部通过基于声音获取部所获取的声音的声音特征信息的推断，而检测发出所述声音的搭乘者的感情状态作为车厢内的环境状态，所述声音特征信息包含声音的种类、音量、音程、音质、音色、声调、节奏及频率特性中的任一者。
6.根据权利要求1所述的车载信息装置，其特征在于，
所述车辆状态检测部检测车辆周边当前的年月日、时刻、星期、天气状态中的任一者作为车辆周边的环境状态。
7.根据权利要求1所述的车载信息装置，其特征在于，
所述车辆状态检测部检测转向装置、变速杆、制动器、转向灯、照明、雨刷中的任一者的操作状态作为车辆的运行状态。
8.根据权利要求1所述的车载信息装置，其特征在于，
所述车辆状态检测部检测车辆当前的位置、速度、加速度、方位、行驶持续距离、行驶持续时间、行驶道路类别、行驶道路路面状态、行驶道路拥堵状况、行驶路径设定状态、行驶路径引导状态中的任一者作为车辆的运行状态。
9.根据权利要求1所述的车载信息装置，其特征在于，
所述输出控制部根据由所述车辆状态检测部所检测出的车辆状态或由所述关键字提取部所提取的关键字，而生成不同模式的显示数据或声音数据。
10.根据权利要求9所述的车载信息装置，其特征在于，
作为所述不同模式的显示数据或声音数据，为显示字符或显示图像的种类、形状、大小、颜色、浓度、亮度、画面内的布局中的任一者不同的显示数据、或声音的种类、音量、音程、音质、音色、声调、节奏、音像、回响、信道数、频率特性中的任一者不同的声音数据。
11.根据权利要求1所述的车载信息装置，其特征在于，
所述输出控制部根据由所述车辆状态检测部所检测出的车辆状态或由所述关键字提取部所提取的关键字，而判断是否有必要输出所述发声内容的全部或部分，从而生成或不生成所述发声内容的全部或部分的显示数据或声音数据。
12.根据权利要求1所述的车载信息装置，其特征在于，
所述输出控制部判断所述关键字中是否包含规定的语句，当判断为包含所述规定的语句时，生成将所述规定的语句转换为规定的不同的语句、规定的图像或规定的声音而得的显示数据或声音数据。
13.根据权利要求1所述的车载信息装置，其特征在于，
所述输出控制部判断在所述关键字中是否包含规定的缩略词、替换词或方言，当判断为包含所述规定的缩略词、替换词或方言时，生成将所述规定的缩略词、替换词或方言转换为规定的标准语句而得的显示数据或声音数据。
14.根据权利要求1所述的车载信息装置，其特征在于，
所述输出控制部以如下方式进行控制：根据由所述车辆状态检测部所检测出的车辆状态或由所述关键字提取部所提取的关键字，而判断开始或停止输出显示数据或声音数据的定时，在该判断出的定时，开始或停止从所述输出部输出所述显示数据或声音数据。
15.根据权利要求1所述的车载信息装置，其特征在于，
在有多个所述搭乘者的情况下，所述输出控制部生成可识别发声的多个所述搭乘者的模式的显示数据或声音数据。
16.根据权利要求1所述的车载信息装置，其特征在于，
在有多个所述输出部的情况下，所述输出控制部根据由所述车辆状态检测部所检测出的车辆状态或由所述关键字提取部所提取的关键字，而对输出显示数据或声音数据的输出部或不输出显示数据或声音数据的输出部进行选择、变更或切换。
17.根据权利要求1所述的车载信息装置，其特征在于，
所述车载信息装置为车载导航装置、车载音响装置、车载影像装置中的任一者。
CN201280074229.9A 2012-06-25 2012-06-25 车载信息装置 Active CN104412323B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/004099 WO2014002128A1 (ja) 2012-06-25 2012-06-25 車載情報装置

Publications (2)

Publication Number Publication Date
CN104412323A CN104412323A (zh) 2015-03-11
CN104412323B true CN104412323B (zh) 2017-12-12

Family

ID=49782371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280074229.9A Active CN104412323B (zh) 2012-06-25 2012-06-25 车载信息装置

Country Status (5)

Country Link
US (1) US9305555B2 (zh)
JP (1) JP5972372B2 (zh)
CN (1) CN104412323B (zh)
DE (1) DE112012006617B4 (zh)
WO (1) WO2014002128A1 (zh)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP5925313B2 (ja) * 2012-07-03 2016-05-25 三菱電機株式会社 音声認識装置
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US20140288939A1 (en) * 2013-03-20 2014-09-25 Navteq B.V. Method and apparatus for optimizing timing of audio commands based on recognized audio patterns
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP6413263B2 (ja) * 2014-03-06 2018-10-31 株式会社デンソー 報知装置
US9583121B2 (en) 2014-05-16 2017-02-28 Alphonso Inc. Apparatus and method for determining co-location of services
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP2949536B1 (en) * 2014-05-30 2016-10-05 Honda Research Institute Europe GmbH Method for controlling a driver assistance system
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102249392B1 (ko) * 2014-09-02 2021-05-07 현대모비스 주식회사 사용자 맞춤형 서비스를 위한 차량 기기 제어 장치 및 방법
JP6242773B2 (ja) * 2014-09-16 2017-12-06 株式会社東芝 会議情報蓄積装置、方法およびプログラム
US10546582B2 (en) * 2014-12-26 2020-01-28 Sony Corporation Information processing device, method of information processing, and program
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
CN106714026B (zh) * 2015-07-30 2019-06-21 惠州市德赛西威汽车电子股份有限公司 多输出音源的识别方法以及基于该方法的车载多音源系统
DE102015011023B4 (de) * 2015-08-22 2022-01-05 Audi Ag Fahrzeug-Datenschreibervorrichtung, Fahrzeug und Verfahren zum Protokollieren eines Vorgangs in einem Fahrzeug
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
WO2017042906A1 (ja) * 2015-09-09 2017-03-16 三菱電機株式会社 車載用音声認識装置および車載機器
WO2017061149A1 (ja) * 2015-10-08 2017-04-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017212569A1 (ja) * 2016-06-08 2017-12-14 三菱電機株式会社 車載情報処理装置、車載装置および車載情報処理方法
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN109642818B (zh) * 2016-08-29 2022-04-26 哈曼国际工业有限公司 用于为收听室生成虚拟场所的设备和方法
DE102016218270B4 (de) * 2016-09-22 2018-04-26 Audi Ag Verfahren zum Betreiben einer Kraftfahrzeug-Bedienvorrichtung mit Spracherkenner, Bedienvorrichtung und Kraftfahrzeug
JP7028179B2 (ja) * 2016-09-29 2022-03-02 日本電気株式会社 情報処理装置、情報処理方法およびコンピュータ・プログラム
CN109804400B (zh) * 2016-09-30 2022-10-18 本田技研工业株式会社 信息提供装置和移动体
JP6918471B2 (ja) * 2016-11-24 2021-08-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 対話補助システムの制御方法、対話補助システム、及び、プログラム
US10593328B1 (en) * 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DE112017007280T5 (de) 2017-03-17 2019-11-28 Mitsubishi Electric Corporation Fahrzeuginterne Kommunikationssteuerungsvorrichtung, fahrzeuginternes Kommunikationssystem, und fahrzeuginternes Kommunikationssteuerungsverfahren
CN107230478A (zh) * 2017-05-03 2017-10-03 上海斐讯数据通信技术有限公司 一种语音信息处理方法及系统
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DE102017213249A1 (de) * 2017-08-01 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erzeugen einer auditiven Meldung in einem Innenraum eines Fahrzeugs
US20190156834A1 (en) * 2017-11-22 2019-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle virtual assistance systems for taking notes during calls
CN109835280B (zh) * 2017-11-27 2022-07-15 比亚迪股份有限公司 一种通过语音识别显示车辆状态及驾驶行为的系统和车辆
KR102567188B1 (ko) 2017-12-20 2023-08-16 현대자동차주식회사 차량 및 그 제어 방법
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
JP7186375B2 (ja) * 2018-03-29 2022-12-09 パナソニックＩｐマネジメント株式会社 音声処理装置、音声処理方法および音声処理システム
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
KR20200042127A (ko) 2018-10-15 2020-04-23 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR20200004054A (ko) 2018-07-03 2020-01-13 현대자동차주식회사 대화 시스템 및 대화 처리 방법
KR20200001188A (ko) * 2018-06-27 2020-01-06 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP6936772B2 (ja) * 2018-06-04 2021-09-22 株式会社ホンダアクセス 情報提供装置
JP7163625B2 (ja) * 2018-06-06 2022-11-01 日本電信電話株式会社 移動支援情報提示制御装置、方法およびプログラム
CN112313137A (zh) * 2018-06-19 2021-02-02 日产自动车株式会社 行驶信息处理装置和处理方法
US11898866B2 (en) 2018-07-24 2024-02-13 Faurecia Clarion Electronics Co., Ltd. Information collection device, and control method
EP3833045B1 (en) * 2018-08-02 2023-10-25 Nippon Telegraph And Telephone Corporation Conversation assistance system, method therefor, and program
KR102109186B1 (ko) * 2018-08-24 2020-05-11 정우주 차량 탑승자 대화기반 컨텐츠 추천 방법 및 장치
WO2020065771A1 (ja) * 2018-09-26 2020-04-02 三菱電機株式会社 音声感情認識装置および音声感情認識方法
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
JP2020060830A (ja) * 2018-10-05 2020-04-16 本田技研工業株式会社 エージェント装置、エージェント提示方法、およびプログラム
JP7068986B2 (ja) * 2018-10-09 2022-05-17 本田技研工業株式会社 エージェントシステム、エージェント制御方法、およびプログラム
JP2020060696A (ja) * 2018-10-10 2020-04-16 本田技研工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、およびプログラム
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109733293A (zh) * 2018-12-14 2019-05-10 江苏辰汉电子科技有限公司 一种支持语音识别的新型车载智能终端装置
JP2020154013A (ja) 2019-03-18 2020-09-24 株式会社Ｓｕｂａｒｕ 車両用注意喚起装置、車両用注意喚起方法及びプログラム
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN111402868B (zh) * 2020-03-17 2023-10-24 阿波罗智联(北京)科技有限公司 语音识别方法、装置、电子设备及计算机可读存储介质
KR20210133600A (ko) * 2020-04-29 2021-11-08 현대자동차주식회사 차량 음성 인식 방법 및 장치
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
CN111816189B (zh) * 2020-07-03 2023-12-26 斑马网络技术有限公司 一种车辆用多音区语音交互方法及电子设备
CN114089943A (zh) 2020-07-17 2022-02-25 阿尔卑斯阿尔派株式会社 声音输出装置及声音输出方法
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
JP2022061873A (ja) * 2020-10-07 2022-04-19 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same
DE102022113817A1 (de) 2022-06-01 2023-12-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zum betreiben eines sprachsteuersystems eines automatisierten kraftfahrzeugs
DE102022125547A1 (de) 2022-10-04 2024-04-04 Cariad Se Kraftfahrzeug und Verfahren zum Zusammenfassen eines Gesprächs in einem Kraftfahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353294A (ja) * 1999-06-11 2000-12-19 Fujitsu Ten Ltd 車載用情報提供装置及び音声認識装置
CN1689073A (zh) * 2002-10-23 2005-10-26 皇家飞利浦电子股份有限公司 基于语音来控制设备
JP2005309185A (ja) * 2004-04-23 2005-11-04 Nissan Motor Co Ltd 音声入力装置、および音声入力方法
JP2008242261A (ja) * 2007-03-28 2008-10-09 Denso Corp 音声認識装置
CN101354887A (zh) * 2007-07-25 2009-01-28 通用汽车公司 用在语音识别中的环境噪声注入
JP2010156825A (ja) * 2008-12-26 2010-07-15 Fujitsu Ten Ltd 音声出力装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8054203B2 (en) * 1995-06-07 2011-11-08 Automotive Technologies International, Inc. Apparatus and method for determining presence of objects in a vehicle
JP2001005487A (ja) * 1999-06-18 2001-01-12 Mitsubishi Electric Corp 音声認識装置
JP4533705B2 (ja) * 2003-09-01 2010-09-01 パナソニック株式会社 車載対話装置
JP4311190B2 (ja) * 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US8880047B2 (en) 2005-08-03 2014-11-04 Jeffrey C. Konicek Realtime, location-based cell phone enhancements, uses, and applications
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
JP2007208828A (ja) * 2006-02-03 2007-08-16 Denso Corp 車両用音声入出力制御装置
WO2008004486A1 (fr) 2006-07-06 2008-01-10 Panasonic Corporation Dispositif d'entrée vocale
JP2008042390A (ja) 2006-08-03 2008-02-21 National Univ Corp Shizuoka Univ 車内会話支援システム
JP2008275987A (ja) 2007-05-01 2008-11-13 Yamaha Corp 音声認識装置および会議システム
US20090055180A1 (en) * 2007-08-23 2009-02-26 Coon Bradley S System and method for optimizing speech recognition in a vehicle
JP5106540B2 (ja) * 2007-10-12 2012-12-26 三菱電機株式会社 車載情報提供装置
US8351581B2 (en) 2008-12-19 2013-01-08 At&T Mobility Ii Llc Systems and methods for intelligent call transcription
JP5326843B2 (ja) 2009-06-11 2013-10-30 日産自動車株式会社 感情推定装置及び感情推定方法
JP2011170634A (ja) * 2010-02-18 2011-09-01 Nikon Corp 情報処理装置
US8428227B2 (en) 2010-05-18 2013-04-23 Certicall, Llc Certified communications system and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353294A (ja) * 1999-06-11 2000-12-19 Fujitsu Ten Ltd 車載用情報提供装置及び音声認識装置
CN1689073A (zh) * 2002-10-23 2005-10-26 皇家飞利浦电子股份有限公司 基于语音来控制设备
JP2005309185A (ja) * 2004-04-23 2005-11-04 Nissan Motor Co Ltd 音声入力装置、および音声入力方法
JP2008242261A (ja) * 2007-03-28 2008-10-09 Denso Corp 音声認識装置
CN101354887A (zh) * 2007-07-25 2009-01-28 通用汽车公司 用在语音识别中的环境噪声注入
JP2010156825A (ja) * 2008-12-26 2010-07-15 Fujitsu Ten Ltd 音声出力装置

Also Published As

Publication number Publication date
US9305555B2 (en) 2016-04-05
JPWO2014002128A1 (ja) 2016-05-26
CN104412323A (zh) 2015-03-11
DE112012006617B4 (de) 2023-09-28
US20150006167A1 (en) 2015-01-01
WO2014002128A1 (ja) 2014-01-03
JP5972372B2 (ja) 2016-08-17
DE112012006617T5 (de) 2015-04-09

Similar Documents

Publication Publication Date Title
CN104412323B (zh) 车载信息装置
JP6173477B2 (ja) ナビゲーション用サーバ、ナビゲーションシステムおよびナビゲーション方法
JP4085500B2 (ja) 車両状況把握装置、エージェント装置、および、車両制御装置
WO2014057540A1 (ja) ナビゲーション装置およびナビゲーション用サーバ
US6889189B2 (en) Speech recognizer performance in car and home applications utilizing novel multiple microphone configurations
CN109493871A (zh) 车载系统的多屏语音交互方法及装置、存储介质和车机
JP7275058B2 (ja) エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム
CN105008859B (zh) 语音识别装置及显示方法
JPH11259271A (ja) エージェント装置
JP2010091578A (ja) 自動車用ナビゲーションシステムの作動方法およびナビゲーションシステム
US20200294092A1 (en) System and method for providing content to a user based on a predicted route identified from audio or images
US11460309B2 (en) Control apparatus, control method, and storage medium storing program
JP5181533B2 (ja) 音声対話装置
CN106931989A (zh) 一种智能调节导航音量的方法及其导航装置
JP3677833B2 (ja) ナビゲーション装置，ナビゲート方法及び自動車
JP2947143B2 (ja) 音声認識装置及びナビゲーション装置
JP4604360B2 (ja) 情報提供装置、情報提供方法及び情報提供装置のプログラム
JPH11272639A (ja) エージェント装置
CN115534850B (zh) 界面显示方法、电子设备、车辆及计算机程序产品
JP7460407B2 (ja) 音響出力装置、音響出力システム及び音響出力方法
CN115905727A (zh) 信息呈现方法及车载系统
JP2008152385A (ja) 車両用問題出題装置
JP2023079861A (ja) 制御装置、制御方法およびプログラム
JP2020079865A (ja) 情報処理装置、エージェントシステム、情報処理方法、およびプログラム
JP2020166075A (ja) 音声インタフェイスシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230412

Address after: Seoul, South Kerean

Patentee after: Hyundai Motor Co.,Ltd.

Patentee after: Kia Co.,Ltd.

Address before: Tokyo

Patentee before: MITSUBISHI ELECTRIC Corp.