CN110166896B - 语音提供方法、语音提供系统和服务器 - Google Patents

语音提供方法、语音提供系统和服务器 Download PDF

Info

Publication number
CN110166896B
CN110166896B CN201910110226.XA CN201910110226A CN110166896B CN 110166896 B CN110166896 B CN 110166896B CN 201910110226 A CN201910110226 A CN 201910110226A CN 110166896 B CN110166896 B CN 110166896B
Authority
CN
China
Prior art keywords
occupant
voice information
display
voice
sound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910110226.XA
Other languages
English (en)
Other versions
CN110166896A (zh
Inventor
久米智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110166896A publication Critical patent/CN110166896A/zh
Application granted granted Critical
Publication of CN110166896B publication Critical patent/CN110166896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)

Abstract

公开一种语音提供方法、语音提供系统和服务器。所述语音提供方法包括在多个乘员就座的车辆中使对应于所述多个乘员的多个代理向相应的乘员提供语音信息。所述语音提供方法包括：获取提供给第一乘员的第一代理的第一语音信息；获取提供给第二乘员的第二代理的第二语音信息；以及控制布置在所述车辆中的不同位置的多个扬声器的输出，使得所述第一语音信息的声像和所述第二语音信息的声像定位在不同的位置。

Description

语音提供方法、语音提供系统和服务器
技术领域
本发明涉及向乘坐车辆的多个乘员提供语音信息的语音提供方法、语音提供系统和服务器。
背景技术
未审查的日本专利申请公开号第2006-284454(JP 2006-284454 A)公开了一种车载代理系统，其中代理的三维角色图像布置在车辆空间中以辅助乘员。代理系统包括用于角色的声音产生装置，并且声音产生装置将声像定位在与辅助相关联的适当位置处，例如，当乘员被通知车辆异常时在发生异常的位置处。
发明内容
JP 2006-284454 A公开了代理通过语音向驾驶员输出辅助信息，但没有公开多个代理各自输出语音。当多个代理输出语音时，优选的是容易确定向哪个乘员输出语音，使得乘员可以容易地与代理对话。
本发明提供了允许乘员在多个代理输出语音时区分多个代理的语音的技术。
根据本发明的第一方案，提供一种语音提供方法，其在多个乘员就座的车辆中使对应于所述多个乘员的多个代理向相应的乘员提供语音信息。所述语音提供方法包括：获取提供给第一乘员的第一代理的第一语音信息；获取提供给第二乘员的第二代理的第二语音信息；以及控制布置在所述车辆中的不同位置的多个扬声器的输出，使得所述第一语音信息的声像和所述第二语音信息的声像定位在不同的位置。
根据该方案，乘员可以容易地区分多个代理的语音，因为多个代理的语音信息是以声像定位在不同位置而输出的。
在控制多个扬声器的输出之前，可以识别第一乘员和第二乘员在车辆中的就座位置。可以基于第一乘员和第二乘员在车辆中的就座位置来定位声像。
根据本发明的第二方案，提供一种语音提供系统，其在多个乘员就座的车辆中使对应于所述多个乘员的多个代理向相应的乘员提供语音信息。所述语音提供系统包括：多个扬声器，其布置在所述车辆中的不同位置；第一语音获取单元，其被配置为获取第一代理提供给第一乘员的第一语音信息；第二语音获取单元，其被配置为获取第二代理提供给第二乘员的第二语音信息；以及控制单元，其被配置为控制所述多个扬声器的输出，使得所述第一语音信息的声像和所述第二语音信息的声像被定位在不同的位置。
根据该方案，乘员可以容易地区分多个代理的语音，因为多个代理的语音信息是以声像定位在不同位置而输出的。
根据本发明的第三方案，提供一种服务器，其配置为：从包括多个扬声器并且多个乘员就座在其中的车辆接收第一乘员的第一话语信息和第二乘员的第二话语信息；响应于接收的所述第一话语信息确定第一语音信息；响应于接收的所述第二话语信息确定第二语音信息；以及将用于控制所述多个扬声器的输出的数据发送到所述车辆，使得所述第一语音信息的声像和所述第二语音信息的声像定位在不同的位置。
根据本发明，可以提供一种技术，当多个代理输出语音时允许乘员区分多个代理的语音。
附图说明
以下将结合所附附图来描述本发明的示例性实施例的特征、优点以及技术和工业意义，其中相同的标记指代相同的元件，并且其中：
图1为示出根据实施例的语音提供系统的图；
图2为示出显示器上显示的代理的图；以及
图3为示出语音提供系统的功能配置的图。
具体实施方式
图1为示出根据实施例的语音提供系统1的图。在语音提供系统1中，在多个乘员所就座的车辆10中，对应于多个乘员的多个代理向相应乘员提供语音。在图1中，第一代理向就座在车辆10中的第一乘员12提供第一语音信息，第二代理向就座在车辆10中的第二乘员14提供第二语音信息，并且这两个代理具有独立的对话。
通过执行代理程序，代理在显示器上显示为动画角色，并且从扬声器输出语音，就像角色正在说话一样。第一代理主要通过对话向驾驶员提供信息和从驾驶员接收信息，通过语音和/或图像提供信息，并在行驶期间提供关于行驶的信息以支持驾驶员的驾驶。代理的角色可以被显示为叠加在表示预定功能的图像上，并且可以显示在例如作为目的地引导功能显示的地图的一端。
语音提供系统1包括控制单元20、第一扬声器22a、第二扬声器22b、第三扬声器22c、第四扬声器22d、第五扬声器22e、第六扬声器22f、第七扬声器22g和第八扬声器22h(当不区分扬声器时简称为“扬声器22”)、麦克风24、摄像机26和第一显示器27a、第二显示器27b以及第三显示器27c(当不区分显示器时简称为“显示器27”)。
提供麦克风24以检测车厢中的声音，将包括乘员的话语的声音转换成电信号，并将该信号发送到控制单元20。控制单元20可以从由麦克风24检测的声音信息中获取乘员的话语。
摄像机26捕获车辆内部的图像并将捕获的图像发送到控制单元20。控制单元20可以通过分析来自摄像机26的捕获图像来识别车辆10中的乘员。
多个扬声器22以有线或无线方式连接到控制单元20，由控制单元20控制，并输出代理的语音信息。多个扬声器22布置在车辆10中的不同位置。第一扬声器22a和第二扬声器22b布置在驾驶员座椅和副驾驶座椅的前方，第三扬声器22c、第四扬声器22d、第五扬声器22e和第六扬声器22f布置在车辆的两个侧壁上，并且第七扬声器22g和第八扬声器22h布置在后座的后方。
多个显示器27由控制单元20控制，并显示动画角色作为代理。第一显示器27a布置在位于驾驶员座椅和副驾驶座椅之间的仪表板或中央控制台中，并且位于驾驶员座椅和副驾驶座椅的前方。第二显示器27b布置在驾驶员座椅的后表面上，第三显示器27c布置在副驾驶座椅的后表面上。
多个显示器27可以显示不同的图像。例如，第一显示器27a可以显示对应于第一乘员12的第一代理，并且第二显示器27b可以显示对应于第二乘员14的第二代理。因此，第一乘员12和第二乘员14可以容易地认出相应的代理人。
图2为示出显示器27上显示的代理的图。图2示出了当在车辆10中从后座侧观察前侧时车辆内部的图像，在车辆10中第一乘员12和第二乘员14如图1所示就座。
第一代理25a显示在第一显示器27a上，第二代理25b显示在第二显示器27b上。控制第一代理25a使得其与就座在驾驶员座椅中的第一乘员12对话，并且控制第二代理25b使得其与就座在右后座椅中的第二乘员14对话。对应于多个乘员的多个代理向相应的乘员提供语音。
控制多个扬声器22，使得当输出显示在第一显示器27a上的第一代理25a的第一语音信息时声像的位置被定位在第一显示器27a的位置处，并且控制多个扬声器22使得当输出显示在第二显示器27b上的第二代理25b的第二语音信息时声像的位置定位在第二显示器27b的位置处。也就是说，控制单元20控制多个扬声器22的输出，使得第一语音信息的声像和第二语音信息的声像定位在不同的位置。通过将针对第一乘员12的第一语音信息和针对第二乘员14的第二语音信息定位在不同位置，乘员可以容易地区别向哪个乘员提供语音信息。
图3为示出语音提供系统1的功能配置的图。在图3中，作为执行各种处理的功能块示出的元件可以由硬件中的电路块、存储器和其他LSI实现，并且可以由软件中的加载到存储器等中的程序来实现。因此，对于本领域技术人员来说显而易见的是，功能块可以仅通过硬件、仅通过软件或通过其组合以各种形式实现，并且本发明不限于其中之一。
控制单元20包括声音获取单元32、代理执行单元36、输出控制单元38和乘员识别单元40。声音获取单元32从麦克风24检测到的信号中获取乘员的话语，并且将所获取的乘员的话语发送给代理执行单元36。
乘员识别单元40从摄像机26接收捕获图像，分析捕获图像，并识别就座在车辆中的乘员。乘员识别单元40预先存储与用户ID相关联的用于识别乘员的信息，例如，诸如面部图像、性别和年龄的乘员的属性信息，并且基于乘员的属性信息识别乘员。可以经由服务器30从由第一乘员12拥有的第一移动终端装置28或者由第二乘员14拥有的第二移动终端装置29获取乘员的属性信息。当车载电源打开时或者当车辆的门打开或关闭时，乘员识别单元40执行识别乘员的处理。
乘员识别单元40通过与属性信息比较来识别捕获图像中包括的乘员，并识别乘员的就座位置。由乘员识别单元40识别的车辆中的乘员的位置信息和乘员的用户ID被发送到代理执行单元36。乘员识别单元40可以识别乘员已经离开车辆。
代理执行单元36执行代理程序并通过辨认乘员的话语和响应话语来实现与乘员的通信。例如，为了从扬声器22输出语音(声像)“你要去哪里？”以提示乘员说出目的地，代理执行单元36将用于语音的信号输出到输出控制单元38。当经由声音获取单元32从用户获取到与目的地相关联的话语时，代理执行单元36通过语音从扬声器22输出目的地的旅游信息等，并将该语音提供给乘员。
代理执行单元36包括第一生成单元42a、第一语音获取单元42b、第二生成单元44a和第二语音获取单元44b。第一生成单元42a和第一语音获取单元42b激活与第一乘员12对话的第一代理25a，并且第二生成单元44a和第二语音获取单元44b激活与第二乘员14对话的第二代理25b。
由安装在车辆中的代理执行单元36执行的代理程序也在第一移动终端装置28和第二移动终端装置29中执行。第一移动终端装置28由第一乘员12拥有并存储用于激活第一代理25a的代理程序。第二移动终端装置29由第二乘员14拥有并存储用于激活第二代理25b的代理程序。
第一移动终端装置28存储第一乘员12的用户ID，第二移动终端装置29存储第二乘员14的用户ID。第一移动终端装置28将第一乘员12的用户ID发送给控制器单元20，因此由第一移动终端装置28正执行的用于第一代理25a的程序在安装于车辆中的代理执行单元36中执行。第二移动终端装置29将第二乘员14的用户ID发送到控制单元20，因此由第二移动终端装置29正执行的用于第二代理25b的程序在安装于车辆中的代理执行单元36中执行。第一移动终端装置28和第二移动终端装置29可以发送用户ID作为来自摄像机26的图像信息，或者可以使用另一通信手段将用户ID直接发送到控制单元20。
第一生成单元42a和第一语音获取单元42b在从第一移动终端装置28接收到第一乘员12的用户ID时作为触发开始其执行，并且第二生成单元44a和第二语音获取单元44b在从第二移动终端装置29接收到第二乘员14的用户ID时作为触发开始其执行。代理执行单元36可以在乘员识别单元40识别相应的乘员时作为触发开始其执行。
服务器30从第一移动终端装置28和第二移动终端装置29接收用户ID和移动终端ID，从控制单元20接收用户ID和车载装置ID，并使用用户ID关联移动终端ID和车载装置ID。因此，移动终端装置和控制单元20可以经由服务器30发送和接收关于代理的信息。
当乘员离开车辆10时，乘员识别单元40识别出乘员已经离开并且将已经离开的乘员的用户ID发送到服务器30。服务器30基于与已离开的乘员的用户ID相关联的移动终端ID向乘员的移动终端装置通知乘员已经离开。已被通知的移动终端装置执行显示代理的代理程序。以这种方式，通过移动终端装置和车载控制单元20控制代理移动。
第一生成单元42a生成提供给第一乘员12的第一语音信息。第一语音信息被生成为预先存储在控制单元20中的多种类型的语音的组合。第一生成单元42a根据乘员的位置信息确定要在其上显示第一代理角色的显示器27，并确定第一语音信息的声像的位置。第一语音获取单元42b获取由第一生成单元42a生成的第一语音信息、关于要在其上显示第一代理角色的显示器27的信息以及第一语音信息的声像的位置，并发送所获取的关于代理的信息到输出控制单元38。
第二生成单元44a生成提供给第二乘员14的第二语音信息。第二语音信息被生成为预先存储在控制单元20中的多种类型的语音的组合。第二生成单元44a根据乘员的位置信息确定要在其上显示第二代理角色的显示器27，并确定第二语音信息的声像的位置。第二语音获取单元44b获取由第二生成单元44a生成的第二语音信息、关于要在其上显示第二代理角色的显示器27的信息以及第二语音信息的声像的位置，并发送所获取的关于代理的信息到输出控制单元38。
输出控制单元38控制多个扬声器22的输出，使得第一语音信息的声像和第二语音信息的声像定位在不同的位置。由于乘员基于到达他或她的右耳和左耳的到达时间或声音的音量的差异来辨认声像的位置，因此输出控制单元38设置多个扬声器22的音量和相位并将声像定位在由代理执行单元36确定的位置处。输出控制单元38可以存储具有声像的位置的控制表，并且可以参考控制表来设置多个扬声器22的音量和相位。
当第一语音获取单元42b在第一显示器27a上显示第一代理角色并获取提供给第一乘员12的第一语音信息时，输出控制单元38控制扬声器22的输出，使得声像定位在第一显示器27a的位置处。当第二语音获取单元44b在第二显示器27b上显示第二代理角色并获取提供给第二乘员14的第二语音信息时，输出控制单元38控制扬声器22的输出，使得声像定位在第二显示器27b的位置处。也就是说，语音信息的声像被定位在显示代理角色的显示器的位置处。以这种方式，输出控制单元38根据与代理对应的乘员的位置来改变多个扬声器22的音量和相位，并且将声像的位置定位在不同的位置。因此，每个乘员可以容易地辨认已经向哪个乘员提供了语音信息。
当向就座在驾驶员座椅和副驾驶座椅中的乘员提供语音信息时，输出控制单元38将声像定位在驾驶员座椅和副驾驶座椅前方的位置处。另一方面，当向就座在后排座椅中的乘员提供语音信息时，输出控制单元38将声像定位在驾驶员座椅和副驾驶座椅后方的位置。因此，乘员可以容易地按代理区分语音信息。
代理执行单元36确定代理角色显示在位于最靠近与代理对应的乘员的位置处的显示器27上，或者将代理角色显示在位于相应乘员可以最佳看到的位置的显示器27上并且声像被定位在显示器27上。因此，乘员可以容易地与相应的代理对话。
在该实施例中，代理执行单元36设置在安装于车辆中的控制单元20中，但是本发明不限于该方案。代理执行单元36的第一生成单元42a和第二生成单元44a可以设置在服务器30中。服务器30从声音获取单元32接收乘员的话语，确定返回的语音信息，并发送提供给一个乘员的语音信息到控制单元20。设置在服务器30中的第一生成单元42a和第二生成单元44a可以确定提供给乘员的语音信息，也可以确定代理的图像和显示代理的显示器27，并且可以将提供给乘员的语音信息发送给控制单元20。控制单元20的第一语音获取单元42b和第二语音获取单元44b获取来自服务器30的确定的语音信息，并且输出控制单元38基于相应的乘员的位置而定位所获取的语音信息的声像。
乘员识别单元40可以设置在服务器30中。例如，服务器30从摄像机26接收捕获的车辆内部的图像，识别在捕获图像中包括的乘员，并导出乘员的位置信息。在该方案中，服务器30可以预先存储用于乘员识别单元40识别乘员的属性信息，或者可以从第一移动终端装置28和第二移动终端装置29接收属性信息。因此，可以减少安装在车辆中的控制单元20上的处理负荷。
服务器30可以确定所提供的语音信息的声像被定位的位置，并确定用于确定扬声器22的音量和相位的控制参数，使得声像定位在所确定的位置。以这种方式，通过使服务器30执行计算扬声器22的控制参数的处理，可以减少车辆侧的处理负荷。
以上实施例仅为示例，本领域技术人员将理解的是，可以以各种形式修改元件的组合，并且这些修改也包括在本发明的范围内。
在上述实施例中，提供了多个显示器27，但是本发明不限于该方案。显示器27的数量可以是一个，并且显示器27可以设置在仪表板或中央控制台的上端部分中。即使当显示器27的数量是一个时，输出控制单元38也可以将与乘员相对应的代理角色的语音信息的声像定位在与相应的乘员靠近的位置，因此乘员可以理解向哪个乘员提供语音信息。

Claims (4)

1.一种语音提供方法，其在多个乘员就座的车辆中使对应于所述多个乘员的多个代理向相应的乘员提供语音信息，所述语音提供方法的特征在于包括：
获取提供给第一乘员的第一代理的第一语音信息；
获取提供给第二乘员的第二代理的第二语音信息；
识别所述第一乘员的第一就座位置和所述第二乘员的第二就座位置；
控制布置在所述车辆的不同位置的多个扬声器的输出，使得所述第一语音信息的声像和所述第二语音信息的声像定位在不同的位置；
基于所述第一乘员的所述第一就座位置确定要显示第一代理角色的第一显示器，使得所述第一显示器位于最靠近所述第一乘员的位置并且所述第一语音信息的所述声像定位在所述第一显示器的位置处；以及
基于所述第二乘员的所述第二就座位置确定要显示第二代理角色的第二显示器，使得所述第二显示器位于最靠近所述第二乘员的位置并且所述第二语音信息的所述声像定位在所述第二显示器的位置处。
2.根据权利要求1所述的语音提供方法，其特征在于，在控制所述多个扬声器的所述输出之前，识别所述第一乘员和所述第二乘员在所述车辆中的就座位置，以及
其中基于所述第一乘员和所述第二乘员在所述车辆中的所述就座位置来定位所述声像。
3.一种语音提供系统，其在多个乘员就座的车辆中使对应于所述多个乘员的多个代理向相应的乘员提供语音信息，所述语音提供系统的特征在于包括：
多个扬声器，其布置在所述车辆中的不同位置；以及
电子控制单元，其包括处理器并且配置成：
获取第一代理提供给第一乘员的第一语音信息；
获取第二代理提供给第二乘员的第二语音信息；
识别所述第一乘员的第一就座位置和所述第二乘员的第二就座位置；
控制所述多个扬声器的输出，使得所述第一语音信息的声像和所述第二语音信息的声像被定位在不同的位置；
基于所述第一乘员的所述第一就座位置确定要显示第一代理角色的第一显示器，使得所述第一显示器位于最靠近所述第一乘员的位置并且所述第一语音信息的所述声像定位在所述第一显示器的位置处；以及
基于所述第二乘员的所述第二就座位置确定要显示第二代理角色的第二显示器，使得所述第二显示器位于最靠近所述第二乘员的位置并且所述第二语音信息的所述声像定位在所述第二显示器的位置处。
4.一种服务器，其特征在于包括：
第一生成单元，其响应于从包括多个扬声器并且多个乘员就座在其中的车辆接收的第一乘员的第一话语信息确定第一语音信息；
第二生成单元，其响应于从所述车辆接收的第二乘员的第二话语信息确定第二语音信息；以及
乘员识别单元，其识别所述第一乘员的第一就座位置和所述第二乘员的第二就座位置，
其中，所述服务器将用于控制所述多个扬声器的输出的数据发送到所述车辆，使得所述第一语音信息的声像和所述第二语音信息的声像定位在不同的位置，
所述第一生成单元基于所述第一乘员的所述第一就座位置确定要显示第一代理角色的第一显示器，使得所述第一显示器位于最靠近所述第一乘员的位置并且所述第一语音信息的所述声像定位在所述第一显示器的位置处，并且所述第二生成单元基于所述第二乘员的所述第二就座位置确定要显示第二代理角色的第二显示器，使得所述第二显示器位于最靠近所述第二乘员的位置并且所述第二语音信息的所述声像定位在所述第二显示器的位置处。
CN201910110226.XA 2018-02-13 2019-02-11 语音提供方法、语音提供系统和服务器 Active CN110166896B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-023346 2018-02-13
JP2018023346A JP6965783B2 (ja) 2018-02-13 2018-02-13 音声提供方法および音声提供システム

Publications (2)

Publication Number Publication Date
CN110166896A CN110166896A (zh) 2019-08-23
CN110166896B true CN110166896B (zh) 2022-01-11

Family

ID=67542366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910110226.XA Active CN110166896B (zh) 2018-02-13 2019-02-11 语音提供方法、语音提供系统和服务器

Country Status (3)

Country Link
US (1) US20190251973A1 (zh)
JP (1) JP6965783B2 (zh)
CN (1) CN110166896B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7250547B2 (ja) * 2019-02-05 2023-04-03 本田技研工業株式会社 エージェントシステム、情報処理装置、情報処理方法、およびプログラム
JP7368090B2 (ja) * 2019-03-13 2023-10-24 本田技研工業株式会社 エージェント装置、エージェント装置の制御方法、およびプログラム
JP7386076B2 (ja) 2019-12-26 2023-11-24 株式会社デンソーテン 車載装置及び応答出力制御方法
CN111736700A (zh) * 2020-06-23 2020-10-02 上海商汤临港智能科技有限公司 基于数字人的车舱交互方法、装置及车辆
KR20220004156A (ko) * 2020-03-30 2022-01-11 상하이 센스타임 린강 인텔리전트 테크놀로지 컴퍼니 리미티드 디지털 휴먼에 기반한 자동차 캐빈 인터랙션 방법, 장치 및 차량
JP7013514B2 (ja) 2020-03-31 2022-01-31 本田技研工業株式会社 車両
US20220073081A1 (en) * 2020-09-09 2022-03-10 Faurecia Clarion Electronics Co., Ltd. In-vehicle apparatus control system, in-vehicle apparatus, and in-vehicle apparatus control method
CN112078498B (zh) * 2020-09-11 2022-03-18 广州小鹏汽车科技有限公司 一种车辆智能座舱的声音输出控制方法和智能座舱
US11408745B2 (en) 2020-10-29 2022-08-09 Toyota Motor Engineering & Manufacturing North America, Inc Methods and systems for identifying safe parking spaces
US11741836B2 (en) 2020-10-29 2023-08-29 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for performing correlation-based parking availability estimation
CN114035878A (zh) * 2021-11-11 2022-02-11 阿波罗智联(北京)科技有限公司 信息显示方法、装置、电子设备以及存储介质
CN114023358B (zh) * 2021-11-26 2023-07-18 掌阅科技股份有限公司 对话小说的音频生成方法、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284454A (ja) * 2005-04-01 2006-10-19 Fujitsu Ten Ltd 車載用エージェントシステム
CN1943273A (zh) * 2005-01-24 2007-04-04 松下电器产业株式会社 声像定位控制装置
CN1980484A (zh) * 2005-12-09 2007-06-13 奥林巴斯株式会社 车载用信息再现装置
CN101007522A (zh) * 2005-11-18 2007-08-01 伯斯有限公司 车辆定向电声转换
CN101079252A (zh) * 2006-05-22 2007-11-28 富士通天株式会社 车载显示装置和声音控制方法
CN101193459A (zh) * 2006-12-01 2008-06-04 富士通天株式会社 声场再现系统
CN102030008A (zh) * 2009-10-02 2011-04-27 福特全球技术公司 情绪咨询系统
CN104136299A (zh) * 2011-12-29 2014-11-05 英特尔公司 用于在车内对声音进行导向的系统、方法以及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064739A (ja) * 2002-06-07 2004-02-26 Matsushita Electric Ind Co Ltd 音像制御システム
JP4645310B2 (ja) * 2005-06-02 2011-03-09 株式会社デンソー エージェントキャラクタ表示を利用した表示システム
CN101529930B (zh) * 2006-10-19 2011-11-30 松下电器产业株式会社 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
US9153084B2 (en) * 2012-03-14 2015-10-06 Flextronics Ap, Llc Destination and travel information application
CN102883239B (zh) * 2012-09-24 2014-09-03 惠州华阳通用电子有限公司 车内声场重现方法
JP2017069805A (ja) * 2015-09-30 2017-04-06 ヤマハ株式会社 車載音響装置
KR101930462B1 (ko) * 2017-09-25 2018-12-17 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1943273A (zh) * 2005-01-24 2007-04-04 松下电器产业株式会社 声像定位控制装置
JP2006284454A (ja) * 2005-04-01 2006-10-19 Fujitsu Ten Ltd 車載用エージェントシステム
CN101007522A (zh) * 2005-11-18 2007-08-01 伯斯有限公司 车辆定向电声转换
CN1980484A (zh) * 2005-12-09 2007-06-13 奥林巴斯株式会社 车载用信息再现装置
CN101079252A (zh) * 2006-05-22 2007-11-28 富士通天株式会社 车载显示装置和声音控制方法
CN101193459A (zh) * 2006-12-01 2008-06-04 富士通天株式会社 声场再现系统
CN102030008A (zh) * 2009-10-02 2011-04-27 福特全球技术公司 情绪咨询系统
CN104136299A (zh) * 2011-12-29 2014-11-05 英特尔公司 用于在车内对声音进行导向的系统、方法以及装置

Also Published As

Publication number Publication date
CN110166896A (zh) 2019-08-23
US20190251973A1 (en) 2019-08-15
JP6965783B2 (ja) 2021-11-10
JP2019139582A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
CN110166896B (zh) 语音提供方法、语音提供系统和服务器
US10032453B2 (en) System for providing occupant-specific acoustic functions in a vehicle of transportation
JP4779748B2 (ja) 車両用音声入出力装置および音声入出力装置用プログラム
US11176948B2 (en) Agent device, agent presentation method, and storage medium
US10773726B2 (en) Information provision device, and moving body
CN110691299A (zh) 音频处理系统、方法、装置、设备及存储介质
JP2017090611A (ja) 音声認識制御システム
CN110770693A (zh) 手势操作装置及手势操作方法
JP7133029B2 (ja) エージェント装置、エージェント制御方法、およびプログラム
US9891067B2 (en) Voice transmission starting system and starting method for vehicle
US10706270B2 (en) Information provision device, and moving body
WO2018167949A1 (ja) 車内通話制御装置、車内通話システムおよび車内通話制御方法
CN103687772A (zh) 使用车辆中的便携式装置支持驾驶员的方法
CN111007968A (zh) 智能体装置、智能体提示方法及存储介质
JP2020060861A (ja) エージェントシステム、エージェント方法、およびプログラム
JP5052241B2 (ja) 車載用の音声処理装置、音声処理システム、及び音声処理方法
JP2019074498A (ja) 運転支援装置
JP4478146B2 (ja) 音声認識システム、音声認識方法およびそのプログラム
CN111902864A (zh) 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置
JP6332072B2 (ja) 対話装置
JP2019159559A (ja) 情報提供装置
JP6606921B2 (ja) 発声方向特定装置
CN110281857B (zh) 显示控制装置以及显示控制方法
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
JP7192561B2 (ja) 音声出力装置および音声出力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant