CN112913228A - 车内音频通话 - Google Patents

车内音频通话 Download PDF

Info

Publication number
CN112913228A
CN112913228A CN201980070965.9A CN201980070965A CN112913228A CN 112913228 A CN112913228 A CN 112913228A CN 201980070965 A CN201980070965 A CN 201980070965A CN 112913228 A CN112913228 A CN 112913228A
Authority
CN
China
Prior art keywords
vehicle occupant
audio
vehicle
audio input
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980070965.9A
Other languages
English (en)
Other versions
CN112913228B (zh
Inventor
M·尼尔森
J·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Geely Automobile Research and Development Co Ltd
Original Assignee
Ningbo Geely Automobile Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Geely Automobile Research and Development Co Ltd filed Critical Ningbo Geely Automobile Research and Development Co Ltd
Publication of CN112913228A publication Critical patent/CN112913228A/zh
Application granted granted Critical
Publication of CN112913228B publication Critical patent/CN112913228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephone Function (AREA)

Abstract

一种用于在车辆中的车辆乘员之间进行通话的音频通话系统(100A、100B)，其包括：图像捕捉设备(101)，其被配置成能够监视第一车辆乘员(102)；处理器，其被配置成能够从图像捕捉设备(101)接收第一车辆乘员的图像并确定第一车辆乘员是否正吸引第二车辆乘员(103)的注意；第一麦克风(104)，其与第一车辆乘员(102)相关联并且被配置成能够响应于确定第一车辆乘员正吸引第二车辆乘员注意而接收来自第一车辆乘员的音频输入；以及第一扬声器(105)，其与第二车辆乘员(103)相关联并且被配置成能够激活第一扬声器(105)中所接收的音频输入的音频增强并输出增强的音频输入。还公开了相应的装置、方法和计算机程序产品。

Description

车内音频通话
技术领域
本公开内容总体上涉及车内音频通话的领域。更具体地，本公开内容涉及在车辆中的车辆乘员之间的音频通话。
背景技术
车辆通常可包括多个车辆乘员，通常为车辆的一名驾驶员或操作员和一名或多名乘客，其中驾驶员或操作员和一名乘客坐在车辆前排座椅，其余乘客坐在车辆后排座椅。坐在车辆后座的车辆乘员(即乘客)可能听不到坐在前排座椅的车辆乘员(即车辆驾驶员或操作员)在谈论什么，并且反之亦然，由于这会使得车内通话变得困难，因而这可能产生共同的沮丧情绪。
因此，需要一种用于在车辆中的车辆乘员之间进行音频通话的替代方法。
发明内容
应当强调的是，当在本说明书中使用术语“包括/包含”时，该术语用于表明所述特征、整数、步骤或组件的存在，但不排除存在或者增加一个或多个或者成组的其他特征、整数、步骤、组件。在本文所使用的单数形式“一”、“一个”和“所述”，除非上下文另有明确指示，否则也旨在包括复数形式。
一般而言，当本文提及装置时，将其理解为物理产品，例如一种装置。物理的产品可以包括一个或多个部分，诸如采用一个或多个控制器、一个或多个处理器等形式的控制电路。
一些实施方式的目的在于提供在车辆中的车辆乘员之间进行音频通话的替代方法。
根据第一方面，这一目的通过一种用于在车辆中的车辆乘员之间进行通话的音频通话系统实现。
该系统包括图像捕捉设备和处理器，图像捕捉设备被配置成能够监视第一车辆乘员，处理器被配置成能够从图像捕捉设备接收第一车辆乘员的图像并确定第一车辆乘员是否正吸引第二车辆乘员的注意。
该系统还包括第一麦克风以及第一扬声器，第一麦克风与第一车辆乘员相关联并且被配置成能够响应于确定第一车辆乘员正吸引第二车辆乘员的注意而接收来自第一车辆乘员的音频输入，第一扬声器与第二车辆乘员相关联并且被配置成能够激活第一扬声器中所接收的音频输入的音频增强并输出增强的音频输入。
一些实施方式的优点是，在车内提供了一种无间隙的音频通话系统。
一些实施方式的另一个优点是，使得能够以正常会话的音调交谈，而不必提高音量。
一些实施方式的又一个优点是，可以确定在车辆中吸引车辆乘员的注意，并且可以响应于这种确定而激活对车辆乘员音频输入的音频增强。
一些实施方式的又一个优点是，可以激活音频增强，从而使得可以激活车辆乘员附近的相关联的扬声器中的音频增强。
在一些实施方式中，处理器被配置成用于第一车辆乘员的眼动追踪。
一些实施方式的优点是，车辆乘员的眼部运动可以指示注意力的吸引，从而识别想要通话的车辆乘员。
在一些实施方式中，处理器被配置成用于第一车辆乘员的面部识别和/或唇部识别。
一些实施方式的优点是，车辆乘员的面部运动和/或嘴唇运动可以指示注意力的吸引，从而识别想要通话的车辆乘员。
在一些实施方式中，处理器被配置成用于确定第一车辆乘员的位置和/或移动。
一些实施方式的优点是，车辆乘员的位置和/或移动可以指示注意力的吸引，从而识别想要通话的车辆乘员。
在一些实施方式中，图像捕捉设备还被配置成能够监视第二车辆乘员。
一些实施方式的优点是，可以为双向的通话而确定在车辆中的另一车辆乘员的注意被吸引。
在一些实施方式中，图像捕捉设备包括被配置成能够被安装在车辆内部的前部的后视镜。
一些实施方式的优点是，提供了车内的无间隙的音频通话系统。
在一些实施方式中，音频通话系统还包括第二麦克风，第二麦克风与第二车辆乘员相关联并被配置成能够响应于确定第二车辆乘员吸引第一车辆乘员的注意而接收来自第二车辆乘员的音频输入。该系统还包括第二扬声器，第二扬声器与第一车辆乘员相关联并且被配置成能够激活第二扬声器中所接收的音频输入的音频增强并输出增强的音频输入。
一些实施方式的优点是，可以确定在车辆中另一车辆乘员的注意力被吸引，并且，可以响应于双向通话的确定而激活对车辆乘员音频输入的音频增强。
在一些实施方式中，处理器被配置成能够确定车辆中车辆乘员的座位。
一些实施方式的优点是，确定的车辆乘员的座位可以识别该车辆乘员的相关联的麦克风和相关联的扬声器。
在一些实施方式中，麦克风和扬声器位于座位附近。
一些实施方式的优点是座椅位置的车辆乘员的相关联的麦克风和相关联的扬声器可以适当地用于接收音频输入和用于音频增强。
在一些实施方式中，音频增强包括音频输入的受控增大和/或音频输入的噪声消除。
一些实施方式的优点是，音频输入可控地增大到使得车辆乘员将其感知为正常谈话的音调的水平。一些实施方式的另一个优点是，可以消除车内任何可能的噪声(例如车内正在进行的并行对话)，即，从增强音频中移除车内任何可能的噪声。
第二方面是包括第一方面的音频通话系统的车辆。
第三方面是用于在车辆中的车辆乘员之间进行通话的音频通话方法。
该方法包括由图像捕捉设备监控第一车辆乘员，由处理器从图像捕捉设备接收第一车辆乘员的图像。
该方法还包括由处理器确定第一车辆乘员是否正吸引第二车辆乘员的注意。
该方法还包括响应于确定第一车辆乘员正吸引第二车辆乘员的注意，由与第一车辆乘员相关联的第一麦克风，接收来自第一车辆乘员的音频输入，在与第二车辆乘员相关联的第一扬声器中激活所接收的音频输入的音频增强，并且由与第二车辆乘员相关联的第一扬声器输出增强的音频输入。
一些实施方式的优点是提供了车内无间隙的音频通话方法。
一些实施方式的另一个优点是使得能够以正常会话的音调交谈，而不必提高音量。
一些实施方式的又一个优点是可以确定车辆中吸引车辆乘员的注意，可以激活对车辆乘员音频输入的音频增强。
一些实施方式的又一个优点是可以激活音频增强，从而使得可以激活车辆乘员附近的相关联的扬声器中的音频增强。
在一些实施方式中，该方法还包括，由图像捕捉设备监视第二车辆乘员，由处理器从图像捕捉设备接收第二车辆乘员的图像。
该方法还包括由处理器确定第二车辆乘员是否正吸引第一车辆乘员的注意。
该方法还包括：响应于确定第二车辆乘员吸引第一车辆乘员的注意，由与第二车辆乘员相关联的第二麦克风，接收来自第二车辆乘员的音频输入，激活与第一车辆乘员相关联的第二扬声器中所接收的音频输入的音频增强，并且由与第一车辆乘员相关联的第二扬声器输出增强音频输入。
一些实施方式的优点是，可以确定车辆中吸引另一车辆乘员的注意，并且，响应于对双向通话的确定，可以激活对车辆乘员音频输入的音频增强。
在一些实施方式中，该方法还包括确定车辆中车辆乘员的座位。
一些实施方式的优点是，车辆乘员确定的座位可以识别该车辆乘员的相关联的麦克风和相关联的扬声器。
在一些实施方式中，音频增强包括音频输入的受控增大和/或音频输入的噪声消除。
一些实施方式的优点是，音频输入可控地增大到使得车辆乘员将其感知为正常谈话的音调的水平。一些实施方式的另一个优点是，可以消除车内任何可能的噪声，即从增强音频中移除噪声，例如车内正在同时进行的对话。
第四方面是一种包括非暂时性计算机可读介质的计算机程序产品，非暂时性计算机可读介质上具有包括程序指令的计算机程序。计算机程序能够被加载到数据处理单元中，并被配置成当由数据处理单元运行该计算机程序时，使得执行根据第三方面的方法。
在一些实施方式中，上述方面中的任何一个还可以具有与上述针对任何其他方面所解释的各种特征中的任何一个相同或相应的特征。
一些实施方式的优点是，仅当确定车辆乘员在车辆中正吸引注意时，才可激活音频通话系统中的一个或多个麦克风，这与始终激活麦克风并且收听任何音频输入相比，降低了功耗。
一些实施方式的另一个优点是，确定车辆乘员实际上正在车辆中吸引注意，使得麦克风的任何无意的激活最小化，进而也降低了功耗。
附图说明
参考附图，从以下对实施例的详细描述中呈现进一步的目的、特征和优点。附图不一定按比例绘制，而是将重点放在描述示例性实施例上。
图1A示出了根据一些实施例的示例性系统的示意性概述；
图1B示出了根据一些实施例的示例性系统的示意性概述；
图2示出了根据一些实施例的示例性眼动的示意图；
图3示出了根据一些实施例的示例性方法步骤的流程图；
图4示出了根据一些实施例的示例性方法步骤的流程图；
图5示出了根据一些实施例的示例性装置的示意性框图；以及
图6示出了根据一些实施例的示例性计算机可读介质的示意图。
具体实施方式
如上所述，应当强调的是，当在本说明书中使用术语“包括/包含”时，该术语用于指定所述特征、整数、步骤或组件的存在，但不排除存在或添加一个或多个或成组的其他特征、整数、步骤、组件。在本文所使用的单数形式“一”、“一个”和“所述”，除非上下文另有明确指示，否则也旨在包括复数形式。
下文将参考附图更全面地描述和举例说明本公开内容的实施例。然而，本文公开内容的解决方案可以以许多不同形式实施，并且不应被解释为限于本文阐述的实施例。
在下文中，将描述实施例，其中提供了在车辆中的车辆乘员之间进行音频通话的替代方法。
图1A示出了根据一些实施例的示例性音频通话系统的示意性概述。用于在车辆中的车辆乘员102、103之间进行通话的音频通话系统100A，包括图像捕捉设备101，图像捕捉设备101包括被配置成能够被安装在车辆内部的前部的后视镜108，并且图像捕捉设备101被配置成能够监视第一车辆乘员102。图像捕捉设备101可以被配置成用于第一车辆乘员102的眼动追踪。除了眼动追踪之外，图像捕捉设备101可以被配置成用于面部识别和/或嘴唇识别，或者，用于确定第一车辆乘员102的位置和/或移动。
音频通话系统100A还包括处理器(未示出)，处理器被配置成能够从图像捕捉设备101接收第一车辆乘员102的图像，并确定第一车辆乘员是否正吸引第二车辆乘员103的注意。与第一车辆乘员102相关联的第一麦克风104被配置成能够响应于确定第一车辆乘员102吸引第二车辆乘员103的注意而接收来自第一车辆乘员102的音频输入。与第二车辆乘员103相关联的第一扬声器105被配置成能够激活第一扬声器105中所接收的音频输入的音频增强并输出增强的音频输入。
在一些实施例中，图像捕捉设备101还被配置成能够监视第二车辆乘员103以进行双向通话。
音频通话系统100A还包括第二麦克风106，第二麦克风106与第二车辆乘员103相关联并且被配置成能够响应于确定第二车辆乘员103吸引第一车辆乘员102的注意而接收来自第二车辆乘员103的音频输入。音频通话系统100A还包括第二扬声器107，第二扬声器107与第一车辆乘员102相关联并且被配置成能够激活第二扬声器107中所接收的音频输入的音频增强并输出增强的音频输入。
音频通话系统100A中的处理器(未示出)还被配置成能够确定车辆中车辆乘员的座位，以便确定针对该座位的、相关联的麦克风和扬声器。
音频通话系统100A中的麦克风104、106和扬声器105、107位于座位附近，以确保适当性能。
音频通话系统100A中的音频增强包括音频输入的受控增大和/或音频输入的噪声消除，以便可控地将音频输入增大到使得车辆乘员将其感知为正常会话音调的水平。此外，车内任何可能的噪音(例如车内正在进行的并行对话)或任何其他干扰车辆噪音可被消除，即从增强音频中删除。
音频通话系统100A可以被包含于车辆中。
图1B示出了根据一些实施例的示例性音频通话系统的示意性概述。音频通话系统100B用于在车辆前排座椅的车辆乘员102、103和后排座椅的车辆乘员109、110、111之间进行通话。坐在前排座椅102、103的车辆乘员可通过音频通话系统100B与坐在后排座椅的车辆乘员109、110、111进行通话，反之亦然。车辆乘员102、103或109、110、111坐在同排座椅也可以通过音频通话系统100B彼此进行通话。与坐在前排座椅的第一车辆乘员102相关联的第一麦克风104被配置成能够响应于确定第一车辆乘员102吸引第二辆车乘员103的注意而接收来自第一车辆乘员102的音频输入。与第二车辆乘员103相关联的第一扬声器105被配置成能够激活第一扬声器105中所接收的音频输入的音频增强并输出增强的音频输入。车辆乘员109、110、111具有被配置成能够接收音频输入的相应的相关联的麦克风112、114、116和被配置成能够激活所接收的音频输入的音频增强的相关联的扬声器113、115、117。根据通话中涉及哪些车辆乘员，坐在同排座椅或其他排座椅的一个或多个车辆乘员可通过被包含在音频通话系统100B中的相关联的麦克风和扬声器彼此通话，从而实现一对一通话、一对多通话或多对多通话。
音频通话系统100B可以被包含于车辆中。
图2示出了根据一些实施例的示例性眼部运动的示意图。用于在车辆中的车辆乘员102、103、109、110、111之间进行通话的音频通话系统100A、100B(如图1A和1B所示)包括图像捕捉设备101，图像捕捉设备101被配置成能够监视车辆乘员102、103、109、110、111，例如经由图像捕捉设备101的眼动追踪功能来监视车辆乘员102、103的眼部运动202、203。眼动追踪功能可确定车辆乘员102、103的眼睛202、203看着的方向或盯着的方向。
可以确定车辆乘员102正吸引另一车辆乘员103的注意的活动，是眼睛在指定的持续时间(例如1秒)内聚焦于车辆中的另一车辆乘员(例如看着或盯着)，以便区分音频通话系统100A、100B的有意的注意力的吸引和无意的注意力的吸引。
为了确定注意力的吸引，需要满足在吸引注意的车辆乘员处实际聚焦(例如看着或盯着)至少指定持续时间(例如1秒)的标准，以便建立通话链路。此外，需要满足提供音频输入的标准(即由车辆乘员启动音频通话)。这些标准没有要求的顺序，车辆乘员首先开始说话，然后将眼睛聚焦在他吸引注意的另一车辆乘员身上，或者相反，一旦两个标准都得到满足，就在这两些车辆乘员之间建立通话链路。一旦车辆乘员停止说话(即停止提供音频输入)和/或眼睛不再聚焦，则通话链路仍将保持建立并且在另一个指定持续时间(例如20秒)内处于活动状态，以防车辆乘员想再次恢复通话并且因此在谈话中离开一个短暂的停顿。
此外，如果焦点集中在车辆中的多个车辆乘员上，则多个车辆乘员可以在组通话中被连接到通话链路，因此音频系统不限于一对一通话，还可以是基于通话中涉及多个车辆乘员的一对多通话或多对多通话。
作为眼动追踪功能的替代方案，或在眼动追踪功能以外额外地，图像捕捉设备101(如图1所示)还可以被配置成用于面部识别和/或嘴唇识别，或者用于确定车辆乘员的位置和/或移动。
在这些替代方案或附加方案中，车辆乘员至少在规定时间内的特定面部表情或嘴唇运动可以被确定为吸引注意，从而满足吸引注意的标准。在这种确定之后，还需要满足提供音频输入的标准(即，由车辆乘员启动音频通话)。此外，除了眼动、面部表情和嘴唇运动之外，或者作为眼动、面部表情和嘴唇运动的替代，还可以确定车辆乘员至少在指定持续时间内的位置和/或运动可被确定为吸引注意，从而也满足吸引注意的标准。
图3示出了根据一些实施例的示例性方法步骤的流程图。音频通话方法300用于在车辆中的车辆乘员之间进行通话。因此，方法300可以例如由图1A、1B的音频通话系统100A、100B执行。
在步骤301中，图像捕捉设备监视第一车辆乘员。
例如，这种监视可以包括监视眼部运动(例如看着或盯着的方向)、和/或面部表情、和/或嘴唇运动、和/或车辆乘员的位置或运动。
在步骤302中，处理器从监视第一车辆乘员的图像捕捉设备接收第一车辆乘员的图像。
在步骤303中，处理器确定第一车辆乘员是否正吸引第二车辆乘员的注意。
例如，处理器通过分析至少在指定持续时间内的车辆乘员的眼动、面部表情、嘴唇运动和车辆成员的位置或运动中的任何一种来确定对注意力的吸引。
在步骤304中，响应于确定第一车辆乘员正吸引第二车辆乘员的注意，与第一车辆乘员相关联的第一麦克风，接收来自第一车辆乘员的音频输入，使得建立通话链路。
在步骤305中，与第二车辆乘员相关联的第一扬声器激活所接收的音频输入的音频增强。
在步骤306中，与第二车辆乘员相关联的第一扬声器输出已增强的音频输入。
在一些实施例中，该方法还包括确定车辆中车辆乘员的座位。
在一些实施例中，音频增强包括音频输入的受控增大和/或音频输入的噪声消除。
图4示出了根据一些实施例的示例性方法步骤的流程图。音频通话方法400用于在车辆中的车辆乘员之间进行通话。因此，该方法400可以例如由图1A、1B的音频通话系统100A、100B执行。
在步骤401中，图像捕捉设备监视第二车辆乘员。
在步骤402中，处理器从监视第二车辆乘员的图像捕捉设备接收第二车辆乘员的图像。
在步骤403中，处理器确定第二车辆乘员是否正吸引第一车辆乘员的注意。
在步骤404中，响应于确定第二车辆乘员吸引第一车辆乘员的注意，与第二车辆乘员相关联的第二麦克风，接收来自第二车辆乘员的音频输入，从而使得建立通话链路。
在步骤405中，与第一车辆乘员相关联的第二扬声器激活所接收的音频输入的音频增强。
在步骤406中，与第一车辆乘员相关联的第二扬声器输出已增强的音频输入。
图5示出了根据一些实施例的示例性装置的示意框图。该示例性装置是用于在车辆中的车辆乘员之间进行通话的音频通话装置500，其中该装置被配置成能够与扬声器装置SPK 540(例如扬声器电路)以及麦克风装置MIC 550(例如麦克风电路)相关联。
音频通话装置500包括被配置成能够监视第一车辆乘员的监视装置MTR 501(例如监视电路)、被配置成能够接收第一车辆乘员的图像的接收装置REC 502(例如接收电路)、被配置成能够确定第一车辆乘员是否正吸引第二车辆乘员的注意的确定装置DET 503(例如确定电路)、被配置成能够接收来自第一车辆乘员的音频输入的接收装置REC 504(例如接收电路)、被配置成能够激活所接收到的音频输入的音频增强的增强装置AUG 505(例如增强电路)、以及被配置成能够输出增强的音频输入的输出布置输出506(例如输出电路)。
音频通话装置500可以被包含于结合图1A、1B和2所描述的音频通话系统100A、100B中，和/或，音频通话装置500可以被配置成能够执行结合图3和4描述的任何方法的方法步骤。
图6示出了根据一些实施例的示例性计算机可读介质的示意图。计算机程序产品包括非暂时性计算机可读介质600，非暂时性计算机可读介质600上具有包括程序指令的计算机程序610，其中计算机程序能够被加载到数据处理单元中并且被配置成能够使得执行结合图3和4所描述的任何方法的方法步骤。
一般而言，当本文提及装置时，将其理解为物理产品，例如一个装置。物理产品可以包括一个或多个部分，例如采用一个或多个控制器、一个或多个处理器等形式的控制电路。
所描述的实施例及其等效物可以以软件或硬件或软件和硬件的组合的方式实现。这些实施例可以由通用电路执行。通用电路的示例包括数字信号处理器(DSP)、中央处理单元(CPU)、协处理器单元、现场可编程门阵列(FPGA)和其他可编程硬件。可选地或额外地，这些实施例可以由专用电路来执行，例如专用集成电路(ASIC)。通用电路和/或专用电路可以例如与诸如车辆之类的装置相关联或被包含于诸如车辆之类的装置之中。
实施例可以出现在电子设备(与车辆相关联或被包含在车辆中)内，电子设备包括根据本文所述的任何实施例的装置、电路和/或逻辑。可选地或额外地，电子设备(与车辆相关联或被包含在车辆中)可以被配置成能够执行根据本文所述的任何实施例的方法。
根据一些实施例，计算机程序产品包括计算机可读介质，例如通用串行总线(USB)存储器、插入卡、嵌入式驱动器或只读存储器(ROM)。图6示出了采用光盘(CD)ROM 600形式的示例性计算机可读介质。计算机可读介质在其上存储有包括程序指令的计算机程序。计算机程序能够被加载到数据处理器(PROC)620中，数据处理器(PROC)620例如可以被包含于车辆610中。当被加载到数据处理单元中时，计算机程序可以存储在与数据处理单元相关联存储器(MEM)630中或者被包含在数据处理单元中的存储器(MEM)630中。根据一些实施例，当计算机程序被加载到数据处理单元中并且由其运行时，可以使得执行例如根据图3和图4所示或本文另外描述的任何方法的方法步骤。
一般而言，本文中使用的所有术语应当根据其在相关技术领域中的普通含义进行解释，除非明确给出了不同的含义和/或从其使用的上下文中暗示了不同的含义。
本文参考了各种实施例。然而，本领域技术人员将认识到对所述的实施例的多种变化，这些变化仍在权利要求的范围内。
例如，本文描述的方法实施例通过以特定顺序执行的步骤公开了示例性方法。然而，应当认识到，这些事件的顺序可以在不脱离权利要求书的范围的情况下以另一顺序发生。此外，一些方法步骤可以并行地执行，即使它们已被描述为按顺序执行。因此，本文所公开的任何方法的步骤不必按照所公开的确切顺序执行，除非一个步骤被明确描述为在另一个步骤之后或之前进行，和/或隐含公开了一个步骤必须在另一个步骤之后或之前进行。
以相同的方式，应当注意，在实施例的描述中，将功能块划分为特定单元决非旨在有意限制。相反，这些划分仅为示例。本文中描述为一个单元的功能块可以被分成两个或更多个单元。此外，本文中描述为实现为两个或多个单元的功能块可以被合并为更少的(例如单个)单元。
本文公开的任何实施例的任何特征可以被应用于任何其他实施例，只要合适的话。同样，任何实施例的任何优点可以被应用于任何其他实施例，反之亦然。
因此，应当理解，所描述的实施例的细节仅仅是为了说明目的而提供的示例，权利要求的范围旨在包含落入权利要求的范围内的所有变化。

Claims (16)

1.一种用于在车辆中的车辆乘员之间进行通话的音频通话系统(100A、100B)，所述音频通话系统(100A、100B)包括：
图像捕捉设备(101)，所述图像捕捉设备(101)被配置成能够监视第一车辆乘员(102)，
处理器，所述处理器被配置成能够从所述图像捕捉设备(101)接收所述第一车辆乘员(102)的图像，并确定所述第一车辆乘员是否正吸引第二车辆乘员(103)的注意，
第一麦克风(104)，所述第一麦克风(104)与所述第一车辆乘员(102)相关联，并且被配置成能够响应于确定所述第一车辆乘员正吸引所述第二车辆乘员的注意而接收来自所述第一车辆乘员(102)的音频输入，以及
第一扬声器(105)，所述第一扬声器(105)与所述第二车辆乘员(103)相关联，并且被配置成能够激活所述第一扬声器(105)中所接收的音频输入的音频增强并输出增强的音频输入。
2.根据权利要求1所述的音频通话系统，其中，所述处理器被配置成用于所述第一车辆乘员(102)的眼动追踪。
3.根据权利要求1-2中任一项所述的音频通话系统，其中，所述处理器被配置成用于所述第一车辆乘员(102)的面部识别和/或唇部识别。
4.根据权利要求1-3中任一项所述的音频通话系统，其中，所述处理器被配置成用于确定所述第一车辆乘员(102)的位置和/或移动。
5.根据权利要求1-4中任一项所述的音频通话系统，其中，所述图像捕捉设备(101)还被配置成能够监视所述第二车辆乘员(103)。
6.根据权利要求1-5中任一项所述的音频通话系统，其中，所述图像捕捉设备(101)包括后视镜(108)，所述后视镜(108)被配置成能够被安装在车辆内部的前部。
7.根据权利要求1-6中任一项所述的音频通话系统，其中，所述音频通话系统还包括第二麦克风(106)以及第二扬声器(107)，所述第二麦克风(106)与所述第二车辆乘员(103)相关联，并且被配置成能够响应于确定所述第二车辆乘员吸引所述第一车辆乘员的注意而接收来自所述第二车辆乘员(103)的音频输入，所述第二扬声器(107)与所述第一车辆乘员(102)相关联，并且被配置成能够激活所述第二扬声器(107)中所接收的音频输入的音频增强并输出增强的音频输入。
8.根据权利要求1-7中任一项所述的音频通话系统，其中，所述处理器被配置成能够确定车辆中所述车辆乘员的座位。
9.根据权利要求1-8中任一项所述的音频通话系统，其中，所述麦克风(104、106)和所述扬声器(105、107)位于座位附近。
10.根据权利要求1-9中任一项所述的音频通话系统，其中，所述音频增强包括音频输入的受控增大和/或音频输入的噪声消除。
11.一种车辆，所述车辆包括根据权利要求1-10中任一项所述的音频通话系统(100A、100B)。
12.一种用于在车辆中的车辆乘员之间进行通话的音频通话方法，所述音频通话方法包括以下步骤：
(301)由图像捕捉设备监视第一车辆乘员，
(302)由处理器从所述图像捕捉设备接收所述第一车辆乘员的图像，
(303)由处理器确定所述第一车辆乘员是否正吸引所述第二车辆乘员的注意，
(304)响应于确定所述第一车辆乘员正吸引所述第二车辆乘员的注意，由与所述第一车辆乘员相关联的第一麦克风接收来自所述第一车辆乘员的音频输入，
(305)激活与所述第二车辆乘员相关联的第一扬声器中所接收的音频输入的音频增强，以及
(306)由与所述第二车辆乘员相关联的所述第一扬声器输出增强的音频输入。
13.根据权利要求12所述的音频通话方法，所述音频通话方法还包括以下步骤：
(401)由所述图像捕捉设备监视所述第二车辆乘员，
(402)由所述处理器从所述图像捕捉设备接收所述第二车辆乘员的图像，
(403)由所述处理器确定所述第二车辆乘员是否正吸引所述第一车辆乘员的注意，
(404)响应于确定所述第二车辆乘员吸引所述第一车辆乘员的注意，由与所述第二车辆乘员相关联的第二麦克风，接收来自所述第二车辆乘员的音频输入，
(405)激活与所述第一车辆乘员相关联的第二扬声器中所接收的音频输入的音频增强，以及
(406)由与所述第一车辆乘员相关联的所述第二扬声器输出增强的音频输入。
14.根据权利要求12-13中任一项所述的音频通话方法，其中，所述方法还包括确定车辆中所述车辆乘员的座位。
15.根据权利要求12-14中任一项所述的音频通话方法，其中，所述音频增强包括音频输入的受控增大和/或音频输入的噪声消除。
16.一种包括非暂时性计算机可读介质(600)的计算机程序产品，所述非暂时性计算机可读介质(600)上具有包括程序指令的计算机程序(610)，其中，所述计算机程序(610)能够被加载到数据处理单元中，并被配置成当由所述数据处理单元运行所述计算机程序时，能够使得执行根据权利要求12-15中任一项所述的方法。
CN201980070965.9A 2018-11-02 2019-10-30 车内音频通话 Active CN112913228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18204217.6 2018-11-02
EP18204217.6A EP3648479B1 (en) 2018-11-02 2018-11-02 Audio communication in a vehicle
PCT/CN2019/114204 WO2020088486A1 (en) 2018-11-02 2019-10-30 Audio communication in a vehicle

Publications (2)

Publication Number Publication Date
CN112913228A true CN112913228A (zh) 2021-06-04
CN112913228B CN112913228B (zh) 2023-09-08

Family

ID=64172312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980070965.9A Active CN112913228B (zh) 2018-11-02 2019-10-30 车内音频通话

Country Status (4)

Country Link
US (1) US11570567B2 (zh)
EP (1) EP3648479B1 (zh)
CN (1) CN112913228B (zh)
WO (1) WO2020088486A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056764A1 (zh) * 2021-10-08 2023-04-13 中国第一汽车股份有限公司 一种车内通话方法、装置、系统及车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355748A (ja) * 1998-06-12 1999-12-24 Nissan Motor Co Ltd 各席乗員情報呈示システム
US20030091201A1 (en) * 1998-08-12 2003-05-15 Prince Corporation Conversation mirror/intercom
US20090097674A1 (en) * 1999-11-19 2009-04-16 Watson Alan R Vehicle accessory microphone
CN101596879A (zh) * 2008-06-04 2009-12-09 上海迪哈大计算机科技有限公司 一种用于交通工具间通过显示装置进行通讯的控制装置
JP2010023639A (ja) * 2008-07-18 2010-02-04 Kenwood Corp 車内会話補助装置
EP2436549A1 (en) * 2010-10-01 2012-04-04 Volvo Car Corporation Improved control of vehicle and vehicle safety systems
CN104011735A (zh) * 2011-12-26 2014-08-27 英特尔公司 基于车辆的对乘员音频和可视输入的确定
CN104380763A (zh) * 2012-03-30 2015-02-25 巴可有限公司 用于驱动车辆内的音响系统的扬声器的装置和方法
CN204347935U (zh) * 2014-11-27 2015-05-20 广东轻工职业技术学院 一种行车安全记录仪
US20160029111A1 (en) * 2014-07-24 2016-01-28 Magna Electronics Inc. Vehicle in cabin sound processing system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965819A (en) * 1988-09-22 1990-10-23 Docu-Vision, Inc. Video conferencing system for courtroom and other applications
CN203840450U (zh) * 2014-04-09 2014-09-17 北京汽车股份有限公司 一种视频会议系统及汽车
KR20180071092A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 사용자의 시선 및 입력에 기반하여 제어되는 전자 장치, 모바일 전자 장치 및 디스플레이 장치
JP2020060696A (ja) * 2018-10-10 2020-04-16 本田技研工業株式会社 コミュニケーション支援システム、コミュニケーション支援方法、およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355748A (ja) * 1998-06-12 1999-12-24 Nissan Motor Co Ltd 各席乗員情報呈示システム
US20030091201A1 (en) * 1998-08-12 2003-05-15 Prince Corporation Conversation mirror/intercom
US20090097674A1 (en) * 1999-11-19 2009-04-16 Watson Alan R Vehicle accessory microphone
CN101596879A (zh) * 2008-06-04 2009-12-09 上海迪哈大计算机科技有限公司 一种用于交通工具间通过显示装置进行通讯的控制装置
JP2010023639A (ja) * 2008-07-18 2010-02-04 Kenwood Corp 車内会話補助装置
EP2436549A1 (en) * 2010-10-01 2012-04-04 Volvo Car Corporation Improved control of vehicle and vehicle safety systems
CN104011735A (zh) * 2011-12-26 2014-08-27 英特尔公司 基于车辆的对乘员音频和可视输入的确定
CN104380763A (zh) * 2012-03-30 2015-02-25 巴可有限公司 用于驱动车辆内的音响系统的扬声器的装置和方法
US20160029111A1 (en) * 2014-07-24 2016-01-28 Magna Electronics Inc. Vehicle in cabin sound processing system
CN204347935U (zh) * 2014-11-27 2015-05-20 广东轻工职业技术学院 一种行车安全记录仪

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
NAM NGUYEN: "Localization of handheld devices inside vehicles using audio masking", 《2013 INTERNATIONAL CONFERENCE ON CONNECTED VEHICLES AND EXPO》 *
孙守红: "车载光学测量系统可视对讲的设计与实现", 《长春理工大学学报（自然科学版）》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023056764A1 (zh) * 2021-10-08 2023-04-13 中国第一汽车股份有限公司 一种车内通话方法、装置、系统及车辆

Also Published As

Publication number Publication date
EP3648479A1 (en) 2020-05-06
EP3648479B1 (en) 2023-09-27
US20210250721A1 (en) 2021-08-12
US11570567B2 (en) 2023-01-31
CN112913228B (zh) 2023-09-08
WO2020088486A1 (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US20120114130A1 (en) Cognitive load reduction
US20160127827A1 (en) Systems and methods for selecting audio filtering schemes
US20190037363A1 (en) Vehicle based acoustic zoning system for smartphones
JP2007290691A (ja) 車両通信システム
US9135913B2 (en) Voice input system, interactive-type robot, voice input method, and voice input program
EP3328042A1 (en) Controlling a user alert
US10020785B2 (en) Automatic vehicle occupant audio control
WO2014147989A1 (ja) コミュニケーションシステム及びロボット
CN112489661B (zh) 一种车载多屏幕的通话方法及装置
CN112913228B (zh) 车内音频通话
EP3038378A1 (en) System and method for speech reinforcement
US20200043470A1 (en) In-car communication control device, in-car communication system, and in-car communication control method
WO2023056764A1 (zh) 一种车内通话方法、装置、系统及车辆
WO2021103609A1 (zh) 交互对象的驱动方法、装置、电子设备以及存储介质
EP3048780B1 (en) Wireless call security
US10504523B2 (en) Voice processing device, voice processing method, and computer program product
CN114125655A (zh) 一种扬声器控制方法、装置、电子设备及存储介质
US11805381B2 (en) Audio-based presence detection
JP6995254B2 (ja) 音場制御装置及び音場制御方法
CN108886551B (zh) 用于控制内部通讯系统的方法和装置
US20240121555A1 (en) Zoned Audio Duck For In Car Conversation
JP2001339799A (ja) 仮想会議装置
CN115497471A (zh) 车辆的娱乐方法、装置、车辆及存储介质
US20240059229A1 (en) In-vehicle communication support device and in-vehicle communication support method
US10243613B1 (en) Talker feedback system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant