CN116453530A - 用于车内分区感知的车外声音重建方法、装置及电子设备 - Google Patents
用于车内分区感知的车外声音重建方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116453530A CN116453530A CN202310423558.XA CN202310423558A CN116453530A CN 116453530 A CN116453530 A CN 116453530A CN 202310423558 A CN202310423558 A CN 202310423558A CN 116453530 A CN116453530 A CN 116453530A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- sound
- reconstruction
- environment
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005192 partition Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008447 perception Effects 0.000 claims abstract description 16
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 230000007613 environmental effect Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 16
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000009467 reduction Effects 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 abstract description 3
- 238000010168 coupling process Methods 0.000 abstract description 3
- 238000005859 coupling reaction Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000002156 mixing Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明公开了一种用于车内分区感知的车外声音重建方法、装置及电子设备，主要设计构思在于，通过车外区域的拾音设备进行拾音及滤波降噪处理，并进一步可以耦合车外视觉信息进行车外环境的多维监测，对重建所需的外部环境声音信息的识别和类型判断进行指导；接着，由用户指令区分不同的重建模式，在自动重建场景中向各车内分区输出可被独立感知的重建声效，而在有用户介入的场景中则综合用户指令及用户画像，实现针对性地向车内不同分区的目标驾乘人员推送其所需的车外环境声音，为车内驾乘人员带来更贴近其日常需要和体验习惯的车外声音还原复现效果，以此提升驾乘人员高自由度的声音感知体验以及用车安全性。
Description
技术领域
本发明涉及汽车音频技术领域，尤其涉及一种用于车内分区感知的车外声音重建方法、装置及电子设备。
背景技术
随着汽车消费升级，搭载更多不同种类扬声器和具备处理复杂混音场景音频功率放大器的车辆越来越受到用户青睐，驾乘人员可以在车内环境均等地享受功能丰富的沉浸音效空间。然而由于车辆本身的物理隔绝和各类环境的限制，驾乘人员日常驾驶便利性和车外多维度感知需求得不到满足。
目前基于车内外空间感知实现交互体验的技术方案主要有如下思路方向：
(1)同时拾取车内外的音频进行比较从而判断车内、外发出的应急系统方案；
(2)利用车外拾音数据对整体噪声进行进一步消除以提升语音交互体验的方案；
(3)利用车外拾音进行声纹配对的车外解锁策略；
(4)通过识别车内外人员视线信息，实现隔窗对讲及求救方案；
(5)利用车外拾音设备配合搭建全方位多维度行车记录仪系统。
以上现有方案大多是运用麦克风进行拾音，以便于车内外进行对谈交流或进行安全信息验证，功能指向单一；即便结合视觉采集，其目的也仅是用于单纯的车内外对话沟通，因而不能满足车内驾乘人员对于车外区域声场复现的需求。
发明内容
鉴于上述，本发明旨在提供一种用于车内分区感知的车外声音重建方法、装置及电子设备，以解决车内分区复现车外环境声音所面临的问题。
本发明采用的技术方案如下：
第一方面，本发明提供了一种用于车内分区感知的车外声音重建方法，其中包括：
基于预设的输入信号，触发车外环境声重建功能开启，并判断是否接收到车内用户的介入指令；
当未接收到所述介入指令时，采集并识别车外区域的预设环境声音，并基于预设条件控制各车内分区输出所述预设环境声音；
在接收到所述介入指令后，根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音；
基于所述目标环境声音向发出所述介入指令的用户其所在的车内分区输出重建的外部环境声音。
在其中至少一种可能的实现方式中，所述车外声音重建方法还包括：
在拾取车外区域的全部环境声音的同时，采集车外环境影像并确定车外环境类型信息；
根据所述车外环境类型信息，从拾取的全部环境声音中过滤得到所述预设环境声音或所述目标环境声音。
在其中至少一种可能的实现方式中，获取到对应的用户画像包括：
在接收到所述介入指令后，根据所述介入指令定位发出所述介入指令的当前用户所在的车内分区，并确定所述当前用户的身份信息；
基于所述身份信息，构建或调取与所述当前用户对应的用户画像。
在其中至少一种可能的实现方式中，所述根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音包括：
在进行外部声音重建时，将所述介入指令表征的用户意图信息和/或所述用户画像表征的用户个性化信息，作为声音重建权重因素。
在其中至少一种可能的实现方式中，所述基于预设条件包括根据当前的车速、车内声音环境以及车外声压级，决策是否在车内输出重建的外部环境声音。
在其中至少一种可能的实现方式中，所述车外声音重建方法还包括：
若检测到目标车内分区内当前存在其他音源，则仅降低所述目标车内分区内的所述其他音源的音量，并同步将重建后的车外环境声音在所述目标车内分区隔离输出。
在其中至少一种可能的实现方式中，所车外声音重建方法还包括：根据拾取的车外区域的环境声音的声压值对车内分区涉及的扬声器的输出音量进行动态增益调节。
第二方面，本发明提供了一种用于车内分区感知的车外声音重建装置，其中包括：
车外环境声音重建功能开启模块，用于基于预设的输入信号，触发车外环境声重建功能开启，并判断是否接收到车内用户的介入指令；
自动重建模块，用于当未接收到所述介入指令时，采集并识别车外区域的预设环境声音，并基于预设条件控制各车内分区输出所述预设环境声音；
目标声音获取模块，用于在接收到所述介入指令后，根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音；
介入重建模块，用于基于所述目标环境声音向发出所述介入指令的用户其所在的车内分区输出重建的外部环境声音。
在其中至少一种可能的实现方式中，所述自动重建模块以及所述介入重建模块均包括车外视觉采集模块，用于：
在拾取车外区域的全部环境声音的同时，采集车外环境影像并确定车外环境类型信息；
根据所述车外环境类型信息，从拾取的全部环境声音中过滤得到所述预设环境声音或所述目标环境声音。
第三方面，本发明提供了一种电子设备，其中包括：
一个或多个处理器、存储器以及一个或多个计算机程序，所述存储器可以采用非易失性存储介质，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行如第一方面或者第一方面的任一可能实现方式中的所述方法。
本发明的主要构思在于，通过车外区域的拾音设备(如通过麦克风阵列)进行拾音及滤波降噪处理，并进一步可以耦合车外视觉信息(如通过智能驾舱)进行车外环境的多维监测，对重建所需的外部环境声音信息的识别和类型判断进行指导，在拾取车外不同区域环境声进行智能辨识和过滤的过程中，全面提升感知维度和能力；接着，由用户指令区分不同的重建模式，在自动重建场景中向各车内分区输出可被独立感知的重建声效，而在有用户介入的场景中则综合用户指令及用户画像，实现针对性地向车内不同分区的目标驾乘人员推送其所需的车外环境声音，为车内驾乘人员带来更贴近其日常需要和体验习惯的车外声音还原复现效果，以此提升驾乘人员高自由度的声音感知体验以及用车安全性。
附图说明
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
图1为本发明提供的用于车内分区感知的车外声音重建方法的实施例的流程图；
图2为本发明提供的车内分区及车外区域示意图；
图3为本发明提供的用于车内分区感知的车外声音重建装置的实施例的示意图；
图4为本发明提供的电子设备的实施例的示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明提出了如下至少一种用于车内分区感知的车外声音重建方法的实施例，如图1所示的，具体可以包括：
步骤1、基于预设的输入信号，触发车外环境声重建功能开启，并判断是否接收到车内用户的介入指令；
例如，在实际操作中可以设置软硬件总开关，用于启闭整个车外环境声重建功能(也可以理解为车外声音场景重现)，通常来说该总开关可以默认为关闭状态，当用户实时需要或预期需要感知车外环境声音时，可以通过操控该总开关，开启车外环境声重建功能。当然，在一些较佳实施例中，在车外环境声重建功能被开启后，可以由车机等已有设备主动播报可选的控制模式，并由用户主动决策是否介入，并相应保持车内和车外若干麦克风的拾音状态处于开启状态。
这里所述的介入指令即是表明用户参与到车外声音的重建，在实际操作中可以具体是指监听车内一个或多个用户的控制意图，例如在由主开关将车外环境声重建功能开启后，监测是否在某既定时间内获取到某车内分区的驾乘人员发出的语音干预指令，或者由车机等系统主动询问车内分区的用户是否需要推送车外环境声音等。
步骤2、当未接收到所述介入指令时，采集并识别车外区域的预设环境声音，并基于预设条件控制各车内分区输出所述预设环境声音；
这里提及的车内分区可预先划分，以小型车为例，通常可划定为主驾区S1、副驾区S2、后排左区S3及后排右区S4等四个车内分区，每个车内分区中包括若干个分区内扬声器，如头枕扬声器、低中高扬声器组等；当然可以理解地，车内的公共区域还可以设置如车前部的中置中音扬声器、车后部的后置低音扬声器等，而这些公共区域的扬声器，其音频输出策略可以按需配置到前述特定的四个所述车内分区中。
关于所述车外区域，同样可以基于车型进行划分，再以小型车为例，通常可划定为车头区F、车尾区R、左前区(左舵车，即主驾车门的外部)FL、右前区(左舵车，即副驾车门的外部)FR、左后区RL(左后门的外部)及右后区RR(右后门的外部)，而在具体实施时可以在各车外区域部署各自的麦克风阵列、环视摄像头等。
由此，这里还可以提及的是，本发明方法实施例可以由车载音视频控制系统、车载功放系统、车机系统、车内外拾音系统、车外视觉系统以及车内扬声系统等软硬件构成，例如但不限于车载智能座舱系统等。
具体地，车载音频控制系统、车载功放系统、车机系统等可采用原车配置，而对于车内外拾音系统、车外视觉系统以及车内扬声系统的硬件方案可以参考如下的较佳示例方案：
车内扬声器系统优选具备头枕扬声器、车四门的中高低音扬声器组合、中置和重低音扬声器，所有扬声器安装位置参考常规车内布置方案即可。在实际运用此示例时，可根据实际情况进行适当增减，建议尽量保证头枕扬声器的配备，否则可能难以较好体现分区感知的特点。车内麦克风阵列满足四音区语音交互要求布置，如图2示意地，可在车内四个区域分别布置对应麦克风(也可按需调整)，四音区拾音非本发明侧重点。而对于车外麦克风阵列的配置，较佳地，需满足六个预设拾音区域具有阵列布局(阵列中麦克风个数可按照实际车辆配置考虑，可以理解地，每个外部拾音区域至少配置一个麦克风。当然，为了保证更佳的拾音降噪效果，优选每个外部拾音区域至少安装两颗麦克风单元，二者间距约30cm)。而对于视觉系统而言，同样可以如图所示与车外拾音设备关联配置，当然在其他实施例中也可以统一配置能够全方位采集车外环境影像的摄像设备，如四个鱼眼相机等。
对于前述提及的六个外部区域，结合附图2可示意如下：
F表征车前方区域：可参考地，麦克风安装在车头摄像头附近。
R(车后方区域)：可参考地，麦克风安装在车尾摄像头附近。
FL(左前方区域)：可参考地，麦克风安装在左前侧摄像头附近。
FR(右前区域)：可参考地，麦克风安装在右前侧摄像头附近。
RL(左后区域)：可参考地，麦克风安装在左后车门把手上或左后侧摄像头附近。
RR(右后区域)：可参考地，麦克风安装在右后车门把手上或右后侧摄像头附近。
进一步地，在一些较佳实施例中，车内还部署有车内视觉采集设备，可以将各车内分区的影像进行捕获，当然可以不限定在各自车内分区内设置独立的摄像头，也可以考虑车内全局影像获取再通过成熟的人物检测、脸部识别等技术对应到各车内分区中的用户。
此外，对于所述预设环境声音，是指用于车外环境声音重建的若干目标声音，例如但不限于车外急促或持续的鸣笛声、呼救或啼哭等人声、动物的叫声、海浪拍打、树叶窸窣以及其他针对车辆行驶或驾乘人员有直接或间接影响的外部声音，尤其地，在本步骤中输出所述预设环境声音也即是输出重建的外部声音，这里的重建主要是依赖于对直接拾取的车外区域声音的遴选、降噪、混音等表征等处理措施，尚未涉及更为复杂的处理过程(后续基于用户指令及画像的重建过程则相对更为复杂)。对于这些目标声音的辨识可采用本领域成熟的声学处理技术，例如但不限于通过模型算法等策略按需或按既定的知识库从获取到的车外声音中提取声学特征，利用声学特征传递的信息从拾取的诸多种类声音中确定出既定的用于声音重建的车外声音，对此本发明不做赘述。
本步骤可以理解为是在用户未主动介入情况下的车外声音智能重建并在车内按划定分区予以输出，这里可以指出两点：
其一、关于前文提及的基于预设条件则至少可以是指根据当前的车速、车内声音环境以及车外声压级，决策是否输出车外声音。也即是，当车辆整体或某个车内分区/车外区域满足既定上述条件要求时，便可以如前所述智能地控制各分区内及公共扬声器混音输出车外声音以重建车外声场。
举例来说，车机可以周期性地反馈实时车速，并由各车外区域的麦克风阵列实时评估外部声压，以及通过车内拾音或通过车机等车载终端判定车内多媒体的音频播放情况。而前述满足既定条件，在该具体实施方式中可以如下：车速满足≤20km/h(表征驻车或低速)、且车内无正在播放的多媒体(目的是避免干扰)、且车外声压级≤55dB(这主要是避免高噪透传)，在符合这些条件时才会控制不同的车内分区的扬声器输出相对应的车外区域麦克风拾取到的外部声音。基于此构思，如果不能满足上述要求，也即是当根据当前的车速、车内声音环境以及车外声压级确定不符合预设条件，且超过既定的计时时间(如5秒)，则自动关闭车外环境声重建功能，此优选实施例可以实现动态智能开关功能，无需用户手动退出。
其二、在前述智能重建前提下，对于车内扬声系统的输出可以考虑经隔离分别输出到对应的车内分区，也即是在采集所述预设环境声音进行外部声场重现后，在车内输出音频时具有区分性的输出，即参考图2示例，在不同的车外区域获得的声音可以经车载功放混音后在车内分区进行独立输出：
| 车外区域拾音 | 车内分区混音输出 |
| F | S1、S2的所有扬声器+中置扬声器 |
| FL | S1的扬声器组+头枕扬声器 |
| FR | S2的扬声器组+头枕扬声器 |
| R | S3、S4的所有扬声器+后置扬声器 |
| RL | S3的扬声器组+头枕扬声器 |
| RR | S4的扬声器组+头枕扬声器 |
这样，车内不同分区内的驾乘人员可以在座位上独立感知到对应的车外区域的声音(实施时还可以借助成熟的降噪技术，使得独立感知效果更佳)，这类似于影院的全景声效果，不同位置的外部声源在车内重现时也体现出位置差异带来的声效区别。当然，在其他实施例中还可以通过调整其他分区输出的声音能量，使得驾乘人员在主要感知所在车内分区的输出音频同时，兼顾听到其他分区的输出音频(相对较低音量)，从而在车内智能地模拟出更为真实的车外环境声音场景，换言之是在独立分区还原的同时进行全局混音，当然这属于可选的处理。
接续前文，步骤3、在接收到所述介入指令后，根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音；
步骤4、基于所述目标环境声音向发出所述介入指令的用户其所在的车内分区输出重建的外部环境声音。
用户画像信息的由来已有较多成熟技术涉及，例如可以通过用户的注册登陆时记录的信息、使用车机的历史记录、个人兴趣点挖掘等。而在实际操作中，无论用户以语音方式或者是触控响应车机询问方式或者其他交互方式，发出所述介入指令后便可以一方面获得发出该指令的当前用户所在的车内分区(可基于声学定位或问询响应等)，另一方面获得发出指令的当前用户的身份及其信息(可通过声音辨识身份或者是对应已锁定的车内分区调用车内视觉系统采集该分区用户的影像)，从而便可以从预先已存储的用户数据中获取到该当前用户的个性化信息形成其个人的“用户画像”(Profile)，当然，可以理解的是，用户的profile可经前期构建并存储，这样可以直接调用，并且在其他一些更佳实施例中，基于大数据的更迭可以对已存储的用户画像进行同步更新(如采用神经网络等机器学习策略)。
上述两个步骤中提及的构思，则是在拾取并重建车外区域声音(目标环境声音)时，需要考虑所述介入指令以及用户画像两个维度，具体来说，所述介入指令提供的是当前用户所需的声音意图，如特定的声音类型和/或是特定的车外区域，如坐在左后分区S3的用户发出的指令表征其意图是感知右侧车外区域FR+RR的人声和动物声，那么在进行声音重建时则将此介入指令传达的信息作为混音输出的较高权重因素；而所述用户画像提供的是适于当前用户特点的辅助重建指引，例如某用户的兴趣是一定程度抑制人及动物音量而突出自然环境声音，又如某用户的使用习惯是放大一定倍数的输出音量等，即，同样是在外部声音重建过程中提供参考权重；在二者结合的实施例中，可以仅基于指令中用户指定的车外区域并结合用户画像，向当前用户仅输出该指定车外区域的清晰的自然环境声音，以营造独享的外界声音场景按上述说明，在进行车外声音重建时能够展现的便是具有针对性的环境声音。
这里还可以补充的是下述三点：
第一、与前述智能识别并输出所述预设环境声音相似，在用户介入时，所拾取并识别的目标环境声音，同样可以是经预建算法筛出的特定类型声音，而在本发明另一些更优的实施例中，为了提升外部声音重建的精准度，尤其是在用户介入时能够高精度还原与用户关联的外部声音场景，拾取并识别车外声音时融合了车外环境的视觉信息，也即是在车内重建外部声音的过程中结合了车外视觉影像传递的外部环境信息。具体来说，在拾取车外区域的全部环境声音的同时，采集车外环境影像(可以但不限于与拾音的车外区域对应)并确定车外环境类型信息，根据所述车外环境类型信息，从拾取的全部环境声音中，过滤得到所述预设环境声音或所述目标环境声音。由此，可以确保利用所述预设环境声音或所述目标环境声音重建的待输出外部声音与真实的外部环境匹配度、精准度更高。
这里还可以提及的是，外部视觉信息同样可以与用户画像结合，从全部采集的外部声音中识别得到更为符合目标车内分区(给出介入指令的用户在车内的分区位置)内该用户个性化需求的特定声音类型。
据上所述实施例，本发明还提出可以在采集车外视觉信息时，同步获取若干环境图像资料(静态或动态)，并在输出重建声音时通过车载显示终端同步输出所述环境图像资料，已达到更佳的外部环境重现的体验，当然可以理解地，图像资料的作用依然是辅助用户感知车外环境声音的重建。
第二、同样可以借鉴前文提及的，在用户介入场景中输出重建后的音频时考虑是否满足若干预设条件。
第三、而在另一些较佳实施例中，为了确保实现用户主动介入的意图期望，本发明提出下述优选构思：
步骤100、若检测到目标车内分区当前存在其他音源(这里的其他，是相对待重建输出的外部环境声音而言，例如S1区的扬声器正在播放多媒体音源)；
步骤200、仅降低所述目标车内分区内的其他音源的音量(可保持其他的车内分区的媒体音量)；
步骤300、同步将重建的外部环境声音在所述目标车内分区隔离输出，例如可达成目标分区声场10dB以上的隔离度。
最后在前述实施例基础上还可以补充说明的是，在实际操作中，可利用车内及车外的麦克风获取对应的噪声水平并自适应调节音频输出效果。
具体地，车载功放可根据待输出的车外环境声音的声压值对车内分区扬声器的输出音量进行动态增益调节，使用户人耳处获得稳定的声音音量(例如50dB上下，此范围值可按需调节)。而在另一些实施例中，若任一车内分区内的声压值表征当前该车内分区输出的车外声音超过既定音量阈值(如输出至S1区的重建声音，被S1内的麦克风拾取后，表明在5秒内其持续大于设定的上限阈值65dB或者小于下限阈值35dB)，则对当前该车内分区的输出音量进行修正并发出警告；若无法恢复(当然，可以优选加入计时，例如超过3秒无法修正到阈值允许范围内)，则强制关闭车外环境声重建功能(并可记录故障码)，以保证用户能够独立感知的是安全且稳定的声场重现效果。
综上所述，本发明的主要构思在于，通过车外区域的拾音设备(如通过麦克风阵列)进行拾音及滤波降噪处理，并进一步可以耦合车外视觉信息(如通过智能驾舱)进行车外环境的多维监测，对重建所需的外部环境声音信息的识别和类型判断进行指导，在拾取车外不同区域环境声进行智能辨识和过滤的过程中，全面提升感知维度和能力；接着，由用户指令区分不同的重建模式，在自动重建场景中向各车内分区输出可被独立感知的重建声效，而在有用户介入的场景中则综合用户指令及用户画像，实现针对性地向车内不同分区的目标驾乘人员推送其所需的车外环境声音，为车内驾乘人员带来更贴近其日常需要和体验习惯的车外声音还原复现效果，以此提升驾乘人员高自由度的声音感知体验以及用车安全性。
相应于上述各实施例及优选方案，本发明还提供了一种用于车内分区感知的车外声音重建装置的实施例，如图3所示，具体可以包括如下部件：
车外环境声音重建功能开启模块1，用于基于预设的输入信号，触发车外环境声重建功能开启，并判断是否接收到车内用户的介入指令；
自动重建模块2，用于当未接收到所述介入指令时，采集并识别车外区域的预设环境声音，并基于预设条件控制各车内分区输出所述预设环境声音；
目标声音获取模块31，用于在接收到所述介入指令后，根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音；
介入重建模块32，用于基于所述目标环境声音向发出所述介入指令的用户其所在的车内分区输出重建的外部环境声音。
在其中至少一种可能的实现方式中，所述自动重建模块以及所述介入重建模块均包括车外视觉采集模块4，用于：
在拾取车外区域的全部环境声音的同时，采集车外环境影像并确定车外环境类型信息；
根据所述车外环境类型信息，从拾取的全部环境声音中过滤得到所述预设环境声音或所述目标环境声音。
应理解以上图3所示的用于车内分区感知的车外声音重建装置中各个部件的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些部件可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分部件以软件通过处理元件调用的形式实现，部分部件通过硬件的形式实现。例如，某个上述模块可以为单独设立的处理元件，也可以集成在电子设备的某一个芯片中实现。其它部件的实现与之类似。此外这些部件全部或部分可以集成在一起，也可以独立实现。在实现过程中，上述方法的各步骤或以上各个部件可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些部件可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit；以下简称：ASIC)，或，一个或多个微处理器(Digital Singnal Processor；以下简称：DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array；以下简称：FPGA)等。再如，这些部件可以集成在一起，以片上系统(System-On-a-Chip；以下简称：SOC)的形式实现。
综合上述各实施例及其优选方案，本领域技术人员可以理解的是，在实际操作中，本发明所涉及的技术构思可适用于多种实施方式，本发明以下述载体作为示意性说明：
(1)一种电子设备。该设备具体可以包括：一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述设备执行时，使得所述设备执行前述实施例或者等效实施方式的步骤/功能。
该电子设备具体可以为与计算机相关的电子设备，例如但不限于各类交互终端及电子产品、移动终端等。
图4为本发明提供的电子设备的实施例的结构示意图，具体地，电子设备900包括处理器910和存储器930。其中，处理器910和存储器930之间可以通过内部连接通路互相通信，传递控制和/或数据信号，该存储器930用于存储计算机程序，该处理器910用于从该存储器930中调用并运行该计算机程序。上述处理器910可以和存储器930可以合成一个处理装置，更常见的是彼此独立的部件，处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时，该存储器930也可以集成在处理器910中，或者，独立于处理器910。
除此之外，为了使得电子设备900的功能更加完善，该设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个，所述音频电路还可以包括扬声器982、麦克风984等。其中，显示单元970可以包括显示屏。
进一步地，上述设备900还可以包括电源950，用于给该设备900中的各种器件或电路提供电能。
应理解，该设备900中的各个部件的操作和/或功能，具体可参见前文中关于方法、系统等实施例的描述，为避免重复，此处适当省略详细描述。
应理解，图4所示的电子设备900中的处理器910可以是片上系统SOC，该处理器910中可以包括中央处理器(Central Processing Unit；以下简称：CPU)，还可以进一步包括其他类型的处理器，例如：图像处理器(Graphics Processing Unit；以下简称：GPU)等，具体在下文中再作介绍。
总之，处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程，且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
(2)一种计算机数据存储介质，在该存储介质上存储有计算机程序或上述装置，当计算机程序或上述装置被执行时，使得计算机执行前述实施例或等效实施方式的步骤/功能。
在本发明所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机数据取存储介质中。基于这样的理解，本发明的某些技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以如下所述软件产品的形式体现出来。
尤其需指出的是，该存储介质可以是指服务器或相类似的计算机设备，具体地，也即是服务器或类似的计算机设备中的存储器件中存储有前述计算机程序或上述装置。
(3)一种计算机程序产品(该产品可以包括上述装置)，该计算机程序产品在终端设备上运行时，使终端设备执行前述实施例或等效实施方式的用于车内分区感知的车外声音重建方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，上述计算机程序产品可以包括但不限于是指APP。
接续前文，上述设备/终端可以是一台计算机设备，并且，该计算机设备的硬件结构还可以具体包括：至少一个处理器，至少一个通信接口，至少一个存储器和至少一个通信总线；处理器、通信接口、存储器均可以通过通信总线完成相互间的通信。其中，处理器可能是一个中央处理器CPU、DSP、微控制器或数字信号处理器，还可包括GPU、嵌入式神经网络处理器(Neural-network Process Units；以下简称：NPU)和图像信号处理器(Image SignalProcessing；以下简称：ISP)，该处理器还可包括特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路等，此外，处理器可以具有操作一个或多个软件程序的功能，软件程序可以存储在存储器等存储介质中；而前述的存储器/存储介质可以包括：非易失性存储器(non-volatile memory)，例如非可移动磁盘、U盘、移动硬盘、光盘等，以及只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random AccessMemory；以下简称：RAM)等。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
本领域技术人员可以意识到，本说明书中公开的实施例中描述的各模块、单元及方法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方式来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以及，其中作为分离部件说明的模块、单元等可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个地方，例如系统网络的节点上。具体可根据实际的需要选择其中的部分或者全部模块、单元来实现上述实施例方案的目的。本领域技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
Claims (11)
1.一种用于车内分区感知的车外声音重建方法，其特征在于，包括：
基于预设的输入信号，触发车外环境声重建功能开启，并判断是否接收到车内用户的介入指令；
当未接收到所述介入指令时，采集并识别车外区域的预设环境声音，并基于预设条件控制各车内分区输出所述预设环境声音；
在接收到所述介入指令后，根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音；
基于所述目标环境声音向发出所述介入指令的用户其所在的车内分区输出重建的外部环境声音。
2.根据权利要求1所述的用于车内分区感知的车外声音重建方法，其特征在于，所述车外声音重建方法还包括：
在拾取车外区域的全部环境声音的同时，采集车外环境影像并确定车外环境类型信息；
根据所述车外环境类型信息，从拾取的全部环境声音中过滤得到所述预设环境声音或所述目标环境声音。
3.根据权利要求1所述的用于车内分区感知的车外声音重建方法，其特征在于，获取到对应的用户画像包括：
在接收到所述介入指令后，根据所述介入指令定位发出所述介入指令的当前用户所在的车内分区，并确定所述当前用户的身份信息；
基于所述身份信息，构建或调取与所述当前用户对应的用户画像。
4.根据权利要求1所述的用于车内分区感知的车外声音重建方法，其特征在于，所述根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音包括：
在进行外部声音重建时，将所述介入指令表征的用户意图信息和/或所述用户画像表征的用户个性化信息，作为声音重建权重因素。
5.根据权利要求1～4任一项所述的用于车内分区感知的车外声音重建方法，其特征在于，所述基于预设条件包括根据当前的车速、车内声音环境以及车外声压级，决策是否在车内输出重建的外部环境声音。
6.根据权利要求1～4任一项所述的用于车内分区感知的车外声音重建方法，其特征在于，所述车外声音重建方法还包括：
若检测到目标车内分区内当前存在其他音源，则仅降低所述目标车内分区内的所述其他音源的音量，并同步将重建后的车外环境声音在所述目标车内分区隔离输出。
7.根据权利要求1～4任一项所述的用于车内分区感知的车外声音重建方法，其特征在于，所车外声音重建方法还包括：根据拾取的车外区域的环境声音的声压值对车内分区涉及的扬声器的输出音量进行动态增益调节。
8.一种用于车内分区感知的车外声音重建装置，其特征在于，包括：
车外环境声音重建功能开启模块，用于基于预设的输入信号，触发车外环境声重建功能开启，并判断是否接收到车内用户的介入指令；
自动重建模块，用于当未接收到所述介入指令时，采集并识别车外区域的预设环境声音，并基于预设条件控制各车内分区输出所述预设环境声音；
目标声音获取模块，用于在接收到所述介入指令后，根据所述介入指令和/或获取到的对应的用户画像，拾取并识别车外区域的目标环境声音；
介入重建模块，用于基于所述目标环境声音向发出所述介入指令的用户其所在的车内分区输出重建的外部环境声音。
9.根据权利要求8所述的用于车内分区感知的车外声音重建装置，其特征在于，所述自动重建模块以及所述介入重建模块均包括车外视觉采集模块，用于：
在拾取车外区域的全部环境声音的同时，采集车外环境影像并确定车外环境类型信息；
根据所述车外环境类型信息，从拾取的全部环境声音中过滤得到所述预设环境声音或所述目标环境声音。
10.一种电子设备，其特征在于，包括：
一个或多个处理器、存储器以及一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行权利要求1～7任一项所述的用于车内分区感知的车外声音重建方法。
11.一种计算机数据存储介质，其特征在于，所述计算机数据存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得计算机执行权利要求1～7任一项所述的用于车内分区感知的车外声音重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310423558.XA CN116453530A (zh) | 2023-04-19 | 2023-04-19 | 用于车内分区感知的车外声音重建方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310423558.XA CN116453530A (zh) | 2023-04-19 | 2023-04-19 | 用于车内分区感知的车外声音重建方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116453530A true CN116453530A (zh) | 2023-07-18 |
Family
ID=87125211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310423558.XA Pending CN116453530A (zh) | 2023-04-19 | 2023-04-19 | 用于车内分区感知的车外声音重建方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116453530A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118314869A (zh) * | 2024-06-07 | 2024-07-09 | 比亚迪股份有限公司 | 车辆降噪方法、域控制器、车辆及可读存储介质 |
-
2023
- 2023-04-19 CN CN202310423558.XA patent/CN116453530A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118314869A (zh) * | 2024-06-07 | 2024-07-09 | 比亚迪股份有限公司 | 车辆降噪方法、域控制器、车辆及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10536791B2 (en) | Vehicular sound processing system | |
| CN116453530A (zh) | 用于车内分区感知的车外声音重建方法、装置及电子设备 | |
| DE102010009888A1 (de) | Kommunikationsverbesserung in Fahrzeugen | |
| CN114162014B (zh) | 智能头枕的控制方法、存储介质及电子设备 | |
| US11673512B2 (en) | Audio processing method and system for a seat headrest audio system | |
| KR102111755B1 (ko) | 차량용 영상 처리 장치 및 그 제어 방법 | |
| US10562449B2 (en) | Accelerometer-based external sound monitoring during low speed maneuvers | |
| CN114906076A (zh) | 一种车载儿童安全保护及情绪安抚系统及方法 | |
| US20160134968A1 (en) | Vehicle multimedia system and method | |
| JPH1035320A (ja) | 車両状況認識方法、車載用画像処理装置および記憶媒体 | |
| CN111114477B (zh) | 车辆用声音输入输出装置 | |
| CN116434749A (zh) | 车内用户分区域感知车外声音透传方法、装置及电子设备 | |
| CN113544750A (zh) | 车辆用记录控制装置、车辆用记录装置、车辆用记录控制方法和程序 | |
| CN109857360B (zh) | 车内音频设备音量控制系统及控制方法 | |
| US20180157459A1 (en) | Ear monitoring audio | |
| CN118072708A (zh) | 车辆降噪控制方法、装置、系统以及车辆 | |
| CN115002400A (zh) | 车载会议系统及其车辆 | |
| CN114537304A (zh) | 一种整车声音智能调节方法及系统 | |
| CN112786076A (zh) | 汽车音乐多通道播放控制方法、存储介质及电子设备 | |
| JP7547979B2 (ja) | 車両用ハンズフリー制御装置、及び車両用ハンズフリー制御装置が実行する方法 | |
| WO2018173112A1 (ja) | 音出力制御装置、音出力制御システムおよび音出力制御方法 | |
| CN118636798A (zh) | 车辆音频配置方法、装置、车机和车辆系统 | |
| US20230173920A1 (en) | Method of automatically switching manner of answering call between options, and vehicle-mounted system applying method | |
| US20240303286A1 (en) | Content output apparatus, control method of content output apparatus, and recording medium | |
| CN110758283B (zh) | 一种车载音响控制方法、系统及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |