CN109144466B - 音频设备控制方法和装置 - Google Patents

音频设备控制方法和装置 Download PDF

Info

Publication number
CN109144466B
CN109144466B CN201811009931.2A CN201811009931A CN109144466B CN 109144466 B CN109144466 B CN 109144466B CN 201811009931 A CN201811009931 A CN 201811009931A CN 109144466 B CN109144466 B CN 109144466B
Authority
CN
China
Prior art keywords
microphone
user
distance
volume
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811009931.2A
Other languages
English (en)
Other versions
CN109144466A (zh
Inventor
张苏弦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Guangzhou Mobile R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Guangzhou Mobile R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Guangzhou Mobile R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Guangzhou Mobile R&D Center
Priority to CN201811009931.2A priority Critical patent/CN109144466B/zh
Publication of CN109144466A publication Critical patent/CN109144466A/zh
Application granted granted Critical
Publication of CN109144466B publication Critical patent/CN109144466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本申请实施例公开了音频设备控制方法和装置。该方法的一具体实施方式包括：基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；基于所述距离，控制音频设备。实现了自动对视频通讯中的音频设备进行诸如音量调整、开闭的控制。

Description

音频设备控制方法和装置
技术领域
本申请涉及计算机领域，具体涉及音频设备控制方法和装置。
背景技术
视频通讯中经常需要对音频设备的音量进行调整。目前，通常采用的方式为：以人工方式对音频设备的音量进行调整，造成用户的操作较为繁琐。
发明内容
本申请实施例提供了音频设备控制方法和装置。
第一方面，本申请实施例提供了音频设备控制方法，该方法包括：基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；基于所述距离，控制音频设备。
在一些实施例中，基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离包括：基于视频通讯数据中的用户的脸部的特征，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的特征点对应的深度信息，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的位置和音频设备的位置，确定用户与音频设备的距离。
在一些实施例中，音频设备包括以下至少任一项：麦克风、扬声器；和/或所述脸部的特征包括：脸部的大小、脸部的角度。
在一些实施例中，基于所述距离，控制音频设备包括：基于用户与麦克风的距离，确定麦克风调整参数；和/或基于用户与扬声器的距离，确定扬声器调整参数；和/或基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量和/或向对端发送对端扬声器调整参数；和/或基于对端用户与对端的扬声器的距离，确定麦克风调整参数；和/或基于对端用户与对端的麦克风的距离，向对端发送对端麦克风调整参数。
在一些实施例中，麦克风调整参数包括以下一项或多项：麦克风的音量的调整量、主副麦克风设置指示信息，用于对采集的声音进行去噪处理的麦克风的标识，麦克风开关指示信息，扬声器调整参数包括以下一项或多项：扬声器的音量的调整量、目标扬声器设置指示信息、扬声器开关指示信息。
在一些实施例中，目标扬声器设置指示信息包括：指示将所有扬声器中与至少一个用户的距离最近的扬声器设定为目标扬声器的指示信息；和/或主副麦克风设置指示信息包括：指示将所有麦克风中与当前发言的用户的距离最近的麦克风设置为主麦克风的指示信息；和/或麦克风的音量的调整量包括以下一项或多项：主麦克风的音量的调整量、副麦克风的音量的调整量；和/或麦克风开关指示信息包括：指示开启主麦克风并且关闭副麦克风的指示信息；和/或用于对采集的声音进行去噪处理的麦克风的标识包括：用于对主麦克风采集的声音进行去噪处理的副麦克风的标识；和/或扬声器的音量的调整量包括以下一项或多项：目标扬声器的音量的调整量、非目标扬声器的音量的调整量；和/或扬声器开关指示信息包括：指示开启目标扬声器并且关闭非目标扬声器的指示信息。
第二方面，本申请实施例提供了音频设备控制装置，该装置包括：确定单元，配置用于基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；控制单元，配置用于基于所述距离，控制音频设备。
在一些实施例中，确定单元包括距离确定子单元，配置用于基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离包括：基于视频通讯数据中的用户的脸部的特征，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的特征点对应的深度信息，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的位置和音频设备的位置，确定用户与音频设备的距离。
在一些实施例中，音频设备包括以下至少任一项：麦克风、扬声器；和/或所述脸部的特征包括：脸部的大小、脸部的角度。
在一些实施例中，控制单元包括：参数确定子单元，配置用于基于用户与麦克风的距离，确定麦克风调整参数；和/或基于用户与扬声器的距离，确定扬声器调整参数；和/或基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量和/或向对端发送对端扬声器调整参数；和/或基于对端用户与对端的扬声器的距离，确定麦克风调整参数；和/或基于对端用户与对端的麦克风的距离，向对端发送对端麦克风调整参数。
在一些实施例中，麦克风调整参数包括以下一项或多项：麦克风的音量的调整量、主副麦克风设置指示信息，用于对采集的声音进行去噪处理的麦克风的标识，麦克风开关指示信息，扬声器调整参数包括以下一项或多项：扬声器的音量的调整量、目标扬声器设置指示信息、扬声器开关指示信息。
在一些实施例中，目标扬声器设置指示信息包括：指示将所有扬声器中与至少一个用户的距离最近的扬声器设定为目标扬声器的指示信息；和/或主副麦克风设置指示信息包括：指示将所有麦克风中与当前发言的用户的距离最近的麦克风设置为主麦克风的指示信息；和/或麦克风的音量的调整量包括以下一项或多项：主麦克风的音量的调整量、副麦克风的音量的调整量；和/或麦克风开关指示信息包括：指示开启主麦克风并且关闭副麦克风的指示信息；和/或用于对采集的声音进行去噪处理的麦克风的标识包括：用于对主麦克风采集的声音进行去噪处理的副麦克风的标识；和/或扬声器的音量的调整量包括以下一项或多项：目标扬声器的音量的调整量、非目标扬声器的音量的调整量；和/或扬声器开关指示信息包括：指示开启目标扬声器并且关闭非目标扬声器的指示信息。
本申请实施例提供的音频设备控制方法和装置，通过基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；基于所述距离，控制音频设备。实现了自动对视频通讯中的音频设备进行诸如音量调整、开闭的控制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了根据本申请的音频设备控制方法的一个实施例的流程图；
图2示出了根据本申请的音频设备控制方法的另一个实施例的流程图；
图3示出了根据本申请的音频设备控制装置的一个实施例的结构示意图；
图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，其示出了根据本申请的音频设备控制方法的一个实施例的流程图。该方法包含以下步骤：
步骤101，基于视频通讯数据，确定用户与音频设备的距离。
在本实施例中，视频通讯可以为视频通话或视频会议。视频通讯的用户可以为参与视频通话的用户或参与视频会议的用户。
在本实施例中，视频通讯数据可以包含在本端生成的与视频通讯相关联的数据和接收到的在对端生成的与视频通讯相关联的数据。
在本实施例中，可以基于视频通讯数据，确定用户与音频设备的距离。
例如，视频通讯为视频通话，音频设备为设置在进行视频通话的用户的终端上的音频设备。视频通讯数据可以包括用户的终端采集到的图像和图像的深度信息，深度信息中的各个像素点的深度值表示像素点对应的三维空间中的点到用户的终端的距离。可以确定图像的深度信息中的位于用户的脸部的轮廓上的各个像素点对应的深度值，将最小的深度值作为用户与用户的终端之间的距离，进而可以将用户与用户的终端的距离作为用户与音频设备的距离。
又例如，视频通讯为视频会议，音频设备为设置在视频会议的各端的音频设备。在一端生成的视频通讯数据中包含在该端采集到的图像和图像的深度信息。可以识别出在该端的采集到的图像中在该端的每一个用户的脸部，进而获取到每一个用户的脸部的轮廓上的像素点的深度信息。
在本实施例中，视频通讯数据可以包含接收到的在对端确定的对端用户与对端的音频设备的距离。从而，可以基于视频通讯数据，确定对端用户与对端的音频设备的距离。
在本实施例的一些可选的实现方式中，基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离包括：基于视频通讯数据中的用户的脸部的特征，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的特征点对应的深度信息，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的位置和音频设备的位置，确定用户与音频设备的距离。
可选地，可以基于视频通讯数据中的用户的脸部的特征，确定终端的用户与音频设备的距离。用户的脸部的特征可以包括：采集到图像中的用户的脸部的大小和用户的脸部的角度。
例如，视频通讯为视频通话，音频设备为设置在进行视频通话的用户的终端上的音频设备。视频通讯数据可以包括用户的终端采集到的图像和图像的深度信息，采集到的图像中包含用户的脸部。用户的脸部的角度可以利用一个包含用户的脸部相对于X轴、Y轴、Z轴的偏转量的矢量表示。可以确定采集到的图像中的用户的脸部的大小，以及根据采集到的图像中的用户的脸部的轮廓上的点对应的深度信息，确定用户的脸部的角度。用户的终端的角度可以通过陀螺仪得到，用户的终端的角度可以利用一个包含用户的终端相对于X轴、Y轴、Z轴的偏转量的矢量表示。可以计算用户的脸部的角度与用户的终端的角度的角度差。可以预先在多个不同的采集情况下采集多个脸型的脸部的图像，采集情况包括：距离、角度差。对于每一个采集情况下采集到的每一个脸型的脸部的图像，分别建立脸型、脸部的大小、距离、角度差的对应关系，建立对应关系表。对应关系表中的每一条记录中，一个脸型、脸部的大小、距离、角度差对应存储。可以查找出包含与用户的脸部匹配的脸型、计算出的角度差、用户的脸部的大小的记录，将该记录中的距离作为确定用户与用户的终端的距离，进而可以确定用户与用户的终端上的音频设备的距离。
可选地，可以基于视频通讯数据中的用户的脸部的特征点对应的深度信息，确定终端的用户与音频设备的距离。
例如，视频通讯为视频通话，音频设备为设置在进行视频通话的用户的终端上的麦克风和/或扬声器。视频通讯数据可以包括用户的终端采集到的图像和图像的深度信息，采集到的图像中包含用户的脸部。用户的脸部的特征点可以为用户的脸部上与音频设备相关的对象例如嘴巴、耳朵上的轮廓上的各个像素点。可以根据与音频设备相关的对象的轮廓上的各个像素点对应的深度值，计算出三维空间中与音频设备相关的对象的中心点对应的深度值，将三维空间中与音频设备相关的对象的中心点对应的深度值作为用户与用户的终端之间的距离，进而可以将用户与用户的终端之间的距离作为用户与用户的终端上的音频设备的距离。
可选地，可以基于视频通讯数据中的用户的脸部的位置和音频设备的位置，确定用户与音频设备的距离。
例如，视频通讯为视频会议，音频设备为设置在视频会议的各端的音频设备。在视频会议的一端生成的视频通讯数据中包含在该端采集到的图像。可以识别出在该端采集到的图像中在该端的每一个用户的脸部、设置在该端的音频设备。可以计算出图像中的在该端的每一个用户的脸部与音频设备之间的距离，根据预先确定的采集到的图像中的对象之间的距离和对象之间的实际距离的比例关系，可以分别确定在该端的每一个用户的脸部与设置在该端的音频设备之间的实际距离。
步骤102，基于用户与音频设备的距离，控制音频设备。
在本实施例中，可以基于用户与音频设备的距离，控制音频设备。例如，可以基于用户与音频设备的距离，调整音频设备的音量。可以预先对于用户与音频设备的多个距离，将每一个距离预先对应一个预设音量。每一个距离对应的音量可以为预先确定的适用于在该距离进行视频通讯的音量。可以根据预先建立的对应关系，确定用户与音频设备的距离下音频设备应调整至的音量，将音频设备当前的音量调整至应调整至的音量。当用户与音频设备的距离不是预先建立的对应关系中的距离时，可以利用预先建立的对应关系中用户与音频设备的距离邻近的两个相邻的距离对应的预设音量进行插值，确定用户与音频设备的距离下音频设备应调整至的音量。又例如，可以基于用户与音频设备的距离，确定需要开启或关闭的音频设备。可以开启预设数个距离用户最近的音频设备，关闭其他音频设备。
请参考图2，其示出了根据本申请的音频设备控制方法的另一个实施例的流程图。该方法包含以下步骤：
步骤201，基于视频通讯数据，确定用户与麦克风和/或扬声器的距离。
在本实施例中，可以基于视频通讯数据，确定进行视频通讯的用户与麦克风和/或扬声器的距离。
例如，视频通讯为视频会议，麦克风、扬声器为设置在视频会议的各端的麦克风、扬声器。可以分别确定在该端的每一个用户的脸部与设置在该端的麦克风、扬声器之间的距离，将在该端的每一个用户的脸部与设置在该端的麦克风、扬声器之间的距离作为在该端的每一个用户与设置在该端的麦克风、扬声器之间的距离。
又例如，视频通讯为视频通话，麦克风、扬声器为进行视频通话的用户的终端上的麦克风、扬声器。可以确定用户与用户的终端之间的距离，将用户与用户的终端之间的距离作为用户与用户的终端上的麦克风、扬声器的距离。
步骤202，基于用户与麦克风和/或扬声器的距离，控制麦克风和/或扬声器。
在本实施例中，基于用户与麦克风和/或扬声器的距离，控制麦克风和/或扬声器包括：基于用户与麦克风的距离，确定麦克风调整参数；和/或基于用户与扬声器的距离，确定扬声器调整参数；和/或基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量和/或向对端发送对端扬声器调整参数；和/或基于对端用户与对端的扬声器的距离，确定麦克风调整参数；和/或基于对端用户与对端的麦克风的距离，向对端发送对端麦克风调整参数。
在本实施例中，可以基于用户与麦克风的距离，确定麦克风调整参数。
例如，视频通讯为视频会议，麦克风调整参数为与当前发言的用户的距离最近的麦克风的音量的调整量。可以根据采集到的图像中各个用户的嘴部的特征，确定当前发言的用户。可以根据当前发言的用户的距离与最近的麦克风之间的距离，确定最近的麦克风的音量的调整量。
又例如，视频通讯为视频通话，麦克风调整参数为用户的终端的麦克风的音量的调整量。可以根据用户与用户的终端上的麦克风之间的距离，确定用户的终端上的麦克风的音量的调整量。
在本实施例中，可以基于用户与扬声器的距离，确定扬声器调整参数。
例如，视频通讯为视频会议，扬声器调整参数为设置在本端的多个扬声器的音量的调整量。对于每一个待调整音量的扬声器，均可以基于距离扬声器最近的用户与该扬声器之间的距离，确定出扬声器的音量的一个拟调整量以及基于距离扬声器最远的用户与该扬声器之间的距离，确定出扬声器的音量的另一个拟调整量，可以将该一个拟调整量和该另一个拟调整量之间的一个音量的调整量作为扬声器的音量的调整量。
又例如，视频通讯为视频通话，扬声器调整参数为用户的终端的扬声器的音量的调整量。可以根据用户与用户的终端上的扬声器之间的距离，确定用户的终端上的扬声器的音量的调整量。
在确定麦克风的音量的调整量时，可以基于用户与麦克风的距离和距离阈值的比较结果，确定麦克风的音量的调整量。在确定扬声器的音量的调整量时，可以基于用户与扬声器的距离和距离阈值的比较结果，确定扬声器的音量的调整量。
在确定麦克风或扬声器的音量的调整量之前预先确定的相应的距离可以统称为距离阈值，与不同的比较对象进行比较的距离阈值可以是相同的，也可以是不同的。例如，作为用户与麦克风的距离的比较对象的距离阈值与作为用户与扬声器的距离的比较对象的距离阈值可以是相同的，也可以是不同的。对于作为用户与麦克风的距离的比较对象的距离阈值，在视频通话、视频会议等不同的视频通讯情况中可以是相同的，也可以是不同的。对于作为用户与扬声器的距离的比较对象的距离阈值，在视频通话、视频会议等不同的视频通讯情况中可以是相同的，也可以是不同的。
距离阈值可以预先对应有音量。例如，在视频通讯开始阶段，在一定时长内，用户与麦克风或扬声器的未发生改变，该距离可以作为距离阈值，在一定时长内保持不变的麦克风或扬声器的音量可以视为在该距离下较为合适的音量，该音量可以作为距离阈值对应的音量。
当基于用户与麦克风的距离和距离阈值的比较结果，确定麦克风的音量的调整量时，可以根据用户与待调整音量的麦克风的距离和距离阈值的比较结果，确定待调整音量的麦克风的音量的调整量。待调整音量的麦克风的音量的调整量可以为相对于距离阈值对应的音量的调整量。当用户与待调整音量的麦克风的距离大于距离阈值时，调整量可以为相对于该距离阈值对应的音量的增大量，该距离阈值对应的音量与增大量之和可以作为待调整音量的麦克风的音量应调整至的目标音量。当用户与待调整音量的麦克风的距离小于距离阈值时，调整量可以为相对于该距离阈值对应的音量的减小量，该距离阈值对应的音量与减小量之差可以作为待调整音量的麦克风的音量应调整至的目标音量。
当基于用户与扬声器的距离和距离阈值的比较结果，确定扬声器的音量的调整量时，可以根据用户与待调整音量的扬声器的距离和距离阈值的比较结果，确定待调整音量的扬声器的音量的调整量。待调整音量的扬声器的音量的调整量可以为相对于距离阈值对应的音量的调整量。当用户与待调整音量的扬声器的距离大于距离阈值时，调整量可以为相对于该距离阈值对应的音量的增大量，该距离阈值对应的音量与增大量之和可以作为待调整音量的扬声器的音量应调整至的目标音量。当用户与待调整音量的扬声器的距离小于距离阈值时，调整量可以为相对于该距离阈值对应的音量的减小量，该距离阈值对应的音量与减小量之差可以作为待调整音量的扬声器的音量应调整至的目标音量。
在本实施例中，可以基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量。可以参照上述基于用户与麦克风的距离调整麦克风的音量的方式来基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量。
在本实施例中，可以基于用户与麦克风的距离，向对端发送对端扬声器调整参数。
例如，对端扬声器调整参数为对端的扬声器的音量的调整量。预先确定了一个在用户与麦克风的距离为距离阈值时麦克风的音量作为该距离阈值对应的音量，该距离阈值对应的音量为经过对端的扬声器播放之后对于对端用户较为合适的音量。可以根据用户与麦克风的距离与距离阈值的比较结果，以相同的调整量对对端的扬声器的音量进行调整，即对端的所有扬声器具有相同的音量的调整量。当用户与麦克风的距离大于距离阈值时，调整量可以为相对于该距离阈值对应的音量的增大量，该距离阈值对应的音量与增大量之和可以作为对端的所有扬声器的音量的调整量。当用户与麦克风的距离小于距离阈值时，调整量可以为相对于该距离阈值对应的音量的减小量，该距离阈值对应的音量与减小量之差可以作为对端的所有扬声器的音量的调整量。
在本实施例中，可以基于对端用户与对端的扬声器的距离，确定麦克风调整参数。
例如，麦克风调整参数为麦克风的音量的调整量。可以参照上述基于用户与扬声器的距离，确定扬声器的调整量的方式来基于对端用户与对端的扬声器的距离，确定对端的扬声器所需的音量的调整量，将对端的扬声器所需的音量的调整量作为麦克风的音量的调整量。
在本实施例中，可以基于对端用户与对端的麦克风的距离，向对端发送对端麦克风调整参数。
例如，对端麦克风调整参数为对端的麦克风的音量的调整量，可以参照上述基于用户与麦克风的距离，确定麦克风的音量的调整量来基于对端用户与对端的麦克风的距离，确定对端的麦克风的音量的调整量，向对端发送对端麦克风调整参数。
在本实施例的一些可选的实现方式中，麦克风调整参数可以包括以下一项或多项：麦克风的音量的调整量、主副麦克风设置指示信息、用于对采集的声音进行去噪处理的麦克风的标识、麦克风开关指示信息。扬声器调整参数包括以下一项或多项：扬声器的音量的调整量、目标扬声器设置指示信息、扬声器开关指示信息。
主副麦克风设置指示信息可以包括主麦克风的标识和副麦克风的标识。
例如，视频通讯为视频会议，可以将距离当前发言的用户最近的预设数个麦克风作为主麦克风，将其他的麦克风作为副麦克风。
麦克风的音量的调整量可以包括主麦克风的音量的调整量、副麦克风的音量的调整量。可以根据主麦克风与用户的距离和距离阈值的比较结果，确定主麦克风的音量的调整量，副麦克风的音量的调整量可以均为减小量。
麦克风开关指示信息可以包括需要开启的麦克风的标识和需要关闭的麦克风的标识。
例如，视频通讯为视频会议，可以将距离当前发言的用户最近的预设数个麦克风作为需要开启的麦克风，将其他麦克风作为需要关闭的麦克风。
目标扬声器设置指示信息可以包括从所有扬声器中选取出的作为目标扬声器的扬声器的标识。
例如，视频通讯为视频会议，可以将所有扬声器中距离用户的平均距离最近的预设数个扬声器作为目标扬声器。
扬声器开关指示信息可以包括需要开启的扬声器的标识和需要关闭的扬声器的标识。
例如，视频通讯为视频会议，可以将所有扬声器中距离用户的平均距离最近的预设数个扬声器作为需要开启的扬声器，将其他扬声器作为需要关闭的扬声器。
在本实施例的一些可选的实现方式中，目标扬声器设置指示信息包括：指示将所有扬声器中与至少一个用户的距离最近的扬声器设定为目标扬声器的指示信息；和/或主副麦克风设置指示信息包括：指示将所有麦克风中与当前发言的用户的距离最近的麦克风设置为主麦克风的指示信息；和/或麦克风的音量的调整量包括以下一项或多项：主麦克风的音量的调整量、副麦克风的音量的调整量；和/或麦克风开关指示信息包括：指示开启主麦克风并且关闭副麦克风的指示信息；和/或用于对采集的声音进行去噪处理的麦克风的标识包括：用于对主麦克风采集的声音进行去噪处理的副麦克风的标识；和/或扬声器的音量的调整量包括以下一项或多项：目标扬声器的音量的调整量、非目标扬声器的音量的调整量；和/或扬声器开关指示信息包括：指示开启目标扬声器并且关闭非目标扬声器的指示信息。
目标扬声器设置指示信息包括：指示将所有扬声器中与至少一个用户的距离最近的扬声器设定为目标扬声器的指示信息。
扬声器开关指示信息可以包括指示开启目标扬声器并且关闭非目标扬声器的指示信息。从而，可以根据目标扬声器设置指示信息和扬声器开关指示信息，仅开启目标扬声器。
扬声器的音量的调整量包括以下一项或多项：目标扬声器的音量的调整量、非目标扬声器的音量的调整量。可以根据目标扬声器与用户的距离和距离阈值的比较结果，确定目标扬声器的音量的调整量，非目标扬声器的音量的调整量可以均为减小量。
对于一个目标扬声器，可以分别根据与该目标扬声器的距离最近的每一个用户与该目标扬声器的距离和距离阈值的比较结果，确定出每一个用户对应的该目标扬声器的拟调整量，将所有拟调整量之和作为该目标扬声器的音量的调整量。当拟调整量为减少量时，在所有拟调整量求和时取负值。
本实施例中的扬声器可以为与视频通讯时用于采集或接收视频通讯数据的电子设备连接的电子设备中的扬声器。扬声器所在的电子设备可以与视频通讯时用于采集或接收视频通讯数据的电子设备通过有线连接方式或无线连接方式连接。扬声器所在的电子设备可以从视频通讯时用于采集或接收视频通讯数据的电子设备接收视频通讯时需要播放的声音的音频数据，利用扬声器将音频数据转换为声音后向用户进行播放。
例如，扬声器所在的电子设备为耳机，该耳机通过耳机线与视频通讯时用于采集或接收视频通讯数据的移动终端连接，该耳机可以从移动终端接收视频通讯时需要播放的声音的音频数据，利用扬声器将音频数据转换为声音后向用户进行播放。又例如，扬声器所在的电子设备为蓝牙耳机，该蓝牙耳机可以通过蓝牙连接视频通讯时用于采集或接收视频通讯数据的电子设备(例如移动终端或车载终端)，该蓝牙耳机可以从视频通讯时用于采集或接收视频通讯数据的电子设备接收视频通讯时需要播放的声音的音频数据，利用扬声器将音频数据转换为声音后向用户进行播放。麦克风设置指示信息包括：指示将所有麦克风中与当前发言的用户的距离最近的麦克风设置为主麦克风的指示信息。
麦克风的音量的调整量包括以下一项或多项：主麦克风的音量的调整量、副麦克风的音量的调整量。
例如，视频通讯为视频会议，麦克风开关指示信息包括指示开启主麦克风并且关闭副麦克风的指示信息，则麦克风的音量的调整量包括主麦克风的音量的调整量。又例如，视频通讯为视频会议，麦克风开关指示信息未包括指示开启主麦克风并且关闭副麦克风的指示信息，麦克风的音量的调整量包括主麦克风的音量的调整量、副麦克风的音量的调整量。
用于对采集的声音进行去噪处理的麦克风的标识包括：用于对主麦克风采集的声音进行去噪处理的副麦克风的标识。
例如，视频通讯为视频会议，可以利用副麦克风生成用于抵消主麦克风采集的声音中的噪声的声波，利用用于抵消主麦克风采集的声音中的噪声的声波对主麦克风采集的声音进行去噪处理。
当视频通讯中多个麦克风均开启时，对于每一个开启的麦克风，可以分别确定麦克风采集的声音中的噪声，分别生成用于抵消噪声的声波，利用用于抵消噪声的声波对每一个开启的麦克风进行去噪处理。
请参考图3，作为对上述各图所示方法的实现，本申请提供了一种音频设备控制装置的一个实施例，该装置实施例与图1所示的方法实施例相对应。
如图3所示，本实施例的音频设备控制装置包括：确定单元301、控制单元302。其中，确定单元301配置用于基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；控制单元302配置用于基于所述距离，控制音频设备。
在本实施例的一些可选的实现方式中，确定单元301包括距离确定子单元，配置用于基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离包括：基于视频通讯数据中的用户的脸部的特征，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的特征点对应的深度信息，确定用户与音频设备的距离；和/或基于视频通讯数据中的用户的脸部的位置和音频设备的位置，确定用户与音频设备的距离。
在本实施例的一些可选的实现方式中，音频设备包括以下至少任一项：麦克风、扬声器；和/或所述脸部的特征包括：脸部的大小、脸部的角度。
在本实施例的一些可选的实现方式中，控制单元302包括：参数确定子单元，配置用于基于用户与麦克风的距离，确定麦克风调整参数；和/或基于用户与扬声器的距离，确定扬声器调整参数；和/或基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量和/或向对端发送对端扬声器调整参数；和/或基于对端用户与对端的扬声器的距离，确定麦克风调整参数；和/或基于对端用户与对端的麦克风的距离，向对端发送对端麦克风调整参数。
在本实施例的一些可选的实现方式中，麦克风调整参数包括以下一项或多项：麦克风的音量的调整量、主副麦克风设置指示信息，用于对采集的声音进行去噪处理的麦克风的标识，麦克风开关指示信息，扬声器调整参数包括以下一项或多项：扬声器的音量的调整量、目标扬声器设置指示信息、扬声器开关指示信息。
在本实施例的一些可选的实现方式中，目标扬声器设置指示信息包括：指示将所有扬声器中与至少一个用户的距离最近的扬声器设定为目标扬声器的指示信息；和/或主副麦克风设置指示信息包括：指示将所有麦克风中与当前发言的用户的距离最近的麦克风设置为主麦克风的指示信息；和/或麦克风的音量的调整量包括以下一项或多项：主麦克风的音量的调整量、副麦克风的音量的调整量；和/或麦克风开关指示信息包括：指示开启主麦克风并且关闭副麦克风的指示信息；和/或用于对采集的声音进行去噪处理的麦克风的标识包括：用于对主麦克风采集的声音进行去噪处理的副麦克风的标识；和/或扬声器的音量的调整量包括以下一项或多项：目标扬声器的音量的调整量、非目标扬声器的音量的调整量；和/或扬声器开关指示信息包括：指示开启目标扬声器并且关闭非目标扬声器的指示信息。
图4示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
如图4所示，计算机系统包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有计算机系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：输入部分406；输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，本申请的实施例中描述的过程可以被实现为计算机程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包括用于执行流程图所示的方法的指令。该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。
本申请还提供了一种电子设备，该电子设备可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包含用以执行上述实施例中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述实施例中描述的操作。
本申请还提供了一种计算机可读介质，该计算机可读介质可以是电子设备中所包括的；也可以是单独存在，未装配入电子设备中。上述计算机可读介质承载有一个或者多个程序，当一个或者多个程序被电子设备执行时，使得电子设备：基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；基于所述距离，控制音频设备。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请的构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术。

Claims (9)

1.一种音频设备控制方法，所述方法包括：
基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；
基于所述距离，控制音频设备，其中，所述音频设备包括扬声器；
其中，基于所述距离，控制音频设备包括：
基于用户与扬声器的距离，确定扬声器调整参数，包括：对于每一个待调整音量的扬声器，基于距离扬声器最近的用户与该扬声器之间的距离，确定出该扬声器的音量的一个拟调整量以及基于距离扬声器最远的用户与该扬声器之间的距离，确定出该扬声器的音量的另一个拟调整量，将该一个拟调整量和该另一个拟调整量之间的一个音量的调整量作为扬声器的音量的调整量。
2.根据权利要求1所述的方法，基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离包括：
基于视频通讯数据中的用户的脸部的特征，确定用户与音频设备的距离；
和/或
基于视频通讯数据中的用户的脸部的特征点对应的深度信息，确定用户与音频设备的距离；
和/或
基于视频通讯数据中的用户的脸部的位置和音频设备的位置，确定用户与音频设备的距离。
3.根据权利要求2所述的方法，音频设备还包括麦克风；
和/或
所述脸部的特征包括：脸部的大小、脸部的角度。
4.根据权利要求3所述的方法，基于所述距离，控制音频设备包括：
基于用户与麦克风的距离，确定麦克风调整参数；
和/或
基于用户与麦克风的距离，调整发送到对端的麦克风采集到的声音的传送音量和/或向对端发送对端扬声器调整参数；
和/或
基于对端用户与对端的扬声器的距离，确定麦克风调整参数；
和/或
基于对端用户与对端的麦克风的距离，向对端发送对端麦克风调整参数。
5.根据权利要求4所述的方法，麦克风调整参数包括以下一项或多项：麦克风的音量的调整量、主副麦克风设置指示信息，用于对采集的声音进行去噪处理的麦克风的标识，麦克风开关指示信息，扬声器调整参数包括以下一项或多项：扬声器的音量的调整量、目标扬声器设置指示信息、扬声器开关指示信息。
6.根据权利要求5所述的方法，目标扬声器设置指示信息包括：指示将所有扬声器中与至少一个用户的距离最近的扬声器设定为目标扬声器的指示信息；
和/或
主副麦克风设置指示信息包括：指示将所有麦克风中与当前发言的用户的距离最近的麦克风设置为主麦克风的指示信息；
和/或
麦克风的音量的调整量包括以下一项或多项：主麦克风的音量的调整量、副麦克风的音量的调整量；
和/或
麦克风开关指示信息包括：指示开启主麦克风并且关闭副麦克风的指示信息；
和/或
用于对采集的声音进行去噪处理的麦克风的标识包括：用于对主麦克风采集的声音进行去噪处理的副麦克风的标识；
和/或
扬声器的音量的调整量包括以下一项或多项：目标扬声器的音量的调整量、非目标扬声器的音量的调整量；
和/或
扬声器开关指示信息包括：指示开启目标扬声器并且关闭非目标扬声器的指示信息。
7.一种音频设备控制装置，所述装置包括：
确定单元，配置用于基于视频通讯数据，确定进行视频通讯的用户与音频设备的距离；
控制单元，配置用于基于所述距离，控制音频设备，其中，所述音频设备包括扬声器；
其中，所述控制单元进一步配置用于：
基于用户与扬声器的距离，确定扬声器调整参数，包括：对于每一个待调整音量的扬声器，基于距离扬声器最近的用户与该扬声器之间的距离，确定出该扬声器的音量的一个拟调整量以及基于距离扬声器最远的用户与该扬声器之间的距离，确定出该扬声器的音量的另一个拟调整量，将该一个拟调整量和该另一个拟调整量之间的一个音量的调整量作为扬声器的音量的调整量。
8.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201811009931.2A 2018-08-31 2018-08-31 音频设备控制方法和装置 Active CN109144466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811009931.2A CN109144466B (zh) 2018-08-31 2018-08-31 音频设备控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811009931.2A CN109144466B (zh) 2018-08-31 2018-08-31 音频设备控制方法和装置

Publications (2)

Publication Number Publication Date
CN109144466A CN109144466A (zh) 2019-01-04
CN109144466B true CN109144466B (zh) 2022-03-22

Family

ID=64825853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811009931.2A Active CN109144466B (zh) 2018-08-31 2018-08-31 音频设备控制方法和装置

Country Status (1)

Country Link
CN (1) CN109144466B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012258A (zh) * 2019-03-29 2019-07-12 努比亚技术有限公司 最佳音视频感知点获取方法、系统、可穿戴设备及存储介质
CN110166920B (zh) * 2019-04-15 2021-11-09 广州视源电子科技股份有限公司 桌面会议扩音方法、系统、装置、设备以及存储介质
CN111107214A (zh) * 2019-12-09 2020-05-05 西安易朴通讯技术有限公司 音量调节方法和装置
CN111294706A (zh) * 2020-01-16 2020-06-16 珠海格力电器股份有限公司 一种语音电器控制方法、装置、存储介质及语音电器
CN111580780A (zh) * 2020-05-20 2020-08-25 Oppo广东移动通信有限公司 视频播放的声音控制方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774065A (zh) * 2004-11-09 2006-05-17 日本电气株式会社 视频电话
CN101808271A (zh) * 2010-02-01 2010-08-18 中兴通讯股份有限公司 一种可调节对端终端麦克音量的方法
CN102185954A (zh) * 2011-04-29 2011-09-14 信源通科技（深圳）有限公司 视频通话中音频调整方法及终端设备
WO2012128033A1 (ja) * 2011-03-23 2012-09-27 ブラザー工業株式会社 会議端末装置、会議端末制御方法、及び会議端末制御プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312600A (zh) * 2007-05-22 2008-11-26 鸿富锦精密工业（深圳）有限公司 音量调节装置以及音量自动调节方法
US20130094656A1 (en) * 2011-10-16 2013-04-18 Hei Tao Fung Intelligent Audio Volume Control for Robot
CN103576839B (zh) * 2012-07-24 2019-03-12 广州三星通信技术研究有限公司 基于面部识别来控制终端操作的设备和方法
KR20180097786A (ko) * 2013-03-05 2018-08-31 애플 인크. 하나 이상의 청취자들의 위치에 기초한 스피커 어레이의 빔 패턴의 조정
CN104935718B (zh) * 2015-06-11 2017-10-31 广东欧珀移动通信有限公司 一种控制方法及移动终端
CN106954126B (zh) * 2017-03-31 2020-01-10 深圳壹秘科技有限公司 一种音频信息处理方法及其会议终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1774065A (zh) * 2004-11-09 2006-05-17 日本电气株式会社 视频电话
CN101808271A (zh) * 2010-02-01 2010-08-18 中兴通讯股份有限公司 一种可调节对端终端麦克音量的方法
WO2012128033A1 (ja) * 2011-03-23 2012-09-27 ブラザー工業株式会社 会議端末装置、会議端末制御方法、及び会議端末制御プログラム
CN102185954A (zh) * 2011-04-29 2011-09-14 信源通科技（深圳）有限公司 视频通话中音频调整方法及终端设备

Also Published As

Publication number Publication date
CN109144466A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109144466B (zh) 音频设备控制方法和装置
CN108076226B (zh) 一种通话质量调整的方法、移动终端及存储介质
EP3852106A1 (en) Sound processing method, apparatus and device
CN110265052B (zh) 收音设备的信噪比确定方法、装置、存储介质及电子装置
CN109155135B (zh) 用于降噪的方法、装置和计算机程序
CN109862274A (zh) 带摄像功能的耳机、用于输出控制信号的方法和装置
CN111161176B (zh) 图像处理方法及装置、存储介质和电子设备
CN111402915A (zh) 信号处理方法、装置及系统
CN111445392A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN109307856A (zh) 一种机器人空间定位的交互方法及装置
CN114143700B (zh) 一种音频处理方法、装置、设备、介质及程序产品
CN111970609B (zh) 音质调节方法、音质调节系统及计算机可读存储介质
US12022019B2 (en) Method and electronic device for adjusting output level of speaker on basis of distance from external electronic device
US20190385589A1 (en) Speech Processing Device, Teleconferencing Device, Speech Processing System, and Speech Processing Method
CN107181845A (zh) 一种麦克风确定方法和终端
CN111063363B (zh) 一种语音获取方法、音频设备和具有存储功能的装置
CN105847566A (zh) 移动终端音频的音量调节方法及装置
CN111081233B (zh) 一种音频处理方法及电子设备
CN113411725B (zh) 音频播放方法、装置、移动终端及存储介质
KR102443637B1 (ko) 네트워크 연결 정보에 기반하여 잡음 제어 파라미터를 결정하는 전자 장치 및 그의 동작 방법
CN110517708B (zh) 一种音频处理方法、装置及计算机存储介质
KR102386773B1 (ko) 다수 개의 스피커 및 마이크를 이용하여 오디오 신호를 생성하는 방법 및 그 전자 장치
CN115410593A (zh) 音频信道的选择方法、装置、设备及存储介质
CN112883222B (zh) 歌曲的推荐播放方法、电子设备及计算机可读存储介质
CN113301294B (zh) 一种通话控制方法、装置及智能终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant