CN111260313A - 发言者的识别方法、会议纪要生成方法、装置及电子设备 - Google Patents

发言者的识别方法、会议纪要生成方法、装置及电子设备 Download PDF

Info

Publication number
CN111260313A
CN111260313A CN202010024202.5A CN202010024202A CN111260313A CN 111260313 A CN111260313 A CN 111260313A CN 202010024202 A CN202010024202 A CN 202010024202A CN 111260313 A CN111260313 A CN 111260313A
Authority
CN
China
Prior art keywords
sound source
speaker
conference room
position information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010024202.5A
Other languages
English (en)
Inventor
周端继
张祖良
罗灿锋
黄春华
韦国华
蒋春云
陆国煜
谷同魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202010024202.5A priority Critical patent/CN111260313A/zh
Publication of CN111260313A publication Critical patent/CN111260313A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/20—Position of source determined by a plurality of spaced direction-finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种发言者的识别方法、会议纪要生成方法、装置及电子设备。其中，发言者的识别方法包括：获取图像采集设备采集的进入目标会议室内的各个参会人员的人脸图像；基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息；通过声源定位设备获取所述目标会议室内的声源位置信息；根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。该方法无需通过中间装置，可以直接识别发言者，提高了发言者识别的准确度。

Description

发言者的识别方法、会议纪要生成方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种发言者的识别方法、会议纪要生成方法、装置及电子设备。
背景技术
现有技术中，智能会议室通常包括声纹识别和人脸识别两种技术，通过人脸识别技术，对参会者进行面部特征提取，与预设的数据库中的面部特征进行比对，来获取参会者的身份信息，以实现参会者的身份识别以及签到等等。其中，相关专利公开了一种基于人脸识别的会议管理方法，该方法通过对参会者的人脸识别进行会议签到，还通过面部比对，确定其是否为对应的参会者，以保证会议的安全。并将参会者的身份信息呈现在视频页面中参会者所在的分屏界面，使得用户能够及时获知每一参会者的身份信息。
上述技术方案中，当参会者的发言时，需要发言者按下音频采集装置的发言键才能够发言，且该会议系统是通过发言键是否按下确认发言者。但是，通过发言键是否按下所能够确认出的是音频采集装置当前处于工作状态，而音频采集装置所对应的发言者在会议过程中可能是变化的，这就可能导致该会议系统所确认出的发言者与实际发言者不符。
发明内容
有鉴于此，本发明提供一种发言者的识别方法、会议纪要生成方法、装置及电子设备，以解决现有技术中发言者识别不准确的问题。
第一方面，本实施例提供了一种发言者的识别方法，包括：
获取图像采集设备采集的进入目标会议室内的各个参会人员的人脸图像；
基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息；
通过声源定位设备获取所述目标会议室内的声源位置信息；
根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
本实施例提供的发言者的识别方法，通过获取图像采集设备采集的进入目标会议室内各个参会人员的人脸图像，并基于所述各个参会人员的人脸图像对参会人员进行跟踪，以确定参会人员在目标会议室内的初始位置信息；通过声源定位设备获取所述目标会议室内的声源位置信息；根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。其中，所述初始位置信息为后续的发言者识别提供了基础，能够保证识别的准确性，此外，通过声源位置信息以及各个参会人员的初始位置信息识别出发言者，避免了通过获取中间装置，如声音采集装置的位置来确定发言者导致的误识别现象，从而提高了发言者识别的准确性。
在一个优选实施例中，所述通过声源定位设备获取所述目标会议室内的声源位置信息的步骤，包括：
获取所述声源定位设备的定位结果；其中，所述定位结果为声源相对于所述声源定位设备的位置信息；
获取所述图像采集设备与所述声源定位设备的位置关系；
基于所述声源定位设备的定位结果以及所述图像采集设备与所述声源定位设备的位置关系，得到所述目标会议室内的声源位置信息。
本实施例提供的发言者的识别方法，将声源定位设备定位到声源相对于所述声源设备的位置信息，通过图像采集设备与所述声源定位设备的位置关系转化得到所述目标会议室内的声源位置信息，为后续发言者的识别提供了基础，此外，由于通常情况下，图像采集设备与声源定位设备的位置关系是固定的，因此只需将声源定位设备的定位结果经过简单数学计算便可得到在所述目标会议室内的声源位置信息。
在一个优选实施例中，所述根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者的步骤，包括：
提取与所述目标会议室内的声源位置信息对应的发言者的第一图像；
利用各个所述参会人员在所述目标会议室内的初始位置信息，提取与所述目会议室内的声源位置信息对应的参会者的第二图像；
判断所述第一图像与所述第二图像是否一致；
当所述第一图像与所述第二图像一致时，确认所述发言者的身份。
通过本实施例可以分别提取出声源位置信息对应的发言者的第一图像以及所述声源位置信息对应的参会者的第二图像，当所述第一图像与所述第二图像一致时，则确认所述发言者的身份，不仅能够进一步确认发言者识别的准确性，还能够确认出所述发言者的身份。
在一个优选实施例中，所述根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者的步骤，还包括：
当所述第一图像与所述第二图像不一致时，重新建立各个所述参会人员在所述目标会议室内的位置信息，以更新各个所述参会人员在所述目标会议室内的初始位置信息。
本实施例在上述第一图像与第二图像不一致的情况下，通过建立各个参会人员在目标会议室的位置信息，对各个参会人员在目标会议室内的初始位置信息进行更新，降低了误识别的可能性，提高了发言者识别的准确性。
在一个优选实施例中，所述发言者的识别方法还包括：
提取所述发言者的唇动特征；
基于所述唇动特征确定所述发言者的发言状态。
本实施例提供的发言者的识别方法，通过提取所述发言者的唇动特征来确认所述发言者的发言状态，避免了会议室的噪声干扰，可以有效验证所述发言者的识别准确度。
在一个优选实施例中，所述获取图像采集装置采集的进入所述目标会议室内的各个参会人员的人脸图像的步骤，包括：
获取进入所述目标会议室内的人员的人脸图像；
将获取到的所述人脸图像与提前储存的人脸图像库进行比对，以确定所述人脸图像对应的人员是否为所述参会人员；其中，所述提前储存的人脸图像库包括所有所述参会人员的人脸图像。
本实施例通过将进入目标会议室内的人员的人脸图像与人脸数据库进行比对，以确定所述人脸图像对应的人员为参会人员，减少了了发言者的误识别情况，从而提高了发言者识别的准确性。
第二方面，本实施例提供了一种会议纪要生成方法，包括：
根据第一方面或第一方面中任一项优选实施例所述的方法识别发言者；
获取所述发言者的音频信息，并对所述音频信息进行语音识别，以将所述音频信息转译成发言文本；
基于所述发言文本生成会议纪要。
本实施例提供的会议纪要生成方法，通过第一方面中任一项优选实施例所述的方法识别发言者；通过获取所述发言者的音频信息，并对所述音频信息进行语音识别，将所述音频信息转译成发言文本；基于所述发言文本生成会议纪要，该方法在准确识别出发言者后，将其音频信息转译成发言文本，再基于所述发言文本生成会议纪要，可以有效提高会议纪要生成的准确度。
在一个优选实施例中，所述基于所述发言文本生成会议纪要的步骤，包括：
在所述发言文本上加上与所述发言者对应的标识；
利用所述音频信息以及带标识的所述发言文本，按照预设会议纪要的格式生成所述会议纪要。
在发言文本上加上与所述发言者对应的标识，丰富了会议纪要的内容，便于用户使用；利用音频信息以及带标识的所述发言文本，按照预设会议纪要的格式生成所述会议纪要，有效提高了会议工作的效率。
第三方面，本实施例提供了一种发言者的识别装置，包括：
第一获取模块，用于获取图像采集设备采集的进入所述目标会议室内的各个参会人员的人脸图像；
第一确定模块，用于基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息；
第二获取模块，用于通过声源定位设备获取所述目标会议室内的声源位置信息；
识别模块，用于根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
本实施例提供的发言者的识别装置，通过获取图像采集设备采集的进入目标会议室内各个参会人员的人脸图像，并基于所述各个参会人员的人脸图像对参会人员进行跟踪，以确定参会人员在目标会议室内的初始位置信息；通过声源定位设备获取所述目标会议室内的声源位置信息；根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。其中，所述初始位置信息为后续的发言者识别提供了基础，能够保证识别的准确性，此外，通过声源位置信息以及各个参会人员的初始位置信息识别出发言者，避免了通过获取中间装置，如声音采集装置的位置来确定发言者导致的误识别现象，从而提高了发言者识别的准确性。
第四方面，本实施例提供了一种会议纪要生成装置，包括：
第三方面所述的发言者的识别装置，用于识别发言者；
第三获取模块，用于获取所述发言者的音频信息，并对所述音频信息进行语音识别，以将所述音频信息转译成发言文本；
生成模块，用于基于所述发言文本生成会议纪要。
本实施例提供的会议纪要生成装置，通过第四方面所述的发言者的识别装置识别发言者；通过获取所述发言者的音频信息，并对所述音频信息进行语音识别，将所述音频信息转译成发言文本；基于所述发言文本生成会议纪要，该方法在准确识别出发言者后，将其音频信息转译成发言文本，再基于所述发言文本生成会议纪要，可以有效提高会议纪要生成的准确度。
第五方面，本实施例提供了一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面中任一项优选实施例所述的方法识别发言者，或第二方面或第二方面任一项优选实施例所述的会议纪要生成方法。
第六方面，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或第一方面中任一项优选实施例所述的方法识别发言者，或第二方面或第二方面任一项优选实施例所述的会议纪要生成方法。
第七方面，本实施例提供了一种会议系统，包括：
第五方面所述的电子设备；
图像采集设备，与所述电子设备连接；其中，所述图像采集设备用于采集进入所述目标会议室内的各个参会人员的人脸图像，并将采集结果发送给所述电子设备；
声源定位设备，与所述图像采集设备以及所述电子设备连接，用于对所述目标会议室内进行声源定位。
本实施例提供的会议系统，具有上述的电子设备，从而可以执行上述的发言者的识别方法以及会议纪要生成方法；图像采集设备与所述电子设备连接，用于采集进入所述目标会议室内的各个参会人员的人脸图像，并将采集结果发送给所述电子设备；声源定位设备，与所述图像采集设备以及所述电子设备连接，用于对所述目标会议室内进行声源定位。该会议系统通过所述图像采集设备与所述电子设备对参会人员进行跟踪，确定各个参会人员的初始位置信息；所述声源定位设备与所述图像采集设备以及所述电子设备连接，通过声源定位结果和图像采集设备与声源定位设备的位置关系，确定出该声源定位结果对应的声源位置信息；通过所述声源位置信息以及初始位置信息，识别出发言者。该系统可以避免通过中间设备确定发言者导致的误识别现象，从而提升了发言者识别的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的发言者的识别方法的应用场景示意图；
图2是根据本申请实施例的发言者的识别方法流程图；
图3是根据本申请实施例的目标会议室内声源位置信息确认方法的流程图；
图4是根据本申请实施例的发言者的识别方法的完整流程图；
图5是根据本申请实施例的会议纪要生成方法流程图；
图6是根据本申请实施例的会议纪要生成方法的完整流程图；
图7是根据本申请实施例的发言者的识别装置的结构示意图；
图8是根据本申请实施例的第一获取模块41的结构示意图；
图9是根据本申请实施例的第二获取模块43的结构示意图；
图10是根据本申请实施例的识别模块44的结构示意图；
图11是根据本申请实施例的会议纪要生成装置的结构示意图；
图12是根据本申请实施例的生成模块53的结构示意图；
图13是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本实施例提供一种会议系统，包括：
电子设备；
图像采集设备，与所述电子设备连接；其中，所述图像采集设备用于采集进入所述目标会议室内的各个参会人员的人脸图像，并将采集结果发送给所述电子设备。
声源定位设备，与所述图像采集设备以及所述电子设备连接，用于对所述目标会议室内进行声源定位。
作为本实施例的一种可选应用场景，如图1所示，在目标会议室内布置有会议系统，该会议系统包括所述的电子设备，该电子设备除了与存储器、处理器连接以外，还可以与声源定位设备、图像采集设备连接。其中，关于存储器以及处理器的具体细节将在下文中进行详细描述。
声源定位设备用于确定所述声源的声源位置信息。
作为本实施例的一种可选实施方式，所述声源定位设备具有麦克风阵列，所述麦克风阵列同步采集声音信号，利用所述麦克风阵列中的多个麦克风之间的信号相位差，获得声源的发出位置，以此来确定所述声源的声源位置信息。
所述图像采集设备还包括有第一图像采集设备用于追踪并采集各个参会人员在目标会议室内的位置图像。
作为本实施例的一种可选实施方式，所述第一图像采集设备可以是一个全景相机，所述全景相机的视场角可以实现多方位的拍摄角度需求；所述第一图像采集设备实时拍摄所述目标会议室内的图像并发送给处理器，当有参会人员进入所述目标会议室时，所述处理器根据所述第一图像采集设备拍摄到的实时图像，锁定所述参会人员为捕获目标，通过实时监测所述捕获目标的运动路径，生成实时拍摄角度控制指令并发送给所述第一图像采集设备，所述第一图像采集设备响应所述实时拍摄角度指令，对所述各个参会人员的位置图像进行追踪。
进一步地，所述图像采集设备还包括有第二图像采集设备，用于确定上述的声源位置信息后，采集声源位置信息对应的发言者的人脸图像以及唇动特征。
作为本实施例的一种可选实施方式，所述第二图像采集设备可以是至少一个置于可旋转组件上的相机；所述可旋转组件用于接收处理器基于所述声源的声源位置信息发出的旋转控制指令，带动所述相机转动，其中，所述可旋转组件带动所述相机转动的旋转角度可以响应任意角度下的旋转指令。
具体地，所述第二图像采集设备将采集到的所述识别出的发言者的人脸图像以及唇动特征发送给处理器，处理器接收到所述识别出的发言者的人脸图像以及唇动特征后，将其与提前存储在所述存储器中的所述发言者的人脸图像进行比对，以确定所述发言者的身份；通过判断所述唇动特征，确定所述发言者处于发言状态。
在本实施例中提供了一种发言者的识别方法，可用于上述电子设备，图2是根据本发明实施例的发言者的识别方法流程图，如图2所示，该流程包括如下步骤：
S11，获取图像采集设备采集的进入目标会议室内的各个参会人员的人脸图像。
电子设备获取到的所述进入目标会议室内的各个参会人员的人脸图像，可以是提前通过所述第一图像采集设备采集并存储于电子设备中的进入所述目标会议室内的各个参会人员的人脸图像，也可以是电子设备从外界获取到的所述进入目标会议室内的各个参会人员的人脸图像。不论电子通过何种方式获取到所述进入所述目标会议室内的各个参会人员的人脸图像，只需保证所述电子设备能够获得所述目标会议室内的各个参会人员的人脸图像即可。
S12，基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息。
所述各个参会人员在所述目标会议室内的初始位置信息为所述各个参会人员在所述目标会议室内的初始位置坐标。图1所示的电子设备将根据各个参会人员的人脸图像锁定进入目标会议室内的参会人员为捕获目标；电子设备中的第一图像采集设备对所述各个参会人员在目标会议室内的路径进行追踪并将采集到的图像实时发送给处理器，所述处理器生成所述各个参会人员在目标会议室内的初始位置坐标。可选地，所述初始位置坐标还可以是提前预置的，所述各个参会人员根据所述提前预置的初始位置坐标进行入座；所述初始位置坐标与各个参会人员一一对应。
S13，通过声源定位设备获取所述目标会议室内的声源位置信息。
声源定位设备具有麦克风阵列，所述麦克风阵列同步采集声音信号，利用所述麦克风阵列中的多个麦克风之间的信号相位差，获得声源的发出位置。其中，所述声源的发出位置是声源与所述声源定位设备的相对位置；然后可通过所述目标会议室内的图像采集设备与所述声源定位设备的位置关系，将所述声源与所述声源定位设备的相对位置转化为所述声源在所述目标会议室内的声源位置信息。
S14，根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
电子设备将所述声源位置信息与所述各个参会人员在所述目标会议室内的初始位置信息进行比对，找出误差在预设范围内的所述声源位置信息对应的参会人员的初始位置信息，所述初始位置信息对应一个参会人员，所述初始位置信息对应的参会人员即为发言者。
本实施例提供的发言者的识别方法，通过获取第一图像采集设备采集的进入目标会议室内各个参会人员的人脸图像，并基于所述各个参会人员的人脸图像对参会人员进行跟踪，以确定参会人员在目标会议室内的初始位置信息；通过声源定位设备获取所述目标会议室内的声源位置信息；根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。其中，所述初始位置信息为后续的发言者识别提供了基础，能够保证识别的准确性，此外，通过声源位置信息以及各个参会人员的初始位置信息识别出发言者，避免了通过获取中间装置，如声音采集装置的位置来确定发言者导致的误识别现象，从而提高了发言者识别的准确性。
可选地，如图3所示，上述S13可包括：
S131，获取所述声源定位设备的定位结果。
其中，所述定位结果为声源相对于所述声源定位设备的位置信息；
声源定位设备具有麦克风阵列，所述麦克风阵列同步采集声音信号，利用所述麦克风阵列中的多个麦克风之间的信号相位差，获得声源的发出位置，即为所述声源定位设备的定位结果。其中，所述声源的发出位置是声源与所述声源定位设备的相对位置。
S132，获取所述图像采集设备与所述声源定位设备的位置关系。
可选地，所述图像采集设备可以是所述第一图像采集设备。
所述第一图像采集设备与所述声源定位设备的位置关系可以是固定且提前存储于电子设备中的，也可以是由所述第一图像采集设备采集所述目标会议室内的图像，其中，所述目标会议室内的图像中包含了所述声源定位设备；再根据所述目标会议室内的图像，生成所述声源定位设备在像素坐标系下的像素位置坐标；再通过计算，将所述像素坐标系转化为所述目标会议室的平面坐标系，在所述平面坐标系下，得到所述声源定位设备的位置信息。
具体地，所述第一图像采集设备将所述位置图像发送给处理器，处理器接收到所述位置图像后，生成所述位置图像的像素坐标系并通过计算将所述像素坐标系转换为所述目标会议室的坐标系，具体计算公式如下：
Figure BDA0002361405700000101
Figure BDA0002361405700000102
其中，[X′,Y′,Z′]为所述目标会议室的坐标系，[u，v，1]为所述像素坐标系，
Figure BDA0002361405700000111
为透视变换矩阵，x为所述目标会议室的横坐标，y为所述目标会议室的纵坐标。
选取所述目标会议室的坐标系下的4组不同的坐标为：(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)；选取所述像素坐标下的4组不同的坐标为：(u1，v1)，(u2，v2)，(u3，v3)，(u4，v4)；将以上八组坐标代入上述公式，可得：
Figure BDA0002361405700000112
由该公式可解出所述透视变换矩阵的参数，由此透视变换矩阵可将所述像素坐标系转换为所述目标会议室的平面坐标系，所述目标会议室的平面坐标系包括所述声源定位设备的位置信息。
S133，基于所述声源定位设备的定位结果以及所述图像采集设备与所述声源定位设备的位置关系，得到所述目标会议室内的声源位置信息。
根据上述的声源定位结果即声源与声源定位设备的相对位置，以及所述声源定位设备在所述目标会议室平面坐标系下的位置信息，便可确定所述声源在所述目标会议室内的声源位置信息。
本实施例提供的发言者的识别方法，将声源定位设备定位到声源相对于所述声源设备的位置信息，通过图像采集设备与所述声源定位设备的位置关系转化得到所述目标会议室内的声源位置信息，为后续发言者的识别提供了基础，此外，由于通常情况下，图像采集设备与声源定位设备的位置关系是固定的，因此只需将声源定位设备的定位结果经过简单数学计算便可得到在所述目标会议室内的声源位置信息。
图4是根据本实施例的发言者的识别方法的完整流程图，如图4所示，该方法包括：
S21，获取图像采集设备采集的进入目标会议室内的各个参会人员的人脸图像。
详细请参见图2所示的S11，在此不再赘述。
可选地，所述S21可包括：
S211，获取进入所述目标会议室内的人员的人脸图像。
电子设备所获取到的所述进入所述目标会议室内的人员的人脸图像可以是来自图1所示的电子设备中的第一图像采集设备或第二图像采集设备采集到的实时图像，也可以是存储于电子设备中的图像，亦或是电子设备通过其他方式从外界获取到的图像等等，不论电子设备通过何种方式获取到所述进入所述目标会议室内的人员的人脸图像，只需保证电子设备能够获取到该进入所述目标会议室内的人员的人脸图像即可。
S212，将获取到的所述人脸图像与提前储存的人脸图像库进行比对，以确定所述人脸图像对应的人员是否为所述参会人员。
其中，所述提前储存的人脸图像库包括所有所述参会人员的人脸图像。
所述人脸数据库为提前存储于电子设备中的，当电子设备获取到的所述人脸图像与人脸数据库当中的某一参会人员的人脸图像相似度超过阈值时，则可确定所述获取到的所述人脸图像对应的人员为参会人员；反之，则确定所述获取到的所述人脸图像对应的人员不是参会人员。
S22，基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息。
详细请参见图2所示的S12，在此不再赘述。
S23，通过声源定位设备获取所述目标会议室内的声源位置信息。
详细请参见图2所示的S13，在此不再赘述。
可选地，所述S23可包括：
S231，获取所述声源定位设备的定位结果。
详细请参见图3所示的S131，在此不再赘述。
S232，获取所述图像采集设备与所述声源定位设备的位置关系。
详细请参见图3所示的S132，在此不再赘述。
S233，基于所述声源定位设备的定位结果以及所述图像采集设备与所述声源定位设备的位置关系，得到所述目标会议室内的声源位置信息。
详细请参见图3所示的S133，在此不再赘述。
S24，根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
详细请参见图2所示的S14，在此不再赘述。
可选地，所述S24可包括：
S241，提取与所述目标会议室内的声源位置信息对应的发言者的第一图像。
所述声源位置信息对应的发言者的第一图像可通过图1所示的电子设备中的第二图像采集设备采集所述声源位置信息对应的发言者的人脸图像，也可通过图1所示的电子设备中的第一图像采集设备进行采集，只要电子设备能够提取到所述目标会议室内的声源位置信息对应的发言者的第一图像即可。
S242，利用各个所述参会人员在所述目标会议室内的初始位置信息，提取与所述目会议室内的声源位置信息对应的参会者的第二图像。
电子设备将所述声源位置信息与所述各个参会人员在所述目标会议室内的初始位置信息进行比对，找出误差在预设范围内的所述声源位置信息对应的参会人员的初始位置坐标，所述声源位置信息对应的参会人员的初始位置坐标对应一个参会人员的人脸图像，所述初始位置坐标对应一个参会人员的人脸图像则为所述声源位置信息对应的参会者的第二图像。
S243，判断所述第一图像与所述第二图像是否一致。
电子设备将所述第一图像与第二图像进行比对，当所述第一图像与第二图像的相似度超过阈值时，则确定所述第一图像与所述第二图像一致，反之则不一致。当所述第一图像与所述第二图像一致时，执行S244；当所述第一图像与所述第二图像不一致时，执行S245。
S244，确认所述发言者的身份。
所述发言者的身份可以是提前存储于电子设备中并且与各个参会人员的人脸图像以及在目标会议室内的初始位置信息相对应，当所述第一图像与所述第二图像一致时，则可以确定发言者的身份。
S245，重新建立各个所述参会人员在所述目标会议室内的位置信息，以更新各个所述参会人员在所述目标会议室内的初始位置信息。
当所述第一图像与所述第二图像不一致时，则通过图1所示的电子设备中的第一图像采集设备或第二图像采集设备重新建立各个参会人员在目标会议室内的位置信息，并以此对所述参会人员在所述目标会议室内的初始位置信息进行更新。
通过本实施例可以分别提取出声源位置信息对应的发言者的第一图像以及所述声源位置信息对应的参会者的第二图像，当所述第一图像与所述第二图像一致时，则确认所述发言者的身份，不仅能够进一步确认发言者识别的准确性，还能够确认出所述发言者的身份；当所述第一图像与第二图像不一致的情况下，通过建立各个参会人员在目标会议室的位置信息，对各个参会人员在目标会议室内的初始位置信息进行更新，降低了误识别的可能性，提高了发言者识别的准确性。
可选地，所述发言者的识别方法还可包括：
S25，提取所述发言者的唇动特征。
所述唇动特征为所述发言者的嘴唇状态，例如，嘴唇闭合、嘴唇张开、嘴唇有规律的闭合与张开；可选地，由上述第二图像采集设备对所述发言者的嘴唇状态进行提取。
S26，基于所述唇动特征确定所述发言者的发言状态。
当所述发言者的嘴唇状态为有规律的闭合与张开时，则电子设备可确定所述发言者处于发言状态。
通过提取所述发言者的唇动特征来确认所述发言者的发言状态，避免了会议室的噪声干扰，可以有效验证所述发言者的识别准确度。
图5是根据本实施例的会议纪要生成方法流程图，如图5所示，该方法包括：
S31，识别发言者。
具体地，可通过图2、图3、图4任一项所述的方法识别出发言者，在此不再赘述。
S32，获取所述发言者的音频信息，并对所述音频信息进行语音识别，以将所述音频信息转译成发言文本。
可通过语音识别系统对所述音频信息进行语音识别，并将所述音频转译为发言文本；其中，所述语音识别系统可包含于图1所示的会议系统中。
S33，基于所述发言文本生成会议纪要。
如图6所示，所述S33，可包括：
S331，在所述发言文本上加上与所述发言者对应的标识。
所述标识可包括所述发言者的姓名、职位、说话语气等，可以根据具体的会议需求进行设置。
S332，利用所述音频信息以及带标识的所述发言文本，按照预设会议纪要的格式生成所述会议纪要。
电子设备将所述音频信息以及所述带标识的所述发言文本按照预设的格式存储为会议纪要。
本实施例提供的会议纪要生成方法，通过图2、图3、图4任一项所述的方法识别发言者；通过获取所述发言者的音频信息，并对所述音频信息进行语音识别，将所述音频信息转译成发言文本；基于所述发言文本生成会议纪要，该方法在准确识别出发言者后，将其音频信息转译成发言文本，再基于所述发言文本生成会议纪要，可以有效提高会议纪要生成的准确度；在发言文本上加上与所述发言者对应的标识，丰富了会议纪要的内容，便于用户使用；利用音频信息以及带标识的所述发言文本，按照预设会议纪要的格式生成所述会议纪要，有效提高了会议工作的效率。
图7是根据本实施例的发言者的识别装置，如图7所示，该装置包括：
第一获取模块41，用于获取图像采集设备采集的进入所述目标会议室内的各个参会人员的人脸图像。
第一确定模块42，用于基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息。
第二获取模块43，用于通过声源定位设备获取所述目标会议室内的声源位置信息。
识别模块44，用于根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
本实施例提供的发言者的识别装置，通过获取图像采集设备采集的进入目标会议室内各个参会人员的人脸图像，并基于所述各个参会人员的人脸图像对参会人员进行跟踪，以确定参会人员在目标会议室内的初始位置信息；通过声源定位设备获取所述目标会议室内的声源位置信息；根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。其中，所述初始位置信息为后续的发言者识别提供了基础，能够保证识别的准确性，此外，通过声源位置信息以及各个参会人员的初始位置信息识别出发言者，避免了通过获取中间装置，如声音采集装置的位置来确定发言者导致的误识别现象，从而提高了发言者识别的准确性。
可选地，如图8所示，所述第一获取模块41可包括：
第一获取单元411，用于获取进入所述目标会议室内的人员的人脸图像。
第一确定单元412，用于将获取到的所述人脸图像与人脸图像库进行比对，以确定所述人脸图像对应的人员是否为所述参会人员；其中，所述人脸图像库包括所有所述参会人员的人脸图像。
可选地，如图9所示，所述第二获取模块43可包括：
第二获取单元431，用于获取所述声源定位设备的定位结果；其中，所述定位结果为声源相对于所述声源定位设备的位置信息。
第三获取单元432，用于获取所述图像采集设备与所述声源定位设备的位置关系。
声源位置信息确定单元433，用于基于所述声源定位设备的定位结果以及所述图像采集设备与所述声源定位设备的位置关系，得到所述目标会议室内的声源位置信息。
可选地，如图10所示，所述识别模块44可包括：
第一图像提取单元441，用于提取与所述目标会议室内的声源位置信息对应的发言者的第一图像。
第二图像提取单元442，用于利用各个所述参会人员在所述目标会议室内的初始位置信息，提取与所述目会议室内的声源位置信息对应的参会者的第二图像。
判断单元443，用于判断所述第一图像与所述第二图像是否一致。
身份确认单元444，用于当所述第一图像与所述第二图像一致时，确认所述发言者的身份。
更新单元445，用于当所述第一图像与所述第二图像不一致时，重新建立各个所述参会人员在所述目标会议室内的位置信息，以更新各个所述参会人员在所述目标会议室内的初始位置信息。
本实施例中的发言者的识别装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
图11是根据本实施例的会议纪要生成装置结构示意图，如图11所示，该装置包括：
图7－图10所述的发言者的识别装置51，用于识别发言者。
第三获取模块52，用于获取所述发言者的音频信息，并对所述音频信息进行语音识别，以将所述音频信息转译成发言文本。
生成模块53，用于基于所述发言文本生成会议纪要。
可选地，如图12所示，所述生成模块53可包括：
标识添加单元531，用于在所述发言文本上加上与所述发言者对应的标识。
格式生成单元532，用于利用所述音频信息以及带标识的所述发言文本，按照预设会议纪要的格式生成所述会议纪要。
本实施例中的会议纪要生成装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本实施例提供的会议纪要生成装置，通过图7－图10所示的发言者的识别装置识别发言者；通过获取所述发言者的音频信息，并对所述音频信息进行语音识别，将所述音频信息转译成发言文本；基于所述发言文本生成会议纪要，该方法在准确识别出发言者后，将其音频信息转译成发言文本，再基于所述发言文本生成会议纪要，可以有效提高会议纪要生成的准确度。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例提供了一种电子设备，具有图7－图10所示的发言者的识别装置或图11－图12所示的会议纪要生成装置。
请参阅图13，图13是根据本实施例的电子设备的结构示意图，如图13所示，该电子设备包括：至少一个处理器61，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random AccessMemory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non－volatilememory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图7－图10或图11－图12所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一实施例所述的发言者的识别方法或会议纪要生成方法的步骤。
其中，通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random－access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non－volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：harddisk drive，缩写：HDD)或固态硬盘(英文：solid－state drive，缩写：SSD)；存储器64还可以包括上述种类的存储器的组合。
其中，处理器61可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application－specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field－programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic，缩写：GAL)或其任意组合。
可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本申请图2－图4实施例中所示的发言者的识别方法或图5－图6实施例中所示的会议纪要生成方法。
在一个实施例中，还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的发言者的识别方法或会议纪要生成方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (13)

1.一种发言者的识别方法，其特征在于，包括：
获取图像采集设备采集的进入目标会议室内的各个参会人员的人脸图像；
基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息；
通过声源定位设备获取所述目标会议室内的声源位置信息；
根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
2.根据权利要求1所述的方法，其特征在于，所述通过声源定位设备获取所述目标会议室内的声源位置信息的步骤，包括：
获取所述声源定位设备的定位结果；其中，所述定位结果为声源相对于所述声源定位设备的位置信息；
获取所述图像采集设备与所述声源定位设备的位置关系；
基于所述声源定位设备的定位结果以及所述图像采集设备与所述声源定位设备的位置关系，得到所述目标会议室内的声源位置信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者的步骤，包括：
提取与所述目标会议室内的声源位置信息对应的发言者的第一图像；
利用各个所述参会人员在所述目标会议室内的初始位置信息，提取与所述目会议室内的声源位置信息对应的参会者的第二图像；
判断所述第一图像与所述第二图像是否一致；
当所述第一图像与所述第二图像一致时，确认所述发言者的身份。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述第一图像与所述第二图像不一致时，重新建立各个所述参会人员在所述目标会议室内的位置信息，以更新各个所述参会人员在所述目标会议室内的初始位置信息。
5.根据权利要求1所述的方法，其特征在于，还包括：
提取所述发言者的唇动特征；
基于所述唇动特征确定所述发言者的发言状态。
6.根据权利要求1所述的方法，其特征在于，所述获取图像采集装置采集的进入所述目标会议室内的各个参会人员的人脸图像的步骤，包括：
获取进入所述目标会议室内的人员的人脸图像；
将获取到的所述人脸图像与提前储存的人脸图像库进行比对，以确定所述人脸图像对应的人员是否为所述参会人员；其中，所述提前储存的人脸图像库包括所有所述参会人员的人脸图像。
7.一种会议纪要生成方法，其特征在于，包括：
根据权利要求1－6中任一项所述的方法识别发言者；
获取所述发言者的音频信息，并对所述音频信息进行语音识别，以将所述音频信息转译成发言文本；
基于所述发言文本生成会议纪要。
8.根据权利要求7所述的方法，其特征在于，所述基于所述发言文本生成会议纪要的步骤，包括：
在所述发言文本上加上与所述发言者对应的标识；
利用所述音频信息以及带标识的所述发言文本，按照预设会议纪要的格式生成所述会议纪要。
9.一种发言者的识别装置，其特征在于，包括：
第一获取模块，用于获取图像采集设备采集的进入所述目标会议室内的各个参会人员的人脸图像；
第一确定模块，用于基于各个所述参会人员的人脸图像对所述参会人员进行跟踪，以确定各个所述参会人员在所述目标会议室内的初始位置信息；
第二获取模块，用于通过声源定位设备获取所述目标会议室内的声源位置信息；
识别模块，用于根据所述目标会议室内的声源位置信息以及各个参会人员在所述目标会议室内的初始位置信息识别出发言者。
10.一种会议纪要生成装置，其特征在于，包括：
根据权利要求9所述的发言者的识别装置识别发言者；
第三获取模块，用于获取所述发言者的音频信息，并对所述音频信息进行语音识别，以将所述音频信息转译成发言文本；
生成模块，用于基于所述发言文本生成会议纪要。
11.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－6中任一项所述的发言者的识别方法，或权利要求7或8所述的会议纪要生成方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1－6中任一项所述的发言者的识别方法，或权利要求7或8所述的会议纪要生成方法。
13.一种会议系统，其特征在于，包括：
权利要求11中所述的电子设备；
图像采集设备，与所述电子设备连接；其中，所述图像采集设备用于采集进入所述目标会议室内的各个参会人员的人脸图像，并将采集结果发送给所述电子设备；
声源定位设备，与所述图像采集设备以及所述电子设备连接，用于对所述目标会议室内进行声源定位。
CN202010024202.5A 2020-01-09 2020-01-09 发言者的识别方法、会议纪要生成方法、装置及电子设备 Pending CN111260313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010024202.5A CN111260313A (zh) 2020-01-09 2020-01-09 发言者的识别方法、会议纪要生成方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010024202.5A CN111260313A (zh) 2020-01-09 2020-01-09 发言者的识别方法、会议纪要生成方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN111260313A true CN111260313A (zh) 2020-06-09

Family

ID=70946842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010024202.5A Pending CN111260313A (zh) 2020-01-09 2020-01-09 发言者的识别方法、会议纪要生成方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111260313A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833876A (zh) * 2020-07-14 2020-10-27 科大讯飞股份有限公司 会议发言控制方法、系统、电子设备及存储介质
CN112307196A (zh) * 2020-09-25 2021-02-02 浪潮金融信息技术有限公司 一种基于人脸识别与语音识别进行实时会议纪要的系统及方法
CN112396013A (zh) * 2020-11-25 2021-02-23 安徽鸿程光电有限公司 生物信息的响应方法、响应装置、摄像装置及介质
CN112543302A (zh) * 2020-12-03 2021-03-23 云知声智能科技股份有限公司 一种多人远程会议中智能降噪的方法和设备
CN112633219A (zh) * 2020-12-30 2021-04-09 深圳市皓丽智能科技有限公司 一种会议发言人追踪方法、装置、计算机设备及存储介质
CN113140223A (zh) * 2021-03-02 2021-07-20 广州朗国电子科技有限公司 一种会议语音数据处理方法、设备及存储介质
CN113849793A (zh) * 2020-06-28 2021-12-28 阿里巴巴集团控股有限公司 角色分离方法、会议纪要的记录方法、角色展示方法、装置、电子设备及计算机存储介质
CN114241570A (zh) * 2021-12-21 2022-03-25 睿魔智能科技（深圳）有限公司 一种基于视觉的定位拍摄方法及系统
CN114240342A (zh) * 2021-11-30 2022-03-25 珠海大横琴科技发展有限公司 一种会议控制的方法和装置
CN114387970A (zh) * 2020-10-21 2022-04-22 阿里巴巴集团控股有限公司 音频信号处理方法、装置及电子设备
CN114491144A (zh) * 2022-01-14 2022-05-13 维沃移动通信有限公司 会话记录输出方法和电子设备
CN115174818A (zh) * 2022-09-08 2022-10-11 深圳市维海德技术股份有限公司 基于声音定位的目标跟踪方法、电子设备及可读存储介质
CN115988164A (zh) * 2022-12-03 2023-04-18 北京视通科技有限公司 一种会议室多媒体控制方法、系统及计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074532A (ja) * 2005-09-08 2007-03-22 Canon Inc 会議システム、会議方法、会議プログラムおよび記憶手段
CN101715102A (zh) * 2008-10-02 2010-05-26 宝利通公司 在点对点和多点音频/视频会议期间显示动态呼叫者身份
CN103841357A (zh) * 2012-11-21 2014-06-04 中兴通讯股份有限公司 基于视频跟踪的麦克风阵列声源定位方法、装置及系统
CN107210045A (zh) * 2015-02-03 2017-09-26 杜比实验室特许公司 会议搜索以及搜索结果的回放
CN209232405U (zh) * 2018-11-01 2019-08-09 信利光电股份有限公司 一种会议记录装置
CN110300279A (zh) * 2019-06-26 2019-10-01 视联动力信息技术股份有限公司 一种会议发言人的追踪方法及装置
CN110333837A (zh) * 2019-07-09 2019-10-15 京东方科技集团股份有限公司 会议系统、通信方法和装置
CN110632582A (zh) * 2019-09-25 2019-12-31 苏州科达科技股份有限公司 声源定位方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007074532A (ja) * 2005-09-08 2007-03-22 Canon Inc 会議システム、会議方法、会議プログラムおよび記憶手段
CN101715102A (zh) * 2008-10-02 2010-05-26 宝利通公司 在点对点和多点音频/视频会议期间显示动态呼叫者身份
CN103841357A (zh) * 2012-11-21 2014-06-04 中兴通讯股份有限公司 基于视频跟踪的麦克风阵列声源定位方法、装置及系统
CN107210045A (zh) * 2015-02-03 2017-09-26 杜比实验室特许公司 会议搜索以及搜索结果的回放
US20180027123A1 (en) * 2015-02-03 2018-01-25 Dolby Laboratories Licensing Corporation Conference searching and playback of search results
CN209232405U (zh) * 2018-11-01 2019-08-09 信利光电股份有限公司 一种会议记录装置
CN110300279A (zh) * 2019-06-26 2019-10-01 视联动力信息技术股份有限公司 一种会议发言人的追踪方法及装置
CN110333837A (zh) * 2019-07-09 2019-10-15 京东方科技集团股份有限公司 会议系统、通信方法和装置
CN110632582A (zh) * 2019-09-25 2019-12-31 苏州科达科技股份有限公司 声源定位方法、装置及存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849793A (zh) * 2020-06-28 2021-12-28 阿里巴巴集团控股有限公司 角色分离方法、会议纪要的记录方法、角色展示方法、装置、电子设备及计算机存储介质
WO2022001801A1 (zh) * 2020-06-28 2022-01-06 阿里巴巴集团控股有限公司 角色分离方法、会议纪要的记录方法、角色展示方法、装置、电子设备及计算机存储介质
CN111833876A (zh) * 2020-07-14 2020-10-27 科大讯飞股份有限公司 会议发言控制方法、系统、电子设备及存储介质
CN112307196A (zh) * 2020-09-25 2021-02-02 浪潮金融信息技术有限公司 一种基于人脸识别与语音识别进行实时会议纪要的系统及方法
CN114387970A (zh) * 2020-10-21 2022-04-22 阿里巴巴集团控股有限公司 音频信号处理方法、装置及电子设备
CN112396013A (zh) * 2020-11-25 2021-02-23 安徽鸿程光电有限公司 生物信息的响应方法、响应装置、摄像装置及介质
CN112543302B (zh) * 2020-12-03 2023-01-31 云知声智能科技股份有限公司 一种多人远程会议中智能降噪的方法和设备
CN112543302A (zh) * 2020-12-03 2021-03-23 云知声智能科技股份有限公司 一种多人远程会议中智能降噪的方法和设备
CN112633219A (zh) * 2020-12-30 2021-04-09 深圳市皓丽智能科技有限公司 一种会议发言人追踪方法、装置、计算机设备及存储介质
CN113140223A (zh) * 2021-03-02 2021-07-20 广州朗国电子科技有限公司 一种会议语音数据处理方法、设备及存储介质
CN114240342A (zh) * 2021-11-30 2022-03-25 珠海大横琴科技发展有限公司 一种会议控制的方法和装置
CN114241570A (zh) * 2021-12-21 2022-03-25 睿魔智能科技（深圳）有限公司 一种基于视觉的定位拍摄方法及系统
CN114491144A (zh) * 2022-01-14 2022-05-13 维沃移动通信有限公司 会话记录输出方法和电子设备
CN115174818A (zh) * 2022-09-08 2022-10-11 深圳市维海德技术股份有限公司 基于声音定位的目标跟踪方法、电子设备及可读存储介质
CN115174818B (zh) * 2022-09-08 2023-02-03 深圳市维海德技术股份有限公司 基于声音定位的目标跟踪方法、电子设备及可读存储介质
CN115988164A (zh) * 2022-12-03 2023-04-18 北京视通科技有限公司 一种会议室多媒体控制方法、系统及计算机设备

Similar Documents

Publication Publication Date Title
CN111260313A (zh) 发言者的识别方法、会议纪要生成方法、装置及电子设备
CN108933915B (zh) 视频会议装置与视频会议管理方法
CN112088402B (zh) 用于说话者识别的联合神经网络
KR102196686B1 (ko) 신원 인증 방법 및 장치
WO2020119032A1 (zh) 基于生物特征的声源追踪方法、装置、设备及存储介质
CN111833899B (zh) 一种基于多音区的语音检测方法、相关装置及存储介质
CN106657865A (zh) 会议纪要的生成方法、装置及视频会议系统
CN112037791A (zh) 会议纪要转录方法、设备和存储介质
CN110196914B (zh) 一种将人脸信息录入数据库的方法和装置
CN112148922A (zh) 会议记录方法、装置、数据处理设备及可读存储介质
CN110941992B (zh) 微笑表情检测方法、装置、计算机设备及存储介质
KR20200129934A (ko) 오디오-비주얼 데이터에 기반한 화자 분리 방법 및 장치
WO2021120190A1 (zh) 数据处理方法、装置、电子设备和存储介质
CN210469530U (zh) 发言人员音频及影像追踪系统
CN110188179B (zh) 语音定向识别交互方法、装置、设备及介质
CN113486690A (zh) 一种用户身份识别方法、电子设备及介质
CN112801608A (zh) 基于大数据和云计算的远程视频会议智能管理系统及云会议管理平台
CN111341350A (zh) 人机交互控制方法、系统、智能机器人及存储介质
CN110705356A (zh) 功能控制方法及相关设备
CN112507829A (zh) 一种多人视频手语翻译方法及系统
CN114245065B (zh) 用于会议系统的定位跟踪方法、系统及电子设备
US11881224B2 (en) Multilingual speech recognition and translation method and related system for a conference which determines quantity of attendees according to their distances from their microphones
CN113611308A (zh) 一种语音识别方法、装置、系统、服务器及存储介质
CN117854507A (zh) 语音识别方法、装置、电子设备及存储介质
JP7400364B2 (ja) 音声認識システム及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200609

RJ01 Rejection of invention patent application after publication