CN111866421A - 会议记录系统与会议记录方法 - Google Patents

会议记录系统与会议记录方法 Download PDF

Info

Publication number
CN111866421A
CN111866421A CN202010348189.9A CN202010348189A CN111866421A CN 111866421 A CN111866421 A CN 111866421A CN 202010348189 A CN202010348189 A CN 202010348189A CN 111866421 A CN111866421 A CN 111866421A
Authority
CN
China
Prior art keywords
conference
recording
image
voice
speaking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010348189.9A
Other languages
English (en)
Other versions
CN111866421B (zh
Inventor
陈筱涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN111866421A publication Critical patent/CN111866421A/zh
Application granted granted Critical
Publication of CN111866421B publication Critical patent/CN111866421B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Otolaryngology (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种会议记录系统与会议记录方法，所述会议记录方法包含以下步骤：(A)使影像捕获设备对会议现场进行影像撷取以得到会议影像；步骤(B)使记录处理装置将多位会议人士的身份数据分别与多个发言指示装置对应连结；(C)使记录处理装置于分析所述会议影像中出现特征姿态时，控制收音装置朝所述特征姿态出现方位进行指向性收音以得到发言语音；及(D)使所述记录处理装置存储所述发言语音。通过所述记录处理装置会分析所述会议影像，以针对做出默认的特征姿态的会议人士进行身份识别，并进行指向性收音的设计，可在会议过程中，自动化记录每一位会议人士的发言内容，是一种相当创新且方便实用的会议记录系统与会议记录方法。

Description

会议记录系统与会议记录方法
技术领域
本发明涉及一种记录系统，特别是涉及一种用于记录影像与语音的会议记录系统与会议记录方法。
背景技术
目前在进行会议内容记录时，通常是由一位会议记录者以计算机打字方式，随时记录每一位发言者的发言内容，所以在会议过程中，这位会议记录者必须随时留意是哪一位人士发言，以及注意聆听并记录每一位发言者的发言内容。这种现有会议记录方式非常费工且不便，且容易因为来不及记录而有所遗漏。另一种会议记录方式，是会先通过录音方式建立语音文件，并于会后通过重新播放聆听该语音文件内容的方式，且将该语音文件内容缮打成文字，或者是通过语音转文字软件将语音内容转换成文字，但是这种于会议后另外将语音文件处理成文本文件的方式依然相当费时。此外，因为在会议室进行会议录音时，通常是采用全向性录音，所以该语音文件记录的内容会相当繁杂，且一旦有多人同时讲话时，很难从中取得主要发言者的发言内容。
发明内容
本发明的目的在于提供一种能改善背景技术的至少一个缺点的会议记录系统。
本发明会议记录系统，适用于对多位会议人士进行会议记录。所述会议记录系统包含能用于对所述会议人士进行影像撷取以得到会议影像的影像捕获设备、能被控制启动以进行收音的收音装置、信号连接所述影像捕获设备与所述收音装置且内建有特征姿态参数的记录处理装置，及多个信号连接所述记录处理装置且能被驱动发光的发言指示装置。所述记录处理装置包括影像分析单元、收音控制单元、记录单元，及发言指示配对单元。所述影像分析单元包括姿态分析模块、发言者影像撷取模块，及内建有所述会议人士的身份数据与对应的生理特征参数的身份识别模块，所述姿态分析模块能于根据所述特征姿态参数分析识别出所述会议影像出现对应的特征姿态时，分析得到所述特征姿态出现处的方位数据，所述发言者影像撷取模块能自所述会议影像中撷取得到做出所述特征姿态的会议人士的发言者影像，所述身份识别模块能根据所述生理特征参数分析所述发言者影像以识别出对应的身份数据，所述发言指示配对单元能供操作以将每一发言指示装置与其中一个身份数据配对连结，所述收音控制单元会控制所述收音装置朝所述方位数据对应的方向进行指向性收音以得到发言语音，且会根据所述身份识别模块识别出的所述身份数据，控制对应的发言指示装置发光，所述记录单元会绑定并存储所述身份数据与所述发言语音，并标记所述发言语音的发言时间。
本发明所述的会议记录系统，所述记录单元包括语音转译模块与记录模块，所述语音转译模块能分析所述发言语音内容以得到对应的发言文字数据，所述记录模块会绑定并存储所述发言语音与所述发言文字数据。
本发明所述的会议记录系统，影像分析单元还包括唇形分析模块，所述唇形分析模块能分析所述发言者影像的嘴唇的开合变化，且会于判断所述发言者影像的嘴唇无开合变化且超过预定时间时，发出停止发言信号，所述收音控制单元会被所述停止发言信号触发，而控制所述收音装置停止对所述发言者影像的方向的收音。
本发明所述的会议记录系统，每一发言指示装置具有会于被所述收音控制单元驱动发光时被致能的停止发言键，所述发言指示装置能于被致能的所述停止发言键被操作时发出停止发言信号，所述收音控制单元会被所述停止发言信号触发，而控制所述收音装置停止对所述发言者影像的方向的收音。
本发明所述的会议记录系统，还包含影像显示设备，所述记录处理装置是信号连接所述影像显示设备，所述收音控制单元于控制所述收音装置朝所述方位数据对应的方向进行收音时，会控制所述影像显示设备同步显示所述发言者影像。
本发明所述的会议记录系统，所述收音控制单元内建有能被切换启动的姿态收音记录模式与自由收音记录模式，所述收音控制单元于启动所述姿态收音记录模式时，会触发启动所述影像分析单元分析所述会议影像以得到所述方位数据，并根据所述方位数据控制所述收音装置朝所述发言者影像的方向进行指向性收音，所述收音控制单元于启动所述自由收音记录模式时，会控制所述收音装置全向性收音以得到会议语音，且会驱使所述记录单元绑定并存储所述会议影像与所述会议语音。
本发明的另一目的在于提供一种能改善背景技术的至少一个缺点的会议记录方法。
本发明会议记录方法，包含以下步骤：(A)使影像捕获设备对会议现场进行影像撷取以得到会议影像；(B)使记录处理装置将多位会议人士的身份数据分别与多个发言指示装置对应连结；(C)使所述记录处理装置于分析所述会议影像中出现特征姿态时，自所述会议影像中撷取得到做出所述特征姿态的会议人士的发言者影像，并分析所述发言者影像的生理特征参数以识别出对应的身份数据，且控制收音装置朝所述特征姿态出现方位进行指向性收音以得到发言语音，并同步根据识别出的所述身份数据驱使对应的发言指示装置发光；以及(D)使所述记录处理装置绑定并存储所述身份数据与所述发言语音，并标记所述发言语音的记录时间。
本发明所述的会议记录方法，所述步骤(C)还驱使所述记录处理装置分析所述发言语音内容以得到发言文字数据，所述步骤(D)还使所述记录处理装置绑定并存储所述发言语音与所述发言文字数据。
本发明所述的会议记录方法，所述步骤(C)还会使所述记录处理装置于被驱动发光的所述发言指示装置的停止发言键被操作时被触发，而控制所述收音装置停止对所述发言者影像映射的方位的收音。
本发明所述的会议记录方法，所述步骤(C)还会使所述记录处理装置分析所述发言者影像的嘴唇部位的开合变化，且在判断所述发言者影像的嘴唇部位于预定时间内无开合变化时，控制所述收音装置停止对所述发言者影像映射的方位的收音。
本发明所述的会议记录方法，所述步骤(C)会使所述记录处理装置于对所述发言者影像方位进行收音时，同步驱使影像显示设备显示出所述发言者影像。
本发明所述的会议记录方法，所述步骤(C)是使所述记录处理装置于启动姿态记录模式时，分析所述会议影像中的所述特征姿态，并控制所述收音装置朝所述特征姿态出现方位进行指向性收音以得到所述发言语音，且使所述记录处理装置于启动自由收音记录模式时，控制所述收音装置进行全向性收音以得到会议语音，且使所述记录处理装置绑定并存储所述会议影像与所述会议语音。
本发明的功效在于：通过该记录处理装置会分析该会议影像，以针对做出默认的特征姿态的会议人士进行指向性收音的设计，可在会议过程中，自动化记录每一位会议人士的发言内容，是一种相当创新且方便实用的会议记录系统与会议记录方法。
附图说明
本发明的其他的特征及功效，将于参照图式的实施方式中清楚地呈现，其中：
图1是本发明会议记录系统的一个实施例架设在一个会议室使用时的架构示意图；
图2是该实施例的不完整的立体图；
图3该实施例的功能方块图；及
图4是本发明会议记录方法的步骤流程图。
具体实施方式
在本发明被详细描述前，应当注意在以下的说明内容中，类似的组件是以相同的编号来表示。
参阅图1、2、3，本发明会议记录系统200的实施例，适用于进行多人会议的会议记录，可供用于架设在一个会议室900使用，或者是直接设置在多位会议人士围绕构成的会议区域的中间位置使用，但是实施时的设置方式不以此为限。
该会议记录系统200包含一个影像捕获设备3、多个发言指示装置4、一个收音装置5、一个影像显示设备6，及一个记录处理装置7。
该影像捕获设备3可被控制启动，而对会议现场的全数会议人士进行影像撷取以得到一个会议影像。实施时，该影像捕获设备3进行取像的水平视野范围可以是70度、100度、180度或360度等，且不以上述水平视野范围为限。
该收音装置5具有多个间隔设置且可被控制启动以进行收音的麦克风51。在本实施例中，该收音装置5的所述麦克风51是采用阵列式排列方式整合设置在该影像捕获设备3，可被控制启动特定位置与特定数量的麦克风51，以相配合通过波束成型(Beamforming)技术朝特定方向进行指向性收音，或者是被控制启动特定麦克风51以进行全向性收音。
该影像显示设备6可被控制启动以进行影像显示，在本实施例中，该影像显示设备6为通过投影方式显示影像的投影机。但是实施时，在本发明的其它实施态样中，该影像显示设备6也可以是一般液晶显示器。
由于该影像捕获设备3、该收音装置5与该影像显示设备6的类型众多，因此不再详述。
所述发言指示装置4是分别对应所述会议人士，例如分别设置在所述会议人士的座位901的桌面902上，或者是分别发配给所述会议人士配戴或持用。每一发言指示装置4可被该记录处理装置7控制启动而发光，以进行当前发言者的标示，可借此让周围其它会议人士知道当前被驱动发光的该发言指示装置4对应的会议人士要进行发言。
该记录处理装置7是通过有线通信技术及/或无线通信技术信号连接该影像捕获设备3、该收音装置5、该影像显示设备6与所述发言指示装置4，且内建有所述会议人士的身份数据与生理特征参数，以及对应一预定的特征姿态的特征姿态参数。所述无线通信技术例如但是不限于蓝牙、WiFi等。所述身份数据例如但是不限于姓名与职称等，所述生理特征参数例如但是不限于脸部与肢体的特征参数等，所述特征姿态例如但是不限于举手、挥手或者是起立等肢体动作。
该记录处理装置7包括一个发言指示配对单元71、一个影像分析单元72、一个收音控制单元73与一个记录单元74。
该发言指示配对单元71可供操作以将每一会议人士的该身份数据与对应的该发言指示装置4配对连结，也就是使所述发言指示装置4分别对应所述会议人士。
该影像分析单元72可被控制启动而对该会议影像进行影像分析，包括一个姿态分析模块721、一个发言者影像撷取模块722、一个身份识别模块723与一个唇形分析模块724。
该姿态分析模块721会根据该特征姿态参数分析该会议影像中是否出现该特征姿态，且会分析该特征姿态出现位置以得到一个方位数据。该发言者影像撷取模块722会自该会议影像中撷取出做出该特征姿态的会议人士的影像部位，而得到一个发言者影像。该身份识别模块723会分析该发言者影像所存在的生理特征参数以识别出对应的身份数据。该唇形分析模块724会分析该发言者影像的嘴唇部位的开合变化，且会于判断该发言者影像的嘴唇超过一个预定时间都无开合变化时，例如超过3秒，产生一个停止发言信号。
该收音控制单元73内建有可切换启动的一个姿态收音记录模式731与一个自由收音记录模式732。该收音控制单元73会于启动该姿态收音记录模式731时，控制启动该影像分析单元72开始对该会议影像进行影像分析，且会根据该方位数据控制启动该收音装置5的特定位置与数量的麦克风51，使被启动的所述麦克风51相配合通过波束成型技术朝该方位数据对应的方向进行指向性收音，以得到该发言语音。于此同时，该收音控制单元73还会驱使该影像显示设备6同步显示出该发言者影像，并控制该发言者影像的该身份数据对应的该发言指示装置4发光，用于让其它会议人士知道当前发言者是谁。此外，该收音控制单元73会被该停止发言信号触发，而控制该收音装置5停止对该发言者影像映射的方向的收音。
该收音控制单元73于被切换启动该自由收音记录模式732时，会控制该收音装置5的其中一个麦克风51进行全向性收音以得到一个会议语音。
该记录单元74包括一个语音转译模块741与一个记录模块742。该语音转译模块741会于该收音控制单元73切换启动该姿态收音记录模式731时，通过语音识别技术，将每一发言语音转换成一个发言文字数据。
在启动该自由收音记录模式732下，该记录模块742会将该会议影像与会议语音关联绑定并存储，在启动该姿态收音记录模式731时，该记录模块742会将该发言语音、该发言文字数据、对应的发言者的身份数据与发言者影像关联绑定并存储。
本发明会议记录系统200用于进行会议记录时的会议记录方法包含以下步骤：
步骤801：配置发言指示装置4。可根据所述发言指示装置4的外型设计，选择设置在所述会议人士的座位901的桌面902上，或者是供配戴在所述会议人士身上，且使所述发言指示装置4与该记录处理装置7信号连接，然后操作该记录处理装置7，将所述发言指示装置4分别与所述会议人士的身份数据一对一对应连结。
步骤802：设定收音记录模式。会议主席或者是其他负责进行会议记录管控的人士，可根据会议现场的需求，操作该记录处理装置7以切换启动该姿态收音记录模式731或该自由收音记录模式732。
步骤803：对会议现场进行影像撷取。在开始进行会议后，便可控制启动该记录处理装置7，用于控制启动该影像捕获设备3开始进行影像撷取以得到该会议影像。
步骤804：对会议现场进行收音记录。在启动该自由收音记录模式732情况下，该记录处理装置7会控制启动该收音装置5的一个麦克风51进行全向性收音以得到一个会议语音。
在启动该姿态收音记录模式731时，该记录处理装置7会开始分析该会议影像中是否出现默认的特征姿态，例如举手，当发现该会议影像出现该特征姿态时，该记录处理装置7会进一步自该会议影像中撷取得到做出该特征姿态的该会议人士的一个发言者影像，且会分析该发言者影像所存在的生理特征以识别出对应的身份数据，并根据该身份数据控制对应的发言指示装置4发光，同时驱使该影像显示设备6显示出该发言者影像，用于让与会人士知道当前是谁在发言。
于此同时，该记录处理装置7会立刻分析取得做出该特征姿态的该会议人士的方位数据，并根据该方位数据控制启动特定位置与特定数量的麦克风51，使所述麦克风51相配合通过波束成型技术，对该方位数据的方向进行指向性收音，也就是开始对做出该特征姿态的会议人士方向进行指向性收音。
此外，该记录处理装置7会同时分析该发言者影像的嘴唇的开合变化，会于该发言者影像的嘴唇在超过一预定时间无开合变化时，控制该收音装置5结束收音，用于得到一个对应该发言者的发言语音，并标记该发言语音的记录时间，且会将该发言语音转换成一个发言文字数据。该记录处理装置7会同时控制对应的发言指示装置4停止发光，以及控制该影像显示设备6停止显示该发言者影像，而切换显示该会议影像或者是停止显示影像。
在本实施例中，当有多人做出该特征姿态时，该记录处理装置7会根据所述特征姿态的出现时间，针对最早做出该特征姿态的该会议人士进行指向性收音，以及控制对应的发言指示装置4发光。但是实施时，不以此为限。
步骤805：记录会议数据。当该记录处理装置7启动该自由收音记录模式732时，会将该会议影像与该会议语音关联绑定以建立一个会议数据，并存储该会议数据。当该记录处理装置7是启动该姿态收音记录模式731时，该记录处理装置7会于完成一位会议人士的该发言语音的记录后，将该会议人士的该身份数据、对应的该发言者影像、该发言语音、该发言文字数据与该记录时间关联绑定以建立一个发言数据，并存储该发言数据。
在启动该姿态录音记录模式情况下，该记录处理装置7在结束当前发言的该会议人士的发言记录后，会返回执行前述步骤804，并于判断又有人做出该特征姿态时，接续执行步骤805。然后依时间先后顺序记录整个会议过程中的所有会议人士的发言数据，用于得到一个会议数据，并存储该会议数据。
在本实施例中，该记录处理装置7是通过分析该发言者影像的嘴唇开合变化，来判断是否控制该收音装置5停止收音，但是实施时，可不需通过分析嘴唇开合变化来控制是否停止收音，在本发明的另一实施态样中，可于每一发言指示装置4设置一个停止发言键(图未示)，该发言指示装置4会于被驱动发光时驱使该停止发言键致能，该发言指示装置4会于被致能的该停止发言键被操作时发出一个停止发言信号，该记录处理装置7会被该停止发言信号触发，而停止对当前发言的该会议人士方向的收音。
综上所述，通过该记录处理装置7会分析该会议影像，以针对做出默认的特征姿态的会议人士进行身份识别，并进行指向性收音的设计，可在会议过程中，自动化记录每一位会议人士的发言内容，且可进一步通过将发言语音转换成发言文字数据的设计，将会议发言内容文字化，以利所有与会人士观看审阅，是一种相当创新且方便实用的会议记录系统200与会议记录方法。因此，确实能达成本发明的目的。
惟以上所述者，只为本发明的实施例而已，当不能以此限定本发明实施的范围，凡是依本发明权利要求书及说明书内容所作的简单的等效变化与修饰，都仍属本发明涵盖的范围内。

Claims (12)

1.一种会议记录系统，适用于对多位会议人士进行会议记录，所述会议记录系统包含能用于对所述会议人士进行影像撷取以得到会议影像的影像捕获设备，及能被控制启动以进行收音的收音装置，其特征在于：所述会议记录系统还包含信号连接所述影像捕获设备与所述收音装置的记录处理装置，及多个信号连接所述记录处理装置且能被驱动发光的发言指示装置；所述记录处理装置内建有特征姿态参数，并包括影像分析单元、收音控制单元、记录单元，及发言指示配对单元，所述影像分析单元包括姿态分析模块、发言者影像撷取模块，及内建有所述会议人士的身份数据与对应的生理特征参数的身份识别模块，所述姿态分析模块能于根据所述特征姿态参数分析识别出所述会议影像出现对应的特征姿态时，分析得到所述特征姿态出现处的方位数据，所述发言者影像撷取模块能自所述会议影像中撷取得到做出所述特征姿态的会议人士的发言者影像，所述身份识别模块能根据所述生理特征参数分析所述发言者影像以识别出对应的身份数据，所述发言指示配对单元能供操作以将每一发言指示装置与其中一个身份数据配对连结，所述收音控制单元会控制所述收音装置朝所述方位数据对应的方向进行指向性收音以得到发言语音，且会根据所述身份识别模块识别出的所述身份数据，控制对应的发言指示装置发光，所述记录单元会绑定并存储所述身份数据与所述发言语音，并标记所述发言语音的发言时间。
2.根据权利要求1所述的会议记录系统，其特征在于：所述记录单元包括语音转译模块与记录模块，所述语音转译模块能分析所述发言语音内容以得到对应的发言文字数据，所述记录模块会绑定并存储所述发言语音与所述发言文字数据。
3.根据权利要求1所述的会议记录系统，其特征在于：所述影像分析单元还包括唇形分析模块，所述唇形分析模块能分析所述发言者影像的嘴唇的开合变化，且会于判断所述发言者影像的嘴唇无开合变化且超过预定时间时，发出停止发言信号，所述收音控制单元会被所述停止发言信号触发，而控制所述收音装置停止对所述发言者影像的方向的收音。
4.根据权利要求1所述的会议记录系统，其特征在于：每一发言指示装置具有会于被所述收音控制单元驱动发光时被致能的停止发言键，所述发言指示装置能于被致能的所述停止发言键被操作时发出停止发言信号，所述收音控制单元会被所述停止发言信号触发，而控制所述收音装置停止对所述发言者影像的方向的收音。
5.根据权利要求1所述的会议记录系统，其特征在于：还包含影像显示设备，所述记录处理装置是信号连接所述影像显示设备，所述收音控制单元于控制所述收音装置朝所述方位数据对应的方向进行收音时，会控制所述影像显示设备同步显示所述发言者影像。
6.根据权利要求1所述的会议记录系统，其特征在于：所述收音控制单元内建有能被切换启动的姿态收音记录模式与自由收音记录模式，所述收音控制单元于启动所述姿态收音记录模式时，会触发启动所述影像分析单元分析所述会议影像以得到所述方位数据，并根据所述方位数据控制所述收音装置朝所述发言者影像的方向进行指向性收音，所述收音控制单元于启动所述自由收音记录模式时，会控制所述收音装置全向性收音以得到会议语音，且会驱使所述记录单元绑定并存储所述会议影像与所述会议语音。
7.一种会议记录方法，包含步骤(A)使影像捕获设备对会议现场进行影像撷取以得到会议影像，其特征在于：所述会议记录方法还包含步骤(B)使记录处理装置将多位会议人士的身份数据分别与多个发言指示装置对应连结；步骤(C)使所述记录处理装置于分析所述会议影像中出现特征姿态时，自所述会议影像中撷取得到做出所述特征姿态的会议人士的发言者影像，并分析所述发言者影像的生理特征参数以识别出对应的身份数据，且控制收音装置朝所述特征姿态出现方位进行指向性收音以得到发言语音，并同步根据识别出的所述身份数据驱使对应的发言指示装置发光；以及步骤(D)使所述记录处理装置绑定并存储所述身份数据与所述发言语音，并标记所述发言语音的记录时间。
8.根据权利要求7所述的会议记录方法，其特征在于：所述步骤(C)还驱使所述记录处理装置分析所述发言语音内容以得到发言文字数据，所述步骤(D)还使所述记录处理装置绑定并存储所述发言语音与所述发言文字数据。
9.根据权利要求7所述的会议记录方法，其特征在于：所述步骤(C)还会使所述记录处理装置于被驱动发光的所述发言指示装置的停止发言键被操作时被触发，而控制所述收音装置停止对所述发言者影像映射的方位的收音。
10.根据权利要求7所述的会议记录方法，其特征在于：所述步骤(C)还会使所述记录处理装置分析所述发言者影像的嘴唇部位的开合变化，且在判断所述发言者影像的嘴唇部位于预定时间内无开合变化时，控制所述收音装置停止对所述发言者影像映射的方位的收音。
11.根据权利要求7所述的会议记录方法，其特征在于：所述步骤(C)会使所述记录处理装置于对所述发言者影像方位进行收音时，同步驱使影像显示设备显示出所述发言者影像。
12.根据权利要求7所述的会议记录方法，其特征在于：所述步骤(C)是使所述记录处理装置于启动姿态记录模式时，分析所述会议影像中的所述特征姿态，并控制所述收音装置朝所述特征姿态出现方位进行指向性收音以得到所述发言语音，且使所述记录处理装置于启动自由收音记录模式时，控制所述收音装置进行全向性收音以得到会议语音，且使所述记录处理装置绑定并存储所述会议影像与所述会议语音。
CN202010348189.9A 2019-04-30 2020-04-28 会议记录系统与会议记录方法 Expired - Fee Related CN111866421B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108115083 2019-04-30
TW108115083A TWI699120B (zh) 2019-04-30 2019-04-30 會議記錄系統與會議記錄方法

Publications (2)

Publication Number Publication Date
CN111866421A true CN111866421A (zh) 2020-10-30
CN111866421B CN111866421B (zh) 2022-10-28

Family

ID=72601906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010348189.9A Expired - Fee Related CN111866421B (zh) 2019-04-30 2020-04-28 会议记录系统与会议记录方法

Country Status (3)

Country Link
US (1) US11488596B2 (zh)
CN (1) CN111866421B (zh)
TW (1) TWI699120B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507829A (zh) * 2020-11-30 2021-03-16 株洲手之声信息科技有限公司 一种多人视频手语翻译方法及系统
CN112887656A (zh) * 2021-01-26 2021-06-01 黄旭诗 一种基于虚拟现实的多人在线会议系统
CN113984105A (zh) * 2020-07-27 2022-01-28 丰田自动车株式会社 控制系统、控制方法以及计算机可读取的记录介质
CN115988164A (zh) * 2022-12-03 2023-04-18 北京视通科技有限公司 一种会议室多媒体控制方法、系统及计算机设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法
TWI790669B (zh) * 2021-07-02 2023-01-21 信驊科技股份有限公司 會議檢視方法及裝置
TWI774490B (zh) * 2021-07-28 2022-08-11 台灣立訊精密有限公司 通訊終端、通訊系統和音訊資訊處理方法
CN113655985A (zh) * 2021-08-09 2021-11-16 维沃移动通信有限公司 音频录制方法、装置、电子设备及可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117157B1 (en) * 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
JP2008017050A (ja) * 2006-07-04 2008-01-24 Fuji Xerox Co Ltd 会議システム及び会議方法
WO2008047804A1 (fr) * 2006-10-17 2008-04-24 Yamaha Corporation Dispositif de conférence audio et système de conférence audio
JP2011065467A (ja) * 2009-09-17 2011-03-31 Sharp Corp 会議中継装置及びコンピュータプログラム
US20110285807A1 (en) * 2010-05-18 2011-11-24 Polycom, Inc. Voice Tracking Camera with Speaker Identification
US20120163625A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
WO2014173370A1 (zh) * 2013-08-22 2014-10-30 中兴通讯股份有限公司 会议纪要的提取方法及装置
US20150281639A1 (en) * 2004-08-03 2015-10-01 Applied Minds, Llc Systems and methods for enhancing teleconferencing collaboration
CN105915798A (zh) * 2016-06-02 2016-08-31 北京小米移动软件有限公司 视频会议中摄像头的控制方法和控制装置
WO2016201765A1 (zh) * 2015-06-16 2016-12-22 中兴通讯股份有限公司 一种录音控制方法和装置
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system
CN206575514U (zh) * 2016-01-21 2017-10-20 武汉明科智慧科技有限公司 声音追踪的会议音视频记录装置
US20180041519A1 (en) * 2015-09-14 2018-02-08 D&M Holdings, Inc. System and Method for Controlling a Rendering Device Based Upon Detected User Proximity
CN108933915A (zh) * 2017-05-26 2018-12-04 和硕联合科技股份有限公司 视频会议装置与视频会议管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5369993B2 (ja) * 2008-08-22 2013-12-18 ヤマハ株式会社 録音再生装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117157B1 (en) * 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
US20150281639A1 (en) * 2004-08-03 2015-10-01 Applied Minds, Llc Systems and methods for enhancing teleconferencing collaboration
JP2008017050A (ja) * 2006-07-04 2008-01-24 Fuji Xerox Co Ltd 会議システム及び会議方法
WO2008047804A1 (fr) * 2006-10-17 2008-04-24 Yamaha Corporation Dispositif de conférence audio et système de conférence audio
JP2011065467A (ja) * 2009-09-17 2011-03-31 Sharp Corp 会議中継装置及びコンピュータプログラム
US20110285807A1 (en) * 2010-05-18 2011-11-24 Polycom, Inc. Voice Tracking Camera with Speaker Identification
US20120163625A1 (en) * 2010-12-22 2012-06-28 Sony Ericsson Mobile Communications Ab Method of controlling audio recording and electronic device
WO2014173370A1 (zh) * 2013-08-22 2014-10-30 中兴通讯股份有限公司 会议纪要的提取方法及装置
WO2016201765A1 (zh) * 2015-06-16 2016-12-22 中兴通讯股份有限公司 一种录音控制方法和装置
US20180041519A1 (en) * 2015-09-14 2018-02-08 D&M Holdings, Inc. System and Method for Controlling a Rendering Device Based Upon Detected User Proximity
CN206575514U (zh) * 2016-01-21 2017-10-20 武汉明科智慧科技有限公司 声音追踪的会议音视频记录装置
CN105915798A (zh) * 2016-06-02 2016-08-31 北京小米移动软件有限公司 视频会议中摄像头的控制方法和控制装置
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system
CN108933915A (zh) * 2017-05-26 2018-12-04 和硕联合科技股份有限公司 视频会议装置与视频会议管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BINYAM GEBREKIDAN GEBRE; PETER WITTENBURG; TOM HESKES: "The gesturer is the speaker", 《2013 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113984105A (zh) * 2020-07-27 2022-01-28 丰田自动车株式会社 控制系统、控制方法以及计算机可读取的记录介质
CN112507829A (zh) * 2020-11-30 2021-03-16 株洲手之声信息科技有限公司 一种多人视频手语翻译方法及系统
CN112507829B (zh) * 2020-11-30 2023-04-07 株洲手之声信息科技有限公司 一种多人视频手语翻译方法及系统
CN112887656A (zh) * 2021-01-26 2021-06-01 黄旭诗 一种基于虚拟现实的多人在线会议系统
CN115988164A (zh) * 2022-12-03 2023-04-18 北京视通科技有限公司 一种会议室多媒体控制方法、系统及计算机设备

Also Published As

Publication number Publication date
US11488596B2 (en) 2022-11-01
TW202042549A (zh) 2020-11-16
TWI699120B (zh) 2020-07-11
US20200349941A1 (en) 2020-11-05
CN111866421B (zh) 2022-10-28

Similar Documents

Publication Publication Date Title
CN111866421B (zh) 会议记录系统与会议记录方法
JP4356663B2 (ja) カメラ制御装置および電子会議システム
US10076705B2 (en) System and method for detecting user attention
US20120315016A1 (en) Multi-Purpose Image and Video Capturing Device
US11388333B2 (en) Audio guided image capture method and device
US9148586B2 (en) Terminal apparatus for combining images from two different cameras based on detected sound
JP6759445B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
CN109754801A (zh) 一种基于手势识别的语音交互系统及方法
CN111641794A (zh) 声音信号采集方法和电子设备
CN104349040B (zh) 用于视频会议系统中的摄像机底座及其方法
KR100925707B1 (ko) 자동 공연이 가능한 로봇용 공연장치
CN110313174B (zh) 一种拍摄控制方法、装置及控制设备、拍摄设备
JP2019009770A (ja) 音声入出力装置
US6959095B2 (en) Method and apparatus for providing multiple output channels in a microphone
WO2002013522A2 (en) Audio and video notetaker
CN110198375A (zh) 录音方法、终端及计算机可读存储介质
JP7074716B2 (ja) 警備システム及び監視表示装置
US11227423B2 (en) Image and sound pickup device, sound pickup control system, method of controlling image and sound pickup device, and method of controlling sound pickup control system
WO2008066705A1 (en) Image capture apparatus with indicator
US12028391B2 (en) System and method for controlling multi-party communication
CN111176604B (zh) 一种留言信息的输出方法及智能音箱、存储介质
WO2012008553A1 (ja) ロボットシステム
CN217546174U (zh) 智能会议系统
US11368611B2 (en) Control method for camera device, camera device, camera system, and storage medium
JP2021197658A (ja) 収音装置、収音システム及び収音方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20221028

CF01 Termination of patent right due to non-payment of annual fee