CN116684742A - 基于摄像头的全景视频会议系统 - Google Patents

基于摄像头的全景视频会议系统 Download PDF

Info

Publication number
CN116684742A
CN116684742A CN202310966446.9A CN202310966446A CN116684742A CN 116684742 A CN116684742 A CN 116684742A CN 202310966446 A CN202310966446 A CN 202310966446A CN 116684742 A CN116684742 A CN 116684742A
Authority
CN
China
Prior art keywords
image
demarcation
curves
individual
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310966446.9A
Other languages
English (en)
Other versions
CN116684742B (zh
Inventor
夏少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecam Technology Co ltd
Original Assignee
Telecam Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecam Technology Co ltd filed Critical Telecam Technology Co ltd
Priority to CN202310966446.9A priority Critical patent/CN116684742B/zh
Publication of CN116684742A publication Critical patent/CN116684742A/zh
Application granted granted Critical
Publication of CN116684742B publication Critical patent/CN116684742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请属于视频处理领域，具体涉及一种基于摄像头的全景视频会议系统，包括，图像采集单元，图像采集单元用于通过全景摄像头采集视频会议过程中用户的图像数据；图像预处理单元，图像预处理单元用于对图像数据进行过滤和去噪；图像处理单元，图像处理单元用于对图像数据进行基础格式的预处理以及参数的标定；视频播放单元，视频播放单元用于将图像处理单元处理的图像发送到用户一侧的终端播放，还用于根据标定的脚本文件对用户一侧的终端播放器进行设置。本申请将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线，通过确定重叠图像分界曲线基于重叠图像分界曲线确定标定参数，就不需要通过多次的反复的标定，提高了效率。

Description

基于摄像头的全景视频会议系统
技术领域
本申请属于视频处理领域，具体涉及一种基于摄像头的全景视频会议系统。
背景技术
在视频会议的过程中，最关键的技术就是图像的处理技术，而全景视频会议系统需要采集全景的摄像图像也需要使用全景摄像头，全景摄像头在采集图像之后需要进行参数标定进而将全景图像转换为播放器对应参数的格式才能够正常的在播放器一侧进行播放，在具体的参数标定中，现有技术有通过人工进行标定的，也有采用通过软件的自动技术来实现标定的，但无论哪一种标定技术均存在不足，在标定之前，需要采集多个图像，然后对多个图像确定有效区域和无效区域的界限，在此基础上再根据确定界限来标定参数，不过，现有技术往往需要通过多次的反复的标定才能够确定合理的参数，才能够将原全景摄像数据转换为对应播放器格式的数据，即现有技术存在标定效率低的问题。
发明内容
本申请的目的在于提供一种基于摄像头的全景视频会议系统，以解决上述背景技术中提出问题。
为了解决上述技术问题，本申请提供如下技术方案：
包括，图像采集单元，图像采集单元用于通过全景摄像头采集视频会议过程中用户的图像数据；
图像预处理单元，图像预处理单元用于对图像数据进行过滤和去噪；
图像处理单元，图像处理单元用于对图像数据进行基础格式的预处理以及参数的标定；
视频播放单元，视频播放单元用于将图像处理单元处理的图像发送到用户一侧的终端播放，还用于根据标定的脚本文件对用户一侧的终端播放器进行设置。
进一步，参数的标定具体包括有连续获取图像数据之中多帧图像，然后将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线，然后基于重叠图像分界曲线确定标定参数，并且以所确定的标定参数生成标定的脚本文件。
进一步，计算重叠图像分界曲线，具体的过程如下，首先，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系并计算每一个单独分界曲线在坐标系下的极大值点，然后将所有的极大值点按照从大到小的顺序排序，然后从所有的排序后的极大值点中，从大到小选取N个点，将选取N个点连接到一条新的曲线，即重叠图像的分界曲线。
进一步，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系，横坐标为X，纵坐标为Y，配置一个Y=Q的直线，首先确定一个Q的初值，判断Y=Q直线与所有单独图像的分界曲线的交点，如果Q固定不变时，交点的个数小于第一阈值，则将该Q固定不变时所有交点所在的所有单独图像的分界曲线，标记为可能错误曲线，再然后继续改变Q的值，重复上述的步骤若干次，最后选中被标记错误次数达到第二阈值的所有单独图像的分界曲线，将这类的被标记错误次数达到第二阈值的所有单独图像的分界曲线从原曲线中剔除。
进一步，Q的初值为每一个单独分界曲线在坐标系下的极大值点对应数值的均值。
本申请还公开一种储存介质，用于存储执行所述的基于摄像头的全景视频会议系统的程序代码。
本申请还公开一种电子设备，包括所述储存介质该电子设备包括计算机。
有益效果
本申请将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线，通过确定重叠图像分界曲线基于重叠图像分界曲线确定标定参数，就不需要通过多次的反复的标定，提高了效率。
附图说明
图1为本申请基于摄像头的全景视频会议系统的组成框图。
具体实施方式
下面将结合本申请实施例，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
面对现有标定效率低的问题，本申请公开了基于摄像头的全景视频会议系统，包括：
图像采集单元，图像采集单元用于通过全景摄像头采集视频会议过程中用户的图像数据；
图像预处理单元，图像预处理单元用于对图像数据进行过滤和去噪；
图像处理单元，图像处理单元用于对图像数据进行基础格式的预处理（一般为现有的分辨率规格转换、空间转换、缩放等等）以及参数的标定；
参数的标定具体（现有技术之中也有参数的标定的一般的技术，后面重点表述本申请独特的过程）包括有：连续获取图像数据之中多帧图像，然后将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线；计算重叠图像分界曲线，具体的过程如下，首先，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系并计算每一个单独分界曲线在坐标系下的极大值点，然后将所有的极大值点按照从大到小的顺序排序，然后从所有的排序后的极大值点中，从大到小选取N个点，将选取N个点连接到一条新的曲线，即重叠图像的分界曲线，其中的N为固定常数比如10；
在具体的应用中，每一个单独的分界曲线，本质上也是由图像数据的计算获取的，在计算中也存在一定的误差，所以实际上每一个单独的分界曲线本身都存在一定的错误概率，也就是不能够确保每一条单独分界曲线都是精准数据所获取到的，所以就需要通过一定的技术方法将可能存在极大错误的单独的分界曲线剔除；
将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系，横坐标为X，纵坐标为Y，配置一个Y=Q的直线，首先确定一个Q的初值（比如为每一个单独分界曲线在坐标系下的极大值点对应数值的均值），判断Y=Q直线与所有单独图像的分界曲线的交点，如果Q固定不变时，交点的个数小于第一阈值，比如为2，则将该Q固定不变时所有交点所在的所有单独图像的分界曲线，标记为可能错误曲线，再然后继续改变Q的值，改变Q的值即指增大或减少Q，重复上述的步骤若干次（比如10次），最后选中被标记错误次数达到第二阈值（比如为6）的所有单独图像的分界曲线，将这类的被标记错误次数达到第二阈值的所有单独图像的分界曲线从原曲线中剔除，通过这样能够实现将可能存在极大错误的单独的分界曲线剔除，实现对曲线数据的初步过滤，然后基于重叠图像分界曲线确定标定参数，并且以所确定的标定参数生成标定的脚本文件；
视频播放单元，视频播放单元用于将图像处理单元处理的图像发送到用户一侧的终端播放，还用于根据标定的脚本文件对用户一侧的终端播放器进行设置；具体的实施过程：图像采集单元通过全景摄像头采集视频会议过程中用户的图像数据；图像预处理单元对图像数据进行过滤和去噪；图像处理单元对图像数据进行基础格式的预处理以及参数的标定，视频播放单元将图像处理单元处理的图像发送到用户一侧的终端播放，还根据标定的脚本文件对用户一侧的终端播放器进行设置。
可将，本申请将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线，通过确定重叠图像分界曲线基于重叠图像分界曲线确定标定参数，就不需要通过多次的反复的标定，提高了效率。
需要保护的实施例包括：
基于摄像头的全景视频会议系统，如图1，包括：
图像采集单元，图像采集单元用于通过全景摄像头采集视频会议过程中用户的图像数据；
图像预处理单元，图像预处理单元用于对图像数据进行过滤和去噪；
图像处理单元，图像处理单元用于对图像数据进行基础格式的预处理以及参数的标定；
视频播放单元，视频播放单元用于将图像处理单元处理的图像发送到用户一侧的终端播放，还用于根据标定的脚本文件对用户一侧的终端播放器进行设置。
优选地，参数的标定具体包括有连续获取图像数据之中多帧图像，然后将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线，然后基于重叠图像分界曲线确定标定参数，并且以所确定的标定参数生成标定的脚本文件。
优选地，计算重叠图像分界曲线，具体的过程如下，首先，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系并计算每一个单独分界曲线在坐标系下的极大值点，然后将所有的极大值点按照从大到小的顺序排序，然后从所有的排序后的极大值点中，从大到小选取N个点，将选取N个点连接到一条新的曲线，即重叠图像的分界曲线。
优选地，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系，横坐标为X，纵坐标为Y，配置一个Y=Q的直线，首先确定一个Q的初值，判断Y=Q直线与所有单独图像的分界曲线的交点，如果Q固定不变时，交点的个数小于第一阈值，则将该Q固定不变时所有交点所在的所有单独图像的分界曲线，标记为可能错误曲线，再然后继续改变Q的值，重复上述的步骤若干次，最后选中被标记错误次数达到第二阈值的所有单独图像的分界曲线，将这类的被标记错误次数达到第二阈值的所有单独图像的分界曲线从原曲线中剔除。
优选地，Q的初值为每一个单独分界曲线在坐标系下的极大值点对应数值的均值。
本申请中基于摄像头的全景视频会议系统的功能的程序代码存储在机器可读介质，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。为了提供与用户的交互，可以在计算机上实施此处描述的基于摄像头的全景视频会议系统，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
由技术常识可知，本申请可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本申请范围内或在等同于本申请的范围内的改变均被本申请包含。

Claims (7)

1.基于摄像头的全景视频会议系统，其特征在于，包括，图像采集单元，图像采集单元用于通过全景摄像头采集视频会议过程中用户的图像数据；
图像预处理单元，图像预处理单元用于对图像数据进行过滤和去噪；
图像处理单元，图像处理单元用于对图像数据进行基础格式的预处理以及参数的标定；
视频播放单元，视频播放单元用于将图像处理单元处理的图像发送到用户一侧的终端播放，还用于根据标定的脚本文件对用户一侧的终端播放器进行设置。
2.根据权利要求1所述的基于摄像头的全景视频会议系统，其特征在于，参数的标定具体包括有连续获取图像数据之中多帧图像，然后将多帧图像在一个坐标系统中重叠，然后对重叠后的图像计算重叠图像分界曲线，然后基于重叠图像分界曲线确定标定参数，并且以所确定的标定参数生成标定的脚本文件。
3.根据权利要求2所述的基于摄像头的全景视频会议系统，其特征在于，计算重叠图像分界曲线，具体的过程如下，首先，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系并计算每一个单独分界曲线在坐标系下的极大值点，然后将所有的极大值点按照从大到小的顺序排序，然后从所有的排序后的极大值点中，从大到小选取N个点，将选取N个点连接到一条新的曲线，即重叠图像的分界曲线。
4.根据权利要求3所述的基于摄像头的全景视频会议系统，其特征在于，将每一个单独图像的分界曲线均一起平移在同一个坐标系下，且每一个单独分界曲线与整体图的相对位置不变，然后拟合建立函数关系，横坐标为X，纵坐标为Y，配置一个Y=Q的直线，首先确定一个Q的初值，判断Y=Q直线与所有单独图像的分界曲线的交点，如果Q固定不变时，交点的个数小于第一阈值，则将该Q固定不变时所有交点所在的所有单独图像的分界曲线，标记为可能错误曲线，再然后继续改变Q的值，重复上述的步骤若干次，最后选中被标记错误次数达到第二阈值的所有单独图像的分界曲线，将这类的被标记错误次数达到第二阈值的所有单独图像的分界曲线从原曲线中剔除。
5.根据权利要求4所述的基于摄像头的全景视频会议系统，其特征在于，Q的初值为每一个单独分界曲线在坐标系下的极大值点对应数值的均值。
6.一种储存介质，其特征在于，用于存储执行权利要求1所述的基于摄像头的全景视频会议系统的程序代码。
7.一种电子设备，包括权利要求6所述储存介质，该电子设备包括计算机。
CN202310966446.9A 2023-08-03 2023-08-03 基于摄像头的全景视频会议系统 Active CN116684742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310966446.9A CN116684742B (zh) 2023-08-03 2023-08-03 基于摄像头的全景视频会议系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310966446.9A CN116684742B (zh) 2023-08-03 2023-08-03 基于摄像头的全景视频会议系统

Publications (2)

Publication Number Publication Date
CN116684742A true CN116684742A (zh) 2023-09-01
CN116684742B CN116684742B (zh) 2023-10-03

Family

ID=87779517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310966446.9A Active CN116684742B (zh) 2023-08-03 2023-08-03 基于摄像头的全景视频会议系统

Country Status (1)

Country Link
CN (1) CN116684742B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310975A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN105959620A (zh) * 2016-04-25 2016-09-21 北京大国慧谷科技股份有限公司 一种全景视频的同步显示方法及设备
CN111083368A (zh) * 2019-12-26 2020-04-28 南京感动科技有限公司 一种基于云端的模拟物理云台全景视频展示系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310975A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
CN104429064A (zh) * 2012-07-11 2015-03-18 索尼电脑娱乐公司 图像生成装置及图像生成方法
CN105959620A (zh) * 2016-04-25 2016-09-21 北京大国慧谷科技股份有限公司 一种全景视频的同步显示方法及设备
CN111083368A (zh) * 2019-12-26 2020-04-28 南京感动科技有限公司 一种基于云端的模拟物理云台全景视频展示系统

Also Published As

Publication number Publication date
CN116684742B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN108921806B (zh) 一种图像处理方法、图像处理装置及终端设备
CN104994283B (zh) 一种局部畸变的校正方法及移动终端
CN107621932B (zh) 显示图像的局部放大方法和装置
CN105160632B (zh) 一种畸变校正方法及移动终端
CN105005972A (zh) 一种基于拍摄距离的畸变校正方法及移动终端
CN110363112B (zh) 一种配线电缆接线位置核对方法及系统
CN112308051B (zh) 文本框检测方法、装置、电子设备和计算机存储介质
EP3933752A1 (en) Method and apparatus for processing video frame
CN113343958B (zh) 一种文本识别方法、装置、设备及介质
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
CN114299056A (zh) 图像的瑕疵点的识别方法、瑕疵图像识别模型训练方法
CN116684742B (zh) 基于摄像头的全景视频会议系统
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
CN106303153B (zh) 一种图像处理方法及装置
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN110619597A (zh) 一种半透明水印去除方法、装置、电子设备及存储介质
CN113067984B (zh) 双目拍摄矫正方法、双目拍摄矫正装置和电子设备
CN110349109B (zh) 基于鱼眼畸变校正方法及其系统、电子设备
CN113313642A (zh) 图像去噪方法、装置、存储介质及电子设备
CN112860060A (zh) 一种图像识别方法、设备及存储介质
CN113033394B (zh) 图像签名的生成方法、装置、电子设备和存储介质
WO2023103672A1 (zh) 显示共享内容的方法、装置、设备和计算机程序产品
CN107742275B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant