CN104639911B - 一种全景视频拼接方法及装置 - Google Patents
一种全景视频拼接方法及装置 Download PDFInfo
- Publication number
- CN104639911B CN104639911B CN201510067853.1A CN201510067853A CN104639911B CN 104639911 B CN104639911 B CN 104639911B CN 201510067853 A CN201510067853 A CN 201510067853A CN 104639911 B CN104639911 B CN 104639911B
- Authority
- CN
- China
- Prior art keywords
- msub
- video image
- headend equipment
- mtd
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种全景视频拼接方法及装置，用于通过客户端将待拼接前端设备采集的视频图像拼接为全景视频图像，所述方法将待拼接前端设备绑定为一个资源组，获取各前端设备用于进行拼接的视频图像部分的四个顶点，形成各前端设备对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵，将各前端设备采集的视频图像进行转换后再按照设定的位置信息进行排放，形成全景视频图像并进行显示。本发明的全景视频拼接装置，包括配置模块、顶点获取及矩阵生成模块和拼接模块。本发明的方法及装置可以由前端设备或客户端来进行畸形矫正转换，实现全景拼接，对矩阵转换设备的性能要求不高，特别适合利旧项目升级拓展。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及视频监控中的全景视频拼接方法及装置。
背景技术
随着视频监控的发展，客户对监控视频的视角与可视范围要求越来越高。推动全景视频拼接逐步出现与流行，但是受到系统框架与硬件性能的限制，当前市场上能够满足客户要求的产品不多，并且拼接后视频的可视范围等受硬件性能限制比较大，影响了全景视频拼接方案的推广与普及。
在视频监控中，常常采用多个摄像机分别监控同一场景的不同角度，获得同一场景的不同角度的多幅视频图像，然后在解码端对多幅视频图像进行图像拼接，将多幅视频图像完美地结合为一副完整的视频图像。通过图像拼接，能够提供监控场景的全景图像，整个监控视野更加清晰完整。并且多幅视频图像之间不是简单的合并，而是相同画面的覆盖裁边后，得到真实监控场景的全景图像。
现有技术中对于全景视频拼接，常用的技术方案包括两种，一是使用前端设备的机械结构调整视频范围保证后端全景拼接效果，客户端直接接收前端设备的媒体流，解码后显示在显示设备上。另外一种技术方案是对参与全景拼接的前端设备进行人工手动标定，生成一个拼接像素转换矩阵，客户端接收前端设备发送的媒体流进行解码后，通过拼接像素转换矩阵将每个前端设备的像素转换到全景视频拼接的全景图像中，显示在对应的窗口位置处，从而拼接出一个全景视频画面。
然而第一种方案严重依赖前端设备的机械结构，对前端设备的安装要求比较高，同时拼接后画面比较单一，一般只适用于两个前端设备拼接的效果。第二种方案由于拼接像素转换矩阵需要对每个前端设备拍摄的视频画面的像素进行转换，解码后进行像素点的查表转换比较耗费计算机性能，一般需要通过性能比较强劲的拼接服务器才能完成全景视频的拼接。并且拼接算法的复杂程度会随着拼接前端设备的增加而急剧增加，而且对全景拼接后视频画面的呈现模式也有比较严格的要求，一般不支持不规则画面的拼接，如品字形画面的全景拼接。同时，由于在客户端进行拼接，在性能不足时，不能进行负载均衡，必须使用性能更好的服务器进行替代，对拼接服务器的要求高，成本也比较高。
发明内容
本发明的目的是提供一种全景视频拼接方法及装置，以避免现有技术中存在的上述技术问题。
为了实现上述目的，本发明技术方案如下：
一种全景视频拼接方法，用于通过客户端将待拼接前端设备采集的视频图像拼接为全景视频图像，所述方法包括步骤：
将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息；
获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵；
发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
进一步地，所述方法还包括步骤：
周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。通过对亮度进行平滑过渡修正，使全景视频拼接后画面在拼接处更加平滑。
进一步地，所述获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，包括步骤：
通过角点检测算法得到资源组中各前端设备所采集的原始视频图像的角点；
比较位置信息相邻的两个前端设备所采集的原始视频图像的角点，得到两个前端设备视频图像重叠部分所共同具有的角点信息，从共同具有的角点信息中选取最接近重叠部分两端的角点作为用于进行拼接的视频图像部分的两个顶点；
对于仅有一边与其他前端设备相邻的前端设备所采集的视频图像，根据已经选取的与其他前端设备相邻的两个顶点，在视频图像的另一侧选取两个对应的顶点。
进一步地，所述设定的标准矩形为资源组中各前端设备用于进行拼接的视频图像部分的四个顶点对应的外接矩形中最大的外接矩形。
进一步地，所述畸形矫正转换矩阵为：
并有：
其中(x，y)为原始视频图像中像素点坐标，(x',y')为转换为标准矩形后对应的像素点坐标。
本发明还提出了一种全景视频拼接装置，应用于视频监控系统中的客户端，将待拼接前端设备采集的视频图像拼接为全景视频图像，所述装置包括：
配置模块，用于将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息；
顶点获取及矩阵生成模块，用于获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵；
拼接模块，用于发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
进一步地，所述装置还包括：
亮度修正模块，用于周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。
本发明提出了一种全景视频拼接方法及装置，通过选取前端设备原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵，将各前端设备采集的视频图像进行转换后再进行全景视频拼接。降低了全景拼接服务器的性能要求，使视频的全景拼接可以在通用PC机上实现，可以支持任意画面的布局。在拼接画面比较多时，可以直接使用添加普通PC机的形式进行负载均衡，提升终端的全景拼接能力。可以由前端设备或客户端来进行畸形矫正转换，实现全景拼接，使整个方案更加灵活，特别适合利旧项目升级拓展。
附图说明
图1为本发明实施例视频监控系统的结构示意图；
图2为本发明全景视频拼接方法流程图；
图3a为本发明实施例全景视频拼接一种位置关系图；
图3b为本发明实施例全景视频拼接另一种位置关系图。
具体实施方式
下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。
在视频监控系统中，经常存在采用多个前端设备从不同角度来监控同一监控场景，然后对多个前端设备拍摄的视频图像进行拼接显示，以达到监控整个地段全貌的应用。本实施例中前端设备为网络摄像机IPC、或模拟摄像机及其对应的编码器、或其他视频源设备。以下以图1的视频监控为例，摄像机Camera1、Camera2、Camera3分别从不同角度来监控同一监控场景，然后在客户端上显示为全景视频拼接图像。图1的视频监控中还设置有中心服务器，该中心服务器可以是视频监控系统中常用的用来进行信令管理的视频管理服务器、或用来进行媒体流转发的媒体服务器，或者是专门设置的服务器。
图2示出了本实施例一种全景视频拼接方法流程，包括如下步骤：
步骤S1、将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息。
以图1所示的视频监控为例，将摄像机Camera1、Camera2、Camera绑定为一个资源组，三者所采集的视频图像拼接为全景视频图像。拼接后的全景视频图像如图3a或图3b所示，图3a表示三者的视频图像横向拼接，图3b表示三者的视频图像拼接为品字形，图3a和图3b只是两种实施例，本发明不限于视频图像拼接成的形状。
如果拼接为图3a的形状，则拼接后的全景视频图像中，Camera1所采集的视频图像的位置信息为(0，0)，Camera2所采集的视频图像的位置信息为(1，0)，Camera3所采集的视频图像的位置信息为(2，0)。而如果拼接为图3b的形状，则拼接后的全景视频图像中，Camera1所采集的视频图像的位置信息为(0.5，0)，Camera2所采集的视频图像的位置信息为(0，1)，Camera3所采集的视频图像的位置信息为(1，1)。在后续步骤中，根据设定的位置信息进行图像的拼接，这里不再赘述。
本实施例中，上述设置在客户端完成，并将设置好的前端设备的位置信息上传到中心服务器保存。容易理解的是，位置信息的保存地并不限于中心服务器，也可以直接存储在客户端本地，只要便于获取用于最后的拼接都是可行的。
步骤S2、获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵。
由于各前端设备采集的视频图像在拼接后的全景视频图像中按照位置信息排放，并且对于相同画面需要进行覆盖裁边处理，因此需要将各前端设备采集的原始视频图像裁剪并进行畸形矫正为矩形，然后按照设定的位置信息排放形成全景视频图像。
本实施例为了将各前端设备采集的原始视频图像中相同画面部分裁剪掉，需要从各前端设备采集的原始视频图像中选取用于进行拼接的视频图像部分，并对选取的用于进行拼接的视频图像部分进行畸形矫正为矩形视频图像后再按照设定的位置信息排放形成全景视频图像。因此首先要选取用于进行拼接的视频图像部分的四个顶点，然后根据设定的标准矩形的参数计算出畸形矫正转换矩阵，并根据该畸形矫正转换矩阵将用于进行拼接的视频图像部分转换为标准矩形，用于后续的拼接。
对于选取各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，四个顶点之间连线包围的部分就是用于进行拼接的视频图像部分，即裁剪四边形，将与相邻前端设备画面相同的部分裁去，仅最大保留本前端设备所用来进行拼接的视频图像部分。
关于选取用于进行拼接的视频图像部分的四个顶点，可以采用如下方法：
实施例一、对每个前端设备进行手动校正的办法，在其采集的原始视频图像中根据参照物，通过人工选取适当的点。例如在客户端上，根据人工比对在各前端设备所采集的原始视频图像中选取所要拼接的视频图像对应的四个顶点。
实施例二、使用角点比对的方法，即先通过角点检测算法得到各自视频图像中的角点，然后比较位置信息相邻的两个前端设备所采集的原始视频图像的角点，得到两个前端设备视频图像重叠部分所共同具有的角点信息，从共同具有的角点信息中选取最接近重叠部分两端的角点作为用于进行拼接的视频图像部分的两个顶点；对于仅有一边与其他前端设备相邻的前端设备所采集的视频图像，根据已经选取的与其他前端设备相邻的两个顶点，在视频图像的另一侧选取两个对应的顶点。
由于相邻两个前端设备所采集的原始视频图像具有相同的部分(画面彼此重叠的部分)，相同部分的角点相近似，可以选择出近似的这部分角点认为他们是相同的角点，从共同具有的角点中选取最接近重叠部分两端的角点作为用于进行拼接的视频图像部分的两个顶点。例如对于图3a的拼接图形，Camera1与Camera2相邻，比较Camera1与Camera2的角点，不难得出Camera1右侧与Camera2左侧相重叠部分的角点，然后选择两个角点作为Camera1和Camera2的两个顶点，即选择出Camera1右侧的两个顶点、Camera2左侧的两个顶点分别作为各自的两个顶点；对于Camera1，还需要根据已经选出的两个顶点，分别向Camera1视频图像的左侧做水平延长线，选取其左侧视频图像最边缘的两个像素点作为另外两个顶点；对于Camera2，还需要与Camera3进行角点比对，再选取右侧的两个顶点；对于Camera3，在与Camera2进行角点比对后选取了左侧的两个顶点，还需要向Camera3视频图像的右侧做水平延长线，选取其右侧视频图像最边缘的两个像素点作为另外两个顶点。
在选出每个前端设备用于进行拼接的视频图像部分的四个顶点后，根据每个前端设备用于进行拼接的视频图像部分的四个顶点做外接矩形，以最大外接矩形作为标准矩形，计算每个前端设备的畸形矫正转换矩阵。该标准矩形的选取还可以通过人为设定等方式进行选取，本发明不限于该标准矩形的参数的选取方式。在选取了标准矩形后，为每个前端设备计算其畸形矫正转换矩阵。
对于根据顶点计算几何图形的畸形矫正转换矩阵，现有技术有很多方法，包括仿射变换、投射变换等几何方法。本实施例采用透视变换的方法，设原始视频图像中顶点坐标为(x，y),而标准矩形的四个顶点的坐标为(x',y')，则具有如下公式：
其对应的畸形矫正转换矩阵为：
通过选取的四个顶点可以计算出该畸形矫正转换矩阵，然后利用该畸形矫正转换矩阵就可以将四个顶点之间连线包围的用于进行拼接的视频图像部分转换为标准矩形的视频图像。
在计算出各个前端设备对应的畸形矫正转换矩阵后，将畸形矫正转换矩阵上传到中心服务器保存。
步骤S3、发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
关于对前端设备采集的原始视频流进行矩阵转换，本实施例给出了两种方案：
实施例三、分布式在前端设备中进行矩阵转换。即在发起全景视频拼接后，将资源组中各前端设备的裁剪四边形和畸形矫正转换矩阵发送到对应的前端设备中，由前端设备分别进行裁剪和矩阵转换。各前端设备的裁剪四边形和畸形矫正转换矩阵可以由客户端直接发送到各前端设备，或客户端通知中心服务器将其发送到各前端设备，本发明不限于各前端设备获取各自的裁剪四边形和畸形矫正转换矩阵的途径。前端设备发送的媒体流是转换后的视频图像，客户端接收解码后，直接按照设定的位置信息进行排放，形成全景视频图像并进行显示。由于是分布式矩阵转换，各前端设备转换自己的视频图像，有利于降低客户端设备的计算量，加快全景视频图像的拼接显示。
实施例四、在客户端上进行矩阵转换。由于本发明畸形矫正转换矩阵是3*3转换矩阵，计算的数据量比较小，可以集中在客户端中进行转换，通过客户端显卡中的通用计算单元编程来实现矩阵转换，普通的显卡就可以应付。从而客户端接收资源组中各前端设备发送的原始媒体流并解码，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始视频图像进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
由于前端设备安装角度的不同，导致日照条件各不相同，不同前端设备拍摄的视频图像的亮度会不同，在拼接的时候容易在拼接部位造成亮度过渡不自然，因此本实施例的全景视频拼接的方法还包括步骤：
周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。
本实施例亮度修正值的计算方法举例如下：分别计算Camera1与Camera2采集的视频图像的亮度均值，以两者的亮度均值的平均值作为Camera1和Camera2的亮度。也可以仅计算出两者相邻区域的亮度均值，并对计算出的两个相邻区域的亮度均值求平均，并以平均值作为相邻区域的亮度。本发明不限于具体的亮度修正方法，通过对亮度进行平滑过渡修正，使全景视频拼接后画面在拼接处更加平滑。
综上所述，本实施例全景视频拼接的方法对客户端设备的性能要求不高，普通PC机即可胜任，并且可以是分别对前端设备采集的视频图像进行处理，因此还可以通过多个客户端来分别处理一部分前端设备的拼接图像，通过屏幕墙的方式显示整个全景视频图像。例如拼接资源组中有20个前端设备，普通PC只能解码显示10路1080P的拼接画面，而实际整个全景视频图像由20个前端设备采集的视频图像拼接而成。则可以将20个前端设备组成的拼接资源组分为两个子资源组，每个子资源组包括10个前端设备，用两台PC机分别对两个子资源组的前端设备进行视频图像拼接显示。并且将两台PC机输出放在一起构成整个全景视频图像，以屏幕墙的方式呈现。因此本发明的技术方案可以无限制的扩充资源组中的前端设备数量，通过屏幕墙的方式显示全景视频图像。
对应于上述方法，本发明还提出了一种全景视频拼接装置，应用于视频监控系统中的客户端，将待拼接前端设备采集的视频图像拼接为全景视频图像，该装置包括：
配置模块，用于将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息；
顶点获取及矩阵生成模块，用于获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵；
拼接模块，用于发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
为了使全景视频拼接后画面在拼接处更加平滑，本实施例装置还包括：
亮度修正模块，用于周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。
与上述方法对应地，本实施例顶点获取及矩阵生成模块，在获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点时，可以通过人工手动校正的办法或通过角点比对的方法来获取用于进行拼接的视频图像部分的四个顶点。
以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (10)
1.一种全景视频拼接方法，用于通过客户端将待拼接前端设备采集的视频图像拼接为全景视频图像，其特征在于，所述方法包括步骤：
将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息；
采用手动校正或角点比对的方法获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵；
发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
2.根据权利要求1所述的全景视频拼接方法，其特征在于，所述方法还包括步骤：
周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。
3.根据权利要求1或2所述的全景视频拼接方法，其特征在于，所述获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，包括步骤：
通过角点检测算法得到资源组中各前端设备所采集的原始视频图像的角点；
比较位置信息相邻的两个前端设备所采集的原始视频图像的角点，得到两个前端设备视频图像重叠部分所共同具有的角点信息，从共同具有的角点信息中选取最接近重叠部分两端的角点作为用于进行拼接的视频图像部分的两个顶点；
对于仅有一边与其他前端设备相邻的前端设备所采集的视频图像，根据已经选取的与其他前端设备相邻的两个顶点，在视频图像的另一侧选取两个对应的顶点。
4.根据权利要求3所述的全景视频拼接方法，其特征在于，所述设定的标准矩形为资源组中各前端设备用于进行拼接的视频图像部分的四个顶点对应的外接矩形中最大的外接矩形。
5.根据权利要求4所述的全景视频拼接方法，其特征在于，所述畸形矫正转换矩阵为：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>12</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>13</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>22</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>23</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>31</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>32</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>33</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>&NotEqual;</mo>
<mn>0</mn>
</mrow>
并有：
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>12</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>13</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>a</mi>
<mn>31</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>32</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>33</mn>
</msub>
</mrow>
</mfrac>
</mrow>
<mrow>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>a</mi>
<mn>21</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>22</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>23</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>a</mi>
<mn>31</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>32</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>33</mn>
</msub>
</mrow>
</mfrac>
</mrow>
其中(x，y)为原始视频图像中像素点坐标，(x',y')为转换为标准矩形后对应的像素点坐标。
6.一种全景视频拼接装置，应用于视频监控系统中的客户端，将待拼接前端设备采集的视频图像拼接为全景视频图像，其特征在于，所述装置包括：
配置模块，用于将待拼接前端设备绑定为一个资源组，同时设定各待拼接前端设备对应的视频图像在拼接后全景视频图像中的位置信息；
顶点获取及矩阵生成模块，用于采用手动校正或角点比对的方法获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点，形成各前端设备用于进行拼接的视频图像部分对应的裁剪四边形，并根据获取的顶点及设定的标准矩形计算各前端设备的畸形矫正转换矩阵；
拼接模块，用于发起全景视频拼接，向资源组中各前端设备发送对应的裁剪四边形和畸形矫正转换矩阵，并接收各前端设备根据对应的裁剪四边形和畸形矫正转换矩阵进行矩阵转换后的媒体流，按照设定的位置信息进行排放，形成全景视频图像并进行显示；或接收资源组中各前端设备发送的原始媒体流，利用各前端设备对应的裁剪四边形和畸形矫正转换矩阵对各自的原始媒体流进行矩阵转换后，按照设定的位置信息进行排放，形成全景视频图像并进行显示。
7.根据权利要求6所述的全景视频拼接装置，其特征在于，所述装置还包括：
亮度修正模块，用于周期性根据资源组中相邻前端设备采集的视频图像的亮度值计算亮度修正值，用计算的亮度修正值修正相邻前端设备的视频图像亮度。
8.根据权利要求6或7所述的全景视频拼接装置，其特征在于，所述顶点获取及矩阵生成模块，在获取资源组中各前端设备所采集的原始视频图像中用于进行拼接的视频图像部分的四个顶点时，执行如下操作：
通过角点检测算法得到资源组中各前端设备所采集的原始视频图像的角点；
比较位置信息相邻的两个前端设备所采集的原始视频图像的角点，得到两个前端设备视频图像重叠部分所共同具有的角点信息，从共同具有的角点信息中选取最接近重叠部分两端的角点作为用于进行拼接的视频图像部分的两个顶点；
对于仅有一边与其他前端设备相邻的前端设备所采集的视频图像，根据已经选取的与其他前端设备相邻的两个顶点，在视频图像的另一侧选取两个对应的顶点。
9.根据权利要求8所述的全景视频拼接装置，其特征在于，所述设定的标准矩形为资源组中各前端设备用于进行拼接的视频图像部分的四个顶点对应的外接矩形中最大的外接矩形。
10.根据权利要求9所述的全景视频拼接装置，其特征在于，所述畸形矫正转换矩阵为：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>12</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>13</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>21</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>22</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>23</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>a</mi>
<mn>31</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>32</mn>
</msub>
</mtd>
<mtd>
<msub>
<mi>a</mi>
<mn>33</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>&NotEqual;</mo>
<mn>0</mn>
</mrow>
并有：
<mrow>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>a</mi>
<mn>11</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>12</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>13</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>a</mi>
<mn>31</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>32</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>33</mn>
</msub>
</mrow>
</mfrac>
</mrow>
<mrow>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>a</mi>
<mn>21</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>22</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>23</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>a</mi>
<mn>31</mn>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>32</mn>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>a</mi>
<mn>33</mn>
</msub>
</mrow>
</mfrac>
</mrow>
其中(x，y)为原始视频图像中像素点坐标，(x',y')为转换为标准矩形后对应的像素点坐标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510067853.1A CN104639911B (zh) | 2015-02-09 | 2015-02-09 | 一种全景视频拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510067853.1A CN104639911B (zh) | 2015-02-09 | 2015-02-09 | 一种全景视频拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104639911A CN104639911A (zh) | 2015-05-20 |
| CN104639911B true CN104639911B (zh) | 2018-04-27 |
Family
ID=53218158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510067853.1A Active CN104639911B (zh) | 2015-02-09 | 2015-02-09 | 一种全景视频拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104639911B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966063A (zh) * | 2015-06-17 | 2015-10-07 | 中国矿业大学 | 基于gpu与cpu协同计算的矿井多摄像机视频融合方法 |
| CN105306837A (zh) * | 2015-10-27 | 2016-02-03 | 浙江宇视科技有限公司 | 多图像拼接方法及装置 |
| CN105321151B (zh) * | 2015-10-27 | 2019-09-10 | Tcl集团股份有限公司 | 一种全景图拼接亮度均衡方法及系统 |
| CN105450945A (zh) * | 2015-11-13 | 2016-03-30 | 深圳大学 | 一种视频全景生成方法及并行计算系统 |
| CN105554450B (zh) * | 2015-12-14 | 2018-10-12 | 深圳大学 | 分布式视频全景显示系统 |
| CN106056539A (zh) * | 2016-06-24 | 2016-10-26 | 中国南方电网有限责任公司 | 一种全景视频拼接方法 |
| CN106210535A (zh) * | 2016-07-29 | 2016-12-07 | 北京疯景科技有限公司 | 全景视频实时拼接方法及装置 |
| CN108205797B (zh) * | 2016-12-16 | 2021-05-11 | 杭州海康威视数字技术股份有限公司 | 一种全景视频融合方法及装置 |
| CN107426491B (zh) * | 2017-05-17 | 2021-05-07 | 西安邮电大学 | 一种360度全景视频的实现方法 |
| CN107623822B (zh) * | 2017-09-04 | 2019-07-16 | 浙江大华技术股份有限公司 | 一种视频融合系统、方法及装置 |
| CN109982047B (zh) * | 2019-04-04 | 2021-02-02 | 郑州和光电子科技有限公司 | 一种飞行监控全景融合显示的方法 |
| CN116074479A (zh) * | 2023-03-03 | 2023-05-05 | 山东交通学院 | 基于图像分析的乘务监控系统、方法、设备及存储介质 |
| CN116309081B (zh) * | 2023-05-15 | 2023-08-04 | 民航成都电子技术有限责任公司 | 一种基于球形摄像机联动的视频全景拼接方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621634A (zh) * | 2009-07-24 | 2010-01-06 | 北京工业大学 | 动态前景分离的大幅面视频拼接方法 |
| CN102480600A (zh) * | 2010-11-22 | 2012-05-30 | 上海银晨智能识别科技有限公司 | 双路监控视频信息融合方法及系统 |
| CN103369192A (zh) * | 2012-03-31 | 2013-10-23 | 深圳市振华微电子有限公司 | 多通道视频图像全硬件拼接方法及装置 |
| CN103763479A (zh) * | 2013-12-31 | 2014-04-30 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN104299215A (zh) * | 2014-10-11 | 2015-01-21 | 中国兵器工业第二O二研究所 | 一种特征点标定和匹配的图像拼接方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL148278A0 (en) * | 1999-08-20 | 2002-09-12 | Yissum Res Dev Co | System and method for rectified mosaicing of images recorded by a moving camera |
-
2015
- 2015-02-09 CN CN201510067853.1A patent/CN104639911B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621634A (zh) * | 2009-07-24 | 2010-01-06 | 北京工业大学 | 动态前景分离的大幅面视频拼接方法 |
| CN102480600A (zh) * | 2010-11-22 | 2012-05-30 | 上海银晨智能识别科技有限公司 | 双路监控视频信息融合方法及系统 |
| CN103369192A (zh) * | 2012-03-31 | 2013-10-23 | 深圳市振华微电子有限公司 | 多通道视频图像全硬件拼接方法及装置 |
| CN103763479A (zh) * | 2013-12-31 | 2014-04-30 | 深圳英飞拓科技股份有限公司 | 实时高速高清全景视频的拼接装置及其方法 |
| CN103856727A (zh) * | 2014-03-24 | 2014-06-11 | 北京工业大学 | 一种多路实时视频拼接处理系统 |
| CN104299215A (zh) * | 2014-10-11 | 2015-01-21 | 中国兵器工业第二O二研究所 | 一种特征点标定和匹配的图像拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104639911A (zh) | 2015-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104639911B (zh) | 一种全景视频拼接方法及装置 | |
| CN103763479B (zh) | 实时高速高清全景视频的拼接装置及其方法 | |
| US8866871B2 (en) | Image processing method and image processing device | |
| US9811946B1 (en) | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image | |
| CN103971352A (zh) | 一种基于广角镜头的快速图像拼接方法 | |
| US9533618B2 (en) | Method, apparatus and system for processing a display from a surround view camera solution | |
| CN106875339A (zh) | 一种基于长条形标定板的鱼眼图像拼接方法 | |
| CN201523430U (zh) | 一种全景视频监控系统 | |
| US11218675B2 (en) | Information processing apparatus, computation method of information processing apparatus, and program | |
| CN101431617A (zh) | 用于合并视频以实时显示的方法和系统 | |
| US20130141550A1 (en) | Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair | |
| CN107948544A (zh) | 一种基于fpga的多路视频拼接系统及方法 | |
| US8837814B2 (en) | Correction of geometric mismatch in stereoscopic images | |
| JP2015060012A (ja) | 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム | |
| US10165207B2 (en) | Image processing apparatus and image processing system | |
| CN107330872A (zh) | 用于车载环视系统的亮度均衡方法和装置 | |
| CN108009985A (zh) | 一种基于图割的视频拼接方法 | |
| CN106709894A (zh) | 一种图像实时拼接方法及系统 | |
| JP2006229789A (ja) | カメラ監視システム及びそれに用いられる映像合成方法、映像合成プログラム | |
| WO2018025474A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2002014611A (ja) | プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置 | |
| US20150009390A1 (en) | Method and system for multi-projection | |
| KR101606539B1 (ko) | 360도 원형 디스플레이의 3차원 영상 렌더링 방법 | |
| CN103945103B (zh) | 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法 | |
| CN107426561B (zh) | 一种3d360度的虚拟现实直播方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |