CN105306837A - 多图像拼接方法及装置 - Google Patents

多图像拼接方法及装置 Download PDF

Info

Publication number
CN105306837A
CN105306837A CN201510706192.2A CN201510706192A CN105306837A CN 105306837 A CN105306837 A CN 105306837A CN 201510706192 A CN201510706192 A CN 201510706192A CN 105306837 A CN105306837 A CN 105306837A
Authority
CN
China
Prior art keywords
spliced
image
video camera
splicing
decoding end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510706192.2A
Other languages
English (en)
Inventor
林国亮
叶倩燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201510706192.2A priority Critical patent/CN105306837A/zh
Publication of CN105306837A publication Critical patent/CN105306837A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种多图像拼接方法,包括:解码端获取各待拼接摄像机所拍摄图像中需拼接区域的区域信息和各待拼接摄像机的拼接位置关系,并将获取到的需拼接区域的区域信息发送给对应的摄像机;各待拼接摄像机根据需拼接区域的区域信息进行图像编码,并输出待拼接图像;解码端根据拼接位置关系同时显示各待拼接摄像机输出的待拼接图像,以形成完整的图像。本发明还对应地公开了多图像拼接装置。本发明的方法及装置使多个摄像机的待拼接图像能够不经过解码端的后期图像处理,解码之后在相应位置进行播放即可达到图像拼接的效果,降低了解码端的性能消耗,不再限制图像拼接摄像机数量及分辨率,同时丰富了图像拼接的用途及使用场景。

Description

多图像拼接方法及装置
技术领域
本发明涉及图像处理领域,尤其涉及多图像拼接方法及装置。
背景技术
由于摄像机的可视域有限,因此对于一个较为开阔的场景中会存在多个摄像机,从不同部分进行拍摄,并在后期对图像进行拼接。由于各个摄像机的安装位置并不一定在同一水平线上,因此拍摄到的图像也不一定在同一水平线上,并且成像区域可能存在重叠冗余的现象,因此在解码端需要对图像进行耦合运算后期处理,包括将各摄像机成像区域中冗余部分删除再进行拉伸使得大小一致后再进行图像拼接,形成完整的视频图像之后再进行视频图像的存储和回放。但是,在解码端上进行图像拼接存在如下问题:在解码端进行上述图像处理所需的性能消耗大,如果需要拼接图像的摄像机数目较多,会导致解码端无法处理。一般的解码端能够支持的摄像机路数不超过6路。
因此,现有技术的这种拼接图像的方式对同时能够进行拼接图像的摄像机数量存在较大限制。
发明内容
为了解决现有技术这种拼接方法所存在的问题,本发明提供了一种拼接方法,大大降低了解码端性能对摄像机数量的限制,提高拼接图像的摄像机路数,使得图像拼接得到更大的图像视野范围并适用于更多的场景。
一种多图像拼接方法,包括:
解码端获取各待拼接摄像机所拍摄图像中需拼接区域的区域信息和各待拼接摄像机的拼接位置关系,并将获取到的需拼接区域的区域信息发送给对应的摄像机;
各待拼接摄像机根据需拼接区域的区域信息进行图像编码,并输出待拼接图像;
解码端根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像,以形成完整的图像。
各摄像机拍摄的图像之间存在重叠、冗余部分;且由于实际施工的问题,各个摄像机所拍摄的图像并不是在同一水平线上的,会导致图像上下错位。而实际上,用户只关心各图像中的部分区域,因此如果仅仅对用户关心的区域拼接,则不需要消耗大量的解码端性能去进行去除冗余及拉伸对齐这样的处理。摄像机摆放位置决定了待拼接图像拼接时的拼接位置关系,例如摄像机A、B、C、D所固定的位置分别拍摄场景左上角、右上角、左下角、右下角的图像,则在显示时对应的摄像机输出的待拼接图像也是按照这样的位置关系进行显示。因此,将此拼接位置关系存放在解码端,在进行显示时对应摄像机的待拼接图像根据此拼接位置关系进行同时显示,从而得到完整的图像。
本发明的多图像拼接方法,在解码端不需要再对图像进行去冗余、拉伸等耦合运算,只需要将同时拍摄得到的待拼接图像按照一定的方位同时显示即可达到图像拼接的效果,因此极大地降低了解码端的性能消耗,对应地可以大幅度地提高可拼接图像的摄像机数量,使得图像拼接达到更宽阔的场景,并增加了适用的场景。
进一步而言,各待拼接摄像机所拍摄图像中需拼接区域的区域信息为需拼接区域的坐标信息,所述解码端获取需拼接区域的区域信息的过程包括:由用户输入需拼接区域的坐标信息,或由解码端将用户选择的需拼接区域转换为需拼接区域的坐标信息。
各摄像机在进行待拼接图像的获取时,先建立得到待拼接图像的各个摄像机的实况,用户在显示的图像中可以根据自己的需要,对关心的区域进行选择,用户在手动选择时即可剔除冗余部分以及不重要的部分。用户可以手动地输入坐标以精确选择,或者进行框选,由解码端把用户框选的区域转化为坐标。这样,在解码端进行显示时直接将用户所需要的部分进行拼接显示,而不需要调整水平位置或进行去重,从而降低了解码端的性能消耗。
进一步而言,所述各待拼接摄像机根据需拼接区域的区域信息进行图像编码,具体包括:所述各待拼接摄像机在采集的图像区域中选择需拼接的图像区域,并仅对选择的需拼接的图像区域进行编码。
本发明通过只对用户感兴趣的区域(即需拼接的区域)进行拼接来降低解码端的图像处理性能消耗。摄像机在采集到模拟信号的图像后,需要先经过模数转换再进行编码,将编码后的图像发送至解码端进行解码。通过将编码区域从原先的整个图像缩减到仅仅为需拼接的区域,减少了摄像机需要编码的工作量,从而也减少了解码端解码的工作量,可以提高解码端的效率。
进一步而言,在所述解码端根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像之前,还包括:解码端向各待拼接摄像机发送强制编帧的请求,以调整各待拼接摄像机的拍摄时间;
各待拼接摄像机根据该请求输出相同时刻拍摄的待拼接图像。
由于摄像机启动编码时间与摄像机上电时间相关,各摄像机之间上电时间不一致,从而会导致摄像机进行编帧时的图像不一致,解码端所显示的图像之间就会存在时间差。因此,通过强制编帧的方式,强制所有的摄像机在启动实况的时刻同时拍摄图像并编码,由于摄像机的拍摄图像帧率是一致的,因此从强制编帧时刻起,随后的各帧图像均为同步拍摄,从而能够保证解码端显示的图像也是各摄像机同时拍摄的。强制编帧主要克服了各个摄像机编帧时间不一致的问题,避免了拼接图像时间不一样导致拼接图像出现重影或图像不一致等现象。
进一步而言,待拼接摄像机输出的待拼接图像中还携带拍摄时间对应的时间戳信息,各待拼接摄像机在相同时刻拍摄的待拼接图像中所携带的时间戳信息一致;
对应地,解码端根据所述拼接位置关系将各待拼接摄像机输出的时间戳信息一致的待拼接图像进行同时显示。
由于网络抖动原因,在解码端收到的待拼接图像缓存队列中每帧的排列顺序可能不是按时间排列,如果直接按照接收到的图像顺序进行显示时,就会出现待拼接图像不一致的现象。通过将各摄像机的本地时间调为一致,则在输出的每帧待拼接图像中加入的时间戳是一致的,而在解码端,不依靠接收到的待拼接图像先后顺序而是通过判断时间戳是否一致,来确保拼接的图像均为同一时刻的图像,从而使得拼接形成的图像可以消除网络抖动带来的影响。
为了应用本发明的多图像拼接方法,本发明还公开了对应的多图像拼接装置,解决现有技术所存在的问题。
一种多图像拼接装置,应用于解码端,包括:
拼接信息获取单元,用于获取各待拼接摄像机所拍摄图像中需拼接区域的区域信息和各待拼接摄像机的拼接位置关系;
拼接信息发送单元,用于将获取到的需拼接区域的区域信息发送给对应的摄像机,使得各待拼接摄像机根据需拼接区域的区域信息进行图像编码并输出待拼接图像;
拼接显示单元,用于根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像,以形成完整的图像。
各摄像机拍摄的图像之间存在重叠、冗余部分;且由于实际施工的问题,各个摄像机所拍摄的图像并不是在同一水平线上的,会导致图像上下错位。而实际上,用户只关心各图像中的部分区域,因此如果仅仅对用户关心的区域拼接,则不需要消耗大量的解码端性能去进行去除冗余及拉伸对齐这样的处理。本发明通过只对用户感兴趣的区域(即需拼接的区域)进行拼接来降低解码端的图像处理性能消耗。摄像机在采集到模拟信号的图像后,需要先经过模数转换再进行编码,将编码后的图像发送至解码端进行解码。通过将编码区域从原先的整个图像缩减到仅仅为需拼接的区域,减少了摄像机需要编码的工作量,从而也减少了解码端解码的工作量,可以提高解码端的效率。摄像机摆放位置决定了待拼接图像拼接时的拼接位置关系,例如摄像机A、B、C、D所固定的位置分别拍摄场景左上角、右上角、左下角、右下角的图像,则在显示时对应的摄像机输出的待拼接图像也是按照这样的拼接位置关系进行显示。因此,将此拼接位置关系存放在解码端,在进行显示时对应摄像机的待拼接图像根据此拼接位置关系进行同时显示,从而得到完整的图像。
本发明的多图像拼接方法,在解码端不需要再对图像进行去冗余、拉伸等耦合运算,只需要将同时拍摄得到的待拼接图像按照一定的方位同时显示即可达到图像拼接的效果,因此极大地降低了解码端的性能消耗,对应地可以大幅度地提高可拼接图像的摄像机数量,使得图像拼接达到更宽阔的场景,并增加了适用的场景。
进一步而言,拼接信息发送单元发送到各待拼接摄像机所拍摄图像中的需拼接区域的区域信息为需拼接区域的坐标信息,所述拼接信息获取单元获取需拼接区域的区域信息过程包括:由用户输入需拼接区域的坐标信息,或由解码端将用户选择的需拼接区域转换为需拼接区域的坐标信息。
各摄像机在进行待拼接图像的获取时,先建立得到待拼接图像的各个摄像机的实况,用户在显示的图像中可以根据自己的需要,对关心的区域进行选择,用户在手动选择时即可剔除冗余部分以及不重要的部分。这样,在解码端进行显示时直接将用户所需要的部分进行拼接显示,而不需要调整水平位置或进行去重,从而降低了解码端的性能消耗。
进一步而言,所述各待拼接摄像机根据拼接信息发送单元发送的需拼接区域的区域信息进行图像编码,具体包括:所述各待拼接摄像机在采集的图像区域中选择需拼接的图像区域,并仅对选择的需拼接的图像区域进行编码。
本发明通过只对用户感兴趣的区域(即需拼接的区域)进行拼接来降低解码端的图像处理性能消耗。摄像机在采集到模拟信号的图像后,需要先经过模数转换再进行编码,将编码后的图像发送至解码端进行解码。通过将编码区域从原先的整个图像缩减到仅仅为需拼接的区域,减少了摄像机需要编码的工作量,从而也减少了解码端解码的工作量,可以提高解码端的效率。
进一步而言,还包括强制编帧单元,用于在所述拼接显示单元根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像之前,向各待拼接摄像机发送强制编帧的请求,以调整各待拼接摄像机的拍摄时间;
各待拼接摄像机根据该请求输出相同时刻拍摄的待拼接图像。
由于摄像机启动编码时间与摄像机上电时间相关,各摄像机之间上电时间不一致,从而会导致摄像机进行编帧时的图像会不一致,会导致在同一时刻,各个摄像机输出的图像帧不是同一时间拍摄的图像。因此,通过强制编帧的方式,强制所有的摄像机在启动实况的时刻同时拍摄图像并编码,由于摄像机的拍摄图像帧率是一致的,因此随后的各帧图像均为同步拍摄,从而能够保证输出的图像也是各摄像机同时拍摄的。强制编帧主要克服了各个摄像机编帧时间不一致的问题,避免了拼接图像时间不一样导致拼接图像出现重影或图像不一致等现象。
进一步而言,待拼接摄像机输出的待拼接图像中还携带拍摄时间对应的时间戳信息,各待拼接摄像机在相同时刻拍摄的待拼接图像中所携带的时间戳信息一致;
对应地,所述拼接显示单元根据所述拼接位置关系将各待拼接摄像机输出的时间戳信息一致的待拼接图像进行同时显示。
由于网络抖动原因,在解码端收到的待拼接图像缓存队列中每帧的排列顺序可能不是按时间排列,如果直接按照接收到的图像顺序进行显示时,就会出现待拼接图像不一致的现象。将各摄像机的本地时间调为一致,则在同一时刻摄像机根据本地时间在待拼接图像中加入的时间戳是一致的,而在解码端,不依靠接收到的待拼接图像先后顺序而是通过判断时间戳是否一致,能够确保拼接的图像均为同一时刻的图像,从而使得拼接形成的图像可以消除网络抖动带来的影响。
本发明突出优点在于,通过在同时显示同时拍摄所得的待拼接图像使得需要拼接的多个摄像机的待拼接图像能够不经过解码端的后期图像处理,解码之后在相应位置进行播放即可达到图像拼接的效果,达到降低解码端的性能消耗,突破解码端性能这个瓶颈,不再限制图像拼接摄像机数量及分辨率,同时丰富了图像拼接的用途及使用场景。仅仅对用户关心的区域拼接,不需要消耗大量的解码端性能去进行去除冗余及拉伸对齐这样的处理,进一步减少解码端的性能消耗;通过将各摄像机的本地时间调为一致,在解码端通过判断时间戳是否一致,来确保拼接的图像均为同一时刻的图像,从而使得拼接形成的图像可以消除网络抖动带来的图像不一致等影响。
附图说明
图1为本发明一个实施例的摄像机摆放位置及成像区域示意图;
图2为当前实施例在摄像机所建立实况中作为待拼接图像的需拼接区域获取方法示意图;
图3为当前实施例摄像机编码区域示意图;
图4为当前实施例拼接成完整图像的效果图;
图5为当前实施例中强制编帧过程示意图;
图6为当前实施例摄像机写入强制编帧标识的位置示意图;
图7为摄像机编帧时间顺延的示意图;
图8为当前实施例强制编帧后摄像机编帧时间一致的示意图;
图9为当前实施例加入时间戳位置的示意图;
图10为出现网络抖动时图像发送顺序变化的示意图。
具体实施方式
为了使本发明更加清楚,现结合附图及实施例对本发明加以具体的解释说明。
本发明的一个实施例以图1所示的3个摄像机为例,采用本发明的多图像拼接装置进行图像拼接。其中当前实施例应用本发明方法的多图像拼接装置设于解码端,当前实施例中多图像拼接装置包括:拼接信息获取单元、拼接信息发送单元、拼接显示单元以及强制编帧单元。本发明当前实施例包括:
步骤1,解码端同时建立待拼接图像的所有摄像机的实况。
建立的实况如图2所示,此时会发现图像会有两个问题:1、如图1所示,各摄像机拍摄的图像之间存在重叠、冗余部分;2、由于实际施工的问题,各个摄像机所拍摄的图像并不是在同一水平线上的,会导致图像上下错位。而实际上,用户只关心图2中线条划分出的区域所显示的S1、S2以及S3图像部分,因此只需要拼接用户关心的这些区域。
步骤2,拼接信息获取单元获取各待拼接摄像机所拍摄图像中需拼接区域的区域信息和各待拼接摄像机的拼接位置关系,并由拼接信息发送单元将获取到的需拼接区域的区域信息发送给对应的摄像机。
其中区域信息为坐标信息,当前实施例中,用户根据解码端显示的实际图像,从各个摄像机图像中,直接框选出所关心的需拼接区域,需拼接区域为矩形区域,可以由解码端用矩形四个角落的坐标表示该区域的坐标。在其他方式里,为了精确选中需拼接区域,也可以由用户手动地输入需拼接区域的区域坐标信息。当前实施例中解码端将需拼接区域的坐标发送至服务器,服务器收到各个摄像机的需拼接区域坐标后,下发到图像所对应的摄像机中。解码端也可以直接将需拼接区域的坐标信息发送至对应的摄像机。如图3,摄像机的感光元件(例如CCD)根据下发的坐标,对采集到的图像数据区域进行缩减,如图3所示,采集到的原始图像数据区域为P1所示的区域,数据处理器只对缩减后的需拼接区域P2进行编码,将编码后数据发送至解码端。这样,用户所看到的摄像机图像即为用户自己选择的区域。
当用户对需要进行拼接所有摄像机都选取好正确的区域后,将所有的这些摄像机建立为一个拼接组,拼接组中包含各个待拼接摄像机之间的位置关系,例如摄像机A位于摄像机B之前,摄像机B位于摄像机C之前,在其他实现方式中,可能还包含上下位置关系,对应摄像机的待拼接图像在显示时也需要采用对应的拼接位置关系进行显示,因此同一个拼接组内的各摄像机之间拼接位置关系存储在解码端。后续在解码端直接按照所存有的位置关系建立拼接组的实况,将待拼接图像按照拼接位置关系显示,即可达到图像拼接的效果,解码端不需要再作后处理。当解码端不再需要进行图像后期拼接处理,即可节省处理性能,大大提高图像拼接中摄像机的总数,由于各解码图像无耦合运算的需求,所以可通过多个解码端的位置摆放,达到无数量限制的效果。
步骤3,强制编帧单元向各待拼接摄像机发送强制编帧的请求,各待拼接摄像机调整拍摄时间以根据该请求输出相同时刻拍摄的待拼接图像。
在建立拼接组以及拼接组启动实况时,强制编帧单元使拼接组内所有摄像机进行强制编帧,使摄像机拼接组内各摄像机输出同一时刻拍摄的图像。
当用户启动拼接组实况时,相当于由强制编帧单元下发了强制编帧的控制消息,用户下发强制编帧控制消息后,如图5所示服务器会向各个摄像机下发SIP,具体位置如图6所示:在INFO消息中增加有message字段,在该字段中写入强制编帧标识,摄像机收到该消息后,便马上开始重新编帧,其中如果摄像机采用的是IP帧组或IBP帧组模式,针对I帧进行强制编帧,即重新编出I帧。拼接组建立时强制编帧原理相同。
强制编帧主要克服了各个摄像机编帧时间不一致的问题,避免了拼接摄像机图像时间不一样导致拼接图像出现重影或图像不一致等现象。主要原理在于:由于摄像机启动编码时间与摄像机上电时间相关,各摄像机之间上电时间不一致,从而会导致摄像机进行编帧时的图像会不一致,会导致在某一时刻,看到各个摄像机的帧不是同一时间的图像。
如图7所示,突起的黑点代表一帧图像,假设摄像机A、B、C三个待拼接摄像机上电时间为图7所示的顺延关系,在时间上,摄像机C编码第一帧图像晚于摄像机B与摄像机A,摄像机B编码第一帧图像晚于摄像机A并且由于摄像机帧间隔为固定时间的,所以会导致摄像机A、B、C往后的所有显示的图像时间上都不一致。即如图7中的现象,时刻M看到的分别是摄像机A的编码第二帧A2、摄像机B的编码第一帧B1、摄像机C的编码第一帧C1,而帧A、B、C的图像在时间上B早于A早于C,图像的新旧程度从新到旧顺序为C>A>B。而假设在时刻M进行强制重新编帧后,则会有如图8所示效果。图8中在同一时刻N看到的图像帧A2、B2、C2均是同一时间拍摄一致的图像。
摄像机强制编帧后,在每帧的最后一个结束报文中,将当前的时间加入到时间戳字段timpstamp中,发送给解码端。相关的报文如图9所示,图中小方框所框出的字段为时间戳字段。
步骤4,拼接显示单元根据拼接位置关系同时显示各待拼接摄像机输出的待拼接图像,以形成完整的图像。
如图10所示,假设之前摄像机A、B、C分别在窗格A、B、C上进行视频播放,在窗格A、B、C的缓存队列中,由于网络抖动原因,队列中的每帧排列顺序可能不是按时间排列,因此,帧图像进行送显时,就会出现图像不一致的现象。
而本发明当前实施例则采用时间戳来防止网络抖动所造成的图像显示错位。由于视频流中加入了时间戳,各个窗格可以通过视频流每帧中的时间戳对图像送显进行控制,只有等到拼接组中所有的同一时间的帧均已经进入到缓存队列中,才一起进行解码显示。解码端收到拼接组的视频流后,拼接显示单元解析拼接组所有摄像机视频报文中携带的时间戳,在解码端的缓存中,当拼接组内所有摄像机输出的带有同一时间戳的待拼接图像帧均可以显示时,才将在解码器上显示拼接组的待拼接图像,这样就可以使得网络环境出现网络抖动时,解码端的各个摄像机的图像时间是一样的,不会出现图像拼接不一致情况。
如图4所示,将用户选择的待拼接图像S1、S2及S3拼接后,得到了所显示的完整图像。
在存储视频流时,会将摄像机发过来的携带时间戳的视频流进行存储,在对拼接组里的图像进行回放时,由于存储的视频流中均携带有时间戳,因此解码端解码存储的视频流时,可以根据时间戳进行图像的同步回放,播放的原理与实况相同,即将所有时间戳相同的待拼接图像同步显示回放。
本发明突出优点在于,通过在同时显示同时拍摄所得的待拼接图像使得需要拼接的多个摄像机的待拼接图像能够不经过解码端的后期图像处理,解码之后在相应位置进行播放即可达到图像拼接的效果,达到降低解码端的性能消耗,突破解码端性能这个瓶颈,不再限制图像拼接摄像机数量及分辨率,同时丰富了图像拼接的用途及使用场景。仅仅对用户关心的区域拼接,不需要消耗大量的解码端性能去进行去除冗余及拉伸对齐这样的处理,进一步减少解码端的性能消耗;通过将各摄像机的本地时间调为一致,在解码端通过判断时间戳是否一致,来确保拼接的图像均为同一时刻的图像,从而使得拼接形成的图像可以消除网络抖动带来的图像不一致等影响。

Claims (10)

1.一种多图像拼接方法,其特征在于,包括:
解码端获取各待拼接摄像机所拍摄图像中需拼接区域的区域信息和各待拼接摄像机的拼接位置关系,并将获取到的需拼接区域的区域信息发送给对应的摄像机;
各待拼接摄像机根据需拼接区域的区域信息进行图像编码,并输出待拼接图像;
解码端根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像,以形成完整的图像。
2.如权利要求1所述多图像拼接方法,其特征在于,各待拼接摄像机所拍摄图像中需拼接区域的区域信息为需拼接区域的坐标信息,所述解码端获取需拼接区域的区域信息过程包括:由用户输入需拼接区域的坐标信息,或由解码端将用户选择的需拼接区域转换为需拼接区域的坐标信息。
3.如权利要求1所述多图像拼接方法,其特征在于,所述各待拼接摄像机根据需拼接区域的区域信息进行图像编码,具体包括:所述各待拼接摄像机在采集的图像区域中选择需拼接的图像区域,并仅对选择的需拼接的图像区域进行编码。
4.如权利要求1所述多图像拼接方法,其特征在于,在所述解码端根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像之前,还包括:解码端向各待拼接摄像机发送强制编帧的请求,以调整各待拼接摄像机的拍摄时间;
各待拼接摄像机根据该请求输出相同时刻拍摄的待拼接图像。
5.如权利要求4所述多图像拼接方法,其特征在于,待拼接摄像机输出的待拼接图像中还携带拍摄时间对应的时间戳信息,各待拼接摄像机在相同时刻拍摄的待拼接图像中所携带的时间戳信息一致;
对应地,解码端根据所述拼接位置关系将各待拼接摄像机输出的时间戳信息一致的待拼接图像进行同时显示。
6.一种多图像拼接装置,应用于解码端,其特征在于,包括:
拼接信息获取单元,用于获取各待拼接摄像机所拍摄图像中需拼接区域的区域信息和各待拼接摄像机的拼接位置关系;
拼接信息发送单元,用于将获取到的需拼接区域的区域信息发送给对应的摄像机,使得各待拼接摄像机根据需拼接区域的区域信息进行图像编码并输出待拼接图像;
拼接显示单元,用于根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像,以形成完整的图像。
7.权利要求6所述多图像拼接装置,其特征在于,拼接信息发送单元发送到各待拼接摄像机所拍摄图像中的需拼接区域的区域信息为需拼接区域的坐标信息,所述拼接信息获取单元获取需拼接区域的区域信息过程包括:由用户输入需拼接区域的坐标信息,或由解码端将用户选择的需拼接区域转换为需拼接区域的坐标信息。
8.如权利要求6所述多图像拼接装置,其特征在于,所述各待拼接摄像机根据拼接信息发送单元发送的需拼接区域的区域信息进行图像编码,具体包括:所述各待拼接摄像机在采集的图像区域中选择需拼接的图像区域,并仅对选择的需拼接的图像区域进行编码。
9.如权利要求6所述多图像拼接装置,其特征在于,还包括强制编帧单元,用于在所述拼接显示单元根据所述拼接位置关系同时显示各待拼接摄像机输出的待拼接图像之前,向各待拼接摄像机发送强制编帧的请求,以调整各待拼接摄像机的拍摄时间;
各待拼接摄像机根据该请求输出相同时刻拍摄的待拼接图像。
10.如权利要求9所述多图像拼接装置,其特征在于,待拼接摄像机输出的待拼接图像中还携带拍摄时间对应的时间戳信息,各待拼接摄像机在相同时刻拍摄的待拼接图像中所携带的时间戳信息一致;
对应地,所述拼接显示单元根据所述拼接位置关系将各待拼接摄像机输出的时间戳信息一致的待拼接图像进行同时显示。
CN201510706192.2A 2015-10-27 2015-10-27 多图像拼接方法及装置 Pending CN105306837A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510706192.2A CN105306837A (zh) 2015-10-27 2015-10-27 多图像拼接方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510706192.2A CN105306837A (zh) 2015-10-27 2015-10-27 多图像拼接方法及装置

Publications (1)

Publication Number Publication Date
CN105306837A true CN105306837A (zh) 2016-02-03

Family

ID=55203540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510706192.2A Pending CN105306837A (zh) 2015-10-27 2015-10-27 多图像拼接方法及装置

Country Status (1)

Country Link
CN (1) CN105306837A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231162A (zh) * 2016-07-27 2016-12-14 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
CN106657927A (zh) * 2017-02-06 2017-05-10 京东方科技集团股份有限公司 一种监控显示方法及装置
CN107959769A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种摄像机
CN108206940A (zh) * 2016-12-16 2018-06-26 财团法人工业技术研究院 视频串流的接合与传输方法、网关装置及观看装置
CN108886580A (zh) * 2016-03-29 2018-11-23 索尼公司 信息处理装置、成像装置、图像再现装置、方法和程序
CN109155854A (zh) * 2016-05-27 2019-01-04 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法及解码方法
WO2020207403A1 (zh) * 2019-04-10 2020-10-15 杭州海康威视数字技术股份有限公司 一种图像获取方法及装置
CN112616018A (zh) * 2020-12-15 2021-04-06 深圳市普汇智联科技有限公司 一种可堆叠的全景视频实时拼接方法
CN113938632A (zh) * 2021-12-08 2022-01-14 深圳小湃科技有限公司 网络视频录像机级联方法、录像机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102514A (zh) * 2007-07-27 2008-01-09 浙江大学 实时全景无缝无失真视频摄像机
CN102510494A (zh) * 2011-10-09 2012-06-20 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
US20120274739A1 (en) * 2009-12-21 2012-11-01 Huawei Device Co.,Ud. Image splicing method and apparatus
CN104639911A (zh) * 2015-02-09 2015-05-20 浙江宇视科技有限公司 一种全景视频拼接方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102514A (zh) * 2007-07-27 2008-01-09 浙江大学 实时全景无缝无失真视频摄像机
US20120274739A1 (en) * 2009-12-21 2012-11-01 Huawei Device Co.,Ud. Image splicing method and apparatus
CN102510494A (zh) * 2011-10-09 2012-06-20 杭州华三通信技术有限公司 对i帧进行同步的方法及设备
CN104639911A (zh) * 2015-02-09 2015-05-20 浙江宇视科技有限公司 一种全景视频拼接方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886580A (zh) * 2016-03-29 2018-11-23 索尼公司 信息处理装置、成像装置、图像再现装置、方法和程序
CN109155854B (zh) * 2016-05-27 2022-06-07 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法及解码方法
CN109155854A (zh) * 2016-05-27 2019-01-04 松下电器(美国)知识产权公司 编码装置、解码装置、编码方法及解码方法
CN106231162B (zh) * 2016-07-27 2019-04-09 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
CN106231162A (zh) * 2016-07-27 2016-12-14 中国科学院长春光学精密机械与物理研究所 可重构大视场无缝拼接成像系统
CN107959769A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种摄像机
US10701122B2 (en) 2016-12-16 2020-06-30 Industrial Technology Research Institute Video streaming stitching and transmitting method, video streaming gateway and video streaming viewer
CN108206940A (zh) * 2016-12-16 2018-06-26 财团法人工业技术研究院 视频串流的接合与传输方法、网关装置及观看装置
CN108206940B (zh) * 2016-12-16 2020-09-25 财团法人工业技术研究院 视频串流的接合与传输方法、网关装置及观看装置
CN106657927B (zh) * 2017-02-06 2019-09-03 京东方科技集团股份有限公司 一种监控显示方法及装置
CN106657927A (zh) * 2017-02-06 2017-05-10 京东方科技集团股份有限公司 一种监控显示方法及装置
WO2020207403A1 (zh) * 2019-04-10 2020-10-15 杭州海康威视数字技术股份有限公司 一种图像获取方法及装置
CN112616018A (zh) * 2020-12-15 2021-04-06 深圳市普汇智联科技有限公司 一种可堆叠的全景视频实时拼接方法
CN112616018B (zh) * 2020-12-15 2022-03-11 深圳市普汇智联科技有限公司 一种可堆叠的全景视频实时拼接方法
CN113938632A (zh) * 2021-12-08 2022-01-14 深圳小湃科技有限公司 网络视频录像机级联方法、录像机及存储介质
CN113938632B (zh) * 2021-12-08 2023-09-22 深圳小湃科技有限公司 网络视频录像机级联方法、录像机及存储介质

Similar Documents

Publication Publication Date Title
CN105306837A (zh) 多图像拼接方法及装置
US9485466B2 (en) Video processing in a multi-participant video conference
KR20180081128A (ko) 비디오 코딩 방법, 장치, 디바이스 및 기억 매체
KR101841313B1 (ko) 멀티미디어 흐름 처리 방법 및 대응하는 장치
WO2019192416A1 (zh) 视频处理方法及其装置、存储介质、电子产品
CN111147860A (zh) 一种视频数据的解码方法及装置
JP2020198509A (ja) 同期制御装置、同期制御方法及び同期制御プログラム
CN111818295B (zh) 一种图像获取方法及装置
CN108769600B (zh) 一种基于视频流调帧率的桌面共享系统及其桌面共享方法
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
CN104602095A (zh) 一种组合桌面采集与同步显示方法及系统
CN113892274B (zh) 同步控制装置、同步控制方法以及同步控制程序
CN106060580A (zh) 图像同步显示方法及装置
US10972659B2 (en) Image capturing device, a method and a computer program product for forming an encoded image
CN107205158A (zh) 一种基于时间戳的多路音视频流同步解码方法
CN113938617A (zh) 一种多路视频显示方法、设备、网络摄像机及存储介质
TW201519641A (zh) 資料處理裝置、資料處理方法、程式、記錄媒體及資料處理系統
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
CN104853245A (zh) 一种电影预览方法和装置
JP4714003B2 (ja) 撮影装置および記録方法
US10389970B2 (en) Method and device for transmitting and receiving broadcast signal for restoring pulled-down signal
CN115052170B (zh) 一种基于sei时码信息的云上导播方法及装置
KR20180112471A (ko) 복수의 영상 동기화 방법 및 그 장치
WO2022206168A1 (zh) 一种视频制作方法及系统
CN115842897A (zh) 一种全景相机的视频录制方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160203