CN105681632A - 多目摄像机及其帧同步的方法 - Google Patents

多目摄像机及其帧同步的方法 Download PDF

Info

Publication number
CN105681632A
CN105681632A CN201511020037.1A CN201511020037A CN105681632A CN 105681632 A CN105681632 A CN 105681632A CN 201511020037 A CN201511020037 A CN 201511020037A CN 105681632 A CN105681632 A CN 105681632A
Authority
CN
China
Prior art keywords
control chip
master control
image sensor
crystal oscillator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511020037.1A
Other languages
English (en)
Other versions
CN105681632B (zh
Inventor
付昕军
李国栋
王三勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huatu Digital Technology Co Ltd
Original Assignee
Shenzhen Huatu Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huatu Digital Technology Co Ltd filed Critical Shenzhen Huatu Digital Technology Co Ltd
Priority to CN201511020037.1A priority Critical patent/CN105681632B/zh
Publication of CN105681632A publication Critical patent/CN105681632A/zh
Application granted granted Critical
Publication of CN105681632B publication Critical patent/CN105681632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Abstract

本发明提供了一种多目摄像机及其帧同步的方法，其中多目摄像机包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。本发明所述多目摄像机通过将每个摄像单元共用一个电源和一个晶振，有效保证了每个摄像单元工作时钟的同步，以获得同步效果好的全景图像，克服了背景技术中所述多目摄像机帧不同步的问题，使得多目摄像机达到了真正的帧同步。

Description

多目摄像机及其帧同步的方法
技术领域
本发明涉及多目摄像机技术领域，尤其涉及一种多目摄像机及其帧同步的方法。
背景技术
随着视频技术的不断进步，视频应用越来越广泛，人们对视频的要求也越来越高。多目摄像机也在需求的推动下渐显市场。所谓多目摄像机，就是前端使用多个图像传感器，后端使用图像处理技术把多个图像传感器的图像组合成一幅完整的图像的设备。
目前的多目摄像机包含多个图像传感器，每个传感器对应一个独立的编码芯片，编码芯片对图像传感器采集到的视频进行独立编码，然后通过网络将编码数据发送到网络，网络上的主机使用图像拼接技术把多个图像拼接成一幅完整的图像，称之为全景图像。但由于视频画面来自不同的图像传感器，各个图像传感器采集视频的步调不一致，这就会使各个图像传感器难以在同一时间点同步采集视频，最终导致在图像所呈现的画面空间上相差甚大，另外，采集之后又不是采用同一个芯片进行编码，更加剧了不同步现象，这个现象在高速剧烈变化的场景下表现得尤为明显。比如，一辆高速行进的汽车从多目摄像机下面开过，依次在各个图像传感器下面经过，其中一个图像传感器准确采集到了汽车图像，之后出现在相邻的图像传感器下方的区域，但是此图像传感器可能正处在采集的间隙，导致此图像传感器并没有采集到汽车图像或者仅仅采集一部分汽车图像，后续经过一序列的处理，最终将各个图像传感器采集到的图像拼接成完整的一副图像，如此连续采集并处理，最终形成连续的视频画面，人眼直接观看的视频画面可能就是汽车运动轨迹不连续，即汽车从全景图像中的某一区域出现了，过了一段时间才在另外一块区域出现，也可能是出现一部分汽车图像的奇怪现象，这个时间可能很短，但是还是可以被察觉，这一问题被称为帧同步问题。
因为采集本身就不同步，这决定了后期不论如何处理，都做不到同步。若采用时间戳进行同步，在视频编码之后进行处理，同时编码处理又是在多个独立的编码芯片上进行，各个编码芯片有着各自的时钟，并不完全一致，因此处理的基准不一致，很难做到精准的同步效果，导致现有的多目摄像机难以解决帧同步的问题。
发明内容
为此，本发明所要解决的技术问题是：提供一种多目摄像机及其帧同步的方法，以解决多目摄像机帧同步的问题，使得多目摄像机达到了真正的帧同步。
于是，本发明提供了一种多目摄像机，包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
其中，所述主控芯片控制摄像单元同时上电。
所述主控芯片为Hi3531芯片。
所述图像传感器为同一厂家同一型号图像传感器。
本发明还提供了一种多目摄像机的帧同步的方法，包括至少两个图像传感器和与之各自对应的数据发送端，每个图像传感器和与之对应的数据发送端为一摄像单元，该方法包括：
每个摄像单元共用一个电源和一个晶振；
摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
上述方法还包括：所述主控芯片控制摄像单元同时上电。
其中，所述主控芯片为Hi3531芯片。
本发明所述多目摄像机及其帧同步的方法，通过将每个摄像单元共用一个电源和一个晶振，有效保证了每个摄像单元工作时钟的同步，以获得同步效果好的全景图像，克服了背景技术中所述多目摄像机帧不同步的问题，使得多目摄像机达到了真正的帧同步。
附图说明
图1为本发明实施例所述多目摄像机的结构示意图。
具体实施方式
下面，结合附图对本发明进行详细描述。
如图1所示，本实施例提供了一种多目摄像机，包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
其中，主控芯片控制摄像单元同时上电。所述主控芯片为Hi3531芯片。
具体的，本实施例中采用同一厂家、同一型号规格的图像传感器。虽然这仍然难以保证图像传感器性能指标完全一致，但是差别不大，可以近似认为一致。各个图像传感器由一个统一的外部晶振驱动，其目的是在同一个晶振驱动的情况下，各个图像传感器工作时钟完全一致，因此可以统一动作。如果多个图像传感器则由多个外部晶振来驱动，因为晶振制作工艺的原因，即使晶振来自同一厂家，晶振规格完全相同，晶振频率也难以完全一样。
此外，为了保证各个图像传感器同时上电，每个摄像单元共用一个电源和一个晶振。
各个图像传感器通过传输通道统一汇集到一个编码主控芯片上，由同一个主控芯片对各个图像进行统一编码。理论上应该对采集到的图像进行拼接处理，拼接成一份全景图像，然后对全景图像进行编码，这样的同步效果最好，但是因为拼接处理会消耗大量的硬件资源，目前没有性能如此强大的芯片或者芯片价格甚高，因此本实施例中采用同一个主控芯片对各个图像采集到的图像分别进行编码，虽然主控芯片是按顺序对各个图像进行编码，但是由于是硬件直接进行编码，其处理速度很快，同时由于采用了同一个主控芯片，因此这些视频帧拥有相同的时间戳基准，总有一个时间点，各个视频帧拥有非常相近的时间戳，找到这个时间点之后，将之前的视频帧丢弃，之后的视频帧就可以认为都是同步的了。这个时间点称之为同步点。
摄像单元中的数据发送端，负责将图像传感器采集到的图像数据发送出去；数据接收端，接收数据发送端发送过来的数据，并汇集到主控芯片。
当给多目摄像机上电之后，主控芯片首先进行自身的初始化，之后对数字接收端进行初始化，一切准备就绪之后，启动晶振，给模拟摄像机提供驱动，再给四路摄像机模块同时上电。至此，多目摄像机上电完成，之后进行正常的图像处理流程。数据发送端将图像传感器采集的图像数据发送给数据接收端，数据接收端将接收到的各路图像数据通过一定的时序交给主控芯片，主控芯片对接收到的数据进行统一编码，并在编码后，对各路视频帧按照时间戳进行处理，找到同步点，丢弃同步点之前的视频帧，然后将这些同步的帧发送到网络上。另外，主控芯片还控制各路图像传感器同时上电。
使用上述多目摄像机，本实施例还提供了一种多目摄像机的帧同步的方法，该方法包括：
每个摄像单元共用一个电源和一个晶振；
摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
上述方法是一种在多目摄像机里面实现帧同步的方法，该方法利用同一电源给所有图像传感器进行供电，控制同时上电，之后采用同一晶振驱动图像传感器进行图像采集，最后采用同一编码芯片对采集到的图像进行编码，并按照时间戳对视频帧进行同步处理，以达到精准的帧同步。
综上所述，本实施例所述多目摄像机及其帧同步的方法，通过将每个摄像单元共用一个电源和一个晶振，有效保证了每个摄像单元工作时钟的同步，以获得同步效果好的全景图像，克服了背景技术中所述多目摄像机帧不同步的问题，使得多目摄像机达到了真正的帧同步。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多目摄像机，其特征在于，包括至少两个图像传感器和与之各自对应的数据发送端、一个电源、一个晶振、一个数据接收端和一个主控芯片，每个图像传感器和与之对应的数据发送端为一摄像单元，每个摄像单元共用一个电源和一个晶振，摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
2.根据权利要求1所述的多目摄像机，其特征在于，所述主控芯片控制摄像单元同时上电。
3.根据权利要求1所述的多目摄像机，其特征在于，所述主控芯片为Hi3531芯片。
4.根据权利要求1至3任意一项所述的多目摄像机，其特征在于，所述图像传感器为同一厂家同一型号图像传感器。
5.一种多目摄像机的帧同步的方法，包括至少两个图像传感器和与之各自对应的数据发送端，每个图像传感器和与之对应的数据发送端为一摄像单元，其特征在于，包括：
每个摄像单元共用一个电源和一个晶振；
摄像单元将采集到的图像数据通过数据接收端发送给主控芯片进行处理。
6.根据权利要求5所述的方法，其特征在于，还包括：所述主控芯片控制摄像单元同时上电。
7.根据权利要求5所述的方法，其特征在于，所述主控芯片为Hi3531芯片。
CN201511020037.1A 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法 Active CN105681632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511020037.1A CN105681632B (zh) 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511020037.1A CN105681632B (zh) 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法

Publications (2)

Publication Number Publication Date
CN105681632A true CN105681632A (zh) 2016-06-15
CN105681632B CN105681632B (zh) 2019-06-28

Family

ID=56298055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511020037.1A Active CN105681632B (zh) 2015-12-31 2015-12-31 多目摄像机及其帧同步的方法

Country Status (1)

Country Link
CN (1) CN105681632B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507017A (zh) * 2016-10-18 2017-03-15 青岛海信电器股份有限公司 一种实现v‑by‑one的fpga芯片和相应的v‑by‑one处理方法
CN107277385A (zh) * 2017-06-12 2017-10-20 深圳市瑞立视多媒体科技有限公司 一种多相机系统同步曝光的控制方法、装置及终端设备
CN107426491A (zh) * 2017-05-17 2017-12-01 西安邮电大学 一种360度全景视频的实现方法
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
CN109565563A (zh) * 2016-08-09 2019-04-02 索尼公司 多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法
CN111277804A (zh) * 2020-03-10 2020-06-12 北京爱笔科技有限公司 图像处理方法、装置和多摄像头同步系统
WO2020125643A1 (zh) * 2018-12-18 2020-06-25 华为技术有限公司 帧同步方法及其装置
CN112911299A (zh) * 2019-12-03 2021-06-04 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071348A (zh) * 2006-05-11 2007-11-14 北京华旗资讯数码科技有限公司 一种通过识别动态轨迹控制光标、操作视窗的方法
CN101266131A (zh) * 2008-04-08 2008-09-17 长安大学 一种基于图像的体积测量装置及其测量方法
CN201928379U (zh) * 2010-10-28 2011-08-10 上海德致伦电子科技有限公司 用于立体视觉的双目成像设备及双目视频监控系统
CN102186015A (zh) * 2011-04-26 2011-09-14 北京思比科微电子技术股份有限公司 多图像传感器的图像处理设备及图像处理方法
CN202503589U (zh) * 2012-02-24 2012-10-24 北京思比科微电子技术股份有限公司 具有采样控制功能的图像传感器及多图像传感器系统
US20150271402A1 (en) * 2014-03-21 2015-09-24 Inventec Appliances (Pudong) Corporation Panoramic scene capturing and browsing mobile device, system and method
CN205453872U (zh) * 2015-12-31 2016-08-10 深圳市华途数字技术有限公司 多目摄像机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071348A (zh) * 2006-05-11 2007-11-14 北京华旗资讯数码科技有限公司 一种通过识别动态轨迹控制光标、操作视窗的方法
CN101266131A (zh) * 2008-04-08 2008-09-17 长安大学 一种基于图像的体积测量装置及其测量方法
CN201928379U (zh) * 2010-10-28 2011-08-10 上海德致伦电子科技有限公司 用于立体视觉的双目成像设备及双目视频监控系统
CN102186015A (zh) * 2011-04-26 2011-09-14 北京思比科微电子技术股份有限公司 多图像传感器的图像处理设备及图像处理方法
CN202503589U (zh) * 2012-02-24 2012-10-24 北京思比科微电子技术股份有限公司 具有采样控制功能的图像传感器及多图像传感器系统
US20150271402A1 (en) * 2014-03-21 2015-09-24 Inventec Appliances (Pudong) Corporation Panoramic scene capturing and browsing mobile device, system and method
CN205453872U (zh) * 2015-12-31 2016-08-10 深圳市华途数字技术有限公司 多目摄像机

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109565563A (zh) * 2016-08-09 2019-04-02 索尼公司 多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法
CN109565563B (zh) * 2016-08-09 2022-04-26 索尼公司 多相机系统、信息处理装置以及非暂态计算机可读介质
US11323679B2 (en) 2016-08-09 2022-05-03 Sony Group Corporation Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus
CN106507017A (zh) * 2016-10-18 2017-03-15 青岛海信电器股份有限公司 一种实现v‑by‑one的fpga芯片和相应的v‑by‑one处理方法
CN107426491A (zh) * 2017-05-17 2017-12-01 西安邮电大学 一种360度全景视频的实现方法
CN107277385A (zh) * 2017-06-12 2017-10-20 深圳市瑞立视多媒体科技有限公司 一种多相机系统同步曝光的控制方法、装置及终端设备
CN107277385B (zh) * 2017-06-12 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种多相机系统同步曝光的控制方法、装置及终端设备
CN109194436A (zh) * 2018-11-01 2019-01-11 百度在线网络技术（北京）有限公司 传感器时间戳同步测试方法、装置、设备、介质及车辆
WO2020125643A1 (zh) * 2018-12-18 2020-06-25 华为技术有限公司 帧同步方法及其装置
CN112911299A (zh) * 2019-12-03 2021-06-04 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
CN112911299B (zh) * 2019-12-03 2023-02-28 浙江宇视科技有限公司 一种视频码率控制方法、装置、电子设备和存储介质
CN111277804A (zh) * 2020-03-10 2020-06-12 北京爱笔科技有限公司 图像处理方法、装置和多摄像头同步系统

Also Published As

Publication number Publication date
CN105681632B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN105681632A (zh) 多目摄像机及其帧同步的方法
CN103905741B (zh) 超高清全景视频实时生成与多通道同步播放系统
CN101416520B (zh) 多视图的高效编码
CN103795979B (zh) 一种分布式图像拼接同步的方法和装置
CN109716769B (zh) 在多媒体信息中提供面向对象的缩放的系统和方法
EP4261778A1 (en) Posture estimation method related apparatus
CN106331850A (zh) 浏览器直播客户端、浏览器直播系统及浏览器直播方法
CN104243920B (zh) 一种基于基本流视频数据封装的图像拼接方法及装置
CN103957344A (zh) 多摄像装置的视频同步方法和系统
CN108848354B (zh) 一种vr内容摄像系统及其工作方法
CN104539929A (zh) 带有运动预测的立体图像编码方法和编码装置
CN102510494B (zh) 对i帧进行同步的方法及设备
CN205453872U (zh) 多目摄像机
CN105516542A (zh) 基于硬件编码器的多通道视频同步系统及其同步方法
WO2022141333A1 (zh) 一种图像处理方法以及装置
CN109640051A (zh) 一种大场景的分布式拼接监控系统
CN102905136A (zh) 一种视频编解码方法、系统
CN108174119A (zh) 摄像装置的控制方法、多光谱摄像设备、无人机及介质
CN103475877A (zh) 视频传输方法和系统
CN205647708U (zh) 使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统
CN103051866B (zh) 网络3d 视频监控系统、方法和视频处理平台
CN106954029A (zh) 一种全景视频拼接方法及系统
CN104918037B (zh) 3d图像显示装置和方法以及移动终端
CN204302608U (zh) 电子设备
CN103548345A (zh) 记录设备和方法、再现设备和方法、程序和记录再现设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant