CN102006420B - 可使用外接同步的多种数据输出格式摄像机的设计方法 - Google Patents

可使用外接同步的多种数据输出格式摄像机的设计方法 Download PDF

Info

Publication number
CN102006420B
CN102006420B CN 201010592913 CN201010592913A CN102006420B CN 102006420 B CN102006420 B CN 102006420B CN 201010592913 CN201010592913 CN 201010592913 CN 201010592913 A CN201010592913 A CN 201010592913A CN 102006420 B CN102006420 B CN 102006420B
Authority
CN
China
Prior art keywords
signal
programmable gate
gate array
interface
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010592913
Other languages
English (en)
Other versions
CN102006420A (zh
Inventor
莫思特
胡术
冯达敏
吴志红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanda Zhisheng Software Co Ltd
Original Assignee
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan Chuanda Zhisheng Software Co Ltd
Priority to CN 201010592913 priority Critical patent/CN102006420B/zh
Publication of CN102006420A publication Critical patent/CN102006420A/zh
Application granted granted Critical
Publication of CN102006420B publication Critical patent/CN102006420B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

可使用外接同步的多种数据输出格式摄像机的设计方法涉及摄像机的数据输出。利用可编程门阵列模块进行外接同步信号与CCD时序的转换,实现与外接同步的双向通信。在FPGA上外接输入行模块、输入场模块、输入时钟模块和输入曝光模块来发送同步信号,外接高速串行接口、并行接口、低压差分信号接口和网络接口实现与外接同步的双向通信。软件控制FPGA首先使用外接控制信号。控制信号可以是输入场同步信号、输入行同步信号、输入时钟信号和输入曝光控制信号的一种或两种或三种或四种。外接设备还可增加视频压缩芯片或增加嵌入式芯片或增加视频压缩芯片和嵌入式芯片。本发明可使曝光时刻与特定事件同步、与外接设备的运算处理同步,软件编程快捷,程序运行时间和内存使用更少。

Description

可使用外接同步的多种数据输出格式摄像机的设计方法
技术领域
本发明属计算机应用范畴,特别涉及摄像机的数据。
背景技术
现有摄像机,数据输出格式单一,没有采用外同步,也没有多种数据格式的输出。这样,在需要与外部事件同步的情况下,没法实现与外部事件的同步。同时,由于输出信号单一,在外接设备需要进行数字图像处理时,必须有外部设备进行数据格式转换,既影响原始数据质量,又占用了外接设备的处理时间。
发明内容
本发明的目的是提供一种可使用外接同步的多种数据输出格式摄像机的设计方法。按照这种方法,实现现有摄像机外接场同步和行同步信号。并且数据可以用网络接口输出,也可以用高速串行通信方式输出,也可以用并行接口输出。数据输出格式可以为JPEG, Bayer,RGB,YUV 的任意一种。
本发明的目的是这样达到的:利用可编程门阵列模块FPGA进行外接同步信号与CCD时序的转换,利用可编程门阵列模块FPGA实现与外接同步的双向通信。实现的方式是:在现有摄像机上外接发送同步信号和通信接口电路的外接设备,外接设备中发送同步信号的模块包括输入行模块、输入场模块、输入时钟模块和输入曝光模块,通信接口电路包括高速串行接口、并行接口、低压差分信号接口和网络接口电路,各个模块通过引脚连接在可编程门阵列FPGA相关引脚上。外接设备发送给摄像机控制命令,通过通信接口电路控制或通过输入同步信号对可编程门阵列进行控制,输入的同步信号可以是输入场同步信号、输入行同步信号、输入时钟信号和输入曝光控制信号的一种或两种或三种或四种。可编程逻辑门阵列根据外接设备指令以及所输入的控制信号产生图像传感器所需要的场同步信号,行同步信号,时钟信号,驱动时序信号,曝光控制信号,控制图像传感器按序输出成像平面像素的亮度信号。
可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号;进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号,对YUV格式视频信号进行M-JPEG格式视频压缩和H264视频压缩。并根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备。
所述可编程门阵列所产生图像传感器所需要的场同步信号,行同步信号,时钟信号,驱动时序信号,曝光控制信号也可自己产生。
在可编程门阵列FPGA上还外接有视频压缩处理芯片及其外围电路。可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号后进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号;可编程逻辑门阵列将视频输出信号输出给视频压缩处理芯片,由视频压缩处理芯片完成M-JPEG压缩或H264压缩,并将压缩数据送给可编程逻辑门阵列FPGA。
在可编程门阵列FPGA上还外接有嵌入式芯片及其外围电路。在外接的通信接口中,高速串行接口,并行接口,低压差分信号接口由FPGA实现,网络接口由嵌入式芯片完成,嵌入式芯片与FPGA之间通信通过板内并行接口完成。可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号后进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号,对YUV格式视频信号进行M-JPEG格式视频压缩和H264视频压缩;并根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备。
在可编程门阵列FPGA上还外接有视频压缩处理芯片及其外围电路和嵌入式芯片及其外围电路。在外接通信接口中,高速串行接口,并行接口,低压差分信号接口由FPGA实现,网络接口由嵌入式芯片完成。嵌入式芯片与FPGA之间通信通过板内并行接口完成;可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号。可编程逻辑门阵列将视频输出信号输出给视频压缩处理芯片,由视频压缩处理芯片完成M-JPEG压缩或H264压缩,并将压缩数据送给可编程逻辑门阵列FPGA;可编程逻辑门阵列FPGA根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备。
外接设备的通信接口中的高速串行接口包括PCI Express 接口和RocketIO 接口。
本发明的优点是:提供了一种外接同步,可以使得曝光时刻与特定事件同步。比如,在摄像机中,与50HZ工频信号同步。也可以由外边产生行场同步,与外接设备的运算处理同步。多种输出接口和数据输出格式,使得外接设备接口更加容易。外接设备软件编程更加快捷,并可以使用更少的程序运行时间和使用更少的内存。
附图说明
图1是本发明的方法示意图。
图2是在可编程门阵列模块上外接外部设备示意图。
图3是在图2基础上,增加视频压缩处理芯片以及外围电路接口模块示意图。
图4在图2基础上,增加嵌入式处理芯片以及外围电路接口模块示意图。
图5在图2基础上,增加视频压缩处理芯片以及外围电路接口模块和嵌入式处理芯片以及外围电路接口模块示意图。
图6可编程门阵列产生图像传感器所需要的信息数据处理流程图。
图7外接输入行,场,时钟和曝光电路图。
图8外接串行,并行接口输入电路图。
图9网络接口电路图。
图10、11共同构成视频压缩以及外围电路接口模块电路图。
图12、13(U10C)、14、15、16、17(U10C)共同构成嵌入式模块以及外围电路接口模块电路图。
具体实施方式
附图给出了本方法的四种具体实施例。在实施例1的基础上可根据实际需要增加不同的模块实现不同外接输出。实施例中,在模块内部以及模块之间,网络名相同的芯片引脚存在短接关系。
在实施例中,采用芯片的公司和型号如下:
图像传感器:   SONY 公司, ICX205     可编程门阵列:  Xilnx公司, X3S1200   
视频压缩芯片: TOKYO公司,  TE3310     嵌入式芯片:Atmel 公司,AR91RM9200   
外接输入行,场,时钟和曝光电路:均采用MAXIM 公司,  MAX3491    
外接串行,并行接口输入电路:TI 公司,  SN74LVC16245。
在四种实施例中,可编程门阵列对输入数据的处理一致。保证了在有外接输入信号时使用输入信号,没有外接信号时使用可编程门阵列自己的信号。从图6可知,可编程门阵列产生图像传感器所需要的信息数据处理流程图是:分别对输入场同步信号、输入行同步信号、输入时钟同步信号和输入曝光同步信号进行检测,若有上述输入信号,首先使用输入信号,若没有输入信号则使用可编程门阵列自己的场同步信号、行同步信号、时钟同步信号和曝光同步信号,控制图像传感器按序输出成像平面像素的亮度信号。输入信号模块采用了四块MAX3491 模块,分别作为输入行模块、输入场模块、输入时钟模块和曝光模块。
在实施例1,参见附图2。在现有摄像机上外接发送同步信号和通信接口电路的外接设备,外接设备中发送同步信号的模块包括输入行模块、输入场模块、输入时钟模块和曝光模块,通信接口电路包括高速串行接口、并行接口、低压差分信号接口和网络接口电路,各个模块通过引脚连接在可编程门阵列FPGA相关引脚上。外接设备发送给摄像机控制命令,通过通信接口电路控制或通过输入同步信号对可编程门阵列进行控制,输入的同步信号可以是输入场同步信号、输入行同步信号、输入时钟信号和输入曝光控制信号的一种或两种或三种或四种。可编程逻辑门阵列根据外接设备指令以及所输入的控制信号产生图像传感器所需要的场同步信号,行同步信号,时钟信号,驱动时序信号,曝光控制信号,控制图像传感器按序输出成像平面像素的亮度信号。
可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号;进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号,对YUV格式视频信号进行M-JPEG格式视频压缩和H264视频压缩。并根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频信号,H264视频压缩信号中的一种或多种,输出给外接设备。
实施例2,参见附图3。实施例1的基础上增加了视频压缩处理芯片及其外围电路。增加视频压缩处理芯片可以使专用的压缩集成电路,也可以使数字信号处理(DSP)芯片。本例使用的是TOKYO公司的TE3310芯片。
可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号。进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号。可编程逻辑门阵列将视频输出信号(RGB信号或者YUV信号)输出给视频压缩处理芯片,由视频压缩处理芯片完成M-JPEG压缩或H264压缩,并将压缩数据送给可编程逻辑门阵列FPGA。
实施例3,参见附图4。在实施例1的基础上增加嵌入式处理芯片以及外围电路接口模块。增加的嵌入式处理芯片可以是ARM芯片,也可以是POWER PC芯片。本例使用的是Atmel 公司的AR91RM9200 芯片。外接通信接口中的高速串行接口,并行接口,低压差分信号接口连接在可编程门阵列模块上,由可编程门阵列模块FPGA实现上述接口的双向通信。网络接口连接在嵌入式芯片上,由嵌入式芯片完成网络通信。嵌入式芯片与可编程门阵列模块FPGA之间的通信通过板内并行接口完成。可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号。进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号,并对YUV格式视频信号进行M-JPEG格式视频压缩和H264视频压缩。并根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备。
实施例4,参见附图5。在实施例1的基础上增加视频压缩处理芯片及其外围电路和嵌入式处理芯片以及外围电路接口模块。与实施例3一样,外接通信接口中的高速串行接口,并行接口,低压差分信号接口连接在可编程门阵列模块上,由可编程门阵列模块FPGA实现上述接口的双向通信。网络接口连接在嵌入式芯片上,由嵌入式芯片完成网络通信。嵌入式芯片与可编程门阵列模块FPGA之间的通信通过板内并行接口完成。
可编程逻辑门阵列收到图像传感器输出成像平面像素的亮度信号。进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号。可编程逻辑门阵列将视频输出信号(RGB信号或者YUV信号)输出给视频压缩处理芯片,由视频压缩处理芯片完成M-JPEG压缩或H264压缩,并将压缩数据送给可编程逻辑门阵列FPGA。可编程逻辑门阵列FPGA根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备。

Claims (5)

1.一种可使用外接同步的多种数据输出格式摄像机的设计方法,其特征在于:利用可编程门阵列模块FPGA进行外接同步信号与CCD时序的转换,利用可编程门阵列模块FPGA实现与外接设备的双向通信;实现的方式是:在摄像机上外接发送同步信号和具有通信接口电路的外接设备,外接设备中发送同步信号的模块包括输入行模块、输入场模块、输入时钟模块和输入曝光模块,通信接口电路包括高速串行接口、并行接口、低压差分信号接口和网络接口电路,各个模块通过引脚连接在可编程门阵列FPGA相关引脚上;外接设备发送给摄像机控制命令,通过通信接口电路控制或通过输入同步信号对可编程门阵列进行控制,输入的同步信号可以是输入场同步信号、输入行同步信号、输入时钟信号和输入曝光控制信号的一种或两种或三种或四种;可编程门阵列根据外接设备指令以及所输入的控制信号产生图像传感器所需要的场同步信号,行同步信号,时钟信号,驱动时序信号,曝光控制信号,控制图像传感器按序输出成像平面像素的亮度信号;
可编程门阵列收到图像传感器输出成像平面像素的亮度信号;进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号,对YUV格式视频信号进行M-JPEG格式视频压缩和H264视频压缩;并根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备;
     所述可编程门阵列所产生图像传感器所需要的场同步信号,行同步信号,时钟信号,驱动时序信号,曝光控制信号也可自己产生。
2.如权利要求1所述的方法,其特征在于:在可编程门阵列FPGA上还外接有视频压缩处理芯片及其外围电路;可编程门阵列收到图像传感器输出成像平面像素的亮度信号后进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号;可编程门阵列将视频输出信号输出给视频压缩处理芯片,由视频压缩处理芯片完成M-JPEG压缩或H264压缩,并将压缩数据送给可编程门阵列FPGA。
3.如权利要求1所述的方法,其特征在于:在可编程门阵列FPGA上还外接有嵌入式芯片及其外围电路;在外接的通信接口中,高速串行接口,并行接口,低压差分信号接口由FPGA实现,网络接口由嵌入式芯片完成,嵌入式芯片与FPGA之间通信通过板内并行接口完成。
4.如权利要求1所述的方法,其特征在于:在可编程门阵列FPGA上还外接有视频压缩处理芯片及其外围电路和嵌入式芯片及其外围电路;在外接通信接口中,高速串行接口,并行接口,低压差分信号接口由FPGA实现,网络接口由嵌入式芯片完成;嵌入式芯片与FPGA之间通信通过板内并行接口完成;可编程门阵列收到图像传感器输出成像平面像素的亮度信号进行Bayer变换,生成RGB格式视频信号,再将RGB格式视频信号转换为YUV格式视频信号;可编程门阵列将视频输出信号输出给视频压缩处理芯片,由视频压缩处理芯片完成M-JPEG压缩或H264压缩,并将压缩数据送给可编程门阵列FPGA;可编程门阵列FPGA根据外接设备的控制命令选择像素的亮度信号,RGB格式视频信号,YUV格式视频信号,M-JPEG格式视频压缩信号,H264视频压缩信号中的一种或多种,输出给外接设备。
5.如权利要求1或2或3或4所述的方法,其特征在于:所述外接设备的通信接口中的高速串行接口包括PCI Express 接口和RocketIO 接口。
CN 201010592913 2010-12-17 2010-12-17 可使用外接同步的多种数据输出格式摄像机的设计方法 Expired - Fee Related CN102006420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010592913 CN102006420B (zh) 2010-12-17 2010-12-17 可使用外接同步的多种数据输出格式摄像机的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010592913 CN102006420B (zh) 2010-12-17 2010-12-17 可使用外接同步的多种数据输出格式摄像机的设计方法

Publications (2)

Publication Number Publication Date
CN102006420A CN102006420A (zh) 2011-04-06
CN102006420B true CN102006420B (zh) 2012-02-08

Family

ID=43813453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010592913 Expired - Fee Related CN102006420B (zh) 2010-12-17 2010-12-17 可使用外接同步的多种数据输出格式摄像机的设计方法

Country Status (1)

Country Link
CN (1) CN102006420B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102186011A (zh) * 2011-05-13 2011-09-14 合肥埃科光电科技有限公司 一种基于全硬件的数字高清摄像机
CN102484690B (zh) * 2011-06-23 2014-07-30 华为终端有限公司 一种移动终端录像方法、相关装置以及系统
CN102368807A (zh) * 2011-06-28 2012-03-07 上海盈方微电子有限公司 一种适用嵌入式系统的相机模型架构方法
CN102231824A (zh) * 2011-08-04 2011-11-02 深圳市超视科技有限公司 视频监控任意编码格式数字矩阵系统及其实现方法
CN102523389A (zh) * 2011-12-14 2012-06-27 武汉市兑尔科技有限公司 一种基于sopc的双路视频融合处理装置及其融合方法
CN102735263B (zh) * 2012-03-08 2014-12-24 中国科学院长春光学精密机械与物理研究所 空间立体测绘相机时间同步精度的全程实时检测系统和方法
CN105578012B (zh) * 2016-02-04 2018-11-16 福建福光股份有限公司 基于X86平台通用cpu的高性能嵌入式相机系统
CN107257427B (zh) * 2017-06-27 2023-04-25 四川大学 九镜头无人机全景摄像机及其图像处理方法
CN109302567A (zh) * 2017-07-25 2019-02-01 珠海全志科技股份有限公司 摄像头图像低延迟同步系统及图像低延迟同步方法
CN111492650B (zh) * 2018-02-09 2021-04-30 深圳开阳电子股份有限公司 图像预处理方法及装置、图像传感器接口、图像处理方法及装置
BE1026413B1 (de) * 2018-06-21 2020-01-30 Phoenix Contact Gmbh & Co Medienkonverter
CN111711842B (zh) * 2020-05-18 2022-04-22 深圳市东微智能科技股份有限公司 同步显示控制方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1135275A (zh) * 1994-07-29 1996-11-06 索尼公司 摄像装置和摄像系统
CN1822673A (zh) * 2004-10-01 2006-08-23 美国博通公司 一种无线终端内的可配置的相机接口及处理图像的方法
CN101231455A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 一种利用激光分光器进行多摄像机同步的装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085320B2 (en) * 2001-07-31 2006-08-01 Wis Technologies, Inc. Multiple format video compression

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1135275A (zh) * 1994-07-29 1996-11-06 索尼公司 摄像装置和摄像系统
CN1822673A (zh) * 2004-10-01 2006-08-23 美国博通公司 一种无线终端内的可配置的相机接口及处理图像的方法
CN101231455A (zh) * 2008-01-31 2008-07-30 北京航空航天大学 一种利用激光分光器进行多摄像机同步的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕伟男.基于CCD的多路外同步摄像系统的研制.《中国优秀硕士学位论文全文数据库 信息科技辑》.2010,(第8期),全文. *

Also Published As

Publication number Publication date
CN102006420A (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
CN102006420B (zh) 可使用外接同步的多种数据输出格式摄像机的设计方法
CN105141877B (zh) 一种基于可编程器件的信号转换装置
CN207218845U (zh) 环视摄像装置
CN105611295A (zh) 一种在soc上实现视频采集压缩传输的系统和方法
CN202634545U (zh) 全景视频图像摄录系统
CN105611177A (zh) 实现全景相机的多个摄像头同时拍摄的方法及全景相机
CN105404788B (zh) 一种分布式医疗诊断系统
EP3528490B1 (en) Image data frame synchronization method and terminal
CN103188479A (zh) 一种基于光纤接口的视频监控系统及其监控方法
CN105516624A (zh) 一种基于多核dsp的多通道图像采集处理系统
CN106454023B (zh) Usb3.0cmos线阵工业相机
CN106713804A (zh) 一种三通道图像传输接口转换装置及方法
CN103384335B (zh) 一种视频格式转换方法、系统及装置
CN102547238A (zh) 一种应用于多路dvr中的视频级联系统及方法
CN104580895B (zh) 一种具有摄照同步工作能力的机载成像系统
CN205754597U (zh) 一种基于fpga的多路视频拼接装置
US9013556B2 (en) 3D image capturing device for generating a 3D image based on two 2D images and controller chip thereof
CN102256105A (zh) 一种嵌入式平台上使用多个摄像头捕捉图像的方法
CN102438130A (zh) 一种基于dsp和cpld的无线视频采集系统
CN203675242U (zh) 基于usb3.0接口的摄像头产品测试装置
CN202749079U (zh) 基于fpga的高像素模组分屏显示系统
CN201577149U (zh) 多功能现场记录仪
CN204481952U (zh) 一种基于高清视频切换和摄像跟踪的会议系统
CN101325712A (zh) 一种基于arm的便携式图像实时采集和显示终端
CN106385556B (zh) 一种箭载ccd图像采集压缩系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120208