CN105245815A

CN105245815A - 一种实现mipi镜头在可穿戴设备当中使用的方法

Info

Publication number: CN105245815A
Application number: CN201510608786.XA
Authority: CN
Inventors: 段然; 李菂; 张国伟
Original assignee: Individual
Current assignee: Individual
Priority date: 2015-09-23
Filing date: 2015-09-23
Publication date: 2016-01-13

Abstract

一种MIPI信号的处理系统，采用MIPI接口直接连接至FPGA，使信号经过FPGA处理后直接实现图像处理功能，MIPI数据传输的差分信号直接经过HS接收端接收，同时引出差分信号中的一条线连接至LP接收端进行数据接收，根据差分信号和LP分量两种信号选择适合的FPGA管脚约束类型来采集专用电平的信号，将混叠了各种信息的MIPI信号进行时序整合、行场分离、数据整合处理，分离出行、场同步信号，进行时序整合，根据整合后的信息将图像信号解码成通用的LVCMOS信号并进行成像。

Description

一种实现MIPI镜头在可穿戴设备当中使用的方法

技术领域

本发明涉及摄像头图片处理领域，具体涉及将MIPI协议的接口与FPGA的结合，使用FPGA直接实现图像处理功能。

背景技术

未来的产品都将朝着移动的方向发展，随着时间的推移，涌现出了许许多多的接口标准，例如UART协议、I2C、I2S、SPI、SDIO等，同时也出现了各种与摄像头传感器和显示器相关的并行接口，多种不同的接口标准导致了设计时的混乱。移动设备的设计人员在设计某个功能系统时，可能得处理多达五种相互有冲突的专用物理层接口。多种不同的标准不利于设备接口的互联互通，也限制了产品开发者的选择。MIPI(移动产业处理器接口)是MIPI联盟发起的为移动应用处理器制定的开放标准，旨在将移动设备内部的接口如摄像头、显示屏、基带、射频接口等标准化，从而增加设计灵活性，同时降低成本、设计复杂度、功耗和EMI。

目前高端手机摄像头均为MIPI接口，一般使用的都是直接的数据处理芯片，如富士通等等专用芯片，该接口信号不能直接通过FPGA或DSP采集。但随着仪器设备的小型化趋势和手机摄像头性能的不断提高，使得在某些军事、工业设备上使用手机摄像头成为重要的方案之一，传统的通过数据处理芯片处理图片的方法在安全性、图片处理质量、待机时间以及运算速度上已经逐渐不能满足人们的需求。现有的解决方案一般从提高数据处理芯片的性能入手，一方面这种性能的提高是相对的、有限的；另一方面，这种操作无疑增加了生产成本，降低了产品竞争力。综上所述，单纯的提高数据处理芯片性能并不能解决通过数据处理芯片处理MIPI接口摄像头图片本身存在的矛盾。本发明创造性的将MIPI协议的接口与FPGA直接相连，使用FPGA直接实现图像处理功能，藉此实现更安全、运算速度更快、待机时间更长、声音及萤幕解析度更好的功能，完美的解决了传统图片处理方式存在的上述问题。

发明内容

为了克服现有的手机摄像头MIPI接口直接连接数据处理芯片进行图片处理这一传统方式带来的安全性能低、图片处理质量差、待机时间短以及运算速度的不足，本发明提供一种实现MIPI镜头在可穿戴设备当中使用的方法，将MIPI协议的接口与FPGA直接相连，使用FPGA直接实现图像处理功能。利用FPGA强大的运算功能，可以实现图片处理更安全、快速、低耗能的目标，同时可以满足更高质量图片的要求。

本发明是通过以下技术方案解决上述技术问题的：选择适合的FPGA，本系统中FPGA选型为XILINX公司的Spartant6系列的FPGA。选择合适的电气接口设计：数据传输的差分信号直接经过HS接收端接收，同时引出差分信号中的一条线连接至LP接收端进行数据接收。根据两种信号选择适合的约束管脚类型来采集专用电平的信号，LP不是差分信号，LP电平混叠着HS信号，设计时应避免使用低通滤波器而采用特定的管脚约束直接将LP信号连接FPGA的管脚，同时提高接收端低电平信号的噪声容限。再根据信号协议，将混叠了各种信息的MIPI信号进行处理，分离出行、场同步信号，进行时序整合；根据整合后的信息将图像信号解码成通用的LVCMOS信号并进行成像实验。

本发明的有益效果是，FPGA的基本查找表单元LUT仅占全资源的1％，在帧频为22fps、像素分辨率3264×2448时成像质量高、无畸变、长时间连续成像无丢帧现象，证明了该设计的可靠性和稳定性。同时程序可移植性强、输出为并行信号，满足开发人员的使用要求，已应用到某些具体项目中。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是MIPI数据包发送格式图。

图2是MIPI信号接收装置示意图。

图3是MIPI信号高速模式接收电路示意图图。

图4是FPGA模块提取行、场信号程序流程图。

图5是MIPI信号数据解码流程图。

图6是FPGA内部各模块的构成图。

具体实施方式

结合附图，以下对本发明整体的组成和功能做进一步详细说明。

本发明具体涉及将MIPI协议的接口与FPGA的结合，使用FPGA直接实现图像处理功能

图1中，MIPI信号为差分数据，包含一个时钟差分对和两个数据差分对。每个数据传输通道都有2种传输模式：LP(低功耗模式)和HS(高速模式)。LP模式传输速率为10Mbit/s、信号为0～1.2V摆幅。HS模式传输速率可高达1Gbit/s、信号为100～300mV摆幅。两种模式混叠在一起传输。LP传输分为长数据包和短数据包。长数据包为图像数据信息，短数据包为行、场同步等信息。较高端的手机摄像头HS只传输长数据包，行、场同步信息均混叠在LP模式中传输。

。注：图1中，ST为起始字符，SP为短数据包，ET为终止字符，LPS低功率状态，PH为数据包头，PF为数据包尾。

图2中，主要介绍的是LP和HS信号接收时要进行分离接收。由于LP和HS信号混叠在一起传输，接收端必须通过2种接收方式分别接收，LP和HS信号接收设置如图2所示。数据传输的差分信号直接经过HS接收端接收，同时引出差分信号中的一条线连接至LP接收端进行数据接收。

在图3中，MIPIDATANO和MIPIDATAPO分别为数据信号入口和数据信号出口。R1和R2分别为两个50欧姆的电阻。图2是接收传输来的LP和HS信号时需要对数据进行分离，图3为接收分离好的数据后要对数据进行滤波接收，也就是通过共模滤波接收。首先是HS接收端的设计问题，根据HS信号的特点首先设计FPGA管脚约束。在FPGA上任意找3.3V或者2.5V供电的bank(供电模块)上的几对差分管脚，设置这几对差分管脚约束为PPDS_33(点对点差分信号传输标准)或者PPDS_25，PPDS_33和PPDS_25(点对点差分信号传输标准)管脚的电气标准一样，为差分I/O，最小输入差分振幅为100mV，最大输入差分振幅为400mV。振幅中心可在200mV～2.3V。接收端驱动电路如图3所示，通过两个50Ω电阻形成200mV摆压，共模电容接地进行共模滤波。

然后是LP信号的接收，LP(低功耗模式)传输的信号不是差分信号，低电平V_OL的电压为0V，高电平V_OH的电平为1.2V。LP低功耗模式)传输的信号电平混叠着HS信号，根据MIPI协议资料推荐，LP信号在被管脚接收前进行低通滤波来滤除HS部分高频信号。但是低通滤波器同时具有积分作用，信号将产生较小的延时，在此类将行、场同步信号融合在LP信号中的数据类型，LP信号作用十分重要，较小的延时将会导致在解析8位或者10位MIPI数据时相位出错，很难采集到数据开始帧。所以设计时应避免使用低通滤波器而采用特定的管脚约束，直接将LP信号连接FPGA的管脚，同时提高接收端低电平信号的噪声容限。

行、场同步信号，其中较宽的脉冲为场同步信号，较窄的脉冲为行同步信号。根据两种脉冲的宽度差异设计FPGA模块自动提取行、场同步信号，程序流程图如图4所示。HS的数据信号是叠加在LP的低电平中，所以输出的行、场同步信号为低电平有效。当系统检测到LP信号处于时钟信号的上升沿时，判断Flg寄存器是否为0或1，若为0时则Reg1清零并开始计数。再检测LP处于下降沿时，计算REG＝REG1一REG2是否大于0，大于0时则场同步开始。当REG＝REG1-REG2小于0时则行同步开始。如果检测到Flg＝-Flg时，即当Flg为0时，进程结束。开始新一轮检测。这样对FPGA模块进行了自动的提取行、场同步信号。

在图5中，当LP通道检测到场同步信号(Vsync是同步信)下降沿时，表示场同步信号开始。设置大约50个像素延时后开始接收数据。首先检测SOT位(Start-of-transmission)，当检测到“B8(MIPI的数据差分线以Byte位传输，B8即为Byte8”时，此通道传输就绪。之后依次检测DataID位，WordCount位和ECC位。根据这些位可以确定接下来将要传输的数据信息。WordCount代表本次传输将传送数据的长度，有效传送数据最大字节为65535bytes。ECC为错误校验，如果校验出错，此时产生误检，此数据包丢掉，重新开始等待场同步信号。ECC位之后就可以依次接收像素数据，此次采集到的数据为第一行数据，接下根据行同步信号的下降沿分别开始接收数据，并在依次检验DataID位、WordCount位和ECC位后，接收每一行的数据。至此，实现了将MIPI协议的接口与FPGA的结合，并使用FPGA直接实现了图像处理功能。

在图6中，FPGA内部各模块的组成结构如图6所示，FPGA主要由可编程输入输出单元(IOB)、可配置逻辑块(CLB)、内部连线(Interconnect)三个部分构成。数据信号和相应的采集时钟信号通过DATA_DEVICE处理后进入到DATA_INTERFACE(数据接口)和Mxor_pck1的信号系统。总的时钟信号传输到HV_DIFF_DEVICE中进行处理输出同步型号。

Claims

1.一种MIPI信号的处理系统，其特征在于：MIPI接口直接连接至FPGA，使FPGA直接实现图像处理功能，MIPI数据传输的差分信号直接经过HS接收端接收，同时引出差分信号中的一条线连接至LP接收端进行数据接收，根据差分信号和LP分量两种信号选择适合的FPGA管脚约束类型来采集专用电平的信号。

2.根据权利要求1所述的系统，其特征在于：采用特定的FPGA管脚约束直接将LP分量信号连接至FPGA的管脚，同时提高接收端低电平信号的噪声容限，再将混叠了各种信息的MIPI信号进行时序整合、行场分离、数据整合处理，分离出行、场同步信号，进行时序整合，根据整合后的信息将图像信号解码成通用的LVCMOS信号并进行成像。

3.根据权利要求1所述的系统，其特征在于：所述管教约束包括在FPGA上任意找3.3V或者2.5V供电的bank上的几对差分管脚，设置这几对差分管脚约束为PPDS_33或者PPDS_25，PPDS_33和PPDS_25管脚的电气标准一样，为差分I/O，最小输入差分振幅为100mV，最大输入差分振幅为400mV，振幅中心可在200mV～2.3V，接收端驱动电路通过两个50Ω电阻形成200mV摆压，共模电容接地进行共模滤波。

4.一种根据权利要求1-3任一项所述的系统处理MIPI信号的流程，其特征在于：当FPGA的LP通道检测到场同步信号下降沿时，设置大约50个像素延时后开始接收数据；

首先检测SOT位(Start-of-transmission)，当检测到“B8”时，此通道传输就绪；

之后依次检测DataID位，WordCount位和ECC位，根据这些位可以确定接下来将要传输的数据信息。

5.根据权利要求4所述的流程，其特征在于：其中所述WordCount代表本次传输将传送数据的长度，有效传送数据最大字节为65535bytes；

ECC为错误校验，如果校验出错，此时产生误检，此数据包丢掉，重新开始等待场同步信号，ECC位之后就可以依次接收像素数据，此次采集到的数据为第一行数据，接下根据行同步信号的下降沿分别开始接收数据，并在依次检验DataID位、WordCount位和ECC位后，接收每一行的数据。