CN110830782A - 一种基于fpga实现mipi csi-2的raw到yuv的转换方法 - Google Patents

一种基于fpga实现mipi csi-2的raw到yuv的转换方法 Download PDF

Info

Publication number
CN110830782A
CN110830782A CN201911138211.0A CN201911138211A CN110830782A CN 110830782 A CN110830782 A CN 110830782A CN 201911138211 A CN201911138211 A CN 201911138211A CN 110830782 A CN110830782 A CN 110830782A
Authority
CN
China
Prior art keywords
data
yuv
raw
parallel port
fpga
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911138211.0A
Other languages
English (en)
Inventor
曹建楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Getjoy Mdt Infotech Ltd
Original Assignee
Nantong Getjoy Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Getjoy Mdt Infotech Ltd filed Critical Nantong Getjoy Mdt Infotech Ltd
Priority to CN201911138211.0A priority Critical patent/CN110830782A/zh
Publication of CN110830782A publication Critical patent/CN110830782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明公开了一种基于FPGA实现MIPI CSI‑2的RAW到YUV的转换方法，包括以下步骤：A、将MIPI CSI数据转换成并口数据；B、将并口raw10数据转换成并口YUV422‑8数据，其中可对并口数据进行gamma矫正、AE、AWB；C、将并口YUV422‑8数据转换成MIPI CSI数据。本发明是基于FPGA实现视频数据CSI‑2的RAW到YUV的转换，FPGA具有灵活的编程性，在不需要修改外围电路的基础上，可以通过修改源代码来实现自己的需求，极大地缩短了开发周期，同时也降低了开发成本。

Description

一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法
技术领域
本发明涉及图像处理技术领域，具体为一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法。
背景技术
目前采用较多的方案是利用ISP（Image Signal Processor，图像信号处理器）来处理图像信号传感器输出的图像信号，ISP通过一系列数字图像处理算法完成对数字图像的效果处理，主要包括去噪、gamma矫正、强光抑制、色彩增强、AE（Auto Exposure，自动曝光）、AWB（Auto White Balance,自动白平衡处理）等处理，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节。
目前的ISP芯片大都是功能定制型芯片，客户购买来可以直接使用，扩展性较差，当然也可以由客户提供需求给厂商，然后由厂商定制功能给客户使用，功能不同，其外围的器件也可能不同，需要进行额外的原理图设计和layout，需要使用额外的元器件，某些特殊的功能还需支付额外的费用，还有就是ISP驱动的设计也需要耗费较多时间和精力，在某些方面加大了研发周期，增加了研发成本。
发明内容
本发明的目的在于提供一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，包括以下步骤：
A、将MIPI CSI 数据转换成并口数据；
B、将并口raw10数据转换成并口YUV422-8数据；
C、将并口YUV422-8数据转换成MIPI CSI数据。
优选的，所述步骤A中MIPI CSI-2的数据包有两种：长包和短包；无论是长包还是短包，包的开头都是SoT，包的结尾都是EoT，此外，长包的SoT之后还有包头PH，EoT之前还有包尾PF，由此便可按照MIPI标准传输协议得到想要的有效并口数据。
优选的，所述步骤B中对并口数据进行gamma矫正、AE、AWB。
优选的，所述步骤C中并口数据转换成MIPI CSI数据其实是第一步的逆向过程，先将pixel数据转换成byte数据，然后嵌入长包和短包来显示每帧和每行的开始和结束，还有传输的数据类型，每行的字节数和虚拟通道。
与现有技术相比，本发明的有益效果是：
（1）本发明是基于FPGA实现视频数据CSI-2的RAW到YUV的转换，FPGA具有灵活的编程性，在不需要修改外围电路的基础上，可以通过修改源代码来实现自己的需求，极大地缩短了开发周期，同时也降低了开发成本。
（2）本发明能够降低成本价格，外置ISP需要单独购买，其售价往往不菲，并且某些特殊功能需要额外支付费用，使用外置ISP,需要进行额外的原理图设计和layout，需要使用额外的元器件；而FPGA具有灵活的编程性，不需要更改外围电路，根据需求修改源代码即可；支持更丰富的设计规划，可以对接收到的图像数据进行算法处理，包括gamma矫正，AE,AWB,BLC，嵌入或裁剪数据等等；减小板上布局面积，就本次使用案例而言，本发明FPGA的封装尺寸为3.5mm*3.5mm，而GW5200的ISP最小封装为7mm*7mm；降低运行功耗，本发明FPGA运行功耗大约在29mW，而GW5200的运行功耗大约为500mW，功耗过大会导致板子过热，另一方面也会影响用户体验；更高效的实现视频图像处理方案，目前厂商提供的ISP芯片不能完全满足用户需求，额外定制又需要花费大量时间，而通过FPGA仅需修改部分代码就可实现，不需要更改外围电路，大大缩短研发周期。
附图说明
图1为本发明流程图；
图2为本发明并口数据的传输方式波形图；
图3为本发明数据转换示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，包括以下步骤：
A、将MIPI CSI 数据转换成并口数据；
B、将并口raw10数据转换成并口YUV422-8数据，对并口数据进行gamma矫正、AE、AWB；
C、将并口YUV422-8数据转换成MIPI CSI数据。
本发明sensor输出的MIPI CSI 数据格式为raw10，数据差分对有四条，要实现1080P@60的图像显示，RAW10到YUV422-8的转换需要进行如下计算，分辨率为1080P即1920*1080，帧率为60帧即每秒传输60幅完整的图像，所以这个sensor每秒传输的数据量为1920*1080*60*10=1,244,160,000bit，由此可以得出每条数据通道的传输速率为1,244,160,000/4=311,040,000bit/s,所以要想实现1080P@60的图像传输，sensor输出的最小传输速率是1,244,160,000b/s。
本发明中，步骤A中MIPI CSI-2的数据包有两种：长包和短包；无论是长包还是短包，包的开头都是SoT，包的结尾都是EoT，此外，长包的SoT之后还有包头PH，EoT之前还有包尾PF，由此便可按照MIPI标准传输协议得到想要的有效并口数据。
图2是并口数据的传输方式，clk_pixel_o是数据传输的时钟，一个时钟传输一个并口数据，raw10就会传输10bit的数据；fv_o是帧有效信号，高电平有效，上升沿代表一帧信号开始传输，下降沿表示结束传输；lv_o是行有效信号，高电平有效，上升沿表示一行信号开始传输，下降沿表示结束，前一个下降沿和后一个上升沿之间的低电平表示行消隐，可以用来调整帧率；pixel_data是像素数据，当fv和lv都是高电平的时候才是有效数据。
由于RAW10数据一个pixel是10bit的数据，而要转成YUV422-8格式的数据，需要将每个pixeldata截取高八位，然后在每个pixel之前嵌入一个八位的数据（8’h80），转换示意图如图3所示。
因为在第步骤C将并口YUV422-8数据转换成MIPI CSI数据的中，采用的是一个时钟传送八位的数据，这样就需要一个两倍的时钟来达到同步的目的，也就是说当传送一个RAW10的数据时，需要传送两个YUV数据。有两个方案可供选择，一是利用两倍的速率去传输数据；二是速率小于两倍的RAW10数据的pixclk，增加行有效的传输时间，保持帧率不变的情况下，行消隐的时间就会减小了。考虑到所用FPGA中PLL（Phase Locked Loop,锁相环）资源问题，采用了第二个方案。
由于每个有效数据之前嵌入了一个有效数据，没法提高传输速率的情况下，选择了增加行有效的长度来传输等量数据，因此，传输YUV的行有效长度会是raw10的两倍。
在刚开始的时候，通过理论计算得知，要想实现1080P@60的图像传输，sensor输出的最小传输速率是1244160000b/s。如果使用最小的传输速率进行传输，将会得到一个行消隐特别小的lv，所以为了达到所需的帧率，适当提高sensor输出速率，增大行消隐。每帧图像传输的时间为1/60=16.67ms，所以一个fv有效的时间应小于16.67ms，1080P的分辨率有1080行，可以得出每行（有效长度加上行消隐的总和）的时间应该小于1/60/1080=15.43us,由于YUV需要两倍的行有效长度去传输数据，所以所需的最小pixclk应大于1920/(15.43/2)=249M,sensor输出的总速率最小为249*10=2490M=2,490,000,000b/s,每条数据通道的传输速率最小为2,490,000,000/4=622,500,000b/s，因为这是最小的极限值，所以真正配置sensor的时候需要取较大的值，经过多番比较，最终选取了lane rate（每条数据通道的传输速率）为684M/S,lane blanking（行消隐）为2024个PIXCLK，达到了理想的输出。同时为了保证跨时钟域数据传输的稳定性，使用了一个FIFO来传输数据，图一中的PIXCLK作为FIFO写入的时钟，PIXDATA作为FIFO写入的数据，PIXCLK2作为FIFO读出的时钟，PIXDATA2作为FIFO读出的数据，其中，PIXCLK2是PIXCLK的两倍，PIXDATA是32bit的数据，PIXDATA2是8bit的数据。然后依靠状态机来控制生成YUV的并口数据，即FV2,LV2, PIXCLK2,PIXDATA2。在本发明中，对第一步输出的并口数据进行了gamma矫正，black levelcorrection（BLC，黑白电平矫正），使得输出的图像更符合人眼接受的范围。
本发明中，步骤C中并口数据转换成MIPI CSI数据其实是第一步的逆向过程，先将pixel数据转换成byte数据，然后嵌入长包和短包来显示每帧和每行的开始和结束，还有传输的数据类型，每行的字节数和虚拟通道。
本发明能够降低成本价格，外置ISP需要单独购买，其售价往往不菲，并且某些特殊功能需要额外支付费用，使用外置ISP,需要进行额外的原理图设计和layout，需要使用额外的元器件；而FPGA具有灵活的编程性，不需要更改外围电路，根据需求修改源代码即可；支持更丰富的设计规划，可以对接收到的图像数据进行算法处理，包括gamma矫正，AE,AWB,BLC，嵌入或裁剪数据等等；减小板上布局面积，就本次使用案例而言，本发明FPGA的封装尺寸为3.5mm*3.5mm，而GW5200的ISP最小封装为7mm*7mm；降低运行功耗，本发明FPGA运行功耗大约在29mW，而GW5200的运行功耗大约为500mW，功耗过大会导致板子过热，另一方面也会影响用户体验；更高效的实现视频图像处理方案，目前厂商提供的ISP芯片不能完全满足用户需求，额外定制又需要花费大量时间，而通过FPGA仅需修改部分代码就可实现，不需要更改外围电路，大大缩短研发周期。
综上所述，本发明是基于FPGA实现视频数据CSI-2的RAW到YUV的转换，FPGA具有灵活的编程性，在不需要修改外围电路的基础上，可以通过修改源代码来实现自己的需求，极大地缩短了开发周期，同时也降低了开发成本。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，其特征在于：包括以下步骤：
A、将MIPI CSI 数据转换成并口数据；
B、将并口raw10数据转换成并口YUV422-8数据；
C、将并口YUV422-8数据转换成MIPI CSI数据。
2.根据权利要求1所述的一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，其特征在于：所述步骤A中MIPI CSI-2的数据包有两种：长包和短包；无论是长包还是短包，包的开头都是SoT，包的结尾都是EoT，此外，长包的SoT之后还有包头PH，EoT之前还有包尾PF，由此便可按照MIPI标准传输协议得到想要的有效并口数据。
3.根据权利要求1所述的一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，其特征在于：所述步骤B中对并口数据进行gamma矫正、AE、AWB。
4.根据权利要求1所述的一种基于FPGA实现MIPI CSI-2的RAW到YUV的转换方法，其特征在于：所述步骤C中并口数据转换成MIPI CSI数据其实是第一步的逆向过程，先将pixel数据转换成byte数据，然后嵌入长包和短包来显示每帧和每行的开始和结束，还有传输的数据类型，每行的字节数和虚拟通道。
CN201911138211.0A 2019-11-20 2019-11-20 一种基于fpga实现mipi csi-2的raw到yuv的转换方法 Pending CN110830782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911138211.0A CN110830782A (zh) 2019-11-20 2019-11-20 一种基于fpga实现mipi csi-2的raw到yuv的转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911138211.0A CN110830782A (zh) 2019-11-20 2019-11-20 一种基于fpga实现mipi csi-2的raw到yuv的转换方法

Publications (1)

Publication Number Publication Date
CN110830782A true CN110830782A (zh) 2020-02-21

Family

ID=69557005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911138211.0A Pending CN110830782A (zh) 2019-11-20 2019-11-20 一种基于fpga实现mipi csi-2的raw到yuv的转换方法

Country Status (1)

Country Link
CN (1) CN110830782A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215295A1 (en) * 2012-02-16 2013-08-22 Samsung Electronics Co., Ltd. Apparatus and method for transmitting a frame image of a camera
CN107509033A (zh) * 2017-09-20 2017-12-22 中国科学院长春光学精密机械与物理研究所 一种遥感相机图像实时采集处理系统
CN208623759U (zh) * 2018-07-10 2019-03-19 北京图森未来科技有限公司 一种摄像头接口转换装置
CN110139082A (zh) * 2019-06-17 2019-08-16 北京信达众联科技有限公司 通过视频处理算法对设备工况的识别装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130215295A1 (en) * 2012-02-16 2013-08-22 Samsung Electronics Co., Ltd. Apparatus and method for transmitting a frame image of a camera
CN107509033A (zh) * 2017-09-20 2017-12-22 中国科学院长春光学精密机械与物理研究所 一种遥感相机图像实时采集处理系统
CN208623759U (zh) * 2018-07-10 2019-03-19 北京图森未来科技有限公司 一种摄像头接口转换装置
CN110139082A (zh) * 2019-06-17 2019-08-16 北京信达众联科技有限公司 通过视频处理算法对设备工况的识别装置

Similar Documents

Publication Publication Date Title
US8970750B2 (en) Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
US20150220472A1 (en) Increasing throughput on multi-wire and multi-lane interfaces
US10362220B2 (en) Conversation of pixel data into compression format of pixels
US11258947B2 (en) Methods and apparatus for multi-lane mapping, link training and lower power modes for a high speed bus interface
US20230291688A1 (en) Data Transmission Method and Electronic Device
US10469749B1 (en) Temporal filter with criteria setting maximum amount of temporal blend
CN103873781A (zh) 一种宽动态摄像机实现方法及装置
FI109391B (fi) Menetelmä ja laite tiedonsiirtoon
US20230325987A1 (en) Tone mapping method and apparatus
US11955051B2 (en) Receiver of display driver and operating method thereof
WO2023005678A1 (zh) 图像信号处理器、图像信号处理装置及方法、芯片、终端设备
CN110830782A (zh) 一种基于fpga实现mipi csi-2的raw到yuv的转换方法
CN111491100B (zh) 一种在嵌入式平台降低图像处理功耗的方法
JP7547217B2 (ja) 送信装置、送信方法、受信装置、受信方法、および送受信装置
CN101729845A (zh) Camera-Link数字视频信息叠加方法
CN108365920A (zh) 一种基于fpga芯片的dvp转mipi方法和系统
CN108848285A (zh) 一种高清摄像头视频处理系统及方法
CN111739455A (zh) 一种自适应任意帧频数字视频信号和vga转换装置和方法
CN111492650B (zh) 图像预处理方法及装置、图像传感器接口、图像处理方法及装置
EP2257048A1 (en) Camera unit and a multimedia information appliance
US20240104887A1 (en) Image outputting device and image outputting method
CN219304917U (zh) 一种双通路彩色视频相机模组
CN221177782U (zh) 一种伽马校正电路
CN114040156B (zh) 一种视频格式与画质处理的fpga系统及方法
WO2024148968A9 (zh) 一种图像预览方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221

RJ01 Rejection of invention patent application after publication