KR102176447B1

KR102176447B1 - PCIe FPGA Frame Grabber based DisplayPort standard

Info

Publication number: KR102176447B1
Application number: KR1020190064543A
Authority: KR
Inventors: 박성일; 최장식
Original assignee: 주식회사 로하연구소
Priority date: 2019-05-31
Filing date: 2019-05-31
Publication date: 2020-11-09

Abstract

The present invention relates to a PCIe FPGA frame grabber based on a display port standard. An object of the present invention is to provide a machine vision and smartphone 8K camera display port 1.4 frame grabber FPGA system capable of quickly acquiring camera RAW format video data of up to 8K. The present invention includes: at least one display port connector connected to a display port and receiving RAW video data; an FPGA receiving and processing the RAW video data and outputting a video stream; at least one DDR memory temporarily storing the video stream output from the FPGA frame by frame and transmitting it at a point in time when a PC needs it; and a power supply unit supplying necessary electric power to the frame grabber; and a PCle transmitting the video stream to the PC when the transmission is necessary. The FPGA temporarily stores the video stream in the DDR memory by receiving and processing the RAW video data and transmits the video stream stored in the DDR memory to the PC side through the PCle when the PC needs the transmission.

Description

DisplayPort standard based PCIe FPPA frame grabber {PCIe FPGA Frame Grabber based DisplayPort standard}

본 발명은 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버에 관한 것이다.The present invention relates to a DisplayPort standard based PCIe FPGA frame grabber.

프레임 그래버는 카메라 등으로부터 수신한 아날로그 영상 신호를 전자 장치가 처리할 수 있는 디지털 영상 데이터로 변환하는 장비를 의미한다. 프레임 그래버는 프레임 단위로 영상 신호를 수신하고, 수신한 영상 신호에 근거한 영상 데이터를 메모리에 저장한다.The frame grabber refers to an equipment that converts an analog image signal received from a camera or the like into digital image data that can be processed by an electronic device. The frame grabber receives an image signal in units of frames, and stores image data based on the received image signal in a memory.

프레임그래버(Frame Grabber)는 TV, 비디오카메라 등과 같이 영상데이터를 재생하거나 또는 기록하는 영상장비(이하 "1차영상장비"라고 함)와 컴퓨터, 프린터 등과 같이 영상데이터를 처리하거나 프린팅하는 영상장비(이하 "2차영상장비"라고 함) 사이에 배치되어 1차영상장비로부터 입력되는 영상데이터를 영상메모리에 저장한 후 2차 영상장비로부터 출력요청이 있을 때 영상메모리에 저장된 영상데이터를 2차영상장비로 출력하는 기능을 수행한다. 본 명세서에서 1차영상장비는 동기신호(자체적으로 생성한 동기신호와 프레임그래버 등 외부장치에서 입력받은 동기신호 포함)와 디지털 형태의 영상데이터를 분리된 상태로 출력하는 장비로 정의한다(아날로그 영상데이터를 디지털 영상데이터로 변환하는 ADC와 영상신호로부터 동기신호를 분리하는 동기분리부가 물리적으로 분리되어 있는 장비도 포함) 그리고 본명세서에서 영상신호는 동기신호와 영상데이터를 포함하는 의미로 사용된다.Frame Grabber is an image equipment that reproduces or records image data (hereinafter referred to as "primary image equipment") such as TVs and video cameras, and image equipment that processes or prints image data such as computers and printers ( Hereinafter referred to as “secondary video equipment”), the video data input from the primary video equipment is stored in the video memory, and the video data stored in the video memory is transferred to the secondary video when an output request is received from the secondary video equipment. It performs the function of outputting to the equipment. In this specification, the primary imaging equipment is defined as a device that outputs a synchronization signal (including a synchronization signal generated by itself and a synchronization signal input from an external device such as a frame grabber) and digital image data in a separate state (analog video Including an ADC that converts data into digital image data and equipment in which a synchronization separation unit that separates the synchronization signal from the video signal is physically separated), and in this specification, the video signal is used to mean including the synchronization signal and the video data.

또한, 현재 HD, FHD, QHD, 4K UHD, 5K UHD, 9K UHD로 발전하면서 이미지 처리량이 증가되고 있는 상황이다. 종래 프레임 그래버는 산업현장 라인에서 비전 검사용으로 주로 사용되고 있으며, 초기 라인카메라, 에어리어 카메라가 주를 이루었으나 데이터 전송 대역폭이 증가함에 따라 전송프로토콜이 고속화되고 있는 추세이다. In addition, as the current progresses to HD, FHD, QHD, 4K UHD, 5K UHD, and 9K UHD, image throughput is increasing. Conventional frame grabbers are mainly used for vision inspection in industrial lines, and initially line cameras and area cameras dominated, but as the data transmission bandwidth increases, the transmission protocol is increasing in speed.

따라서 최대 8K 카메라 RAW 포맷 영상 획득을 위한 FPGA 내부 로직의 설계 및 구현이 요구되었다. Therefore, it was required to design and implement the logic inside the FPGA to acquire up to 8K camera RAW format images.

대한민국 등록특허 제1215437호Korean Patent Registration No. 1215437 대한민국 공개특허 제2014-0146137호Republic of Korea Patent Publication No. 2014-0146137 대한민국 공개특허 제2018-0056540호Republic of Korea Patent Publication No. 2018-0056540

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 실시예에 따르면, 최대 8K 카메라 RAW 포맷 영상데이터를 고속으로 획득할 수 있는, 머신비전과 스마트폰 8K 카메라 디스플레이포트 1.4 프레임 그래버 FPGA시스템을 제공하는데 그 목적이 있다. Therefore, the present invention was conceived to solve the conventional problems as described above, and according to an embodiment of the present invention, machine vision and smartphone 8K camera display port capable of acquiring up to 8K camera RAW format image data at high speed. Its purpose is to provide a 1.4 frame grabber FPGA system.

한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Meanwhile, the technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned are clearly to those of ordinary skill in the technical field to which the present invention belongs from the following description. It will be understandable.

본 발명의 목적은, 프레임 그래버에 있어서, 디스플레이 포트와 연결되어 RAW 비디오 데이터를 전송받는 적어도 하나의 디스플이포트용 커넥터부; 상기 RAW 비디오 데이터를 전송받아 처리하여 비디오 스트림을 출력하는 FPGA; 상기 FPGA에서 출력되는 비디오 스트림을 프레임 단위로 임시저장하고, PC에서 필요한 시점에 전송하는 적어도 하나의 DDR 메모리; 프레임 그래버에 필요한 전원을 공급하는 전원부; 및 필요한 시점에 비디오 스트림을 전송하는 PCle;을 포함하여, 상기 FPGA는 RAW 비디오 데이터를 전송받아 처리하여 비디오 스트림을 상기 DDR 메모리에 임시저장시키고, 상기 PC에서 필요한 시점에 상기 DDR 메모리에 저장된 비디오 스트림을 PCle를 통해 상기 PC측으로 전송하는 것을 특징으로 하는 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버로서 달성될 수 있다. An object of the present invention is to provide a frame grabber, comprising: at least one display port connector connected to a display port to receive RAW video data; An FPGA receiving and processing the RAW video data to output a video stream; At least one DDR memory for temporarily storing the video stream output from the FPGA in a frame unit and transmitting the video stream from the PC at a necessary time; A power supply for supplying power required for the frame grabber; And a PCle that transmits a video stream at a necessary time; Including, the FPGA receives and processes the RAW video data to temporarily store the video stream in the DDR memory, and the video stream stored in the DDR memory at a time required by the PC. It can be achieved as a DisplayPort standard-based PCIe FPGA frame grabber, characterized in that the transmission to the PC side through the PCle.

그리고 디스플레포트용 커넥터부 각각과, 상기 FPGA 사이에 구비되어, 전송되는 RAW 비디오 데이터의 신호를 보정하는 리타이머;를 더 포함하는 것을 특징으로 할 수 있다. And a retimer provided between each of the display connector units and the FPGA to correct a signal of transmitted RAW video data.

또한, FPGA는, 리타이머로부터 비디오 데이터를 전송받으며, 디스플레이 포드 인터페이스인 PHY 컨트롤러; 디스플레이 포트 표준을 만족하는 IP모듈로서 디스플레이 포트 싱크 기능을 담당하며, 상기 PHY 컨트롤러로부터 병렬 데이터를 전송받아 비디오 인터페이스로 비디오 스트림을 출력하는 싱크코어; 상기 싱크코어에서 지원하는 비디오 해상도 및 비디오 정보를 내부에 담아두는 EDID ROM; 1차영상장비와의 통신을 위한 시리얼 포트; 상기 싱크코어로 부터 비디오 스트림을 전송받으며, 데이터별 저장위치를 결정하는 비디오 DMA; 상기 비디오 DMA로부터 비디오 스트림을 전송받아 상기 DDR 메모리 측으로 전송하거나, PCle 측으로 전송하는 인터커넥트; 및 상기 싱크코어와 상기 비디오 DMA와 연결되며, 상기 싱크코어의 운용에 필요한 소프트웨어가 동작하는 서브시스템;을 포함하는 것을 특징으로 할 수 있다. Further, the FPGA includes: a PHY controller that receives video data from the retimer and is a display pod interface; A sync core that satisfies the display port standard, which is responsible for a display port sync function, receives parallel data from the PHY controller and outputs a video stream through a video interface; An EDID ROM storing video resolution and video information supported by the sync core; A serial port for communication with the primary imaging equipment; A video DMA for receiving a video stream from the sync core and determining a storage location for each data; An interconnect for receiving a video stream from the video DMA and transmitting it to the DDR memory side or a PCle side; And a subsystem connected to the sync core and the video DMA and running software required for operation of the sync core.

그리고 싱크코어는, 디스플레이포트 표준을 만족하는 IP 코어로서, 상기 PHY 컨트롤러로부터 병렬 데이터를 전송받는 리시버; AMBA AXI4 스펙을 만족하는 크로스바 스위치인 제1AXI 인터커넥트; 비디오 스트림을 출력하는 스트림브리지; 및 상기 EDID ROM과 연결하기 위한 인터페이스인 AXI IIC;를 포함하는 것을 특징으로 할 수 있다. In addition, the sync core is an IP core that satisfies the DisplayPort standard, comprising: a receiver receiving parallel data from the PHY controller; A first AXI interconnect that is a crossbar switch that satisfies the AMBA AXI4 specification; A stream bridge for outputting a video stream; And AXI IIC, which is an interface for connecting to the EDID ROM.

또한 상기 서브시스템은, AMBA AXI4 스펙을 만족하는 크로스바 스위치로서, 내부 및 외부 동작 감지 및 컨트롤 모듈들과 통신하는 제2AXI 인터커넥트; 및 상기 FPGA 내부 MCU에 해당하는 RISC;를 포함하는 것을 특징으로 할 수 있다. In addition, the subsystem, as a crossbar switch that satisfies the AMBA AXI4 specification, includes a second AXI interconnect communicating with internal and external motion detection and control modules; And RISC corresponding to the FPGA internal MCU.

본 발명의 실시예에 따른 머신비전과 스마트폰 8K 카메라 디스플레이포트 1.4 프레임 그래버 FPGA시스템에 따르면, 최대 8K 카메라 RAW 포맷 영상데이터를 고속으로 획득할 수 있는 효과를 갖는다. According to the machine vision and smartphone 8K camera DisplayPort 1.4 frame grabber FPGA system according to an embodiment of the present invention, it has the effect of obtaining a maximum 8K camera RAW format image data at high speed.

한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.On the other hand, the effects obtainable in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. I will be able to.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 실시예에 따른 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버 카드부의 구성도,
도 2는 본 발명의 실시예에 따른 FPGA의 구성도,
도 3은 본 발명의 실시예에 따른 FPGA의 일구성인 싱크코어의 구성도,
도 4는 본 발명의 실시예에 따른 FPGA의 일구성인 서브시스템의 구성도,
도 5는 본 발명의 실시예에 따른 비디오 스트림의 경로를 나타낸 흐름도를 도시한 것이다. The following drawings attached to the present specification illustrate a preferred embodiment of the present invention, and serve to further understand the technical idea of the present invention together with the detailed description of the present invention, so the present invention is limited to the matters described in such drawings. It is limited and should not be interpreted.
1 is a configuration diagram of a PCIe FPGA frame grabber card unit based on a DisplayPort standard according to an embodiment of the present invention;
2 is a configuration diagram of an FPGA according to an embodiment of the present invention;
3 is a configuration diagram of a sink core, which is a configuration of an FPGA according to an embodiment of the present invention;
4 is a configuration diagram of a subsystem that is a configuration of an FPGA according to an embodiment of the present invention;
5 is a flowchart illustrating a path of a video stream according to an embodiment of the present invention.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 통상의 기술자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.The above objects, other objects, features, and advantages of the present invention will be easily understood through the following preferred embodiments related to the accompanying drawings. However, the present invention is not limited to the embodiments described herein and may be embodied in other forms. Rather, the embodiments introduced herein are provided so that the disclosed contents may be thorough and complete, and the spirit of the present invention may be sufficiently conveyed to those skilled in the art.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.In the present specification, when a component is referred to as being on another component, it means that it may be formed directly on the other component or that a third component may be interposed between them. In addition, in the drawings, the thickness of the components is exaggerated for effective description of the technical content.

본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. 따라서 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 예를 들면, 직각으로 도시된 영역은 라운드지거나 소정 곡률을 가지는 형태일 수 있다. 따라서 도면에서 예시된 영역들은 속성을 가지며, 도면에서 예시된 영역들의 모양은 소자의 영역의 특정 형태를 예시하기 위한 것이며 발명의 범주를 제한하기 위한 것이 아니다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.Embodiments described herein will be described with reference to cross-sectional views and/or plan views, which are ideal exemplary views of the present invention. In the drawings, the thicknesses of films and regions are exaggerated for effective description of technical content. Accordingly, the shape of the exemplary diagram may be modified by manufacturing technology and/or tolerance. Accordingly, embodiments of the present invention are not limited to the specific form shown, but also include a change in form generated according to the manufacturing process. For example, an area shown at a right angle may be rounded or may have a shape having a predetermined curvature. Accordingly, the regions illustrated in the drawings have properties, and the shapes of the regions illustrated in the drawings are intended to illustrate a specific shape of a device region and are not intended to limit the scope of the invention. In various embodiments of the present specification, terms such as first and second are used to describe various elements, but these elements should not be limited by these terms. These terms are only used to distinguish one component from another component. The embodiments described and illustrated herein also include complementary embodiments thereof.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terms used in the present specification are for describing exemplary embodiments and are not intended to limit the present invention. In this specification, the singular form also includes the plural form unless specifically stated in the phrase. As used in the specification, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements.

아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.In describing the specific embodiments below, a number of specific contents have been prepared to explain the invention in more detail and to aid understanding. However, readers who have knowledge in this field to the extent that they can understand the present invention can recognize that it can be used without these various specific contents. In some cases, it is mentioned in advance that parts that are commonly known in describing the invention and are not largely related to the invention are not described in order to prevent confusion without any reason in describing the invention.

이하에서는 본 발명의 실시예에 따른 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버(1)의 구성 및 기능에 대해 설명하도록 한다. 본 발명에서는 실시예로서, 디스플레이포트 1.4 표준 기반 8K 영상의 PCIe FPGA 프레임 그래버(1)에 대해 설명하도록 한다. Hereinafter, a configuration and function of the DisplayPort standard-based PCIe FPGA frame grabber 1 according to an embodiment of the present invention will be described. In the present invention, as an embodiment, a PCIe FPGA frame grabber 1 of 8K video based on the DisplayPort 1.4 standard will be described.

도 1은 본 발명의 실시예에 따른 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버(1) 카드부의 구성도를 도시한 것이다. 1 is a block diagram of a display port standard based PCIe FPGA frame grabber 1 card unit according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버(1) 카드부는 전체적으로, 보드(2) 상에 복수의 디스플레이포트용 커넥터부(10)와, 리타이머(11), FPGA(100), 복수의 DDR메모리(30)와, 전원부(40)와, PCIe(20) 등을 포함하여 구성됨을 알 수 있다. As shown in FIG. 1, the display port standard-based PCIe FPGA frame grabber (1) card unit according to an embodiment of the present invention as a whole, includes a plurality of display port connector units (10) and a retimer on the board (2). (11), it can be seen that it is configured to include the FPGA 100, a plurality of DDR memories 30, the power supply unit 40, and PCIe (20).

디스플레이포트용 커넥터부(10)는 복수로 구비되며, 디스플레이 포트와 연결되어 1차영상장비로부터 RAW 비디오 데이터를 전송받도록 구성된다. 이러한 디스플레이포트(DP)용 커넥터부(10)는 구체적 실시예에서는 10Gbps까지 지원되며 DP 1.4로서, HBR3(8.1Gbps), 1,2,4 Lane per channel로 구성될 수 있다. The display port connector unit 10 is provided in plurality, and is connected to the display port to receive RAW video data from the primary imaging device. In a specific embodiment, the connector unit 10 for the display port (DP) supports up to 10 Gbps and is DP 1.4, and may be composed of HBR3 (8.1 Gbps), 1,2, and 4 lanes per channel.

FPGA(100)는 본 발명의 실시예에 따른 프레임그래버의 핵심로직이 구현되어 컨피규레이션(Configuration)된 디바이스에 해당한다. 이러한 FPGA(100)는 1차영상장비로부터 RAW 비디오 데이터를 전송받아 처리하여 비디오 스트림을 2차영상장비로 출력하도록 구성된다. The FPGA 100 corresponds to a device in which the core logic of the frame grabber according to an embodiment of the present invention is implemented and configured. The FPGA 100 is configured to receive and process RAW video data from a primary imaging device and output a video stream to a secondary imaging device.

DDR메모리(프레임버퍼)(30)는 복수로 구성되며, FPGA(100)에서 출력되는 비디오 스트림을 고속으로 프레임 단위로 임시저장하고, PC 등의 2차 영상장비에서 필요한 시점에 전송하도록 구성된다. The DDR memory (frame buffer) 30 is composed of a plurality, and is configured to temporarily store the video stream output from the FPGA 100 in units of frames at high speed, and transmit it at a time required by secondary video equipment such as a PC.

전원부(Power Clock)(40)는 프레임 그래버(1)에 필요한 전원을 공급하도록 구성되며, 12V 외부전원 또는 PCIe(20) 에지부에 연결된 전원을 이용하여 필요한 전원을 생성(1.0, 1.2, 3.3, ...)할 수 있다. The power clock 40 is configured to supply the necessary power to the frame grabber 1, and generates the necessary power using 12V external power or power connected to the edge of the PCIe 20 (1.0, 1.2, 3.3, ...)can do.

PCIe(20)는 필요한 시점에 비디오 스트림을 PC에 전송하도록 구성되며, 구체적실시예에서는 Gen3 x8(8 Gbps/lane)로 구성될 수 있으며 PICe의 에지 커넥터 규격에 맞도록 설계되어 x8을 지원한다. The PCIe 20 is configured to transmit a video stream to a PC when necessary, and in a specific embodiment, it may be configured as Gen3 x8 (8 Gbps/lane), and is designed to conform to the PICe edge connector standard to support x8.

또한, 리타이머(11)는 디스플레포트용 커넥터부(10) 각각과, FPGA(100) 사이에 구비되어, 전송되는 RAW 비디오 데이터의 신호를 보정하도록 구성된다. 즉, DP의 고속 전송시 신호보정을 위해 사용되며 신호의 Voltage swing, Pre emphasis 등의 값을 보정한다. In addition, the retimer 11 is provided between each of the display connector units 10 and the FPGA 100, and is configured to correct a signal of transmitted RAW video data. In other words, it is used for signal correction during high-speed transmission of DP and corrects values such as voltage swing and pre emphasis of the signal.

따라서 FPGA(100)는 RAW 비디오 데이터를 전송받아 처리하여 비디오 스트림을 DDR 메모리(30)에 임시저장시키고, PC에서 필요한 시점에 DDR 메모리(30)에 저장된 비디오 스트림을 PCle(20)를 통해 PC측으로 전송하게 된다.Therefore, the FPGA 100 receives and processes the RAW video data, temporarily stores the video stream in the DDR memory 30, and transfers the video stream stored in the DDR memory 30 to the PC through the PCle 20 at the time required by the PC. Will be transmitted.

이하에서는 본 발명의 실시예에 따른 FPGA(100)의 구체적인 구성 및 기능에 대해 설명하도록 한다. 도 2는 본 발명의 실시예에 따른 FPGA의 구성도를 도시한 것이다. Hereinafter, a specific configuration and function of the FPGA 100 according to an embodiment of the present invention will be described. 2 is a block diagram of an FPGA according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 FPGA(100)는 PHY 컨트롤러(120), 싱크코어(110), EDID ROM(130), 시리얼 포트(190), 비디오 DMA(150), 인터커넥트(160), 서브시스템(140) 등을 포함하여 구성될 수 있음을 알 수 있다.As shown in Fig. 2, the FPGA 100 according to the embodiment of the present invention includes a PHY controller 120, a sync core 110, an EDID ROM 130, a serial port 190, a video DMA 150, and It will be appreciated that the interconnect 160, the subsystem 140, and the like may be included.

PHY 컨트롤러(120)는 리타이머(11)로부터 비디오 데이터를 전송받으며, 디스플레이 포드 물리적 인터페이스로서 clock recovery, symbol lock, video reference clock 생성 등의 기능을 수행하도록 구성된다. The PHY controller 120 receives video data from the retimer 11 and is configured to perform functions such as clock recovery, symbol lock, and video reference clock generation as a display pod physical interface.

싱크코어(110)는 구체적 실시예에서는 DP 1.4 싱크코어로 구성될 수 있으며, 디스플레이 포트 표준을 만족하는 IP 모듈로서 디스플레이 포트 싱크 기능을 담당하며, PHY 컨트롤러(120)로부터 병렬 데이터를 전송받아 패킷형태로 조립, 픽셀 정보 분석, 픽셀생성, MSA 정보 추출 등을 하며 비디오 인터페이스로 비디오 스트림을 출력하도록 구성된다. In a specific embodiment, the sync core 110 may be configured as a DP 1.4 sync core, and as an IP module that satisfies the Display Port standard, it is responsible for the display port sync function, and receives parallel data from the PHY controller 120 in a packet format. It is configured to assemble, analyze pixel information, generate pixels, extract MSA information, and output a video stream through a video interface.

EDID ROM(130)은 싱크코어에서 지원하는 비디오 해상도 및 비디오 정보를 내부에 담아두도록 구성된다. The EDID ROM 130 is configured to contain video resolution and video information supported by the synccore.

시리얼 포트(190)는 카메라, 디스플레이포트 소스 장비 등과 같은 1차 영상장비와의 통신을 위해 구성된다. The serial port 190 is configured for communication with primary imaging equipment such as a camera and a display port source device.

그리고 비디오 DMA(VDMA)(150)는 비디오 인터페이스로서 싱크코어(110)로부터 비디오 스트림을 전송받으며, 데이터별 저장위치를 결정하도록 구성된다. In addition, the video DMA (VDMA) 150 is configured to receive a video stream from the sync core 110 as a video interface, and to determine a storage location for each data.

또한, 인터커넥트(160)는 구체적 실시예에서 AXI4 인터커넥트로 구성될 수 있으며, 비디오 DMA(150)로부터 비디오 스트림을 전송받아 DDR 메모리(30) 측으로 전송하거나, PCle(20) 측으로 전송하는 비디오 버스에 해당한다. In addition, the interconnect 160 may be configured as an AXI4 interconnect in a specific embodiment, and corresponds to a video bus that receives a video stream from the video DMA 150 and transmits it to the DDR memory 30 or to the PCle 20. do.

서브시스템(MicroBlaze subsystem)(140)은 싱크코어(110)와 비디오 DMA(150)와 연결되며, 싱크코어(110)의 운용에 필요한 소프트웨어가 동작하도록 구성된다. The subsystem (MicroBlaze subsystem) 140 is connected to the sync core 110 and the video DMA 150, is configured to operate the software required for the operation of the sync core (110).

또한, 도 2에 도시된 DMA with PCIe x8(170)은 인터커넥트(160)와 PCIe(20) bus 사이에 연결되며, PCIe gen3 표준을 만족하는 인터페이스 IP로서 내부에 DMA 기능을 내장하고 있으며 동작시 최대 x8로 동작한다. In addition, the DMA with PCIe x8 170 shown in FIG. 2 is connected between the interconnect 160 and the PCIe 20 bus, and as an interface IP that satisfies the PCIe gen3 standard, it has a built-in DMA function. It works with x8.

그리고 DDR3/4 컨트롤러(180)는 DDR 메모리(프레임 버퍼)(30)를 제어하기 위한 것으로, 비디오 프레임 버퍼 메모리로서 지정된 프레임의 저장 및 읽기가 가능한 메모리 버퍼 인터페이스에 해당한다. Further, the DDR3/4 controller 180 controls the DDR memory (frame buffer) 30, and corresponds to a memory buffer interface capable of storing and reading frames designated as a video frame buffer memory.

이하에서는 앞서 언급한 싱크코어(100)의 구성을 보다 상세하게 설명하도록 한다. 도 3은 본 발명의 실시예에 따른 FPGA의 일구성인 싱크코어의 구성도를 도시한 것이다. 앞서 언급한 바와 같이, 본 발명의 실시예에 따른 싱크코어(110)는 디스플레이 포트 표준을 만족하는 IP 모듈로서 디스플레이 포트 싱크 기능을 담당하며, PHY 컨트롤러(120)로부터 병렬 데이터를 전송받아 패킷형태로 조립, 픽셀 정보 분석, 픽셀생성, MSA 정보 추출 등을 하며 비디오 인터페이스로 비디오 스트림을 출력하도록 구성된다. Hereinafter, the configuration of the above-mentioned sync core 100 will be described in more detail. 3 is a block diagram of a sink core, which is a configuration of an FPGA according to an embodiment of the present invention. As mentioned above, the sync core 110 according to the embodiment of the present invention is an IP module that satisfies the Display Port standard and is responsible for the display port sync function, and receives parallel data from the PHY controller 120 in a packet format. It is configured to assemble, analyze pixel information, generate pixel, extract MSA information, and output a video stream through a video interface.

이러한 싱크코어(110)는 도 3에 도시된 바와 같이, 디스플레이포트 리시버(111)와, 제1AXI 인터커넥트(112), 스트림브리지(113), AXI IIC(114) 등을 포함하여 구성될 수 있다. As shown in FIG. 3, the sync core 110 may include a DisplayPort receiver 111, a 1AXI interconnect 112, a stream bridge 113, an AXI IIC 114, and the like.

디스플레이포트 리시버(111)는, 디스플레이포트 표준을 만족하는 IP 코어로서, PHY 컨트롤러(120)로부터 병렬 데이터를 전송받도록 구성된다. 구체적 실시예에서는 VESA DisplayPort 1.4 표준을 만족하는 IP Core로 구성된다. The DisplayPort receiver 111 is an IP core that satisfies the DisplayPort standard and is configured to receive parallel data from the PHY controller 120. In a specific embodiment, it is composed of an IP Core that satisfies the VESA DisplayPort 1.4 standard.

제1AXI 인터커넥트(112)는 AMBA AXI4 스펙을 만족하는 크로스바 스위치(AXI4 버스)에 해당한다. 또한, 비디오 AXI4-스트림브리지(113)는 비디오 스트림을 출력하도록 구성된다. 그리고 AXI IIC(114)는 EDID ROM(내부메모리)과 연결하기 위한 인터페이스에 해당한다. The first AXI interconnect 112 corresponds to a crossbar switch (AXI4 bus) that satisfies the AMBA AXI4 specification. In addition, the video AXI4-stream bridge 113 is configured to output a video stream. In addition, the AXI IIC 114 corresponds to an interface for connection with an EDID ROM (internal memory).

이하에서는 앞서 언급한 MicroBlaze 서브시스템(140)의 구성을 보다 상세하게 설명하도록 한다. 도 4는 본 발명의 실시예에 따른 FPGA(100)의 일구성인 서브시스템(140)의 구성도를 도시한 것이다. 그리고 도 5는 본 발명의 실시예에 따른 비디오 스트림의 경로를 나타낸 흐름도를 도시한 것이다. Hereinafter, the configuration of the aforementioned MicroBlaze subsystem 140 will be described in more detail. 4 is a block diagram of a subsystem 140, which is a configuration of the FPGA 100 according to an embodiment of the present invention. 5 is a flowchart illustrating a path of a video stream according to an embodiment of the present invention.

32bit RISC(141)는 FPGA 내부 MCU에 해당하는 것으로, 100MHz 동작하도록 구성된다. 제2AXI 인터커넥트(142)는 AMBA AXI4 스펙을 만족하는 크로스바 스위치로서, 내부 및 외부 동작 감지 및 컨트롤 모듈들(143)과 통신하도록 구성된다. The 32bit RISC 141 corresponds to an FPGA internal MCU and is configured to operate at 100MHz. The second AXI interconnect 142 is a crossbar switch that satisfies the AMBA AXI4 specification, and is configured to communicate with the internal and external motion detection and control modules 143.

이러한 내부 및 외부 동작 감지 및 컨트롤 모듈들(143)은 구체적으로 Interrupt Ctrl(인터럽트 컨트롤러)는 DP IP의 인터럽트를 감지하여 CPU에 인터럽트 발생을 위해 구성되며, IIC는 외부 Re-Driver/Re-timer, PLL과의 통신을 위해 구성되고, SPI는 외부 디바이스(플레시메모리, 센서류)와 통신을 수행하도록 구성되며, UART는 디버깅 메시지 출력, 외부 장비와의 인터페이스를 구성하고, DP, PHY, DMA는 비디오 버스로 연결하도록 구성된다. These internal and external motion detection and control modules 143 are specifically configured for Interrupt Ctrl (interrupt controller) to detect an interrupt of DP IP and generate an interrupt to the CPU, and IIC is an external Re-Driver/Re-timer, It is configured for communication with PLL, SPI is configured to communicate with external devices (flash memory, sensors), UART outputs debugging messages, configures an interface with external equipment, and DP, PHY, DMA are video buses. Is configured to connect.

도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 디스플레이포트 표준 기반 PCIe FPGA 프레임 그래버(1)는 싱크코어(110)에서 출력된 비디오 스트림은 비디오 DMA(150)와 인터커넥트(160), DDR 메모리 컨트롤러(180)를 거쳐 DDR메모리(30)에 임시저장한 후, PC의 필요시점에 DDR 메모리 컨트롤러(180)와 인터커넥트(160), PCIe(20)를 거쳐 송출되게 된다. As shown in Figure 5, the displayPort standard-based PCIe FPGA frame grabber 1 according to an embodiment of the present invention, the video stream output from the sync core 110 is a video DMA 150, interconnect 160, DDR After temporary storage in the DDR memory 30 via the memory controller 180, it is transmitted through the DDR memory controller 180, the interconnect 160, and the PCIe 20 when the PC needs it.

또한, 상기와 같이 설명된 장치 및 방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.In addition, the above-described apparatus and method are not limitedly applicable to the configuration and method of the above-described embodiments, but all or part of each of the embodiments may be selectively combined so that various modifications can be made. It can also be configured.

1:프레임 그래버
2:보드
10:디스플레이포트용 커넥터부
11:리타이머
20:PCIe
30:DDR메모리
40:전원부
100:FPGA
110:싱크코어
111:리시버
112:제1AXI 인터커넥트
113:스트림브리지
114:AXI IIC
120:PHY 컨트롤러
130:EDID ROM
140:서브시스템
141:MCU
142:제2AXI 인터커넥트
143:주변기기
150:비디오 DMA
160:인터커넥트
170:DMA with PCIe x8
180:DDR 컨트롤러
190:시리얼포트1: frame grabber
2: board
10: Display port connector
11: Retimer
20:PCIe
30: DDR memory
40: power supply
100: FPGA
110: sink core
111: receiver
112: first AXI interconnect
113: stream bridge
114: AXI IIC
120:PHY controller
130:EDID ROM
140: sub system
141: MCU
142: second AXI interconnect
143: peripheral equipment
150: Video DMA
160: Interconnect
170:DMA with PCIe x8
180:DDR controller
190: serial port

Claims

In the frame grabber,
At least one display port connector connected to the display port to receive RAW video data;
An FPGA receiving and processing the RAW video data to output a video stream;
At least one DDR memory for temporarily storing the video stream output from the FPGA in a frame unit and transmitting the video stream from the PC at a necessary time;
A power supply for supplying power required for the frame grabber;
PCle that transmits a video stream at a necessary time; And
Including; a retimer provided between each of the connector units for display and the FPGA to correct a signal of transmitted RAW video data,
The FPGA receives and processes RAW video data, temporarily stores the video stream in the DDR memory, and transmits the video stream stored in the DDR memory to the PC through a PCle at a time required by the PC. Standard-based PCIe FPGA frame grabber.

delete

The method of claim 1,
The FPGA,
A PHY controller that receives video data from the retimer and is a display pod interface;
A sync core that satisfies the display port standard, which is responsible for a display port sync function, receives parallel data from the PHY controller and outputs a video stream through a video interface;
An EDID ROM storing video resolution and video information supported by the sync core;
A serial port for communication with the primary imaging equipment;
A video DMA for receiving a video stream from the sync core and determining a storage location for each data;
An interconnect for receiving a video stream from the video DMA and transmitting it to the DDR memory side or a PCle side; And
And a subsystem connected to the sync core and the video DMA and running software required for operation of the sync core. A PCIe FPGA frame grabber based on DisplayPort standards, comprising: a.

The method of claim 3,
The sync core,
An IP core that satisfies the DisplayPort standard, comprising: a receiver receiving parallel data from the PHY controller;
A first AXI interconnect that is a crossbar switch that satisfies the AMBA AXI4 specification;
A stream bridge for outputting a video stream; And
DisplayPort standard based PCIe FPGA frame grabber comprising a; AXI IIC interface for connection to the EDID ROM.

The method of claim 4,
The subsystem,
A crossbar switch that satisfies the AMBA AXI4 specification, comprising: a second AXI interconnect communicating with internal and external motion detection and control modules; And
DisplayPort standard-based PCIe FPGA frame grabber comprising; RISC corresponding to the FPGA internal MCU.