CN111050155A - 一种可实现硬件加速的双目感知方法 - Google Patents

一种可实现硬件加速的双目感知方法 Download PDF

Info

Publication number
CN111050155A
CN111050155A CN202010039667.8A CN202010039667A CN111050155A CN 111050155 A CN111050155 A CN 111050155A CN 202010039667 A CN202010039667 A CN 202010039667A CN 111050155 A CN111050155 A CN 111050155A
Authority
CN
China
Prior art keywords
binocular
camera
hls
algorithm
hardware acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010039667.8A
Other languages
English (en)
Inventor
裴海龙
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202010039667.8A priority Critical patent/CN111050155A/zh
Publication of CN111050155A publication Critical patent/CN111050155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种可实现硬件加速的双目感知方法，包括先引出双目摄像头的两个摄像头芯片的外触发引脚，并配置摄像头芯片的寄存器，使摄像头芯片工作在外触发模式；然后通过双目摄像头捕获双目图像和进行离线标定，得到双目摄像头的参数；接着将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后进行同步触发，采集实时双目图像；根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；最后将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，同时生成Linux内核和文件系统管理DDR4中的图像缓存。本发明可应用于对算力和功耗有要求的嵌入式系统，可以有效实现硬件加速。

Description

一种可实现硬件加速的双目感知方法
技术领域
本发明涉及立体视觉和嵌入式系统设计技术领域，特别涉及一种可实现硬件加速的双目感知方法。
背景技术
立体视觉是计算机视觉领域的一个重要课题，它的目的在于通过双目感知重构场景的三维几何信息。立体视觉广泛应用于机器人技术之中，通常对硬件有特定的选择，比如，当立体视觉应用于移动场景例如无人机及无人驾驶中，由于场景快速移动，卷帘相机拍摄图像会有模糊，选择全局曝光摄像头很有必要。立体匹配是立体视觉中的关键一环，相机硬件同步触发可以很大程度上减少误匹配。在嵌入式系统中，还要特别考虑硬件的重量和功耗，尽量选择小封装的芯片型号。另外，由于立体视觉的相关算法复杂，计算量大，对硬件处理速度也有一定的要求，如何提高硬件的处理速度也一直是立体视觉的研究课题。
目前，在PC端上用CPU作为处理器的算法研究有些并不适用于嵌入式系统，主流的技术方案是选择GPU或者FPGA平台来实现。国内外研究机构已经对立体视觉一些常用算法在FPGA上的实现展开了广泛的研究，其中不乏使用Xilinx公司的Zynq系列SoC作为主芯片，它可降低传统方法上FPGA和移动CPU的信息交互代价，并且更加轻便和小封装，非常适用于现在的嵌入式处理平台。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种可实现硬件加速的双目感知方法，该方法可应用于对算力和功耗有要求的嵌入式系统，可以有效实现硬件加速，适用于实时性要求高的场景。
本发明的目的通过下述技术方案实现：一种可实现硬件加速的双目感知方法，包括如下步骤：
S1、针对于双目摄像头的两个摄像头芯片，分别引出摄像头芯片的外触发引脚，并对摄像头芯片的寄存器进行配置，使摄像头芯片工作在外触发模式；
S2、通过双目摄像头捕获双目图像，根据双目图像进行双目摄像头的离线标定，得到双目摄像头的参数；
将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后将双目摄像头和PL进行同步触发，采集实时双目图像；
S3、根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；
S4、将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，同时生成Linux内核和文件系统管理图像缓存。
优选的，双目摄像头的选型要求为：采用全局曝光方式、采用小封装和具有外触发模式。
优选的，摄像头芯片为AR0144CMOS芯片。
优选的，在步骤S2中，采用Matlab标定工具箱进行双目离线标定，得到的双目摄像头的参数包括相机内参矩阵和畸变系数。
优选的，双目摄像头具有MIPI输出接口，MIPI输出接口通过MIPI CSI-2RxSubsystem模块接入PL；两个摄像头芯片的Trigger引脚连接至同一个PL引脚，以此进行同步触发。
优选的，在步骤S3中，采用Vivado HLS高层次综合生成自定义IP，过程如下：
(1)新建HLS工程；
(2)在Source选项中新建一个顶层文件Top.cpp，根据双目摄像头的参数，在该顶层文件中利用C/C++语言编程的函数进行功能自定义，自定义的功能包括相机校正和双目立体匹配；
在Source选项中新建一个库文件Top.h，在该库文件中利用Top.cpp的库函数进行图像相关的宏定义和函数声明；
(3)为验证上述HLS算法的正确性，在Test Bench中新建测试文件Test.cpp，调用Top.cpp程序函数接口，在该测试文件中将上述HLS算法实现效果与OPENCV库的算法实现效果进行对比；
(4)对HLS算法进行代码优化，使其能适应Zynq平台；
(5)选择Project下拉菜单中的Project Settings，Synthesis选择Top.cpp中核心算法作为顶层函数；
(6)进行综合和仿真，并将仿真得到的图像与OPENCV库的算法仿真得到的图像进行对比验证；
(7)算法验证通过之后，选择Solution下拉菜单中的Export RTL对算法进行命名，从而将算法封装成IP核。
更进一步的，在步骤(2)中，宏定义包括：将AXI4-Stream总线定义为hls::stream<ap_axiu<24,1,1,1>>，将RGB图像定义为hls::Mat<MAX_HEIGHT,MAX_WIDTH,HLS_8UC3>，将灰度图像定义为hls::Mat<MAX_HEIGHT,MAX_WIDTH,HLS_8UC1>；
函数声明包括图像宽MAX_WIDTH和高MAX_HEIGH，文件输入和输出路径。
更进一步的，在步骤(3)中，HLS算法与OPENCV库的算法实现结果均是视频流；
考虑到需封装的算法函数输入输出都是AXI-STREAM格式，通过hls_video.h文件中封装的AXIvideo2Mat和Mat2AXIvideo对HLS视频流进行格式转换；通过hls_opencv.h文件中封装的IplImage2AXIvideo和AXIvideo2IplImage对HLS视频流进行显示。
更进一步的，在步骤(6)中，采用HDMI进行图像显示。
优选的，采用Xilinx-VDMAIP将实时视差图传输给PS的DDR4；采用Xilinx-Petalinux生成Linux内核及文件系统。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明可实现硬件加速的双目感知方法，包括先引出双目摄像头的两个摄像头芯片的外触发引脚，并对摄像头芯片的寄存器进行配置，使摄像头芯片工作在外触发模式；然后通过双目摄像头捕获双目图像和进行离线标定，得到双目摄像头的参数；接着将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后将双目摄像头和PL进行同步触发，采集实时双目图像；根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；最后将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互；同时生成Linux内核及文件系统管理DDR4中的图像缓存。本发明方法基于Zynq UltraScale+MPSoC，硬件平台相对于CPU其并行计算能力更强，相对于GPU其能耗更低，因此非常适用于对算力和功耗有要求的嵌入式系统；利用自定义IP进行相机校正和双目立体匹配，能够有效实现硬件加速，因此本发明方法适用于实时性要求高的场景。
(2)本发明方法运用Vivado HLS高层次综合，将复杂算法封装成IP核，利用PL资源进行硬件加速，提高了嵌入式系统的实时性。
(3)本发明方法采用硬件同步方案，相对传统软件同步方案，同步效果更好，更能有效降低误匹配，提高立体匹配精度。
(4)本发明方法使用摄像头芯片的MIPI接口作为输出，相较于传统的DVP接口，其连接引脚更少，传输速率更快。
附图说明
图1是本发明可实现硬件加速的双目感知方法的流程图。
图2是本发明Zynq UltraScale+MPSoC的结构框图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例公开了一种可实现硬件加速的双目感知方法，如图1所示，包括如下步骤：
S1、针对于双目摄像头的两个摄像头芯片Camera0、Camera1，分别引出摄像头芯片的外触发引脚Trigger，并对摄像头芯片的寄存器进行配置，使摄像头芯片工作在外触发模式。
双目摄像头的选型要求为：采用全局曝光方式、采用小封装和具有外触发模式。采用全局曝光方式主要是考虑到双目立体视觉应用在移动场景的情况，避免拍摄出来的图像模糊；采用小封装是为了减小硬件的重量和功耗；具有外触发模式是为了便于人为控制双目摄像头的工作状态。在本实施例中，摄像头芯片为AR0144CMOS芯片。
S2、通过双目摄像头捕获双目图像，根据双目图像进行双目摄像头的离线标定，得到双目摄像头的参数。
在本实施例中，具体是采用Matlab标定工具箱进行双目离线标定，双目摄像头的参数包括相机内参矩阵和畸变系数，可用于下述相机校正中。
在本实施例中，双目摄像头具有MIPI输出接口，MIPI输出接口通过Xilinx-MIPICSI-2Rx Subsystem模块接入Zynq UltraScale+MPSoC的PL部分，可参见图2，摄像头芯片Camera0和Camera1连接至PL中的两个MIPI C SI-2。两个摄像头芯片的Trigger引脚连接至同一个PL引脚，以此进行同步触发。同步触发可以在很大程度上减少误匹配，提高立体匹配精度。
S3、根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图，如图2所示，自定义IP包括图像校正IP和立体匹配IP。
本实施例采用Vivado HLS高层次综合生成自定义IP。Vivado HLS是Xilinx推出的高层次综合工具，一些算法用HDL语言来开发过于复杂，使用Vivado HLS可以方便地利用C/C++语言来开发相应算法，算法验证过后就可以转化为RTL，然后封装为IP核，便于后续调用。Vivado HLS使用OpenCV库作为参考模型，HLS算法与OPENCV库的算法实现结果均是视频流。Vivado HLS中的hls_video.h和hls_opencv.h文件中包括多种视频库函数，例如hls_video.h文件中具有AXIvideo2Mat和Mat2AXIvideo，hls_opencv.h文件中具有IplImage2AXIvideo和AXIvideo2IplImage。
自定义IP生成过程如下：
(1)新建HLS工程。
(2)在Source选项中新建一个顶层文件Top.cpp，根据双目摄像头的参数，在该顶层文件中利用C/C++语言编程的函数进行功能自定义，自定义的功能包括相机校正和双目立体匹配。
在Source选项中新建一个库文件Top.h，在该库文件中利用Top.cpp的库函数进行图像相关的宏定义和函数声明。
宏定义包括：将AXI4-Stream总线定义为hls::stream<ap_axiu<24,1,1,1>>，将RGB图像定义为hls::Mat<MAX_HEIGHT,MAX_WIDTH,HLS_8UC3>，将灰度图像定义为hls::Mat<MAX_HEIGHT,MAX_WIDTH,HLS_8UC1>。
函数声明包括图像宽MAX_WIDTH和高MAX_HEIGH，文件输入和输出路径。
(3)为验证上述HLS算法的正确性，在Test Bench中新建测试文件Test.cpp，调用Top.cpp程序函数接口，在该测试文件中将上述HLS算法实现效果与OPENCV库的算法实现效果进行对比。
在本实施例中，考虑到需封装的算法函数输入输出都是AXI-STREAM格式，因此通过hls_video.h文件中封装的AXIvideo2Mat和Mat2AXIvideo对HLS视频流进行格式转换，即先通过AXIvideo2Mat将输入的AXI格式转成MAT格式，可以方便调用HLS内置函数；再通过Mat2AXIvideo将其转成原来的AXI-STREAM格式进行输出。
通过hls_opencv.h文件中封装的IplImage2AXIvideo和AXIvideo2IplImage对HLS视频流进行显示，其中，IplImage2AXIvideo可将采集的双目图像转成AXI视频流，AXIvideo2IplImage可将视频流再转回图像。
(4)对HLS算法进行代码优化，使其能适应Zynq平台，在下述高层次综合的时候能够减少PL的资源消耗。
(5)选择Project下拉菜单中的Project Settings，Synthesis选择Top.cpp中核心算法作为顶层函数。
(6)进行综合和仿真，并将仿真得到的图像与OPENCV库的算法仿真得到的图像进行对比，也即验证实时差视图。本实施例的仿真结果可采用HDMI进行图像显示。
(7)算法验证通过之后，选择Solution下拉菜单中的Export RTL对算法进行命名，从而将算法封装成IP核，该IP核即为自定义IP，可用于后续的Vivado综合。
S4、将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，即将图像缓存写入DDR4或读取DDR4中的图像缓存；同时生成Linux内核和文件系统管理DDR4中的图像缓存，PS中的APU可使用Linux内核和文件系统做后续的立体视觉处理。
本实施例采用Xilinx-VDMAIP实现Zynq中的AXI4-Lite总线和AXI4-Stream总线的数据转换和将实时视差图传输给PS的DDR4，Xilinx-VDMAIP可参见图2中的VDMA0、VDMA1和VDMA2。另外，本实施例采用Xilinx-Petalinux生成Linux内核及文件系统。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种可实现硬件加速的双目感知方法，其特征在于，包括如下步骤：
S1、针对于双目摄像头的两个摄像头芯片，分别引出摄像头芯片的外触发引脚，并对摄像头芯片的寄存器进行配置，使摄像头芯片工作在外触发模式；
S2、通过双目摄像头捕获双目图像，根据双目图像进行双目摄像头的离线标定，得到双目摄像头的参数；
将双目摄像头接入Zynq UltraScale+MPSoC的PL部分，然后将双目摄像头和PL进行同步触发，采集实时双目图像；
S3、根据双目摄像头的参数生成自定义IP，在PL中，调用自定义IP进行相机校正和对实时双目图像进行双目立体匹配，从而生成实时视差图；
S4、将实时视差图传输给Zynq UltraScale+MPSoC的PS部分，并与其中的DDR4内存进行数据交互，同时生成Linux内核和文件系统管理DDR4中的图像缓存。
2.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，双目摄像头的选型要求为：采用全局曝光方式、采用小封装和具有外触发模式。
3.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，摄像头芯片为AR0144CMOS芯片。
4.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，在步骤S2中，采用Matlab标定工具箱进行双目离线标定，得到的双目摄像头的参数包括相机内参矩阵和畸变系数。
5.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，双目摄像头具有MIPI输出接口，MIPI输出接口通过MIPI CSI-2Rx Subsystem模块接入PL；两个摄像头芯片的Trigger引脚连接至同一个PL引脚，以此进行同步触发。
6.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，在步骤S3中，采用Vivado HLS高层次综合生成自定义IP，过程如下：
(1)新建HLS工程；
(2)在Source选项中新建一个顶层文件Top.cpp，根据双目摄像头的参数，在该顶层文件中利用C/C++语言编程的函数进行功能自定义，自定义的功能包括相机校正和双目立体匹配；
在Source选项中新建一个库文件Top.h，在该库文件中利用Top.cpp的库函数进行图像相关的宏定义和函数声明；
(3)为验证上述HLS算法的正确性，在Test Bench中新建测试文件Test.cpp，调用Top.cpp程序函数接口，在该测试文件中将上述HLS算法实现效果与OPENCV库的算法实现效果进行对比；
(4)对HLS算法进行代码优化，使其能适应Zynq平台；
(5)选择Project下拉菜单中的Project Settings，Synthesis选择Top.cpp中核心算法作为顶层函数；
(6)进行综合和仿真，并将仿真得到的图像与OPENCV库的算法仿真得到的图像进行对比验证；
(7)算法验证通过之后，选择Solution下拉菜单中的Export RTL对算法进行命名，从而将算法封装成IP核。
7.根据权利要求6所述的可实现硬件加速的双目感知方法，其特征在于，在步骤(2)中，宏定义包括：将AXI4-Stream总线定义为hls::stream<ap_axiu<24,1,1,1>>，将RGB图像定义为hls::Mat<MAX_HEIGHT,MAX_WIDTH,HLS_8UC3>，将灰度图像定义为hls::Mat<MAX_HEIGHT,MAX_WIDTH,HLS_8UC1>；
函数声明包括图像宽MAX_WIDTH和高MAX_HEIGH，文件输入和输出路径。
8.根据权利要求6所述的可实现硬件加速的双目感知方法，其特征在于，在步骤(3)中，HLS算法与OPENCV库的算法实现结果均是视频流；
考虑到需封装的算法函数输入输出都是AXI-STREAM格式，通过hls_video.h文件中封装的AXIvideo2Mat和Mat2AXIvideo对HLS视频流进行格式转换；通过hls_opencv.h文件中封装的IplImage2AXIvideo和AXIvideo2IplImage对HLS视频流进行显示。
9.根据权利要求6所述的可实现硬件加速的双目感知方法，其特征在于，在步骤(6)中，采用HDMI进行图像显示。
10.根据权利要求1所述的可实现硬件加速的双目感知方法，其特征在于，采用Xilinx-VDMA IP将实时视差图传输给PS的DDR4；采用Xilinx-Petalinux生成Linux内核及文件系统。
CN202010039667.8A 2020-01-15 2020-01-15 一种可实现硬件加速的双目感知方法 Pending CN111050155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010039667.8A CN111050155A (zh) 2020-01-15 2020-01-15 一种可实现硬件加速的双目感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010039667.8A CN111050155A (zh) 2020-01-15 2020-01-15 一种可实现硬件加速的双目感知方法

Publications (1)

Publication Number Publication Date
CN111050155A true CN111050155A (zh) 2020-04-21

Family

ID=70244595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010039667.8A Pending CN111050155A (zh) 2020-01-15 2020-01-15 一种可实现硬件加速的双目感知方法

Country Status (1)

Country Link
CN (1) CN111050155A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269726A (zh) * 2021-04-29 2021-08-17 中国电子科技集团公司信息科学研究院 高光谱图像目标检测方法及装置
CN113992909A (zh) * 2021-12-23 2022-01-28 广州思林杰科技股份有限公司 一种mipi d-phy接口摄像头模组的测试系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269726A (zh) * 2021-04-29 2021-08-17 中国电子科技集团公司信息科学研究院 高光谱图像目标检测方法及装置
CN113992909A (zh) * 2021-12-23 2022-01-28 广州思林杰科技股份有限公司 一种mipi d-phy接口摄像头模组的测试系统及方法

Similar Documents

Publication Publication Date Title
CN105051792B (zh) 用于使用深度映射和光源合成增强3d图像的设备
CN105376530B (zh) 一种基于固定位置的全景视频图像生成装置
US20140375634A1 (en) Hybrid client-server rendering with low latency in view
JP2024510265A (ja) 高解像度ニューラル・レンダリング
CN111050155A (zh) 一种可实现硬件加速的双目感知方法
CN115552451A (zh) 用于增强现实的多层二次投影技术
Amara et al. Sobel edge detection system design and integration on an FPGA based HD video streaming architecture
CN103533317A (zh) 数字电影放映系统及方法
Shen et al. Full system simulation with QEMU: An approach to multi-view 3D GPU design
CN110192391B (zh) 一种处理的方法及设备
CN116205069A (zh) 基于智能驾驶域控制器的场景注入方法、系统及装置
CN212012914U (zh) 一种双目感知系统
CN105957044B (zh) 具有asip核心的图像融合红外热像仪
KR102346090B1 (ko) 체적 3d 비디오 데이터의 실시간 혼합 현실 서비스를 위해 증강 현실 원격 렌더링 방법
CN115457363B (zh) 一种图像目标检测方法及系统
Kaputa et al. Model based design of a real time fpga-based lens undistortion and image rectification algorithm for stereo imaging
KR102598603B1 (ko) 이기종 클라이언트 종단점에 대한 스트리밍을 위한 2d 비디오의 적응
US20220012860A1 (en) Methods and apparatus to synthesize six degree-of-freedom views from sparse rgb-depth inputs
Gao et al. High-speed image processing and data transmission based on vivado hls and axi4-stream interface
Chen et al. A parallel reconfigurable architecture for real-time stereo vision
CN203492154U (zh) 数字电影放映系统
JP2023124678A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN108259842A (zh) 基于Zynq的图像传输与采集验证系统
WO2021184303A1 (zh) 一种视频处理的方法及设备
Dakre et al. Image enhancement using hardware co-simulation for biomedical applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination