CN110148077A - 一种加速elbp-ip核的方法及mr智能眼镜 - Google Patents

一种加速elbp-ip核的方法及mr智能眼镜 Download PDF

Info

Publication number
CN110148077A
CN110148077A CN201810146140.8A CN201810146140A CN110148077A CN 110148077 A CN110148077 A CN 110148077A CN 201810146140 A CN201810146140 A CN 201810146140A CN 110148077 A CN110148077 A CN 110148077A
Authority
CN
China
Prior art keywords
file
elbp
core
processing time
programmable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810146140.8A
Other languages
English (en)
Other versions
CN110148077B (zh
Inventor
杜晶
张弦
范懿文
张云雷
贾惟宜
马云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Hongxu Desheng Technology Co ltd
Original Assignee
Visual Interactive (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visual Interactive (beijing) Technology Co Ltd filed Critical Visual Interactive (beijing) Technology Co Ltd
Priority to CN201810146140.8A priority Critical patent/CN110148077B/zh
Publication of CN110148077A publication Critical patent/CN110148077A/zh
Application granted granted Critical
Publication of CN110148077B publication Critical patent/CN110148077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/34—Circuit design for reconfigurable circuits, e.g. field programmable gate arrays [FPGA] or programmable logic devices [PLD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Generation (AREA)
  • Logic Circuits (AREA)

Abstract

本发明提供了一种加速ELBP‑IP核的方法及MR智能眼镜，包括：提取算法相关数据并进行编译。输入第一激励文件对像素文件处理得到第一纹理图像和第一处理时间。将提取文件进行改写后综合为待烧写文件，并映射到可编程逻辑门阵列中，得到可编程ELBP‑IP核后输入第二激励文件对相同像素文件进行处理得到第二纹理图像和第二处理时间。将第一纹理图像与第二纹理图像，第一处理时间和第二处理时间进行比对，得到纹理相同，第二处理时间小于第一处理时间的结果。由于新的IP核基于可编程逻辑门阵列运行，而可编程门阵列具有多线程同时处理数据的能力，从而提升了处理图形图像数据的速度，达到了加速处理的目的，和现有技术相比由于不需要增加处理器频率减小了功耗。

Description

一种加速ELBP-IP核的方法及MR智能眼镜
技术领域
本发明涉及图像处理领域，尤其涉及一种加速ELBP-IP核的方法及MR智能眼镜。
背景技术
随着科技的发展，虚拟现实VR、增强现实AR和混合现实MR逐渐进入大众视野。目前应用于AR/MR领域的计算机视觉、计算机图形学技术以及人工智能技术，均采用绝大部分依托于CPU+GPU架构。而且由CPU进行来主导运算处理。CPU在处理多线程调度任务等领域有诸多优势，但其处理运算方式为串行运算。
在VR、AR和MR领域中，人脸识别作为一种生物特征识别技术,受到了广泛的关注，成为应用于数学、信息技术紧密结合的前沿热点问题。识别算法是人脸识别系统的核心部分,直接影响到系统的性能。基于局部二进制模式(Local Binary Pattern,简称LBP)改进的采用圆形算子的ELBP算法(Extended Local Binary Pattern，拓展局部二进制模式)可以有效的应用在人脸识别算法中，它相比LBP的效果锐度更强。通过ELBP处理的图像得到的特征不仅反映纹理变化的大小,而且反映了纹理变化的趋势，并且还应用在人脸识别训练过程中。
人脸识别是计算机视觉中的一项重要分支，现有技术中CPU以串行运算的方式对外设获取的图形图像数据流进行一步步处理，最后统一输出至GPU，GPU对数据进行渲染后输出。在这个过程中，需要对图形图像数据进行逐步数据处理，比如：图形图像检测、位姿检测、像素匹配等环节。进一步的，每一个环节的具体进程也是串行的。由此导致了处理速度进一步变慢。
以ELBP算法为例，其算子为圆形算子，现有技术中，在运用此算法对图形图像数据流处理时：将图形图像数据流分解为多个像素图片，从一张像素图片中选定一个中心像素，然后将邻近的八个像素值与此中心像素值进行比较，若邻近像素点的值比中心像素值小，就将此位置记0，反之，则记1。将得到的8位二进制数按照位置及对应的权值进行求和，最后得到的十进制整数就是该中心像素的ELBP值。对一张像素图片处理完成后再对下一张像素图片进行处理，直至这个图形图像数据流中的所有像素图片被处理完毕之后输出。
从长远来看，上述架构已经无法满足大数据高并发实时处理的业务需求，在现行框架下只有增加处理器主频来提升处理速度，但是由此带了来了功耗增大的影响，如何提升图形图像处理速度成为了亟待解决的问题。
发明内容
本发明提供一种加速ELBP-IP核的方法及MR智能眼镜，用以解决如何提升图形图像处理速度问题。
为了实现上述目的，本发明实施例采用如下技术方案：
第一方面，本发明技术方案提供了一种加速ELBP-IP核的方法，所述方法包括：从数据库中提取与ELBP算法相关数据，得到提取文件。对提取文件进行编译，得到编译结果，在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间。根据HLS视频图片库函数规则对所述编译结果中的算法主文件，算法头文件进行改写，得到改写文件。将改写文件综合为待烧写文件，将待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并运行第二激励文件对所述像素文件进行运算处理得到第二纹理图像及第二处理时间。分别对，所述第一纹理图像和所述第二纹理图像，所述第一处理时间和所述第二处理时间进行比较，若得到纹理图像比较结果相同，所述第二处理时间小于所述第一处理时间的比较结果则所述可编程ELBP-IP核正确。其中，所述像素文件为图像采集设备采集的；其中，所述提取文件包括：算法主文件，算法头文件；其中，第一纹理图像与第二纹理图像相同。
在第一种可能实现的方式中，结合第一方面的实现方式，所述对所述提取文件进行编译，得到编译结果，在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间，包括：将所述提取文件中的动态内存替换为行缓存或窗口缓存。将提取文件中的除法运算替换为乘法运算。将循环变量的最大值写入提取文件，得到编译结果。
在第二种可能实现的方式中，结合第一方面的实现方式，所述根据HLS视频图片库函数规则对所述编译结果中的算法主文件，算法头文件进行改写，得到改写文件，包括：用HLS视频图片库函数改写所述算法主文件得到改写主文件。用HLS视频图片库函数替换所述算法头文件中的代码库函数，得到改写头文件。所述改写主文件、改写头文件的集合为所述改写文件。
在第三种可能的实现方式中，结合第一方面的第二种可能，所述改写，还包括：用HLS视频图片库函数改写所述第一激励文件，得到所述第二激励文件。
在第四种可能实现的方式中，结合第一方面的实现方式及第一方面的第一至三种可能，所述将所述改写文件综合为待烧写文件，将所述待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并运行第二激励文件对所述像素文件进行运算处理得到第二纹理图像及第二处理时间，包括：新建可编程逻辑门阵列工程，在所述可编程逻辑门阵列工程中导入所述改写文件，得到待烧写文件。对所述可编程逻辑门阵列工程中的内部电路进行设计得到初步设计结果，具体包括：设计系统和时钟，配置VDMA模块，设计显示模块。对初步设计结果进行布线，并根据所述待烧写文件生成下载文件。将下载文件下载至所述可编程逻辑门阵列工程，得到所述可编程ELBP-IP核。向可编程ELBP-IP核输入所述第二激励文件，并在所述可编程ELBP-IP核上对所述像素文件进行运算处理，得到第二纹理图像及第二处理时间。
第二方面，本发明技术方案提供了一种加速ELBP-IP核的MR智能眼镜，所述MR智能眼镜包括：提取单元，用于从数据库中提取与ELBP算法相关数据，得到提取文件。第一运算处理单元，用于对所述提取单元提取的所述提取文件进行编译，得到编译结果，还用于在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间。改写单元，用于根据HLS视频图片库函数规则对所述第一运算处理单元得到的所述编译结果中的算法主文件，算法头文件进行改写，得到改写文件。可编程ELBP-IP核获取单元，用于将所述改写单元通过改写后得到的所述改写文件综合为待烧写文件，将所述待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核。第二运算处理单元，用于在所述可编程ELBP-IP核上运行第二激励文件对所述像素文件进行运算处理得到第二纹理图像及第二处理时间。比校单元，用于将所述第一运算处理单元得到的所述第一纹理图像与所述第二运算处理单元得到的所述第二纹理图像进行比较，对所述第一处理时间和所述第二处理时间进行比较，根据比较结果判断所述可编程ELBP-IP核获取单元获取的所述可编程ELBP-IP核是否正确。其中，所述像素文件为图像采集设备采集的。其中，所述提取文件包括：算法主文件，算法头文件。所述第一运算处理单元、改写单元位于主控电路板中；可编程ELBP-IP核获取单元位于可编程逻辑门阵列中，具体为被待烧写文件映射的集成运算电路；第二运算处理单元为，在可编程逻辑门阵列中的具有运算处理功能的集成运算电路。
在第一种可能实现的方式中，结合第二方面的实现方式，所述第一运算处理单元，包括：内存替换子单元，用于将所述提取单元提取的所述提取文件中的动态内存替换为行缓存或窗口缓存。运算替换子单元，用于将所述提取单元提取的所述提取文件中的除法运算替换为乘法运算。编译子单元，用于将循环变量的最大值写入所述提取单元提取的所述提取文件，得到所述编译结果。第一运算处理子单元，用于根据所述编译子单元得到的所述编译结果，对像素文件运行第一激励文件，进行运算处理得到第一纹理图像及第一处理时间。
在第二种可能实现的方式中，结合第二方面的实现方式，所述改写单元包括：主文件改写子单元，用于根据HLS视频图片库函数对所述算法主文件进行改写，得到改写主文件。头文件改写子单元，用于根据HLS视频图片库函数对所述算法头文件中的代码库函数进行改写，得到改写头文件。激励文件改写子单元，用于根据HLS视频图片库函数对所述第一激励文件进行改写，得到所述第二激励文件。其中，所述改写主文件、改写头文件的集合为所述改写文件。
在第三种可能实现的方式中，结合第二方面的第二种可能，所述可编程ELBP-IP核获取单元，包括：待烧写文件获取子单元，用于，通过新建可编程逻辑门阵列工程，在所述可编程逻辑门阵列工程中导入所述改写文件，得到待烧写文件。电路设计子单元，用于对所述待烧写文件获取子单元获取的所述待烧写文件中的内部电路进行设计得到初步设计结果，具体包括：设计系统和时钟，配置VDMA模块，设计显示模块。布线子单元，用于对所电路设计子单元得到的所述初步设计结果进行布线，还用于根据布线结果生成下载文件。获取子单元，用于将所述布线子单元生成的下载文件下载至所述可编程逻辑门阵列工程，得到所述可编程ELBP-IP核。
在第四种可能实现的方式中，结合第二方面的实现方式及第二方面的第一至三种可能，所述比校单元具体用于：对所述第一纹理图像和所述第二纹理图像，所述第一处理时间和所述第二处理时间分别进行比较，若得到纹理图像比较结果相同，所述第二处理时间小于所述第一处理时间的比较结果则所述可编程ELBP-IP核正确，否则错误。其中所述比较单元位于主控电路板中。
本发明技术方案提供了一种加速ELBP-IP核的方法，包括：从数据库中提取与ELBP算法相关数据后，对其进行编译，得到编译结果。在编译结果基础上输入第一激励文件对像素文件进行运算处理得到第一纹理图像和第一处理时间。根据HLS视频图片库函数规则对编译结果中各个文件进行改写。将改写后文件综合为待烧写文件，将待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并输入第二激励文件对所述像素文件进行运算处理得到第二纹理图像和第二处理时间。分别将第一纹理图像与第二纹理图像，第一处理时间和第二处理时间进行比对，得到纹理相同，第二处理时间小于第一处理时间的结果。
本发明技术方案还提供了一种加速ELBP-IP核的MR智能眼镜，包括：提取单元，用于从数据库中提取与ELBP算法相关数据，得到提取文件。第一运算处理单元，用于对所述提取单元提取的所述提取文件进行编译，得到编译结果，还用于得到第一纹理图像和第一处理时间。改写单元，用于根据HLS视频图片库函数规则对编译结果进行改写，得到改写文件。可编程ELBP-IP核获取单元，用于将所述改写文件综合为待烧写文件，将其映射到可编程逻辑门阵列中，得到可编程ELBP-IP核。第二运算处理单元，用于可编程ELBP-IP核输入第二激励文件对所述像素文件进行运算处理得到第二纹理图像和第二处理时间。通过对纹理图案和处理时间的比较验证可编程ELBP-IP核是否正确，若正确则二者纹理图案相同，第二处理时间远小于第一处理时间。
本发明通过提取原始文件，基于HLS的规则对原始文件进行改写，将其映射在可编程逻辑门阵列上，并对可编程逻辑门之间的电路关系重新设定，得到可编程ELBP-IP核，由于新的IP核基于可编程逻辑门阵列运行，而可编程门阵列具有能够同时多线程处理数据的能力，从而提升了处理图形图像数据的速度，进一步的，和现有技术相比，由于不需要增加处理器频率，从而减小了功耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种加速ELBP-IP核的方法的流程图；
图2为本发明一具体实施例提供的一种加速ELBP-IP核的方法的流程图；
图2a为图2中步骤207的流程图；
图3为本发明技术方案中MR智能眼镜的结构示意图；
图4为本发明技术方案提供的具体实施例中处理的原像素图；
图4a为图4所示像素图片的纹理图；
图4b为图2步骤202中第一处理时间的截图；
图4c为图2步骤207中第二处理时间的截图；
图5为本发明实施例提供的一种加速ELBP-IP核的MR智能眼镜的结构示意图；
图6为图5中第一运算处理单元52的结构示意图；
图7为图5中改写单元53的结构示意图；
图8为图5中可编程ELBP-IP核获取单元54的结构示意图；
图9为本发明技术方案的硬件结构图；
图9a为得到可编程ELBP-IP核后的硬件关系图；
图10为本发明技术方案中待烧写电路的电路图示例。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的流程示意图，如图1所示，本实施例提供的一种加速ELBP-IP核的方法，包括：
步骤101、提取相关数据，并进行编译得到编译结果，通过运算处理得到第一纹理图像及第一处理时间。
具体的，从数据库中提取与ELBP算法相关数据文件(算法主文件和算法头文件)，对这些数据文件进行编译，得到编译结果，在编译结果上运行第一激励文件对像素文件进行运算处理得到第一纹理图像和第一处理时间，用以验证提取数据是否正确。
具体的，编译包括，将提取文件中的动态内存替换为行缓存或窗口缓存，将除法运算替换为乘法运算，将循环变量的最大值写入提取文件，得到编译结果。
步骤102、依据HLS视频图片库函数规则对编译结果进行改写，得到改写文件。
具体的，根据HLS视频图片库函数规则改写所述算法主文件得到改写主文件。用HLS视频图片库函数替换所述算法头文件中的代码库函数，得到改写头文件。所述改写主文件、改写头文件的集合为改写文件。
同样根据HLS视频图片库函数规则改写第一激励文件，得到第二激励文件。
步骤103、将改写文件综合为待烧写文件，并映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，运行第二激励文件对像素文件进行运算处理得到第二纹理图像及第二处理时间。
具体包括：新建可编程逻辑门阵列工程，在其中导入改写文件，得到待烧写文件。对可编程逻辑门阵列工程中的系统和时钟进行设计使得其能够满足处理需求，配置VDMA模块(Video Direct Memory Access，视频直接内存访问)，设计显示模块以及对内部电路进行设计，得到初步设计结果。之后，对初步设计结果进行布线，并生成下载文件。将下载文件下载至可编程逻辑门阵列工程，得到可编程ELBP-IP核。对可编程ELBP-IP核输入第二激励文件，并在可编程ELBP-IP核上对像素文件进行运算处理，得到第二纹理图像。
步骤104、对第一纹理图像和第二纹理图像，第一处理时间和第二处理时间分别进行比较，纹理图像比较结果相同，第二处理时间小于第一处理时间，则可编程ELBP-IP核正确。
本发明技术方案提供了一种加速ELBP-IP核的方法，包括：从数据库中提取与ELBP算法相关数据后，对其进行编译，得到编译结果。在编译结果基础上输入第一激励文件对像素文件进行运算处理得到第一纹理图像和第一处理时间。根据HLS视频图片库函数规则对编译结果中各个文件进行改写。将改写后文件综合为待烧写文件，将待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并输入第二激励文件对所述像素文件进行运算处理得到第二纹理图像和第二处理时间。分别将第一纹理图像与第二纹理图像，第一处理时间和第二处理时间进行比对，得到纹理相同，第二处理时间小于第一处理时间的结果。
本发明通过提取原始文件，基于HLS的规则对原始文件进行改写，将其映射在可编程逻辑门阵列上，并对可编程逻辑门之间的电路关系重新设定，得到可编程ELBP-IP核，由于新的IP核基于可编程逻辑门阵列运行，而可编程门阵列具有能够同时多线程处理数据的能力，从而提升了处理图形图像数据的速度，进一步的，和现有技术相比，由于不需要增加处理器频率，从而减小了功耗。
现用一具体实施例描述本发明技术方案，在本实施例中，以从Opencv中提取ELBP算法相关文件为例进行说明，并非用以对算法相关文件提取源头进行限制。
现用一具体实施例对本发明技术方案进行具体说明，如图2所示：
步骤201、从opencv中提取elbp.c和elbp.h文件并输入elbp_tb.c文件。
其中，elbp.c文件为算法主文件，elbp.h文件为算法头文件，elbp_tb.c文件为测试文件。测试文件通常作为在测试时对图片或者视频流的激励。在本实施例中测试文件为提取文件中算法主文件的主函数接口，同时还作为像素文件的激励。
步骤202、在visual studio中运用C++语言对提取文件进行编译，得到得到可执行文件。
具体的，将提取文件中的动态内存分配行为，替换为行缓存或窗口缓存的流处理行为。之后，将提取文件中的除法运算替换为乘法运算。将矩阵(一种数据结构)替换为行缓存或窗口缓存的数据流(一种数据结构)处理。将循环变量的最大值写入，辅助编译。
步骤203、在opencv中对像素文件运行上述文件，判断是否得到运行成功，若成功进行步骤204，否则重复执行步骤202。
具体的，依据HLS(HTTP Live Streaming，基于HTTP的媒体流传输协议)，依据视觉库opencv，对原像素文件进行图像处理，得到第一纹理图像，其文本文件为：elbp_lena.txt，还得到第一处理时间。第一纹理图像的文本文件不仅用于验证提取的文件是否正确，还用于和第一处理时间一起验证后续得到的可重构IP核是否正确。第一处理时间可以是对原像素文件多次处理后得到的平均时间
步骤204、使用测试文件对可执行文件进行测试，判断是否成功，若成功即此文件为可执行文件执行步骤205，否则重复执行步骤203。
具体的，可执行文件能够顺利运行即测试成功。测试文件为elbp_tb.c文件。
步骤205、对可执行文件中的elbp.c，elbp.h进行编译处理，对编译结果进行验证。
具体的，用HLS视频图片库函数改写算法主文件elbp.c得到elbp_hls.c文件。用HLS视频图片库函数替换算法头文件elbp.h中的opencv库函数，得到elbp_hls.h文件。用HLS视频图片库函数改写测试文件elbp_tb.c得到elbp_hls_tb.c文件。
将elbp_hls.c、elbp_hls.h、elbp_hls_tb.c文件，在HLS编译器中进行验证，运行成功则编译正确。
步骤206、删除elbp_hls_tb.c文件。
步骤207、将剩余文件在FPGA上综合成可编程ELBP-IP核，调用SDK作为激励文件，在FPGA上对原像素文件进行运算处理得到第二纹理图像和第二处理时间。
其中，剩余文件暨为待烧写文件。其中，第二纹理图像的文本化文件为elbp_hls_lena.txt。
步骤208、对两个文本化文件和两个处理时间分别进行比较后判可断编程ELBP-IP核是否正确。具体的，若两个文本化文件相同且第二处理时间小于第一处理时间，则可编程ELBP-IP核正确，否则错误，执行步骤201。
具体的两个文本化文件分别是第一纹理图像的elbp_lena.txt和第二纹理图像的elbp_hls_lena.txt。
具体的，对于步骤207，其详细过程如图2a所示：
步骤2071、用vivado工具新建FPGA工程。
步骤2072、导入elbp_hls.c、elbp_hls.h文件。
步骤2073、对FPGA内部电路和相关模块进行设计。
具体包括：设计系统，设置时钟，配置VDMA模块，设计HDMI或VGA显示模块。
步骤2074、完成vivado的综合设计，布线，根据待烧写文件生成下载文件。
步骤2075、将下载文件下载至FPGA，使用SDK作为激励文件对像素文件进行处理。用于测试可编程ELBP-IP核是否正确。
步骤2076、在屏幕上显示经elpb算法处理过的第二纹理图像。
具体的，在屏幕上显示的纹理图像均为像素图像，与各纹理图像分别相对应有文本化图像用于对结果进行比较。
由上可知，本发明技术方案可以在vivado上实现，但并不局限于此平台。
本实施例通过在opencv上提取ELBP算法原始文件，基于HLS的规则对其进行改写，将其映射在可编程逻辑门阵列上，并对可编程逻辑门之间的电路关系重新设定，得到可编程ELBP-IP核，由于新的IP核基于可编程逻辑门阵列运行，而可编程门阵列具有能够同时多线程处理数据的能力，从而提升了处理图形图像数据的速度，进一步的，和现有技术相比，由于不需要增加处理器频率，从而减小了功耗。使得本发明技术方案以在需要对大量像素数据进行处理的终端中使用，比如以MR混合现实智能眼镜为代表的一系列AR、VR、MR设备。
FPGA(Field－Programmable Gate Array)，即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是专用集成电路(ASIC)领域中的一种半定制电路。
现具体以通过本发明技术方案得到的，可编程ELBP-IP核(以下简称ELBP-IP核)对MR像素数据的处理为例，进一步对本发明技术方案进行说明，如图3所示：
MR智能眼镜上的深度摄像模组采集MR数据流，MR数据流中包含N个MR像素数据(N为大于等于1的正整数)。采集的MR数据流进入可编程门阵列中，在可编程门阵列中的ELBP-IP核对MR数据流中的MR像素数据进行处理。
具体的，MR像素数据首先被处理器降噪，降噪后的MR像素数据进入FPGA中，ELBP-IP核对其进行图像处理，具体为：
将MR数据流中包含的图像文件逐一分解为多个像素图片：像素图片1、像素图片2、像素图片3……像素图片N。同时从像素图片1……像素图片N中选取中心像素1、中心像素2……中心像素N。分别获取与这些中心像素相邻的8个像素值。同时，将中心像素1、中心像素2……中心像素N同时分别与其对应的相邻像素值进行对比，若此邻近像素点的值比中心像素值小，就将此位置记0，反之，则记1，从而可以得到像素图片1、像素图片2、像素图片3……像素图片N中每个中心像素对应的8位二进数，将8位二进制数按照位置以及对应的权值进行求和，最后得到的十进制整数就是该中心像素的ELBP值，并根据ELBP值分别生成相应纹理图1、纹理图2……像纹理图N。并将这些纹理图发送至下一处理步骤。
后续步骤至少包括：MR智能眼镜中相应的组件对纹理图像中像素点的姿态矫正和跟踪等，以上步骤由FPGA中的其他功能IP核进行实现。将纹理图像渲染(GPU或ISP芯片，Image Signal Processin即图像信号处理)，并输出至MR智能眼镜上的数字光显示介质。
具体的，数字光显示介质，包括但不限于：LCOS(Liquid Crystal on Silicon，硅基液晶)，LCD(Liquid Crystal Display，液晶显示器)、贴有光波导光栅的镜片，棱镜组半透/全透显示光学组件，自由曲面光学棱镜半透/全透显示组件，波导光学半透/全透显示镜片组件、DMD(Digital Micromirror Device，数据微镜装置)等。
其中，深度摄像模组中至少含有两个深度摄像头。用于仿照人眼视觉，同时采集左右眼所看到的图像。
由此可知，通过本发明技术方案得到的可编程ELBP-IP核可以同时对MR数据流中多个像素图片同时进行处理。和现有技术相比，大幅增加了图形图像数据处理的通道，进而提升了处理速度。
图4为本发明技术方案提供的具体实施例中处理的原像素图，其分辨率为720P。此图为从MR数据流中截取的。
纹理图示例如图4a所示，图4a为图4所示像素图片的纹理图。
如图4b所示，图4b为图2步骤202中第一处理时间的截图。如图所示，平均时间为2.9秒。
如图4c所示，图4c为图2步骤207中第二处理时间的截图。如图所示，时间为0.123秒。
需要说明的是，无论是否用本发明技术方案对像素图片进行处理，所得到的纹理图都是相同的暨图4a所示的纹理图。
本实施例包括：从opencv提取与ELBP算法相关数据后，对其进行编译，得到编译结果。在编译结果基础上输入测试文件对像素文件进行运算处理得到第一纹理图像和第一处理时间。根据HLS视频图片库函数规则对编译结果中各个文件进行改写。将改写后文件综合为待烧写文件，将待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并输入改写后测试文件对所述像素文件进行运算处理得到第二纹理图像和第二处理时间。分别将第一纹理图像与第二纹理图像，第一处理时间和第二处理时间进行比对，得到纹理相同，第二处理时间小于第一处理时间的结果。
本实施例通过提取原始文件，基于HLS的规则对原始文件进行改写，将其映射在可编程逻辑门阵列上，并对可编程逻辑门之间的电路关系重新设定，得到可编程ELBP-IP核，由于新的IP核基于可编程逻辑门阵列运行，而可编程门阵列具有能够同时多线程处理数据的能力，从而提升了处理图形图像数据的速度，进一步的，和现有技术相比，由于不需要增加处理器频率，从而减小了功耗。
本发明技术方案还提供了一种加速ELBP-IP核的MR智能眼镜，其结构示意图如图5所示：
提取单元51，用于从数据库中提取与ELBP算法相关数据，得到提取文件。
第一运算处理单元52，用于对提取单元51提取的提取文件进行编译，得到编译结果，还用于在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间。
改写单元53，用于根据HLS视频图片库函数规则对第一运算处理单元52得到的所述编译结果中的被编译算法主文件，被编译算法头文件进行改写，得到改写文件。
可编程ELBP-IP核获取单元54，用于将改写单元53改写后得到的改写文件综合为待烧写文件，将所述待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核。
第二运算处理单元55，用于在所述可编程ELBP-IP核获取单元54获取的可编程ELBP-IP核上运行第二激励文件，对像素文件进行运算处理得到第二纹理图像及第二处理时间。
比校单元56，用于将第一运算处理单元52得到的所述第一纹理图像与第二运算处理单元55得到的所述第二纹理图像进行比较，还对所述第一处理时间和所述第二处理时间进行比较，根据比较结果判断所述可编程ELBP-IP核获取单元获取的所述可编程ELBP-IP核是否正确。
其中，所述像素文件为图像采集设备采集的；其中，所述提取文件包括：算法主文件，算法头文件。
具体的，若得到纹理图像比较结果相同，所述第二处理时间小于所述第一处理时间的比较结果则所述可编程ELBP-IP核正确，否则错误。
如图6所示，第一运算处理单元52，包括：
内存替换子单元61，用于将提取单元51提取的提取文件中的动态内存替换为行缓存或窗口缓存。
运算替换子单元62，用于将所述提取单元51提取的提取文件中的除法运算替换为乘法运算。
编译子单元63，用于将循环变量的最大值写入所述提取单元51提取的提取文件，并综合内存替换子单元61和运算替换子单元62的结果，得到所述编译结果。
第一运算处理子单元64，用于根据所述编译子单元63得到的所述编译结果，对像素文件运行第一激励文件，进行运算处理得到第一纹理图像及所述第一处理时间。
如图7所示，改写单元53，包括：
主文件改写子单元71，用于根据HLS视频图片库函数对编译子单元63得到的编译结果中的被编译算法主文件进行改写，得到改写主文件。
头文件改写子单元72，用于根据HLS视频图片库函数对编译子单元63得到的编译结果中的被编译算法头文件中的代码库函数进行改写，得到改写头文件。
激励文件改写子单元73，用于根据HLS视频图片库函数对第一激励文件进行改写，得到所述第二激励文件。
其中，所述改写主文件、改写头文件的集合为所述改写文件。
如图8所示，可编程ELBP-IP核获取单元54，包括：。
待烧写文件获取子单元81，用于，通过新建可编程逻辑门阵列工程，在所述可编程逻辑门阵列工程中导入所述改写文件，得到待烧写文件。
电路设计子单元82，用于对所述待烧写文件获取子单元81获取的所述待烧写文件中的内部电路进行设计得到初步设计结果，具体包括：设计系统和时钟，配置VDMA模块，设计显示模块。
布线子单元83，用于对所电路设计子单元82得到的所述初步设计结果进行布线，还用于根据布线结果生成下载文件。
获取子单元84，用于将所述布线子单元83生成的下载文件下载至所述可编程逻辑门阵列工程，得到所述可编程ELBP-IP核。
如图9所示，图9为本发明技术方案的硬件结构图：
第一运算处理单元、改写单元位于主控电路板中，主控电路板上的处理器包括但不限于CPU，DSP(Digital Signal Processing，数字信号处理)。
第二运算处理单元为在可编程逻辑门阵列中的具有运算处理功能的电路。比较单元位于主控电路板中。
具体的，接收器接收提取的算法文件，在主控电路板中进行改写，并将改写结果进行烧写，将烧写结果在可编程逻辑门阵列中映射为可编程ELBP-IP核。获取此IP核后，第二运算处理单元对MR数据流中数据进行处理，得到数据结果并输出。
图9a为得到可编程ELBP-IP核后的硬件关系图，具体的，摄像头采集MR数据流，可编程ELBP-IP核和第二运算处理单元对数据流进行处理，通过通信协议接口将数据结果输出至主控电路板。最终，主控电路板将数据结果输出至数字光学显示介质。
图10为本发明技术方案中待烧写电路的电路图示例。
本发明技术方案还提供了一种加速ELBP-IP核的MR智能眼镜，包括：提取单元，用于从数据库中提取与ELBP算法相关数据，得到提取文件。第一运算处理单元，用于对所述提取单元提取的所述提取文件进行编译，得到编译结果，还用于得到第一纹理图像。改写单元，用于根据HLS视频图片库函数规则对编译结果进行改写，得到改写文件。可编程ELBP-IP核获取单元，用于将所述改写文件综合为IP核，将其映射到可编程逻辑门阵列中，得到可编程ELBP-IP核。第二运算处理单元，用于可编程ELBP-IP核输入第二激励文件对所述像素文件进行运算处理得到第二纹理图像。
本发明通过提取原始文件，基于HLS的规则对原始文件进行改写，将其映射在可编程逻辑门阵列上，并对可编程逻辑门之间的电路关系重新设定，得到可编程ELBP-IP核，由于新的IP核基于可编程逻辑门阵列运行，而可编程门阵列具有能够同时多线程处理数据的能力，从而提升了处理图形图像数据的速度，进一步的，和现有技术相比，由于不需要增加处理器频率，从而减小了功耗。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种加速ELBP-IP核的方法，其特征在于，所述方法包括：
从数据库中提取与ELBP算法相关数据，得到提取文件；
对所述提取文件进行编译，得到编译结果，在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间；
根据HLS视频图片库函数规则对所述编译结果中的算法主文件，算法头文件进行改写，得到改写文件；
将所述改写文件综合为待烧写文件，将所述待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并运行第二激励文件对所述像素文件进行运算处理得到第二纹理图像及第二处理时间；
分别对，所述第一纹理图像和所述第二纹理图像，所述第一处理时间和所述第二处理时间进行比较，若得到纹理图像比较结果相同，所述第二处理时间小于所述第一处理时间的比较结果则所述可编程ELBP-IP核正确；
其中，所述像素文件为图像采集设备采集的；其中，所述提取文件包括：算法主文件，算法头文件；其中，所述第一纹理图像与所述第二纹理图像相同。
2.根据权利要求1所述的方法，其特征在于，所述对所述提取文件进行编译，得到编译结果，在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间，包括：
将所述提取文件中的动态内存替换为行缓存或窗口缓存；
将所述提取文件中的除法运算替换为乘法运算；
将循环变量的最大值写入所述提取文件，得到所述编译结果。
3.根据权利要求1所述的方法，其特征在于，所述根据HLS视频图片库函数规则对所述编译结果中的算法主文件，算法头文件进行改写，得到改写文件，包括：
用HLS视频图片库函数改写所述算法主文件得到改写主文件；
用HLS视频图片库函数替换所述算法头文件中的代码库函数，得到改写头文件；
所述改写主文件、改写头文件的集合为所述改写文件。
4.根据权利要求3所述的方法，其特征在于，所述改写，还包括：
用HLS视频图片库函数改写所述第一激励文件，得到所述第二激励文件。
5.根据权利要求1-4所述的方法，其特征在于，所述将所述改写文件综合为待烧写文件，将所述待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核，并运行第二激励文件对所述像素文件进行运算处理得到第二纹理图像及第二处理时间，包括：
新建可编程逻辑门阵列工程，在所述可编程逻辑门阵列工程中导入所述改写文件，得到待烧写文件；
对所述可编程逻辑门阵列工程中的内部电路进行设计得到初步设计结果，具体包括：设计系统和时钟，配置VDMA模块，设计显示模块；
对所述初步设计结果进行布线，并根据所述待烧写文件生成下载文件；
将所述下载文件下载至所述可编程逻辑门阵列工程，得到所述可编程ELBP-IP核；
向所述可编程ELBP-IP核输入所述第二激励文件，并在所述可编程ELBP-IP核上对所述像素文件进行运算处理，得到第二纹理图像及第二处理时间。
6.一种加速ELBP-IP核的MR智能眼镜，其特征在于，所述MR智能眼镜包括：
提取单元，用于从数据库中提取与ELBP算法相关数据，得到提取文件；
第一运算处理单元，用于对所述提取单元提取的所述提取文件进行编译，得到编译结果，还用于在所述编译结果的基础上通过运行第一激励文件对像素文件进行运算处理得到第一纹理图像及第一处理时间；
改写单元，用于根据HLS视频图片库函数规则对所述第一运算处理单元得到的所述编译结果中的算法主文件，算法头文件进行改写，得到改写文件；
可编程ELBP-IP核获取单元，用于将所述改写单元通过改写后得到的所述改写文件综合为待烧写文件，将所述待烧写文件映射到可编程逻辑门阵列中，得到可编程ELBP-IP核；
第二运算处理单元，用于在所述可编程ELBP-IP核上运行第二激励文件对所述像素文件进行运算处理得到第二纹理图像及第二处理时间；
比校单元，用于将所述第一运算处理单元得到的所述第一纹理图像与所述第二运算处理单元得到的所述第二纹理图像进行比较，对所述第一处理时间和所述第二处理时间进行比较，根据比较结果判断所述可编程ELBP-IP核获取单元获取的所述可编程ELBP-IP核是否正确；
其中，所述像素文件为图像采集设备采集的；其中，所述提取文件包括：算法主文件，算法头文件；
所述第一运算处理单元、改写单元位于主控电路板中；可编程ELBP-IP核获取单元位于可编程逻辑门阵列中，具体为被待烧写文件映射的集成运算电路；第二运算处理单元为，在可编程逻辑门阵列中的具有运算处理功能的集成运算电路。
7.根据权利要求6所述的MR智能眼镜，其特征在于，所述第一运算处理单元，包括：
内存替换子单元，用于将所述提取单元提取的所述提取文件中的动态内存替换为行缓存或窗口缓存；
运算替换子单元，用于将所述提取单元提取的所述提取文件中的除法运算替换为乘法运算；
编译子单元，用于将循环变量的最大值写入所述提取单元提取的所述提取文件，得到所述编译结果；
第一运算处理子单元，用于根据所述编译子单元得到的所述编译结果，对像素文件运行第一激励文件，进行运算处理得到第一纹理图像及所述第一处理时间。
8.根据权利要求6所述的MR智能眼镜，其特征在于，所述改写单元包括：
主文件改写子单元，用于根据HLS视频图片库函数对所述算法主文件进行改写，得到改写主文件；
头文件改写子单元，用于根据HLS视频图片库函数对所述算法头文件中的代码库函数进行改写，得到改写头文件；
激励文件改写子单元，用于根据HLS视频图片库函数对所述第一激励文件进行改写，得到所述第二激励文件；
其中，所述改写主文件、改写头文件的集合为所述改写文件。
9.根据权利要求8所述的MR智能眼镜，其特征在于，所述可编程ELBP-IP核获取单元，包括：
待烧写文件获取子单元，用于，通过新建可编程逻辑门阵列工程，在所述可编程逻辑门阵列工程中导入所述改写文件，得到待烧写文件；
电路设计子单元，用于对所述待烧写文件获取子单元获取的所述待烧写文件中的内部电路进行设计得到初步设计结果，具体包括：设计系统和时钟，配置VDMA模块，设计显示模块；
布线子单元，用于对所电路设计子单元得到的所述初步设计结果进行布线，还用于根据布线结果生成下载文件；
获取子单元，用于将所述布线子单元生成的下载文件下载至所述可编程逻辑门阵列工程，得到所述可编程ELBP-IP核。
10.根据权利要求6-9所述的MR智能眼镜，所述比校单元具体用于：
对所述第一纹理图像和所述第二纹理图像，所述第一处理时间和所述第二处理时间分别进行比较，若得到纹理图像比较结果相同，所述第二处理时间小于所述第一处理时间的比较结果则所述可编程ELBP-IP核正确，否则错误；
其中所述比较单元位于主控电路板中。
CN201810146140.8A 2018-02-12 2018-02-12 一种加速elbp-ip核的方法及mr智能眼镜 Active CN110148077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810146140.8A CN110148077B (zh) 2018-02-12 2018-02-12 一种加速elbp-ip核的方法及mr智能眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810146140.8A CN110148077B (zh) 2018-02-12 2018-02-12 一种加速elbp-ip核的方法及mr智能眼镜

Publications (2)

Publication Number Publication Date
CN110148077A true CN110148077A (zh) 2019-08-20
CN110148077B CN110148077B (zh) 2023-08-29

Family

ID=67587992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810146140.8A Active CN110148077B (zh) 2018-02-12 2018-02-12 一种加速elbp-ip核的方法及mr智能眼镜

Country Status (1)

Country Link
CN (1) CN110148077B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111337896A (zh) * 2020-03-25 2020-06-26 上海无线电设备研究所 一种实现动目标检测加速的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1280148A2 (en) * 2001-07-26 2003-01-29 Irdeto Access B.V. Compilation technique and data distribution system using the same
US20040060032A1 (en) * 2002-05-17 2004-03-25 Mccubbrey David L. Automated system for designing and developing field programmable gate arrays
CN102043878A (zh) * 2010-10-29 2011-05-04 山东大学 一种基于dw8051核的soc芯片的可重用验证装置和验证方法
CN102147831A (zh) * 2011-04-22 2011-08-10 青岛海信信芯科技有限公司 逻辑验证方法和装置
WO2012088856A1 (zh) * 2010-12-31 2012-07-05 深圳市证通电子股份有限公司 Rtl级ip核的保护方法
CN104317577A (zh) * 2014-10-08 2015-01-28 陕西高新实业有限公司 在FPGA开发中使用ViadoHLS实现openCV的设计方法
CN105005781A (zh) * 2015-06-29 2015-10-28 中国人民解放军国防科学技术大学 一种鲁棒扩展局部二值模式纹理特征提取方法
CN105631798A (zh) * 2016-03-04 2016-06-01 北京理工大学 低功耗便携式实时图像目标检测与跟踪系统及方法
GB201613987D0 (en) * 2016-08-16 2016-09-28 Fujitsu Ltd Image processing system
CN106777710A (zh) * 2016-12-22 2017-05-31 中国兵器装备集团自动化研究所 一种在fpga上实现的cuda内核的方法
CN107179932A (zh) * 2017-05-26 2017-09-19 福建师范大学 基于fpga高层次综合指令的优化方法及其系统
US20170293703A1 (en) * 2015-11-02 2017-10-12 Altera Corporation Safety features for high level design

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1280148A2 (en) * 2001-07-26 2003-01-29 Irdeto Access B.V. Compilation technique and data distribution system using the same
US20040060032A1 (en) * 2002-05-17 2004-03-25 Mccubbrey David L. Automated system for designing and developing field programmable gate arrays
CN102043878A (zh) * 2010-10-29 2011-05-04 山东大学 一种基于dw8051核的soc芯片的可重用验证装置和验证方法
WO2012088856A1 (zh) * 2010-12-31 2012-07-05 深圳市证通电子股份有限公司 Rtl级ip核的保护方法
CN102147831A (zh) * 2011-04-22 2011-08-10 青岛海信信芯科技有限公司 逻辑验证方法和装置
CN104317577A (zh) * 2014-10-08 2015-01-28 陕西高新实业有限公司 在FPGA开发中使用ViadoHLS实现openCV的设计方法
CN105005781A (zh) * 2015-06-29 2015-10-28 中国人民解放军国防科学技术大学 一种鲁棒扩展局部二值模式纹理特征提取方法
US20170293703A1 (en) * 2015-11-02 2017-10-12 Altera Corporation Safety features for high level design
CN105631798A (zh) * 2016-03-04 2016-06-01 北京理工大学 低功耗便携式实时图像目标检测与跟踪系统及方法
GB201613987D0 (en) * 2016-08-16 2016-09-28 Fujitsu Ltd Image processing system
CN106777710A (zh) * 2016-12-22 2017-05-31 中国兵器装备集团自动化研究所 一种在fpga上实现的cuda内核的方法
CN107179932A (zh) * 2017-05-26 2017-09-19 福建师范大学 基于fpga高层次综合指令的优化方法及其系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KOUSHIK M等: "Implementation of G.723.1Decoder on Zynq FPGA using HLS", <IEEE XPLORE COMPLIANT - PART NUMBER: CFP17L34-ART> *
KOUSHIK M等: "Implementation of G.723.1Decoder on Zynq FPGA using HLS", <IEEE XPLORE COMPLIANT - PART NUMBER: CFP17L34-ART>, 31 December 2017 (2017-12-31) *
彭凌霄等: "基于Zynq的LBP人脸识别算法的实现", 《自动化技术与应用》 *
彭凌霄等: "基于Zynq的LBP人脸识别算法的实现", 《自动化技术与应用》, no. 12, 25 December 2016 (2016-12-25) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111337896A (zh) * 2020-03-25 2020-06-26 上海无线电设备研究所 一种实现动目标检测加速的方法

Also Published As

Publication number Publication date
CN110148077B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110310229A (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
CN111898696A (zh) 伪标签及标签预测模型的生成方法、装置、介质及设备
CN113034406B (zh) 扭曲文档恢复方法、装置、设备及介质
CN107492074A (zh) 图像采集处理方法、装置及终端设备
CN115311178A (zh) 图像拼接方法、装置、设备及介质
JP2023039426A (ja) コンピュータ実装方法、情報処理システム、コンピュータプログラム（時空間的関係ベースｍｒコンテンツ配置）
CN107613046A (zh) 滤镜管道系统、图像数据处理方法、装置以及电子设备
CN114004905B (zh) 人物风格形象图的生成方法、装置、设备及存储介质
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN110148077A (zh) 一种加速elbp-ip核的方法及mr智能眼镜
CN114444653A (zh) 一种数据增广对深度学习模型性能影响评估方法及系统
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
Madeo et al. An optimized stereo vision implementation for embedded systems: application to RGB and infra-red images
CN114549322B (zh) 基于无监督领域自适应的图像超分辨方法及装置
CN114359048A (zh) 图像的数据增强方法、装置、终端设备及存储介质
WO2023048983A1 (en) Methods and apparatus to synthesize six degree-of-freedom views from sparse rgb-depth inputs
Beddad et al. Development and optimisation of image segmentation algorithm on an embedded DSP-platform
Alhomoud Real Time FPGA Implementation of a High Speed for Video Encryption and Decryption System with High Level Synthesis Tools.
CN112464939A (zh) 目标检测中的数据增广方法、装置及存储介质
Clukey Architecture for real-time, low-SWaP embedded vision using FPGAs
CN109359048A (zh) 一种生成测试报告的方法、装置及电子设备
CN108876896A (zh) 参数化人脸模型生成方法、装置、系统和存储介质
CN115588039B (zh) 基于光线自适应对抗学习的光度立体图生成方法及装置
CN104079920A (zh) 验证图像采集处理的方法及装置
CN114359645B (zh) 基于特征区域的图像拓展方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230731

Address after: 212310 Xinghu Road, Danyang Development Zone, Zhenjiang City, Jiangsu Province

Applicant after: JIANGSU HONGXU DESHENG TECHNOLOGY Co.,Ltd.

Address before: No. A-79, 2nd Floor, No. 48 Haidian West Street, Haidian District, Beijing, 100085

Applicant before: MAGICAST TECHNOLOGY CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant