CN115017070A - 图像矫正方法、图像矫正模块、激光投影设备及存储介质 - Google Patents
图像矫正方法、图像矫正模块、激光投影设备及存储介质 Download PDFInfo
- Publication number
- CN115017070A CN115017070A CN202210637258.7A CN202210637258A CN115017070A CN 115017070 A CN115017070 A CN 115017070A CN 202210637258 A CN202210637258 A CN 202210637258A CN 115017070 A CN115017070 A CN 115017070A
- Authority
- CN
- China
- Prior art keywords
- image
- correction
- data
- image data
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003702 image correction Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012937 correction Methods 0.000 claims abstract description 154
- 239000006185 dispersion Substances 0.000 claims abstract description 77
- 230000015654 memory Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 13
- 230000003068 static effect Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000006837 decompression Effects 0.000 claims description 11
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了图像矫正方法、图像矫正模块、激光投影设备及存储介质，所述方法包括：针对图像中待矫正像素点，获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据；通过直接存储访问模块DMA读取查找表数据，根据所述查找表数据和所述每行图像数据确定色散矫正参数；采用所述色散矫正参数对所述待矫正像素点进行色散矫正。通过DMA读取查找表数据不需要占用额外的CPU算力进行算法处理，DMA用数据流流水的形式读取查找表数据进而完成图像色散矫正。本发明实施例提供的图像矫正方案较大程度降低了CPU功耗，提高了图像矫正的效率，使得图像矫正的实时性较好。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及图像矫正方法、图像矫正模块、激光投影设备及存储介质。
背景技术
随着技术的成熟以及成本的下降，激光投影设备已经成为市场上更具竞争力的选择。相比于传统液晶电视，激光显示拥有如护眼、省电等优点。激光投影设备包括激光源、超广角镜头以及光学屏幕。由于镜头和光线的物理特性，光信号经过镜头折射后难免会产生色散现象。
相关技术中，一般占用中央处理器CPU带宽，通过软件算法对单张图像进行非实时矫正。例如，获取拍摄装置在拍摄待处理图像时的变焦倍数，并获取待处理图像中的像素点的位置信息；根据变焦倍数和位置信息，确定像素点的色差偏移量；根据色差偏移量，对像素点进行色散矫正。
相关技术中的图像去色散方法存在的问题是，软件算法矫正需要占用CPU大量的计算资源来匹配电视影像的高帧率数据，增加CPU的功耗，并且较大的软件计算量使得图像矫正的实时性较差。
发明内容
本发明实施例提供了图像矫正方法、图像矫正模块、激光投影设备及存储介质，用以解决常规技术中的图像去色散方法需要占用CPU大量的计算资源，增加CPU的功耗，并且较大的软件计算量使得图像矫正的实时性较差的问题。
本发明实施例提供了一种图像矫正方法，所述方法包括：
针对图像中待矫正像素点，获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据；
通过直接存储访问模块DMA读取查找表数据，根据所述查找表数据和所述每行图像数据确定色散矫正参数；
采用所述色散矫正参数对所述待矫正像素点进行色散矫正。
进一步地，所述获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据包括：
获取输入的所述矫正区域图像中的图像数据，将所述图像数据写入所述静态随机读写存储器sram；通过所述静态随机读写存储器sram的回读操作，获取所述矫正区域图像中的每行图像数据。
进一步地，所述获取输入的所述矫正区域图像中的图像数据，将所述图像数据写入所述静态随机读写存储器sram包括：
获取输入的所述矫正区域图像中的图像数据，并确定当前的行缓存状态指示信息；
按照读写同时规则，读取所述行缓存状态指示信息对应的静态随机读写存储器sram中的图像数据，并将所述矫正区域图像中的图像数据写入所述静态随机读写存储器sram。
进一步地，所述通过所述静态随机读写存储器sram的回读操作，获取所述矫正区域图像中的每行图像数据包括：
重新映射回读操作得到的所述矫正区域图像中的当前行图像数据以及所述当前行图像数据的上下各行图像数据。
进一步地，所述根据所述查找表数据和所述每行图像数据确定色散矫正参数包括：
确定所述待矫正像素点的目标位置信息；
根据所述目标位置信息和预先保存的像素点的位置信息与查找数据表中矫正数据的对应关系，确定所述查找数据表中，与所述目标位置信息对应的目标矫正数据；
根据所述目标矫正数据和所述每行图像数据确定色散矫正参数。
进一步地，所述通过直接存储访问模块DMA读取查找表数据包括：
通过直接存储访问模块DMA读取设备的独立内存或共享内存中的查找表数据。
进一步地，所述采用所述色散矫正参数对所述待矫正像素点进行色散矫正包括：
采用所述色散矫正参数对所述待矫正像素点的各个颜色通道的像素值进行色散矫正。
另一方面，本发明实施例提供了一种图像矫正模块，所述模块包括：双倍速率同步动态随机存储器DDR、直接存储访问模块DMA、行缓存单元、解包单元和计算单元；所述计算单元包括自适应调整子单元和矫正子单元；
所述DDR，用于存储查找表数据；
所述DMA，用于读取DDR中存储的查找表数据，并将读取到的查找表数据发送至解包单元进行解压拆分处理；
所述解包单元，用于将解压拆分处理后的查找表数据发送至所述自适应调整子单元；
所述行缓存单元，用于对输入的一行图像数据进行一转多处理，得到矫正区域图像中的每行图像数据，并将所述每行图像数据发送至所述自适应调整子单元；
所述自适应调整子单元，用于根据所述解压拆分处理后的查找表数据和所述每行图像数据确定色散矫正参数，并将所述色散矫正参数发送至矫正子单元；
所述矫正子单元，用于根据色散矫正参数对待矫正像素点进行色散矫正。
另一方面，本发明实施例提供了一种激光投影设备，包括图像矫正模块、激光源、超广角镜头和光学屏幕；
所述图像矫正模块，用于实现权利要求1-7任一项所述的方法步骤，得到矫正后的图像数字信号，并将所述矫正后的图像数字信号发送至所述激光源；
所述激光源，用于将所述图像矫正模块送入的矫正后的图像数字信号，红绿蓝(RGB)像素值，转换为对应的红绿蓝激光；激光通过所述超广角镜头，投射到所述光学屏幕的相应位置进行显示。
再一方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法步骤。
本发明实施例提供了图像矫正方法、图像矫正模块、激光投影设备及存储介质，所述方法包括：针对图像中待矫正像素点，获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据；通过直接存储访问模块DMA读取查找表数据，根据所述查找表数据和所述每行图像数据确定色散矫正参数；采用所述色散矫正参数对所述待矫正像素点进行色散矫正。
上述的技术方案具有如下优点或有益效果：
由于在本发明实施例中，在图像矫正模块内保存查找表数据，当需要进行图像矫正时，获取到待矫正像素点对应的矫正区域图像内的每行图像数据之后，通过直接存储访问模块DMA读取查找表数据，进而根据查找表数据确定色散矫正参数，最后根据色散矫正参数对待矫正像素点进行色散矫正。通过DMA读取查找表数据不需要占用额外的CPU算力进行算法处理，DMA用数据流流水的形式读取查找表数据进而完成图像色散矫正。本发明实施例提供的图像矫正方案较大程度降低了CPU功耗，提高了图像矫正的效率，使得图像矫正的实时性较好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的激光投影设备结构示意图；
图2为本发明实施例提供的图像色散现象示意图；
图3为常规技术提供的图像矫正过程示意图；
图4为本发明实施例提供的图像矫正过程示意图；
图5为本发明实施例提供的图像矫正区域示意图；
图6为本发明实施例提供的单像素查找表数据示意图；
图7为本发明实施例提供的4K分辨率图像查找表示意图；
图8为本发明实施例提供的查找表数据存储在32位宽DDR中的部署示意图；
图9为本发明实施例提供的四个sram状态转换示意图；
图10为本发明实施例提供的六个sram状态转换示意图；
图11为本发明实施例提供的四个sram重新映射回读操作示意图；
图12为本发明实施例提供的六个sram重新映射回读操作示意图；
图13为本发明实施例提供的图像矫正设计框图；
图14为本发明实施例提供的计算模块框图；
图15为本发明实施例提供的双倍带宽读写时序示意图；
图16为本发明实施例提供的图像矫正模块结构示意图；
图17为本发明实施例提供的激光投影设备结构示意图。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的激光投影设备结构示意图，激光投影设备包括激光源、超广角镜头和光学屏幕。激光源负责将前端送入的数字信号，红绿蓝(RGB)像素值，转换为对应的红绿蓝激光。激光后续会通过一个超广角镜头，投射到光学屏幕的相应位置进行显示。
由于镜头和光线的物理特性，光信号经过镜头折射后难免会产生色散现象。图2为本发明实施例提供的图像色散现象示意图。图3为常规技术提供的图像矫正过程示意图，包括以下步骤：
S101：获取拍摄装置在拍摄待处理图像时的变焦倍数，并获取待处理图像中的像素点的位置信息。
S102：根据变焦倍数和位置信息，确定像素点的色差偏移量。
S103：根据色差偏移量，对像素点进行色散矫正。
考虑到常规技术中在进行图像色散矫正时，一般都是占用CPU的功耗通过软件算法来进行图像处理，即增加CPU的功耗，又使得图像矫正效率较低，实时性差。本发明实施例提供了一种能够较大程度降低CPU功耗，提高图像矫正效率的图像矫正方案。
下面对本发明实施例提供的图像矫正方案进行详细介绍。
图4为本发明实施例提供的图像矫正过程示意图，该过程包括以下步骤：
S201：针对图像中待矫正像素点，获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据。
S202：通过直接存储访问模块DMA读取查找表数据，根据所述查找表数据和所述每行图像数据确定色散矫正参数。
S203：采用所述色散矫正参数对所述待矫正像素点进行色散矫正。
本发明实施例提供的图像矫正方法应用于图像矫正模块，该图像矫正模块集成在激光投影设备中，图像矫正模块对图像数字信号进行处理，将处理之后的图像数字信号发送至激光源。图像矫正模块进行图像矫正时，是针对每个像素点进行矫正的。将进行矫正的像素点称为待矫正像素点。
图像矫正模块确定包含待矫正像素点在内的矫正区域图像。其中，可以是包含待矫正像素点在内的5×5的矫正区域图像，可以是包含待矫正像素点在内的7×7的矫正区域图像等等。较佳的，图5为本发明实施例提供的图像矫正区域示意图，如图5所示，可以是包含待矫正像素点在内的以待矫正像素点为中心的5×5的矫正区域图像，可以是包含待矫正像素点在内的以待矫正像素点为中心的7×7的矫正区域图像等等。确定包含待矫正像素点在内的矫正区域图像之后，获取矫正区域图像中的每行图像数据。例如，矫正区域图像为包含待矫正像素点在内的以待矫正像素点为中心的5×5的矫正区域图像，获取矫正区域图像中的每行图像数据为矫正区域图像中的5行图像数据。例如，矫正区域图像为包含待矫正像素点在内的以待矫正像素点为中心的7×7的矫正区域图像，获取矫正区域图像中的每行图像数据为矫正区域图像中的7行图像数据。
图像矫正模块中包括直接存储访问模块DMA，通过直接存储访问模块DMA读取查找表数据，其中，不同参数的镜头所对应的查找表数据是不同的。在通过DMA读取查找表数据时，首先获取采集图像的镜头参数，然后确定采集图像的镜头所对应的查找表数据对应的存储地址，通过DMA根据查找表数据对应的存储地址读取查找表数据。
查找表数据是针对每个像素点的查找表数据，图6为本发明实施例提供的单像素查找表数据示意图，每个像素点需要12比特的水平位差信息与12比特的垂直位差信息，即针对图像中的每一个像素点需要24比特的信息查找表信息。如图6所示，单像素查找表数据例如是0至5比特存储绿-蓝垂直位差信息，6至11比特存储红-绿垂直位差信息，12至17比特存储绿-蓝水平位差信息，18至23比特存储红-绿水平位差信息。整帧的图像查找表数据由像素位置从左向右，从上到下的顺序紧凑地头尾相连在一起。图7为本发明实施例提供的4K分辨率3840X2160图像查找表示意图，从左到右依次是像素点(0，0)矫正数据、像素点(0，1)矫正数据、……、像素点(3839，2159)矫正数据。
查找表数据存储在激光投影设备的内存中，其中，可以是存储在双倍速率同步动态随机存储器DDR中。其中，可以在图像矫正模块中单独为查找表数据分配一个独立的DDR，用于存储查找表数据，在带宽允许的情况下，也可以与激光投影设备中的其它数据共用一个DDR，从而降低设备成本。图8为本发明实施例提供的查找表数据存储在32位宽DDR中的部署示意图，如图8所示，0×00行中，像素点(0，0)占用0至23比特，即pix0，0[23：0]；像素点(0，1)占用16至23比特，即pix0，1[23：16]；0×04行中，像素点(0，1)占用0至15比特，即pix0，1[15：0]；像素点(0，2)占用8至23比特，即pix0，2[23：8]；0×08行中，像素点(0，2)占用0至7比特，即pix0，2[7：0]；像素点(0，3)占用0至23比特，即pix0，3[23：0]；0×0C行中，像素点(0，4)占用0至23比特，即pix0，4[23：0]；像素点(0，5)占用16至23比特，即pix0，5[23：16]；0×10行中，像素点(0，5)占用0至15比特，即pix0，5[15：0]；像素点(0，6)占用8至23比特，即pix0，6[23：8]等等。
获取矫正区域图像中的每行图像数据并且读取查找表数据之后，根据查找表数据和每行图像数据确定色散矫正参数。
需要说明的是，因为查找表数据是针对每个像素点的查找表数据，针对每个像素点，将查找表数据中该像素点对应的数据称为矫正数据。为了提高确定色散矫正参数的效率以及准确性，所述根据所述查找表数据和所述每行图像数据确定色散矫正参数包括：
确定所述待矫正像素点的目标位置信息；
根据所述目标位置信息和预先保存的像素点的位置信息与查找数据表中矫正数据的对应关系，确定所述查找数据表中，与所述目标位置信息对应的目标矫正数据；
根据所述目标矫正数据和所述每行图像数据确定色散矫正参数。
图像矫正模块可以预先保存每个像素点与查找数据表中矫正数据的对应关系，这样在确定色散矫正参数时，首先确定待矫正像素点在图像中的目标位置信息，根据目标位置信息，以及预先保存的每个像素点与查找数据表中矫正数据的对应关系，可以确定出查找数据表中，目标位置信息对应的目标矫正数据。读取目标矫正数据，根据目标矫正数据和每行图像数据确定色散矫正参数。其中，可以对目标矫正数据和每行图像数据进行乘累加操作，得到色散矫正参数。最后，采用色散矫正参数对待矫正像素点进行色散矫正。具体的，采用所述色散矫正参数对所述待矫正像素点进行色散矫正包括：采用所述色散矫正参数对所述待矫正像素点的各个颜色通道的像素值进行色散矫正。其中，可以采用常规技术实现对待矫正像素点的各个颜色通道的像素值的色散矫正，本发明实施例中不对该过程进行赘述。
本发明实施例中，图像矫正模块包括静态随机读写存储器sram，获取包含待矫正像素点在内的矫正区域图像中的每行图像数据是通过静态随机读写存储器sram回读实现的，下面对获取矫正区域图像中的每行图像数据的过程进行详细说明。
获取包含待矫正像素点在内的矫正区域图像中的每行图像数据，具体的，获取输入的矫正区域图像中的图像数据，将图像数据写入静态随机读写存储器sram；通过静态随机读写存储器sram的回读操作，获取矫正区域图像中的每行图像数据。
本发明实施例中，为了降低sram的硬件成本，通过读写同时规则实现N-1块sram完成一行转N行的设计。具体的，图像矫正模块中包括多个sram，获取输入的矫正区域图像中的图像数据，并确定当前的行缓存状态指示信息，行缓存状态指示信息用于指示将图像数据写入哪个sram。行缓存状态指示信息是通过图像矫正模块中的有限状态机确定的。初始状态下，各个sram中数据为空，此时确定获取输入的矫正区域图像中的图像数据，确定当前的行缓存状态指示信息之后，将图像数据写入行缓存状态指示信息指示的sram。若行缓存状态指示信息指示的sram中存在图像数据，则按照读写同时规则，读取行缓存状态指示信息对应的sram中的图像数据，并将矫正区域图像中的图像数据写入sram。
本发明实施例不对sram的数量进行限定，若设备包括四个sram，则确定的矫正区域图像为5×5的区域图像，若设备包括六个sram，则确定的矫正区域图像为7×7的区域图像等等。以设备包括四个sram为例进行说明。图9为本发明实施例提供的四个sram状态转换示意图，如图9所示，四个sram分别为sram0，sram1，sram2和sram3。获取输入的矫正区域图像中的第一行像数据之后，确定当前的行缓存状态指示信息为0，则将第一行图像数据写入sram0，然后将行缓存状态指示信息更新为1。获取输入的矫正区域图像中的第二行图像数据之后，确定当前的行缓存状态指示信息为1，则将第二行图像数据写入sram1，以此类推，将第三行图像数据写入sram2，将第四行图像数据写入sram3。在写入第五行图像数据时，行缓存状态指示信息更新为0，此时先读取sram0中的第一行图像数据，再将第五行图像数据写入sram0。
图10为本发明实施例提供的六个sram状态转换示意图，如图10所示，六个sram分别为sram0，sram1，sram2，sram3，sram4和sram5。获取输入的矫正区域图像中的第一行像数据之后，确定当前的行缓存状态指示信息为0，则将第一行图像数据写入sram0，然后将行缓存状态指示信息更新为1。获取输入的矫正区域图像中的第二行图像数据之后，确定当前的行缓存状态指示信息为1，则将第二行图像数据写入sram1，以此类推，将第三行图像数据写入sram2，将第四行图像数据写入sram3，将第五行图像数据写入sram4，将第六行图像数据写入sram5。在写入第七行图像数据时，行缓存状态指示信息更新为0，此时先读取sram0中的第一行图像数据，再将第七行图像数据写入sram0。通过各个sram的回读操作，获取矫正区域图像中的每行图像数据。
为了便于根据查找表数据和每行图像数据确定色散矫正参数，通过sram的回读操作，获取矫正区域图像中的每行图像数据，具体的，重新映射回读操作得到的所述矫正区域图像中的当前行图像数据以及当前行图像数据的上下各行图像数据。
还以设备包括四个sram为例进行说明。将第一行图像数据写入sram0，将第二行图像数据写入sram1，以此类推，将第三行图像数据写入sram2，将第四行图像数据写入sram3。在写入第五行图像数据时，行缓存状态指示信息更新为0，此时先读取sram0中的第一行图像数据，再将第五行图像数据写入sram0。如图11所示，重新映射回读操作得到的矫正区域图像中的当前行图像数据为第三行图像数据，有限状态机通过硬件电路实现，用于指示图像数据写入状态，第二行图像数据为-1行图像数据，第一行图像数据为-2行图像数据，第四行图像数据为+1行图像数据，第五行图像数据为+2行图像数据。经过重新映射后即可满足当前行图像数据与上下各两行图像数据，共五行图像数据并行输出，得到一行转五行的矫正区域图像中的图像数据。
还以设备包括六个sram为例进行说明。将第一行图像数据写入sram0，将第二行图像数据写入sram1，以此类推，将第三行图像数据写入sram2，将第四行图像数据写入sram3，将第五行图像数据写入sram4，将第六行图像数据写入sram5。在写入第七行图像数据时，行缓存状态指示信息更新为0，此时先读取sram0中的第一行图像数据，再将第七行图像数据写入sram0。如图12所示，重新映射回读操作得到的矫正区域图像中的当前行图像数据为第四行图像数据，第三行图像数据为-1行图像数据，第二行图像数据为-2行图像数据，第一行图像数据为-3行图像数据，第五行图像数据为+1行图像数据，第六行图像数据为+2行图像数据，第七行图像数据为+3行图像数据。经过重新映射后即可满足当前行图像数据与上下各三行图像数据，共七行图像数据并行输出，得到一行转七行的矫正区域图像中的图像数据。
图13为本发明实施例提供的图像矫正设计框图，包括DDR、DMA、行缓存单元、解包单元和计算单元。DDR中存储查找表数据，DMA读取DDR中存储的查找表数据，并将读取到的查找表数据发送至解包单元进行解压拆分处理。输入一行图像数据至行缓存单元，行缓存单元对输入的一行图像数据进行一转多处理，得到矫正区域图像中的每行图像数据。解压拆分处理后的查找表数据和矫正区域图像中的每行图像数据分别发送至计算单元，计算单元根据查找表数据和每行图像数据确定色散矫正参数，根据色散矫正参数对图像进行色散矫正。
图14为本发明实施例提供的计算单元框图，计算单元包括自适应调整子单元和矫正子单元；解压拆分处理后的查找表数据和矫正区域图像中的每行图像数据分别发送至自适应调整子单元，自适应调整子单元确定色散矫正参数，待矫正像素点红绿蓝三通道的像素值以及色散矫正参数分别输入矫正子单元，矫正子单元根据色散矫正参数对待矫正像素点进行色散矫正。
本发明实施例提供的图像矫正方法，通过数字电路对数字颜色信息进行实时处理，在硬件层面对投影图像进行自动处理，不需要软件参与，从而减小了整体系统对总线带宽需求。针对不同镜头的光学特性，只需要重新部署对应的查找表数据于DDR中，即可完成适配。对图像进行预处理，实时调整色散矫正参数以达到更好的画质效果。通过交替复用N块sram实现了对N+1行数据的缓存利用，对于4k分辨率的应用来说，节省了一整行3840个像素点的sram存储需求。更好的适应激光投影设备的实时图像，带来更好的对于广角镜头的适配以及更好的成像画质。
通过将sram的带宽翻倍，深度减半，实现了sram数据读写同时进行的功能。在偶数时钟周期进行读操作，奇数周期进行写操作，图15为本发明实施例提供的双倍带宽读写时序示意图，其中深色部分的像素值为新写入sram的数据，原有的sram数据先行读出后，同地址将会被替换为新数据。如此先读后写的操作顺序，可将旧数据预先读出并用新数据替换。因为读写像素都是按照顺序排列，不需要考虑随机取址，因此在用于行缓存应用双倍带宽的单口sram(single-port sram)相当于实现了双口sram(dual-port sram)的功能。同等容量下，双口sram的硬件实现面积显著大于单口sram。相比于传统1单口sram对1行的数据缓存，双倍带宽的单口sram的设定可以用N块实现N+1行数据的缓存，节省了一整行sram的硬件成本。
常见用单口sram缓存N行需要N块，换成读写同时的双口sram缓存N行需要N-1块。同等容量双口sram硬件面积约等于2倍单口sram，因为像素缓存这种应用读写都是按顺序来的，所以可以用带宽翻倍的单口sram实现双口sram的功能(仅限顺序读写)。单口sram：每个时钟周期只能读或写1个像素，双口sram：每个时钟周期可以同时读1个写1个像素。双倍带宽sram：每个时钟周期只能读或写2个像素，通过读写交替，平均下来实现读1写1的双口sram功能。
图16为本发明实施例提供的图像矫正模块结构示意图，包括：双倍速率同步动态随机存储器DDR161、直接存储访问模块DMA162、行缓存单元163、解包单元164和计算单元165；所述计算单元165包括自适应调整子单元1651和矫正子单元1652；
所述DDR161，用于存储查找表数据；
所述DMA162，用于读取DDR161中存储的查找表数据，并将读取到的查找表数据发送至解包单元164进行解压拆分处理；
所述解包单元164，用于将解压拆分处理后的查找表数据发送至所述自适应调整子单元1651；
所述行缓存单元163，用于对输入的一行图像数据进行一转多处理，得到矫正区域图像中的每行图像数据，并将所述每行图像数据发送至所述自适应调整子单元1651；
所述自适应调整子单元1651，用于根据所述解压拆分处理后的查找表数据和所述每行图像数据确定色散矫正参数，并将所述色散矫正参数发送至矫正子单元1652；
所述矫正子单元1652，用于根据色散矫正参数对待矫正像素点进行色散矫正。
图17为本发明实施例提供的激光投影设备结构示意图，包括：图像矫正模块171、激光源172、超广角镜头173和光学屏幕174；
所述图像矫正模块171，用于进行图像矫正，得到矫正后的图像数字信号，并将所述矫正后的图像数字信号发送至所述激光源172；
所述激光源172，用于将所述图像矫正模块171送入的矫正后的图像数字信号，红绿蓝(RGB)像素值，转换为对应的红绿蓝激光；激光通过所述超广角镜头173，投射到所述光学屏幕174的相应位置进行显示。
如图17所示，激光投影设备包括依次连接的图像矫正模块171、激光源172、超广角镜头173和光学屏幕174。图像矫正模块171包括双倍速率同步动态随机存储器DDR161、直接存储访问模块DMA162、行缓存单元163、解包单元164和计算单元165；所述计算单元165包括自适应调整子单元1651和矫正子单元1652。
DDR161与DMA162连接，DMA162还与解包单元164连接；行缓存单元163和解包单元164还分别与自适应调整子单元1651连接，自适应调整子单元1651还与矫正子单元1652连接；矫正子单元1652与激光源172连接。
本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由图像矫正模块执行的计算机程序，当所述程序在所述图像矫正模块上运行时，使得所述图像矫正模块执行时实现如下步骤：
针对图像中待矫正像素点，获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据；
通过直接存储访问模块DMA读取查找表数据，根据所述查找表数据和所述每行图像数据确定色散矫正参数；
采用所述色散矫正参数对所述待矫正像素点进行色散矫正。
基于同一发明构思，本发明实施例中还提供了一种计算机可读存储介质，由于图像矫正模块在执行上述计算机可读存储介质上存储的计算机程序时解决问题的原理与图像矫正方法相似，因此图像矫正模块在执行上述计算机可读存储介质存储的计算机程序的实施可以参见方法的实施，重复之处不再赘述。
上述计算机可读存储介质可以是图像矫正模块能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD)等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种图像矫正方法，其特征在于，所述方法包括：
针对图像中待矫正像素点，获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据；
通过直接存储访问模块DMA读取查找表数据，根据所述查找表数据和所述每行图像数据确定色散矫正参数；
采用所述色散矫正参数对所述待矫正像素点进行色散矫正。
2.如权利要求1所述的方法，其特征在于，所述获取包含所述待矫正像素点在内的矫正区域图像中的每行图像数据包括：
获取输入的所述矫正区域图像中的图像数据，将所述图像数据写入所述静态随机读写存储器sram；通过所述静态随机读写存储器sram的回读操作，获取所述矫正区域图像中的每行图像数据。
3.如权利要求2所述的方法，其特征在于，所述获取输入的所述矫正区域图像中的图像数据，将所述图像数据写入所述静态随机读写存储器sram包括：
获取输入的所述矫正区域图像中的图像数据，并确定当前的行缓存状态指示信息；
按照读写同时规则，读取所述行缓存状态指示信息对应的静态随机读写存储器sram中的图像数据，并将所述矫正区域图像中的图像数据写入所述静态随机读写存储器sram。
4.如权利要求2所述的方法，其特征在于，所述通过所述静态随机读写存储器sram的回读操作，获取所述矫正区域图像中的每行图像数据包括：
重新映射回读操作得到的所述矫正区域图像中的当前行图像数据以及所述当前行图像数据的上下各行图像数据。
5.如权利要求1所述的方法，其特征在于，所述根据所述查找表数据和所述每行图像数据确定色散矫正参数包括：
确定所述待矫正像素点的目标位置信息；
根据所述目标位置信息和预先保存的像素点的位置信息与查找数据表中矫正数据的对应关系，确定所述查找数据表中，与所述目标位置信息对应的目标矫正数据；
根据所述目标矫正数据和所述每行图像数据确定色散矫正参数。
6.如权利要求1所述的方法，其特征在于，所述通过直接存储访问模块DMA读取查找表数据包括：
通过直接存储访问模块DMA读取设备的独立内存或共享内存中的查找表数据。
7.如权利要求1所述的方法，其特征在于，所述采用所述色散矫正参数对所述待矫正像素点进行色散矫正包括：
采用所述色散矫正参数对所述待矫正像素点的各个颜色通道的像素值进行色散矫正。
8.一种图像矫正模块，其特征在于，所述模块包括：双倍速率同步动态随机存储器DDR、直接存储访问模块DMA、行缓存单元、解包单元和计算单元；所述计算单元包括自适应调整子单元和矫正子单元；
所述DDR，用于存储查找表数据；
所述DMA，用于读取DDR中存储的查找表数据，并将读取到的查找表数据发送至解包单元进行解压拆分处理；
所述解包单元，用于将解压拆分处理后的查找表数据发送至所述自适应调整子单元；
所述行缓存单元，用于对输入的一行图像数据进行一转多处理，得到矫正区域图像中的每行图像数据，并将所述每行图像数据发送至所述自适应调整子单元；
所述自适应调整子单元，用于根据所述解压拆分处理后的查找表数据和所述每行图像数据确定色散矫正参数，并将所述色散矫正参数发送至矫正子单元；
所述矫正子单元，用于根据色散矫正参数对待矫正像素点进行色散矫正。
9.一种激光投影设备，其特征在于，包括图像矫正模块、激光源、超广角镜头和光学屏幕；
所述图像矫正模块，用于实现权利要求1-7任一项所述的方法步骤，得到矫正后的图像数字信号，并将所述矫正后的图像数字信号发送至所述激光源；
所述激光源，用于将所述图像矫正模块送入的矫正后的图像数字信号，红绿蓝(RGB)像素值，转换为对应的红绿蓝激光；激光通过所述超广角镜头，投射到所述光学屏幕的相应位置进行显示。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210637258.7A CN115017070A (zh) | 2022-06-07 | 2022-06-07 | 图像矫正方法、图像矫正模块、激光投影设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210637258.7A CN115017070A (zh) | 2022-06-07 | 2022-06-07 | 图像矫正方法、图像矫正模块、激光投影设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115017070A true CN115017070A (zh) | 2022-09-06 |
Family
ID=83073552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210637258.7A Pending CN115017070A (zh) | 2022-06-07 | 2022-06-07 | 图像矫正方法、图像矫正模块、激光投影设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115017070A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101034384A (zh) * | 2007-04-26 | 2007-09-12 | 北京中星微电子有限公司 | 一种能同时进行读写操作的dma控制器及传输方法 |
| CN108259875A (zh) * | 2018-02-05 | 2018-07-06 | 成都天诚慧芯科技有限公司 | 一种数字图像伽马校正硬件实现方法及系统 |
| CN111951193A (zh) * | 2020-08-21 | 2020-11-17 | 安谋科技（中国）有限公司 | 图像的水平畸变矫正方法及水平畸变矫正装置 |
| CN112640424A (zh) * | 2020-03-30 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和可移动平台 |
| WO2021132832A1 (ko) * | 2019-12-23 | 2021-07-01 | 서경대학교 산학협력단 | 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 |
| CN113890626A (zh) * | 2021-11-11 | 2022-01-04 | 青岛海信激光显示股份有限公司 | 色散校正方法、装置、激光电视机及存储介质 |
-
2022
- 2022-06-07 CN CN202210637258.7A patent/CN115017070A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101034384A (zh) * | 2007-04-26 | 2007-09-12 | 北京中星微电子有限公司 | 一种能同时进行读写操作的dma控制器及传输方法 |
| CN108259875A (zh) * | 2018-02-05 | 2018-07-06 | 成都天诚慧芯科技有限公司 | 一种数字图像伽马校正硬件实现方法及系统 |
| WO2021132832A1 (ko) * | 2019-12-23 | 2021-07-01 | 서경대학교 산학협력단 | 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 |
| CN112640424A (zh) * | 2020-03-30 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置和可移动平台 |
| CN111951193A (zh) * | 2020-08-21 | 2020-11-17 | 安谋科技（中国）有限公司 | 图像的水平畸变矫正方法及水平畸变矫正装置 |
| CN113890626A (zh) * | 2021-11-11 | 2022-01-04 | 青岛海信激光显示股份有限公司 | 色散校正方法、装置、激光电视机及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10578868B2 (en) | Head-mounted display and video data processing method thereof | |
| KR20000053089A (ko) | 디지탈 펄스 폭 변조 디스플레이 시스템에서 대역폭 및 프레임 버퍼 크기 감소 방법 | |
| CN110958362A (zh) | 基于分块查表的图像校正系统及其方法 | |
| US20060125835A1 (en) | DMA latency compensation with scaling line buffer | |
| CN1965344A (zh) | 用于具有非常慢响应像素的lcd面板的像素过度激励 | |
| JP2008197653A (ja) | 組み込みメモリ装置を利用した液晶表示装置の応答速度補償システム及び映像フレームデータの制御方法 | |
| US20210090220A1 (en) | Image de-warping system | |
| CN102970495B (zh) | 一种透镜畸变校正方法和装置 | |
| US9135672B2 (en) | Display system and data transmission method thereof | |
| CN103650004A (zh) | 图像处理装置、图像处理方法、程序及集成电路 | |
| US7768521B2 (en) | Image processing apparatus and image processing method | |
| CN104268098A (zh) | 一种用于超高清视频帧率上变换的片上缓存系统 | |
| CN115017070A (zh) | 图像矫正方法、图像矫正模块、激光投影设备及存储介质 | |
| US6560686B1 (en) | Memory device with variable bank partition architecture | |
| CN104485076A (zh) | 一种提高lcos波长选择开关切换速度的方法 | |
| US8704745B2 (en) | Driving device and driving method for liquid crystal display | |
| US20150022539A1 (en) | Image processing device and image processing method | |
| WO2021035643A1 (zh) | 监视图像生成方法、装置、设备和系统、图像处理设备 | |
| US8199098B2 (en) | Driving device and driving method for liquid crystal display | |
| CN105491363A (zh) | Led面板像素校正方法和装置 | |
| JP5614490B2 (ja) | メモリアクセス装置 | |
| CN105513004A (zh) | 一种图像畸变校正系统及其存储方法和寻址方法 | |
| US20140125821A1 (en) | Signal processing circuit, imaging apparatus and program | |
| US20170330306A1 (en) | Distorted image correcting apparatus and method | |
| CN102947859B (zh) | 图像处理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |