CN116862814A - 图像处理方法、图像处理设备及计算机可读存储介质 - Google Patents
图像处理方法、图像处理设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN116862814A CN116862814A CN202311133807.8A CN202311133807A CN116862814A CN 116862814 A CN116862814 A CN 116862814A CN 202311133807 A CN202311133807 A CN 202311133807A CN 116862814 A CN116862814 A CN 116862814A
- Authority
- CN
- China
- Prior art keywords
- pixel
- output
- points
- image
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims description 25
- 238000005070 sampling Methods 0.000 claims abstract description 99
- 238000013507 mapping Methods 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 8
- 230000003139 buffering effect Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 229920001621 AMOLED Polymers 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
一种图像处理方法、设备及计算机可读存储介质，其中，所述方法包括：获取原始图像并进行预处理后，采用逐行/列扫描的方式，对输入像素点进行扫描，确定同一像素包中不同位序的输出像素点所对应的采样点；根据各采样点与输出像素点之间的距离，确定各输出像素点对应的输出加权映射参数矩阵；同一像素包中不同位序的输出像素点，采用不同的输出加权映射参数矩阵；并按照输出像素点的位序，分别计算各个输出像素点的像素值，直至获得输出图像；上述方法能够实现在对算力和数据缓存量要求较小的前提下，保留更多的数据信息，具有更好的显示效果。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种图像处理方法、图像处理设备及计算机可读存储介质。
背景技术
随着拍摄技术及网络带宽的迅速发展，拍摄或传输的图像可以达到4K *4K的分辨率，在显示器上需要显示的像素达到千万以上数量级别。当将图像通过显示屏进行显示时，如目前广泛应用的LCD、OLED、MiniLED、MicroLED等显示屏，如果分辨率达不到图像本身的分辨率时，将无法高保真地显示图像。
图像分辨率与显示屏分辨率的不匹配，使得显示效果受到显示屏分辨率的较大限制。例如，当将一幅1920*1080的图像通过较低分辨率（比如1280*768）的显示屏进行显示时，就需要对待显示的图像进行处理，使得其能够适配低分辨率显示屏。早期的做法是将显示图像直接拉伸或缩小到屏幕对应的分辨率，或者将显示图像的周围补充黑画面，但是上面两种方式都会影响显示效果或损失图像信息，影响观看体验。目前，业界通常通过各种下采样的压缩算法使形成的低分辨图像尽可能包含原始高分辨图像的相关信息，或提高边缘清晰度，例如申请号为CN201610562758.3的中国申请专利所提供的技术方案。此外，还有通过删除图像中相邻像素间的相关性引起的空间冗余，或图像序列中不同帧之间的相关性引起的时间冗余，或不同彩色平面或频谱带的相关性引起的频谱冗余，从而减少图像显示所需的比特数。
与此同时，显示技术经历了从CRT到TFT-LCD,再到OLED、MicroLED的飞速发展。目前MicroLED技术，被誉为下一代完美显示技术，自从2018年随着三星、索尼等大厂陆续推出相关概念性产品，其相关技术及应用市场正在加速成形，比如VR/AR/MR等。MicroLED技术，即LED微缩化和矩阵化技术，是将LED单元都微缩到了微米级别，将它们以数百万个组成的矩阵进行排布，再将其密封在同一基板透明玻璃上或者是硅基（on-Silicon），实现每个像素图元单独寻址，单独驱动点亮，具有高亮度、高对比度、高清晰度、可靠性强、反应时间快、更加节能、更低功耗等特性。同时，MicroLED还具有超薄、柔性、可折叠、透明等特性，这也为未来的可穿戴设备、汽车信息娱乐系统、虚拟现实(VR)设备、增强现实(AR)和混合现实(MR)等带来了开发空间。尤其是在VR/AR/MR等方面具有显著的优势，这一优势将拓展显示产业向微显示技术领域迅速发展。
在微显示领域，对视在分辨率要求更高，但受限于LED单元小型化和像素电路微型化的难度，显示屏物理分辨率的提升存在一定的技术瓶颈，而使用现有显示器件的话，就需要通过图像处理技术来改善现有技术限制带来的图像显示效果恶化。现有的图像处理技术，在提高图像显示效果、减少视觉损失以及降低算法功耗和复杂度方面，仍存在不少问题。
发明内容
为了解决以上技术问题，本发明提供了一种图像处理方法、图像处理设备及计算机可读存储介质。
根据本发明的一方面，提供了一种图像处理方法，包括：获取原始图像；对原始图像进行预处理；采用逐行和/或逐列扫描的方式，在行或列方向上对输入像素点进行扫描，确定同一像素包中不同位序的输出像素点所对应的采样点，其中，采样点为至少一个输入像素点，每个采样点符合设定的距离规则；根据各采样点与输出像素点之间的距离，确定输出像素点的输出加权映射参数矩阵，其中，同一像素包中不同位序的输出像素点，采用不同的输出加权映射参数矩阵；根据所述输出加权映射参数矩阵，按照输出像素点的位序，分别计算各个输出像素点的像素值，进而获得输出图像。
根据本发明的一方面，提供了一种图像处理设备，至少包括处理器和显示屏，其中，所述处理器获取原始图像之后，逐行或逐列对原始图像单独扫描，对符合距离规则的输入像素点进行采样，并将输出像素按照压缩比分割为多个像素包；接着，根据输出像素在像素包中的位序，计算其对应的输出加权映射参数矩阵，并按照其位序，获取对应的输出像素值；所述显示屏根据所述处理器获得的像素值，对图像进行展示。
根据本发明的一方面，提供了一种图像处理设备，包括：获取模块，用于获取原始图像；预处理模块，用于对原始图像进行预处理；采样模块，采用逐行和/或逐列扫描的方式，在行或列方向上对输入像素点进行扫描，确定同一像素包中不同位序的输出像素点所对应的采样点，其中，采样点为至少一个输入像素点，每个采样点符合设定的距离规则；像素计算模块，根据各采样点与输出像素点之间的距离，确定输出像素点的输出加权映射参数矩阵，其中，同一像素包中不同位序的输出像素点，采用不同的输出加权映射参数矩阵；根据所述输出加权映射参数矩阵，按照输出像素点的位序，分别计算各个输出像素点的像素值；绘制模块，用于根据所述像素计算模块获得的结果，绘制输出图像。
根据本发明的一方面，提供了一种计算机可读存储介质，存储程序数据，该程序数据在运行时，用以执行上述方法。
附图说明
图1a-图1c分别为原始图像、根据现有技术处理后的输出图像、根据本发明图像处理方法的一种具体实施方式处理后的输出图像；
图2为本发明图像处理方法的一种具体实施方式的流程示意图；
图3为本发明图像处理方法的一种具体实施方式中输入像素与输出像素的示意图；
图4a和图4b为本发明图像处理方法的两种具体实施方式中输入像素与输出像素与对应采样点之间的距离的示意图；
图5为本发明图像处理方法的另一种具体实施方式中输入像素与输出像素的示意图；
图6为本发明图像处理方法的又一种具体实施方式中输入像素与输出像素的示意图；
图7为本发明图像处理方法的又一种具体实施方式中对原始图像进行像素扩充的示意图；
图8为本发明图像处理方法的又一种具体实施方式中对原始图像进行像素扩充的示意图；
图9为根据本发明具体实施方式一种图像处理设备的框架示意图；
图10为根据本发明具体实施方式一种图像处理设备中处理器的框架示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。显然，本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，除非另外说明，否则使用“或”意味着“和/或”。此外，术语“包含”以及“包括”和“包括”等其他形式的使用不具限制性。另外，除非另外具体地说明，否则例如“元件”或“组件”等术语涵盖包含一个单元的元件和组件以及包含一个以上单元的元件和组件两者。
显示屏的显示分辨率通常采用X轴上的像素点与Y轴上的像素点的乘积来表示，例如对于1024*768的显示屏，其水平方向上有1024个像素点，垂直方向上有768个像素点。其中，所述显示介质可以为电子设备的显示屏，或与电子设备连接的其他设备的显示屏，例如手机、智能手表、VR眼镜、可穿戴式设备等。
现有的图像处理技术在对图像降采样时，通常仅会对采样窗口大小或插值算法形式上进行调整以改善图像质量，但由于计算输出像素值时所采用的都是单一输出加权映射参数，从而导致会出现明显的显示瑕疵，例如，总是存在或多或少的色块、亮度等信息丢失。参考图1a和图1b，其中，图1a为原始图像，图1b为采用现有图像处理方案获得的显示图样。不难看出，部分白色条纹的亮度很低，部分彩色条纹没有显示出来。也就是说，这部分的数据信息被丢失了。此外，虽然一些子像素算法（SPR）中提到可基于采样图块与输出图块的面积映射关系对输出映射参数进行调整，但其主要是为了适应屏幕的RBG非管道式排布，且仍旧采用了单一的输出加权映射参数形式，并不能有效的改善图像的显示质量。
发明人经过多次实验和反复尝试之后，发现不同位序的输出像素与采样点之间的距离差异也会影响到输出像素值，从而提出针对不同位序输出像素，在计算其对应的输出加权映射参数时，将其与采样点之间的距离一并考虑在内，形成与位序相对应的输出加权映射参数矩阵，进而提出了本发明构思。
本申请将输出像素按照压缩比分割为多个像素包，对原始图像逐行或逐列单独扫描，根据输出像素点在像素包中的位序确定对应的采样点，并根据该输出像素与其对应的采样点之间的距离获得其输出加权映射参数矩阵，进而计算输出像素值。正是通过将距离纳入映射参数进行计算，使得图像数据能够尽可能地在降采样的过程中被保留，有效地提升输出图像的显示质量。不仅如此，其中，每个像素包中相同位序的输出像素具有相同的输出加权映射参数矩阵，这也使得仅对一个像素包中某一位序的像素点进行计算，获得其对应的输出加权映射参数矩阵之后，可将其复用至其他像素包中具有同样位序的输出像素点，最终合成待生成图像，从而能够在最大化保有图像信息的前提下，节省算力和存储空间。
参考图1a和图1c，其中，图1c为根据本发明的各实施方式所获得的显示图样。可以看到，根据本发明的各实施方式能够较好的复原原始图像，尽可能多的保留了图像的数据信息。
参考图2，根据本发明的一个方面，提供了一种图像处理方法，包括：
步骤S1，获取原始图像。其中，所述原始图像可来自于视频流的图像帧，也可为摄像头拍摄的图像。
具体来说，可获取由其他设备发送而来的原始图像，可以通过摄像头采集获取。例如，在一些实施方式中，步骤S1可通过数据传输，从其他设备处获取所述原始图像。在另一些实施方式中，步骤S1也可基于指令进行拍摄获取一张图像，或基于指令进行视频摄像获取一组图像帧，并从视频流中截取待处理的图像。
步骤S2，扫描原始图像并对原始图像进行预处理。
在一些实施方式中，步骤S2可包括在边界位置进行像素扩充。
在一些实施方式中，当将一幅分辨率为1920*1080的原始图像通过1280*1080的显示屏进行显示，其显示行数不变，因此可通过在原始图像边界左侧以及边界右侧各补充一列像素位，使得水平方向上的像素点从1920个增加至1922个。在一种具体实施方式中，可通过直接将边界最左/右列的像素点的值复制至左/右侧新增列，以实现新增像素位的扩充。
在又一些实施方式中，当将一幅分辨率为1920*1080的原始图像通过1280*720的显示屏进行显示，其横向显示行数和纵向显示行数都发生了变化，因此可依次在原始图像边界左侧和右侧各补充一列像素位，以及在原始图像边界上侧和下侧各补充一行像素位，使得水平方向上的像素点从1920个增加至1922个，竖直方向上的像素点从1080个增加到1082个。
将在另一些实施方式中，步骤S2也可以对图像进行一些其他的预处理。例如，通过噪声去除降低图像中的噪音，提高图像质量；通过锐化滤波增强图像的细节和边缘，提高清晰度；通过边缘检测获取图像中的边缘信息。
步骤S3，采用逐行和/或逐列扫描的方式，在行或列方向上对输入像素点进行扫描，确定同一像素包中不同位序的输出像素点所对应的采样点，其中，采样点为至少一个输入像素点，每个输入像素点与对应的输出像素点符合设定的距离规则。
具体来说，可根据压缩比确定像素包中包含的输出像素点的个数，进而确定各输出像素点在像素包中的位序。例如，当图像在水平方向上存在2/3的压缩，则在同一行中的输入像素点与待显示的输出像素点会呈现这样的规律，即每两个输出像素点一组占据的空间与原始图像中三个输入像素点所占据的空间相对应。又例如，当图像在垂直方向上存在3/5的压缩，在同一列中的每三个输出像素点为一组，所占据的空间与原始图像中垂直方向上五个输入像素点所占据的空间相对应。
然而，由于相邻像素点之间的数据信息具有关联性，例如第4个输入像素点可能也会对第1个输出像素点产生影响，第5个输入像素点可能也会对第2个输出像素点产生影响，因此并不能简单的仅仅根据空间上对应的多个输入像素点的数据信息来计算对应像素包中输出像素点的值。可以理解的是，像素值用于表示该像素点区域的光学数据信息，例如平均亮度信息，或平均反/透射密度信息等。由于图像进行了一定的比例的压缩，为了尽可能真实的还原图像的原始数据，可采用插值算法综合考虑各个采样点对输出像素值的影响。其中，当输入像素点距离输出像素点越远，则该输入像素点数据信息对输出像素点像素值的贡献就越小。因此，通过设定的距离规则，可以有效保留对输出像素点有贡献的采样点，并排除对输出像素点的贡献可忽略的采样点，从而节省计算量和存储成本。
具体来说，一个输出像素点可根据多个采样点计算获得，该输出像素点所对应的采样点为距离该输出像素点最近的采样个数范围内的输入像素点。例如，当采样点数为4时，每个输出像素点对应的采样点为与该输出像素点的距离最近的四个输入像素点；当采样点数为5时，每个输出像素点对应的采样点为与该输出像素点的距离最近的五个输入像素点。
参考图3，仍然通过将一幅分辨率为1920*1080的原始图像通过1280*1080的显示屏进行显示的例子进行说明。
首先，通过步骤S2，对原始图像进行像素扩充，使得水平方向上的像素点从1920个增加至1922个。在图像边界左侧增加一列像素位，即第0位输入像素点；在图像边界右侧增加一列像素位，即第1921位输入像素点。
接着，由于垂直方向的像素个数不发生变化，而水平方向上的像素个数自1920个减少至1280个，因此，开始逐行自左到右进行采样。另一方面，由于图像在水平方向上存在2/3的压缩，水平方向上的每两个输出像素点构成一个像素包，这就使得，每个奇数位输出像素点具有相同的输出加权映射参数矩阵，每个偶数位输出像素点具有相同的输出加权映射参数矩阵。也就是说，只要获取1个奇数位输出像素点的输出加权映射参数矩阵，对于其他奇数位输出像素点，代入其对应的采样输入像素值就能够快速地获得其对应的输出像素值了。对于偶数位输出像素点也是类似的。
在一些实施方式中，例如采样点数为4个，则按照距离规则，选取距离输出像素点最近的四个输入像素点，作为该输出像素点对应的采样点。
参考图4a，具体地，以输入像素为一个单元像素时，设其边长为单位距离1。分别计算第1位输出像素点与各个输入像素点之间的距离|s|，获取与其距离最近的四个输入像素点。不难发现，第1位输出像素点与第4位或同一行中后续输入像素点的距离都大于|s|3，也就是第1位输出像素点与第3位输入像素点之间的距离。最终获得，与第1位输出像素点距离最近的前四个输入像素点分别为，第0位、第1位、第2位、第3位输入像素点，其对应的距离分别为|s|0=1.25，|s|1=0.25，|s|2=0.75，|s|3=1.75。
接着，可继续对第3位、第5位或其他奇数位输出像素点进行计算。对于第3位输出像素点，通过计算可发现与其距离最近的四个输入像素点分别为第3位、第4位、第5位、第6位输入像素点，其对应的距离分别为|s3|3=1.25，|s3|4=0.25，|s3|5=0.75，|s3|6=1.75。该输出像素点与同一行中第7位之后或第3位之前的输入像素点的距离都大于|s|6。再接着计算第5位输出像素点时，可以发现，与第5位输出像素点距离最近的四个输入像素点分别为第6位、第7位、第8位、第9位输入像素点，其距离也各为1.25，0.25，0.75和1.75。
类似的，在同一行中继续采样，对于奇数位输出像素点，例如第k个输出像素点，k为1至1080之间的奇数，可以获得与该第k位输出像素点距离最近的四个输入像素点分别为第j-1位、第j位、第j+1位、第j+2位输入像素点，其中，j为1至1922之间的自然数，且j和k之间始终存在如下关系：j+1=(k+1)*3/2。此外，第k个输出像素点与该四个输入像素点之间的距离也始终保持着，|s|j-1=1.25，|s|j=0.25，|s|j+1=0.75，|s|j+2=1.75。可当k为偶数时，上述对应关系和距离则产生了变化。
参考图4b，在计算第2位输出像素点时，分别计算其与输入像素点之间的距离|s|，获取与其距离最近的四个输入像素点，即第1位、第2位、第3位、第4位输入像素点，其对应的距离分别为|s2|1=1.75，|s2|2=0.75，|s2|3=0.25，|s2|4=1.25。继续计算第4位输出像素点时，可发现与其距离最近的四个输入像素点分别为第4位、第5位、第6位、第7位输入像素点，其对应的距离分别为|s4|4=1.75，|s4|5=0.75，|s4|6=0.25，|s4|7=1.25。再接着计算第6位输出像素点时，可以发现，与第6位输出像素点距离最近的四个输入像素点分别为第7位、第8位、第9位、第10位输入像素点，其距离也各为1.75，0.75，0.25和1.25。
发明人发现，在同一行中继续采样，当k’为1至1080之间的偶数时，对于第k’个输出像素点，与该第k’位输出像素点距离最近的四个输入像素点分别为第j’位、第j’+1位、第j’+2位、第j’+3位输入像素点，其中，j’为1至1922之间的自然数，且j’与k’之间存在如下关系：j’+2=k’*3/2。此外，第k’个输出像素点与该四个输入像素点之间的距离始终保持着，|s|j’=1.75，|s|j’+1=0.75，|s|j’+2=0.25，|s|j’+3=1.25。
可见，当将1920*1080的原始图像通过1280*1080的显示屏进行显示时，一方面，图像在水平方向上存在2/3的压缩，使得可将每行的输出像素分割为多个像素包，其中每个像素包具有2个像素点，分别获取奇数位和偶数位的输出像素点与其各自对应的采样点之间的距离规律，进而获得各自对应的输出加权映射参数矩阵。其中，距离规律可包括但不限于，根据该输出像素点获取其对应的最近采样点，以及该输出像素点与各个最近采样点之间的距离。另一方面，根据采样窗口大小确定对应的距离规则，例如采样长度为四个采样点时，则每次选择距离输出像素点最近的四个输入像素点进行采样。
在另一种实施方式中，压缩比不变，则每个像素包中包含两个输出像素点。当每次采用五个采样点进行采样时，所述距离规则即为所确定的采样点为距离该输出像素点最近的五个输入像素点。参考图5，首先，通过步骤S2向原始图像左侧边界填充两列像素位，即第1位和第2位输入像素点，使得水平方向上的像素点从1920个增加至1922个。分别对奇数位和偶数位的输出像素点，计算其与输入像素点之间的距离，取其最近的前5个。可以发现，奇数位输出像素点与5个采样点之间的距离呈现一种规律，而偶数位输出像素点与其对应的5个采样点之间的距离呈现另一种规律。具体来说，对于第k个输出像素点，当k为奇数时，与该第k位输出像素点距离最近的五个输入像素点分别为第j-2位、第j-1位、第j位、第j+1位、第j+2位输入像素点，其中，j和k之间存在如下关系：j=(k+1)*3/2；而当k为偶数时，与该第k位输出像素点距离最近的五个输入像素点分别为第j位、第j+1位、第j+2位、第j+3位、第j+4位输入像素点，其中，j和k之间存在如下关系：j=k*3/2。也就是说，即使采样窗口大小发生了改变，仅会影响到每个输出像素点对应的最近采样点的个数。在压缩比不改变的情况下，每个像素包所包含的输出像素点个数保持不变。仍然可以按照输出像素点在像素包中的不同位序，分别获取各个位序的输出像素点与采样窗口大小相同个数的最近采样点之间的距离规律。
在另一种实施方式中，参考图6，当将一幅分辨率为1920*1080的原始图像通过1440*1080的显示屏进行显示时，水平方向上的像素个数自1920个减少至1440个，也就是说存在3/4的压缩。此时，行数不发生变化，但在每一行中，每三个输出像素点占据的空间与原始图像中四个输入像素点所占据的空间相对应。因此，将每一行输出像素分割为多个像素包，每个像素包包含3个像素点。当采样窗口大小为4时，获取距离输出像素点最近的四个输入像素点作为采样点。此时，由于每个像素包中包含3个输出像素点，对于第n个像素包中的第n1位像素点、第n2位像素点、第n3位像素点与其对应的最近采样点之间，分别存在三种不同的距离规律。
具体来说，首先，通过向原始图像左侧边界和右侧边界各填充一列像素位，即第1位输入像素点和第1922输入像素点，使得水平方向上的像素点从1920个增加至1922个。像素点p1、p2、p3分别为第一个像素包中第1位、第2位和第3位的输出像素点，分别计算最终获得，与输出像素点p1距离最近的前四个输入像素点分别为，第1位、第2位、第3位、第4位输入像素点，其对应的距离分别为|s1|1=2/3+0.5，|s1|2=2/3-0.5，|s1|3=1/3+0.5，|s1|4=1/3+1.5；与第2位输出像素点距离最近的前四个输入像素点分别为，第2位、第3位、第4位、第5位输入像素点，其对应的距离分别为|s2|2=1.5，|s2|3=0.5，|s2|4=0.5，|s2|5=1.5；与第3位输出像素点距离最近的前四个输入像素点分别为，第3位、第4位、第5位、第6位输入像素点，其对应的距离分别为|s3|3=1/3+1.5，|s3|4=1/3+0.5，|s3|5=2/3-0.5，|s3|6=2/3+0.5。继续对第2个及后续像素包中的输出像素点进行计算，可以发现，每个像素包中第1位输出像素点与像素点p1存在相同的距离规律，其中第2位输出像素点与像素点p2存在相同的距离规律，其中第3位输出像素点与像素点p3存在相同的距离规律。进一步地，可获得，例如，第k-1位、第k位、第k+1位分别为第i个像素包中的第1位、第2位、第3位输出像素，其中，与第k-1位输出像素点距离最近的四个输入像素点分别为第j-1位、第j位、第j+1位、第j+2位输入像素点，与第k位输出像素点距离最近的四个输入像素点分别为第j位、第j+1位、第j+2位、第j+3位输入像素点，与第k+1位输出像素点距离最近的四个输入像素点分别为第j+1位、第j+2位、第j+3位、第j+4位输入像素点，其中，j和k之间存在如下关系：j+2=(k+1)*3/4。不难发现，将对应行/列输出像素分割为多个像素包时，同一个像素包中不同位序的输出像素具有不同的距离规律，而多个不同的像素包中具有相同位序的输出像素则具有相同的距离规律，也就是说，输出像素与其对应的最近采样点之间的距离规律与其位序相关联。当图像压缩比发生改变时，每个像素包中所包含的输出像素的个数随之改变，相应地，输出像素的位序将发生变化，每个输出像素所对应的距离规律也将随之而改变。因此，当图像压缩比改变时，需要重新获取像素包以及每个像素包中各个像素点的位序，进而计算各个位序的输出像素点与其对应的最近采样点之间的距离规律。
在一些实施方式中，也可不对原始图像进行像素扩充。此时，如果是逐行进行扫描，则将每行的第一到两个输出像素及最后一到两个输出像素单独进行计算即可，该行其他输出像素仍符合上述距离规律。类似的，如果是逐列进行扫描，则将每列的第一到两个输出像素及最后一到两个输出像素单独进行计算，该列其他输出像素仍符合上述距离规律。
接着，执行步骤S4，根据各采样点与输出像素点之间的距离，确定各采样点对应的输出加权映射参数，以获得输出加权映射参数矩阵。当输入像素点距离输出像素点的距离越近，其所涵盖的数据便会尽可能多的传递至该输出像素点，也就是说，其对输出像素点像素值的影响就越大。在一些实施方式中，输出加权映射参数矩阵u(s)与距离|s|存在以下的关系：
，
例如，当|s|=1.75时，u(s)为-0.03；当|s|=0.75时，u(s)为0.23；当|s|=0.25时，u(s)为0.87；当|s|=1.25时，u(s)为-0.07。
在另一些实施方式中，也可通过例如最邻近插值或双线性插值等算法根据距离|s|计算输出加权映射参数矩阵u(s)，使得输出像素与采样点之间的距离差异所带来的影响能够被计入输出像素值。
当获得各采样点对于每个输出像素点的输出加权映射参数矩阵之后，接着，执行步骤S5，根据获取的输出加权映射参数矩阵，按照输出像素点的位序，分别计算各个输出像素点的像素值，进而获得输出图像。
仍旧以将分辨率为1920*1080的原始图像通过1280*1080的显示屏进行显示的例子进行说明。图像在水平方向上存在2/3的压缩，每个像素包中包含2个输出像素点，先区分输出像素点的奇偶位之后，然后，获得各采样点对于每个输出像素点的输出加权映射参数矩阵，接着再分别计算奇数位输出像素点和偶数位像素点的像素值。可以看到，由于不同位序的输出像素点具有不同的距离规律，不同位序的输出像素点所对应的采样点也呈现出不同的规律，像素值计算公式也随之变化。也就是说，在一些实施方式中，同一个像素包中不同位序的输出像素具有不同的输出加权映射参数矩阵，而多个不同的像素包中具有相同位序的输出像素则具有相同的输出加权映射参数矩阵。
例如，对于第k个输出像素点，k为1至1080之间的奇数，与该第k位输出像素点距离最近的四个输入像素点分别为第j-1位、第j位、第j+1位、第j+2位输入像素点，因此，根据第j-1位、第j位、第j+1位、第j+2位输入像素点的像素值以及其对应的输出加权映射参数矩阵u(s)计算，获得奇数位输出像素值为。类似的，当k为1至1080之间的偶数时，与该第k位输出像素点距离最近的四个输入像素点分别为第j位、第j+1位、第j+2位、第j+3位输入像素点，因此，相应地进行计算，获得偶数位输出像素值为。
通过重复执行上述步骤S3、步骤S4以及步骤S5，直至获得每一行以及每一列的输出像素值，根据所述输出像素值获得输出图像。具体来说，步骤S5还可进一步包括：判断当前获取的是否为输出图像的最后一行或最后一列，当已获得输出图像的最后一行或最后一列时，终止计算。
上述实施方式充分的展示了如何在水平方向上进行采样以及计算输出像素值。本领域技术人员应能理解，本申请图像处理方法的其他实施方式也可同样应用在垂直方向上进行采样以及计算输出像素值，或者先在水平或垂直方向上进行采样，然后再在垂直或水平方向上进行采样，并同步计算获得输出像素值。
根据本申请图像处理方法的另一些方面，当将一幅分辨率为1280*1080的原始图像通过1280*720的显示屏进行显示，图像水平方向不变而垂直方向上压缩了2/3。在一些实施方式中，参考图7，首先，先在原始图像边界上侧以及下侧各补充一列像素位，使得水平方向上的像素点从1080个增加至1082个。接着，采用逐列扫描的方式，在列方向上对设定位数的多个输入像素点进行采样。例如，当采样点数为4时，每个输出像素点对应的采样点可为与该输出像素点的距离最近的四个输入像素点。以输入像素为一个单元像素时，以其边长为单位距离1。接着，分别对奇数位输出像素点和偶数位输出像素点进行计算。
对于奇数位输出像素点，例如第k个输出像素点，k为1至720之间的奇数，可以获得与该第k位输出像素点距离最近的四个输入像素点分别为第j-1位、第j位、第j+1位、第j+2位输入像素点，其中，j为1至1082之间的自然数，且j和k之间存在如下关系：j+1=(k+1)*3/2。此外，第k个输出像素点与该四个输入像素点之间的距离始终保持着，|s|j-1=1.25，|s|j=0.25，|s|j+1=0.75，|s|j+2=1.75。
对于偶数位输出像素点，例如第k’个输出像素点，k’为1至720之间的偶数，可以获得与该第k’位输出像素点距离最近的四个输入像素点分别为第j’位、第j’+1位、第j’+2位、第j’+3位输入像素点，其中，j’为1至1082之间的自然数，且j’与k’之间存在如下关系：j’+2=k’*3/2。此外，第k’个输出像素点与该四个输入像素点之间的距离始终保持着，|s|j’=1.75，|s|j’+1=0.75，|s|j’+2=0.25，|s|j’+3=1.25。
接着，进一步根据各采样点与输出像素点之间的距离，确定对应的输出加权映射参数矩阵u(s)。然后，根据各采样点的输入像素值及输出加权映射参数矩阵，按照输出像素的奇偶位，分别计算各输出像素点的像素值。其中，奇数位输出像素值为，而偶数位输出像素值为/>。接着，根据奇数位输出像素点和偶数位像素点的像素值，获得输出图像。
由此可见，本申请图像处理方法的实施方式同样也可以适用于在垂直方向上进行采样并获取输出像素值，进而获得输出图像。
根据本申请图像处理方法的又一些方面，当将一幅分辨率为1920*1080的原始图像通过1280*720的显示屏进行显示，图像在水平方向和垂直方向上都各压缩了2/3，其横向显示行数和纵向显示行数都发生了变化。
在一些实施方式中，参考图8，可依次在原始图像边界左侧和右侧各补充一列像素位，以及在原始图像边界上侧和下侧各补充一行像素位，使得水平方向上的像素点从1920个增加至1922个，竖直方向上的像素点从1080个增加到1082个。
接着，开始采样，例如，采样点数为4，以输入像素为一个单元像素，其边长为单位距离1。
先采用逐行扫描的方式，在行方向上根据输出像素点，对符合距离规则的4个输入像素点进行采样，每个采样点为与该输出像素点的距离最近的四个输入像素点。获取各采样点与输出像素点之间的距离之后，根据该距离，确定各输出像素点对应的输出加权映射参数矩阵u(s)。然后，根据各采样点的输入像素值，按照输出像素的奇偶位，分别计算各输出像素点的像素值。完成1080行采样后，获得1280*1080个像素点。
接着，再采用逐列扫描的方式，在列方向上逐列计算输出像素点，依次计算完成720列输出像素点之后，获得1280*720个输出像素值，获得输出图像。
在另一些实施例中，也可先逐列扫描，再逐行扫描，行列的先后顺序并不会对本申请的发明构思造成限制。
参考图9，在一些实施例中，图像处理设备400可至少包括：电源410、处理器420、存储器430、显示屏440。
可以理解的是，本发明实施例示意的结构并不构成对所述图像处理设备的具体限定。在本申请另一些实施例中，所述图像处理设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
其中，电源410用于为处理器420、存储器430以及显示屏440等供电。电源410进一步还可包括电池容量监控等。在一些实施例中，电源410也可以集成于处理器420中。
其中，处理器420可以包括一个或多个处理单元，例如：处理器420可以包括应用处理器 (application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，视频编解码器，数字信号处理器(digital signal processor，DSP)，和/或神经网络处理器(neural networkprocessing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。特别的，数字信号处理器可用于处理数字信号，或对频点能量进行傅里叶变换等。视频编解码器可用于对视频信号进行压缩或解压缩。NPU通过借鉴生物神经网络结构之间的信号传递模式，基于输入信号实现自主学习，例如可通过NPU 实现图像识别、语音识别等功能。在某些实施例中，处理器420可进一步包括控制器，用于通过指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制，以实现设定的功能。
其中，存储器430可用于存储代码和数据。具体来说，存储器430可包括外部存储器，所述外部存储器可通过接口与处理器420通信，实现数据和/或代码的存储和读取。存储器430还可包括内部存储器，用于存储计算机可执行程序代码，例如操作系统、应用程序等。在某些实施例中，处理器420可进一步包括一个或多个用于存储指令和数据的高速缓冲存储器，以便减少重复存取的等待时间。
其中，显示屏440可包括显示面板，例如液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体 (active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，图像处理设备400可包括一个或多个显示屏440，用于根据输出值对图像进行显示。
在一些实施方式中，处理器420获取原始图像之后，逐行或逐列对原始图像单独扫描，对符合距离规则的输入像素点进行采样，并将输出像素按照压缩比分割为多个像素包；接着，根据输出像素在像素包中的位序，分别计算其对应的输出加权映射参数矩阵之后，获取对应的像素值。然后，处理器420将输出像素值传输至显示屏440，并通过显示屏440进行展示。
参考图10，根据本发明的另一方面，处理器420进一步可包括：
获取模块421，用于获取原始图像；
预处理模块422，用于对原始图像进行预处理，包括在边界位置进行像素扩充；
采样模块423，采用逐行和/或逐列扫描的方式，在行或列方向上对输入像素点进行扫描，确定同一像素包中不同位序的输出像素点所对应的采样点，其中，采样点为至少一个输入像素点，每个采样点符合设定的距离规则；
像素计算模块424，根据各采样点与输出像素点之间的距离，确定各采样点对应的输出加权映射参数，以获得输出加权映射参数矩阵，并按照输出像素点的位序，分别计算各个输出像素点的像素值；
绘制模块425，用于根据像素计算模块424获得的结果，绘制输出图像。
在一些具体实施例中，获取模块421也可包括摄像头或外设接口等。
可以理解的是，本发明实施例示意的各模块间的连接关系，只是示意性说明，并不构成对图像处理设备400的结构限定。在本申请另一些实施例中，也可以采用与上述实施例中不同的模块连接方式，或硬件与软件相结合的模块组合。例如，也可通过摄像头或视频编解码器等实现原始图像的获取。
此外，根据本发明的又一方面，还提供了一种计算机可读存储介质，存储程序数据，该程序数据在运行时，用以执行本申请方法的上述各个实施方式。
相较于现有技术，本申请通过对原始图像逐行或逐列单独扫描，对行列中符合距离规则的设定数量的像素点进行采样后，将输出像素按照压缩比分割为多个像素包，在不同像素包相同位序的输出像素具有相同的输出加权映射参数矩阵。通过计算获取一个像素包中各位序像素点的输出加权映射参数矩阵后，可复用至其他像素包中具有相同位序的输出像素点，最终形成待生成图像，从而能够对算力和数据缓存量较小的前提下，具有较好的显示效果。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (12)
1.一种图像处理方法，其特征在于，包括：
获取原始图像；
对所述原始图像进行预处理；
逐行和/或逐列对输入像素点进行扫描，根据图像压缩比，将输出像素分割为多个像素包，确定同一像素包中不同位序的输出像素点所对应的采样点，其中，采样点为至少一个输入像素点，每个采样点符合设定的距离规则；
根据各采样点与输出像素点之间的距离，确定至少一个输出像素点的输出加权映射参数矩阵；其中，同一个像素包中不同位序的输出像素具有不同的输出加权映射参数矩阵，而不同的像素包中具有相同位序的输出像素则具有相同的输出加权映射参数矩阵；
根据所述输出加权映射参数矩阵，按照输出像素点的位序，分别计算各个输出像素点的像素值，进而获得输出图像。
2.如权利要求1所述的图像处理方法，其特征在于，进一步包括：每个所述像素包中输出像素点的个数与所述图像压缩比相关联。
3.如权利要求1所述的图像处理方法，其特征在于，进一步包括：所述输出像素与其对应的最近采样点之间的距离规律，与该输出像素在像素包中的位序相关联。
4.如权利要求1所述的图像处理方法，其特征在于，所述确定同一像素包中不同位序的输出像素点所对应的采样点包括：获取与所述输出像素点距离最近的多个输入像素点作为采样点，采样点个数由采样窗口大小决定。
5.如权利要求1所述的图像处理方法，其特征在于，所述逐行和/或逐列对输入像素点进行扫描包括：单行或单列对输入像素点进行扫描。
6.如权利要求1所述的图像处理方法，其特征在于，所述对原始图像进行预处理包括：在边界位置进行像素扩充。
7.如权利要求6所述的图像处理方法，其特征在于，所述输出像素包含边缘行或列的输出像素。
8.如权利要求1所述的图像处理方法，其特征在于，所述获取原始图像包括以下一种方式或组合：
接收由其他设备发送而来的原始图像；
通过摄像头采集获取原始图像；
从视频流中截取原始图像。
9.一种图像处理设备，至少包括处理器和显示屏，其特征在于，
所述处理器获取原始图像之后，逐行或逐列对原始图像单独扫描，对符合距离规则的输入像素点进行采样，并将输出像素按照压缩比分割为多个像素包；接着，根据输出像素在像素包中的位序，计算其对应的输出加权映射参数矩阵，并按照其位序，获取对应的像素值；
所述显示屏根据所述处理器获得的像素值，对图像进行展示。
10.如权利要求9所述的图像处理设备，其特征在于，所述处理器进一步包括：
获取模块，用于获取原始图像；
预处理模块，用于对原始图像进行预处理；
采样模块，采用逐行和/或逐列扫描的方式，在行或列方向上对输入像素点进行扫描，确定同一像素包中不同位序的输出像素点所对应的采样点，其中，采样点为至少一个输入像素点，每个采样点符合设定的距离规则；
像素计算模块，根据各采样点与输出像素点之间的距离，输出像素点的输出加权映射参数矩阵，并根据输出加权映射参数矩阵，按照输出像素点的位序，分别计算各个输出像素点的像素值；
绘制模块，用于根据所述像素计算模块获得的结果，绘制输出图像。
11.如权利要求10所述的图像处理设备，其特征在于，所述预处理模块进一步包括：在原始图像边界位置进行像素扩充。
12.一种计算机可读存储介质，存储程序数据，该程序数据在运行时，用以执行如权利要求1-8的任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311133807.8A CN116862814B (zh) | 2023-09-05 | 2023-09-05 | 图像处理方法、图像处理设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311133807.8A CN116862814B (zh) | 2023-09-05 | 2023-09-05 | 图像处理方法、图像处理设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116862814A true CN116862814A (zh) | 2023-10-10 |
| CN116862814B CN116862814B (zh) | 2023-11-28 |
Family
ID=88219504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311133807.8A Active CN116862814B (zh) | 2023-09-05 | 2023-09-05 | 图像处理方法、图像处理设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862814B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173056A (zh) * | 2023-11-01 | 2023-12-05 | 欣瑞华微电子(上海)有限公司 | 用于解决信息丢失的图像处理方法、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110188744A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | High dynamic range image generation and rendering |
| CN110490826A (zh) * | 2019-08-26 | 2019-11-22 | 河南农业大学 | 一种照相机中雾滴样本图像处理方法 |
| CN111507239A (zh) * | 2020-04-14 | 2020-08-07 | 上海海事大学 | 一种基于图像金字塔的局部特征人脸识别方法 |
| US20220383521A1 (en) * | 2020-01-19 | 2022-12-01 | Zhejiang University | Dense optical flow calculation system and method based on fpga |
| CN116012588A (zh) * | 2023-01-17 | 2023-04-25 | 武汉工程大学 | 一种用于语义分割的新型特征上采样方法 |
-
2023
- 2023-09-05 CN CN202311133807.8A patent/CN116862814B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110188744A1 (en) * | 2010-02-04 | 2011-08-04 | Microsoft Corporation | High dynamic range image generation and rendering |
| CN110490826A (zh) * | 2019-08-26 | 2019-11-22 | 河南农业大学 | 一种照相机中雾滴样本图像处理方法 |
| US20220383521A1 (en) * | 2020-01-19 | 2022-12-01 | Zhejiang University | Dense optical flow calculation system and method based on fpga |
| CN111507239A (zh) * | 2020-04-14 | 2020-08-07 | 上海海事大学 | 一种基于图像金字塔的局部特征人脸识别方法 |
| CN116012588A (zh) * | 2023-01-17 | 2023-04-25 | 武汉工程大学 | 一种用于语义分割的新型特征上采样方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张旭东;吕言言;缪永伟;郝鹏翼;陈佳舟;: "结合区域协方差分析的图像显著性检测", 中国图象图形学报, no. 05 * |
| 罗鸣威;王怀登;丁尧;袁杰;: "变焦序列图像超分辨率重建算法研究", 南京大学学报(自然科学), no. 01 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173056A (zh) * | 2023-11-01 | 2023-12-05 | 欣瑞华微电子(上海)有限公司 | 用于解决信息丢失的图像处理方法、设备及可读存储介质 |
| CN117173056B (zh) * | 2023-11-01 | 2024-04-09 | 欣瑞华微电子(上海)有限公司 | 用于解决信息丢失的图像处理方法、设备及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116862814B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11961431B2 (en) | Display processing circuitry | |
| CN110023881B (zh) | 基于区域的显示数据处理和传输 | |
| US11363247B2 (en) | Motion smoothing in a distributed system | |
| US12020401B2 (en) | Data processing systems | |
| CN111819798A (zh) | 经由实时压缩控制周边图像区域中的图像显示 | |
| CN106030652B (zh) | 提供输出面的方法、系统和合成显示控制器及计算机介质 | |
| CN116862814B (zh) | 图像处理方法、图像处理设备及计算机可读存储介质 | |
| CN116863861B (zh) | 基于非显性点判断的图像处理方法、设备及可读存储介质 | |
| CN101523475B (zh) | 图像显示装置 | |
| KR20150093592A (ko) | 디스플레이용 오버드라이브 프레임을 생성하는 방법 및 장치 | |
| KR102669366B1 (ko) | 비디오 처리 시스템 | |
| WO2019029177A1 (zh) | 图像显示方法、显示系统以及计算机可读存储介质 | |
| CN110235176B (zh) | 图像的处理方法及装置、数据传输方法及装置、存储介质 | |
| US10559244B2 (en) | Electronic apparatus, display driver and method for generating display data of display panel | |
| US10984758B1 (en) | Image enhancement | |
| CN113438418A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| US20200029057A1 (en) | Systems and methods for correcting color separation in field-sequential displays | |
| CN115410525B (zh) | 亚像素寻址方法、装置、显示控制系统和显示屏 | |
| US10672367B2 (en) | Providing data to a display in data processing systems | |
| US9123090B2 (en) | Image data compression device, image data decompression device, display device, image processing system, image data compression method, and image data decompression method | |
| CN114514746B (zh) | 用于作为对视频编码的预处理的运动自适应滤波的系统和方法 | |
| KR20200063614A (ko) | Ar/vr/mr 시스템용 디스플레이 유닛 | |
| CN110767184B (zh) | 背光亮度处理方法、系统、显示设备及介质 | |
| US20220138901A1 (en) | Image display method, image processing method, image processing device, display system and computer-readable storage medium | |
| CN1737641A (zh) | 立体图像显示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |