CN117173056A - 用于解决信息丢失的图像处理方法、设备及可读存储介质 - Google Patents

用于解决信息丢失的图像处理方法、设备及可读存储介质 Download PDF

Info

Publication number
CN117173056A
CN117173056A CN202311432819.0A CN202311432819A CN117173056A CN 117173056 A CN117173056 A CN 117173056A CN 202311432819 A CN202311432819 A CN 202311432819A CN 117173056 A CN117173056 A CN 117173056A
Authority
CN
China
Prior art keywords
point
dominant
sampling
image processing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311432819.0A
Other languages
English (en)
Other versions
CN117173056B (zh
Inventor
高蓉
覃正才
李洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinruihua Microelectronics Shanghai Co ltd
Original Assignee
Xinruihua Microelectronics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinruihua Microelectronics Shanghai Co ltd filed Critical Xinruihua Microelectronics Shanghai Co ltd
Priority to CN202311432819.0A priority Critical patent/CN117173056B/zh
Publication of CN117173056A publication Critical patent/CN117173056A/zh
Application granted granted Critical
Publication of CN117173056B publication Critical patent/CN117173056B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

一种用于解决信息丢失的图像处理方法、设备及可读存储介质,其中,所述方法包括:获取原始图像;根据所述原始图像,计算采样点的权重系数,并基于所述权重系数进行二次判断,获取非显性点;基于非显性点的像素值,判断其是否为特异点;根据判断结果,确定输出像素点的像素值。上述方法能有效的识别出包含图像关键数据信息且在采样过程中均不占主导地位的采样点,并通过对其进行单独处理,避免关键数据信息丢失,提升图像处理的质量。

Description

用于解决信息丢失的图像处理方法、设备及可读存储介质
技术领域
本申请涉及图像处理领域,特别是涉及一种用于解决信息丢失的图像处理方法、设备及可读存储介质。
背景技术
拍摄技术及网络带宽的迅速发展,拍摄或传输的图像可以达到4K *4K的分辨率,在显示器需要显示的像素达到千万以上数量级别。但当将图像通过显示屏进行显示时,如目前广泛应用的LCD、OLED、MiniLED、MicroLED等显示屏,如果分辨率达不到图像本身的分辨率时,将无法高保真地显示图像。
图像与显示屏的分辨率不匹配,使得显示效果受到显示屏分辨率的较大限制。例如,当将一幅1920*1080的图像通过智能手表界面进行显示时,就需要对待显示的图像进行处理,使得其能够适配手表显示屏界面的分辨率。早期的做法是将显示图像直接拉伸或缩小到屏幕对应的分辨率,或者将显示图像的周围补充黑画面,但是上面两种方式都会影响显示效果或损失图像信息,影响观看体验。目前,业界通常通过各种下采样的压缩算法使形成的低分辨图像尽可能包含原始高分辨图像的相关信息,或提高边缘清晰度,例如申请号为CN201610562758.3的中国申请专利所提供的技术方案。此外,还有通过删除图像中相邻像素间的相关性引起的空间冗余,或图像序列中不同帧之间的相关性引起的时间冗余,或不同彩色平面或频谱带的相关性引起的频谱冗余,从而减少图像显示所需的比特数。
与此同时,显示技术也在飞速发展中。MicroLED技术,被誉为下一代完美显示技术,自从2018年随着三星、索尼等大厂陆续推出相关概念性产品,其相关技术及应用市场正在加速成形。MicroLED技术,即LED微缩化和矩阵化技术,是将LED单元都微缩到了微米级别,将它们以数百万个组成的矩阵进行排布,再将其密封在同一基板透明玻璃上,实现每个像素图元单独定址,单独驱动点亮,具有高亮度、高对比度、高清晰度、可靠性强、反应时间快、更加节能、更低功耗等特性。同时,MicroLED还具有超薄、柔性、可折叠、透明等特性,这也为未来的智能手机、可穿戴设备、汽车信息娱乐系统、虚拟现实设备等带来了开发空间。尤其是在VR/AR/MR等方面具有显著的优势,这一优势将拓展显示产业向微显示技术领域迅速发展。
在微显示领域,对视在分辨率要求更高,但受限于LED单元小型化和像素电路微型化的难度,显示器物理分辨率的提升存在一定的技术瓶颈,而使用现有显示器件的话,就需要通过图像处理技术来改善现有技术限制带来的图像显示效果恶化。
公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。
发明内容
为了解决以上技术问题,本发明提供了一种用于解决信息丢失的图像处理方法、设备及可读存储介质。
根据本发明的一方面,提供了一种用于解决信息丢失的图像处理方法,包括:获取原始图像;根据所述原始图像,计算采样点的权重系数,并基于所述权重系数进行二次判断,获取非显性点;其中,所述非显性点为在任一次采样过程均无法占据主导地位的采样点;基于该非显性点的像素值,判断其是否为特异点;根据判断结果,确定输出像素点的像素值。
根据本发明的一方面,提供了一种用于解决信息丢失的图像处理设备,包括:获取模块,用于获取原始图像;采样模块,根据所述原始图像,计算采样点的权重系数;二次计算模块,用于基于所述权重系数进行二次判断,获取非显性点,并根据非显性点的像素值判断其是否为特异点,进而根据判断结果,确定输出像素点的像素值;其中,所述非显性点为在任一次采样过程均无法占据主导地位的采样点;绘制模块,用于根据所述像素计算模块获得的结果,绘制输出图像。
根据本发明的一方面,提供了一种计算机可读存储介质,存储程序数据,该程序数据在运行时,用以执行上述方法。
相较于现有技术,本申请通过采样点的权重系数对采样点是否为非显性点进行判断,仅针对非显性点再进一步判断其是否为特异点,从而以较高的效率捕捉到图像处理过程中有可能存在关键数据信息丢失的点,实现在不增加算法复杂度的前提下,有效改善图像质量。本申请的各实施方式可以复合至现有的图像处理算法,基本不额外增加计算复杂度,同时也能极大改善图像显示效果,具有广泛的应用前景。
本发明的方法和装置具有其它的特性和优点,这些特性和优点将在并入本文中的附图和随后的具体实施方式中进行详细陈述,这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
通过结合附图对本发明示例性实施例进行更详细的描述,本发明的上述以及其它目的、特征和优势将变得更加明显,其中,在本发明示例性实施例中,相同的参考标号通常代表相同部件。
图1根据本发明图像处理设备的一种具体实施方式的框架示意图;
图2为本发明图像处理方法的一种具体实施方式的流程示意图;
图3为本发明图像处理方法的一种具体实施方式中步骤S2的一种流程示意图;
图4为本发明图像处理方法的一种具体实施方式中步骤S220的一种流程示意图;
图5为本发明图像处理方法的一种具体实施方式中步骤S220的一种流程示意图;
图6为本发明图像处理方法的一种具体实施方式中步骤S220的一种流程示意图;
图7为根据本发明具体实施方式一种图像处理设备的框架示意图;
图8为根据本发明具体实施方式一种二次计算模块的框架示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。显然,本发明所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,除非另外说明,否则使用“或”意味着“和/或”。此外,术语“包含”以及“包括”和“包括”等其他形式的使用不具限制性。另外,除非另外具体地说明,否则例如“元件”或“组件”等术语涵盖包含一个单元的元件和组件以及包含一个以上单元的元件和组件两者。
显示屏的显示分辨率通常采用X轴上的像素点与Y轴上的像素点的乘积来表示,例如对于1024*768的显示屏,其水平方向上有1024个像素点,垂直方向上有768个像素点。其中,所述显示介质可以为电子设备的显示屏,或与电子设备连接的其他设备的显示屏,例如手机、智能手表、VR眼镜、可穿戴式设备等。
在现有的图像处理技术中,常见的降采样做法是基于原始图像进行采样,通过对应的权重系数将各个采样点映射至待输出的图像,实现将原始图像的数据信息传递至待输出图像。然而,现有的采样算法,通常对每一个采样点会采用无差异的步骤进行采样和计算,由于非显性点的存在,反而会造成数据丢失,导致压缩后的图像质量受影响。非显性点,即在每次采样过程中都无法占据主导地位的采样点,虽然在每次采样过程中都会被计入,但由于其每次都无法占据主导地位,所以其数据信息在计算过程中并不能被充分传递至输出图像,这就造成处理后的图像亮度降低或清晰度变差或损失部分图像元素,影响到图像质量。
基于此,本申请提出了以下发明构思,即在计算输出像素时获取了采样点的权重系数之后,先根据权重系数进行二次判断,确定在每次采样过程中均未占据主导地位的非显性点,接着对且仅对这些作为非显性点的采样点进行单独处理,例如,当判断出某个非显性点为特异点时,用该非显性点的像素值作为输出像素值。这样一来,这些包含图像关键数据信息的采样点不会因为未在任一次采样过程中占据主导地位而被忽视或遗失,其所包含的关键数据信息能够被充分地予以传递,从而能够有效地解决图像信息的丢失,提升图像质量。
参考图1,根据本发明的一些实施例,提供了一种用于解决信息丢失的图像处理设备100,至少可包括:电源110、处理器120、存储器130、显示屏140。
可以理解的是,本发明实施例示意的结构并不构成对所述图像处理设备的具体限定。在本申请另一些实施例中,所述图像处理设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
其中,电源110用于为处理器120、存储器130以及显示屏140等供电。电源110进一步还可包括电池容量监控等。在一些实施例中,电源110可为集成电源,也可为外部供电电源。
其中,处理器120可以包括一个或多个处理单元,例如:处理器120可以包括应用处理器 (application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),视频编解码器,数字信号处理器(digital signal processor,DSP),和/或神经网络处理器(neural networkprocessing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。特别的,数字信号处理器可用于处理数字信号,或对频点能量进行傅里叶变换等。视频编解码器可用于对视频信号进行压缩或解压缩。NPU通过借鉴生物神经网络结构之间的信号传递模式,基于输入信号实现自主学习,例如可通过NPU实现图像识别、语音识别等功能。在某些实施例中,处理器120可进一步包括控制器,用于通过指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制,以实现设定的功能。
其中,存储器130可用于存储代码和数据。其中,存储器130可为内部存储,也可包括外部存储器,例如,外部存储器可通过接口与处理器120通信,实现数据和/或代码的存储和读取。存储器130还可包括用于存储计算机可执行程序代码的内部存储装置,实现对操作系统、应用程序等代码的存储。在某些实施例中,处理器120可进一步包括一个或多个用于存储指令和数据的高速缓冲存储器,以便减少重复存取的等待时间。
其中,显示屏140可包括显示面板,例如液晶显示屏LCD,有机发光二极管OLED,有源矩阵有机发光二极体或主动矩阵有机发光二极体AMOLED,柔性发光二极管FLED,Miniled,MicroLed,Micro oLed,量子点发光二极管QLED等。在一些实施例中,图像处理设备100可包括一个或多个显示屏140,用于根据输出值对图像进行显示。
在某些具体实施方式中,图像处理设备100获取原始图像后,通过处理器120进行采样计算的过程中,获取各个采样点在每一次采样过程中的权重系数,基于权重系数进行二次判断,确定非显性点,接着判断这些非显性点是否构成特异点。
其中,图像处理设备100可通过存储器130提取原始图像,也可通过摄像头捕获图像或视频,还可以通过通信模块接收原始图像。
进一步地,在一些实施方式中,图像处理设备100可包括摄像头(图未示出),用以获取静态图像或视频。其中,摄像头至少包括镜头和光学投射结构,使得物体通过镜头生成光学图像投射到例如CCD电荷耦合器件或CMOS管等感光元件,并通过感光元件将光信号转换为电信号,接着,对电信号进行加工处理,形成RGB/YUV等格式的图像信号。在一些实施例中,电子设备100可以包括一个或多个摄像头。
进一步地,在一些实施方式中,图像处理设备100可包括通信模块(图未示出),用于接收原始图像。其中,通信模组采用WiFi,蓝牙,NFC,红外等方式与其他设备进行通信,获取原始图像。在一些实施例中,通信模块的至少部分功能模块可以被设置于处理器120中,或者与处理器110的部分模块被设置在同一个器件中。
参考图2,根据本发明的一个方面,基于图像处理设备100的上述各组件,提供了一种用于解决信息丢失的图像处理方法,包括:
步骤S1,获取原始图像。其中,所述原始图像可来自于视频流的图像帧,也可为摄像头拍摄的图像。
具体来说,获取原始图像可包括:获取由其他设备发送而来的原始图像,或通过摄像头采集获取,或从视频流中进行截取。例如,在一些实施方式中,步骤S1可通过usb接口或蓝牙、红外、WiFi传输等方式,从外部存储设备或者拍摄设备处获取所述原始图像。在另一些实施方式中,步骤S1也可基于指令通过摄像头进行拍摄,获取图像,或基于指令进行视频摄像获取一组图像帧,并从视频流中截取原始图像。
进一步地,步骤S1也可包括对原始图像进行预处理。
具体来说,可包括在边界位置进行像素扩充。在一些实施方式中,当将一幅分辨率为1920*1080的原始图像通过1280*1080的显示屏进行显示,其显示行数不变,因此可通过在原始图像边界左侧以及边界右侧各补充一列像素位,使得水平方向上的像素点从1920个增加至1922个。在一种具体实施方式中,可通过直接将边界最左/右列的像素点的值复制至左/右侧新增列,以实现新增像素位的扩充。在又一些实施方式中,当将一幅分辨率为1920*1080的原始图像通过1280*720的显示屏进行显示,其横向显示行数和纵向显示行数都发生了变化,因此可依次在原始图像边界左侧和右侧各补充一列像素位,以及在原始图像边界上侧和下侧各补充一行像素位,使得水平方向上的像素点从1920个增加至1922个,竖直方向上的像素点从1080个增加到1082个。在另一些实施方式中,也可不进行像素扩充。
在其他实施方式中,还可包括对图像进行一些其他的预处理。例如,通过噪声去除降低图像中的噪音,提高图像质量;通过锐化滤波增强图像的细节和边缘,提高清晰度;通过边缘检测获取图像中的边缘信息。
步骤S2,根据所述原始图像,计算采样点的权重系数,并基于所述权重系数进行二次判断,获取非显性点。
在一些实施方式中,参考图3,步骤S2可包括:步骤S210,对原始图像进行采样,计算各采样点的权重系数。
例如,可采用双三次插值方法计算采样点的权重系数。其中,在利用双三次插值算法的情况下,可以采用4*4的窗口大小进行采样,即利用采样点周围16个像素点的像素值确定对应的输出像素点的像素值。例如,对于任一像素点P(X,Y),可以将其周围的16个像素点P(X-1,Y-1)、P(X-1,Y)、P(X-1,Y+1)、P(X-1,Y+2)、P(X,Y-1)、P(X,Y)、P(X,Y+1)、P(X,Y+2)、P(X+1,Y-1)、P(X+1,Y)、P(X+1,Y+1)、P(X+1,Y+2)、P(X+2,Y-1)、P(X+2,Y)、P(X+2,Y+1)、P(X-1,Y+2)确定为用于确定对应的输出像素点的像素值的16个像素点,其中X、Y是大于0的正整数。在一些示例中,输出像素点的像素值可表示为:
其中v(x,y)是输出像素点在原始图像中对应的映射点P(x,y)的像素值,v(xi,yj)即为像素点P(xi ,yj)的像素值。其中x、y分别表示与映射点所对应的16个采样点中第一像素点的横坐标和纵坐标。相对应的,其权重系数可表示为,其中,参数a为介于-1和1之间的常数参量。
又例如,也可基于映射距离计算采样点的权重。在一些实施方式中,对于输出像素点P’(k),采样窗口为4,其对应的采样点分别为P(j-1),P(j),P(j+1),P(j+2),基于采样点计算输出像素,可按照:。其中,v’(k)为输出像素点P’(k)的像素值,v(n)为对应的采样点P(n)的像素值,s为输出像素点P’(k)与采样点P(n)之间的映射距离。其中,采样点的权重系数可表示为:/>
此外,还可采用三次样条插值方法,或根据映射面积进行采样等,具体采样方式并不应对本发明的发明构思造成限制。
发明人注意到,在各个采样过程中,存在一些采样点,其在每次采样过程中均无法占据主导地位,例如权重系数均不超过50%,这就使得这些非显性点的数据在采样过程中无法被充分表达。一旦这些采样点承载着重要的图像元素时,其数据信息的遗漏将会对图像质量造成明显的影响。
基于上述考虑,参考图3,在计算采样点的权重系数时,步骤S2进一步包括:步骤S220,根据所述权重系数进行二次判断,获取非显性点。
具体来说,根据所述权重系数进行二次判断,可包括:判断权重系数是否超过设定阈值。例如,设定阈值为50%时,当权重系数不超过50%则认为该采样点为非显性点。在一些实施方式中,也可根据待输出图像所需要辨别的色差确定或调整该设定阈值。
在一些实施方式中,参考图4,步骤S220可包括:步骤S410,读取所有的采样点;步骤S420,记录每个采样点参与计算的次数,即每当对其进行采样时,其参与计算的次数增加1;步骤S430,记录每个采样点的非显性次数,即当该采样点在当前采样过程中权重系数不超过50%时,其非显性次数增加1。在具体的采样过程中,可采用单行或者单列或3*3/4*4/16*16等多个采样点块进行采样。当遍历完当前行或列时,执行步骤S440,比较对应采样点参与计算的次数以及其非显性次数。当非显性次数等于参与计算的次数时,则该采样点为非显性点。在一些实施方式中,也可在每次采样完成时进行比较,一旦当某个采样点的非显性次数小于参与计算的次数,即某次采样过程中,该采样点的权重系数超过50%,则放弃对该采样点的继续记录。
在另一些实施方式中,参考图5,步骤S220可包括:步骤S510,计算采样次数,其中,根据所采用的采样方法、原始图像尺寸以及压缩比,可确定当前行或当前列的采样过程中,每个采样点会被使用到的次数,即采样次数;接着,执行步骤S520,记录每个采样点在采样过程中权重系数不超过50%的次数,即非显性次数,每个采样点在采样过程中权重系数小于或者等于50%时,则其非显性次数增加1。当遍历完当前行或列时,执行步骤S530,将所记录的非显性次数与所述采样次数进行比较,当非显性次数等于采样次数时,则该采样点为非显性点。
在又一些实施方式中,步骤S220可包括:记录每个采样点在采样过程中权重系数超过50%的次数,即显性次数。当任一个采样点在采样过程中权重系数超过50%时,则其显性次数增加1。当遍历完当前行或列时,排除掉所有显性次数为非零的采样点,参与过采样且显性次数为零的采样点即为非显性点。
在又一些实施方式中,参考图6,步骤S220还可包括:步骤S610,按照原始图像与输出图像之间的压缩比,将输出像素点划分为至少一个像素包。步骤S620,针对每个像素包,按照其对应的一个或多个采样点,计算其对应的输出像素点,获取每次采样过程中各个采样点的权重系数。其中,可根据采样点与输出像素点之间的映射距离,计算采样点的权重系数。步骤S630,基于各个采样点的权重系数进行二次判断,获取一个或多个非显性点。其中,非显性点在任一次的采样过程中其权重系数都不超过50%。步骤S640,遍历当前像素包之后,对下一个像素包继续执行步骤S620,直到遍历所有输出像素点。
由于每个像素包中的输出像素点与其采样点之间的映射关系具有一定的相似性,这就使得单个像素包中非显性点的出现规律存在一定重复性,因此,当遍历一个或若干个输出像素包,获取非显性点的出现规律之后,该出现规律能够被复用至其他输出像素包,从而便捷地获取该行/该列对应的一个或多个非显性点,有效减少计算力,节省算力和存储量。
当获取非显性点后,发明人进一步注意到,尽管非显性点的数据信息会在传递过程中存在被抑制或丢失的情况,但是当且仅当这样的采样点携带图像的关键数据信息时,即构成特异点时,其数据信息的遗漏才会对图像质量造成明显影响。当该采样点为特异点时,其与至少一个临近的采样点存在着肉眼无法忽视的较大视觉差异,例如作为线条的拐点或色块的切换,或存在色彩或亮度的明显变化,或存在图像元素的更替,并且,由于该采样点为非显性点,在任一次采样过程中都无法占据主导地位,其数据信息无法被完整传递至输出图像,造成输出图像与原始图像之间存在一个或多个视觉差异位置,从而造成图像的输出质量受到显著影响。
因此,当获取到非显性点之后,参考图2,继续执行步骤S3,基于该非显性点的像素值,判断其是否为特异点。
在一些实施方式中,当非显性点只有一个时,先计算该非显性点与其任一相邻输入像素点的像素值差异,将该差异作为该非显性点的特异值。接着,判断该特异值是否超过设定阈值;如果超过设定阈值,则该非显性点即为特异点。
在一些实施方式中,可根据待输出图像所要求的色差范围来确定该设定阈值。针对不同用途不同人群,其对应的色差范围△E也会有所差异。一般来说,色差△E越小越好,例如,对于有严苛色准要求的影视/设计等专业领域△E需不超过1,而一般人群使用,△E介于3-5之间即可。根据所要求的色差范围确定上述设定阈值,当上述差异值超过该设定阈值时,则该输入像素点即为特异点。在其他实施方式中,也可根据其他色差标准确定所述设定阈值。
在其他的实施方式中,也可通过其他的方式对该非显性点是否为特异点进行判断。例如以该非显性点与任一相邻采样点的像素值差异,与该非显性点的像素值比值,是否超过设定比例,判断该非显性点是否为特异点。或者也可采用其他方式对采样点是否为特异点进行判断,具体判断方式并不应对本申请发明构思造成限制。
在另一些实施方式中,当存在不止一个非显性点的特异值超过设定阈值时,则将与设定阈值相差最大的非显性点作为特异点。
当获得判断结果后,参考图2,按照步骤S4,确定输出像素点的像素值。其中,当判断该非显性点为特异点时,可将该特异点的像素值直接作为输出像素点的像素值。
进一步地,由于将特异点的像素值作为输出像素点的像素值,该特异点的数据信息已被完全传递。为了避免过度传递,还可以从前后的采样过程中将该特异点剔除,使输出图像更接近于原始的原始图像。
在一些实施方式中,步骤S4可包括:在当前以及此后的采样过程中,剔除本次采样过程中所确定的特异点,根据剔除后的采样点重新计算输出像素值。
在另一些实施方式中,步骤S4还可包括:当确定特异点后,从在本次采样之前涉及到该特异点的采样过程中,剔除该特异点,具体来说,对于包含该特异点的其他采样过程,去除该特异点后重新计算各采样点对应的权重系数,并根据重新计算后的权重系数计算输出像素点的像素值。
在又一些实施方式中,步骤S4还可包括:当该非显性点为非特异点,按照原有输出像素的计算方法进行计算。当判断出该非显性点并非为特异点,也就意味着,该采样点所包含的数据信息并不会对图像的转换造成明显的影响,在一定概率上该采样点所包含的数据信息可以通过其相邻的像素点得到较充分的表达,因此,可以放弃对该采样点进行特殊处理。
在现有的实际操作中,当通过图像处理设备对图像进行处理时,例如,处理器经由蓝牙或红外设备获取待处理的原始图像之后,对其进行采样和计算。在一些实操中,处理器采用近邻算法进行计算,例如当采样窗口为k时,对于某个输出像素点,处理器根据该输出像素点所对应的k个近邻输入像素点,分别获取每个近邻输入像素点像素值的1/k,并将其之和作为该输出像素点的像素值。或者在又一些实操中,处理器采用最大池化算法,根据某输出像素点所对应的多个输入像素点,选择其中像素值最大的输入像素点,并将其像素值作为该输出像素点的像素值。在其他实操中,处理器还可能采用其他未筛选非显性点或未基于非显性点进行判断的现有图像处理方法进行采样和计算。这些现有的图像处理算法,或者系数过于平均,无法突出有效视觉信息,或者采用的高系数像素不具代表性,使得高对比差异性像素被忽略,由于其均没有意识到或缺乏提取非显性点的有效方案,没能对非显性点的有效信息进行捕捉,导致有效视觉信息丢失,图像质量恶化严重。正是基于这样的考虑,发明人经过反复研究和实践,提出上述发明构思,基于采样点的权重系数排查出非显性点,通过仅对构成特异点的非显性点进行单独处理,从而解决信息丢失的问题,极大提升图像质量。
参考图7,根据本发明的另一方面,图像处理设备100进一步可包括:
获取模块710,用于获取原始图像,并对原始图像进行预处理;
采样模块720,根据所述原始图像,计算采样点的权重系数;
二次计算模块730,基于所述权重系数进行二次判断,获取非显性点,并根据非显性点的像素值判断其是否为特异点,进而根据判断结果,确定输出像素点的像素值;
绘制模块740,用于根据二次计算模块730获得的结果,绘制输出图像。
在一些实施方式中,采样模块720可包括根据各采样方法基于原始图像进行采样,计算采样点的权重系数。例如,采样模块720可采用双三次插值或线性插值或三次样条插值等采样方法,或基于映射距离或映射面积,进行计算,获取采样点的权重系数。
接着,二次计算模块730基于采样模块720所获得的权重系数,进行二次判断,获取非显性点。其中,二次计算模块730至少可包括:一个或多个计数单元,适于对采样次数、非显性次数、显性次数等一种或多种次数进行记录和更新;一个或多个判断单元,适于执行比较和判断操作。
在一些实施方式中,二次计算模块730通过计数单元分别记录每个采样点参与计算的次数以及其在每次采样过程中的非显性次数,并且随着采样进程进行更新。例如,每当对该采样点进行采样时,其参与计算的次数增加1;当该采样点在当前采样过程中权重系数不超过50%时,其非显性次数增加1。当遍历完当前行或列时,二次计算模块730通过判断单元比较对应采样点参与计算的次数以及其非显性次数。当非显性次数等于参与计算的次数时,则该采样点为非显性点。
在另一些实施方式中,二次计算模块730根据当前采样方法、原始图像尺寸以及压缩比,确定每个采样点的采样次数,并通过计数单元进行记录。接着,通过计数单元记录每个采样点在采样过程中的非显性次数,且,每当采样点在采样过程中权重系数小于或者等于50%时,则其非显性次数增加1。当遍历完当前行或列时,二次计算模块730通过判断单元将所记录的非显性次数与所述采样次数进行比较,当非显性次数等于采样次数时,则该采样点为非显性点。
在又一些实施方式中,二次计算模块730通过计数单元记录每个采样点在采样过程中的显性次数,即当采样点在任一次采样过程中权重系数超过50%时,则其显性次数增加1。当遍历完当前行或列时,二次计算模块730排除掉所有显性次数为非零的采样点,参与过采样且显性次数为零的采样点即为非显性点。
在又一些实施方式中,二次计算模块730还可包括:按照原始图像与输出图像之间的压缩比,将输出像素点划分为至少一个像素包,针对单个像素包中的每个输出像素点,执按照其对应的一个或多个采样点,计算其对应的输出像素点,获取每次采样过程中各个采样点的权重系数;基于各个采样点的权重系数进行二次判断,获取一个或多个非显性点;遍历当前像素包后,下一个像素包执行上述类似步骤,直到遍历所有输出像素点。
在获取非显性点之后,二次计算模块730进一步判断非显性点是否为特异点。
在一些实施方式中,参考图8,二次计算模块730可包括:特异值计算单元810,适于计算非显性点的特异值;特异值判断单元820,适于根据特异值计算单元810的计算结果,通过将其和设定阈值进行比较,判断该非显性点是否为特异点。
在一些实施方式中,特异值计算模块810可为差值计算单元,适于计算非显性点与任一相邻像素点的像素值差值。在其他实施方式中,特异值计算模块810也可为比值计算单元,或方差计算单元。
在一些实施方式中,特异值判断单元820进一步可包括:当计算结果超过设定阈值时,进一步判断非显性点是否唯一,若唯一则该非显性点为特异点;若不唯一,则进一步判断各非显性点差值相较设定阈值的差距,差距最大的一个非显性点为特异点。
在一些实施方式中,二次计算模块730进一步还包括:当确定特异点后,从在本次采样之前涉及到该特异点的采样过程中,剔除该特异点。具体来说,对于包含该特异点的其他采样过程,去除该特异点后再判断非显性点或特异点,或重新计算各采样点对应的映射距离或映射参数。
可以理解的是,本发明实施例示意的各模块间的连接关系,只是示意性说明,并不构成对图像处理设备100的结构限定。在本申请另一些实施例中,也可以采用与上述实施例中不同的模块连接方式,或硬件与软件相结合的模块组合。例如,也可通过摄像头或视频编解码器等实现原始图像的获取。
此外,根据本发明的又一方面,还提供了一种计算机可读存储介质,存储程序数据,该程序数据在运行时,用以执行本申请方法的上述各个实施方式。
相较于现有技术,本申请基于采样点的权重系数排查出作为特异点的非显性点,并对其进行单独处理,使得包含图像关键信息的非显性点的数据信息能够尽可能地保存至输出图像,从而极大提升图像质量。进一步的,正是由于通过对权重系数的二次判断获取作为特异点的非显性点,使得上述发明构思能够基于现有的图像处理方案快速地进行更新和升级,从而具有较好的兼容性,降低改造和升级的成本。
以上仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (25)

1.一种用于解决信息丢失的图像处理方法,其特征在于,包括:
获取原始图像;
根据所述原始图像,计算采样点的权重系数,并基于所述权重系数进行二次判断,获取非显性点;其中,所述非显性点为在任一次采样过程均无法占据主导地位的采样点;
基于该非显性点的像素值,判断其是否为特异点;
根据判断结果,确定输出像素点的像素值。
2.如权利要求1所述的图像处理方法,其特征在于,所述基于权重系数进行二次判断,获取非显性点包括:判断每次采样过程中该采样点的权重系数是否超过设定阈值。
3.如权利要求2所述的图像处理方法,其特征在于,所述设定阈值为50%。
4.如权利要求1所述的图像处理方法,其特征在于,所述基于权重系数进行二次判断,获取非显性点包括:
读取所有的采样点;
分别记录每个采样点参与计算的次数以及非显性次数;
遍历完当前行或列时,比较该采样点参与计算的次数以及其非显性次数;当所述非显性次数等于参与计算的次数时,则该采样点为非显性点。
5.如权利要求1所述的图像处理方法,其特征在于,所述基于权重系数进行二次判断,获取非显性点包括:
根据采样方法、原始图像尺寸以及压缩比,确定每个采样点的采样次数;
记录每个采样点在采样过程中的非显性次数;
遍历完当前行或列时,比较各采样点的非显性次数与所述采样次数,当非显性次数等于采样次数时,则该采样点为非显性点。
6.如权利要求1所述的图像处理方法,其特征在于,所述基于权重系数进行二次判断,获取非显性点包括:
记录每个采样点在采样过程中的显性次数;
遍历完当前行或列时,排除掉所有显性次数为非零的采样点,参与过采样且显性次数为零的采样点即为非显性点。
7.如权利要求1所述的图像处理方法,其特征在于,所述基于权重系数进行二次判断,获取非显性点包括:
按照原始图像与输出图像之间的压缩比,将输出像素点划分为至少一个像素包;
针对每个像素包,依次执行:按照其对应的一个或多个采样点,计算其对应的输出像素点,获取每次采样过程中各个采样点的权重系数;基于各个采样点的权重系数进行二次判断,获取一个或多个非显性点;
遍历当前像素包后,对下一个像素包执行上述类似步骤,直到遍历所有输出像素点。
8.如权利要求7所述的图像处理方法,其特征在于,所述获取权重系数进一步包括:根据各采样点与输出像素点之间的映射距离,计算采样点的权重系数。
9.如权利要求1所述的图像处理方法,其特征在于,所述基于非显性点的像素值判断其是否为特异点包括:基于所述非显性点的像素值计算其特异值,判断该特异值是否超过设定阈值;当超过设定阈值时,则该非显性点为特异点。
10.如权利要求9所述的图像处理方法,其特征在于,所述基于非显性点的像素值计算其特异值包括以下一种或组合:
当所述非显性点只有一个时,计算该非显性点与其任一相邻输入像素点的像素值差异,将所述像素值差异作为该非显性点的特异值;
当存在不止一个非显性点的特异值超过设定阈值时,与设定阈值相差最大的非显性点作为特异点。
11.如权利要求1所述的图像处理方法,其特征在于,所述根据判断结果确定输出像素点的像素值包括:将特异点的像素值作为输出像素点的像素值。
12.如权利要求11所述的图像处理方法,其特征在于,进一步包括:在当前以及此后的采样过程中,剔除所确定的特异点,根据剔除后的采样点重新计算。
13.如权利要求1所述的图像处理方法,其特征在于,所述获取原始图像包括以下一种或组合:获取由其他设备发送而来的原始图像,或通过摄像头采集获取,或从视频流中进行截取。
14.如权利要求1所述的图像处理方法,其特征在于,所述获取原始图像进一步包括对所述原始图像进行预处理,包括在边界位置进行像素扩充。
15.一种用于解决信息丢失的图像处理设备,其特征在于,包括:
获取模块,用于获取原始图像;
采样模块,根据所述原始图像,计算采样点的权重系数;
二次计算模块,用于基于所述权重系数进行二次判断,获取非显性点,并根据非显性点的像素值判断其是否为特异点,进而根据判断结果,确定输出像素点的像素值;其中,所述非显性点为在任一次采样过程均无法占据主导地位的采样点;
绘制模块,用于根据所述二次计算模块获得的结果,绘制输出图像。
16.如权利要求15所述的图像处理设备,其特征在于,所述二次计算模块至少可包括:一个或多个计数单元,适于对采样次数、非显性次数、显性次数等一种或多种进行记录和更新;以及一个或多个判断单元,适于执行比较和判断操作。
17.如权利要求16所述的图像处理设备,其特征在于,所述二次计算模块通过所述计数单元分别记录每个采样点参与计算的次数以及其在每次采样过程中的非显性次数,并且随着采样进程进行更新;当遍历完当前行或列时,所述二次计算模块通过所述判断单元比较对应采样点参与计算的次数以及其非显性次数。
18.如权利要求16所述的图像处理设备,其特征在于,所述二次计算模块根据当前采样方法、原始图像尺寸以及压缩比,确定每个采样点的采样次数;接着,通过计数单元记录每个采样点在采样过程中的非显性次数;当遍历完当前行或列时,所述二次计算模块通过所述判断单元将所记录的非显性次数与所述采样次数进行比较。
19.如权利要求16所述的图像处理设备,其特征在于,所述二次计算模块通过所述计数单元记录每个采样点在采样过程中的显性次数;当遍历完当前行或列时,所述二次计算模块排除掉所有显性次数为非零的采样点,参与过采样且显性次数为零的采样点即为非显性点。
20.如权利要求16所述的图像处理设备,其特征在于,所述二次计算模块按照原始图像与输出图像之间的压缩比,将输出像素点划分为至少一个像素包,针对单个像素包,按照其对应的一个或多个采样点,计算其对应的输出像素点,获取每次采样过程中各个采样点的权重系数;基于各个采样点的权重系数进行二次判断,获取一个或多个非显性点;遍历当前像素包后,对下一个像素包执行上述类似步骤,直到遍历所有输出像素点。
21.如权利要求15所述的图像处理设备,其特征在于,所述二次计算模块进一步包括:
特异值计算单元,适于计算非显性点的特异值;
特异值判断单元,适于根据所述特异值计算单元的计算结果,通过将其和设定阈值进行比较,判断该非显性点是否为特异点。
22.如权利要求21所述的图像处理设备,其特征在于,所述特异值计算单元包括:差值计算单元,适于计算非显性点与任一相邻像素点的像素值差值。
23.如权利要求21所述的图像处理设备,其特征在于,所述特异值判断单元进一步包括:当计算结果超过设定阈值时,进一步判断非显性点是否唯一,若唯一则该非显性点为特异点;若不唯一,则进一步判断各非显性点差值相较设定阈值的差距,差距最大的一个非显性点为特异点。
24.如权利要求15所述的图像处理设备,其特征在于,所述二次计算模块进一步包括:当确定特异点后,对于包含该特异点的其他采样过程,剔除该特异点。
25.一种计算机可读存储介质,存储程序数据,该程序数据在运行时,用以执行如权利要求1-13的任一项所述的方法。
CN202311432819.0A 2023-11-01 2023-11-01 用于解决信息丢失的图像处理方法、设备及可读存储介质 Active CN117173056B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311432819.0A CN117173056B (zh) 2023-11-01 2023-11-01 用于解决信息丢失的图像处理方法、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311432819.0A CN117173056B (zh) 2023-11-01 2023-11-01 用于解决信息丢失的图像处理方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN117173056A true CN117173056A (zh) 2023-12-05
CN117173056B CN117173056B (zh) 2024-04-09

Family

ID=88937769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311432819.0A Active CN117173056B (zh) 2023-11-01 2023-11-01 用于解决信息丢失的图像处理方法、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN117173056B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213137A1 (en) * 2004-11-19 2009-08-27 Telefonaktiebolaget L M Ericsson (Publ) Method and Apparatus for Pixel Sampling
WO2020259271A1 (zh) * 2019-06-24 2020-12-30 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN113256504A (zh) * 2020-02-11 2021-08-13 北京三星通信技术研究有限公司 图像处理的方法和电子设备
WO2022067491A1 (zh) * 2020-09-29 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、云端服务器、图像处理装置、存储介质
CN115690296A (zh) * 2021-07-26 2023-02-03 想象技术有限公司 各向异性纹理过滤
CN116863861A (zh) * 2023-09-05 2023-10-10 欣瑞华微电子(上海)有限公司 基于非显性点判断的图像处理方法、设备及可读存储介质
CN116862814A (zh) * 2023-09-05 2023-10-10 欣瑞华微电子(上海)有限公司 图像处理方法、图像处理设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090213137A1 (en) * 2004-11-19 2009-08-27 Telefonaktiebolaget L M Ericsson (Publ) Method and Apparatus for Pixel Sampling
WO2020259271A1 (zh) * 2019-06-24 2020-12-30 Oppo广东移动通信有限公司 图像畸变校正方法和装置
CN113256504A (zh) * 2020-02-11 2021-08-13 北京三星通信技术研究有限公司 图像处理的方法和电子设备
WO2022067491A1 (zh) * 2020-09-29 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、云端服务器、图像处理装置、存储介质
CN115690296A (zh) * 2021-07-26 2023-02-03 想象技术有限公司 各向异性纹理过滤
CN116863861A (zh) * 2023-09-05 2023-10-10 欣瑞华微电子(上海)有限公司 基于非显性点判断的图像处理方法、设备及可读存储介质
CN116862814A (zh) * 2023-09-05 2023-10-10 欣瑞华微电子(上海)有限公司 图像处理方法、图像处理设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN117173056B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
US11429824B2 (en) Method and system of deep supervision object detection for reducing resource usage
US20200005468A1 (en) Method and system of event-driven object segmentation for image processing
CN116863861B (zh) 基于非显性点判断的图像处理方法、设备及可读存储介质
US20220360736A1 (en) Method for frame interpolation and related products
US20170076195A1 (en) Distributed neural networks for scalable real-time analytics
US10846560B2 (en) GPU optimized and online single gaussian based skin likelihood estimation
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2024002211A1 (zh) 一种图像处理方法及相关装置
CN116248955A (zh) 一种基于ai抽帧补帧的vr云渲染图像增强方法
CN111526417A (zh) 一种视频图像传输方法及传输系统
CN111696034A (zh) 图像处理方法、装置及电子设备
CN109089048B (zh) 多镜头全景联动装置及方法
CN116862814B (zh) 图像处理方法、图像处理设备及计算机可读存储介质
CN117768774A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN117173056B (zh) 用于解决信息丢失的图像处理方法、设备及可读存储介质
Paschalakis et al. A low cost FPGA system for high speed face detection and tracking
CN114390188A (zh) 一种图像处理方法和电子设备
CN116012262A (zh) 一种图像处理方法、模型训练方法及电子设备
CN112950516B (zh) 图像局部对比度增强的方法及装置、存储介质及电子设备
CN115278189A (zh) 图像色调映射方法及装置、计算机可读介质和电子设备
CN109493349B (zh) 一种图像特征处理模块、增强现实设备和角点检测方法
CN117745531B (zh) 图像插值方法、设备及可读存储介质
CN113228095A (zh) 图像处理方法、显示处理装置和计算机可读存储介质
EP4280154A1 (en) Image blurriness determination method and device related thereto
CN112308809A (zh) 一种图像合成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant