CN113726981A - 图像数据处理方法、电子设备及存储介质 - Google Patents

图像数据处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113726981A
CN113726981A CN202111157442.3A CN202111157442A CN113726981A CN 113726981 A CN113726981 A CN 113726981A CN 202111157442 A CN202111157442 A CN 202111157442A CN 113726981 A CN113726981 A CN 113726981A
Authority
CN
China
Prior art keywords
image data
target
enhanced
area
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111157442.3A
Other languages
English (en)
Other versions
CN113726981B (zh
Inventor
王阳
段家喜
王其为
姚成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ned+ Ar Display Technology Co ltd
Original Assignee
Beijing Ned+ Ar Display Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ned+ Ar Display Technology Co ltd filed Critical Beijing Ned+ Ar Display Technology Co ltd
Priority to CN202111157442.3A priority Critical patent/CN113726981B/zh
Publication of CN113726981A publication Critical patent/CN113726981A/zh
Application granted granted Critical
Publication of CN113726981B publication Critical patent/CN113726981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • H04N5/321Transforming X-rays with video transmission of fluoroscopic images
    • H04N5/325Image enhancement, e.g. by subtraction techniques using polyenergetic X-rays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像数据处理方法、电子设备及存储介质,该方法包括:获取近眼显示系统中的光学系统的视场清晰度分布;将视场划分为中心区域和边缘区域;对待显示的图像数据进行划分,分别获得对应于边缘区域的图像数据和对应于中心区域的图像数据;识别对应于边缘区域的图像数据,并判断是否有待增强目标处于边缘区域内;若有,则基于待增强目标的类型,对待增强目标所占区域的图像数据进行相应的增强处理,得到增强处理后的图像数据,并将增强处理后的图像数据映射至显示屏;若无,则直接将待显示图像数据映射至显示屏。本发明能够对位于视场边缘的图像数据进行增强处理后再显示,可达成更好的显示效果,避免显示信息的认知误差。

Description

图像数据处理方法、电子设备及存储介质
技术领域
本发明涉及近眼显示技术领域,尤其涉及一种图像数据处理方法、电子设备及存储介质。
背景技术
在应用于虚拟现实或增强现实的近眼显示系统中,完全由轴对称的光学元件构成的、用于成像(或投影)的光学系统一般出瞳大致为圆形,呈现出视场中心清晰度高、但沿径向方向至边缘后清晰度明显下降的特性,非轴对称的光学元件构成的光学系统的视场则有更为复杂的清晰度变化方式,但总体表现为边缘不如中心清楚。视场中心与边缘区域的成像清晰度差异在近眼显示时被放大,导致观看者视觉直接感受到视场边缘显示效果变劣,而这容易造成边缘视场信息认知误差。
发明内容
有鉴于此,本发明的主要目的在于提供一种图像数据处理方法。
为达到上述目的,本发明的技术方案是这样实现的:
一种图像数据处理方法,包括:
获取近眼显示系统中的光学系统的视场清晰度分布;
基于光学系统的视场清晰度分布和预设的清晰度分界线条件,将视场划分为中心区域和边缘区域;
获取待显示的图像数据,并依据待显示的图像数据与视场的映射关系,对待显示的图像数据进行划分,分别获得对应于边缘区域的图像数据和对应于中心区域的图像数据;
识别对应于边缘区域的图像数据,判断是否有待增强目标处于所述边缘区域内;
若判断结果为有,则基于所述待增强目标的类型,对所述待增强目标所占区域的图像数据进行相应的增强处理,得到增强处理后的图像数据,并将增强处理后的图像数据映射至显示屏;
若判断结果为无,则直接将待显示图像数据映射至显示屏。
可选地,确定光学系统视场清晰度分布的步骤包括:
基于多点测量,获得MTF实测物理值,或
引用MTF光学设计值,或
选自分辨率、亮度、对比度中的任一项作为指标,进行评价而得。
可选地,确定光学系统视场清晰度分布的步骤包括:
基于用户感知的设定值,确定光学系统视场清晰度分布;其中用户感知的是亮度和/或对比度,亮度和/或对比度的设定值基于标准图像调整。
可选地,所述基于光学系统的视场清晰度分布和预设的清晰度分界线条件,将视场划分为中心区域和边缘区域,包括:
预设的清晰度分界线条件为MTF值等于th1;其中,th1的取值不低于视场中心MTF值的0.6倍,或th1与MTF最大值的差值不低于MTF值分布中最大差值的50%;
基于光学系统的视场清晰度分布,将MTF值大于th1的视场区域划分为中心区域,MTF值小于等于th1的视场区域划分为边缘区域。
可选地,th1的取值不高于视场中心MTF值的0.8倍。
可选地,所述判断是否有待增强目标处于所述边缘区域内,包括:
获取预设的待增强目标类型及比例阈值;
在所述边缘区域内查找目标;
若查找到目标,判断目标类型是否属于预设的待增强目标类型,是则执行下一步骤,否则继续查找直至查找完所述边缘区域;
计算查找到的目标处于所述边缘区域内的面积占该目标自身总面积的比例值;
若比例值大于预设的比例阈值,则判定该目标为待增强目标,否则继续查找直至查找完所述边缘区域;其中,所述预设的比例阈值根据所述待增强目标类型进行设定,不同待增强目标类型对应的比例阈值可以相同也可以不同。
可选地,在所述边缘区域内查找目标包括:
将所述边缘区域分为边角区和非边角区;其中,所述非边角区的面积大于所述边角区;
对所述边角区对应的图像数据和所述非边角区对应的图像数据,采用不同的识别算法,查找是否存在目标;不同算法对应于不同的识别速度和识别精度;其中,对所述边角区采用的识别算法的识别精度高于对所述非边角区采用的识别算法的识别精度。
可选地,所述将所述边缘区域分为边角区和非边角区,包括:
依据像素点至视场中心的距离进行划分边角区和非边角区,距离超过预设的距离阈值则为边角区,否则为非边角区;或
依据预设的第二清晰度分界线条件进行划分边角区和非边角区。
可选地,所述对所述待增强目标所占区域的图像数据进行相应的增强处理,包括:
对所述待增强目标所占区域的图像数据进行放大、锐化、位移、调色、调亮、显示轮廓、闪烁提示、反向畸变处理中的一种或多种操作。
可选地,待增强目标的类型包括人脸、人形、文字、数字、UI图标、着火点、漏水点、武器中的一种或多种。
可选地,所述待显示的图像数据能够被完全映射至视场中。
可选地,所述待显示的图像数据与视场的映射关系以像素为单位或者以分区为单位。
可选地,所述将增强处理后的图像数据映射至显示屏,包括:
将增强处理后的图像数据与待显示的图像数据融合后映射至显示屏;或
将增强处理后的图像数据与待显示的图像数据分别映射至显示屏,用于在对待显示的图像数据进行显示之后,对增强处理后的图像数据进行插帧显示,且插帧显示时间长度不少于引起人眼识别的时间长度。
一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述图像数据处理方法的步骤。
可选地,所述处理器是光学系统中的显示驱动芯片;
所述显示驱动芯片包括接收视频数据接口、帧缓存器、数据处理模块和显示模块;所述接收视频数据接口用于接收下一帧待显示图像数据;所述帧缓存器用于缓存下一帧待显示图像;所述数据处理模块用于对待显示图像数据进行处理;所述显示模块用于驱动显示器执行显示步骤。
可选地,所述处理器是主控芯片;所述主控芯片用于与显示驱动芯片连接;所述主控芯片用于对待显示图像数据进行处理,并把图像数据映射到显示驱动芯片,显示驱动芯片执行显示步骤。
一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述图像数据处理方法的步骤。
根据本发明的图像数据处理方法、电子设备及存储介质,可以实现对位于视场边缘区域的重点信息进行增强处理后再显示,能够强调无法经过预先估计而被摆放在视场中心显示的重点信息,减少视场边缘图像清晰度不足造成的显示效果变劣,同时避免显示信息的认知误差。
附图说明
图1是本发明实施例中一种图像数据处理方法步骤示意图;
图2是本发明实施例中一种将视场划分为中心区域和边缘区域的示意图;
图3是一种待显示的图像数据示例;
图4是对图3进行相应的增强处理后得到的图像数据示例;
图5是本发明实施例所提供的一种显示驱动芯片的示意性组成框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明中,表述“第一”和“第二”等可以修饰本发明的多种组成元件,但是不限制对应的组成元件。例如,表述不限制对应的组成元件的顺序和/或重要性等。表述可以用于将一个组成元件与另一组成元件区分开来。例如,第一用户装置和第二用户装置全部为用户装置,且代表不同的用户装置。例如,第一组成元件可以被命名为第二组成元件而不脱离本发明的精神和范围。相同地,即使第二组成元件也可以被命名为第一组成元件。表述方法包括的“步骤”中表示的标号仅用于区分不同的步骤,并不代表步骤的顺序限制。本领域技术人员应知道,上述步骤的序号是为了阐述方便和简洁,在没有引用结果限定的情况下,可以同时执行,也可以先后执行,此处并不限制。
如图1至图4所示,本发明实施例提供的一种图像数据处理方法,包括:
步骤100、获取近眼显示系统中的光学系统的视场清晰度分布;
步骤102、基于光学系统的视场清晰度分布和预设的清晰度分界线条件,将视场划分为中心区域和边缘区域;
步骤104、获取待显示的图像数据,并依据待显示的图像数据与视场的映射关系,对待显示的图像数据进行划分,分别获得对应于边缘区域的图像数据和对应于中心区域的图像数据;
步骤106、识别对应于边缘区域的图像数据,并判断是否有待增强目标处于划分得到的边缘区域内,若判断结果为有,则执行下一步骤108,若判断结果为无,则执行步骤110;
步骤108、当步骤106的判断结果为有,则基于待增强目标的类型,对该待增强目标所占区域的图像数据进行相应的增强处理,得到增强处理后的图像数据,并将增强处理后的图像数据映射至显示屏;
步骤110、当步骤106的判断结果为无,则直接将待显示图像数据映射至显示屏。
本实施方式提供的图像数据处理方法根据光学系统的视场清晰度差异来划分区域,判断是否存在包含重点信息的、需增强的目标(下文表述为待增强目标)处于清晰度较差的区域,然后进行相应的增强调整,最后显示调整后的图像数据。该技术方案不需要采集使用者的眼动数据,不以注视点为依据,而完全基于近眼显示系统的光学特性对待显示图像数据位于边缘区域中的待增强目标进行有针对性的增强处理,能够增强无法预先摆放在中央视场被显示的重点信息,可达成更好的显示效果,同时避免了原本边缘显示的信息不够清楚而导致的认知误差。
在步骤100中,所获取的近眼显示系统中的光学系统的视场清晰度分布可以根据测量值、设计值或基于感知的设定值中的任一种被预先确定。具体来说:
虽然清晰度可以被客观衡量和比较,但受限于人眼的差异,即使在同等客观清晰度条件下,普遍性的存在一定的主观感觉偏差,即,不同的使用者对清晰度的感觉不完全一致。优选地,可以通过亮度的提升而有利于观看者感觉到清晰,对比度亦对视觉上感到的清晰度的提高有贡献,例如黑色和白色之间有明显的区别,相较灰度显示,黑和白分别被置为背景和字体时,可以使观察者感觉到更清晰。
此外,在一种常见的、普遍接受的衡量方法中,使用MTF(Modulation TransferFunction,调制传递函数)的测量值来作为光学性能中清晰度的一个客观物理表征。但不是绝对的,在已知分辨率的情况下,不使用MTF的实测物理值而引用光学设计值也可以大致衡量清晰度。
因此,在一些可选的实施方式中,确定光学系统视场清晰度分布的步骤包括:
基于多点测量,获得MTF实测物理值,或者引用MTF光学设计值,或者选自分辨率、亮度、对比度中的任一项作为指标,进行评价而确定光学系统视场清晰度分布。
为了实现有效的显示,近眼显示的光学系统通常都经过优化,优化的目标通常为具有较为均匀的清晰度,或至少确保在视线中心对应的尽可能大区域对观察者表现出较高显示画质。对于现有标准下的各显示比例,比如16:9或4:3的画面,其距离显示区域物理中心点最远的边缘点相比中心点画质会发生很大的变化,因此,仅通过图像的一部分画质进行整体评估清晰度不够严谨,需要考虑全视场的清晰度分布。步骤100中对于清晰度分布的确定,优选获得由中心至边缘的多个点对应的MTF值。MTF值优选通过实测获得,即来自实测值。没有实测值的话,MTF值来自设计值也是可以大致接受的。通常设计值是曲线或点列图的形式,测试值是点阵图,且测试值对应的测试点数目小于像素数(即物理分辨率)。
若采用对比度、亮度来评价清晰度,亦应包括分辨率已知情况下,从中心至边缘的多点数据,而且,由于对比度或亮度可以被人眼主观感知,因此,在另一些可选的实施方式中,确定光学系统视场清晰度分布的步骤包括:
基于用户感知的设定值,确定光学系统视场清晰度分布;其中用户感知的可以是亮度和/或对比度,亮度、对比度可以被设定,亮度和/或对比度的设定值基于标准图像调整,即设定值可以基于光学系统对标准图像的显示进行调整。本领域技术人员可以理解的,用户感知到的值非准确的客观值,但不影响相对性,用于清晰度分布的衡量时,可以通过基于标准图像而被设定和区分,从而得到分布。
在一些可选的实施方式中,步骤102包括:
预设的清晰度分界线条件为MTF值等于th1;其中,th1的取值不低于视场中心MTF值的0.6倍,或th1与MTF最大值的差值不低于MTF值分布中最大差值的50%;MTF值分布中最大差值,即该光学系统的视场中MTF最大值与MTF最小值之间的差值;
基于光学系统的视场清晰度分布,将MTF值大于th1的视场区域划分为中心区域,否则为边缘区域。
视场的边缘区域被认定为容易发生信息认知误差的区域。为划分边缘区域,确定比例是最有效的定义。优选地,确定方式示例性为:以MTF值为视场物理中心MTF值的0.8倍的点连线作为划分边界,进行中心区域和边缘区域的划分,即,th1的取值优选为视场中心MTF值的0.8倍。如果以设计值为基础,即各点的MTF值来自设计值,则将视场划分为中心区域和边缘区域时,可以取得清晰度分界线的函数表达,作为图像处理中的预设参数带入处理。如果以测试值为基础,即各点的MTF值来自实测值,可以拟合获得清晰度分界线的函数表达,或者构建一个二维矩阵形状表达方式作为图像蒙版或者滤波器。图2示出了根据光学系统清晰度数值划分所得到的两个视场区域,A表示中心区域,B表示边缘区域。需要说明的是,图2中的区域划分仅用于示意性说明,根据实际测量所得的MTF值划分,可能存在不规则的清晰度分界线,在处理时,可以以图像中每个像素点对应的MTF值作为判断该像素点是否属于边缘区域的标准,而不进行中心区域和边缘区域之间的清晰度分界线的处理。
在步骤104中,获取待显示的图像数据,并依据待显示的图像数据与视场的映射关系,对待显示的图像数据进行划分,分别获得对应于边缘区域的图像数据和对应于中心区域的图像数据。其中,在VR显示模式时,待显示的图像数据是由计算机模拟计算得到的虚拟图像,其与光学系统中的视场的映射关系,应保证所有图像均可映射到视场内。在AR显示模式时,待显示的图像数据是由传感器采集到图像经过计算机处理后得到的虚拟图像,其与视场的映射,亦应保证所有需要显示的图像数据均能够被完全映射到视场中。由于驱动数据最终是以阵列方式映射到像素的,比如按照分辨率的像素级驱动,待显示的图像数据与视场的映射关系以像素为单位进行映射,图像按照分辨率信息被对应至像素上。待显示的图像数据与视场的映射关系也可能会按照块划分,以分区为单位,这样最小区域就不是像素。在此不对虚拟图像与视场的映射关系及映射方式进行限制。
在一些可选的实施方式中,步骤106中,判断是否有待增强目标处于边缘区域内,包括:
获取预设的待增强目标类型及比例阈值;
在所述边缘区域内查找目标;
若查找到目标,判断目标类型是否属于预设的待增强目标类型,是则执行下一步骤,否则继续查找直至查找完所述边缘区域;
计算查找到的目标处于所述边缘区域内的面积占该目标自身总面积的比例值;
若该比例值大于预设的比例阈值,则判定该目标为待增强目标,否则继续查找直至查找完所述边缘区域;其中,所述预设的比例阈值根据所述待增强目标类型进行设定,不同待增强目标类型对应的比例阈值可以相同也可以不同。进一步地,预设的比例阈值可根据待增强目标类型,和/或待增强目标类型与显示场景的相关性进行设定,针对不同的待增强目标,所设定的比例阈值可以相同也可以不同。
其中,在边缘区域内查找目标包括:
A、将边缘区域分为边角区和非边角区;其中,非边角区的面积大于边角区。
B、对边角区对应的图像数据和非边角区对应的图像数据,采用不同的识别算法,查找是否存在目标;不同的识别算法对应不同的识别速度和识别精度;其中,对边角区所采用的识别算法的识别精度高于对非边角区所采用的识别算法的识别精度。优选地,在保证非边角区具有一般识别精度的前提下,可采用快速识别算法对非边角区进行识别,从而提高识别效率。
例如,对于在边缘区域识别文本,在边角区可以使用基于尺度空间算法(SpeededUp Robust Features,SURF),在非边角区可以使用最大稳定极值区域算法(MaximallyStable Extremal Region,MSER),从而兼顾整体识别的速度和精度。
具体来说,将边缘区域分为边角区和非边角区,可以依据像素点至视场中心的距离进行划分,也可以依据预设的第二清晰度分界线条件进行划分,例如,预设的第二清晰度分界线条件为MTF值等于th2;其中,th2的取值不高于视场中心MTF值的0.4倍,或th2与MTF最大值的差值不高于MTF值分布中最大差值的30%。
该实施方式中,通过将边缘区域分为边角区和非边角区,进而识别所有边缘区域内的信息,判断是否有需要增强的待显示内容,其中边角区的面积小于非边角区,对边角区和非边角区采用不同的识别方式和/或识别精度,边角区的识别精度和判断精度高于非边角区,能够减轻数据处理的负担,在保证识别效果的前提下提高数据处理速度。查找目标及查找到后判断目标类型,本发明对图像识别方法不做进一步的具体限定,任何已有的或未来成为可适用的图像识别方法均可被采用以得到上述所需的识别结果。
如图3和图4所示的示例,当查找到的目标部分位于边缘区域而部分位于中心区域,可判断面积比例,即目标处于边缘区域内的面积占其自身总面积的比例,比例偏小,小于预设的比例阈值(如30%),例如图3和图4中的心形对象,则认为无需增强;比例超过预设的比例阈值,例如图3和图4中的星形对象、文字对象,则认为该目标有进行增强处理的必要。
需要说明的是,对于不同的目标类型,结合显示场景,可相应设定不同的比例阈值,进而提高该方法对于部分特殊目标类型的敏感性。例如,对于消防场景,预设待增强目标类型为人形生命体及着火点,其中,人形生命体的比例阈值明显低于着火点的比例阈值,即对于人形生命体,即使只有少量的图像位于边缘区域也需进行增强处理。
在一些可选的实施方式中,步骤108中,对待增强目标所占区域的图像进行相应的增强处理,包括:
对待增强目标所占区域的图像进行放大、锐化、位移、调色、调亮、显示轮廓、闪烁提示、反向畸变处理中的一种或多种操作。
现有技术中的反向畸变处理、提高锐度(即锐化)、突出显示图像的边缘(即显示轮廓)、色度改变提升对比度(即调色)和亮度增加(即调亮)等方式,均可用于实现图像增强。但这样的技术在增强的同时,也倾向于增加图像噪声和混叠伪像,因此,本发明只对需要增强的图像像素实施增强处理,避免引入噪声。
在一些可选的实施方式中,待增强目标的类型可包括人脸、人形、文字、数字、UI图标、着火点、漏水点、武器中的一种或多种。
本发明提供的图像数据处理方法中,待增强目标的类型可根据实际需要进行定义,例如,对于街景浏览的场景,待增强目标类型可设定为文字、数字,用以识别地名、店铺名称、车牌号等;对于消防训练的场景,待增强目标类型可以设定为着火点、人形或人脸(属性判断即可,不需要识别出人脸的身份)等。其中,人脸、文字、数字、UI图标可能含有重点信息,而人形、着火点、漏水点、武器等目标对象则一般认为是高敏感性的,对于高敏感性的目标,可相应地减少预设的比例阈值,并设置特殊的增强方式,以便观看者及时获取到高敏感性的信息。
进一步地,步骤108具体可包括:
当待增强目标的目标类型为人脸,增强处理包括但不限于对目标区域显示轮廓、局部放大和位移至中心;该方式能够便于观看者确定人脸的存在与识别人脸信息;
当待增强目标的目标类型为文字或数字,增强处理包括但不限于对目标区域整体放大、锐化、位移、调色和调亮;该方式能够便于观看者观看完整的文字或数字信息;
当待增强目标的目标类型为UI图标,增强处理包括但不限于对目标区域放大或锐化;需要注意的是,对于可能存在指示性的UI图标,直接用放大或者锐化作为增强方式,不使用位移至中心的方式,避免破坏整体的UI图标;
当待增强目标的目标类型为着火点、漏水点或武器,增强处理包括但不限于整体放大和位移至中心的方式。
通过对边缘区域的待增强目标进行增强显示处理,可以提高人眼对待增强目标的识别度,以免产生信息认知误差,漏掉一些重要的信息。
优选地,对于步骤108,将增强处理后的图像数据映射至显示屏,包括:
将增强处理后的图像数据与待显示的图像数据融合后映射至显示屏进行显示,即,使用增强处理后的图像数据替代待显示的图像数据中的原始数据后进行显示;
或者,将增强处理后的图像数据与待显示的图像数据分别映射至显示屏,用于在对待显示的图像数据进行显示之后,对增强处理后的图像数据进行插帧显示,且插帧显示时间长度不少于引起人眼识别的时间长度。
例如,当对待增强目标所占区域的图像进行闪烁提示时,根据帧率的不同,采取插帧的方式,以确保闪烁提示大于1/24s而被观察者看到。
本发明针对由光学系统本身引起的、始终客观存在不可能消除的清晰度差异进行增强显示,不为改善显示像源本身(即待显示的图像数据)导致的显示不清楚。
特别地,在本发明一些优选的实施方式中,还提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一实施方式中所述图像数据处理方法的步骤。处理器选自中央处理器CPU或承担与图像处理有关的处理器中的任一,诸如GPU、边缘处理器等。
上述图像数据处理方法可以完整的实现在独立的显示驱动芯片(DDIC)上,即上述处理器是光学系统中的显示驱动芯片。如图5所示,显示驱动芯片包括接收视频数据接口(MOPI RX)、帧缓存器(Frame Buffer)、数据处理模块和显示模块,接收视频数据接口用于接收下一帧待显示图像数据;帧缓存器用于缓存下一帧待显示图像;数据处理模块用于对待显示图像数据进行处理;显示模块用于驱动显示器执行显示步骤。执行时,将接收视频数据接口接收到的待显示的图像数据先存储于帧缓存器中,由帧缓冲器转至数据处理模块,然后,经过数据处理模块对待显示的图像数据进行如上述图像数据处理方法所述的处理步骤后,更新待显示的图像数据,显示模块用于驱动显示屏执行最终的显示步骤。
本发明实施方式提供的图像数据处理方法还可以以主控芯片为核心实现,即上述处理器是主控芯片,主控芯片可以是设置在头戴显示设备中的主控芯片,也可以是与头戴显示设备相连的外部设备的主控芯片。主控芯片用于与显示驱动芯片连接;主控芯片用于对待显示图像数据进行处理,并把图像数据映射到显示驱动芯片,显示驱动芯片执行显示步骤。执行时,在主控芯片下一条指令为要把待显示的图像数据发送到指定的光学系统的情况下,执行上述图像数据处理方法,判断这个图像中是否有需要增强处理的信息,进行相应的处理后,再映射至显示驱动芯片,显示驱动芯片接收到图像数据之后执行最终的显示步骤,将映射实现为在视场中的图像显示。
在本发明另一些优选的实施方式中,还提供了一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一实施方式中所述图像数据处理方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述图像数据处理方法实施例的流程,在此不再重复说明。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种图像数据处理方法,其特征在于,包括如下步骤:
获取近眼显示系统中的光学系统的视场清晰度分布;
基于光学系统的视场清晰度分布和预设的清晰度分界线条件,将视场划分为中心区域和边缘区域;
获取待显示的图像数据,并依据待显示的图像数据与视场的映射关系,对待显示的图像数据进行划分,分别获得对应于边缘区域的图像数据和对应于中心区域的图像数据;
识别对应于边缘区域的图像数据,判断是否有待增强目标处于所述边缘区域内;
若判断结果为有,则基于所述待增强目标的类型,对所述待增强目标所占区域的图像数据进行相应的增强处理,得到增强处理后的图像数据,并将增强处理后的图像数据映射至显示屏;
若判断结果为无,则直接将待显示图像数据映射至显示屏。
2.根据权利要求1所述的图像数据处理方法,其特征在于:
确定光学系统视场清晰度分布的步骤包括:
基于多点测量,获得MTF实测物理值,或
引用MTF光学设计值,或
选自分辨率、亮度、对比度中的任一项作为指标,进行评价而得。
3.根据权利要求1所述的图像数据处理方法,其特征在于:
确定光学系统视场清晰度分布的步骤包括:
基于用户感知的设定值,确定光学系统视场清晰度分布;其中用户感知的是亮度和/或对比度,亮度和/或对比度的设定值基于标准图像调整。
4.根据权利要求2所述的图像数据处理方法,其特征在于:
所述基于光学系统的视场清晰度分布和预设的清晰度分界线条件,将视场划分为中心区域和边缘区域,包括:
预设的清晰度分界线条件为MTF值等于th1;其中,th1的取值不低于视场中心MTF值的0.6倍,或th1与MTF最大值的差值不低于MTF值分布中最大差值的50%;
基于光学系统的视场清晰度分布,将MTF值大于th1的视场区域划分为中心区域,MTF值小于等于th1的视场区域划分为边缘区域。
5.根据权利要求1所述的图像数据处理方法,其特征在于:
所述判断是否有待增强目标处于所述边缘区域内,包括:
获取预设的待增强目标类型及比例阈值;
在所述边缘区域内查找目标;
若查找到目标,判断目标类型是否属于预设的待增强目标类型,是则执行下一步骤,否则继续查找直至查找完所述边缘区域;
计算查找到的目标处于所述边缘区域内的面积占该目标自身总面积的比例值;
若比例值大于预设的比例阈值,则判定该目标为待增强目标,否则继续查找直至查找完所述边缘区域;其中,所述预设的比例阈值根据所述待增强目标类型进行设定,不同待增强目标类型对应的比例阈值可以相同也可以不同。
6.根据权利要求5所述的图像数据处理方法,其特征在于:
在所述边缘区域内查找目标包括:
将所述边缘区域分为边角区和非边角区;其中,所述非边角区的面积大于所述边角区;
对所述边角区对应的图像数据和所述非边角区对应的图像数据,采用不同的识别算法,查找是否存在目标;不同识别算法对应于不同的识别速度和识别精度;其中,对所述边角区采用的识别算法的识别精度高于对所述非边角区采用的识别算法的识别精度。
7.根据权利要求1所述的图像数据处理方法,其特征在于:
所述对所述待增强目标所占区域的图像数据进行相应的增强处理,包括:
对所述待增强目标所占区域的图像数据进行放大、锐化、位移、调色、调亮、显示轮廓、闪烁提示、反向畸变处理中的一种或多种操作。
8.根据权利要求1所述的图像数据处理方法,其特征在于:
待增强目标的类型包括人脸、人形、文字、数字、UI图标、着火点、漏水点、武器中的一种或多种。
9.根据权利要求1所述的图像数据处理方法,其特征在于:
所述将增强处理后的图像数据映射至显示屏,包括:
将增强处理后的图像数据与待显示的图像数据融合后映射至显示屏;或
将增强处理后的图像数据与待显示的图像数据分别映射至显示屏,用于在对待显示的图像数据进行显示之后,对增强处理后的图像数据进行插帧显示,且插帧显示时间长度不少于引起人眼识别的时间长度。
10.根据权利要求1所述的图像数据处理方法,其特征在于:
所述待显示的图像数据能够被完全映射至视场中。
11.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述图像数据处理方法的步骤。
12.根据权利要求11所述的电子设备,其特征在于:所述处理器是光学系统中的显示驱动芯片;
所述显示驱动芯片包括接收视频数据接口、帧缓存器、数据处理模块和显示模块;所述接收视频数据接口用于接收下一帧待显示图像数据;所述帧缓存器用于缓存下一帧待显示图像;所述数据处理模块用于对待显示图像数据进行处理;所述显示模块用于驱动显示器执行显示步骤。
13.根据权利要求11所述的电子设备,其特征在于:所述处理器是主控芯片;所述主控芯片用于与显示驱动芯片连接;所述主控芯片用于对待显示图像数据进行处理,并把图像数据映射到显示驱动芯片,显示驱动芯片执行显示步骤。
14.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10中任一项所述图像数据处理方法的步骤。
CN202111157442.3A 2021-09-30 2021-09-30 图像数据处理方法、电子设备及存储介质 Active CN113726981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111157442.3A CN113726981B (zh) 2021-09-30 2021-09-30 图像数据处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111157442.3A CN113726981B (zh) 2021-09-30 2021-09-30 图像数据处理方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113726981A true CN113726981A (zh) 2021-11-30
CN113726981B CN113726981B (zh) 2022-05-17

Family

ID=78685422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111157442.3A Active CN113726981B (zh) 2021-09-30 2021-09-30 图像数据处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113726981B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330803A (zh) * 2022-10-17 2022-11-11 菲特(天津)检测技术有限公司 一种表面缺陷数据增强方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157253A (zh) * 2015-04-17 2016-11-23 瑞昱半导体股份有限公司 图像处理装置与图像处理方法
CN106960436A (zh) * 2017-03-20 2017-07-18 哈尔滨工业大学 一种光学遥感图像处理性能评估方法
CN109600604A (zh) * 2018-11-09 2019-04-09 歌尔股份有限公司 对比度测试方法、装置和计算机可读存储介质
CN110189714A (zh) * 2019-06-25 2019-08-30 京东方科技集团股份有限公司 具有区域调节背光的显示方法及装置、电子设备、介质
CN110766639A (zh) * 2019-10-30 2020-02-07 北京迈格威科技有限公司 图像增强方法、装置、移动设备及计算机可读存储介质
CN111199518A (zh) * 2018-11-16 2020-05-26 深圳市中兴微电子技术有限公司 Vr设备的图像呈现方法、装置、设备和计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157253A (zh) * 2015-04-17 2016-11-23 瑞昱半导体股份有限公司 图像处理装置与图像处理方法
CN106960436A (zh) * 2017-03-20 2017-07-18 哈尔滨工业大学 一种光学遥感图像处理性能评估方法
CN109600604A (zh) * 2018-11-09 2019-04-09 歌尔股份有限公司 对比度测试方法、装置和计算机可读存储介质
CN111199518A (zh) * 2018-11-16 2020-05-26 深圳市中兴微电子技术有限公司 Vr设备的图像呈现方法、装置、设备和计算机存储介质
CN110189714A (zh) * 2019-06-25 2019-08-30 京东方科技集团股份有限公司 具有区域调节背光的显示方法及装置、电子设备、介质
CN110766639A (zh) * 2019-10-30 2020-02-07 北京迈格威科技有限公司 图像增强方法、装置、移动设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330803A (zh) * 2022-10-17 2022-11-11 菲特(天津)检测技术有限公司 一种表面缺陷数据增强方法、装置、电子设备及存储介质
CN115330803B (zh) * 2022-10-17 2023-01-24 菲特(天津)检测技术有限公司 一种表面缺陷数据增强方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113726981B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US10802287B2 (en) Dynamic render time targeting based on eye tracking
CN109448660B (zh) 改善显示视角色偏的方法、设备及存储介质
US20130120390A1 (en) Systems and methods for rendering a display to compensate for a viewer's visual impairment
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
CN104063846A (zh) 用于基于检测到的信息来处理图像的方法和装置
US20220269340A1 (en) Display apparatuses and methods incorporating foveated rendering
CN113726981B (zh) 图像数据处理方法、电子设备及存储介质
Ahn et al. Real-time adjustment of contrast saliency for improved information visibility in mobile augmented reality
CN113053324A (zh) 背光控制方法、装置、设备、系统及存储介质
US10209523B1 (en) Apparatus, system, and method for blur reduction for head-mounted displays
CN106095375B (zh) 显示控制方法和装置
US10930244B2 (en) Data processing systems
US20210233292A1 (en) Image generating apparatus, and image generating method and program
CN116524877A (zh) 车载屏幕亮度调节方法、装置、电子设备和存储介质
CN111857336B (zh) 头戴式设备及其渲染方法、存储介质
US11748956B2 (en) Device and method for foveated rendering
US20230244307A1 (en) Visual assistance
CN112114659B (zh) 用于确定用户的精细的注视点的方法和系统
Hamilton-Fletcher et al. Accuracy and Usability of Smartphone-Based Distance Estimation Approaches for Visual Assistive Technology Development
CN111868816B (zh) 显示优化方法和显示装置
US20230320582A1 (en) Visual function examination device, spectacle lens presentation system, printed matter, visual function examination method, spectacle lens presentation method, and computer-readable medium
US12094378B2 (en) Head-mountable display (HMD) image and foveal region brightness computation
JP2003150289A (ja) 画像表示方法および画像表示システムならびに画像表示処理プログラム
CN114125344B (zh) 视频处理装置及方法、监视器设备、计算机设备、介质
CN109726603B (zh) 图像显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant