CN112967193A - 图像校准方法及装置、计算机可读介质和电子设备 - Google Patents

图像校准方法及装置、计算机可读介质和电子设备 Download PDF

Info

Publication number
CN112967193A
CN112967193A CN202110232046.6A CN202110232046A CN112967193A CN 112967193 A CN112967193 A CN 112967193A CN 202110232046 A CN202110232046 A CN 202110232046A CN 112967193 A CN112967193 A CN 112967193A
Authority
CN
China
Prior art keywords
image
display
calibration
data
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110232046.6A
Other languages
English (en)
Other versions
CN112967193B (zh
Inventor
闫鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110232046.6A priority Critical patent/CN112967193B/zh
Publication of CN112967193A publication Critical patent/CN112967193A/zh
Application granted granted Critical
Publication of CN112967193B publication Critical patent/CN112967193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本公开提供一种图像校准方法及装置、计算机可读介质和电子设备,涉及图像处理技术领域。该方法包括:获取测试图像数据,并将测试图像数据分别传输到第一显示区域和所述第二显示区域进行显示;采集第一显示区域中显示的第一显示图像和第二显示区域中显示的第二显示图像;对第一显示图像和第二显示图像进行校准处理,生成校准数据;存储校准数据,以通过校准数据对需要在第一显示区域和第二显示区域中显示的待显示图像进行校准。本公开能够快速对显示设备进行图像校准,减少维护成本,提高校准效率,保证显示设备中待显示图像的图像一致性。

Description

图像校准方法及装置、计算机可读介质和电子设备
技术领域
本公开涉及图像处理技术领域,具体涉及一种图像校准方法、图像校准装置、计算机可读介质和电子设备。
背景技术
伴随着人们生活水平的不断提高,增强现实技术(Augmented Reality,AR)以及应用增强现实技术的各类型的显示设备(例如,分体式AR眼镜)的应用越来越广泛。由于在呈现相关的增强现实场景时,需要在用户眼中构成较为真实的三维场景,因此应用增强现实技术的显示设备需要设置至少两个显示区域。但是,由于在两个显示区域显示内容需要不同的投影装置,在两个显示区域在显示相同内容时,可能出现色彩或者亮度等数据不一致的问题,因此,需要对两个显示区域显示的图像数据进行校准。
目前,相关的校准技术方案中,需要在显示设备出厂前,对不同批次、不同工艺的光机制作相应的掩模图(Mask),然后将该掩模图,存储到显示设备的系统内,系统在显示图像时,对照掩模图,对左右光机的颜色进行修正,从而保证左右显示的图像一致。但是,这种方案中,无法针对每个光机制作掩模图,因此无法保证所有光机均适用制作的掩模图,导致显示图像校准效果差;同时,在出厂前做一次颜色校准,随着光机使用时间的推移,可能使掩模图不再适用,并且在需要重新校准时,只能通过返厂维修,导致显示设备的维修成本高。
发明内容
本公开的目的在于提供一种图像校准方法、图像校准装置、计算机可读介质和电子设备,进而至少在一定程度上避免相关技术方案中显示设备对应显示图像校准效率低、校准效果差以及维修成本高的问题。
根据本公开的第一方面,提供一种图像校准方法,应用于显示设备,所述显示设备包括第一显示区域和第二显示区域,包括:
获取测试图像数据,并将所述测试图像数据分别传输到所述第一显示区域和所述第二显示区域进行显示;
采集所述第一显示区域中显示的第一显示图像和所述第二显示区域中显示的第二显示图像;
对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据;
存储所述校准数据,以通过所述校准数据对需要在所述第一显示区域和所述第二显示区域中显示的待显示图像进行校准。
根据本公开的第二方面,提供一种图像校准装置,包括:
测试图像显示模块,用于获取测试图像数据,并将所述测试图像数据分别传输到第一显示区域和第二显示区域进行显示;
显示图像采集模块,用于采集所述第一显示区域中显示的第一显示图像和所述第二显示区域中显示的第二显示图像;
校准数据生成模块,用于对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据;
校准数据存储模块,用于存储所述校准数据,以通过所述校准数据对需要在所述第一显示区域和所述第二显示区域中显示的待显示图像进行校准。
根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面,提供一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像校准方法,获取测试图像数据,并将测试图像数据分别传输到第一显示区域和第二显示区域进行显示;采集第一显示区域中显示的第一显示图像和第二显示区域中显示的第二显示图像;对第一显示图像和第二显示图像进行校准处理,生成校准数据;存储校准数据,以通过校准数据对需要在第一显示区域和第二显示区域中显示的待显示图像进行校准。一方面,采集测试图像数据在第一显示区域和第二显示区域上显示的第一显示图像和第二显示图像,然后对第一显示图像和第二显示图像进行校准处理,生成校准数据,这样,能够及时生成得到最新的校准数据,保证图像的校准效果以及校准数据的时效性;另一方面,用户可以通过智能手机或者显示设备快速采集到第一显示图像和第二显示图像,不需要将显示设备返厂维修,节省维修成本;再一方面,直接通过第一显示图像和第二显示图像进行图像校准,提升校准效率,同时,能够使得到的校准数据适配显示设备,进一步保证校准效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图;
图2示出了可以应用本公开实施例的一种电子设备的示意图;
图3示意性示出本公开示例性实施例中一种图像校准方法的流程图;
图4示意性示出本公开示例性实施例中一种实现图像色彩校准的流程图;
图5示意性示出本公开示例性实施例中一种获取图像对应的像素值的算法流程图;
图6示意性示出本公开示例性实施例中一种实现图像亮度校准的流程图;
图7示意性示出本公开示例性实施例中一种实现待显示图像校准的流程图;
图8示意性示出本公开示例性实施例中一种图像校准的场景流程图;
图9示意性示出本公开示例性实施例中图像校准装置的组成示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种图像校准方法及装置的示例性应用环境的系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
本公开实施例所提供的图像校准方法一般由终端设备101、102、103中执行,相应地,图像校准装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是,本公开实施例所提供的图像校准方法也可以由服务器105执行,相应的,图像校准装置也可以设置于服务器105中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,可以是用户通过终端设备101、102、103将测试图像上传至服务器105,服务器通过本公开实施例所提供的图像校准方法生成校准数据后,将校准数据传输给终端设备101、102、103等。
本公开的示例性实施方式提供一种用于实现图像校准方法的电子设备,其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行图像校准方法。
下面以图2中的移动终端200为例,对电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端200的结构限定。在另一些实施方式中,移动终端200也可以采用与图2不同的接口连接方式,或多种接口连接方式的组合。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus,USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器210来控制执行。
充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中,天线1和天线2用于发射和接收电磁波信号;移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案;调制解调处理器可以包括调制器和解调器;无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)等无线通信的解决方案。在一些实施例中,移动终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏290和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中,ISP用于处理摄像模组291反馈的数据;摄像模组291用于捕获静态图像或视频;数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号;视频编解码器用于对数字视频压缩或解压缩,移动终端200还可以支持一种或多种视频编解码器。
外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
深度传感器2801用于获取景物的深度信息。在一些实施例中,深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中,可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。
此外,还可以根据实际需要在传感器模块280中设置其他功能的传感器,例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。
移动终端200中还可包括其它提供辅助功能的设备。例如,按键294包括开机键,音量键等,用户可以通过按键输入,产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如,指示器292、马达293、SIM卡接口295等。
本示例实施例中首先提供了一种图像校准方法,下面以显示设备执行该方法为例,对本公开示例性实施方式的图像校准方法进行具体说明,其中,显示设备可以是分体式AR眼镜,分体式AR眼镜中的眼镜显示端和数据处理端(智能手机端)可以是分开使用的,眼镜显示端本身不具备运算能力,可以通过DP(Display Port)接口结合USB全功能线或其他技术与数据处理端相连接,数据处理端给眼镜显示端提供电池续航以及运算能力。
图3示出了本示例性实施方式中一种图像校准方法的流程,可以包括以下步骤S310至步骤S340:
在步骤S310中,获取测试图像数据,并将所述测试图像数据分别传输到所述第一显示区域和所述第二显示区域进行显示。
在一示例性实施例中,测试图像数据是指用于对显示设备的显示效果进行测试的图像数据,例如,测试图像数据可以是单色测试图像对应的图像数据,如单色测试图像可以是红色背景图像,红色背景图像中的所有像素值均为(255,0,0);测试图像数据也可以是全色测试图像对应的图像数据,如全色测试图像可以是预先拍摄或者设计的包含各种色彩像素值的风景图,当然,测试图像数据还可以是其他类型的用于对显示设备对应的光机的显示效果进行测试的数据,本示例实施例对此不做特殊限定。
第一显示区域和第二显示区域是指显示设备用于向用户呈现图像数据的区域,例如,第一显示区域和第二显示区域可以是分体式AR眼镜中用于呈现图像数据左显示镜片和右显示镜片,也可以是AR头显中用于呈现图像数据的左显示屏和右显示屏,本示例实施例对此不作特殊限定。
在步骤S320中,采集所述第一显示区域中显示的第一显示图像和所述第二显示区域中显示的第二显示图像。
在一示例性实施例中,第一显示图像是指显示设备第一显示区域对应的显示装置根据测试图像数据呈现在第一显示区域的图像,第二显示图像是指显示设备第二显示区域对应的显示装置根据测试图像数据呈现在第二显示区域的图像。理想情况下,同一测试图像数据在第一显示区域和第二显示区域中呈现的第一显示图像和第二显示图像对应的像素值应该是完全一致的,但是,由于显示设备中第一显示区域和第二显示区域对应的显示装置(如投影光机)不同,而不同显示装置对于相同的图像数据最终呈现的图像的真实色彩可能不一致,因此需要对不同显示区域对应的显示装置输出的图像进行校准。
举例而言,可以通过分体式AR眼镜中的眼镜显示端中的左显示区域和右显示区域显示测试图像数据对应的第一显示图像和第二显示图像,然后通过数据处理端(智能手机端)中配备的图像采集单元(如摄像头)拍摄采集眼镜显示端中的左显示区域和右显示区域显示测试图像数据对应的第一显示图像和第二显示图像,当然,此处仅是示意性举例说明,本示例实施例不以此为限。
在步骤S330中,对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据。
在一示例性实施例中,校准数据是指调整第一显示图像和第二显示图像的显示效果保持一致的数据,例如,校准数据可以是显示图像的各像素坐标处对应的标准像素值,以使第一显示图像和第二显示图像中在相同像素坐标处的像素值按照标准像素值进行调整,保证与校准数据一致;校准数据也可以是第一显示图像或者第二显示图像对应的像素值数据,可以通过第一显示图像(或者第二显示图像)对应的像素值数据,调整第二显示图像(或者第一显示图像)对应的像素值数据,使第一显示图像和第二显示图像中的像素值数据保持一致。当然,校准数据还可以是其他类型的调整第一显示图像和第二显示图像的显示效果保持一致的数据,本示例实施例对此不做特殊限定。
在步骤S340中,存储所述校准数据,以通过所述校准数据对需要在所述第一显示区域和所述第二显示区域中显示的待显示图像进行校准。
在一示例性实施例中,待显示图像是指在使用显示设备过程中需要在第一显示区域和第二显示区域显示的图像,例如待显示图像可以是处理器生成的增强现实场景对应的场景图像,也可以是待显示文本构成的文本图像,当然,待显示图像还可以是其他类型的需要在第一显示区域和第二显示区域显示的图像,如还可以是显示设备通过图像采集单元采集的当前场景中的图像,本示例实施例对此不做特殊限定。
需要说明的是,本示例实施例中的“第一”、“第二”仅用于区分不同的显示区域,以及不同的显示区域对应的显示图像或者不同显示图像对应的数据,并没有任何特殊含义,并不应对本示例实施例造成任何特殊限定。
下面,对步骤S310至步骤S340进行进一步的说明。
在一示例性实施例中,可以通过图4中步骤对第一显示图像和所述第二显示图像进行校准处理生成校准数据,参考图4所示,具体可以包括:
步骤S410,遍历所述第一显示图像和所述第二显示图像,确定所述第一显示图像和所述第二显示图像中的目标像素坐标处对应第一像素值和第二像素值;
步骤S420,根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行色彩校准处理,生成色彩校准数据。
其中,目标像素坐标是指第一显示图像和第二显示图像中显示的相同图像内容对应的像素坐标。
色彩校准数据是指调整第一显示图像和第二显示图像中的色彩保持一致的数据,例如,如果测试图像数据可以是测试图像在RGB颜色空间(RGB颜色空间是由红色通道R、绿色通道G、蓝色通道B组成的颜色模型)下对应的RGB像素值,则色彩校准数据可以是显示图像的各像素坐标处对应的标准RGB像素值,以使第一显示图像和第二显示图像中在相同像素坐标处的RGB像素值按照标准RGB像素值进行调整,保证两个显示区域中的图像的色彩值保持一致;当然,如果测试图像数据可以是测试图像在HSV颜色空间(HSV颜色空间是由色调Hue,饱和度Saturation,明度Value组成的颜色模型)下对应的HSV像素值,则色彩校准数据可以是显示图像的各像素坐标处对应的标准HSV像素值,以使第一显示图像和第二显示图像中在相同像素坐标处的HSV像素值按照标准HSV像素值进行调整保证两个显示区域中的图像的色彩值保持一致;当然,色彩校准数据还可以是其他颜色空间下对应标准色彩像素值,本示例实施例对此不做特殊限定。
图5示意性示出本公开示例性实施例中一种获取图像对应的像素值的算法流程图。
参考图5所示,步骤S501,读取图像,如读取测试图像、第一显示图像或者第二显示图像;
步骤S502,获取图像对应的高度和宽度,例如,可以通过图像对应的图像属性获取该图像对应的高度和宽度;
步骤S503,根据图像对应的高度和宽度设置行变量x=0以及设置列变量y=0;
步骤S504,判断列变量y是否小于高度,如果列变量y小于高度,则执行步骤S505,否则执行步骤S509;
步骤S505,判断行变量x是否小于宽度,如果行变量x小于宽度,则执行步骤S506,否则执行步骤S508;
步骤S506,通过系统函数,如API getPiexl()方法读取图像中对应像素坐标处的像素值,即getPiexl(x,y);
步骤S507,行变量自增1,即x=x+1;
步骤S508,列变量自增1,即y=y+1;
步骤S509,保存图像中每个像素坐标处对应的像素值,并结束流程。
具体的,可以对第一像素值和第二像素值进行对比,将两者中数值较小的像素值作为第一显示图像和第二显示图像的校准数据。
举例而言,测试图像数据可以是单色测试图像对应的图像数据,如单色测试图像可以是红色背景图像,红色背景图像中的所有像素值均为标准的红色色彩RGB值(255,0,0)。由于显示设备中的显示投影装置(如分体式AR眼镜对应的眼镜显示端的左右投影光机)的工艺以及生产批次的不同,可能导致第一显示区域中呈现的第一显示图像在目标像素坐标处的像素值是(222,0,0),第二显示区域中呈现的第二显示图像在目标像素坐标处的像素值是(220,0,0)。
在对图像进行校准时,由于显示设备中的显示投影装置(如分体式AR眼镜对应的眼镜显示端的左右投影光机)各种可能现实场景中的原因,导致对于RGB像素值未能达到标准的像素值时,只能按照就低原则(取两者中较低的数值)进行校准。当然,也可以采用取两者中较高的数值进行校准,还可以是根据两者的平均值进行校准,本示例实施例对此不做特殊限定。例如,对于第一显示区域中呈现的第一显示图像在目标像素坐标处的像素值是(222,0,0),第二显示区域中呈现的第二显示图像在目标像素坐标处的像素值是(220,0,0),则可以将像素值(220,0,0)作为目标像素坐标处的校准数据,通过对每个像素坐标处的像素值进行比对,则可以得到所有像素坐标处对应的校准数据。
在一示例性实施例中,可以对第一显示图像和第二显示图像对应的颜色空间进行转换,得到目标颜色空间下的第一显示图像以及第二显示图像。
一般情况下,显示图像对应的颜色空间为RGB颜色空间,RGB颜色空间能够较好地表征显示图像中各像素对应的色彩值。但是,由于RGB颜色空间下各通道(如红色通道R、绿色通道G、蓝色通道B)的关联性,导致在对显示图像的亮度进行分析时较为困难,因此在对第一显示图像和第二显示图像的亮度进行校准之前,可以将第一显示图像和第二显示图像对应的颜色空间转换为目标颜色空间。
其中,目标颜色空间是指能够有效表征图像亮度的颜色空间,例如,目标颜色空间可以是Lab/L*a*b颜色空间(Lab颜色空间是由亮度通道L、a颜色通道和b颜色通道构成的颜色模型),也可以是YUV颜色空间(YUV颜色空间是由明亮度通道Y、色度通道U和浓度通道V构成的颜色模型),当然,还可以是其他的非线性亮度/色度型(Luma/Chroma)颜色空间,如L*u*v颜色空间,本示例实施例对此不做特殊限定。
具体的,还可以通过图6中的步骤对第一显示图像和所述第二显示图像进行校准处理生成校准数据,参考图6所示,具体可以包括:
步骤S610,遍历目标颜色空间下的第一显示图像以及第二显示图像,确定所述第一显示图像和所述第二显示图像中的目标像素坐标处对应第一亮度值和第二亮度值;
步骤S620,根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行亮度校准处理,生成亮度校准数据。
其中,第一亮度值是指第一显示图像在目标颜色空间下的亮度通道对应的数值,第二亮度值是指第二显示图像在目标颜色空间下的亮度通道对应的数值,例如,目标颜色空间可以是Lab颜色空间,第一亮度值和第二亮度值可以是第一显示图像和第二显示图像分别在Lab颜色空间下的Y通道对应的数值,当然,此处仅是示意性举例说明,本示例实施例对此不做特殊限定。
亮度校准数据是指调整第一显示图像和第二显示图像中的亮度保持一致的数据,例如,如果测试图像数据可以是测试图像在Lab颜色空间下对应的Y通道亮度值,则亮度校准数据可以是显示图像的各像素坐标处对应的标准亮度值,以使第一显示图像和第二显示图像中在相同像素坐标处的亮度值按照标准亮度值进行调整,保证两个显示区域中的图像的亮度值保持一致。
亮度校准数据的生成也可以按照就低原则(取第一显示图像和第二显示图像中在相同像素坐标处的数值较小的亮度值作为标准亮度值),获取所有像素坐标处的标准亮度值,形成亮度校准数据。
在一示例性实施例中,可以通过图7中的步骤根据待显示图像数据和存储的校准数据图像校准,参考图7所示,具体可以包括:
步骤S710,获取待显示图像数据和存储的校准数据;
步骤S720,通过所述校准数据对所述待显示图像数据进行图像校准,生成第一图像数据和第二图像数据;
步骤S730,将所述第一图像数据和所述第二图像数据分别传输到所述第一显示区域和所述第二显示区域以显示校准后的待显示图像。
其中,待显示图像数据是指在使用显示设备过程中需要在第一显示区域和第二显示区域显示的图像对应的数据,例如,待显示图像可以是处理器生成的增强现实场景对应的场景图像,则待显示图像数据可以是该场景图像在RGB颜色空间下对应的RGB像素值,也可以是该场景图像在Lab颜色空间下对应的Lab像素值;当然,待显示图像也可以是待显示文本构成的文本图像,待显示图像数据可以是该文本图像在RGB颜色空间下对应的RGB像素值,也可以是该场景图像在Lab颜色空间下对应的Lab像素值,本示例实施例对此不做特殊限定。
举例而言,待显示图像数据在目标像素坐标处可以为(255,0,0),而校准数据为(220,0,0),因此,得到第一图像数据为(220,0,0)以及第二图像数据为(220,0,0),在将第一图像数据和第二图像数据分别传输到第一显示区域和第二显示区域显示后,第一显示区域和所述第二显示区域中呈现的图像的真实颜色对应的值均为(220,0,0),有效避免了显示设备中第一显示区域和第二显示区域由于对应的显示装置不同而导致的显示图像(色彩或者亮度)不一致的问题,保证第一显示区域和第二显示区域显示的图像(色彩或者亮度)显示一致,提升显示设备的显示效果。
在一示例性实施例中,可以将校准数据对待显示图像数据发送到开放式图形库接口,以使开放式图形库接口根据校准数据对待显示图像数据进行图像校准。
其中,开放式图形库接口(OpenGL)是指用于渲染2D、3D矢量图形的跨语言、跨平台的应用程序编程接口(Application Programming Interface,API)。本示例实施例中将颜色校准功能设置到系统的框架层Framework,可以通过OpenGL ES技术与存储的校准数据,通过可编程管道,直接作用GPU(Graphics Processing Unit,图像处理器)显存,从而达到待显示图像数据对应的图像色彩或者亮度值的效果,不需要第一显示区域以及第二显示区域对应的显示模块单独调用具有颜色校准功能的模块进行图像校准,有效提升图像校准的效率,减少图像计算渲染时间,提升系统工作效率。
图8示意性示出本公开示例性实施例中一种图像校准的场景流程图。
参考图8所示,步骤S810,获取测试图像数据801,如测试图像数据801可以是红色背景测试图像,红色背景测试图像对应的图像像素值均为(255,0,0),并将测试图像数据传输到显示设备如分体式AR眼镜对应的眼镜显示端802中的第一显示区域803以及第二显示区域804进行显示;
步骤S820,通过显示设备如分体式AR眼镜对应的数据处理端(智能手机端)805,拍摄采集第一显示区域803对应的第一显示图像806,检测分析第一显示图像806得到其对应的真实显示的像素值为(222,0,0)、(240,0,0)、(232,0,0)和(250,0,0);
步骤S830,通过显示设备如分体式AR眼镜对应的数据处理端(智能手机端)805,拍摄采集第二显示区域804对应的第二显示图像807,检测分析第二显示图像807得到其对应的真实显示的像素值为(220,0,0)、(235,0,0)、(210,0,0)和(232,0,0);
步骤S840,对第一显示图像806和第二显示图像807进行比对,将相同的像素坐标处两者中较小的数值作为标准像素值,并根据所有相同的像素坐标处的标准像素值构成校准数据808,如最终得到的校准数据可以是(220,0,0)、(235,0,0)、(210,0,0)和(232,0,0),当然,此处仅是示意性举例说明,并不应对本示例实施例造成任何特殊限定。
综上所述,本示例性实施方式中,获取测试图像数据,并将测试图像数据分别传输到第一显示区域和第二显示区域进行显示;采集第一显示区域中显示的第一显示图像和第二显示区域中显示的第二显示图像;对第一显示图像和第二显示图像进行校准处理,生成校准数据;存储校准数据,以通过校准数据对需要在第一显示区域和第二显示区域中显示的待显示图像进行校准。一方面,采集测试图像数据在第一显示区域和第二显示区域上显示的第一显示图像和第二显示图像,然后对第一显示图像和第二显示图像进行校准处理,生成校准数据,这样,能够及时生成得到最新的校准数据,保证图像的校准效果以及校准数据的时效性;另一方面,用户可以通过智能手机或者显示设备快速采集到第一显示图像和第二显示图像,不需要将显示设备返厂维修,节省维修成本;再一方面,直接通过第一显示图像和第二显示图像进行图像校准,提升校准效率,同时,能够使得到的校准数据适配显示设备,进一步保证校准效果。
需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
进一步的,参考图9所示,本示例的实施方式中还提供一种图像校准装置900,可以包括测试图像显示模块910、显示图像采集模块920、校准数据生成模块930和校准数据存储模块940。其中:
测试图像显示模块910用于获取测试图像数据,并将所述测试图像数据分别传输到第一显示区域和第二显示区域进行显示;
显示图像采集模块920用于采集所述第一显示区域中显示的第一显示图像和所述第二显示区域中显示的第二显示图像;
校准数据生成模块930用于对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据;
校准数据存储模块940用于存储所述校准数据,以通过所述校准数据对需要在所述第一显示区域和所述第二显示区域中显示的待显示图像进行校准。
在一示例性实施例中,校准数据生成模块930还可以包括:
像素值确定单元,用于遍历所述第一显示图像和所述第二显示图像,确定所述第一显示图像和所述第二显示图像中的目标像素坐标处对应第一像素值和第二像素值;
色彩校准单元,用于根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行色彩校准处理,生成色彩校准数据。
在一示例性实施例中,色彩校准单元还可以用于:
对所述第一像素值和所述第二像素值进行对比,将两者中数值较小的像素值作为所述第一显示图像和所述第二显示图像的校准数据。
在一示例性实施例中,图像校准装置900还可以包括颜色空间转换单元,颜色空间转换单元可以用于:
对所述第一显示图像和所述第二显示图像对应的颜色空间进行转换,得到目标颜色空间下的第一显示图像以及第二显示图像;其中,所述目标颜色空间包括亮度通道。
在一示例性实施例中,校准数据生成模块930还可以包括:
亮度值确定单元,用于遍历目标颜色空间下的第一显示图像以及第二显示图像,确定所述第一显示图像和所述第二显示图像中的目标像素坐标处对应第一亮度值和第二亮度值;
亮度校准单元,用于根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行亮度校准处理,生成亮度校准数据。
在一示例性实施例中,图像校准装置900还可以用于:
获取待显示图像数据和存储的校准数据;
通过所述校准数据对所述待显示图像数据进行图像校准,生成第一图像数据和第二图像数据;
将所述第一图像数据和所述第二图像数据分别传输到所述第一显示区域和所述第二显示区域以显示校准后的待显示图像。
在一示例性实施例中,图像校准装置900还可以用于:
将所述校准数据对所述待显示图像数据发送到开放式图形库接口,以使所述开放式图形库接口根据校准数据对所述待显示图像数据进行图像校准。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤,例如可以执行图3至图8中任意一个或多个步骤。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
此外,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像校准方法,其特征在于,应用于显示设备,所述显示设备包括第一显示区域和第二显示区域,所述方法包括:
获取测试图像数据,并将所述测试图像数据分别传输到所述第一显示区域和所述第二显示区域进行显示;
采集所述第一显示区域中显示的第一显示图像和所述第二显示区域中显示的第二显示图像;
对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据;
存储所述校准数据,以通过所述校准数据对需要在所述第一显示区域和所述第二显示区域中显示的待显示图像进行校准。
2.根据权利要求1所述的方法,其特征在于,所述校准数据包括色彩校准数据;所述对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据,包括:
遍历所述第一显示图像和所述第二显示图像,确定所述第一显示图像和所述第二显示图像中的目标像素坐标处对应第一像素值和第二像素值;
根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行色彩校准处理,生成色彩校准数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据,包括:
对所述第一像素值和所述第二像素值进行对比,将两者中数值较小的像素值作为所述第一显示图像和所述第二显示图像的校准数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述第一显示图像和所述第二显示图像对应的颜色空间进行转换,得到目标颜色空间下的第一显示图像以及第二显示图像;其中,所述目标颜色空间包括亮度通道。
5.根据权利要求4所述的方法,其特征在于,所述校准数据包括亮度校准数据;所述对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据,包括:
遍历目标颜色空间下的第一显示图像以及第二显示图像,确定所述第一显示图像和所述第二显示图像中的目标像素坐标处对应第一亮度值和第二亮度值;
根据所述第一像素值和所述第二像素值对所述第一显示图像和所述第二显示图像进行亮度校准处理,生成亮度校准数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取待显示图像数据和存储的校准数据;
通过所述校准数据对所述待显示图像数据进行图像校准,生成第一图像数据和第二图像数据;
将所述第一图像数据和所述第二图像数据分别传输到所述第一显示区域和所述第二显示区域以显示校准后的待显示图像。
7.根据权利要求6所述的方法,其特征在于,所述通过所述校准数据对所述待显示图像数据进行图像校准,包括:
将所述校准数据对所述待显示图像数据发送到开放式图形库接口,以使所述开放式图形库接口根据校准数据对所述待显示图像数据进行图像校准。
8.一种图像校准装置,其特征在于,包括:
测试图像显示模块,用于获取测试图像数据,并将所述测试图像数据分别传输到第一显示区域和第二显示区域进行显示;
显示图像采集模块,用于采集所述第一显示区域中显示的第一显示图像和所述第二显示区域中显示的第二显示图像;
校准数据生成模块,用于对所述第一显示图像和所述第二显示图像进行校准处理,生成校准数据;
校准数据存储模块,用于存储所述校准数据,以通过所述校准数据对需要在所述第一显示区域和所述第二显示区域中显示的待显示图像进行校准。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。
CN202110232046.6A 2021-03-02 2021-03-02 图像校准方法及装置、计算机可读介质和电子设备 Active CN112967193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110232046.6A CN112967193B (zh) 2021-03-02 2021-03-02 图像校准方法及装置、计算机可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110232046.6A CN112967193B (zh) 2021-03-02 2021-03-02 图像校准方法及装置、计算机可读介质和电子设备

Publications (2)

Publication Number Publication Date
CN112967193A true CN112967193A (zh) 2021-06-15
CN112967193B CN112967193B (zh) 2024-06-25

Family

ID=76276244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110232046.6A Active CN112967193B (zh) 2021-03-02 2021-03-02 图像校准方法及装置、计算机可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN112967193B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842814A (zh) * 2022-05-16 2022-08-02 Oppo广东移动通信有限公司 色彩校准方法及装置、电子设备、存储介质
WO2023207443A1 (zh) * 2022-04-29 2023-11-02 清华大学 远程光谱成像系统及方法
CN117311650A (zh) * 2022-06-23 2023-12-29 格兰菲智能科技有限公司 显示模块验证方法、系统和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
US20160353094A1 (en) * 2015-05-29 2016-12-01 Seeing Machines Limited Calibration of a head mounted eye tracking system
US9992487B1 (en) * 2016-08-10 2018-06-05 Integrity Applications Incorporated Stereoscopic viewer
CN108535868A (zh) * 2017-03-01 2018-09-14 精工爱普生株式会社 头部佩戴型显示装置及其控制方法
US20200043201A1 (en) * 2018-08-03 2020-02-06 Magic Leap, Inc. Method and system for subgrid calibration of a display device
US10911748B1 (en) * 2018-07-10 2021-02-02 Apple Inc. Display calibration system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105320271A (zh) * 2014-07-10 2016-02-10 精工爱普生株式会社 利用直接几何建模的头戴式显示器校准
US20160353094A1 (en) * 2015-05-29 2016-12-01 Seeing Machines Limited Calibration of a head mounted eye tracking system
US9992487B1 (en) * 2016-08-10 2018-06-05 Integrity Applications Incorporated Stereoscopic viewer
CN108535868A (zh) * 2017-03-01 2018-09-14 精工爱普生株式会社 头部佩戴型显示装置及其控制方法
US10911748B1 (en) * 2018-07-10 2021-02-02 Apple Inc. Display calibration system
US20200043201A1 (en) * 2018-08-03 2020-02-06 Magic Leap, Inc. Method and system for subgrid calibration of a display device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023207443A1 (zh) * 2022-04-29 2023-11-02 清华大学 远程光谱成像系统及方法
CN114842814A (zh) * 2022-05-16 2022-08-02 Oppo广东移动通信有限公司 色彩校准方法及装置、电子设备、存储介质
CN114842814B (zh) * 2022-05-16 2023-12-08 Oppo广东移动通信有限公司 色彩校准方法及装置、电子设备、存储介质
CN117311650A (zh) * 2022-06-23 2023-12-29 格兰菲智能科技有限公司 显示模块验证方法、系统和装置

Also Published As

Publication number Publication date
CN112967193B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
WO2022068487A1 (zh) 风格图像生成方法、模型训练方法、装置、设备和介质
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
CN112967193B (zh) 图像校准方法及装置、计算机可读介质和电子设备
CN111866483B (zh) 颜色还原方法及装置、计算机可读介质和电子设备
US20230005194A1 (en) Image processing method and apparatus, readable medium and electronic device
WO2022042290A1 (zh) 一种虚拟模型处理方法、装置、电子设备和存储介质
WO2023071707A1 (zh) 视频图像处理方法、装置、电子设备及存储介质
WO2023207379A1 (zh) 图像处理方法、装置、设备及存储介质
US11032529B2 (en) Selectively applying color to an image
CN110807769A (zh) 图像显示控制方法及装置
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN113936089A (zh) 界面渲染方法及装置、存储介质及电子设备
CN112689151B (zh) 直播方法、装置、计算机设备和存储介质
CN113066020A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN109816791B (zh) 用于生成信息的方法和装置
WO2023035973A1 (zh) 视频处理方法、装置、设备及介质
CN113014960A (zh) 一种在线制作视频的方法、装置及存储介质
US20240177409A1 (en) Image processing method and apparatus, electronic device, and readable storage medium
CN112801997B (zh) 图像增强质量评估方法、装置、电子设备及存储介质
CN114119413A (zh) 图像处理方法及装置、可读介质和移动终端
RU2802724C1 (ru) Способ и устройство обработки изображений, электронное устройство и машиночитаемый носитель информации
WO2021121291A1 (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114049417B (zh) 虚拟角色图像的生成方法、装置、可读介质及电子设备
WO2023036111A1 (zh) 视频处理方法、装置、设备及介质
US20220051451A1 (en) Method and apparatus for transforming hair

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant