CN115100054A - 一种显示装置及屏下拍照处理方法 - Google Patents

一种显示装置及屏下拍照处理方法 Download PDF

Info

Publication number
CN115100054A
CN115100054A CN202210686835.1A CN202210686835A CN115100054A CN 115100054 A CN115100054 A CN 115100054A CN 202210686835 A CN202210686835 A CN 202210686835A CN 115100054 A CN115100054 A CN 115100054A
Authority
CN
China
Prior art keywords
image
camera
calibration
screen
recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210686835.1A
Other languages
English (en)
Inventor
陈昊
朱家兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Govisionox Optoelectronics Co Ltd
Original Assignee
Kunshan Govisionox Optoelectronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Govisionox Optoelectronics Co Ltd filed Critical Kunshan Govisionox Optoelectronics Co Ltd
Priority to CN202210686835.1A priority Critical patent/CN115100054A/zh
Publication of CN115100054A publication Critical patent/CN115100054A/zh
Priority to PCT/CN2022/129156 priority patent/WO2023240898A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种显示装置及屏下拍照处理方法。屏下拍照处理方法,应用于显示装置,所述显示装置包括设置于屏下的第一摄像头和设置于非屏下的第二摄像头,所述屏下拍照处理方法包括:获取用户采用第一摄像头拍摄的第一图像;采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像;其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所确定。本发明提高了设置于屏下的摄像头的拍照图像质量。

Description

一种显示装置及屏下拍照处理方法
技术领域
本发明实施例涉及显示技术领域,尤其涉及一种显示装置及屏下拍照处理方法。
背景技术
随着显示技术的发展以及人们生活水平的提高,对显示装置的屏占比要求越来越高,全面屏显示装置应运而生。全面屏显示装置的前置摄像头设置于显示装置的透明显示区,前置摄像头拍照时,光线经过透明显示区后进入前置摄像头,导致图像拍照质量不佳,影响用户体验。
发明内容
本发明提供一种显示装置及屏下拍照处理方法,以提高设置于屏下的第一摄像头的拍照图像质量。
第一方面,本发明实施例提供了一种屏下拍照处理方法,应用于显示装置,所述显示装置包括设置于屏下的第一摄像头和设置于非屏下的第二摄像头,
所述屏下拍照处理方法包括:
获取用户采用第一摄像头拍摄的第一图像;
采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像;其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所确定。
可选的,所述显示装置还包括用于模拟所述第一摄像头屏下拍照的第三摄像头,所述第三摄像头拍摄图像时光线穿过透明遮挡件后进入所述第三摄像头;
所述方法还包括:
向用户展示所述第一恢复图像;
接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像;其中,所述第一图像转换模型根据所述第一摄像头和所述第三摄像头在第二预设条件下拍摄的图像的差异确定,所述第二图像恢复模型根据所述第二摄像头和所述第三摄像头在第三预设条件下拍摄的图像的差异所确定。
可选的所述方法还包括:
将所述第二恢复图像向用户展示;
接收到用户的第一图像校准指令后,控制第二摄像头启动,并获取用户采用第二摄像头拍摄第一校准物体得到的第一校准图像;
控制第三摄像头启动,并获取用户采用第三摄像头拍摄第一校准物体得到的第二校准图像;
根据所述第一校准图像和所述第二校准图像的差异确定第一后置屏下图像恢复系数校准矩阵;
采用所述第一后置屏下图像恢复系数校准矩阵对所述第一转换图像进行处理得到第一校准恢复图像;
向用户展示所述第一校准恢复图像,并在接收到用户点击输入的第一图像继续校准指令后对所述第一后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的第一后置屏下图像恢复系数校准矩阵对所述第一转换图像重新进行处理得到第一校准恢复图像,直至用户不再点击输入第一图像继续校准指令;
根据最终确定的所述第一后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
可选的,所述方法还包括:
接收到用户点击输入的第二图像校准指令后,启动第一摄像头,并获取用户采用第一摄像头拍摄的第二校准物体的第三校准图像;
启动第二摄像头,并获取用户采用第二摄像头拍摄第二校准物体得到的第四校准图像;
根据第三校准图像和第四校准图像之间的差异确定前置屏下图像恢复系数校准矩阵;
采用所述前置屏下图像恢复系数校准矩阵对所述第一图像进行处理,得到第二校准恢复图像;
向用户展示所述第二校准恢复图像,并在接收到用户点击输入的第二图像继续校准指令后对所述前置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像恢复系数校准矩阵对所述第一图像重新进行处理得到第二校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
根据所述前置屏下图像恢复系数校准矩阵更新所述第一图像恢复模型。
可选的,所述方法还包括:
接收到用户的第二图像校准指令后,启动第三摄像头,并获取用户采用第三摄像头拍摄第二校准物体得到的第五校准图像;
根据第三校准图像和第五校准图像之间的差异确定前置屏下图像转换系数校准矩阵;
根据第四校准图像和第五校准图像之间的差异确定第二后置屏下图像恢复系数校准矩阵;
采用前置屏下图像转换系数校准矩阵对所述第一图像进行处理得到第二转换图像,并采用第二后置屏下图像恢复系数校准矩阵对所述第二转换图像进行处理得到第三校准恢复图像;
向用户展示所述第三校准恢复图像,并在接收到用户的第二图像继续校准指令后对所述前置屏下图像转换系数校准矩阵和所述第二后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像转换系数校准矩阵对所述第一图像重新进行处理得到第二转换图像,并采用迭代优化后的第二后置屏下图像恢复系数校准矩阵对重新处理得到的第二转换图像进行处理得到第三校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
根据所述前置屏下图像转换系数校准矩阵更新所述第一图像转换模型;
根据所述第二后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
可选的,采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像包括:
通过第一图像恢复模型选择与当前拍摄环境条件对应的前置屏下图像恢复系数矩阵,其中,所述第一图像恢复模型包括多个不同的环境条件分别对应的前置屏下图像恢复系数矩阵;
相应的,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像,包括:
通过第一图像转换模型选择与当前拍摄环境条件对应的前置屏下图像转换系数矩阵,以及通过所述第二图像恢复模型选择与当前拍摄环境条件对应的后置屏下图像转换系数矩阵;其中,所述第一图像转换模型包括多个不同的环境条件分别对应的前置屏下图像转换系数矩阵,所述第二图像恢复模型包括多个不同的环境条件分别对应的后置屏下图像恢复系数矩阵。
可选的,所述前置屏下图像恢复系数矩阵根据所述第一摄像头和所述第二摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定;
所述前置屏下图像转换系数矩阵根据所述第一摄像头和所述第三摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定,所述后置屏下图像恢复系数矩阵根据所述第二摄像头和所述第三摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异和在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定。
第二方面,本发明实施例还提供了一种显示装置,包括:
设置于屏下的第一摄像头、设置于非屏下的第二摄像头和屏下拍照处理装置;
所述屏下拍照处理装置包括:
第一图像获取模块,用于获取用户采用第一摄像头拍摄的第一图像;
第一图像恢复确定模块,用于采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像;其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所述确定。
可选的,所述显示装置还包括显示面板和第三摄像头,所述第三摄像头的入光面设置有透明遮挡件;
所述屏下拍照处理装置还包括:
第一图像展示模块,用于向用户展示所述第一恢复图像;
图像优化模块,用于接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像;其中,所述第一图像转换模型根据所述第一摄像头和所述第三摄像头在第二预设条件下拍摄的图像的差异确定,所述第二图像恢复模型根据所述第二摄像头和所述第三摄像头在第三预设条件下拍摄的图像的差异所确定,且所述第三摄像头拍摄图像时光线穿过透明遮挡件后进入所述第三摄像头。
可选的,所述的显示装置还包括:
显示面板,所述显示面板包括透明显示区,所述第一摄像头设置于所述透明显示区的非出光侧,且所述第一摄像头的入光面邻近所述透明显示区。
本发明实施例通过设置位于非屏下的第二摄像头,并根据第一摄像头和第二摄像头在第一预设条件下的图像的差异得到将第一摄像头拍摄图像画质恢复至接近第二摄像头拍摄图像质量水平的第一图像恢复模型,用户使用第一摄像头拍摄第一图像后,显示装置系统采用第一图像恢复模型对第一图像进行处理得到第一恢复图像,由于第二摄像头拍摄图像质量为正常水平,而第一恢复图像画质接近第二摄像头拍摄的图像质量水平,因此第一恢复图像的画质较好,从而提高了第一摄像头的拍照质量,提升了用户体验。
附图说明
图1是本发明实施例提供的一种显示装置的出光侧的示意图;
图2是本发明实施例提供的一种显示装置的非出光侧的示意图;
图3是本发明实施例提供的一种屏下拍照处理方法的示意图;
图4是本发明实施例提供的又一种显示装置的非出光侧的示意图;
图5是本发明实施例提供的又一种屏下拍照处理方法的示意图;
图6是本发明实施例提供的一种有机发光显示面板制作的示意图;
图7是本发明实施例提供的又一种屏下拍照处理方法的示意图;
图8是本发明实施例提供的一种屏下图像校准过程的示意图;
图9是本发明实施例提供的前置屏下图像恢复系数矩阵的生成过程图;
图10是本发明实施例提供的前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵的生成过程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
现有的全面屏显示装置的屏下前置摄像头目前还无法较好地获取外界画面,由于显示装置对应放置屏下前置摄像头的透明显示区仍然存在不透光部分,导致屏下前置摄像头拍摄的图像存在图像偏暗、模糊和存在彩色条纹等问题,故改善屏下前置摄像头的拍照画质已成为全面屏发展的当务之急。
本实施例提供了一种显示装置的屏下拍照处理方法,本方法适用于LCD显示装置、OLED显示装置、Micro-LED显示装置以及QLED显示装置等显示装置,本申请中仅以AMOLED显示装置为例对显示装置的具体结构进行说明,并非对本发明的限定。
图1是本发明实施例提供的一种显示装置的出光侧的示意图,图2是本发明实施例提供的一种显示装置的非出光侧的示意图,图3是本发明实施例提供的一种屏下拍照处理方法的示意图,参考图1和图2,本发明实施例提供了一种屏下拍照处理方法,应用于显示装置,显示装置包括设置于屏下的第一摄像头21和设置于非屏下的第二摄像头22。
参考图2,所述屏下拍照处理方法包括:
S110、获取用户采用第一摄像头拍摄的第一图像。
S120、采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像。
其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所确定。
具体的,参考图1和图2,显示面板10包括透明显示区11和主显示区12,透明显示区11的透光率大于主显示区12的透光率;第一摄像头21可以设置于透明显示区11的非出光侧,且第一摄像头21的入光面邻近透明显示区11,拍照时光线透过透明显示区11进入第一摄像头21内。第二摄像头22可以设置于显示面板10的非出光侧,也可以设置于显示面板10的非出光侧。第二摄像头22设置于非屏下即第二摄像头22的入光面背离显示面板10,光线不经过显示面板10,而是直接进入第二摄像头22,图2仅示例性的示出了第二摄像头22位于显示面板的非出光侧。
此外,第一摄像头21和第二摄像头22为可以同种摄像头,也可以为不同的摄像头。可以采用人工智能算法,如神经网络方法等对第一摄像头和第二摄像头在第一预设条件下拍摄的图像的差异进行识别,从而得到第一图像恢复模型。在第一预设条件下拍摄的图像可以为在相同位置、相同的环境下拍摄的相同物体的图像,第一预设条件也可以为其条件,本实施例并不做具体限定,只要能够得到将第一摄像头21拍摄的第一图像处理为与第二摄像头22的图像水平接近的第一恢复图像的第一图像恢复模型即可。
示例性的,当第一摄像头21和第二摄像头22为同种摄像头,第一摄像头21和第二摄像头22在相同位置、相同的环境下拍摄的相同物体的图像的差异主要由于摄像头入光面存在透明显示区11遮挡所导致,采用人工智能算法对第一摄像头21和第二摄像头22在相同位置、相同的环境下拍摄的相同物体的图像的差异进行识别,可以学习与训练出将第一摄像头21拍摄图像画质恢复至接近第二摄像头22拍摄图像质量水平的第一图像恢复模型。
由于第二摄像头22入光面没有透明显示区11的遮挡,其拍摄图像质量为正常水平。通过将第一图像恢复模型存储至显示装置系统中,当用户使用第一摄像头21拍摄第一图像后,可采用第一图像恢复模型对第一图像进行处理得到图像画质接近第二摄像头22拍摄图像质量水平的第一恢复图像,从而提高了第一摄像头21的拍照质量,提升了用户体验。
为保证透明显示区11具有较高的光透过率,透明显示区11内部结构满足以下要求:①非金属膜层均选用高透过率材料,而导电走线选用透明物质(ITO等);②当阳极使用非透明材料时,减少其不透光面积;③当阴极为低透过率金属材料时,可选地,通过精密金属掩膜版蒸镀或激光刻蚀等方式,使面状阴极变更为透过率更高的图形化阴极,此时,图形化阴极开口优选圆形、椭圆等非规则形状,且以非规律方式排布,从而尽量避免造成屏体透光衍射问题。
为了改善透明显示区11透光衍射问题,透明显示区11内部结构满足以下要求:①像素定义层开口以及阳极呈圆形或椭圆等非规则形状,并以非规律方式排布;②导电走线至少部分为曲线形式排布;③各TFT器件与对应子像素阳极在衬底上的正投影至少部分重叠,以及各TFT器件在衬底上的正投影外轮廓至少部分为曲线,从而降低TFT器件产生的透光衍射影响;④进一步地,透明显示区11像素电路可采用一个TFT器件驱动多个子像素的工作方式,即减少透明显示区11内TFT器件个数,降低TFT器件的整体不透光面积,此时TFT器件设置在面积较大的子像素阳极下方;⑤透明显示区11内可用于导电走线的布局空间充足时,透明显示区11与主显示区12之间可以设置过渡区域,将透明显示区11像素电路中TFT器件,全部放置在过渡区域,从而消除TFT器件对于透明显示区11透光率及透光衍射的影响性。
本发明实施例通过设置位于非屏下的第二摄像头22,并根据第一摄像头21和第二摄像头22在第一预设条件下的图像的差异得到将第一摄像头21拍摄图像画质恢复至接近第二摄像头22拍摄图像质量水平的第一图像恢复模型,用户使用第一摄像头21拍摄第一图像后,显示装置系统采用第一图像恢复模型对第一图像进行处理得到第一恢复图像,由于第二摄像头22拍摄图像质量为正常水平,而第一恢复图像画质接近第二摄像头22拍摄的图像质量水平,因此第一恢复图像的画质较好,从而提高了第一摄像头21的拍照质量,提升了用户体验。
图4是本发明实施例提供的又一种显示装置的非出光侧的示意图,可选的,参考图4,显示装置还包括用于模拟第一摄像头21屏下拍照的第三摄像头23,第三摄像头23拍摄图像时光线穿过透明遮挡件30后进入所述第三摄像头23。
图5是本发明实施例提供的又一种屏下拍照处理方法的示意图,参考图1、图4和图5,该方法包括:
S110、获取用户采用第一摄像头拍摄的第一图像。
S120、采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像。
其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所确定。
S130、向用户展示所述第一恢复图像。
S140、接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像。
其中,所述第一图像转换模型根据所述第一摄像头和所述第三摄像头在第二预设条件下拍摄的图像的差异所述确定,所述第二图像恢复模型根据所述第二摄像头和所述第三摄像头在第三预设条件下拍摄的图像的差异所确定。
具体的,当用户对第一恢复图像画质满意时,退出第一摄像头的拍摄界面,当用户对第一恢复图像画质不满意时,用户可以点击拍摄界面的图像优化选项,此时显示装置系统接收到图像优化指令。
可以利用人工智能算法识别第一摄像头21和第三摄像头23拍摄的图像之间差异,学习和训练得到第一图像转换模型,第一图像转换模型用于将第一摄像头21拍摄的图像处理为与第三摄像头23的拍摄图像质量水平接近的图像。同时,利用人工智能算法可以识别第三摄像头23和第二摄像头22拍摄的图像之间差异,学习和训练得到第二图像恢复模型,第二图像恢复模型用于将第三摄像头23拍摄的图像处理为与第二摄像头22拍摄图像质量水平接近的图像。最后将第一图像转换模型和第二图像恢复模型存储至显示装置系统中。
示例性的,可以预先通过第一摄像头21、第二摄像头22和第三摄像头23分别在相同环境条件下以及相同位置拍摄同一预设物体的图像,采用人工智能算法对图像差异进行识别,确定第一图像转换模型和第二图像恢复模型。在用户使用第一摄像头21拍摄得到第一图像时,显示装置系统通过采用第一图像转换模型对第一图像进行处理,得到第一转换图像,通过第二图像恢复模型对第一转换图像进行处理得到第二恢复图像,得到的第二恢复图像的图像画质接近第二摄像头22拍照的图像质量水平,因此第二恢复图像质量较好,从而提高了第一摄像头21的拍照质量,提升了用户体验。
此外,通过在第三摄像头入光面设置透明遮挡件,使得第三摄像头与第一摄像头入光面一侧的膜层结构接近,使得第三摄像头和第一摄像头拍摄的图像差异较小,其差异主要由第一摄像头入光面处的透明显示区显示图像等引起,第一图像转换模型可以有针对性的对该差异进行处理,使得第一摄像头的拍摄画质恢复至与第三摄像头的拍摄画质相同或接近。而第三摄像头与第二摄像头之间的结构差异在于第三摄像头的入光面设置有透明遮挡件,第三摄像头和第二摄像头拍摄的图像差异主要由透明遮挡件引起,第二图像恢复模型可以有针对性的对该差异进行处理,使得第三摄像头的拍摄画质恢复至与第二摄像头的拍摄画质相同或接近。
本实施例通过第一图像转换模型和第二图像恢复模型双重作用对第一图像进行画质恢复处理,相对于单一第一图像恢复模型,第一图像转换模型和第二图像恢复模型两个模型联合恢复图像画质方法的建立约束条件更多,且第一图像转换模型和第二图像恢复模型分别针对不同的图像差异进行恢复,其对于第一图像的画质恢复效果更好。因此本发明实施例优选同时设置第二摄像头22和第三摄像头23,采用第一图像转换模型和第二图像恢复模型对第一图像进行处理。
可选的,第一摄像头21设置于显示面板10的透明显示区11的非出光侧,且第一摄像头21的入光面邻近透明显示区11,透明遮挡件30与透明显示区11的结构相同,第三摄像头23与第一摄像头21为同种摄像头。
具体的,本实施例的显示面板10不包括盖板,第三摄像头23可以为显示装置的后置第一摄像头,透明遮挡件30与透明显示区11的结构一致,只是其不显示画面,示例性的,透明遮挡件30可以和透明显示区11均包括像素电路、发光层、封装层、触控层以及偏光片等膜层。
图6是本发明实施例提供的一种有机发光显示面板制作示意图,如图6所示,屏体版图设计时,利用基板原先需切割去除的部分,在不影响产品排版率情况下,设置多个透明样品区40,透明样品区40的中间部分为透明遮挡件30,其外形及结构与透明显示区11相同;同时,单个透明样品区40紧邻对应显示面板10的透明显示区11,以降低工艺成膜不均匀性对于透明遮挡件30与透明显示区11之间透光率以及透光衍射的差异性影响;另外,透明样品区40除了中间的透明遮挡件30外,还包括围绕中间部分的装机区,其外形不作限定,可便于透明样品区40放入显示装置中后置镜头模组内安装即可。屏体切割后,透明样品区40与对应显示面板10不分离,整体进行部分模组工艺制程;在模组盖板贴合前,透明样品区40与显示面板10通过再次切割完成分离,并仅使显示面板10贴合盖板。最后将不贴合盖板的透明样品区40与贴合盖板后的显示面板10,共同用于后续同一显示装置的装机作业。
需要说明的是,参考图4,透明遮挡件30与透明显示区11的结构相同,第三摄像头23与第一摄像头21为同种摄像头,使得第三摄像头23与第一摄像头21入光面一侧的膜层结构相同,进一步降低了第三摄像头23和第一摄像头21拍摄的图像差异较小,使得第一图像转换模型可以更好的将第一摄像头21的拍摄画质恢复至与第三摄像头23的拍摄画质相同或接近。此外,第二摄像头22和第三摄像头23可以为同种摄像头,且第三摄像头23和第二摄像头22可以均设置于显示面板的同一侧,示例性的可以均设置于显示面板的非出光侧。
图7是本发明实施例提供的又一种屏下拍照处理方法的示意图,参考图7,该方法包括:
S110、获取用户采用第一摄像头拍摄的第一图像。
S120、采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像。
S130、向用户展示所述第一恢复图像。
S140、接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像。
S150、将所述第二恢复图像向用户展示。
S160、接收到用户的第一图像校准指令后,控制第二摄像头启动,并获取用户采用第二摄像头拍摄第一校准物体得到的第一校准图像。
具体的,当用户对第二恢复图像画质满意时,退出第一摄像头21的拍摄界面,当用户对第二恢复图像画质不满意时,用户可以选择图像校准功能,此时用户可以点击拍摄界面的第一图像校准选项,使显示装置系统接收到第一图像校准指令。
S170、控制第三摄像头启动,并获取用户采用第三摄像头拍摄第一校准物体得到的第二校准图像。
S180、根据所述第一校准图像和所述第二校准图像的差异确定第一后置屏下图像恢复系数校准矩阵。
S190、采用所述第一后置屏下图像恢复系数校准矩阵对所述第一转换图像进行处理得到第一校准恢复图像。
S200、向用户展示所述第一校准恢复图像,并在接收到用户点击输入的第一图像继续校准指令后对所述第一后置屏下图像恢复系数校准矩阵进行迭代优化;采用所述迭代优化后的第一后置屏下图像恢复系数校准矩阵对所述第一转换图像重新进行处理得到第一校准恢复图像,直至用户不再点击输入第一图像继续校准指令。
S210、根据最终确定的所述第一后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
具体的,参考图1和图5,在图像校准过程中,显示装置先启动第二摄像头22,拍摄界面中随即出现横纵交错的细网格坐标系和中心红点,该细网格坐标系和中心红点可帮助用户准确定位拍摄界面中第一校准物体的中心及其外轮廓,拍摄得到第一校准图像Normal_Cal_1。紧接着,显示装置启动第三摄像头23,用户继续利用拍摄界面中细网格坐标系和中心红点,准确定位拍摄界面中第一校准物体的中心及其外轮廓,使第一校准物体在拍摄界面中整体位置与采用第二摄像头22拍照时一致,从而获取第二校准图像Rear_Cal_1。随后,显示装置系统使用人工智能算法识别第一校准图像Normal_Cal_1和第二校准图像Rear_Cal_1之间的图像差异,学习与训练出第一后置屏下图像恢复系数校准矩阵Rear_Re_N+1,并采用第一后置屏下图像恢复系数校准矩阵Rear_Re_N+1处理第一转换图像,生成接近第二摄像头22拍摄图像质量水平的第一校准恢复图像。用户视觉体验生成的第一校准恢复图像画质,若满意,则选择退出拍摄界面,显示装置系统会将第一后置屏下图像恢复系数校准矩阵Rear_Re_N+1更新至第二图像恢复模型中;若不满意,用户可选择继续图像校准选项,显示装置系统接收到第一继续图像校准指令后,使用人工智能算法迭代识别第一校准图像Normal_Cal_1和第二校准图像Rear_Cal_1之间的图像差异,学习与训练出优化的第一后置屏下图像恢复系数校准矩阵Rear_Re_N+1,重新处理第一转换图像,生成接近第二摄像头22拍摄图像质量水平的第一校准恢复图像,直至用户满意。
由于第一摄像头21和第三摄像头23整体系统结构基本相同,对于同一图像采集环境条件下相同物体,第一摄像头21和第三摄像头23拍摄图像之间差异较小,因此本实施例在图像校准过程中,先保持第一摄像头21和第三摄像头23之间第一图像转换模型不变,仅校准优化第三摄像头23和第二摄像头22之间第二图像恢复模型,可以降低显示装置系统对于图像校准工作量,从而提高其图像校准效率。
可选的,显示装置的屏下拍照处理方法还包括:
接收到用户点击输入的第二图像校准指令后,启动第一摄像头21,并获取用户采用第一摄像头21拍摄第二校准物体得到的第三校准图像;
启动第二摄像头22,并获取用户采用第二摄像头22拍摄第二校准物体得到的第四校准图像;
根据第三校准图像和第四校准图像之间的差异确定前置屏下图像恢复系数校准矩阵;
采用所述前置屏下图像恢复系数校准矩阵对所述第一图像进行处理,得到第二校准恢复图像;
显示装置系统向用户展示所述第二校准恢复图像,并在接收到用户点击输入的第二图像继续校准指令后对所述前置屏下图像恢复系数校准矩阵进行迭代优化,采用所述迭代优化后的前置屏下图像恢复系数校准矩阵对所述第一图像重新进行处理得到第二校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
根据所述前置屏下图像恢复系数校准矩阵更新所述第一图像恢复模型。
具体的,当用户对多次迭代得到的第一校准恢复图像画质仍不满意时,用户可以选择第二图像校准选项,进行更高级别的图像校准,此时显示装置系统接收到用户的第二图像校准指令。此外,用户也可以在对第一恢复图像或第二恢复图像画质不满意时直接选择第二图像校准选项。
图8是本发明实施例提供的一种屏下图像校准过程示意图,参考图1、图2和图8,显示装置系统接收到第二图像校准指令后启动第二摄像头22,伴随拍摄界面中出现横纵交错的细网格坐标系和中心红点,用户利用所述细网格坐标系和中心红点定位拍摄界面中第二校准物体中心及其外轮廓,拍摄第四校准图像Normal_Cal_2。启动第一摄像头21,关闭其自拍镜像功能,使具有细网格坐标系和中心红点的拍摄画面中的第二校准物体,与实际保持左右一致;使用第一摄像头21拍摄时,用户需翻转显示装置,从侧面或借助前方反射体(例如:镜子)等方式观察拍摄界面中第二校准物体,使其整体位置与之前第二摄像头22拍照时一致,从而获取第三校准图像Front_Cal_2。随后,显示装置系统使用人工智能算法识别第三校准图像Front_Cal_2和第四校准图像Normal_Cal_2之间的图像差异,学习与训练出前置屏下图像恢复系数校准矩阵Front_Re_N+1。
显示装置系统使用前置屏下图像恢复系数校准矩阵Front_Re_N+1处理第一图像,生成并显示接近第二摄像头22拍摄图像质量水平的第二校准恢复图像;用户视觉体验第二校准恢复图像画质,若满意,则选择退出拍摄界面,显示装置系统会将前置屏下图像恢复系数校准矩阵Front_Re_N+1更新至第一图像恢复模型中。若不满意,则用户可以多次选择第二图像继续校准选项,让显示装置系统使用人工智能算法迭代识别第三校准图像Front_Cal_2和第四校准图像Normal_Cal_2之间的图像差异,学习与训练出优化的前置屏下图像恢复系数校准矩阵Front_Re_N+1,重新处理第一图像生成接近第二摄像头22拍摄图像质量水平的第二校准恢复图像,直至用户满意第二校准恢复图像画质。最后可以根据优化的前置屏下图像恢复系数校准矩阵Front_Re_N+1更新第一图像恢复模型。
可选的,所述屏下图像校准过程还包括:
显示装置系统接收到用户的第二图像校准指令后,启动第三摄像头23,并获取用户采用第三摄像头23拍摄第二校准物体得到的第五校准图像;
根据第三校准图像和第五校准图像之间的差异确定前置屏下图像转换系数校准矩阵;
根据第四校准图像和第五校准图像之间的差异确定第二后置屏下图像恢复系数校准矩阵;
采用前置屏下图像转换系数校准矩阵对所述第一图像进行处理得到第二转换图像,并采用第二后置屏下图像恢复系数校准矩阵对所述第二转换图像进行处理得到第三校准恢复图像;
显示装置系统向用户展示所述第三校准恢复图像,并在接收到用户的第二图像继续校准指令后对所述前置屏下图像转换系数校准矩阵和所述第二后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像转换系数校准矩阵对所述第一图像重新进行处理得到第二转换图像,并采用迭代优化后的第二后置屏下图像恢复系数校准矩阵对所述重新处理得到的第二转换图像进行处理得到第三校准恢复图像,直至不再接收到用户点击输入的第二图像继续校准指令;
根据所述前置屏下图像转换系数校准矩阵更新所述第一图像转换模型;
根据所述第二后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
具体的,参考图1、图2、图4和图8,显示装置系统在接收到第二图像校准指令后,还可以控制第三摄像头23启动,伴随拍摄界面中出现横纵交错的细网格坐标系和中心红点,用户利用所述细网格坐标系和中心红点,定位拍摄界面中第二校准物体中心及其外轮廓,使其在拍摄界面中的位置与第二摄像头22拍照时一致,得到第五校准图像Rear_Cal_2。随后,显示装置系统使用人工智能算法识别第五校准图像Rear_Cal_2和第四校准图像Normal_Cal_2之间的图像差异,学习与训练出第二后置屏下图像恢复系数校准矩阵Rear_Re_N+2,并根据第三校准图像Front_Cal_2和第五校准图像Rear_Cal_2之间的图像差异,学习与训练出前置屏下图像转换系数校准矩阵Front_Con_N+1。
随后显示装置系统使用前置屏下图像转换系数校准矩阵Front_Con_N+1处理第一图像,得到第二转换图像,使用第二后置屏下图像恢复系数校准矩阵Rear_Re_N+2处理第二转换图像,生成接近第二摄像头22拍摄图像质量水平的第三校准恢复图像;用户视觉体验第三校准恢复图像画质,若满意,则选择退出拍摄界面,显示装置系统会分别将前置屏下图像转换系数校准矩阵Front_Con_N+1和第二后置屏下图像恢复系数校准矩阵Rear_Re_N+2更新至第一图像转换模型和第二图像恢复模型中;若不满意,则用户可多次选择第二图像继续校准选项,显示装置系统接收到第二图像继续校准指令,使用人工智能算法分别迭代识别第三校准图像Front_Cal_2和第五校准图像Rear_Cal_2之间的图像差异以及第五校准图像Rear_Cal_2和第四校准图像Normal_Cal_2之间的图像差异,学习与训练出优化的前置屏下图像转换系数校准矩阵Front_Con_N+1和第二后置屏下图像恢复系数校准矩阵Rear_Re_N+2,进而重新处理第一图像生成接近第二摄像头22拍摄图像质量水平的第三校准恢复图像,直至用户满意第三校准恢复图像画质。
最后,将所述优化的前置屏下图像转换系数校准矩阵Front_Con_N+1更新至第一图像转换模型中;将所述优化的第二后置屏下图像恢复系数校准矩阵Rear_Re_N+2更新至第二图像恢复模型中。
本实施例可以实时接收用户点击输入的第二图像校准指令,通过第一摄像头21、第二摄像头22和第三摄像头23拍摄同一环境条件下第二校准物体的图像,利用人工智能算法根据所述图像之间差异对第一图像转换模型和第二图像恢复模型进行更新优化,从而可以更好地对第一摄像头21拍摄的图像画质进行恢复处理,提高第一摄像头21拍摄图像质量。
可选的,采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像包括:
通过第一图像恢复模型选择与当前拍摄环境条件对应的前置屏下图像恢复系数矩阵,其中,所述第一图像恢复模型包括多个不同环境条件分别对应的前置屏下图像恢复系数矩阵;
相应的,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像,包括:
通过第一图像转换模型选择与当前拍摄环境条件对应的前置屏下图像转换系数矩阵,以及通过第二图像恢复模型选择与当前拍摄环境条件对应的后置屏下图像恢复系数矩阵;其中,所述第一图像转换模型包括多个不同环境条件分别对应的前置屏下图像转换系数矩阵,所述第二图像恢复模型包括多个不同环境条件分别对应的后置屏下图像恢复系数矩阵。
其中,环境条件包括环境亮度、环境色温等对拍照效果有影响的环境参数。可以预先确定包括多个不同环境条件分别对应的前置屏下图像恢复系数矩阵的第一图像恢复模型,当用户采用第一摄像头21拍摄图像时,显示装置系统使用第一图像恢复模型,根据当前拍摄环境条件选用对应的前置屏下图像恢复系数矩阵,从而更好地对第一图像进行处理,提高其图像质量。
可选的,所述前置屏下图像恢复系数矩阵根据所述第一摄像头21和所述第二摄像头22在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定;
所述前置屏下图像转换系数矩阵根据所述第一摄像头21和所述第三摄像头23在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定,所述后置屏下图像恢复系数矩阵根据所述第二摄像头22和所述第三摄像头23在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异和在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定。
第一图像恢复模型、第一图像转换模型以及第二图像恢复模型的具体确定过程包括:
1、在可调节环境条件的室内,例如,亮度、色温等环境参数,将具有第一摄像头21、第二摄像头22和第三摄像头23的显示装置垂直固定于夹具载台,并模拟自拍距离在载台正前方20-60cm处,放置显示器展示模拟拍摄人物的任意内容图像。
2、选定某一环境条件以及显示器图像内容后,即图像采集环境条件1,模拟拍摄环境,显示装置首先通过第一摄像头21获取显示器图像得到第一物体图像Front_Obj_1,此时第一摄像头21的自拍镜像功能会被关闭。然后第二摄像头22直接拍摄显示装置背向显示器一侧的环境场景,得到第一环境图像Normal_Env_1。紧接着,夹具载台控制第三摄像头23移动至第二摄像头22拍摄环境图像时所在位置处,拍摄环境场景得到第二环境图像Rear_Env_1。
3、夹具载台首先旋转180°,控制第三摄像头23移动至第一摄像头21拍摄物体图像时所在位置处,拍摄显示器图像,得到第二物体图像Rear_Obj_1。紧接着,控制第二摄像头22移动至第一摄像头21拍摄物体图像时所在位置处,拍摄显示器图像,得到第三物体图像Normal_Obj_1。
4、夹具载台控制第一摄像头21移动至第二摄像头22拍摄环境图像所在位置处,拍摄环境场景,得到第三环境图像Front_Env_1;此时第一摄像头21的自拍镜像功能会被关闭。
5、夹具载台再次旋转180°,控制第一摄像头21、第二摄像头22和第三摄像头23恢复至各自图像采集前的初始位置,从而完成1次显示装置图像采集的全部过程,得到某一环境条件下的3种物体图像和3种环境图像,即第一物体图像Front_Obj_1、第二物体图像Rear_Obj_1、第三物体图像Normal_Obj_1、第一环境图像Normal_Env_1、第二环境图像Rear_Env_1和第三环境图像Front_Env_1。
6、调节不同环境条件,重复上述显示装置图像采集过程,得到各环境条件下的3种物体图像和3种环境图像。
7、对每一环境条件下的3种物体图像和3种环境图像进行处理,得到每一环境条件下的前置屏下图像恢复系数矩阵、前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵。
8、将各环境条件下的前置屏下图像恢复系数矩阵进行汇集,得到第一图像恢复模型,将各环境条件下的前置屏下图像转换系数矩阵进行汇集,得到第一图像转换模型,将各环境条件下的后置屏下图像恢复系数矩阵进行汇集,得到第二图像恢复模型。
针对图像采集环境条件1得到的相关图像的处理过程包括:
图9是本发明实施例提供的前置屏下图像恢复系数矩阵的生成过程图,参考图9,该过程包括:通过人工智能算法,例如,神经网络方法等,识别第一物体图像Front_Obj_1和第三物体图像Normal_Obj_1之间图像差异,学习与训练出前置屏下图像恢复系数矩阵。采用前置屏下图像恢复系数矩阵处理第一物体图像Front_Obj_1,生成第一物体恢复图像,进而通过图像质量评估函数,例如,Vollaths函数等,判断第一物体恢复图像画质是否接近第三物体图像Normal_Obj_1的正常图像质量水平。若不合格,使用人工智能算法不断迭代识别第一物体图像Front_Obj_1和第三物体图像Normal_Obj_1之间图像差异,学习与训练出优化的前置屏下图像恢复系数矩阵,对第一物体图像Front_Obj_1重新处理生成第一物体恢复图像,直至图像质量评估函数判断合格;若合格,则利用所述可使第一物体图像Front_Obj_1经处理后的图像画质被图像质量评估函数判断合格的前置屏下图像恢复系数矩阵继续处理第三环境图像Front_Env_1,生成第一环境恢复图像,并通过图像质量评估函数判断第一环境恢复图像画质是否接近第一环境图像Normal_Env_1的正常图像质量水平;若合格,则输出所述可使第三环境图像Front_Env_1经处理后的图像画质被图像质量评估函数判断合格的前置屏下图像恢复系数矩阵,作为环境条件1时处理第一摄像头21拍照画质的系数矩阵;若不合格,重新使用人工智能算法不断迭代识别第一物体图像Front_Obj_1和第三物体图像Normal_Obj_1之间图像差异,学习与训练出优化的前置屏下图像恢复系数矩阵,直至图像质量评估函数对于采用所述优化的前置屏下图像恢复系数矩阵处理生成的所述第一物体恢复图像和第一环境恢复图像的画质均判断合格,输出最后迭代优化的前置屏下图像恢复系数矩阵,作为环境条件1时处理第一摄像头21拍照画质的系数矩阵。
图10是本发明实施例提供的前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵的生成过程图,参考图10,通过人工智能算法分别识别第一物体图像Front_Obj_1和第二物体图像Rear_Obj_1,以及第二物体图像Rear_Obj_1和第三物体图像Normal_Obj_1之间图像差异,从而学习与训练出前置屏下图像转换系数矩阵,使第一摄像头21拍摄图像画质可转换至接近第三摄像头23拍摄图像质量水平,以及学习与训练出后置屏下图像恢复系数矩阵,使第三摄像头23拍摄图像画质可恢复至接近第二摄像头22拍摄图像质量水平。
类似上述前置屏下图像恢复系数矩阵的输出确定方式,先利用前置屏下图像转换系数矩阵处理第一物体图像Front_Obj_1,生成物体转换图像,以及利用后置屏下图像恢复系数矩阵处理第二物体图像Rear_Obj_1,生成第二物体恢复图像;通过图像质量评估函数,分别判断物体转换图像画质是否接近第二物体图像Rear_Obj_1的图像质量水平和第二物体恢复图像画质是否接近第三物体图像Normal_Obj_1的正常图像质量水平,从而直接或者迭代优化后给出判断合格的前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵。
采用所述图像质量评估函数判断合格的前置屏下图像转换系数矩阵处理第三环境图像Front_Env_1得到环境转换图像,以及采用所述图像质量评估函数判断合格的后置屏下图像恢复系数矩阵处理第二环境图像Rear_Env_1,生成第二环境恢复图像;再次通过图像质量评估函数,分别判断环境转换图像画质是否接近第二环境图像Rear_Env_1的图像质量水平和第二环境恢复图像画质是否接近第一环境图像Normal_Env_1的正常图像质量水平;若不合格,重新使用人工智能算法不断迭代分别识别第一物体图像Front_Obj_1和第二物体图像Rear_Obj_1,以及第二物体图像Rear_Obj_1和第三物体图像Normal_Obj_1之间图像差异,学习与训练出优化的前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵,直至再次图像质量评估函数分别对于采用所述优化的前置屏下图像转换系数矩阵处理生成的环境转换图像和采用所述优化的后置屏下图像恢复系数矩阵处理生成的第二环境恢复图像的画质判断合格;若合格,使用所述再次图像质量评估函数判断合格的后置屏下图像恢复系数矩阵处理环境转换图像,生成第三环境恢复图像。又一次通过图像质量评估函数,判断第三环境恢复图像画质是否接近第一环境图像Normal_Env_1的正常图像质量水平;若合格,则输出所述可使第三环境图像Front_Env_1经处理后的图像画质被再次图像质量评估函数判断合格的前置屏下图像转换系数矩阵和所述可使环境转换图像经处理后的图像画质被又一次图像质量评估函数判断合格的后置屏下图像恢复系数矩阵,作为环境条件1时处理第一摄像头21拍照画质的系数矩阵;若不合格,则重新使用人工智能算法不断迭代分别识别第一物体图像Front_Obj_1和第二物体图像Rear_Obj_1,以及第二物体图像Rear_Obj_1和第三物体图像Normal_Obj_1之间图像差异,学习与训练出优化的前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵,直至又一次图像质量评估函数对于采用所述优化的后置屏下图像恢复系数矩阵处理生成的第三环境恢复图像的画质判断合格,输出最后迭代优化的前置屏下图像转换系数矩阵和后置屏下图像恢复系数矩阵。
此外,需要说明的是,第二摄像头22和第三摄像头23的具体位置关系以及距离大小可以根据需要设置,本实施例不作限定。可选的,参考图1,沿平行所述显示面板10的非出光侧平面的方向,所述第二摄像头22和所述第三摄像头23的距离大于或等于10mm,以降低两个摄像头的安装工艺难度。
本实施例还提供了一种显示装置,包括设置于屏下的第一摄像头、设置于非屏下的第二摄像头和屏下拍照处理装置;
所述屏下拍照处理装置包括:
第一图像获取模块,用于获取用户采用第一摄像头拍摄的第一图像;
第一恢复图像确定模块,用于采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像;其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所述确定。
可选的,显示装置还包括显示面板和第三摄像头,所述第三摄像头的入光面设置有透明遮挡件;
所述屏下拍照处理装置还包括:
图像优化模块,用于接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像;其中,所述第一图像转换模型根据所述第一摄像头和所述第三摄像头在第二预设条件下拍摄的图像的差异确定,所述第二图像恢复模型根据所述第二摄像头和所述第三摄像头在第三预设条件下拍摄的图像的差异所确定,且所述第三摄像头拍摄图像时光线穿过透明遮挡件后进入所述第三摄像头。
可选的,所述的显示装置还包括:
显示面板,所述显示面板包括透明显示区,所述第一摄像头设置于所述透明显示区的非出光侧,且所述第一摄像头的入光面邻近所述透明显示区。
可选的,屏下拍照处理装置还包括:
第二图像展示模块,用于将所述第二恢复图像向用户展示;
第一校准图像获取模块,用于接收到用户的第一图像校准指令后,控制第二摄像头启动,并获取用户采用第二摄像头拍摄第一校准物体得到的第一校准图像;
第二校准图像获取模块,用于控制第三摄像头启动,并获取用户采用第三摄像头拍摄第一校准物体得到的第二校准图像;
第一校准矩阵确定模块,用于根据所述第一校准图像和所述第二校准图像的差异确定第一后置屏下图像恢复系数校准矩阵;
第一校准恢复图像确定模块,用于采用所述第一后置屏下图像恢复系数校准矩阵对所述第一转换图像进行处理得到第一校准恢复图像;
第一迭代优化模块,用于向用户展示所述第一校准恢复图像,并在接收到用户点击输入的第一图像继续校准指令后对所述第一后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的第一后置屏下图像恢复系数校准矩阵对所述第一转换图像重新进行处理得到第一校准恢复图像,直至用户不再点击输入第一图像继续校准指令;
第一模型更新模块,用于根据最终确定的所述第一后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
可选的,屏下拍照处理装置还包括:
第三校准图像获取模块,用于接收到用户点击输入的第二图像校准指令后,启动第一摄像头,并获取用户采用第一摄像头拍摄的第二校准物体的第三校准图像;
第四校准图像获取模块,用于启动第二摄像头,并获取用户采用第二摄像头拍摄第二校准物体得到的第四校准图像;
第二校准矩阵确定模块,用于根据第三校准图像和第四校准图像之间的差异确定前置屏下图像恢复系数校准矩阵;
第二校准恢复图像确定模块,用于采用所述前置屏下图像恢复系数校准矩阵对所述第一图像进行处理,得到第二校准恢复图像;
第二迭代优化模块,用于向用户展示所述第二校准恢复图像,并在接收到用户点击输入的第二图像继续校准指令后对所述前置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像恢复系数校准矩阵对所述第一图像重新进行处理得到第二校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
第二模型更新模块,用于根据所述前置屏下图像恢复系数校准矩阵更新所述第一图像恢复模型。
可选的,屏下拍照处理装置还包括:
第五校准图像获取模块,用于接收到用户的第二图像校准指令后,启动第三摄像头,并获取用户采用第三摄像头拍摄第二校准物体得到的第五校准图像;
第三校准矩阵确定模块,用于根据第三校准图像和第五校准图像之间的差异确定前置屏下图像转换系数校准矩阵;
第四校准矩阵确定模块,用于根据第四校准图像和第五校准图像之间的差异确定第二后置屏下图像恢复系数校准矩阵;
第三校准恢复图像确定模块,用于采用前置屏下图像转换系数校准矩阵对所述第一图像进行处理得到第二转换图像,并采用第二后置屏下图像恢复系数校准矩阵对所述第二转换图像进行处理得到第三校准恢复图像;
第三迭代优化模块,用于向用户展示所述第三校准恢复图像,并在接收到用户的第二图像继续校准指令后对所述前置屏下图像转换系数校准矩阵和所述第二后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像转换系数校准矩阵对所述第一图像重新进行处理得到第二转换图像,并采用迭代优化后的第二后置屏下图像恢复系数校准矩阵对重新处理得到的第二转换图像进行处理得到第三校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
第三模型更新模块,用于根据所述前置屏下图像转换系数校准矩阵更新所述第一图像转换模型,以及根据所述第二后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
可选的,第一恢复图像确定模块具体用于:
通过第一图像恢复模型选择与当前拍摄环境条件对应的前置屏下图像恢复系数矩阵,其中,所述第一图像恢复模型包括多个不同的环境条件分别对应的前置屏下图像恢复系数矩阵;
相应的,图像优化模块具体用于:
通过第一图像转换模型选择与当前拍摄环境条件对应的前置屏下图像转换系数矩阵,以及通过所述第二图像恢复模型选择与当前拍摄环境条件对应的后置屏下图像转换系数矩阵;其中,所述第一图像转换模型包括多个不同的环境条件分别对应的前置屏下图像转换系数矩阵,所述第二图像恢复模型包括多个不同的环境条件分别对应的后置屏下图像恢复系数矩阵。
可选的,所述前置屏下图像恢复系数矩阵根据所述第一摄像头和所述第二摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定;
所述前置屏下图像转换系数矩阵根据所述第一摄像头和所述第三摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定,所述后置屏下图像恢复系数矩阵根据所述第二摄像头和所述第三摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异和在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定。
具体的,本发明实施例提供的显示装置可以为手机、具有显示功能的可穿戴设备、计算机等显示装置。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整、相互结合和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种屏下拍照处理方法,应用于显示装置,所述显示装置包括设置于屏下的第一摄像头和设置于非屏下的第二摄像头,其特征在于,
所述屏下拍照处理方法包括:
获取用户采用第一摄像头拍摄的第一图像;
采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像;其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所确定。
2.根据权利要求1所述的方法,其特征在于,所述显示装置还包括用于模拟所述第一摄像头屏下拍照的第三摄像头,所述第三摄像头拍摄图像时光线穿过透明遮挡件后进入所述第三摄像头;
所述方法还包括:
向用户展示所述第一恢复图像;
接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像;其中,所述第一图像转换模型根据所述第一摄像头和所述第三摄像头在第二预设条件下拍摄的图像的差异确定,所述第二图像恢复模型根据所述第二摄像头和所述第三摄像头在第三预设条件下拍摄的图像的差异所确定。
3.根据权利要求2所述的方法,其特征在于,还包括:
将所述第二恢复图像向用户展示;
接收到用户的第一图像校准指令后,控制第二摄像头启动,并获取用户采用第二摄像头拍摄第一校准物体得到的第一校准图像;
控制第三摄像头启动,并获取用户采用第三摄像头拍摄第一校准物体得到的第二校准图像;
根据所述第一校准图像和所述第二校准图像的差异确定第一后置屏下图像恢复系数校准矩阵;
采用所述第一后置屏下图像恢复系数校准矩阵对所述第一转换图像进行处理得到第一校准恢复图像;
向用户展示所述第一校准恢复图像,并在接收到用户点击输入的第一图像继续校准指令后对所述第一后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的第一后置屏下图像恢复系数校准矩阵对所述第一转换图像重新进行处理得到第一校准恢复图像,直至用户不再点击输入第一图像继续校准指令;
根据最终确定的所述第一后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
4.根据权利要求1-3任一项所述的方法,其特征在于,还包括:
接收到用户点击输入的第二图像校准指令后,启动第一摄像头,并获取用户采用第一摄像头拍摄的第二校准物体的第三校准图像;
启动第二摄像头,并获取用户采用第二摄像头拍摄第二校准物体得到的第四校准图像;
根据第三校准图像和第四校准图像之间的差异确定前置屏下图像恢复系数校准矩阵;
采用所述前置屏下图像恢复系数校准矩阵对所述第一图像进行处理,得到第二校准恢复图像;
向用户展示所述第二校准恢复图像,并在接收到用户点击输入的第二图像继续校准指令后对所述前置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像恢复系数校准矩阵对所述第一图像重新进行处理得到第二校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
根据所述前置屏下图像恢复系数校准矩阵更新所述第一图像恢复模型。
5.根据权利要求4所述的方法,其特征在于,还包括:
接收到用户的第二图像校准指令后,启动第三摄像头,并获取用户采用第三摄像头拍摄第二校准物体得到的第五校准图像;
根据第三校准图像和第五校准图像之间的差异确定前置屏下图像转换系数校准矩阵;
根据第四校准图像和第五校准图像之间的差异确定第二后置屏下图像恢复系数校准矩阵;
采用前置屏下图像转换系数校准矩阵对所述第一图像进行处理得到第二转换图像,并采用第二后置屏下图像恢复系数校准矩阵对所述第二转换图像进行处理得到第三校准恢复图像;
向用户展示所述第三校准恢复图像,并在接收到用户的第二图像继续校准指令后对所述前置屏下图像转换系数校准矩阵和所述第二后置屏下图像恢复系数校准矩阵进行迭代优化,采用迭代优化后的前置屏下图像转换系数校准矩阵对所述第一图像重新进行处理得到第二转换图像,并采用迭代优化后的第二后置屏下图像恢复系数校准矩阵对重新处理得到的第二转换图像进行处理得到第三校准恢复图像,直至用户不再点击输入第二图像继续校准指令;
根据所述前置屏下图像转换系数校准矩阵更新所述第一图像转换模型;
根据所述第二后置屏下图像恢复系数校准矩阵更新所述第二图像恢复模型。
6.根据权利要求2所述的方法,其特征在于,
采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像包括:
通过第一图像恢复模型选择与当前拍摄环境条件对应的前置屏下图像恢复系数矩阵,其中,所述第一图像恢复模型包括多个不同的环境条件分别对应的前置屏下图像恢复系数矩阵;
相应的,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像,包括:
通过第一图像转换模型选择与当前拍摄环境条件对应的前置屏下图像转换系数矩阵,以及通过所述第二图像恢复模型选择与当前拍摄环境条件对应的后置屏下图像转换系数矩阵;其中,所述第一图像转换模型包括多个不同的环境条件分别对应的前置屏下图像转换系数矩阵,所述第二图像恢复模型包括多个不同的环境条件分别对应的后置屏下图像恢复系数矩阵。
7.根据权利要求6所述的方法,其特征在于:
所述前置屏下图像恢复系数矩阵根据所述第一摄像头和所述第二摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定;
所述前置屏下图像转换系数矩阵根据所述第一摄像头和所述第三摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异以及在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定,所述后置屏下图像恢复系数矩阵根据所述第二摄像头和所述第三摄像头在相同位置和相同环境条件下拍摄的同一预设物体的图像的差异和在相同位置和相同环境条件下拍摄的同一环境场景的图像的差异确定。
8.一种显示装置,其特征在于,包括:
设置于屏下的第一摄像头、设置于非屏下的第二摄像头和屏下拍照处理装置;
所述屏下拍照处理装置包括:
第一图像获取模块,用于获取用户采用第一摄像头拍摄的第一图像;
第一图像恢复确定模块,用于采用第一图像恢复模型对所述第一图像进行处理,得到第一恢复图像;其中,所述第一图像恢复模型根据所述第一摄像头和所述第二摄像头在第一预设条件下拍摄的图像的差异所述确定。
9.根据权利要求8所述的显示装置,其特征在于:
所述显示装置还包括显示面板和第三摄像头,所述第三摄像头的入光面设置有透明遮挡件;
所述屏下拍照处理装置还包括:
图像优化模块,用于接收到用户的图像优化指令后,采用第一图像转换模型对所述第一图像进行处理得到第一转换图像,并采用第二图像恢复模型对所述第一转换图像进行处理得到第二恢复图像;其中,所述第一图像转换模型根据所述第一摄像头和所述第三摄像头在第二预设条件下拍摄的图像的差异确定,所述第二图像恢复模型根据所述第二摄像头和所述第三摄像头在第三预设条件下拍摄的图像的差异所确定,且所述第三摄像头拍摄图像时光线穿过透明遮挡件后进入所述第三摄像头。
10.根据权利要求8所述的显示装置,其特征在于,还包括:
显示面板,所述显示面板包括透明显示区,所述第一摄像头设置于所述透明显示区的非出光侧,且所述第一摄像头的入光面邻近所述透明显示区。
CN202210686835.1A 2022-06-16 2022-06-16 一种显示装置及屏下拍照处理方法 Pending CN115100054A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210686835.1A CN115100054A (zh) 2022-06-16 2022-06-16 一种显示装置及屏下拍照处理方法
PCT/CN2022/129156 WO2023240898A1 (zh) 2022-06-16 2022-11-02 一种显示装置及屏下拍照处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210686835.1A CN115100054A (zh) 2022-06-16 2022-06-16 一种显示装置及屏下拍照处理方法

Publications (1)

Publication Number Publication Date
CN115100054A true CN115100054A (zh) 2022-09-23

Family

ID=83290829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210686835.1A Pending CN115100054A (zh) 2022-06-16 2022-06-16 一种显示装置及屏下拍照处理方法

Country Status (2)

Country Link
CN (1) CN115100054A (zh)
WO (1) WO2023240898A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240898A1 (zh) * 2022-06-16 2023-12-21 昆山国显光电有限公司 一种显示装置及屏下拍照处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019051683A1 (zh) * 2017-09-13 2019-03-21 深圳传音通讯有限公司 补光拍照方法、移动终端及计算机可读存储介质
CN112785507A (zh) * 2019-11-07 2021-05-11 上海耕岩智能科技有限公司 图像处理方法及装置、存储介质、终端
CN112004077B (zh) * 2020-08-17 2022-06-07 Oppo(重庆)智能科技有限公司 屏下摄像头的校准方法、装置、存储介质与电子设备
CN111951192A (zh) * 2020-08-18 2020-11-17 义乌清越光电科技有限公司 一种拍摄图像的处理方法及拍摄设备
CN112887598A (zh) * 2021-01-25 2021-06-01 维沃移动通信有限公司 图像处理方法、装置、拍摄支架、电子设备及可读存储介质
CN115100054A (zh) * 2022-06-16 2022-09-23 昆山国显光电有限公司 一种显示装置及屏下拍照处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023240898A1 (zh) * 2022-06-16 2023-12-21 昆山国显光电有限公司 一种显示装置及屏下拍照处理方法

Also Published As

Publication number Publication date
WO2023240898A1 (zh) 2023-12-21

Similar Documents

Publication Publication Date Title
JP4799329B2 (ja) ムラ検査方法、表示パネルの製造方法及びムラ検査装置
US8547421B2 (en) System for adaptive displays
EP1433139B1 (en) Device and method for digitizing an object
US10623697B2 (en) Display panel, display device and image pickup method therefor
CN111311523A (zh) 图像处理方法、装置、系统和电子设备
CN102314259A (zh) 一种在显示区域内检测物体的方法和设备
CN111586273B (zh) 电子设备及图像获取方法
CN112085659A (zh) 一种基于球幕相机的全景拼接融合方法、系统及存储介质
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN115100054A (zh) 一种显示装置及屏下拍照处理方法
WO2001071421A1 (en) Red-eye correction by image processing
CN100423545C (zh) 照相机及其附件、以及照相机系统
CN111953879A (zh) 屏下摄像头模组、电子设备及照片拍摄方法
JPH10262164A (ja) 画像入力装置、画像入力方法および記憶媒体
CN110536049A (zh) 图像采集设备、图像采集方法、电子设备及成像装置
CN106060416A (zh) 一种智能拍照方法
CN114554050B (zh) 图像处理方法、装置和设备
CN112985767B (zh) 一种显示面板的像素亮度拍摄的方法及相关装置
CN113966485B (zh) 显示屏、终端设备以及屏下相机成像控制方法
CN111128046B (zh) 一种led显示屏幕的无透镜成像装置及方法
CN113810677A (zh) 屏幕的亮度调节方法、终端及可读存储介质
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
CN116242254B (zh) 手机屏体及fpc上预留基准点的同步检测方法和装置
CN104125385A (zh) 影像编辑方法以及影像处理装置
US20240054619A1 (en) Differently correcting images for different eyes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination