CN114785908A - 电子设备、电子设备的图像获取方法及计算机可读存储介质 - Google Patents

电子设备、电子设备的图像获取方法及计算机可读存储介质 Download PDF

Info

Publication number
CN114785908A
CN114785908A CN202210419583.6A CN202210419583A CN114785908A CN 114785908 A CN114785908 A CN 114785908A CN 202210419583 A CN202210419583 A CN 202210419583A CN 114785908 A CN114785908 A CN 114785908A
Authority
CN
China
Prior art keywords
image
display screen
display
actual
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210419583.6A
Other languages
English (en)
Inventor
崔志佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210419583.6A priority Critical patent/CN114785908A/zh
Publication of CN114785908A publication Critical patent/CN114785908A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开电子设备及电子设备的图像获取方法。电子设备包括显示屏、摄像头和处理器。摄像头设于显示屏下方并与显示屏的产生画面的区域对应,摄像头能捕获穿过显示屏的光线以拍摄图像。处理器用于获取显示屏中的实际显示画面,启动摄像头进行拍摄以获取实际拍摄图像,及将实际显示画面和实际拍摄图像输入图像处理模型中处理以获取目标图像。实际拍摄图像中包含与实际显示画面相关的干扰元素,目标图像为实际拍摄图像中去除掉干扰元素后的图像。本申请避免在显示屏上开孔,保证了高屏占比。实际拍摄图像中虽含干扰元素,但处理器将实际拍摄图像和实际显示画面输入图像处理模型中处理,得到去除掉干扰元素后的目标图像,图像质量较佳。

Description

电子设备、电子设备的图像获取方法及计算机可读存储介质
技术领域
本申请涉及成像技术领域,更具体而言,涉及一种电子设备及电子设备的图像获取方法。
背景技术
目前,手机、IPAD、笔记本电脑等电子设备主要是在显示屏上开槽或者挖孔,再将摄像头安装在槽或孔的下方,在拍照的时候能够避免摄像头上方的显示屏对摄像头成像的干扰。然而,这种结构设计会导致显示屏的屏占比比较小,在如今日益追求大屏占比的今天并不具备竞争力。为了解决电子设备屏占比小的问题,电子设备会采用屏下摄像头,即,摄像头设置在显示屏下方,且与摄像头对应的区域并不开槽或开孔。尽管此种设计会保证电子设备的屏占比,但是,在显示屏被点亮时,由于显示屏中像素向显示屏外发光时,会被盖板反射进入屏下摄像头,使得屏下摄像头拍得的图像质量不佳。
发明内容
本申请实施方式提供一种电子设备及电子设备的图像获取方法,用于至少解决图像质量不佳的问题。
本申请实施方式的电子设备包括显示屏、摄像头和处理器。所述显示屏用于显示以产生画面。所述摄像头设置于所述显示屏下方并与所述显示屏的产生画面的区域对应,所述摄像头能够捕获穿过所述显示屏的光线以拍摄图像。所述处理器用于:获取所述电子设备的显示屏中的实际显示画面,启动位于所述显示屏下方的摄像头进行拍摄以获取实际拍摄图像,及将所述实际显示画面和所述实际拍摄图像输入图像处理模型中处理以获取目标图像。所述实际拍摄图像中包含与所述实际显示画面相关的干扰元素,所述目标图像为所述实际拍摄图像中去除掉干扰元素后的图像。
本申请实施实施方式的电子设备的图像获取方法包括:获取所述电子设备的显示屏中的实际显示画面;启动位于所述显示屏下方的摄像头进行拍摄以获取实际拍摄图像,所述实际拍摄图像中包含与所述实际显示画面相关的干扰元素;及将所述实际显示画面和所述实际拍摄图像输入图像处理模型中处理以获取目标图像,所述目标图像为所述实际拍摄图像中去除掉干扰元素后的图像。
本申请实施方式的电子设备及电子设备的图像获取方法中,摄像头设置在显示屏下方,避免在显示屏上开孔,保证了电子设备的高屏占比。而且,由于在摄像头获取实际拍摄图像时显示屏仍正常显示,“实际拍摄图像”中虽然包含与显示屏的实际显示画面相关的干扰元素,但是可通过处理器将实际拍摄图像和实际显示画面输入到图像处理模型中进行处理,从而得到去除掉干扰元素后的目标图像,使得目标图像的图像质量较佳。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的电子设备的图像获取方法的流程示意图;
图2是本申请某些实施方式的电子设备的结构示意图;
图3是本申请某些实施方式的电子设备的另一结构示意图;
图4是本申请某些实施方式的电子设备执行图像获取方法的原理示意图;
图5是本申请某些实施方式的电子设备的图像获取方法的流程示意图;
图6是本申请某些实施方式的电子设备执行图像获取方法的原理示意图;
图7是本申请某些实施方式的电子设备的图像获取方法的流程示意图;
图8是本申请某些实施方式的电子设备的图像获取方法的流程示意图;
图9是本申请某些实施方式的电子设备执行图像获取方法的原理示意图;
图10是本申请某些实施方式的电子设备执行图像获取方法的原理示意图;
图11是本申请某些实施方式的电子设备执行图像获取方法的原理示意图;
图12是本申请某些实施方式的非易失性计算机可读存储介质和处理器的连接状态示意图。
主要元件符号说明:
电子设备100
壳体10
显示屏20、第一区域21、第二区域23
摄像头30
处理器40
存储单元50。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
目前,手机、IPAD、笔记本电脑等电子设备主要是在显示屏上开槽或者挖孔,再将摄像头安装在槽或孔的下方,在拍照的时候能够避免摄像头上方的显示屏对摄像头成像的干扰。然而,这种结构设计会导致显示屏的屏占比比较小,在如今日益追求大屏占比的今天并不具备竞争力。为了解决电子设备屏占比小的问题,电子设备会采用屏下摄像头,即,摄像头设置在显示屏下方,且与摄像头对应的区域并不开槽或开孔。尽管此种设计会保证电子设备的屏占比,但是,在显示屏被点亮时,由于显示屏中像素向显示屏外发光时,会被盖板反射进入屏下摄像头,使得屏下摄像头拍得的图像质量不佳。为解决此问题,本申请提供一种电子设备100及电子设备100的图像获取方法。
请参阅图1及图2,本申请实施方式提供的一种电子设备100的图像获取方法,包括:
01:获取电子设备100的显示屏20中的实际显示画面;
03:启动位于显示屏20下方的摄像头30进行拍摄以获取实际拍摄图像,实际拍摄图像中包含与实际显示画面相关的干扰元素;及
07:将实际显示画面和实际拍摄图像输入图像处理模型中处理以获取目标图像,目标图像为实际拍摄图像中去除掉干扰元素后的图像。
在某些实施方式中,电子设备100包括显示屏20、摄像头30和处理器40。显示屏20用于显示以产生画面。摄像头30设置于显示屏20下方,并与显示屏20的产生画面的区域对应。摄像头30能够捕获穿过显示屏20的光线以拍摄图像。处理器40用于:获取电子设备100的显示屏20中的实际显示画面,启动位于显示屏20下方的摄像头30进行拍摄以获取实际拍摄图像,及将实际显示画面和实际拍摄图像输入图像处理模型中处理以获取目标图像,实际拍摄图像中包含与实际显示画面相关的干扰元素,目标图像为实际拍摄图像中去除掉干扰元素后的图像。
其中,电子设备100可以但不局限于是手机、平板电脑(PAD)、笔记本电脑、手持游戏机、智能手表、智能手环、智能眼镜、或智能头盔等具有拍摄功能和显示功能的设备。本申请仅以电子设备100是手机为例进行说明。
请一并参阅图2及图3,进一步地,电子设备100还包括壳体10,显示屏20安装在壳体10上。本申请实施方式中,壳体10为手机的外壳,显示屏20与壳体10共同形成一收容腔15。摄像头30和处理器40均收容于收容腔15内。
显示屏20包括用于产生画面(显示图像)的多个图像像素。显示屏20可包括与摄像头30对应的第一区域21及环绕第一区域21的第二区域23。其中,第一区域21为透光实体区,第二区域23为非透光实体区,透光实体区的透光率大于等于50%。第一区域21和第二区域23均包含图像像素,用于显示数据信息。也即是说,第一区域21仍可以正常显示画面。在一个例子中,第一区域21的中心点在垂直显示屏20的方向上的投影与摄像头30的中心点在垂直显示屏20的方向上的投影重合。具体地,第一区域21在垂直显示屏20的方向上的投影覆盖摄像头30的镜头在垂直显示屏20的方向上的投影。如此使得光线可以穿过第一区域21到达摄像头30。第一区域21与周围的第二区域23等厚且连续。第一区域21可以设置在显示屏20的上端,也可以设置在显示屏20的下端,还可以设置在显示屏20的中间位置。本发明实施方式中,第一区域21设置在显示屏20的上端。
请参阅图3,显示屏20可包括显示层21及设置在显示层21上的盖板27。盖板27通过全贴合或者框贴的方式与显示层21固定,具体地,盖板27与显示层21可通过OCA光学胶25结合。显示层21可以是OLED(Organic Light-Emitting Diode)显示层、柔性OLED显示层或者AMOLED(Active-matrix organic light emitting diode)显示层。本申请实施方式中,显示层21为OLED显示层。当然,显示层21不限于上述种类,在实际应用中可根据实际需求选用合适的显示层21。
在某些实施方式中,可在设计显示层21时,在显示层21的显示区中设计小面积的透光区212,和盖板27的与透光区212对应的部分区域一同形成本申请实施方式的透光实体区(第一区域21),显示层21的上下两个表面仍然为完整的表面。盖板27覆盖整个显示层21。可以理解,盖板27的上下两个表面也仍然为完整的表面,也即是说,本申请实施方式的显示屏20的显示层21和盖板27均没有开设开孔用于使光线通过。可以在生产显示层21时就设计出小面积的透光区212用于形成透光实体区(第一区域21),此时透光区212仍可以正常显示图像。
在一个例子中,盖板27为触摸屏盖板27,也就是说,触摸屏的触控线路集成在盖板27内,点击盖板27便可实现触控功能。在某些实施方式中,盖板27包括两层结构,分别为触控面板层及设置在触控面板层上的保护盖板层,触控面板层用于实现显示屏20的触摸操作,保护盖板层用于保护触控面板层以避免直接触摸操作触控面板层而导致触控面板层损坏。盖板27可以由玻璃、蓝宝石、聚氯乙烯(PVC)等材料制成。当然,盖板27的材料不限于上述种类,在实际应用中可以根据实际需求选用合适的材料制造盖板27。
进一步地,显示屏20还可包括偏光片23。偏光片23设置于显示层21与盖板27之间,由于显示层21内部有图像像素,每个图像像素都是由一些电子元器件(金属电极等)及电子线路组成,亮晶晶的金属电极类似于一面面的镜子,当人眼盯着显示屏20观看时,金属电极的反射光会对人眼产生非常大的影响,本申请的显示屏20将偏光片23设置在显示层21与盖板27之间,外界光线在经过偏光片23进入显示层21时变成圆偏光,圆偏光被金属电极反射并再次经过偏光片23时被偏光片23吸收掉了,即,偏光片23可用于消除被显示层21反射而产生的反射光,由此能够保护人眼观看到显示屏20显示画面的舒适度。
请一并参阅图3及图4,显示屏20在正常工作时,显示屏20中显示的画面被称作为实际显示画面,也就是如图4中左图所示。其中,实际显示画面是在使用电子设备100时显示屏20显示的任意画面,包括但不限于各种类型的静态图和动态图(视频画面)。当实际显示画面为静态图时,静态图可以是用于锁屏的背景图(例如纯色背景图、建筑背景图、风景背景图、人物背景图)、用户存储在相册中的各种照片、或使用手机时应用界面画面等。当实际显示画面为动态图时,动态图可以是动态的视频画面,例如:相册中的视频画面、各种APP中关联的视频画面、电影画面、或电视剧画面等等。
摄像头30位于显示屏20的下方,在显示屏20不启动,即,显示屏20未被点亮而不显示画面时,处理器40若控制摄像头30拍摄,摄像头30拍摄出的图像一般不会受到显示屏20的影响,此时的图像的品质能够符合用户的需求。但是,在显示屏20启动,即,显示屏20被点亮而显示画面时,处理器40若控制摄像头30拍摄,摄像头30拍摄出的图像一般会受到显示屏20发出的光线的影响(具体影响可以参见背景技术介绍),此时摄像头30拍摄到的图像称为“实际拍摄图像”,如图4的中间图所示,“实际拍摄图像”中包含与实际显示画面相关的干扰元素,例如存在横竖条纹或者具有一定模糊程度,此时的图像品质并不能够符合用户的需求。本申请的图像获取方法中,并不是直接使用实际拍摄图像,而是在摄像头30拍到实际拍摄图像后,再通过处理器40获取到实际显示画面,并将实际拍摄图像和实际显示画面输入到预先设定好的的图像处理模型中,从而得到目标图像,其中目标图像是实际拍摄图像中去除掉干扰元素后的图像,即去除掉横竖条纹和/或消除了模糊程度后的图像。换句话说,目标图像的品质与显示屏20未被点亮而不显示画面时,摄像头30拍摄出的图像品质一致;甚至为,目标图像的品质与摄像头30直拍(进入摄像头30的光线未经过显示屏20,此时,显示屏20开槽或孔,摄像头30位于槽或孔的下方)出的图像的品质一致。
本申请的电子设备100及电子设备100的图像获取方法中,显示屏20在生产时在摄像头30对应的位置预留出小面积的透光区212形成透光实体区(第一区域21)的一部分,由于置于透光区212正上方区域的盖板27透光,使光线通过第一区域21进入摄像头30,实现不在显示屏20上开孔,也能使摄像头30接收电子设备100的外部光线,保证了电子设备100的高屏占比。进一步地,由于在摄像头30获取实际拍摄图像时显示屏20仍正常显示,“实际拍摄图像”中虽然包含与显示屏20的实际显示画面相关的干扰元素,但是可通过处理器40将实际拍摄图像和实际显示画面输入到图像处理模型中进行处理,从而得到去除掉干扰元素后的目标图像,使得目标图像的图像质量较佳。
另外,由于第一区域21的中心点在垂直显示屏20的方向上的投影与摄像头30的中心点在垂直显示屏20的方向上的投影重合,摄像头20获取到的光线更多,拍摄效果更好。而且,电子设备100在显示屏20上预留透光实体区122,避免在显示屏20上开通孔,增加了电子设备100的美感。
请一并参阅图5及图6,在某些实施方式中,01:获取电子设备100的显示屏20中的实际显示画面,包括:
011:获取电子设备100的显示屏20中第一区域21的实际显示画面。
在某些实施方式中,处理器40还用于获取电子设备100的显示屏20中第一区域21的实际显示画面。
显示屏20包括第一区域21及环绕第一区域21的第二区域23,而摄像头30仅与第一区域21对应,那么摄像头30拍得的实际拍摄图像中的干扰元素大多是因为第一区域21的实际显示画面(图6中的最右图)带来的,那么如果在获取目标图像时,一方面,直接将第一区域21的实际显示画面和实际拍摄图像输入进图像处理模型中进行处理,使得图像处理起来更精准,干扰元素找的也更精准,从而使得目标图像的品质会更好。另一方面,只将第一区域21的实际显示画面和实际拍摄图像输入进图像处理模型中进行处理,避免处理显示屏20整屏显示的画面(图6中的中间图),而仅处理第一区域21显示的画面,能够减小画面处理的数据量,提升图像处理效率。
请参阅图7,在某些实施方式中,电子设备100的图像获取方法还可包括:
05:通过模型训练的方式获取图像处理模型。
请参阅图2,在某些实施方式中,处理器40还用于通过模型训练的方式获取图像处理模型。
在一些实施方式中,电子设备100还可包括存储单元50。图像处理模型可以是电子设备100在出厂之前经过训练好,并存储在存储单元50中的,后续处理器40要使用时,即执行07中的方法时,可以从存储单元50中读取即可。此种情况下,图像处理模型为大量的数据训练得到的,样本的数据量非常大,能够基本适应各种实际拍摄的情况,而且也能适应于同一款的多台电子设备100,简化了生产工艺。本实施方式采用直接调用现存的图像处理模型的方式来获取目标图像,能节省用户的拍照时间,用户体验好。
然而,随着使用时间的推移,很多电子设备100的内部结构可能因为撞击、掉落等原因相较于出厂时发生了较大变化,再使用出厂时的图像处理模型会不适合;或者是,同一款的多台电子设备100因为使用环境导致相互之间的差异越来越大,他们在使用相同的图像处理模型,拍得的目标图像的效果也会参差不齐,会导致使用同款电子设备100的不同用户的不满;再或者是,即便电子设备100的内部环境没有发生变化,使用同款电子设备100的不同用户也不会因为图像品质差异感到不满,但是电子设备100在出厂前训练得到的图像处理模型,会与实际拍摄时的场景始终存在差异,这些差异本身就会导致图像处理模型不会一直适配,采用不适配的图像处理模型会导致获得的目标图像并不全是高品质的图像。
为了解决这些问题,在另一些实施方式中,电子设备100可在出厂之前存储一个初始的图像处理模型在存储单元50中,初始的图像处理模型如上实施方式一样,是在出厂之前经过训练好的。而每次在实际拍摄的时候,会将各种相关的数据存储在存储单元50中,在数据积累到预定数量之后,根据存储的数据训练出一个新的数据处理模型,并更新存储至存储单元50中,后续再拍照的时候(执行07中的方法),就可以采用更新后的数据处理模型来进行图像处理。而在数据积累到一定预定数量之前,都可采用初始的处理模型来进行图像处理。当然,后续每次的实际拍摄都可将各种相关的数据存储在存储单元50中,在数据积累到下一个预定数量之后,根据存储的总数据(此时总共两个预定数量)再训练出第二个新的数据处理模型,并再更新存储至存储单元50中,后续再拍照的时候(执行07中的方法),就可以采用第二次更新后的数据处理模型来进行图像处理,而在数据积累到下一个预定数量之前,仍然采用上一次更新的图像处理模型来进行图像处理,如此迭代下去,就可以一直保持图像处理模型与电子设备100的内部结构、外部环境、以及使用场景相适配,使得最终获取的目标图像的品质能一直保持在较高的水平。
请参阅8,在某些实施方式中,05:通过模型训练的方式获取图像处理模型,包括:
051:获取显示屏20多次显示的不同画面,以作为多帧训练用显示画面;
053:根据显示屏20的像素结构、多帧训练用显示画面、及直拍图像,仿真出带干扰元素的多帧干扰图像,每帧干扰图像对应一帧训练用显示画面及一帧直拍图像,直拍图像为摄像头30不被显示屏20遮挡而直接拍摄得到的图像,干扰元素包括横竖条纹及模糊度中的一种;及
055:根据多帧训练用显示画面、多帧干扰图像、及直拍图像训练出图像处理模型。
请参阅图2,在某些实施方式中,处理器40还用于:获取显示屏20多次显示的不同画面,以作为多帧训练用显示画面;根据显示屏20的像素结构、多帧训练用显示画面、及直拍图像,仿真出带干扰元素的多帧干扰图像,每帧干扰图像对应一帧训练用显示画面及一帧直拍图像,直拍图像为摄像头30不被显示屏20遮挡而直接拍摄得到的图像,干扰元素包括横竖条纹及模糊度中的一种;及根据多帧训练用显示画面、多帧干扰图像、及直拍图像训练出图像处理模型。
如前所述,通过模型训练的方式获取图像处理模型可以是电子设备100出厂前就执行完成的,也可以是在电子设备100被使用的过程中执行的。也就是本实施方式中的051、053、055均可以电子设备100出厂前就执行完成的,也可以均在电子设备100被使用的过程中执行的。
请结合图9及图10,处理器40可以先控制显示屏20呈现不同的画面,例如图10第一行第一帧图像为无杂散光干扰(显示屏20未点亮)时,显示屏20呈现的界面,该界面可被称作图9中最左边第一行的“训练用显示画面1”;图10第一行第二帧图像为显示屏20发白光时,显示屏20显示的画面,该画面可被称作图9中最左边第二行的“训练用显示画面2”;图10第一行第三帧图像为显示屏20发灰光时,显示屏20显示的画面,该画面可被称作图9中最左边第三行的“训练用显示画面3”;图10第一行第四帧图像为显示屏20发黄光时,显示屏20显示的画面,该画面可被称作图9中最左边第四行的“训练用显示画面4”;图10第一行第五帧图像为显示屏20发蓝光时,显示屏20显示的画面,该画面可被称作图9中最左边第五行的“训练用显示画面5”。需要说明的是,由于绘图界限的限制,“训练用显示画面4”和“训练用显示画面5”并未在图9中呈现出来,但是可实际存在的。
在方法053中,在一个例子中,“直拍图像”可以是显示屏20未点亮时,电子设备100通过摄像头30拍得的图像,如图10中第三行中的图像。此时,“直拍图像”可以是在显示屏20与摄像头30组装在一起时实施的,即053的方法可以是在电子设备100被使用的过程中实施的。其中,“直拍图像1”~“直拍图像n”可以相同,例如,都是电子设备100利用摄像头30对着同一张人脸进行拍摄得到的;或者,“直拍图像1”~“直拍图像n”可以不相同,例如,是电子设备100利用摄像头30分别对着n张人脸进行拍摄得到的;或者“直拍图像1”~“直拍图像n”中可以部分相同,部分不同。
在另一个例子中,“直拍图像”可以是在摄像头30和显示屏20没有组装在一起时,摄像头30直接拍摄物体得到的,即,进入摄像头30的光线没有经过显示屏20,而是直接进入摄像头30成像的,如图10中第三行中的图像。即,053的方法可以是在电子设备100出厂前,进行训练图像处理模型的过程中实施的。同样地,“直拍图像1”~“直拍图像n”可以相同;或者,“直拍图像1”~“直拍图像n”可以不相同;或者“直拍图像1”~“直拍图像n”中可以部分相同,部分不同。
请参阅图11,显示屏30的像素结构为已知,主要包括像素结构的分布,可预存在存储单元50中。在获取到多帧“训练用显示画面”和多帧“直拍图像”后,可与已知的显示屏30的像素结构一起仿真出带干扰元素的干扰图像(图10中第二行中图像)。
需要说明的是,“训练用显示画面”、“直拍图像”和“干扰图像”三者具有一一对应关系,如图9所示,“训练用显示画面1”、“直拍图像1”和“干扰图像1”一一对应,“训练用显示画面2”、“直拍图像2”和“干扰图像2”一一对应,“训练用显示画面3”、“直拍图像3”和“干扰图像3”一一对应,“训练用显示画面n”、“直拍图像n”和“干扰图像n”一一对应。
要实现一一对应关系,则在获取一一对应的“训练用显示画面”、“直拍图像”和“干扰图像”的时候可以采用如下第一种方式:保持电子设备100不动,在无杂散光干扰(显示屏20未点亮)时获取显示屏20呈现的界面作为“训练用显示画面1”后,保持显示屏20未点亮,电子设备100通过摄像头30拍得图像,该图像即为“直拍图像1”,也可以作为后续的“直拍图像2”至“直拍图像n”;接着,处理器40控制显示屏20发白光,并获取显示屏中显示的画面以作为“训练用显示画面2”;接着处理器40控制显示屏20发灰光,并获取显示屏中显示的画面以作为“训练用显示画面3”;接着处理器40控制显示屏20黄光,并获取显示屏中显示的画面以作为“训练用显示画面4”;接着处理器40控制显示屏20蓝光,并获取显示屏中显示的画面以作为“训练用显示画面5”,直到获取到“训练用显示画面n”。由此,就可以获取一一对应的n帧“直拍图像”和n帧“训练用显示画面”。其中,n帧“直拍图像”可以是完全相同的图像。最后,再利用一一对应的n帧“直拍图像”和n帧“训练用显示画面”,及显示屏20的像素结构采用图11中的方式训练出n帧干扰图像。
当然,获取一一对应的“训练用显示画面”、“直拍图像”和“干扰图像”也可以采用如下第二种方式:在无杂散光干扰(显示屏20未点亮)时获取显示屏20呈现的界面作为“训练用显示画面1”后,保持显示屏20未点亮,电子设备100通过摄像头30拍得图像,该图像即为“直拍图像1”;接着,移动电子设备100,处理器40先控制显示屏20未点亮,且电子设备100通过摄像头30获取“直拍图像2”,处理器40再控制显示屏20发白光,并获取显示屏20中显示的画面以作为“训练用显示画面2”;接着,移动电子设备100,处理器40先控制显示屏20未点亮,且电子设备100通过摄像头30获取“直拍图像3”,处理器40再控制显示屏20发灰光,并获取显示屏20中显示的画面以作为“训练用显示画面3”;接着,移动电子设备100,处理器40先控制显示屏20未点亮,且电子设备100通过摄像头30获取“直拍图像4”,处理器40再控制显示屏20黄光,并获取显示屏20中显示的画面以作为“训练用显示画面4”;接着,移动电子设备100,处理器40先控制显示屏20未点亮,且电子设备100通过摄像头30获取“直拍图像5”,处理器40再控制显示屏20蓝光,并获取显示屏20中显示的画面以作为“训练用显示画面5”,直到获取到“训练用显示画面n”。由此,就可以获取一一对应的n帧“直拍图像”和n帧“训练用显示画面”。其中,n帧“直拍图像”可以是完全不同的,也可以是部分相同,部分相同的图像。最后,再利用一一对应的n帧“直拍图像”和n帧“训练用显示画面”,及显示屏20的像素结构采用图11中的方式训练出n帧干扰图像。
在某些实施方式中,在训练用显示画面包括不同颜色的画面区域时,不同颜色的画面区域对应的干扰元素不同。
具体地,请参阅图10,在训练用显示画面包括白色画面区域时,与白色画面区域对应的干扰元素包括横竖条纹及第一模糊度,横竖条纹具有第一粗细,模糊具有第一程度。在训练用显示画面包括灰色画面区域时,与灰色画面区域对应的干扰元素包括横竖条纹及第二模糊度,横竖条纹具有第二粗细,第二粗细小于第一粗细,第二模糊度小于第一模糊度。在训练用显示画面包括黄色画面区域时,与黄色画面区域对应的干扰元素包括横竖条纹及第三模糊度,横竖条纹具有第三粗细,第三粗细小于第一粗细,第三模糊度小于第一模糊度。在训练用显示画面包括蓝色画面区域时,与蓝色画面区域对应的干扰元素包括横竖条纹及第四模糊度,横竖条纹具有第四粗细,第四粗细小于第一粗细,第四模糊度小于第一模糊度。
请参阅图12,本申请实施方式的一种存储有计算机程序202的非易失性计算机可读存储介质200,当计算机程序202被一个或多个处理器40执行时,使得处理器40可执行上述任一实施方式的图像生成方法。
例如,请结合图1,当计算机程序202被一个或多个处理器40执行时,使得处理器40执行以下方法:
01:获取电子设备100的显示屏20中的实际显示画面;
03:启动位于显示屏20下方的摄像头30进行拍摄以获取实际拍摄图像,实际拍摄图像中包含与实际显示画面相关的干扰元素;及
07:将实际显示画面和实际拍摄图像输入图像处理模型中处理以获取目标图像,目标图像为实际拍摄图像中去除掉干扰元素后的图像。
再例如,请结合图5,当计算机程序202被一个或多个处理器40执行时,处理器40还可以执行以下方法:
011:获取电子设备100的显示屏20中第一区域21的实际显示画面。
再例如,请结合图7,当计算机程序202被一个或多个处理器40执行时,处理器40还可以执行以下方法:
05:通过模型训练的方式获取图像处理模型。
再例如,请结合图8,当计算机程序202被一个或多个处理器40执行时,处理器40还可以执行以下方法:
051:获取显示屏20多次显示的不同画面,以作为多帧训练用显示画面;
053:根据显示屏20的像素结构、多帧训练用显示画面、及直拍图像,仿真出带干扰元素的多帧干扰图像,每帧干扰图像对应一帧训练用显示画面及一帧直拍图像,直拍图像为摄像头30不被显示屏20遮挡而直接拍摄得到的图像,干扰元素包括横竖条纹及模糊度中的一种;及
055:根据多帧训练用显示画面、多帧干扰图像、及直拍图像训练出图像处理模型。
在本说明书的描述中,参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种电子设备,其特征在于,包括:
显示屏,用于显示以产生画面;
摄像头,设置于所述显示屏下方,并与所述显示屏的产生画面的区域对应,所述摄像头能够捕获穿过所述显示屏的光线以拍摄图像;及
处理器,用于获取所述电子设备的显示屏中的实际显示画面,启动位于所述显示屏下方的摄像头进行拍摄以获取实际拍摄图像,及将所述实际显示画面和所述实际拍摄图像输入图像处理模型中处理以获取目标图像,所述实际拍摄图像中包含与所述实际显示画面相关的干扰元素,所述目标图像为所述实际拍摄图像中去除掉干扰元素后的图像。
2.根据权利要求1所述的电子设备,其特征在于,所述显示屏包括与所述摄像头对应的第一区域及环绕所述第一区域的第二区域,所述处理器还用于获取所述电子设备的显示屏中第一区域的实际显示画面。
3.根据权利要求1所述的电子设备,其特征在于,所述处理器还用于通过模型训练的方式获取所述图像处理模型。
4.根据权利要求3所述的电子设备,其特征在于,所述处理器还用于:
获取所述显示屏多次呈现的不同画面,以作为多帧训练用显示画面;
根据所述显示屏的像素结构、多帧所述训练用显示画面、及直拍图像,仿真出带所述干扰元素的多帧干扰图像,每帧所述干扰图像对应一帧所述训练用显示画面及一帧直拍图像,所述直拍图像为所述摄像头不被所述显示屏遮挡而直接拍摄得到的图像,所述干扰元素包括横竖条纹及模糊度中的一种;及
根据多帧所述训练用显示画面、多帧所述干扰图像、及所述直拍图像训练出所述图像处理模型。
5.根据权利要求4所述的电子设备,其特征在于,在所述训练用显示画面包括不同颜色的画面区域时,不同颜色的画面区域对应的所述干扰元素不同。
6.一种电子设备的图像获取方法,其特征在于,包括:
获取所述电子设备的显示屏中的实际显示画面;
启动位于所述显示屏下方的摄像头进行拍摄以获取实际拍摄图像,所述实际拍摄图像中包含与所述实际显示画面相关的干扰元素;及
将所述实际显示画面和所述实际拍摄图像输入图像处理模型中处理以获取目标图像,所述目标图像为所述实际拍摄图像中去除掉干扰元素后的图像。
7.根据权利要求6所述的图像获取方法,其特征在于,所述显示屏包括与所述摄像头对应的第一区域及环绕所述第一区域的第二区域,所述获取所述电子设备的显示屏中的实际显示画面,包括:
获取所述电子设备的显示屏中第一区域的实际显示画面。
8.根据权利要求6所述的图像获取方法,其特征在于,还包括:
通过模型训练的方式获取所述图像处理模型。
9.根据权利要求8所述的图像获取方法,其特征在于,所述通过模型训练的方式获取所述图像处理模型,包括:
获取所述显示屏多次呈现的不同画面,以作为多帧训练用显示画面;
根据所述显示屏的像素结构、多帧所述训练用显示画面、及直拍图像,仿真出带所述干扰元素的多帧干扰图像,每帧所述干扰图像对应一帧所述训练用显示画面及一帧直拍图像,所述直拍图像为所述摄像头不被所述显示屏遮挡而直接拍摄得到的图像,所述干扰元素包括横竖条纹及模糊度中的一种;及
根据多帧所述训练用显示画面、多帧所述干扰图像、及所述直拍图像训练出所述图像处理模型。
10.根据权利要求9所述的图像获取方法,其特征在于,在所述训练用显示画面包括不同颜色的画面区域时,不同颜色的画面区域对应的所述干扰元素不同。
11.一种存储有计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,所述处理器实现权利要求1至5任意一项所述的图像获取方法。
CN202210419583.6A 2022-04-20 2022-04-20 电子设备、电子设备的图像获取方法及计算机可读存储介质 Pending CN114785908A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210419583.6A CN114785908A (zh) 2022-04-20 2022-04-20 电子设备、电子设备的图像获取方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210419583.6A CN114785908A (zh) 2022-04-20 2022-04-20 电子设备、电子设备的图像获取方法及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN114785908A true CN114785908A (zh) 2022-07-22

Family

ID=82431809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210419583.6A Pending CN114785908A (zh) 2022-04-20 2022-04-20 电子设备、电子设备的图像获取方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN114785908A (zh)

Similar Documents

Publication Publication Date Title
US11727644B2 (en) Immersive content production system with multiple targets
CN108781260B (zh) 用于合成长曝光的即时更新
JP2021131544A (ja) 表示画面アセンブリ、電子機器および画像取得方法
CN105827964B (zh) 一种图像处理方法及移动终端
Phillips et al. Camera image quality benchmarking
US11200752B1 (en) Color correction for immersive content production systems
CN109729274B (zh) 图像处理方法、装置、电子设备及存储介质
US11588978B2 (en) Under-display camera systems and methods
US20110273731A1 (en) Printer with attention based image customization
CN109348088A (zh) 图像降噪方法、装置、电子设备及计算机可读存储介质
CN109143670A (zh) 显示面板、移动终端及其控制方法
US20230164426A1 (en) Under-display camera systems and methods
CN114640783B (zh) 一种拍照方法及相关设备
CN114785908A (zh) 电子设备、电子设备的图像获取方法及计算机可读存储介质
CN110113539A (zh) 曝光控制方法、装置、电子设备以及存储介质
WO2021017517A1 (zh) 一种屏下摄像头拍照显示电子装置、方法及计算机可读存储介质
KR20200061488A (ko) 2d 3d 듀얼 디스플레이가 장착된 스마트폰
WO2021213052A1 (zh) 电子设备及其控制方法、电子设备的控制装置
TWI692977B (zh) 相片拍攝方法、電腦程式、電腦可讀存儲介質及電子裝置
Corning In Service of the Selfie
CN106201251A (zh) 一种增强现实的内容确定方法、装置及移动终端
TWI592025B (zh) 影像顯示方法以及電腦可讀取紀錄媒體
CN111182197A (zh) 相片拍摄方法、计算机程序、可读存储介质及电子装置
WO2023196780A2 (en) System for providing dynamic backgrounds in live-action videography
CN113965688A (zh) 图像传感器、摄像模组、摄像装置及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination