CN109884727A - 异物检测方法、异物检测装置和电子设备 - Google Patents

异物检测方法、异物检测装置和电子设备 Download PDF

Info

Publication number
CN109884727A
CN109884727A CN201910198744.1A CN201910198744A CN109884727A CN 109884727 A CN109884727 A CN 109884727A CN 201910198744 A CN201910198744 A CN 201910198744A CN 109884727 A CN109884727 A CN 109884727A
Authority
CN
China
Prior art keywords
screen
foreign matter
electronic equipment
viewing area
detection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910198744.1A
Other languages
English (en)
Other versions
CN109884727B (zh
Inventor
占文喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910198744.1A priority Critical patent/CN109884727B/zh
Publication of CN109884727A publication Critical patent/CN109884727A/zh
Priority to EP20772921.1A priority patent/EP3923037B1/en
Priority to PCT/CN2020/079415 priority patent/WO2020187173A1/zh
Priority to US17/409,310 priority patent/US11789491B2/en
Application granted granted Critical
Publication of CN109884727B publication Critical patent/CN109884727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)

Abstract

本申请提出一种异物检测方法、异物检测装置和电子设备，其中，方法用于检测电子设备的屏幕是否存在异物，电子设备的屏幕下设置有图像传感器，方法包括：获取图像传感器采集的检测图像；根据检测图像检测屏幕是否存在异物。该方法能够识别屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。

Description

异物检测方法、异物检测装置和电子设备
技术领域
本申请涉及电子设备技术领域，尤其涉及一种异物检测方法、异物检测装置和电子设备。
背景技术
随着终端技术的不断发展，电子设备(智能手机、平板电脑等)不断普及。当用户使用具有触摸屏的电子设备时，如果电子设备的屏幕存在异物，则该异物在给用户使用造成不便的情况下，还可能影响屏幕使用的灵敏度，更甚者，还可能损伤电子设备的屏幕，因此，如何实现屏幕的异物检测，成为各电子设备生产厂商亟待解决的难题。
发明内容
本申请提出一种异物检测方法、异物检测装置和电子设备，以实现识别屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
本申请第一方面实施例提出了一种异物检测方法，用于检测电子设备的屏幕是否存在异物，所述电子设备的屏幕下设置有图像传感器，所述方法包括以下步骤：
获取所述图像传感器采集的检测图像；
根据所述检测图像检测所述屏幕是否存在异物。
本申请实施例的异物检测方法，通过获取图像传感器采集的检测图像，根据检测图像检测屏幕是否存在异物。由此，可以识别电子设备的屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
为达上述目的，本申请第二方面实施例提出了一种异物检测装置，用于检测电子设备的屏幕是否存在异物，所述电子设备的屏幕下设置有图像传感器，所述装置包括：
获取模块，用于获取所述图像传感器采集的检测图像；
识别模块，用于根据所述检测图像检测所述屏幕是否存在异物。
本申请实施例的异物检测装置，通过获取图像传感器采集的检测图像，根据检测图像检测屏幕是否存在异物。由此，可以识别电子设备的屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
为达上述目的，本申请第三方面实施例提出了一种电子设备，所述电子设备的屏幕下设置有图像传感器，所述电子设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器与所述图像传感器和所述屏幕电连接，所述处理器运行所述计算机程序以执行如本申请前述实施例提出的异物检测方法。
为了实现上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请前述实施例提出的异物检测方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的异物检测方法的流程示意图；
图2为本申请实施例二所提供的异物检测方法的流程示意图；
图3为光学指纹模组的结构示意图；
图4为本申请实施例中检测图像示意图一；
图5为本申请实施例中检测图像示意图二；
图6为本申请实施例三所提供的异物检测方法的流程示意图；
图7为本申请实施例四所提供的异物检测方法的流程示意图；
图8为本申请实施例五所提供的异物检测装置的结构示意图；
图9为本申请实施例六所提供的异物检测装置的结构示意图；
图10为本申请实施例七所提供的电子设备的结构示意图；
图11为本申请实施例八所提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的异物检测方法、异物检测装置和电子设备。
图1为本申请实施例一所提供的异物检测方法的流程示意图。
本申请实施例以该异物检测方法被配置于异物检测装置中来举例说明，该异物检测装置可以应用于电子设备中，以使电子设备可以执行异物检测功能。
本申请实施例的异物检测方法，可以用于检测电子设备的屏幕是否存在异物。
可选的，在电子设备的使用过程中，可以实时检测电子设备的屏幕是否存在异物。
可选的，在电子设备的使用过程中，也可以周期性地检测电子设备的屏幕是否存在异物，以提升电子设备的续航能力。
可选的，对于具有折叠屏的电子设备，即可折叠的电子设备，也可以在屏幕处于展开状态或折叠状态时，检测电子设备的屏幕是否存在异物，以避免异物损伤屏幕。
其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该异物检测方法可以包括以下步骤：
步骤101，获取图像传感器采集的检测图像。
本申请实施例中，电子设备的屏幕下可以设置有图像传感器，该图像传感器可以为电荷耦合器件(Charge Coupled Device，简称CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，简称CMOS)、薄膜晶体管(Thin FilmTransistor，简称TFT)等图像传感器，对此不作限制。
可选的，在电子设备的使用过程中，可以通过图像传感器实时采集检测图像，以避免异物损伤或者压坏屏幕。
可选的，在电子设备的使用过程中，可以通过图像传感器周期性地采集检测图像，以提升电子设备的续航能力。
可选的，在电子设备的使用过程中，还可以在满足预设条件时，采集检测图像，以实现满足用户的个性化需求。
举例而言，在用户使用可折叠的电子设备，当用户折叠屏幕时，即屏幕处于折叠状态下时，为了避免异物损伤屏幕，可以通过图像传感器采集检测图像，即预设条件可以为屏幕处于折叠状态。
应当理解的是，预设条件还可以为其他条件，比如用户开启电子设备时、用户使用电子设备的过程中等等，对此不作限制。
本申请实施例中，当图像传感器采集到检测图像后，本申请实施例的异物检测装置可以获取图像传感器采集的检测图像。
步骤102，根据检测图像检测屏幕是否存在异物。
可以理解的是，当屏幕存在异物时，屏幕必然具有相应的表征，这种表征会反应到检测图像中，因此，本申请中，可以根据检测图像，检测屏幕是否存在异物。由此，可以识别电子设备的屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
作为一种示例，对于任一电子设备，或者，对于可折叠的电子设备，当用户使用电子设备的过程中，可以通过屏幕下的图像传感器，检测屏幕是否存在异物，由此，当屏幕存在异物时，可以提示用户，从而便于用户及时清除异物，避免异物损伤屏幕。
本申请实施例的异物检测方法，通过获取图像传感器采集的检测图像，根据检测图像检测屏幕是否存在异物。由此，可以识别电子设备的屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
目前，电子设备的便捷性和视觉体验成为吸引用户的重要因素，在不大幅度增加电子设备外观尺寸的前提下，如何提升电子设备的视觉冲击，从而吸引更多的用户，成为生产厂商致力于攻克的难题。
相关技术中，可以通过不断缩减电子设备的边框，以提高显示屏占比，或者，通过折叠屏来实现更大屏的视觉体验，其中，折叠屏可以借助转轴实现屏幕的折叠和展开。然而，申请人发现，由于折叠屏极易受到外力损伤，当屏幕在折叠时，如果屏幕上存在异物，则极易造成屏幕损伤。
而本申请实施例的异物检测方法，根据检测图像，可以准确识别可折叠的电子设备屏幕是否存在异物。其中，屏幕包括可相对转动的第一显示区和第二显示区，当电子设备处于折叠状态下时，第一显示区朝向第二显示区。
具体地，当屏幕存在异物时，比如第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分存在异物时，第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分必然具有相应的表征，这种表征会反应到检测图像中，因此，本申请中，可以根据检测图像，检测屏幕是否存在异物。下面结合图2，对上述过程进行详细说明。
图2为本申请实施例二所提供的异物检测方法的流程示意图。
如图2所示，该异物检测方法可以包括以下步骤：
步骤201，获取图像传感器采集的检测图像。
步骤202，检测屏幕是否处于折叠状态下。
本申请实施例中，屏幕处于折叠状态下，屏幕的第一显示区朝向屏幕的第二显示区。
需要说明的是，本申请仅以两个显示区示例，实际应用时，屏幕还可以具有多个显示区，例如，以屏幕包括3个显示区进行示例，当屏幕处于折叠状态下，屏幕的第一显示区朝向屏幕的第二显示区，屏幕的第三显示区与屏幕的第二显示区贴合。或者，还可以将屏幕的第一显示区贴合屏幕的第二显示区，屏幕的第三显示区朝向屏幕的第二显示区。
本领域技术人员可以知晓，基于以上实现方式，可以推得在屏幕具有更多显示区的内折实现方式，此处不一一列举。
本申请实施例中，可以根据第一显示区和第二显示区之间的夹角，确定屏幕是否处于折叠状态下。当第一显示区和第二显示区之间的夹角在减小时，表明屏幕处于折叠状态下，此时，可以执行步骤203；而当第一显示区和第二显示区时间的夹角维持不变，此时，屏幕未处于折叠状态下，或者，当第一显示区和第二显示区之间的夹角在增大时，表明屏幕处于展开状态下。
需要说明的是，当屏幕未处于折叠状态下或者当屏幕处于展开状态下时，可以不作任何处理。或者，为了实现对屏幕进行实时监测，避免异物损伤屏幕，当屏幕未处于折叠状态下或者当屏幕处于展开状态下时，也可以利用图像传感器检测屏幕是否存在异物，若检测到屏幕存在异物，则可以以文字形式、图形形式、语音播报形式、报警音形式、振动或者光的形式等等，向用户发出提示信息，以对用户进行提示，由此可以避免异物压坏屏幕。
当然，还可以在屏幕的第一显示区相对的电子设备的外侧，设置辅助显示屏，用于屏幕内折时的显示。或者，还可以在屏幕的第二显示区相对的电子设备的外侧，设置辅助显示屏，或者，还可以在屏幕的第一显示区相对的电子设备的外侧和屏幕的第二显示区相对的电子设备的外侧，分别设置辅助显示屏，本申请对此不作限制。当屏幕存在异物时，可以通过上述辅助屏显示提示信息。
本申请实施例中，电子设备中可以设置有检测组件，用于检测第一显示区与第二显示区之间的夹角。将检测组件当前时刻检测的夹角与前一时刻检测的夹角进行比较，若当前时刻检测的夹角小于前一时刻检测的夹角，则确定夹角减小，此时，可以确定屏幕处于折叠状态下。
可选的，检测组件可以测量自身与第一显示区或者第二显示区之间的距离，而后根据自身的位置信息以及上述检测的距离，确定第一显示区与第二显示区之间的夹角。
可选的，检测组件可以为霍尔传感器等可检测角度的相关传感器，通过上述相关传感器可以直接检测第一显示区与第二显示区之间的夹角。
应该理解的是，还可以直接根据相关传感器，例如红外传感器来检测屏幕是否处于折叠状态下，本申请对此并不作限制。
步骤203，若屏幕处于折叠状态下，则根据检测图像，检测屏幕是否存在异物。
具体地，当屏幕存在异物时，比如第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分存在异物时，第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分必然具有相应的表征，这种表征会反应到检测图像中，因此，本申请中，当屏幕处于折叠状态下，为了避免异物损伤屏幕，可以根据检测图像，检测屏幕是否存在异物。
需要说明的是，一般情况下，用户折叠屏幕的时间是有限的，并且，当屏幕处于折叠状态时，只有第一显示区和第二显示区的交叠部分存在的异物，才会大大地增加屏幕被损伤的概率，因此，为了提升图像识别的效率，从而提升异物检测的效率，本申请中，在屏幕处于折叠状态下时，可以根据检测图像，检测第一显示区和第二显示区的交叠部分是否存在异物。由此，在屏幕处于折叠状态时，可以提升异物检测的效率。
本申请实施例中，可以将屏下指纹模组设置于电子设备折叠时与第二显示区交叠的第一显示区内，和/或，电子设备折叠时与第一显示区交叠的第二显示区内，由此，可以通过屏下指纹模组中的指纹图像传感器直接采集第一显示区和第二显示区的交叠部分对应的检测图像。
作为一种示例，对于可折叠的电子设备，当用户使用电子设备的过程中，可以通过屏幕下的图像传感器，检测屏幕是否存在异物，由此，当屏幕存在异物时，可以提示用户，从而便于用户及时清除异物，避免异物损伤屏幕。
本申请实施例的异物检测方法，通过若屏幕处于折叠状态下，根据检测图像，检测屏幕是否存在异物。由此，在屏幕处于折叠状态下时，可以识别电子设备的屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
本申请实施例的异物检测方法可以基于全屏光学指纹进行检测图像的采集，例如，参见图3，光学式指纹模组可以包括：盖板玻璃31、触摸板和屏幕32、指纹图像传感器33以及Olens34。光学式指纹模组的基本工作原理可以为：电子设备屏幕向外发出的光线01，经过用户手指02表面纹路反射会产生差异，从而可以由屏幕下的指纹图像传感器33感应成像。从而，根据指纹图像传感器33采集到的检测图像，可以确定屏幕是否存在异物。
应当理解的是，还可以根据超声、电容式指纹模组，确定屏幕是否存在异物，本申请对此不作限制。
因此，本申请实施例中，电子设备可以包括屏下指纹模组，屏下指纹模组可以包括指纹图像传感器，其中，上述步骤中的图像传感器具体可以为指纹图像传感器。针对步骤201，可以通过屏下指纹模组中的指纹图像传感器采集检测图像，从而，本申请的异物检测装置可以从屏下指纹模组获取对应的检测图像。由此，可以直接利用屏下指纹模组来进行异物检测，无需增加新的传感器，可以降低电子设备的生产成本。
本申请实施例中，可以通过屏下指纹模组，扫描并检测屏幕是否存在异物，当屏幕存在异物时，比如第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分存在异物时，屏下指纹模组采集的检测图像中的异物对应的像素区域的数值，与其他区域的数值不同。
作为一种示例，参见图4，当屏幕未存在异物时，屏下指纹模组采集的检测图像中只存在网格纹理(由于触摸屏走线和Olens开口等影响)，而当屏幕存在异物时，例如屏幕存在一个橡皮块异物时，参见图5，屏下指纹模组采集的检测图像中橡皮块对应的像素区域的数值，与其他区域的数值不同。
因此，本申请实施例中，可以根据屏下指纹模组采集的检测图像，检测屏幕是否存在异物。由此，可以识别屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
作为一种示例，对于任意电子设备，或者，对于可折叠的电子设备，当用户使用电子设备的过程中，可以通过屏下指纹模组中的指纹图像传感器，检测屏幕是否存在异物。由此，当屏幕存在异物时，可以提示用户，从而便于用户及时清除异物，避免异物损伤屏幕。
可以理解的是，当异物较小时，例如，参见图5，当异物完全位于屏幕上时，检测图像中将存在亮区域和暗区域，且亮区域和暗区域之间的边界线围合得到闭合区域。而当异物未完全位于屏幕上时，例如，异物只有部分区域位于屏幕上，此时，检测图像中也存在亮区域和暗区域，亮区域和暗区域之间的边界线的两端点，将处于检测图像的边缘。因此，本申请中，当异物小于屏幕且异物完全位于屏幕上，或者异物未完全位于屏幕上时，可以根据检测图像中的亮区域和暗区域，来确定屏幕是否存在异物，并且，根据亮区域和暗区域的边界线，可以确定异物的具体位置以及形状。下面结合图6，对上述过程进行详细说明。
图6为本申请实施例三所提供的异物检测方法的流程示意图。
如图6所示，该异物检测方法可以包括以下子步骤：
步骤301，获取图像传感器采集的检测图像。
本申请实施例中，图像传感器可以为现有技术中的任一图像传感器，或者，还可以为屏下指纹模组中的指纹图像传感器，对此不作限制。
步骤302，识别检测图像中亮区域和暗区域之间的边界线；其中，亮区域的亮度高于暗区域的亮度。
本申请实施例中，可以根据检测图像中的各像素点的亮度，来识别亮区域和暗区域之间的边界线。具体地，针对检测图像中的每个像素点，可以将该像素点与各相邻像素点进行亮度比较，并判断该像素点是否与至少一个相邻像素点之间的亮度差异大于阈值，若该像素点与至少一个相邻像素点之间的亮度差异大于阈值，则将该像素点记为目标像素点，从而可以连接临近的两个目标像素点得到边界线。
其中，阈值为预先设置的，例如阈值可以为电子设备的内置程序预先设置的，或者阈值也可以由用户进行设置，对此不作限制。临近的两个目标像素点并不一定为挨着的两个相邻像素点。
需要说明的是，当屏幕存在异物时，检测图像中的亮区域和暗区域与异物的材质有关，当异物反光时，检测图像中异物对应的区域为亮区域，而当异物吸光时，检测图像中异物对应的区域为暗区域。
步骤303，若边界线围合得到闭合区域，和/或，边界线的两端点处于检测图像的边缘，确定屏幕存在异物。
可以理解的是，参见图5，当异物完全位于屏幕上时，亮区域和暗区域之间的边界线围合得到闭合区域。而当异物未完全位于屏幕上时，例如，异物只有部分区域位于屏幕上，此时，亮区域和暗区域之间的边界线的两端点，将处于检测图像的边缘。
因此，本申请实施例中，当边界线围合得到闭合区域，和/或，边界线的两端点处于检测图像的边缘时，可以确定屏幕存在异物。由此，根据边界线可以确定屏幕是否存在异物，并且，当边界线围合得到闭合区域，和/或，边界线的两端点处于检测图像的边缘时，可以确定异物的具体位置、形状、大小等信息，从而可以便于用户寻找以及清除异物。
进一步的，在确定屏幕存在异物之后，还可以执行控制屏幕显示存在异物的提示信息。
步骤304，控制屏幕显示存在异物的提示信息；其中，提示信息包括用于标注边界线的图形提示。
本申请实施例中，对于任意电子设备，或者，对于可折叠的电子设备，当屏幕上存在异物时，根据边界线可以确定异物的具体位置信息，并且，可以确定异物俯视投影的形状，因此，当屏幕存在异物时，可以控制屏幕显示存在异物的提示信息，其中，提示信息包括用于标注边界线的图形提示，从而可以便于用户确定异物的具体形状，从而可以便于用户寻找以及清除异物。
需要说明的是，对于可折叠的电子设备，当屏幕折叠时，用户可能无法看到屏幕上显示的提示信息，因此，若检测到屏幕存在异物，还可以控制辅助显示屏显示存在异物的提示信息。
应当理解的是，还可以以文字形式、语音播报形式、报警音形式、振动或者光的形式等等，向用户发出提示信息，以对用户进行提示，本申请实施例对此不作限制。由此，可以通过多种方式，显示上述提示信息，便于用户及时查看提示信息，从而便于用户及时清除异物。
实际应用时，电子设备的屏幕可能落入灰尘、皮屑、毛发等较小且较轻的异物，此时，异物的大小和重量可以忽略不计，并不会损伤屏幕，因此，本申请中，只有当异物的体积大于一定程度时，才控制屏幕显示存在异物的提示信息。
具体地，可以在边界线围合得到第一闭合区域的情况下，确定第一闭合区域的区域面积，和/或，在边界线与图像边缘围合得到第二闭合区域的情况下，确定第二闭合区域的区域面积，而后可以判断上述第一闭合区域的区域面积或第二闭合区域的区域面积是否大于面积阈值，若大于面积阈值，则控制屏幕显示存在异物的提示信息，若小于或者等于面积阈值，则不做任何处理。其中，面积阈值为预先设置的。由此，只有当异物的体积大于一定程度时，才控制屏幕显示存在异物的提示信息，可以避免识别出较小或者较轻的异物时，而造成频繁打扰用户的情况。
作为一种示例，当异物完全位于屏幕上时，亮区域和暗区域之间的边界线将围合得到第一闭合区域，若第一闭合区域大于设定的面积阈值，则可以向用户发出提示信息。由此，可以便于用户清除位于屏幕上方的异物。
作为另一种示例，当异物位于屏幕的边界时，比如，异物只有一半位于屏幕上，此时，亮区域和暗区域之间的边界线与图像边缘围合得到第二闭合区域，若第二闭合区域大于设定的面积阈值，则可以向用户发出提示信息。由此，可以便于用户清除位于屏幕边界的异物。
作为又一种示例，当屏幕存在多个异物，其中存在至少一个异物完全位于屏幕上，并存在至少一个异物位于屏幕的边界，此时，可以判断第一闭合区域的区域面积或第二闭合区域的区域面积是否大于面积阈值，若大于面积阈值，则控制屏幕显示存在异物的提示信息。由此，可以便于用户清除位于屏幕上方的异物，以及清除位于屏幕边界的异物。
本申请实施例的异物检测方法，通过识别检测图像中亮区域和暗区域之间的边界线；其中，亮区域的亮度高于暗区域的亮度；若边界线围合得到闭合区域，或者，边界线的两端点处于检测图像的边缘，确定屏幕存在异物。由此，可以准确识别屏幕是否存在异物，并且，还可以根据边界线，确定异物的具体位置和形状，从而可以便于用户寻找以及清除异物。
可以理解的是，当屏幕存在异物时，无论异物的体积和大小，图像传感器采集得到的图像，与屏幕未存在异物时对应的图像是不同的。因此，本申请中，可以预先通过图像传感器在屏幕未存在异物的状态下，采集一幅参考图像，从而当获取检测图像后，可以将检测图像与参考图像进行比对，以确屏幕是否存在异物。下面结合图7，对上述过程进行详细说明。
图7为本申请实施例四所提供的异物检测方法的流程示意图。
如图7所示，该异物检测方法可以包括以下步骤：
步骤401，获取图像传感器采集的检测图像。
本申请实施例中，图像传感器可以为现有技术中的任一图像传感器，或者，还可以为屏下指纹模组中的指纹图像传感器，对此不作限制。
步骤402，将参考图像与检测图像进行比对，以确定参考图像与检测图像之间的相似度。
本申请实施例中，参考图像是在屏幕未存在异物的状态下图像传感器采集到的。
例如，参考图像可以如图4所示。
步骤403，判断相似度是否大于或者等于阈值相似度，若是，执行步骤404，若否，执行步骤405。
本申请实施例中，可以提取参考图像的图像特征以及检测图像的图像特征，通过根据提取的图像特征，计算参考图像与检测图像之间的相似度。其中，图像特征包括：轮廓特征和/或色彩分布，色彩分布用于指示色彩与图像位置之间的对应关系。例如，可以基于深度学习的图像处理技术，确定轮廓特征，基于颜色直方图特征匹配算法、颜色矩算法、颜色聚合向量算法等算法，确定色彩分布。
具体地，可以采用相关技术中的相似度计算方法，计算参考图像的图像特征与检测图像的图像特征之间的相似度，并判断计算得到的相似度是否大于或者等于阈值相似度，若大于或者等于阈值相似度，则确定参考图像与检测图像相似，此时，可以执行步骤404，若小于阈值相似度，则确定参考图像与检测图像不相似，此时，可以执行步骤405。其中，相似度阈值为预先设置，例如，可以为95％。
步骤404，确定屏幕未存在异物。
本申请实施例中，当参考图像与检测图像之间的相似度较高时，可以确定屏幕未存在异物，此时，可以不做任何处理。
步骤405，确定屏幕存在异物。
本申请实施例中，当参考图像与检测图像之间的相似度较低时，可以确定屏幕存在异物。
可以理解的是，当屏幕存在异物时，可能存在以下几种情况：
第一种，异物较小且完全位于屏幕上，此时，可以识别检测图像中亮区域和暗区域之间的边界线，以根据边界线进一步确定异物的具体位置、形状、大小等信息，以便于用户清除异物；
第二种，异物未完全位于屏幕上，例如异物只有部分区域位于屏幕上，此时，也可以识别检测图像中亮区域和暗区域之间的边界线，以根据边界线进一步确定识别异物的具体位置、形状等信息，以便于用户清除异物；
第三种，异物较大而完全遮盖屏幕，此时，检测图像中可能仅存在亮区域或者暗区域，而并不存在上述亮区域和暗区域之间的边界线，比如当异物反光时，检测图像中只存在亮区域，而根据检测图像的图像特征中的色彩分布，可以准确识别参考图像是否和检测图像相似，从而确定屏幕未存在异物，以提升检测结果的准确性。
本申请实施例中，当异物为第一种和/或第二种情况时，此时，可以根据步骤406进一步识别异物的具体位置和形状。
步骤406，执行识别检测图像中亮区域和暗区域之间的边界线的步骤，以根据边界线识别异物。
本申请实施例中，在参考图像与检测图像之间的相似度较低时，可以确定屏幕存在异物，此时，可以利用检测图像中亮区域和暗区域之间的边界线，确定异物的最终位置、形状、大小等信息，即执行识别检测图像中亮区域和暗区域之间的边界线的步骤，以在边界线围合得到闭合区域，和/或，边界线的两端点处于检测图像的边缘时，确定屏幕异物的最终位置、形状、大小等信息，具体的执行过程可以参见上述实施例中步骤302至303的执行过程，在此不做赘述。由此，根据边界线可以准确识别屏幕是否存在异物，并且，还可以根据边界线确定异物的具体位置和形状，从而可以便于用户寻找以及清除异物。
进一步的，在确定屏幕存在异物之后，还可以执行控制屏幕显示存在异物的提示信息。
步骤407，控制屏幕显示存在异物的提示信息；其中，提示信息包括用于标注边界线的图形提示。
步骤407的执行过程可以参见上述实施例中步骤304的执行过程，在此不做赘述。
需要说明的是，当异物完全遮盖屏幕时，例如异物为一本书，此时，检测图像中可能并不存在上述亮区域和暗区域之间的边界线，例如，当异物反光时，检测图像中只存在亮区域，此时，无法确定异物的最终位置以及形状，因此，可以向用户发出文字形式、语音播报形式等提示信息，向用户发出具体位置提示，从而便于用户及时清除异物。
本申请实施例的异物检测方法，通过将参考图像与检测图像进行比对，以确定参考图像与检测图像之间的相似度；其中，参考图像是在屏幕未存在异物的状态下图像传感器采集到的，根据参考图像与检测图像之间的相似度，来确定屏幕是否存在异物，可以准确识别屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
可以理解的是，当光线经屏幕发射出来时,并不是所有的光线都能穿过显示屏，例如，给显示屏驱动芯片用的信号走线、储存电容等影响，这些地方将不完全透光，因此，图像传感器采集到的检测图像将存在一些纹理或线条。举例而言，当屏幕的数据线交织、扫描线交织时，将导致图像传感器采集到的检测图像中存在网格纹理。
因此，本申请实施例中，为了降低计算量以及提升边界线确定结果的准确性，在上述实施例的基础上，在识别检测图像中亮区域和暗区域之间的边界线之前，还可以去除检测图像的网格纹理；其中，网格纹理是屏幕的数据线交织形成的。
为了实现上述实施例，本申请还提出一种异物检测装置。
图8为本申请实施例五所提供的异物检测装置的结构示意图。
本申请实施例中，该异物检测装置用于检测电子设备的屏幕是否存在异物，电子设备的屏幕下设置有图像传感器。
如图8所示，该异物检测装置包括：获取模块101和识别模块102。
其中，获取模块101，用于获取图像传感器采集的检测图像。
识别模块102，用于根据检测图像检测屏幕是否存在异物。
作为一种可能的实现方式，电子设备可折叠，屏幕包括可相对转动的第一显示区和第二显示区；其中，电子设备处于折叠状态下，第一显示区朝向第二显示区。
作为另一种可能的实现方式，电子设备包括屏下指纹模组，屏下指纹模组包括指纹图像传感器；图像传感器为指纹图像传感器。
本申请实施例中，识别模块102，具体用于：识别检测图像中亮区域和暗区域之间的边界线；其中，亮区域的亮度高于暗区域的亮度；若边界线围合得到闭合区域，和/或，边界线的两端点处于检测图像的边缘，确定屏幕存在异物。
本申请实施例中，识别模块102，具体用于：将参考图像与检测图像进行比对，以确定参考图像与检测图像之间的相似度；其中，参考图像是在屏幕未存在异物的状态下图像传感器采集到的；若相似度大于或等于阈值相似度，确定屏幕未存在异物，若相似度小于阈值相似度，确定屏幕存在异物。
本申请实施例中，识别模块102，还用于：在若相似度小于阈值相似度之后，执行识别检测图像中亮区域和暗区域之间的边界线的步骤，以根据边界线识别异物。
本申请实施例中，识别模块102，还用于：将检测图像中的像素点与各相邻像素点进行亮度比较；若与至少一个相邻像素点之间的亮度差异大于阈值，将相应像素点记为目标像素点；连接邻近的两个目标像素点得到边界线。
进一步地，在本申请实施例的一种可能的实现方式中，参见图9，在图8所示实施例的基础上，该异物检测装置还可以包括：去除模块103和控制模块104。
去除模块103，用于在识别检测图像中亮区域和暗区域之间的边界线之前，去除检测图像的网格纹理；其中，网格纹理是屏幕的数据线交织形成的。
控制模块104，用于在若确定屏幕存在异物之后，控制屏幕显示存在异物的提示信息；其中，提示信息包括用于标注边界线的图形提示。
本申请实施例中，控制模块104，具体用于：在边界线围合得到第一闭合区域的情况下，确定第一闭合区域的区域面积；在边界线与图像边缘围合得到第二闭合区域的情况下，确定第二闭合区域的区域面积；若第一闭合区域的区域面积或第二闭合区域的区域面积大于面积阈值，控制屏幕显示存在异物的提示信息。
需要说明的是，前述对异物检测方法实施例的解释说明也适用于该实施例的异物检测装置，此处不再赘述。
本申请实施例的异物检测装置，通过获取图像传感器采集的检测图像，根据检测图像检测屏幕是否存在异物。由此，可以识别电子设备的屏幕是否存在异物，从而便于用户及时清除异物，避免异物损伤屏幕。
为了实现上述实施例，本申请还提出一种电子设备，包括：电子设备的屏幕下设置有图像传感器，电子设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器与图像传感器和屏幕电连接，处理器运行计算机程序以执行如本申请前述实施例提出的异物检测方法。
本申请实施例中，还可以根据检测图像，准确识别可折叠的电子设备屏幕是否存在异物。其中，对于可折叠的电子设备，其屏幕包括可相对转动的第一显示区和第二显示区，当电子设备处于折叠状态下时，第一显示区朝向第二显示区。
具体地，当屏幕存在异物时，比如第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分存在异物时，第一显示区、第二显示区、和/或、第一显示区和第二显示区的交叠部分必然具有相应的表征，这种表征会反应到检测图像中，因此，本申请中，可以根据检测图像，检测可折叠的电子设备屏幕是否存在异物。
本申请实施例中，可以基于全屏光学指纹进行检测图像的采集，例如，参见图3，光学式指纹模组可以包括：盖板玻璃31、触摸板和屏幕32、指纹图像传感器33以及Olens34。光学式指纹模组的基本工作原理可以为：电子设备屏幕向外发出的光线01，经过用户手指02表面纹路反射会产生差异，从而可以由屏幕下的指纹图像传感器33感应成像。从而，本申请中，根据指纹图像传感器33采集到的检测图像，可以确定屏幕是否存在异物。
应当理解的是，还可以根据超声、电容式指纹模组，确定屏幕是否存在异物，本申请对此不作限制。
因此，本申请实施例中，电子设备可以包括屏下指纹模组，屏下指纹模组可以包括指纹图像传感器，可以通过屏下指纹模组中的指纹图像传感器采集检测图像，从而，可以直接利用屏下指纹模组采集的检测图像，来进行异物检测，无需增加新的传感器，可以降低电子设备的生产成本。
一般情况下，用户折叠屏幕的时间是有限的，并且，当屏幕处于折叠状态时，只有第一显示区和第二显示区的交叠部分存在的异物，才会大大地增加屏幕被损伤的概率，因此，为了提升图像识别的效率，从而提升异物检测的效率，本申请中，在屏幕处于折叠状态下时，可以根据检测图像，检测第一显示区和第二显示区的交叠部分是否存在异物。由此，在屏幕处于折叠状态时，可以提升异物检测的效率。
本申请实施例中，可以将屏下指纹模组设置于电子设备折叠时与第二显示区交叠的第一显示区内，和/或，电子设备折叠时与第一显示区交叠的第二显示区内，由此，可以通屏下指纹模组中的指纹图像传感器直接采集第一显示区和第二显示区的交叠部分对应的检测图像。
作为一种示例，参见图10，当第一显示区的显示面积和第二显示区的显示面积相同时，当折叠电子设备时，可以将屏下指纹模组101设置于电子设备折叠时与第二显示区交叠的第一显示区内，和/或，电子设备折叠时与第一显示区交叠的第二显示区内。由此，可以通过屏下指纹模组直接采集第一显示区和第二显示区的交叠部分对应的检测图像。
需要说明的是，实际应用时，可能存在第一显示区的显示面积和第二显示区的显示面积不同的情况，例如，参见图11，第一显示区102的显示面积大于第二显示区103的显示面积，为了采集第一显示区和第二显示区的交叠部分对应的检测图像，本申请中，可以在将屏下指纹模组101设置于电子设备折叠时与第二显示区交叠的第一显示区内，和/或，电子设备折叠时与第一显示区交叠的第二显示区内。
并且，为了避免异物损坏电子设备，还需要对第一显示区和第二显示区的非交叠部分对应的检测图像进行采集，此时，可以在第一显示区和第二显示区的非交叠部分，设置屏下指纹模组，即将屏下指纹模组设置于电子设备折叠时与第二显示区非交叠的第一显示区内，和/或，电子设备折叠时与第一显示区非交叠的第二显示区内。
例如，参见图11，可以在第一显示区内和第二显示区的非交叠部分，设置屏下指纹模组101。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请前述实施例提出的异物检测方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本申请前述实施例提出的异物检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种异物检测方法，其特征在于，用于检测电子设备的屏幕是否存在异物，所述电子设备的屏幕下设置有图像传感器，所述方法包括：
获取所述图像传感器采集的检测图像；
根据所述检测图像检测所述屏幕是否存在异物。
2.根据权利要求1所述的异物检测方法，其特征在于，所述电子设备可折叠，所述屏幕包括可相对转动的第一显示区和第二显示区；
其中，所述电子设备处于折叠状态下，所述第一显示区朝向所述第二显示区。
3.根据权利要求1或2所述的异物检测方法，其特征在于，所述电子设备包括屏下指纹模组，所述屏下指纹模组包括指纹图像传感器；
所述图像传感器为所述指纹图像传感器。
4.根据权利要求1所述的异物检测方法，其特征在于，所述根据所述检测图像检测所述屏幕是否存在异物，包括：
识别所述检测图像中亮区域和暗区域之间的边界线；其中，所述亮区域的亮度高于所述暗区域的亮度；
若所述边界线围合得到闭合区域，和/或，所述边界线的两端点处于所述检测图像的边缘，确定所述屏幕存在异物。
5.根据权利要求1所述的异物检测方法，其特征在于，所述根据所述检测图像检测所述屏幕是否存在异物，包括：
将参考图像与所述检测图像进行比对，以确定所述参考图像与所述检测图像之间的相似度；其中，所述参考图像是在所述屏幕未存在异物的状态下所述图像传感器采集到的；
若所述相似度大于或等于阈值相似度，确定所述屏幕未存在异物；
若所述相似度小于所述阈值相似度，确定所述屏幕存在异物。
6.根据权利要求5所述的异物检测方法，其特征在于，所述若所述相似度小于阈值相似度之后，还包括：
执行识别所述检测图像中亮区域和暗区域之间的边界线的步骤，以根据所述边界线识别所述异物。
7.根据权利要求4或6所述的异物检测方法，其特征在于，所述若确定所述屏幕存在异物之后，还包括：
控制所述屏幕显示存在异物的提示信息；其中，所述提示信息包括用于标注所述边界线的图形提示。
8.根据权利要求7所述的异物检测方法，其特征在于，所述控制所述屏幕显示存在异物的提示信息，包括：
在所述边界线围合得到第一闭合区域的情况下，确定所述第一闭合区域的区域面积；
在所述边界线与所述图像边缘围合得到第二闭合区域的情况下，确定所述第二闭合区域的区域面积；
若所述第一闭合区域的区域面积或第二闭合区域的区域面积大于面积阈值，控制所述屏幕显示存在异物的提示信息。
9.根据权利要求4或6所述的异物检测方法，其特征在于，所述识别所述检测图像中亮区域和暗区域之间的边界线，包括：
将所述检测图像中的像素点与各相邻像素点进行亮度比较；
若与至少一个相邻像素点之间的亮度差异大于阈值，将相应像素点记为目标像素点；
连接邻近的两个目标像素点得到所述边界线。
10.根据权利要求4或6所述的异物检测方法，其特征在于，所述识别所述检测图像中亮区域和暗区域之间的边界线之前，还包括：
去除所述检测图像的网格纹理；其中，所述网格纹理是所述屏幕的数据线交织形成的。
11.一种异物检测装置，其特征在于，用于检测电子设备的屏幕是否存在异物，所述电子设备的屏幕下设置有图像传感器，所述装置包括：
获取模块，用于获取所述图像传感器采集的检测图像；
识别模块，用于根据所述检测图像检测所述屏幕是否存在异物。
12.一种电子设备，其特征在于，所述电子设备的屏幕下设置有图像传感器，所述电子设备还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器与所述图像传感器和所述屏幕电连接，所述处理器运行所述计算机程序以执行如权利要求1-10任一项所述的异物检测方法。
13.根据权利要求12所述的电子设备，其特征在于，所述电子设备可折叠，所述屏幕包括可相对转动的第一显示区和第二显示区；
其中，所述电子设备处于折叠状态下，所述第一显示区朝向所述第二显示区；
所述电子设备还包括屏下指纹模组，所述屏下指纹模组包括指纹图像传感器；
所述图像传感器为所述指纹图像传感器。
14.根据权利要求13所述的电子设备，其特征在于，所述屏下指纹模组位于电子设备折叠时与第二显示区交叠的第一显示区内，和/或，位于电子设备折叠时与第一显示区交叠的第二显示区内。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10任一项所述的异物检测方法。
CN201910198744.1A 2019-03-15 2019-03-15 异物检测方法、异物检测装置和电子设备 Active CN109884727B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910198744.1A CN109884727B (zh) 2019-03-15 2019-03-15 异物检测方法、异物检测装置和电子设备
EP20772921.1A EP3923037B1 (en) 2019-03-15 2020-03-15 Foreign object detection method, foreign object detection device, and electronic apparatus
PCT/CN2020/079415 WO2020187173A1 (zh) 2019-03-15 2020-03-15 异物检测方法、异物检测装置和电子设备
US17/409,310 US11789491B2 (en) 2019-03-15 2021-08-23 Method for detecting foreign object and related electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910198744.1A CN109884727B (zh) 2019-03-15 2019-03-15 异物检测方法、异物检测装置和电子设备

Publications (2)

Publication Number Publication Date
CN109884727A true CN109884727A (zh) 2019-06-14
CN109884727B CN109884727B (zh) 2022-03-04

Family

ID=66932626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910198744.1A Active CN109884727B (zh) 2019-03-15 2019-03-15 异物检测方法、异物检测装置和电子设备

Country Status (4)

Country Link
US (1) US11789491B2 (zh)
EP (1) EP3923037B1 (zh)
CN (1) CN109884727B (zh)
WO (1) WO2020187173A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026300A (zh) * 2019-11-19 2020-04-17 维沃移动通信有限公司 一种屏幕显示方法及电子设备
CN111368812A (zh) * 2020-05-27 2020-07-03 北京伟杰东博信息科技有限公司 一种列车前方异物侵限检测方法及系统
CN111626207A (zh) * 2020-05-27 2020-09-04 北京伟杰东博信息科技有限公司 一种基于图像处理的列车前方异物入侵检测方法及系统
WO2020187173A1 (zh) * 2019-03-15 2020-09-24 Oppo广东移动通信有限公司 异物检测方法、异物检测装置和电子设备
CN113128321A (zh) * 2020-01-16 2021-07-16 宁波微科光电股份有限公司 一种地铁门异物检测方法
CN113496172A (zh) * 2020-04-03 2021-10-12 深圳爱根斯通科技有限公司 指纹异物检测的方法、装置、电子设备及存储介质
CN113500008A (zh) * 2021-08-20 2021-10-15 成都拓米电子装备制造有限公司 一种异物检测去除装置及方法
CN114184360A (zh) * 2021-11-04 2022-03-15 莱茵技术监护（深圳）有限公司 一种折叠产品折叠性能的测试方法
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
CN114596280A (zh) * 2022-03-08 2022-06-07 常州市宏发纵横新材料科技股份有限公司 一种碳纤维布面生产过程中碎屑纸的检测方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022182376A (ja) * 2021-05-28 2022-12-08 セイコーエプソン株式会社 表示装置、表示装置の表示制御方法及び表示制御プログラム
CN115684197B (zh) * 2022-07-14 2024-05-31 荣耀终端有限公司 折叠屏的测试方法、电子设备及装置
CN115797255B (zh) * 2022-10-17 2023-10-20 宁德时代新能源科技股份有限公司 涂胶缺陷识别方法、装置、电子设备及计算机可读存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4242702A (en) * 1976-12-01 1980-12-30 Hitachi, Ltd. Apparatus for automatically checking external appearance of object
CN1656372A (zh) * 2002-05-30 2005-08-17 松下电器产业株式会社 物体表面的异物检测方法以及异物检测装置和光盘装置
CN101001319A (zh) * 2006-01-12 2007-07-18 佳能株式会社 图像处理设备和图像处理方法
CN101155248A (zh) * 2006-09-26 2008-04-02 富士通株式会社 图像处理设备、图像处理方法以及计算机产品
CN101600046A (zh) * 2008-06-05 2009-12-09 佳能株式会社 摄像设备及其控制方法
CN102782724A (zh) * 2010-03-04 2012-11-14 日本电气株式会社 异物判定装置、异物判定方法及异物判定程序
KR20130024501A (ko) * 2011-08-31 2013-03-08 주식회사 슈프리마 지문인식장치 및 지문인식장치의 동적 배경 노이즈 제거방법
CN104077773A (zh) * 2014-06-23 2014-10-01 北京京东方视讯科技有限公司 图像边缘检测方法、图像目标识别方法及装置
CN104509102A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和异物检测装置
CN104809732A (zh) * 2015-05-07 2015-07-29 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
CN105973911A (zh) * 2016-04-28 2016-09-28 蚌埠国显科技有限公司 一种显示屏滚屏检测装置
KR101695563B1 (ko) * 2015-08-26 2017-01-11 이성대 복층유리용 스크레치 및 이물질 검출시스템
CN106973159A (zh) * 2017-03-24 2017-07-21 维沃移动通信有限公司 一种异物检测方法及移动终端
CN107016334A (zh) * 2016-12-23 2017-08-04 努比亚技术有限公司 图像识别装置及方法
CN207115245U (zh) * 2017-03-31 2018-03-16 珠海市魅族科技有限公司 终端
CN108827979A (zh) * 2018-04-23 2018-11-16 东莞高伟光学电子有限公司 一种模组镜头外观检测方法
CN109241775A (zh) * 2018-11-09 2019-01-18 维沃移动通信有限公司 一种隐私保护方法及终端

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2795595B2 (ja) * 1992-06-26 1998-09-10 セントラル硝子株式会社 透明板状体の欠点検出方法
CN103645822B (zh) * 2013-12-24 2016-05-04 上海华勤通讯技术有限公司 触摸屏的异物检测方法及触摸屏
CN104359917A (zh) * 2014-11-18 2015-02-18 北京凌云光技术有限责任公司 液晶屏内部灰尘检测方法及装置
CN105973894A (zh) 2016-04-28 2016-09-28 蚌埠国显科技有限公司 一种显示屏异物检测方法
CN107626688B (zh) 2016-07-19 2021-10-29 富泰华工业（深圳）有限公司 一种自动清洁屏幕的电子装置
CN106200047B (zh) * 2016-08-29 2019-03-22 武汉精测电子集团股份有限公司 一种基于GPU的TFT-LCD Mura缺陷检测的方法
US9940698B1 (en) * 2016-09-30 2018-04-10 Konica Minolta Laboratory U.S.A., Inc. Cleaning writing boards based on strokes
CN108318503A (zh) * 2018-02-06 2018-07-24 凌云光技术集团有限责任公司 液晶屏幕灰尘检测方法和装置
CN108288050B (zh) * 2018-02-13 2022-03-01 北京小米移动软件有限公司 更新指纹模板的方法、装置、电子设备
CN109062652A (zh) * 2018-08-15 2018-12-21 Oppo广东移动通信有限公司 指纹识别提示方法、装置、存储介质及电子设备
CN109100363B (zh) * 2018-08-31 2021-10-29 凌云光技术股份有限公司 一种贴合异物缺陷与灰尘的区分方法及系统
CN109884727B (zh) * 2019-03-15 2022-03-04 Oppo广东移动通信有限公司 异物检测方法、异物检测装置和电子设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4242702A (en) * 1976-12-01 1980-12-30 Hitachi, Ltd. Apparatus for automatically checking external appearance of object
CN1656372A (zh) * 2002-05-30 2005-08-17 松下电器产业株式会社 物体表面的异物检测方法以及异物检测装置和光盘装置
CN101001319A (zh) * 2006-01-12 2007-07-18 佳能株式会社 图像处理设备和图像处理方法
CN101155248A (zh) * 2006-09-26 2008-04-02 富士通株式会社 图像处理设备、图像处理方法以及计算机产品
CN101600046A (zh) * 2008-06-05 2009-12-09 佳能株式会社 摄像设备及其控制方法
CN102782724A (zh) * 2010-03-04 2012-11-14 日本电气株式会社 异物判定装置、异物判定方法及异物判定程序
KR20130024501A (ko) * 2011-08-31 2013-03-08 주식회사 슈프리마 지문인식장치 및 지문인식장치의 동적 배경 노이즈 제거방법
CN104509102A (zh) * 2012-07-27 2015-04-08 日产自动车株式会社 三维物体检测装置和异物检测装置
CN104077773A (zh) * 2014-06-23 2014-10-01 北京京东方视讯科技有限公司 图像边缘检测方法、图像目标识别方法及装置
CN104809732A (zh) * 2015-05-07 2015-07-29 山东鲁能智能技术有限公司 一种基于图像比对的电力设备外观异常检测方法
KR101695563B1 (ko) * 2015-08-26 2017-01-11 이성대 복층유리용 스크레치 및 이물질 검출시스템
CN105973911A (zh) * 2016-04-28 2016-09-28 蚌埠国显科技有限公司 一种显示屏滚屏检测装置
CN107016334A (zh) * 2016-12-23 2017-08-04 努比亚技术有限公司 图像识别装置及方法
CN106973159A (zh) * 2017-03-24 2017-07-21 维沃移动通信有限公司 一种异物检测方法及移动终端
CN207115245U (zh) * 2017-03-31 2018-03-16 珠海市魅族科技有限公司 终端
CN108827979A (zh) * 2018-04-23 2018-11-16 东莞高伟光学电子有限公司 一种模组镜头外观检测方法
CN109241775A (zh) * 2018-11-09 2019-01-18 维沃移动通信有限公司 一种隐私保护方法及终端

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187173A1 (zh) * 2019-03-15 2020-09-24 Oppo广东移动通信有限公司 异物检测方法、异物检测装置和电子设备
US11789491B2 (en) 2019-03-15 2023-10-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for detecting foreign object and related electronic devices
CN111026300A (zh) * 2019-11-19 2020-04-17 维沃移动通信有限公司 一种屏幕显示方法及电子设备
CN113128321A (zh) * 2020-01-16 2021-07-16 宁波微科光电股份有限公司 一种地铁门异物检测方法
CN113496172A (zh) * 2020-04-03 2021-10-12 深圳爱根斯通科技有限公司 指纹异物检测的方法、装置、电子设备及存储介质
CN111368812B (zh) * 2020-05-27 2020-12-08 北京伟杰东博信息科技有限公司 一种列车前方异物侵限检测方法及系统
CN111626207B (zh) * 2020-05-27 2021-07-06 深圳智锐通科技有限公司 一种基于图像处理的列车前方异物入侵检测方法及系统
CN111626207A (zh) * 2020-05-27 2020-09-04 北京伟杰东博信息科技有限公司 一种基于图像处理的列车前方异物入侵检测方法及系统
CN111368812A (zh) * 2020-05-27 2020-07-03 北京伟杰东博信息科技有限公司 一种列车前方异物侵限检测方法及系统
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
CN113500008A (zh) * 2021-08-20 2021-10-15 成都拓米电子装备制造有限公司 一种异物检测去除装置及方法
CN114184360A (zh) * 2021-11-04 2022-03-15 莱茵技术监护（深圳）有限公司 一种折叠产品折叠性能的测试方法
CN114184360B (zh) * 2021-11-04 2024-04-30 莱茵技术监护（深圳）有限公司 一种折叠产品折叠性能的测试方法
CN114596280A (zh) * 2022-03-08 2022-06-07 常州市宏发纵横新材料科技股份有限公司 一种碳纤维布面生产过程中碎屑纸的检测方法及装置
CN114596280B (zh) * 2022-03-08 2022-09-09 常州市宏发纵横新材料科技股份有限公司 一种碳纤维布面生产过程中碎屑纸的检测方法及装置

Also Published As

Publication number Publication date
EP3923037B1 (en) 2024-05-29
US20210383112A1 (en) 2021-12-09
EP3923037A1 (en) 2021-12-15
EP3923037A4 (en) 2022-03-23
WO2020187173A1 (zh) 2020-09-24
US11789491B2 (en) 2023-10-17
CN109884727B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN109884727A (zh) 异物检测方法、异物检测装置和电子设备
CN106446873B (zh) 人脸检测方法及装置
CN108182396B (zh) 一种自动识别拍照行为的方法及装置
CN102135236B (zh) 双目视觉管道内壁自动无损检测方法
JP5218168B2 (ja) 撮像装置、動体検知方法、動体検知回路、プログラム、及び監視システム
US8675950B2 (en) Image processing apparatus and image processing method
US8965103B2 (en) Image processing apparatus and image processing method
CN106909911A (zh) 图像处理方法、图像处理装置和电子装置
CN106991688A (zh) 人体跟踪方法、人体跟踪装置和电子装置
EP2793172B1 (en) Image processing apparatus, image processing method and program
CN102708383A (zh) 一种多模态比对功能的活体人脸检测系统与方法
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
US20120206624A1 (en) Image processing method, image processing apparatus, and electronic camera
CN112001886A (zh) 一种温度检测方法、装置、终端及可读存储介质
JP2016112024A (ja) 情報処理装置の制御方法および画像処理方法
CN106997457A (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
JP2019121356A (ja) 干渉領域検出装置と方法及び電子機器
US11408831B2 (en) Information processing apparatus, information processing method, and recording medium
CN104173108A (zh) 健康检测仪器显示屏识别数据采集系统及方法
KR102235018B1 (ko) 해상도가 다른 영상을 정합하는 장치 및 방법
JP5519220B2 (ja) 画像処理装置およびプログラム
JP2002188939A (ja) 画像認識による指針式メーター測定システム及び指針式メーター測定方法
CN107886542A (zh) 一种视觉检测的目标恢复方法和系统
US20230419529A1 (en) Method and apparatus for acquiring master data of an object
JP2011033455A (ja) 画像処理装置およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant