CN114071005A - 一种对象检测方法、电子设备和计算机可读存储介质 - Google Patents

一种对象检测方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN114071005A
CN114071005A CN202010787679.9A CN202010787679A CN114071005A CN 114071005 A CN114071005 A CN 114071005A CN 202010787679 A CN202010787679 A CN 202010787679A CN 114071005 A CN114071005 A CN 114071005A
Authority
CN
China
Prior art keywords
detected
area
shooting
displaying
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010787679.9A
Other languages
English (en)
Other versions
CN114071005B (zh
Inventor
董辰
卢曰万
胡宏伟
黄伟
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010787679.9A priority Critical patent/CN114071005B/zh
Priority to PCT/CN2021/109967 priority patent/WO2022028348A1/zh
Publication of CN114071005A publication Critical patent/CN114071005A/zh
Application granted granted Critical
Publication of CN114071005B publication Critical patent/CN114071005B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Abstract

本发明实施例提供的一种对象检测方法、电子设备和计算机可读存储介质的技术方案中,接收确定待检测对象的第一操作,响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,若检测出待检测对象,在拍摄界面上显示标记后的待检测对象,若未检测出待检测对象,在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域,从而能够显示已搜索区域,提高对象检测的效率。

Description

一种对象检测方法、电子设备和计算机可读存储介质
【技术领域】
本发明涉及人工智能技术领域,具体地涉及一种对象检测方法、电子设备和计算机可读存储介质。
【背景技术】
在生活中,用户可能想找到一串钥匙,找到一只笔,而往往由于眼睛所及之处没有发现,或者由于慌乱没有很敏感的发现,从而导致用户未能找到想要找到的物体。更进一步,在夜晚用户被蚊子骚扰的时候,想找到蚊子,但是人眼的分辨能力和速度没有达到机器的能力,从而导致用户未能及时找到蚊子。在相关技术中,通过对环境进行拍照后,并根据拍摄的图像识别待检测对象的方案来解决上述问题。然而在相关技术中,通常是在静态条件下对待检测对象进行检测,从而造成对象检测效率低的问题。
【发明内容】
有鉴于此,本发明提供一种对象检测方法、电子设备和计算机可读存储介质,能够显示已搜索区域和未搜索区域,提高对象检测的效率。
一方面,本发明实施例提供了一种对象检测方法,应用于具有显示屏和摄像头的电子设备,包括:
接收确定待检测对象的第一操作;
响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象;
若检测出待检测对象,在拍摄界面上显示标记后的待检测对象;
若未检测出待检测对象,在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域。
在本发明实施例提供的对象检测方法中,通过接收确定待检测对象的第一操作,响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,从而能够在拍摄界面中检测用户所需的待检测对象,提高了对象检测的效率以及用户的使用体验。若检测出待检测对象,在拍摄界面上显示标记后的待检测对象,能够将检测出的对象进行标记,并显示标记后的待检测对象,从而方便了用户快速查看已检测出的对象。进一步地,若未检测出待检测对象,在拍摄界面中显示已搜索区域。而在相关技术中的对象检测方案,只能够显示待检测对象,并未显示已搜索区域,因此相对于相关技术而言,本发明实施例通过显示已搜索区域,方便了用户知晓已搜索过的区域,以引导用户在未搜索区域中检测待检测对象,从而提高了对象检测的效率和对象检测的灵活性。
在一种可能的实现方式中,在拍摄界面中显示已搜索区域包括:
获取拍摄环境区域;
在拍摄界面中显示拍摄环境区域;
在拍摄环境区域中显示标记后的已搜索区域。
在本发明实施例提供的对象检测方法中,通过获取拍摄环境区域,在拍摄界面中显示拍摄环境区域以及显示标记后的已搜索区域,方便了用户知晓已搜索过的区域,从而引导用户在拍摄环境区域中的未搜索区域检测待检测对象,提高了对象检测的效率和对象检测的灵活性。
在一种可能的实现方式中,在拍摄环境区域中显示标记后的已搜索区域之后,还包括:
在拍摄界面中显示标记后的未搜索区域,未搜索区域为拍摄环境区域中除已搜索区域之外的区域;
显示第三标记信息,第三标记信息与未搜索区域相关;
显示提示信息,以提示在未搜索区域中检测待检测对象;
若检测出用户更换了搜索区域,则继续执行响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象的步骤。
在本发明实施例提供的对象检测方法中,将拍摄环境区域中除已搜索区域之外的区域确定为未搜索区域,并在拍摄界面中显示标记后的未搜索区域,能够引导用户在拍摄环境区域中的未搜索区域检测待检测对象,提高了对象检测的效率。
进一步地,通过显示第三标记信息,该第三标记信息与未搜索区域相关,显示提示信息,以提示在未搜索区域中检测待检测对象。例如,第三标记信息可包括文字信息,在未搜索区域中,显示“该区域未被搜索”的文字信息,显示提示信息“当前区域已搜索,请向前移动”,以提示用户向前移动后,改变设备有效搜索范围,以便用户能够在未搜索区域中检测待检测对象,能够让用户快速知晓该区域为未搜索区域,从而方便用户在未搜索区域中检测待检测对象,避免了用户在已搜索区域重复检测待检测对象,造成对象检测效率低的问题。
进一步地,本发明实施例中若检测出用户更换了搜索区域,则继续执行响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象的步骤。具体地,用户更换了搜索区域的情况可包括:用户根据提示信息进行移动后,搜索区域发生变化;或者,用户更换了拍摄环境区域,除此之外,还包括多种情况。在实际应用中,本发明的对象检测过程,可以是连续拍照进行检测的过程,也可以是通过录像进行检测的过程。也就是说,随着用户的连续拍照或者录像,由于更换了搜索区域,因此会连续不间断的执行本发明的对象检测过程,从而能够提高对象检测的灵活性和对象检测的效率。
在一种可能的实现方式中,在拍摄界面上显示标记后的待检测对象之后,还包括:
显示第一标记信息,第一标记信息与待检测对象相关。
在本发明实施例提供的对象检测方法中,第一标记信息可包括识别结果和对象位置等信息。通过在显示标记后的待检测对象之后,显示第一标记信息,该第一标记信息与待检测对象相关,能够让用户快速知晓对象检测的识别结果和对象位置等信息,并方便用户对该识别结果做出反馈,从而提高了用户体验。例如,在实际应用中,以检测蚊子为例,通过显示第一标记信息:识别结果为蚊子,对象位置为3m,从而方便了用户快速知晓蚊子的位置,并根据显示的蚊子的位置采取措施除去蚊子,解决了因蚊子影响睡眠的问题。
在一种可能的实现方式中,在拍摄界面中显示已搜索区域之后,还包括:
显示第二标记信息,第二标记信息与已搜索区域相关。
在本发明实施例提供的对象检测方法中,第二标记信息可包括文字信息,且第二标记信息与已搜索区域相关,可理解为第二标记信息为已搜索区域的解释信息。例如,在已搜索区域中,显示“该区域已被搜索”的文字信息,以便于用户根据该文字信息,知晓该区域已被搜索,从而能够引导用户去检测未搜索区域,避免了用户在已搜索区域重复检测待检测对象,提高了对象检测效率。
在一种可能的实现方式中,在检测到用户用于从多个对象中确定出待检测对象的第一操作之前,还包括:
响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象。在一种可能的实现方式中,接收确定待检测对象的第一操作,包括:
接收用户从多个对象中确定待检测对象的第一操作。
在本发明实施例提供的对象检测方法中,接收用户从多个对象中确定待检测对象的第一操作,以使得用户能够根据需求选择待检测对象,避免对象检测系统对非需求的对象进行检测,造成系统功耗增加的问题,提高了待检测对象的精度。需要说明的是,用户可根据需求选择一个或者多个待检测对象。
在一种可能的实现方式中,在拍摄界面中检测待检测对象,包括:
根据待检测对象对应的深度学习模型,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象。
在一种可能的实现方式中,电子设备当前有效搜索范围包括距摄像头预设距离或者对焦范围,其中,摄像头包括深度摄像头;
根据待检测对象对应的深度学习模型,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象,包括:
启动静态检测模式,通过遍历对焦范围内的多个焦距,根据待检测对象对应的深度学习模型,检测多个焦距对应的对焦范围内是否包含有待检测对象,以及在距摄像头预设距离内,通过获取深度摄像头的发射光线、反射光线和待检测对象对应的深度学习模型,检测距摄像头预设距离内是否包含有待检测对象;
若在静态检测模式下未检测出待检测对象,启动动态检测模式,基于动态检测技术以及待检测对象对应的深度学习模型,检测距摄像头预设距离内以及多个焦距对应的对焦范围内是否包含有待检测对象。
在本发明实施例提供的对象检测方法中,通过设置静态检测模式和动态检测模式,满足了用户日常生活的检测需求。在静态检测模式中,通过上述两种方式协同检测待检测对象,使得待检测对象未处于距摄像头预设距离内且待检测对象处于多个焦距对应的对焦范围内时,能够被判定检测到该待检测对象,避免了待检测对象未处于距摄像头预设距离内时,被判定为未检测出检测待对象的问题,从而缩短了对象检测的时间,提高了对象检测的效率。
第二方面,本发明实施例提供了一种电子设备,所述电子设备包括:
摄像头;
显示屏;
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行第一方面或者第一方面的任一可能的实现方式中的对象检测方法的指令。
第三方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于设备执行的程序代码,所述程序代码包括用于执行第一方面或者第一方面的任一可能的实现方式中的方法的指令。
第四方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括软件代码,所述软件代码用于执行第一方面或者第一方面的任一可能的实现方式中的对象检测方法的指令。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是相关技术中对象检测过程的界面示意图;
图2是本发明一实施例所提供的一种对象检测系统的架构图;
图3是本发明一实施例所提供的一种对象检测方法的流程图;
图4a是本发明一实施例所提供的一种显示界面的示意图;
图4b是本发明一实施例所提供的一种显示界面的示意图;
图5a是本发明一实施例所提供的一种显示界面的示意图;
图5b是本发明一实施例所提供的一种显示界面的示意图;
图6a是本发明一实施例所提供的一种显示界面的示意图;
图6b是本发明一实施例所提供的一种显示界面的示意图;
图7是本发明一实施例所提供的一种显示界面的示意图;
图8a是本发明一实施例所提供的一种显示界面的示意图;
图8b是本发明一实施例所提供的一种显示界面的示意图;
图8c是本发明一实施例所提供的一种显示界面的示意图;
图9a是本发明一实施例所提供的一种显示界面的示意图;
图9b是本发明一实施例所提供的一种显示界面的示意图;
图10是本发明一实施例所提供的一种显示界面的示意图;
图11是本发明一实施例所提供的一种显示界面的示意图;
图12是本发明一实施例所提供的一种显示界面的示意图;
图13是本发明一实施例所提供的一种生成拍摄环境区域的图片的效果示意图;
图14是本发明一实施例所提供的一种显示界面的示意图;
图15是本发明一实施例所提供的一种显示界面的示意图;
图16是本发明一实施例所提供的一种显示界面的示意图;
图17是本发明一实施例所提供的一种显示界面的示意图;
图18是本发明一实施例提供的一种电子设备的示意性框图;
图19是本发明一实施例提供的一种电子设备的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,甲和/或乙,可以表示:单独存在甲,同时存在甲和乙,单独存在乙这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为相关技术中对象检测过程的界面示意图,如图1所示,目前的对象检测技术能够在单一静态图像中对目标对象进行检测,并对检测到的目标对象进行标注,其中,标注的方式可包括对未被遮挡的目标对象以及被部分遮挡的目标对象画方框。
然而相关技术中的对象检测方法通常是应用于静态检测场景,即需要在静态条件下才能实现对目标对象的检测。例如,通过拍照的方式或者是上传单张图片的方式,对目标对象进行检测,因此在相关技术中的检测对象过程并不涉及与人的交互,无法记录已搜索区域和未搜索区域,从而容易导致用户重复检测已搜索区域,造成对象检测效率低的问题。
基于此,本发明要解决的技术问题是,如何帮助用户更有效的检测目标对象。在本发明实施例所提供的一种对象检测方法进行介绍之前,先对本发明实施例所运用的场景进行简单介绍:
本发明实施例提供的对象检测方法能够应用在各种需要进行对象检测的场景,例如,本发明实施例可应用在检测小物体场景和夜间行车场景中,下面分别对检测小物体场景和夜间行车场景进行简单的介绍。
检测小物体场景:
小物体由于体积小的原因,容易导致眼睛所及之处没有发现,或者由于慌乱没有很敏感的发现的问题。常见的小物体可包括蚊子、昆虫、钥匙或者水杯等物体。以检测蚊子为例,当用户在夜晚被蚊子骚扰的时候,想找到蚊子,但由于人眼的分辨能力和速度没有达到机器的能力,从而很难发现蚊子,因此在该场景中,可采用本发明实施例的对象检测方法进行蚊子检测,从而使得用户能够快速发现蚊子,解决因蚊子骚扰影响睡眠的问题。具体地,可将本发明实施例的对象检测方法应用于具有拍照或者录像功能的终端设备,通过用户手持终端设备对环境区域进行拍照检测或者录像检测,从而完成对象检测的流程。
夜间行车场景:
在夜间行车场景中,由于行车记录仪或者人眼在夜间的拍摄能力较弱,因此很难发现黑暗中可能穿梭马路的人。对于该场景,通过将本发明的对象检测方法应用于具有拍照或者录像功能的终端设备,例如,该终端设备作为车载导航使用时,将该车载导航的镜头方向设置为镜头向前,并通过该车载导航对夜间的环境进行拍照检测或者录像检测,从而能够快速发现黑暗中的对象,提高了驾驶的安全性。
在上述两种场景中均可采用本发明实施例提供的对象检测的技术方案,具体地,该方案包括:接收确定待检测对象的第一操作,响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,若检测出待检测对象,在拍摄界面上显示标记后的待检测对象,若未检测出待检测对象,在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域,从而与相关技术中对象检测的方案相比,本发明实施例采用的对象检测的技术方案,能够处理一系列图片或者视频,能够在对象检测过程中能够实现人机交互的功能,能够显示已搜索区域,以引导用户检测未搜索区域,从而提高对象检测的效率。
由于本发明实施例涉及多种技术,为了便于理解,下面先对本发明实施例可能涉及的相关技术进行介绍。
(1)深度学习
深度学习(Deep Learning,简称DL)是机器学习(Machine Learning,简称ML)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能(Artificial Intelligence,简称AI)。
深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
本发明实施例即是采用深度学习技术对各种目标对象进行训练,并生成每个目标对象对应的模型,从而在对象检测过程中,通过获取待检测的对象的模型对待检测对象进行检测。
(2)ISP
图像信号处理(Image Signal Processing,简称ISP),主要用来对前端图像传感器输出信号处理的单元,以匹配不同厂商的图像传感器。通常来说,ISP一般用来处理图像传感器(Image Sensor)的输出数据,例如,具体工作可包括自动曝光控制(AutomaticExposure Control,简称AEC)、自动增益控制(automatic gain control,简称AGC)、自动白平衡(Automatic white balance,简称AWB)、色彩校正、镜头校正(Lens Shading)、显示器参数(Gamma)校正、祛除坏点、自动黑电平(Auto Black Level)、自动白电平(Auto WhiteLevel)等功能的处理。
(3)动态检测技术
目前常用的动态检测技术包括光流法等多种算法。具体地,光流(Optical flowor optic flow)是关于视域中的物体运动检测中的概念,用来描述相对于观察者的运动所造成的观测目标、表面或边缘的运动。光流法在样型识别、计算机视觉以及其他影像处理领域中非常有用,可用于运动检测、物件切割、碰撞时间与物体膨胀的计算、运动补偿编码,或者通过物体表面与边缘进行立体的测量等。除此之外,动态检测技术还可以包括插帧算法等,本发明对于所采用的动态检测技术并不做限定。
(4)对焦范围
对焦范围即相机能清晰成像的范围,通常分为一般拍摄距离与近拍距离。相机的一般拍摄距离通常都标示为“**cm--无穷远”,而且大部分数码相机则往往还会提供近距离拍摄功能(Macro),来弥补一般拍摄模式下无法对焦的问题。
(5)SLAM
即时定位与地图构建技术(simultaneous localization and mapping,简称SLAM),也称为并发建图与定位技术(Concurrent Mapping and Localization,简称CML),其问题可以描述为:将一个机器人放入未知环境中的未知位置,是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图,所谓完全的地图(a consistent map)是指不受障碍行进到房间可进入的每个角落。
本发明实施例中,通过SLAM技术能够快速根据摄像头拍摄的环境图像,生成环境区域模型,以便确定出已搜索区域和未搜索区域。
通过上述的相关技术进行介绍后,下面对本发明实施例所提供的一种对象检测系统进行详细解释。
图2为本发明一实施例提供的一种对象检测系统的架构图,如图2所示,该系统包括:电子设备110,其中,电子设备110可以是终端,如手机终端,平板电脑,笔记本电脑,增强现实(augmented reality,简称AR)/虚拟现实(virtual reality,简称VR),车载终端等,还可以是服务器或者云端等。本发明实施例中,电子设备110包括接收单元111、显示单元112、处理单元113以及摄像头114。
本发明实施例中,接收单元111用于接收用户输入的唤醒操作,显示单元112用于响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象。具体地,接收单元111接收到用户输入的唤醒操作,将该唤醒操作对应指令发送至显示单元112,以使显示单元112响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象。
接收单元111用于接收确定待检测对象的第一操作。
摄像头114可包括后置摄像头,其中,后置摄像头可包括深度摄像头、RGB摄像头或者黑白摄像头,摄像头114用于进行图像采集并将采集的图像显示在拍摄界面中,以便后续处理单元113在拍摄界面中检测待检测对象。本发明实施例采用的摄像头包括深度摄像头1141和RGB摄像头1142,除此之外,可根据需求选择其他类型的摄像头,本发明实施例对此不做限定。
处理单元113用于响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,具体地,处理单元113根据获取的待检测对象对应的模型信息,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象,其中,设备有效搜索范围包括距摄像头预设距离或者对焦范围,其中,距摄像头预设距离用于指示深度摄像头1141可拍摄的有效距离,对焦范围用于指示RGB摄像头1142可遍历的对焦范围。进一步地,本发明实施例中,根据获取的待检测对象对应的特征信息,确定出待检测对象的对焦范围。
其中,处理单元113用于根据获取的待检测对象对应的模型信息,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象的过程可包括:
处理单元113用于启动静态检测模式,通过RGB摄像头1142遍历对焦范围内的多个焦距,并根据获取的待检测对象对应的深度学习模型,检测对焦范围内是否包含有待检测对象,以及在距摄像头预设距离内,通过获取深度摄像头1141的发射光线和反射光线和获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内是否包含有待检测对象。
处理单元113还用于若在静态检测模式下未检测出待检测对象,则启动动态检测模式,并基于动态检测技术,根据获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内以及获取的对焦范围内是否包含有待检测对象。
显示单元112包括显示屏1121,当处理单元113检测出待检测对象时,对待检测对象进行标记,并将标记了待检测对象的图像发送显示单元112,以使显示屏1121在拍摄界面上显示标记后的待检测对象,并显示第一标记信息,第一标记信息与待检测对象相关。
当处理单元113未检测出待检测对象时,对已搜索区域进行标记,并将标记了已搜索区域的图像发送显示单元112,以使显示屏1121在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域。
具体地,显示屏1121用于在拍摄界面中显示已搜索区域的过程可包括:
处理单元113用于获取拍摄环境区域,在拍摄界面中显示拍摄环境区域,在拍摄环境区域中显示标记后的已搜索区域。具体地,处理单元113用于根据摄像头拍摄用户的所处环境,生成拍摄环境区域,并将电子设备当前有效搜索范围内的区域确定为已搜索区域,在拍摄环境区域中将电子设备当前有效搜索范围内的区域确定为已搜索区域,在拍摄环境区域中对已搜索区域进行标记,生成第二标记信息,并将标记了已搜索区域的图像和第二标记信息发送显示单元112,以使显示屏1121在拍摄环境区域中显示标记后的已搜索区域,并显示第二标记信息,第二标记信息与已搜索区域相关。
除此之外,处理单元113还用于将拍摄环境区域中除已搜索区域之外的区域确定为未搜索区域,并对未搜索区域进行标记,生成第三标记信息,并将标记了未搜索区域的图像和第三标记信息发送显示单元112,以使显示屏1121在拍摄界面中显示标记后的未搜索区域,未搜索区域为拍摄环境区域中除已搜索区域之外的区域,并显示第三标记信息,第三标记信息与未搜索区域相关。
显示屏1121还用于显示提示信息,以提示在未搜索区域中检测待检测对象;
处理单元113还用于若检测出用户更换了搜索区域,则继续执行响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象的步骤。
在本发明实施例中,通过上述的系统,接收确定待检测对象的第一操作,响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,若检测出待检测对象,在拍摄界面上显示标记后的待检测对象,若未检测出待检测对象,在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域,从而能够显示已搜索区域,提高对象检测的效率。下面结合图3,包括步骤102至步骤118,对对象检测方法的过程进行详细的说明。
图3为本发明一实施例提供的一种对象检测方法的流程图,如图3所示,该方法应用于具有显示屏和摄像头的电子设备,该方法包括:
步骤102、响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象。
本发明实施例以电子设备包括手机终端为例,手机终端通过响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象,其中,用户输入的唤醒操作可包括点击屏幕、语音输入等方式,本发明对此不做限定。
本发明实施例中,在一种可选方案中,本发明的对象检测方法可作为插件或者小程序嵌入相机程序中,在打开相机且选择对象检测后,拍摄界面可包括多个对象。在实际应用中,为避免界面显示太多的检测对象,导致界面不友好的问题,可通过将多个对象设为常用选择对象和非常用选择对象,通过设置常用选择列表显示常用选择对象,设置“更多”按钮,当用户点击后,可显示其他的非常用选择对象,从而避免了界面不友好的问题。具体地,常用选择对象可包括常用的待检测对象,例如,常用选择对象包括钥匙、蚊子、水杯等小物体。选择对象可包括不常用的待检测对象,例如,昆虫、指甲钳等小物体。
例如,用户通过点击“对象检测”控件后,显示拍摄界面。如图4a所示,用户在打开相机后,显示相机界面,相机界面包括控件列表111和拍摄区域112,在拍摄区域112上方包括控件列表111。其中,控件列表111中包括多个控件,通过点击其中的“对象检测”控件201后,显示拍摄界面114,在拍摄界面114中显示常用选择列表1(参见图4b)。常用选择列表包括多个对象,图4b中示意性地示出了蚊子、钥匙、水杯、苍蝇、门禁卡等,由于可检测的目标对象很多,因此可设置一个“更多”按钮,待用户点击后,可展开更多可选的对象,例如充电器、其他昆虫等。除此之外,在拍摄界面114中还包括拍摄键113,通过点击拍摄键113,能够进行图像采集。
在另一可选方案中,用户通过点击语音输入控件,并输入“打开对象检测”的语音信息后,显示拍摄界面,拍摄界面包括多个对象,例如,如图5a所示,用户通过在手机界面中,通过点击语音输入控件202,并输入“打开对象检测”的语音信息后,电子设备110响应于用户输入的语音信息,显示拍摄界面114,在拍摄界面114中显示常用选择列表1(参见图5b)。常用选择列表包括多个对象,图5b中示意性地示出了蚊子、钥匙、水杯、苍蝇、门禁卡等。由于可检测的目标对象很多,因此可设置一个“更多”选择,待用户点击后,可展开更多可选的对象。
需要说明的是,唤醒操作除了包括上述的点击“对象检测”控件201和点击语音输入控件202输入“打开对象检测”的语音信息之外,还可以包括其他方式,本发明实施例仅为举例说明,不做具体限定。还需要说明的是,如图4b和图5b中的常用选择列表1,仅为举例说明,用户可根据需求设定常用选择列表中的对象信息,除此之外,常用选择列表1除了可呈现为悬浮列表的形式之外,还可以为其他展示形式,本发明实施例对此不做限定。
步骤104、接收确定待检测对象的第一操作。
本发明实施例中,在步骤102之后,用户可根据需求在常用选择列表1中选择待检测对象。具体地,用户通过第一操作,从多个对象中选择待检测对象,其中,待检测对象的数量可包括一个或者多个,其中,第一操作可包括点击“对象检测”控件、点击语音输入控件等方式,本发明实施例对此不做限定。
在一种可选方案中,例如,如图6a所示,在拍摄界面114中,用户在常用选择列表1中通过点击对象按钮203选择蚊子,从而电子设备能够检测到用户从多个对象中确定出待检测对象包括蚊子的第一操作。如图6b所示,在拍摄界面114中,用户在常用选择列表1通过点击对象按钮203选择水杯和钥匙,从而电子设备能够检测到用户从多个对象中确定出待检测对象包括水杯和钥匙的第一操作。
在另一种可选方案中,如图7所示,在拍摄界面114中,用户可通过点击语音输入控件204选择待检测对象,其中,待检测对象可包括一个或者多个,例如,用户可通过点击语音输入控件204,输入“查找蚊子”的语音信息,电子设备通过接收该语音信息后检测到用户从多个对象中确定出待检测对象的第一操作,即,用户从多个对象中确定出待检测对象为蚊子。
在另一种可选方案中,若用户在常用选择列表1中未选择待检测对象,可通过点击“上传”按钮,如图8a、图8b以及图8c所示,在拍摄界面114中,用户点击“上传”按钮205后,通过上传图片的方式,将带有蚊子的图片2上传后,处理单元113对带有蚊子的图片2进行识别后,确定出用户选择的待检测对象包括蚊子。在图8c中,在拍摄界面114还包括拍摄键113,通过点击拍摄键113,能够进行图像采集,以完成对象检测过程。
此外,如图9a和图9b所示,若在拍摄界面114中,用户点击“更多”按钮206后,作为一种可选方案,可显示更多的对象,进一步地,为避免显示太多对象导致界面不友好的问题,可通过设置搜索按钮3以供用户搜索需要检测的对象。
需要说明的是,第一操作除了包括上述的点击对象按钮203、语音输入控件204、点击“上传”按钮205等方式之外,还可以包括其他方式,本发明实施例仅为举例说明,不做具体限定。
步骤106、响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,若检测出待检测对象,执行步骤108;若未检测出待检测对象,执行步骤110。
在一种可实现的方案中,步骤106可具体包括:根据获取的待检测对象对应的深度学习模型,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象。
本发明实施例中,在执行步骤106之前,还包括:通过深度学习算法,根据获取的多个对象的特征信息,建立每个对象对应的深度学习模型。
也就是说,在拍摄界面中显示的多个对象均具有对应的深度学习模型。对象所对应的深度学习模型均为事先训练好的,而未事先训练好深度学习模型的对象,不具备可检测性。本发明在实际应用中,可通过深度学习算法,训练出大量的对象所对应的深度学习模型,能够检测超过上千种类对象,从而满足了日常生活的检测需求。除此之外,若用户有特殊的检测需求,可通过上传待检测对象的图片,云侧可根据用户上传的待检测对象的图片查询出大量的待检测对象图片,并对大量的待检测对象图片进行训练后,生成该待检测对象对应的深度学习模型,并将该待检测对象相应的可选项添加至“多个对象”中,即可满足用户的特殊的检测需求。
本发明实施例中,电子设备当前有效搜索范围包括距摄像头预设距离或者对焦范围,其中,距摄像头预设距离用于指示深度摄像头1141可拍摄的有效距离,对焦范围用于指示RGB摄像头1142可遍历的对焦范围。进一步地,可根据获取的待检测对象对应的特征信息,确定出待检测对象的对焦范围。
本发明实施例中,步骤106的可实现的方案中,根据获取的待检测对象对应的深度学习模型,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象的过程可包括:
步骤1061、启动静态检测模式,通过遍历对焦范围内的多个焦距,并根据获取的待检测对象对应的深度学习模型,检测多个焦距对应的对焦范围内是否包含有待检测对象,以及在距摄像头预设距离内,通过获取深度摄像头的发射光线和反射光线和获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内是否包含有待检测对象,若是,执行步骤108;若否,执行步骤1062。
本发明实施例中,摄像头114可包括深度摄像头1141和RGB摄像头1142。具体地,启动静态检测模式,在距深度摄像头1141预设距离内,获取深度摄像头1141的发射光线和反射光线和获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内是否包含有待检测对象。
其中,通过获取深度摄像头的发射光线和反射光线,检测距摄像头预设距离内是否包含有待检测对象的过程可包括:检测是否接收到反射光线,若检测出未接收到反射光线,则表明未检测到待检测对象,若检测出接收到反射光线,则表明检测到对象,再根据获取的待检测对象对应的深度学习模型,判断该对象是否为待检测对象。进一步地,若判断出该对象为待检测对象,可根据发送的发射光线和接收的反射光线的时间差,确定出待检测对象的位置。此外,还可以根据发射光线的交流电流和反射光线的交流电流,计算出发射光线和反射光线之间的相位差,并根据该相位差确定出待检测对象的位置。
此外,启动静态检测模式时,还需要通过RGB摄像头1142遍历对焦范围内的多个焦距,并根据获取的待检测对象对应的深度学习模型,检测多个焦距对应的对焦范围内是否包含有待检测对象。由于采用深度摄像头1141检测待检测对象时,获取到的待检测对象处于不清晰的状态,因此需要通过RGB摄像头1142遍历对焦范围内的多个焦距,对待检测对象进行对焦,以获取清晰状态的待检测对象。
需要说明的是,若待检测对象不在距摄像头预设距离内,而通过遍历对焦范围内的多个焦距时,检测到待检测对象,也可以认为已检测出待检测对象。例如,如图10所示,以检测杯子为例,假设此时杯子4位于距摄像头的4m处,而距摄像头预设距离包括3m,因此通过深度摄像头未检测到距摄像头3m内包含有待检测对象,而由于杯子并非属于微小物体,此时通过RGB摄像头遍历对焦范围内的多个焦距,能够检测到该杯子4。也就是说,本发明在检测待检测对象时,需要通过深度摄像头1141和RGB摄像头1142协同进行工作,以便更高效的检测出待检测对象。
在实际过程中,为了更快速及清晰的检测出待检测对象,需要对拍摄环境进行照明,即,电子设备110需要点亮LED灯,通常是torch模式,即常亮模式。此外,还需要在拍摄界面中,通过循环推动对焦马达,以便RGB摄像头能够遍历对焦范围内的多个焦距。需要说明的是,在拍摄界面中用户可根据需求选择拍照模式或者视频模式,这两种模式会调用不同的ISP流程,相对而言,拍照模式的成像分辨率更好,画面处理更好,能够更容易检测出待检测对象。
步骤1062、若在静态检测模式下未检测出待检测对象,启动动态检测模式,并基于动态检测技术,根据获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内以及获取的对焦范围内是否包含有待检测对象,若是,执行步骤108;若否,执行步骤110。
本发明实施例中,若待检测对象包括动态物体,比如,待检测对象包括蚊子,且在上一步静态检测模式下未被检测出时,则默认进入到动态检测模式。其中,动态检测模式是基于动态检测技术实现的,具体地,通过在拍摄界面中启动视频拍摄模式,对前后两帧画面进行画面配准,以识别出画面的差异部分,并且多帧的图像配准中该差异部分持续存在,即可认定该差异部分是动态部分,根据获取的待检测对象对应的深度学习模型,对该动态部分进行识别,若判断出该动态部分为待检测对象时,对该动态部分进行持续跟踪标记,并生成第一标记信息。
本发明实施例中,除了采用上述的动态检测技术之外,还可以基于光流法或插帧算法对待检测对象进行检测,本发明实施例对此不做限定。
需要说明的是,在拍摄界面中检测电子设备当前有效搜索范围内是否包含有待检测对象的过程可单独采用静态检测模式,或者单独采用动态检测模式,或者将两者检测模式结合使用。上述步骤1061和步骤1062的检测过程仅为举例说明,用户可自适应选择相应模式进行对象检测。
步骤108、在拍摄界面上显示标记后的待检测对象。
本发明实施例中,若检测出待检测对象时,处理单元113对待检测对象进行标记,标记的方式可包括对待检测对象画圈的方式或者画方框的方式,进一步地,在处理单元113对待检测对象进行标记后,并将标记了待检测对象的图像发送显示单元112,以使显示屏1121在拍摄界面上显示标记后的待检测对象。具体地,如图10所示,以检测杯子为例,若在拍摄界面114的电子设备当前有效搜索范围内包含有待检测对象,对待检测对象进行画方框标记,并将标记了待检测对象的图像发送显示单元112,以使显示屏1121在拍摄界面上显示画方框的待检测对象。
本发明实施例中,进一步地,作为一种可选方案,在步骤108之后,还可以包括:
步骤109、显示第一标记信息,第一标记信息与待检测对象相关。
本发明实施例中,第一标记信息可包括识别结果和对象位置等信息。
具体地,如图10所示,以检测杯子为例,若在拍摄界面114的电子设备当前有效搜索范围内包含有待检测对象,在拍摄界面上显示标记后的待检测对象的同时,还可以显示第一标记信息,其中,第一标记信息与待检测对象相关。可理解为,第一标记信息为待检测对象的识别信息。
在上述步骤108的基础上,为进一步提高用户体验,用户可通过点击图10中的方框4后显示图11,如图11所示,在拍摄界面114中,除了显示画方框的待检测对象之外,还显示待检测对象对应的第一标记信息,其中,第一标记信息可包括识别结果和对象位置等信息,例如,如图11所示,显示识别结果为杯子,对象位置为4.35m。
需要说明的是,当检测出待检测对象后,用户可根据需求重新选择待检测对象,即重新执行步骤104,或者继续进行检测该待检测对象,即继续执行步骤110。
步骤110、在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域。
本发明实施例中,设备有效搜索范围包括距摄像头预设距离,距摄像头预设距离包括摄像头可拍摄的有效距离,其中,距摄像头预设距离可根据终端设备本身的设备性能决定。因此,在距摄像头预设距离之外区域,是不能认定已被检测过,而距摄像头预设距离内的,可以认定已被检测过的。本发明实施例中,将电子设备当前有效搜索范围内的区域确定为已搜索区域具体包括:将距摄像头预设距离内的区域确定为已搜索区域。例如,如图12所示,将距摄像头预设距离内的区域5确定为已搜索区域5,并在拍摄界面114中显示已搜索区域5。需要说明的是,上述的摄像头可包括深度摄像头,距摄像头预设距离内,可理解为深度摄像头的检测深度。在实际应用中,通常深度摄像头的检测深度为3m。
本发明实施例中,步骤110在拍摄界面中显示已搜索区域的过程可包括:
步骤1101、获取拍摄环境区域。
本发明实施例中,可采用SLAM技术,根据摄像头拍摄用户的所处环境,生成拍摄环境区域。具体地,通过获取摄像头所拍摄用户的所处环境的特征点,建立的拍摄环境的三维模型,例如,如图13所示,摄像头拍摄用户所处环境的三张图片,并对这三张图片进行拼接处理,生成拍摄环境区域的图像。
需要说明的是,在执行步骤1101生成拍摄环境区域的过程中,还包括确定拍摄环境区域的画面深度。作为一种可选的方案,可通过具有后置ToF摄像头或者红外深度传感器的终端设备拍摄用户的所处环境,从而能够获取到拍摄环境区域的画面深度。通过获取拍摄环境区域的画面深度以及深度摄像头的检测深度,以便后续步骤确定出未搜索区域。作为另一种可选的方案,可通过具有双摄像头的终端设备采用双目深度检测方法,拍摄用户的所处环境,从而能够获取到拍摄环境区域的画面深度,其中,具有双摄像头的终端设备当前有效搜索范围与双目间距有关。除此之外,还可以通过其他方案确定拍摄环境区域的画面深度,本发明对此不做限定。
步骤1102、在拍摄界面中显示拍摄环境区域。
本发明实施例中,通过在拍摄界面中显示拍摄环境区域之后,处理单元将在拍摄环境区域中将电子设备当前有效搜索范围内的区域确定为已搜索区域,以便后续步骤显示已搜索区域。
步骤1103、在拍摄环境区域中显示标记后的已搜索区域。
本发明实施例中,当步骤1102确定出已搜索区域之后,处理单元113对已搜索区域进行标记,其中,对已搜索区域进行标记的方式,可通过采用不同于拍摄界面114的颜色对已搜索区域进行标记。进一步地,在处理单元113对已搜索区域进行标记后,并将标记了已搜索区域的图像发送显示单元112,以使显示屏1121在拍摄界面上显示标记后的已搜索区域。例如,图12所示,以不同于拍摄界面114的颜色标记已搜索区域5,并在拍摄环境区域中显示标记后的已搜索区域5。
本发明实施例中,进一步地,作为一种可选方案,在步骤110之后,还包括:
步骤111、显示第二标记信息,第二标记信息与已搜索区域相关。
本发明实施例中,第二标记信息可包括文字信息,且第二标记信息与已搜索区域相关,可理解为第二标记信息为已搜索区域的解释信息。例如,如图14所示,在已搜索区域5中,显示“该区域已被搜索”的文字信息,以便于用户根据该文字信息,知晓该区域已被搜索,从而能够引导用户去检测未搜索区域。除此之外,第二标记信息还可以包括其他方式,本发明实施例对此不做限定。
本发明实施例中,进一步地,在步骤110之后,还包括:
步骤112、在拍摄界面中显示标记后的未搜索区域,未搜索区域为拍摄环境区域中除已搜索区域之外的区域。
本发明实施例中,步骤112中将拍摄环境区域中除已搜索区域之外的区域确定为未搜索区域的过程可包括:获取拍摄环境区域的画面深度以及已搜索区域对应的深度信息,其中,已搜索区域对应的深度信息即为深度摄像头的检测深度,根据拍摄环境区域的画面深度以及已搜索区域对应的深度信息确定出未搜索区域,以便显示未搜索区域。具体地,本发明实施例中,对未搜索区域进行标记的方式,可通过采用不同于已搜索区域的颜色对已搜索区域进行标记。例如,图15所示,以不同于已搜索区域5的颜色标记未搜索区域6。
需要说明的是,当步骤108检测出电子设备当前有效搜索范围内包含有待检测对象时,则表明检测任务完成,而当步骤110若未检测出电子设备当前有效搜索范围内包含有待检测对象时,以电子设备包括手机为例,由于手机的后置摄像头是有视角的,超过了视角之外的地方看不到,因此可能导致未检测出电子设备当前有效搜索范围内包含有待检测对象,也就是说,相当于在一个拍摄环境区域中,只是寻找了拍摄环境区域中一部分的区域,因此需要通过步骤112,确定出未搜索区域,以便后续提示用户在未搜索区域进行搜索待检测对象。
也就是说,在步骤102至步骤112的执行过程中,摄像头需要连续拍照或者视频采集,在执行对象检测方法过程中,在后台系统形成拍摄环境区域,并通过步骤110,在拍摄环境区域中对于已搜索区域进行标记。需要说明的是,除了上述图12形成拍摄环境区域之外,在实际应用中不一定是横平竖直的拼接形成的拍摄环境区域,可能出现第一张图右下和第二张图左上是一个物理区域,拼接成拍摄环境区域后,该拍摄环境区域中包含许多未知黑色地带,针对这种状态的拍摄环境区域,仍可以采用本方案,在拍摄环境区域中对已搜索区域进行标记。
步骤114、显示第三标记信息,第三标记信息与未搜索区域相关。
本发明实施例中,第三标记信息可包括文字信息,例如,如图16所示,在未搜索区域6中,显示“该区域未被搜索”的文字信息。除此之外,第三标记信息还可以包括其他方式,本发明对此不做限定。
需要说明的是,为避免增加存储负担,可采用即时显示的方式,显示已搜索区域和未搜索区域,从而避免了采用存储的方式存储已搜索区域和未搜索区域,从而造成系统负荷增加、内存损耗增大的问题。此外,摄像头除了采用深度摄像头和RGB摄像头之外,还可以包括单目摄像头、多摄像头。
步骤116、显示提示信息,以提示在未搜索区域中检测待检测对象。
本发明实施例中,如图17所示,可在拍摄界面114中,显示提示信息“当前区域已搜索,请向前移动”,以提示用户向前移动后,改变设备有效搜索范围,以便用户能够在未搜索区域6中检测待检测对象。
步骤118、若检测出用户更换了搜索区域,则继续执行步骤106。
本发明实施例中,用户更换了搜索区域的情况可包括:用户根据提示信息进行移动后,搜索区域发生变化;或者,用户更换了拍摄环境区域,除此之外,还包括多种情况。在实际应用中,本发明的对象检测过程,可以是连续拍照进行检测的过程,也可以是通过录像进行检测的过程。也就是说,随着用户的连续拍照或者录像,由于更换了搜索区域,因此会连续不间断的执行本发明的对象检测过程。
本发明实施例中,进一步地,作为一种可选方案,本发明的对象检测方法还可以通过声音辅助的方式对待检测对象进行对象检测。
具体地,在执行步骤106中通过获取的待检测对象对应的模型信息,在拍摄界面中检测电子设备当前有效搜索范围内是否包含有待检测对象的过程中,还包括:获取拍摄界面中的环境声音,并将环境声音与获取待检测对象对应的声音模板进行匹配,若匹配成功,能够进一步确定出电子设备当前有效搜索范围内包含有待检测对象,从而增加了待检测对象的识别率。其中,匹配的方式可包括声音相似度匹配,或者声纹信息匹配等方式,本发明对此不做限定。
例如,以检测蚊子为例,当根据蚊子对应的模型信息,在拍摄界面中检测电子设备当前有效搜索范围内是否包含有蚊子的过程中,通过将获取的环境声音与蚊子对应的声音模板进行匹配,若匹配成功,则进一步能够确定出在拍摄界面中检测电子设备当前有效搜索范围内包含有蚊子。
需要说明的是,声音辅助的方式仅作为一种可选方案,除此之外,还可以采用其他的辅助方式,例如,红外传感器辅助检测等。本发明对此不做限定。通过以下实例对上述的对象检测方法进行举例说明:
以检测蚊子为例,用户通过执行唤醒操作,点击“对象检测”控件,电子设备110通过响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象。用户根据需求从多个对象中选择蚊子作为待检测对象。电子设备110检测到用户从多个对象中确定出待检测对象的第一操作,并响应于第一操作,通过获取的待检测对象对应的模型信息,在拍摄界面中检测电子设备当前有效搜索范围内是否包含有待检测对象,具体地,电子设备通过点亮LED灯,并遍历多个焦距,以检测多个焦距的焦距范围内是否包含蚊子。若电子设备发现蚊子时,对蚊子进行标记,并搜索终止;若电子设备未发现蚊子,将电子设备当前有效搜索范围内的区域确定为已搜索区域,将拍摄环境区域中除已搜索区域之外的区域确定为未搜索区域,并显示已搜索区域和确定的未搜索区域,以便用户根据提示信息,在未搜索区域中检测蚊子。
本发明实施例中,接收确定待检测对象的第一操作,响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象,若检测出待检测对象,在拍摄界面上显示标记后的待检测对象,若未检测出待检测对象,在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域,从而能够显示已搜索区域,同时显示未搜索区域并提示用户,提高了对象检测的效率。
图18是本发明一实施例提供的一种电子设备400的示意性框图。应理解,电子设备400能够执行图3的对象检测方法中的各个步骤,为了避免重复,此处不再详述。如图18所示,电子设备400包括:接收单元401、处理单元402以及显示单元403。
接收单元401用于接收确定待检测对象的第一操作。
处理单元402用于响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象;若检测出待检测对象,在拍摄界面上显示标记后的待检测对象。
显示单元403用于若未检测出待检测对象,在拍摄界面中显示已搜索区域;其中,已搜索区域为电子设备当前有效搜索范围内的区域。
本发明实施例中,作为一种可实现的方案,处理单元402还用于获取拍摄环境区域。
显示单元403还用于在拍摄界面中显示拍摄环境区域;在拍摄环境区域中显示标记后的已搜索区域。
本发明实施例中,作为一种可实现的方案,显示单元403还用于显示第一标记信息,第一标记信息与待检测对象相关。
本发明实施例中,作为一种可实现的方案,显示单元403还用于显示第二标记信息,第二标记信息与已搜索区域相关。
本发明实施例中,作为一种可实现的方案,显示单元403还用于在拍摄界面中显示标记后的未搜索区域,未搜索区域为拍摄环境区域中除已搜索区域之外的区域;显示第三标记信息,第三标记信息与未搜索区域相关;显示提示信息,以提示在未搜索区域中检测待检测对象;
处理单元402还用于若检测出用户更换了搜索区域,则继续执行响应于第一操作,显示拍摄界面,在拍摄界面中检测待检测对象的步骤。
本发明实施例中,作为一种可实现的方案,显示单元403还用于响应于用户输入的唤醒操作,显示拍摄界面,拍摄界面包括多个对象。
本发明实施例中,作为一种可实现的方案,接收单元401具体用于接收用户用于从多个对象中确定待检测对象的第一操作。
本发明实施例中,作为一种可实现的方案,处理单元402还用于根据获取的待检测对象对应的深度学习模型,在拍摄界面中的电子设备当前有效搜索范围内检测待检测对象。
本发明实施例中,作为一种可实现的方案,电子设备当前有效搜索范围包括距摄像头预设距离或者对焦范围,其中,摄像头包括深度摄像头;处理单元402具体用于启动静态检测模式,通过遍历对焦范围内的多个焦距,并根据获取的待检测对象对应的深度学习模型,检测多个焦距对应的对焦范围内是否包含有待检测对象,以及在距摄像头预设距离内,通过获取深度摄像头的发射光线和反射光线和获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内是否包含有待检测对象;若在静态检测模式下未检测出待检测对象,启动动态检测模式,并基于动态检测技术,根据获取的待检测对象对应的深度学习模型,检测距摄像头预设距离内以及获取的对焦范围内是否包含有待检测对象。
应理解,这里的电子设备400以功能单元的形式体现。这里的术语“单元”可以通过软件和/或硬件形式实现,对此不作具体限定。例如,“单元”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(applicationspecific integrated circuit,简称ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本发明的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
本发明实施例还提供一种电子设备,该电子设备可以是终端设备也可以是内置于所述终端设备的电路设备。该设备可以用于执行上述方法实施例中的功能/步骤。
图19为本发明一实施例提供的一种电子设备的结构示意图,如图19所示,电子设备900包括处理器910和收发器920。可选地,该电子设备900还可以包括存储器930。其中,处理器910、收发器920和存储器930之间可以通过内部连接通路互相通信,传递控制和/或数据信号,该存储器930用于存储计算机程序,该处理器910用于从该存储器930中调用并运行该计算机程序。
可选地,电子设备900还可以包括天线940,用于将收发器920输出的无线信号发送出去。
上述处理器910可以和存储器930可以合成一个处理装置,更常见的是彼此独立的部件,处理器910用于执行存储器930中存储的程序代码来实现上述功能。具体实现时,该存储器930也可以集成在处理器910中,或者,独立于处理器910。该处理器910可以与图18中电子设备400中的处理单元402对应。
除此之外,为了使得电子设备900的功能更加完善,该电子设备900还可以包括输入单元960、显示单元970、音频电路980、摄像头990和传感器901等中的一个或多个,所述音频电路还可以包括扬声器982、麦克风984等。其中,显示单元970可以包括显示屏,显示单元970可以与图18中电子设备400中的显示单元403对应。
可选地,上述电子设备900还可以包括电源950,用于给终端设备中的各种器件或电路提供电源。
应理解,图19所示的电子设备900能够实现图3所示方法实施例的各个过程。电子设备900中的各个单元的操作和/或功能,分别为了实现上述方法实施例中的相应流程。具体可参见上述方法实施例中的描述,为避免重复,此处适当省略详细描述。
应理解,图19所示的电子设备900中的处理器910可以是片上系统(system on achip,简称SOC),该处理器910中可以包括中央处理器(central processing unit,简称CPU),还可以进一步包括其他类型的处理器,所述CPU可以叫主CPU。各部分处理器配合工作实现之前的方法流程,并且每部分处理器可以选择性执行一部分软件驱动程序。
总之,处理器910内部的各部分处理器或处理单元可以共同配合实现之前的方法流程,且各部分处理器或处理单元相应的软件程序可存储在存储器930中。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当该指令在计算机上运行时,使得计算机执行如上述图3所示的对象检测方法中的各个步骤。
以上各实施例中,涉及的处理器910可以例如包括中央处理器(centralprocessing unit,简称CPU)、微处理器、微控制器或数字信号处理器,还可包括图形处理器(Graphics Processing Unit,简称GPU)、网络处理器(Neural-network Processing Unit,简称NPU)和图像处理器(Image Signal Processor,简称ISP),该处理器还可包括必要的硬件加速器或逻辑处理硬件电路,如特定应用集成电路(application-specific integratedcircuit,简称ASIC),或一个或多个用于控制本发明技术方案程序执行的集成电路等。此外,处理器可以具有操作一个或多个软件程序的功能,软件程序可以存储在存储器中。
存储器可以是只读存储器(read-only memory,简称ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器(random access memory,简称RAM)或可存储信息和指令的其它类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,简称EEPROM)、只读光盘(compact disc read-only memory,简称CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者还可以是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质等。
本发明实施例中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达,是指的这些项中的任意组合,包括单项或复数项的任意组合。例如,a,b和c中的至少一项可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。
本领域普通技术人员可以意识到,本文中公开的实施例中描述的各单元及算法步骤,能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,简称ROM)、随机存取存储器(random access memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种对象检测方法,应用于具有显示屏和摄像头的电子设备,其特征在于,包括:
接收确定待检测对象的第一操作;
响应于所述第一操作,显示拍摄界面,在所述拍摄界面中检测所述待检测对象;
若检测出所述待检测对象,在所述拍摄界面上显示标记后的所述待检测对象;
若未检测出所述待检测对象,在所述拍摄界面中显示已搜索区域;其中,所述已搜索区域为所述电子设备当前有效搜索范围内的区域。
2.根据权利要求1所述的方法,其特征在于,所述在所述拍摄界面中显示所述已搜索区域包括:
获取拍摄环境区域;
在所述拍摄界面中显示所述拍摄环境区域;
在所述拍摄环境区域中显示标记后的所述已搜索区域。
3.根据权利要求2所述的方法,其特征在于,在所述拍摄环境区域中显示标记后的所述已搜索区域之后,还包括:
在拍摄界面中显示标记后的未搜索区域,所述未搜索区域为所述拍摄环境区域中除所述已搜索区域之外的区域;
显示第三标记信息,所述第三标记信息与所述未搜索区域相关;
显示提示信息,以提示在所述未搜索区域中检测所述待检测对象;
若检测出用户更换了搜索区域,则继续执行所述响应于所述第一操作,显示拍摄界面,在拍摄界面中检测所述待检测对象的步骤。
4.根据权利要求1所述的方法,其特征在于,在所述拍摄界面上显示标记后的所述待检测对象之后,还包括:
显示第一标记信息,所述第一标记信息与所述待检测对象相关。
5.根据权利要求1所述的方法,其特征在于,在所述拍摄界面中显示已搜索区域之后,还包括:
显示第二标记信息,所述第二标记信息与所述已搜索区域相关。
6.根据权利要求1所述的方法,其特征在于,在所述检测到用户用于从多个对象中确定出待检测对象的第一操作之前,还包括:
响应于用户输入的唤醒操作,显示拍摄界面,所述拍摄界面包括多个对象。
7.根据权利要求6所述的方法,其特征在于,所述接收确定待检测对象的第一操作,包括:
接收用户从所述多个对象中确定所述待检测对象的第一操作。
8.根据权利要求2所述的方法,其特征在于,所述在拍摄界面中检测所述待检测对象,包括:
根据所述待检测对象对应的深度学习模型,在所述拍摄界面中的所述电子设备当前有效搜索范围内检测所述待检测对象。
9.根据权利要求8所述的方法,其特征在于,所述电子设备当前有效搜索范围包括距摄像头预设距离或者对焦范围,其中,所述摄像头包括深度摄像头;
所述根据所述待检测对象对应的深度学习模型,在所述拍摄界面中的所述电子设备当前有效搜索范围内检测所述待检测对象,包括:
启动静态检测模式,通过遍历所述对焦范围内的多个焦距,根据所述待检测对象对应的所述深度学习模型,检测所述多个焦距对应的所述对焦范围内是否包含有所述待检测对象,以及在所述距摄像头预设距离内,通过获取所述深度摄像头的发射光线、反射光线和所述待检测对象对应的所述深度学习模型,检测距摄像头预设距离内是否包含有所述待检测对象;
若在所述静态检测模式下未检测出所述待检测对象,启动动态检测模式,基于动态检测技术以及所述待检测对象对应的所述深度学习模型,检测所述距摄像头预设距离内以及所述多个焦距对应的所述对焦范围内是否包含有所述待检测对象。
10.一种电子设备,其特征在于,所述电子设备包括:
摄像头;
显示屏;
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序被存储在所述存储器中,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行权利要求1至9中任意一项所述的对象检测方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的对象检测方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括软件代码,所述软件代码用于执行权利要求1至9中任意一项所述的对象检测方法。
CN202010787679.9A 2020-08-07 2020-08-07 一种对象检测方法、电子设备和计算机可读存储介质 Active CN114071005B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010787679.9A CN114071005B (zh) 2020-08-07 2020-08-07 一种对象检测方法、电子设备和计算机可读存储介质
PCT/CN2021/109967 WO2022028348A1 (zh) 2020-08-07 2021-08-02 一种对象检测方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010787679.9A CN114071005B (zh) 2020-08-07 2020-08-07 一种对象检测方法、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN114071005A true CN114071005A (zh) 2022-02-18
CN114071005B CN114071005B (zh) 2022-12-27

Family

ID=80117005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010787679.9A Active CN114071005B (zh) 2020-08-07 2020-08-07 一种对象检测方法、电子设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114071005B (zh)
WO (1) WO2022028348A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985789A (zh) * 2010-07-07 2013-03-20 莱卡地球系统公开股份有限公司 目标点识别方法和测量仪器
CN103454697A (zh) * 2013-09-26 2013-12-18 上海海事大学 一种全覆盖水下搜救装置及其搜救方法
US20180284954A1 (en) * 2017-03-30 2018-10-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Identifying a target area to display a popup graphical element
CN110909776A (zh) * 2019-11-11 2020-03-24 维沃移动通信有限公司 一种图像识别方法及电子设备
CN111093034A (zh) * 2019-12-31 2020-05-01 维沃移动通信有限公司 物品查找方法及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020016471A (ja) * 2018-07-23 2020-01-30 株式会社キーエンス 画像検査装置
CN110166691A (zh) * 2019-05-31 2019-08-23 维沃移动通信(杭州)有限公司 一种拍摄方法及终端设备
CN111163261B (zh) * 2019-12-25 2022-03-01 上海肇观电子科技有限公司 目标检测方法、电路、视障辅助设备、电子设备和介质
CN111191611B (zh) * 2019-12-31 2023-10-13 同济大学 基于深度学习的交通标志标号识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102985789A (zh) * 2010-07-07 2013-03-20 莱卡地球系统公开股份有限公司 目标点识别方法和测量仪器
CN103454697A (zh) * 2013-09-26 2013-12-18 上海海事大学 一种全覆盖水下搜救装置及其搜救方法
US20180284954A1 (en) * 2017-03-30 2018-10-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Identifying a target area to display a popup graphical element
CN110909776A (zh) * 2019-11-11 2020-03-24 维沃移动通信有限公司 一种图像识别方法及电子设备
CN111093034A (zh) * 2019-12-31 2020-05-01 维沃移动通信有限公司 物品查找方法及电子设备

Also Published As

Publication number Publication date
CN114071005B (zh) 2022-12-27
WO2022028348A1 (zh) 2022-02-10

Similar Documents

Publication Publication Date Title
WO2019179442A1 (zh) 智能设备的交互目标确定方法和装置
US11847857B2 (en) Vehicle device setting method
CN108399349B (zh) 图像识别方法及装置
US9900500B2 (en) Method and apparatus for auto-focusing of an photographing device
KR101357262B1 (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
US9058536B1 (en) Image-based character recognition
CN111465960A (zh) 图像获取装置及控制图像获取装置的方法
US20240037712A1 (en) Image acquisition device and method of controlling the same
WO2018101247A1 (ja) 画像認識撮像装置
KR20150003591A (ko) 스마트 글라스
JP2012024154A (ja) 瞳孔検出装置及び瞳孔検出方法
CN105659200A (zh) 用于显示图形用户界面的方法、设备和系统
CN103581543A (zh) 拍摄装置、拍摄控制方法、和眼球识别装置
US20220262035A1 (en) Method, apparatus, and system for determining pose
CN105027553A (zh) 图像处理装置、图像处理方法以及存储图像处理程序的存储介质
JP2008109344A (ja) 特定被写体像の検出方法およびデジタルカメラ
US11610375B2 (en) Modulated display AR tracking systems and methods
CN111105039A (zh) 信息处理设备及其控制方法和存储器
CN114071005B (zh) 一种对象检测方法、电子设备和计算机可读存储介质
CN106922181A (zh) 方向感知自动聚焦
JP5360115B2 (ja) ヘッドマウントディスプレイ
KR20150086840A (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
JP4716266B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP2023038203A (ja) 表示装置、表示方法、プログラム及び画像投影システム
CN113010009B (zh) 对象共享方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant