CN108737733B - 信息提示方法和装置、电子设备、计算机可读存储介质 - Google Patents

信息提示方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN108737733B
CN108737733B CN201810588006.3A CN201810588006A CN108737733B CN 108737733 B CN108737733 B CN 108737733B CN 201810588006 A CN201810588006 A CN 201810588006A CN 108737733 B CN108737733 B CN 108737733B
Authority
CN
China
Prior art keywords
portrait
information
preview picture
object detection
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810588006.3A
Other languages
English (en)
Other versions
CN108737733A (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810588006.3A priority Critical patent/CN108737733B/zh
Publication of CN108737733A publication Critical patent/CN108737733A/zh
Application granted granted Critical
Publication of CN108737733B publication Critical patent/CN108737733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种信息提示方法和装置、电子设备、计算机可读存储介质。所述方法包括:获取摄像头采集的预览画面,将预览画面输入至物体检测模型,得到预览画面的人像信息,物体检测模型是根据带有人像的图像训练得到的,根据人像信息发出提示信息。通过物体检测模型对摄像头采集的预览画面进行检测,由于物体检测模型是根据带有人像的图像训练得到的,提高了预览画面中人像检测的准确性,电子设备根据得到的预览画面的人像信息发出提示信息,提高了摄像头采集人像图像的安全性。

Description

信息提示方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种信息提示方法和装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多电子设备中的摄像头都具有识别的功能。在日常生活中,电子设备可以通过摄像头采集图像,用户还可以使用前置摄像头照镜子。电子设备还可以通过摄像头采集图像并对图像进行识别,从而实现安全支付、身份识别等功能。
然而,电子设备在对摄像头采集的图像进行识别时,由于图像采集的角度不同,摄像头采集的图像中往往存在边角人脸,存在安全性较低的问题。
发明内容
本申请实施例提供一种信息提示方法、装置、电子设备、计算机可读存储介质,可以提高摄像头采集图像时的安全性。
一种信息提示方法,包括:
获取摄像头采集的预览画面;
将所述预览画面输入至物体检测模型,得到所述预览画面的人像信息,所述物体检测模型是根据带有人像的图像训练得到的;
根据所述人像信息发出提示信息。
一种信息提示装置,包括:
画面获取模块,用于获取摄像头采集的预览画面;
人像信息获取模块,用于将所述预览画面输入至物体检测模型,得到所述预览画面的人像信息,所述物体检测模型是根据带有人像的图像训练得到的;
提示信息发送模块,用于根据所述人像信息发出提示信息。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:
获取摄像头采集的预览画面;
将所述预览画面输入至物体检测模型,得到所述预览画面的人像信息,所述物体检测模型是根据带有人像的图像训练得到的;
根据所述人像信息发出提示信息。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取摄像头采集的预览画面;
将所述预览画面输入至物体检测模型,得到所述预览画面的人像信息,所述物体检测模型是根据带有人像的图像训练得到的;
根据所述人像信息发出提示信息。
上述信息提示方法和装置、电子设备、计算机可读存储介质,通过获取摄像头采集的预览画面,将预览画面输入至物体检测模型,得到预览画面的人像信息,物体检测模型是根据带有人像的图像训练得到的,根据人像信息发出提示信息。通过物体检测模型对摄像头采集的预览画面进行检测,由于物体检测模型是根据带有人像的图像训练得到的,提高了预览画面中人像检测的准确性,电子设备根据得到的预览画面的人像信息发出提示信息,提高了摄像头采集人像图像的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的架构示意图;
图2为一个实施例中信息提示方法的流程图;
图3为一个实施例中得到人像信息的方法流程图;
图4为一个实施例中存在人像的界面示意图;
图5为一个实施例中对预览图像中人像进行判断的方法流程图;
图6为一个实施例中计算人像的面积以及中心点坐标的方法流程图;
图7为一个实施例中人像的边缘点以及中心点坐标的界面示意图;
图8为一个实施例中得到其他人像的人像信息的方法流程图;
图9为一个实施例中第一阈值范围与第二阈值范围界面示意图;
图10为一个实施例中信息提示装置的结构框图;
图11为一个实施例中人像信息获取模块的结构框图;
图12为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
在一个实施例中,如图1所示,提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器、摄像头和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的信息提示方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM) 等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现本申请各个实施例所提供的一种信息提示方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。摄像头可以用于采集图像。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信,比如可用于同服务器进行通信。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种信息提示方法,以应用于上述电子设备来举例说明,如图2所示,该方法包括如下步骤:
步骤202,获取摄像头采集的预览画面。
摄像头可以是前置摄像头,还可以是后置摄像头。预览画面是指通过摄像头采集的未经过处理的原始画面。例如,预览画面可以是电子设备通过前置摄像头采集的准备自拍的画面,也可以是电子设备通过后置摄像头采集的准备拍照的画面,还可以是电子设备通过前置摄像头采集的用户使用前置摄像头照镜子的画面。电子设备可以获取到摄像头采集的预览画面。
步骤204,将预览画面输入至物体检测模型,得到预览画面的人像信息,物体检测模型是根据带有人像的图像训练得到的。
物体检测模型可以是基于深度学习的卷积神经网络模型。物体检测模型是根据带有人像的图像训练得到的模型。人像信息是指预览画面是否存在人像以及预览画面中存在人像时人像的位置和大小的信息。
电子设备在获取到摄像头采集的预览画面后,可以获取的预览画面输入到训练好的物体检测模型中。物体检测模型可以对输入的预览画面进行检测和处理,当预览画面中存在人像时,物体检测模型可以输出预览画面中人像的人像信息,具体的,物体检测模型输出的人像信息可以包括人像的位置和大小等信息。电子设备在将预览画面输入到物体检测模型后,可以获取到物体检测模型输出的人像信息。
步骤206,根据人像信息发出提示信息。
电子设备可以预先设置人像信息的判断标准,该判断标准还可以是用户设置的。具体的,判断标准可以包括人像的位置范围以及人像的大小范围等。电子设备在获取到物体检测模型输出的人像信息后,可以根据预先设置好的人像信息判断标准对输出的人像信息中的人像位置和大小等信息进行判断。例如,电子设备可以判断输出的人像信息中的人像位置是否在预设的人像的位置范围内,电子设备还可以判断输出的人像信息中的人像的大小是否在预设的人像的大小范围内。
当电子设备判断得到输出的人像信息中的人像位置以及人像的大小均在预设的人像的位置范围以及人像的大小范围内时,电子设备可以发出提示信息。其中,提示信息的发出方式可以是语音、震动以及弹出提示框等。
通过获取摄像头采集的预览画面,将预览画面输入至物体检测模型,得到预览画面的人像信息,物体检测模型是根据带有人像的图像训练得到的,根据人像信息发出提示信息。通过物体检测模型对摄像头采集的预览画面进行检测,由于物体检测模型是根据带有人像的图像训练得到的,提高了预览画面中人像检测的准确性,电子设备根据得到的预览画面的人像信息发出提示信息,提高了摄像头采集人像图像的安全性。
如图3所示,在一个实施例中,提供的一种信息提示方法还可以包括得到人像信息的过程,具体步骤包括:
步骤302,将预览画面输入物体检测模型,物体检测模型对预览画面中的人像进行检测。
物体检测模型可以包括两个网络部分:分类部分和检测部分。其中,分类部分采用mobilenet模型判断预览画面中的物体是否为人像,mobilenet模型是一种物体分类的卷积神经网络模型。检测部分采用SSD(Single Shot MultiBox Detector)模型,用于检测预览图像中人像的位置和大小。
电子设备在将预览画面输入到物体检测模型后,物体检测模型中的分类部分可以采用mobilenet模型对预览画面中的人像进行检测,物体检测模型可以对预览图像中存在的人像正脸以及侧脸等,并得到检测结果。具体的,检测结果可以是该预览图像中存在人像,检测结果还可以是该预览图像中不存在人像。
步骤304,当预览画面中存在人像时,计算人像的面积以及人像所在的中心点坐标。
当物体检测模型得到的检测结果是预览画面中存在人像时,物体检测模型中的SSD模型可以对该人像的位置以及大小进行检测。例如,SSD模型检测出该人像的位置以及大小时,可以采用矩形框对该人像的位置以及大小进行标记。
电子设备可以根据物体检测模型中的SSD模型对人像标记的矩形框得到该矩形框的各个顶点的坐标。电子设备可以根据人像所在的矩形框的各个顶点坐标计算出该矩形框的长度值和宽度值,再根据长度值和宽度值计算出该矩形框的面积。电子设备还可以计算出人像所在的中心点坐标。例如,中心点可以是矩形框对角线的交点,电子设备可以根据该矩形框各个顶点的坐标计算出矩形框中心点的坐标。
步骤306,根据人像的面积以及人像所在的中心点坐标得到预览画面的人像信息。
电子设备在计算出预览图像中人像的面积以及人像所在的中心点坐标后,可以得到预览图像中人像的大小以及位置。例如,预览图像中人像的大小可以是人像所在的矩形框的面积,预览图像中人像的位置即人像所在的中心点坐标所在的位置。
通过将预览画面输入物体检测模型,物体检测模型对预览画面中的人像进行检测,当预览画面中存在人像时,计算人像的面积以及人像所在的中心点坐标,根据人像的面积以及人像所在的中心点坐标得到预览画面的人像信息。电子设备将预览画面输入物体检测模型后,物体检测模型分别对预览画面中人像的位置以及大小进行检测,提高了对预览画面中人像检测的准确性,从而提高了摄像头采集图像时的安全性。
在一个实施例中,如图4所示,电子设备获取了通过摄像头采集的预览画面400,电子设备可以将获取的预览画面400输入到物体检测模型中,物体检测模型可以对输入的预览画面400中的人像进行检测。例如,预览画面400中存在四个人像,物体检测模型可以对预览画面400中的四个人像进行检测,并输出人像所在的位置。如图4所示,物体检测模型对人像进行检测后,可以输出第一人像410的位置、第二人像420的位置、第三人像430的位置以及第四人像440的位置。
如图5所示,在一个实施例中,提供的一种信息提示方法还可以包括对预览图像中人像进行判断的过程,具体步骤包括:
步骤502,获取物体检测模型输出的人像置信度。
其中,置信度是被测量参数的测量值的可信程度,人像置信度可以是预览图像中含有人像的概率或者是预览图像中含有人像的可信程度。
物体检测模型可以分为两个部分,其中一个部分是分类部分。分类部分采用mobilenet模型判断预览画面中的物体是否为人像,该mobilenet模型可以得到人像置信度。电子设备可以得到该mobilenet模型输出的人像置信度。
步骤504,当人像置信度大于置信度阈值时,记录预览画面中的人像。
置信度阈值可以是预先设置的一个具体的概率值。电子设备在获取到人像置信度后,可以将获取的人像置信度与置信度阈值进行比较。当人像置信度小于或者等于置信度阈值时,表示预览画面中存在的物体不是人像;当人像置信度大于置信度阈值时,表示预览画面中存在的物体是人像,电子设备可以对预览画面中的人像进行记录。
通过获取物体检测模型输出的人像置信度,当人像置信度大于置信度阈值时,记录预览画面中的人像。根据人像置信度判断预览画面中的物体是否为人像,提高了人像判断的准确性。
在一个实施例中,如图6所示,提供的一种信息提示方法还可以包括计算人像的面积以及中心点坐标的过程,具体步骤包括:
步骤602,获取人像的边缘点在预览画面中的坐标值。
电子设备可以将预览画面的长作为坐标横轴,将预览画面的宽作为坐标纵轴,建立一个坐标系,预览画面中的所有物体都可以有对应坐标。电子设备可以获取到人像的边缘点,具体的,电子设备可以通过矩形框获取到人像的边缘点。在获取到人像所在的矩形框后,可以根据建立的坐标系获取到人像所在的矩形框的各个顶点在预览画面中的坐标值。
步骤604,根据坐标值计算出人像的面积以及人像所在的中心点坐标。
电子设备可以根据得到的人像的边缘点的坐标值计算人像的面积。例如,电子设备可以根据人像所在的矩形框的各个顶点的坐标值计算出矩形框的长度值和宽度值,再根据计算出的长度值和宽度值计算出该矩形框的面积。中心点可以是矩形框对角线的交点,电子设备可以根据人像边缘点的坐标值计算出中心点的坐标值。
通过获取人像的边缘点在预览画面中的坐标值,根据坐标值计算出人像的面积以及人像所在的中心点坐标。通过建立坐标系的方式计算人像的面积以及人像所在的中心点坐标,可以提高输出的人像位置以及人像大小的准确性。
在一个实施例中,如图7所示,电子设备在获取到预览画面700后,可以以预览画面700的长度作为x轴,以预览画面700的宽度作为y轴建立一个坐标系。如图7所示,预览画面700的长度可以为600mm,预览画面的宽度可以为 800mm。电子设备可以通过物体检测模型对预览画面700中的人像进行检测,并对人像进行标记,例如,电子设备可以采用矩形框的方式对人像进行标记。如图7所示,电子设备通过物体检测模型检测出了四个人像,并对检测出的人像进行标记,得到第一人像710、第二人像720、第三人像730以及第四人像740。以电子设备得到的第一人像710为例,电子设备可以计算出第一人像710中边缘点的坐标值,以矩形框为例,电子设备可以计算出矩形框各个顶点的坐标值,即A1、A2、A3和A4的坐标值,电子设备还可以根据计算出的各个顶点A1、A2、 A3和A4的坐标值计算出第一人像710的中心坐标A的坐标值,如图7所示,第一人像710的中心坐标A的坐标值为(300,300)。同样的,电子设备还可以分别计算出第二人像720的中心坐标B的坐标值为(120,600)、第三人像730的中心坐标C的坐标值为(450,620)、第四人像740的中心坐标D的坐标值为 (100,130)。电子设备还可以分别计算出第一人像710、第二人像720、第三人像730以及第四人像740的面积。
如图8所述,在一个实施例中,提供的一种信息提示方法还可以包括得到其他人像的人像信息的过程,具体步骤包括:
步骤802,计算人像的面积与预览画面的面积之间的第一比值。
电子设备可以通过建立的坐标系计算出人像的面积,同样的,电子设备也可以通过建立的坐标系计算出预览画面的面积。电子设备在计算出人像的面积与预览画面的面积之后,还可以计算出人像的面积与预览画面的面积之间的比值,并将该计算出的比值记作第一比值。
步骤804,计算人像的边缘点在预览画面中的坐标值与预览画面的各个顶点的坐标值之间的第二比值。
电子设备还可以根据建立好的坐标系计算出人像的边缘点在预览画面的坐标值,同样的,电子设备也可以根据建立好的坐标系计算出预览画面的各个顶点的坐标值。电子设备还可以计算出人像的边缘点在预览画面中的坐标值与预览画面的各个顶点的坐标值之间比值,并将该计算出的比值记作第二比值。
步骤806,当第一比值在第一阈值范围内且第二比值在第二阈值范围内时,得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息。
其中,第一阈值范围与第二阈值范围可以是预先设置好的数值范围。电子设备在计算出第一比值与第二比值后,可以分别将第一比值与第一阈值范围、第二比值与第二阈值范围进行比较,并得到比较结果。当得到的比较结果为第一比值在第一阈值范围内,并且第二比值在第二阈值范围内时,电子设备可以得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息。
通过计算人像的面积与预览画面的面积之间的第一比值,计算人像的边缘点在预览画面中的坐标值与预览画面的各个顶点的坐标值之间的第二比值,当第一比值在第一阈值范围内且第二比值在第二阈值范围内时,得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息。电子设备通过分别判断第一比值与第二比值是否在第一阈值范围内与第二阈值范围内,从而得到预览画面中是否存在摄像头使用者的人像之外的其他人像的人像信息,提高了人像信息检测的准确性,进而提高了摄像头采集人像图像的安全性。
在一个实施例中,提供的一种信息提示方法还可以包括发出提示信息的过程,具体包括:当人像信息为摄像头使用者的人像之外的其他人像信息时,发出提示信息。
电子设备得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息后,可以发出提示信息。具体的,提示信息可以是语音提示、震动提示或者是弹出提示框进行提示。
当人像信息为摄像头使用者的人像之外的其他人像信息时,电子设备发出提示信息。可以提高摄像头采集人像图像的安全性。
如图9所示,在一个实施例中,电子设备在获取到预览画面900后,还可以通过物体检测模型得到该预览画面900中各个人像所在的矩形框的中心点坐标。以图9中包含有四个人像为例,电子设备可以得到第一人像910的中心坐标A、第二人像920的中心坐标B、第三人像930的中心坐标C、第四人像940 的中心坐标D。同样的,电子设备可以将预览画面900的长度作为横轴x,将预览画面900的宽度作为纵轴y建立坐标系。电子设备可以对第一阈值范围和第二阈值范围进行设置,例如,第一阈值范围可以设置为人像面积小于预览画面 900面积的1/20时的范围;第二阈值范围可以设置为中心坐标的横坐标小于预览画面900的长度的四分之一且大于预览览画面900的长度的四分之三,中心坐标的纵坐标小于预览画面900的宽度的四分之一且大于预览画面900的宽度的四分之三。如图9所示,电子设备通过摄像头采集的预览画面900的长度为 600mm,宽度为800mm,因此,第一阈值范围可以设置为0m2到24000m2;第二阈值范围可以设置为横坐标范围为0mm到150mm,或者横坐标范围为450mm到600mm,且纵坐标范围为0mm到175mm,或者纵坐标范围为525mm到800mm。以电子设备采用矩形框对人像进行标记的方式为例,第二阈值范围在预览画面900 中存在交叉部分,形成了以A1、A2、A3以及A4为顶点的一个矩形框,在矩形框A1A2A3A4以外的中心点坐标均在第二阈值范围内。如图9所示,电子设备计算得到的第二人像920的中心坐标B、第三人像930的中心坐标C、第四人像940 的中心坐标D均在第二阈值范围内,且人像的面积均在第一阈值范围内,因此,电子设备可以得到预览画面900中存在摄像头使用者的人像之外的其他人像的人像信息。
在一个实施例中,提供的一种信息提示方法还可以包括训练物体检测模型的过程,具体包括:获取包含有人像及人像位置的训练图像,将训练图像输入物体检测模型,对物体检测模型进行训练,得到用于检测人像类别及人像位置的物体检测模型。
电子设备在训练物体检测模型时,可以获取包含有人像以及人像位置的多张训练图像。电子设备可以将获取的包含有人像以及人像位置的训练图像输入到物体检测模型中,并对物体检测模型进行训练。训练物体检测模型时也可以分为两个部分,即分类部分和检测部分。分类部分采用包含有人像的训练图像使用mobilenet模进行训练;检测部分采用包含有人像位置的训练图像使用SSD 模型进行训练,使用SSD模型训练时,可以将训练图像中的人像通过矩形框的形式标注出来。训练完成后,电子设备可以得到用于检测人像类别及人像位置的物体检测模型。
通过获取包含有人像及人像位置的训练图像,将训练图像输入物体检测模型,对物体检测模型进行训练,得到用于检测人像类别及人像位置的物体检测模型。使用含有人像及人像位置的训练图像对物体检测模型进行训练,可以提高训练后的物体检测模型检测人像的准确性。
在一个实施例中,提供了一种信息提示方法,实现该方法的具体步骤如下所述:
首先,电子设备可以获取摄像头采集的预览画面。摄像头可以是前置摄像头,还可以是后置摄像头。预览画面是指通过摄像头采集的未经过处理的原始画面。例如,预览画面可以是电子设备通过前置摄像头采集的准备自拍的画面,也可以是电子设备通过后置摄像头采集的准备拍照的画面,还可以是电子设备通过前置摄像头采集的用户使用前置摄像头照镜子的画面。电子设备可以获取到摄像头采集的预览画面。
接着,电子设备还可以将预览画面输入至物体检测模型,得到预览画面的人像信息,物体检测模型是根据带有人像的图像训练得到的。其中,物体检测模型可以通过训练得到,电子设备可以获取包含有人像及人像位置的训练图像,将训练图像输入物体检测模型,电子设备可以对物体检测模型进行训练,得到用于检测人像类别及人像位置的物体检测模型。
电子设备还可以将预览画面输入物体检测模型,物体检测模型对预览画面中的人像进行检测。电子设备在将预览画面输入到物体检测模型后,物体检测模型中的分类部分可以采用mobilenet模型对预览画面中的人像进行检测,物体检测模型可以对预览图像中存在的人像正脸以及侧脸等,并得到检测结果。电子设备还可以获取物体检测模型输出的人像置信度当人像置信度大于置信度阈值时,电子设备可以记录预览画面中的人像。
当预览画面中存在人像时,电子设备还可以计算人像的面积以及人像所在的中心点坐标。以电子设备采用矩形框对人像进行标记为例,电子设备可以根据物体检测模型中的SSD模型对人像标记的矩形框得到该矩形框的各个顶点的坐标。电子设备可以根据人像所在的矩形框的各个顶点坐标计算出该矩形框的长度值和宽度值,再根据长度值和宽度值计算出该矩形框的面积。
电子设备还可以计算出人像的中心点坐标。电子设备可以将预览画面的长作为坐标横轴,将预览画面的宽作为坐标纵轴,建立一个坐标系,预览画面中的所有物体都可以有对应坐标。电子设备在获取到人像后,可以根据建立的坐标系获取到人像的边缘点在预览画面中的坐标值。电子设备可以根据坐标值计算出人像的面积以及人像所在的中心点坐标。
接着,电子设备还可以根据人像的面积以及人像所在的中心点坐标得到预览画面的人像信息。电子设备在计算出预览图像中人像的面积以及人像所在的中心点坐标后,可以得到预览图像中人像的大小以及位置。
电子设备可以计算人像的面积与预览画面的面积之间的第一比值,电子设备还可以计算人像的边缘点在预览画面中的坐标值与预览画面的各个顶点的坐标值之间的第二比值。当第一比值在第一阈值范围内且第二比值在第二阈值范围内时,电子设备还可以得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息。
最后,当人像信息为摄像头使用者的人像之外的其他人像信息时,电子设备可以发出提示信息。电子设备得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息后,可以发出提示信息。具体的,提示信息可以是语音提示、震动提示或者是弹出提示框进行提示。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图10为一个实施例中信息提示装置的结构框图,如图10所示,该装置包括:画面获取模块1010、人像信息获取模块1020以及提示信息发送模块1030,其中:
画面获取模块1010,用于获取摄像头采集的预览画面。
人像信息获取模块1020,用于将预览画面输入至物体检测模型,得到预览画面的人像信息,物体检测模型是根据带有人像的图像训练得到的。
提示信息发送模块1030,用于根据人像信息发出提示信息。
在一个实施例中,如图11所示,人像信息获取模块1020还可以包括人像检测模块1022、计算模块1024以及画面信息获取模块1026,其中:
人像检测模块1022,用于将预览画面输入至物体检测模型,物体检测模型对预览画面中的人像进行检测。
计算模块1024,用于当预览画面中存在人像时,计算人像的面积以及人像所在的中心点坐标。
画面信息获取模块1026,用于根据人像的面积以及人像所在的中心点坐标得到预览画面的人像信息。
在一个实施例中,人像检测模块1022还可以用于获取物体检测模型输出的人像置信度,当人像置信度大于置信度阈值时,记录预览画面中的人像。
在一个实施例中,计算模块1024还可以用于获取人像的边缘在预览画面中的坐标值,根据坐标值计算出人像的面积以及人像所在的中心点坐标。
在一个实施例中,画面信息获取模块1026还可以用于计算人像的面积与预览画面的面积之间的第一比值,计算人像的边缘点在预览画面中的坐标值与预览画面的各个顶点的坐标值之间的第二比值,当第一比值在第一阈值范围内且第二比值在第二阈值范围内时,得到预览画面中存在摄像头使用者的人像之外的其他人像的人像信息。
在一个实施例中,提示信息发送模块1030还可以用于当人像信息为摄像头使用者的人像之外的其他人像信息时,发出提示信息。
在一个实施例中,人像信息获取模块1020还可以用于获取包含有人像及人像位置的训练图像,将训练图像输入物体检测模型,对物体检测模型进行训练,得到用于检测人像类别及人像位置的物体检测模型。
上述信息提示装置中各个模块的划分仅用于举例说明,在其他实施例中,可将信息提示装置按照需要划分为不同的模块,以完成上述信息提示装置的全部或部分功能。
关于信息提示装置的具体限定可以参见上文中对于信息提示方法的限定,在此不再赘述。上述信息提示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的信息提示装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行信息提示方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行信息提示方法。
本申请实施例还提供一种电子设备。电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图12为一个实施例中图像处理电路的示意图。如图12所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图12所示,图像处理电路包括ISP处理器1240和控制逻辑器1250。成像设备1210捕捉的图像数据首先由ISP处理器1240处理,ISP处理器1240对图像数据进行分析以捕捉可用于确定和/或成像设备1210的一个或多个控制参数的图像统计信息。成像设备1210可包括具有一个或多个透镜1212和图像传感器1214的照相机。图像传感器1214可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1214可获取用图像传感器1214的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1240处理的一组原始图像数据。传感器1220 (如陀螺仪)可基于传感器1220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1240。传感器1220接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器1214也可将原始图像数据发送给传感器1220,传感器 1220可基于传感器1220接口类型把原始图像数据提供给ISP处理器1240,或者传感器1220将原始图像数据存储到图像存储器1230中。
ISP处理器1240按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1240还可从图像存储器1230接收图像数据。例如,传感器1220 接口将原始图像数据发送给图像存储器1230,图像存储器1230中的原始图像数据再提供给ISP处理器1240以供处理。图像存储器1230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器1214接口或来自传感器1220接口或来自图像存储器1230的原始图像数据时,ISP处理器1240可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1230,以便在被显示之前进行另外的处理。ISP处理器1240从图像存储器1230接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1240处理后的图像数据可输出给显示器1270,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP 处理器1240的输出还可发送给图像存储器1230,且显示器1270可从图像存储器1230读取图像数据。在一个实施例中,图像存储器1230可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1240的输出可发送给编码器/解码器1260,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1270 设备上之前解压缩。编码器/解码器1260可由CPU或GPU或协处理器实现。
ISP处理器1240确定的统计数据可发送给控制逻辑器1250单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1212阴影校正等图像传感器1214统计信息。控制逻辑器1250可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1210的控制参数及ISP处理器1240的控制参数。例如,成像设备1210的控制参数可包括传感器1220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1212 阴影校正参数。
本实施例中运用图12中图像处理技术可实现上述图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种信息提示方法,其特征在于,包括:
获取摄像头采集的预览画面;
将所述预览画面输入至所述物体检测模型,所述物体检测模型对所述预览画面中的人像进行检测,所述物体检测模型是根据带有人像的图像训练得到的;
当所述预览画面中存在人像时,计算所述人像的面积以及所述人像所在的中心点坐标;
根据所述人像的面积以及所述人像所在的中心点坐标得到所述预览画面的人像信息;
当所述人像的面积以及所述人像所在的中心点坐标均在预设的大小范围和位置范围内时,发出提示信息。
2.根据权利要求1所述的方法,其特征在于,在所述物体检测模型对所述预览画面中的人像进行检测之后,所述方法还包括:
获取所述物体检测模型输出的人像置信度;
当所述人像置信度大于置信度阈值时,记录所述预览画面中的人像。
3.根据权利要求1所述的方法,其特征在于,所述计算所述人像的面积以及所述人像所在的中心点坐标,包括:
获取所述人像的边缘点在所述预览画面中的坐标值;
根据所述坐标值计算出所述人像的面积以及所述人像所在的中心点坐标。
4.根据权利要求3所述的方法,其特征在于,所述根据所述人像的面积以及所述人像所在的中心点坐标得到所述预览画面的人像信息,包括:
计算所述人像的面积与所述预览画面的面积之间的第一比值;
计算所述人像的边缘点在所述预览画面中的坐标值与所述预览画面的各个顶点的坐标值之间的第二比值;
当所述第一比值在第一阈值范围内且所述第二比值在第二阈值范围内时,得到所述预览画面中存在摄像头使用者的人像之外的其他人像的人像信息。
5.根据权利要求1所述的方法,其特征在于,所述根据所述人像信息发出提示信息,包括:
当所述人像信息为摄像头使用者的人像之外的其他人像信息时,发出所述提示信息。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述方法还包括:
获取包含有人像及人像位置的训练图像;
将所述训练图像输入物体检测模型,对所述物体检测模型进行训练,得到用于检测人像类别及人像位置的物体检测模型。
7.一种信息提示装置,其特征在于,包括:
画面获取模块,用于获取摄像头采集的预览画面;
人像信息获取模块,包括人像检测模块、计算模块以及画面信息获取模块;所述人像检测模块,用于将预览画面输入至物体检测模型,物体检测模型对预览画面中的人像进行检测,所述物体检测模型是根据带有人像的图像训练得到的;所述计算模块,用于当预览画面中存在人像时,计算人像的面积以及人像所在的中心点坐标;所述画面信息获取模块,用于根据人像的面积以及人像所在的中心点坐标得到预览画面的人像信息;
提示信息发送模块,当所述人像的面积以及所述人像所在的中心点坐标均在预设的大小范围和位置范围内时,发出提示信息。
8.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的信息提示方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
CN201810588006.3A 2018-06-08 2018-06-08 信息提示方法和装置、电子设备、计算机可读存储介质 Active CN108737733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810588006.3A CN108737733B (zh) 2018-06-08 2018-06-08 信息提示方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810588006.3A CN108737733B (zh) 2018-06-08 2018-06-08 信息提示方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108737733A CN108737733A (zh) 2018-11-02
CN108737733B true CN108737733B (zh) 2020-08-04

Family

ID=63932935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810588006.3A Active CN108737733B (zh) 2018-06-08 2018-06-08 信息提示方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108737733B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277759B (zh) * 2020-02-27 2021-08-31 Oppo广东移动通信有限公司 构图提示方法、装置、存储介质及电子设备
CN111970455B (zh) * 2020-09-14 2022-01-11 Oppo广东移动通信有限公司 信息提示方法、装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377355A (zh) * 2012-04-28 2013-10-30 宇龙计算机通信科技(深圳)有限公司 一种移动终端防偷窥的方法、装置以及移动终端
CN105357436A (zh) * 2015-11-03 2016-02-24 广东欧珀移动通信有限公司 用于图像拍摄中的图像裁剪方法和系统
CN106156663A (zh) * 2015-04-14 2016-11-23 小米科技有限责任公司 一种终端环境检测方法及装置
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN107358219A (zh) * 2017-07-24 2017-11-17 艾普柯微电子(上海)有限公司 人脸识别方法及装置
CN107351132A (zh) * 2017-07-31 2017-11-17 深圳市冠旭电子股份有限公司 一种基于机器人的安全检查方法、机器人及存储介质
CN107657218A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103377355A (zh) * 2012-04-28 2013-10-30 宇龙计算机通信科技(深圳)有限公司 一种移动终端防偷窥的方法、装置以及移动终端
CN106156663A (zh) * 2015-04-14 2016-11-23 小米科技有限责任公司 一种终端环境检测方法及装置
CN105357436A (zh) * 2015-11-03 2016-02-24 广东欧珀移动通信有限公司 用于图像拍摄中的图像裁剪方法和系统
CN106295567A (zh) * 2016-08-10 2017-01-04 腾讯科技(深圳)有限公司 一种关键点的定位方法及终端
CN107358219A (zh) * 2017-07-24 2017-11-17 艾普柯微电子(上海)有限公司 人脸识别方法及装置
CN107351132A (zh) * 2017-07-31 2017-11-17 深圳市冠旭电子股份有限公司 一种基于机器人的安全检查方法、机器人及存储介质
CN107657218A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品

Also Published As

Publication number Publication date
CN108737733A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
US11430103B2 (en) Method for image processing, non-transitory computer readable storage medium, and electronic device
CN109767467B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
EP3598736B1 (en) Method and apparatus for processing image
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN108805265B (zh) 神经网络模型处理方法和装置、图像处理方法、移动终端
CN107481186B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110290323B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
CN109068060B (zh) 图像处理方法和装置、终端设备、计算机可读存储介质
CN110121031B (zh) 图像采集方法和装置、电子设备、计算机可读存储介质
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN108924426B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107563979B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109963080B (zh) 图像采集方法、装置、电子设备和计算机存储介质
CN107959841B (zh) 图像处理方法、装置、存储介质和电子设备
CN109559352B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
US11218650B2 (en) Image processing method, electronic device, and computer-readable storage medium
CN107465880B (zh) 对焦方法、装置、终端和计算机可读存储介质
CN108737733B (zh) 信息提示方法和装置、电子设备、计算机可读存储介质
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant