CN113255644B - 显示设备及其图像识别方法 - Google Patents

显示设备及其图像识别方法 Download PDF

Info

Publication number
CN113255644B
CN113255644B CN202110506007.0A CN202110506007A CN113255644B CN 113255644 B CN113255644 B CN 113255644B CN 202110506007 A CN202110506007 A CN 202110506007A CN 113255644 B CN113255644 B CN 113255644B
Authority
CN
China
Prior art keywords
image
target
native
display device
color format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110506007.0A
Other languages
English (en)
Other versions
CN113255644A (zh
Inventor
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Mobile Communications Technology Co Ltd
Original Assignee
Hisense Mobile Communications Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Mobile Communications Technology Co Ltd filed Critical Hisense Mobile Communications Technology Co Ltd
Priority to CN202110506007.0A priority Critical patent/CN113255644B/zh
Publication of CN113255644A publication Critical patent/CN113255644A/zh
Application granted granted Critical
Publication of CN113255644B publication Critical patent/CN113255644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种显示设备及其图像识别方法,涉及图像处理技术领域。显示设备可以在录像的过程中,从帧缓冲区中读取目标原生图像,并对该目标原生图像进行图像识别。即本申请实施例提供的方法可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于帧缓冲区中存储的原生图像的颜色格式为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标原生图像后,可以直接对目标原生图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。

Description

显示设备及其图像识别方法
技术领域
本申请涉及图像处理技术领域,特别涉及一种显示设备及其图像识别方法。
背景技术
显示设备可以通过摄像头采集视频,并可以在视频采集完成后,采用图像识别算法对视频中的视频帧进行图像识别,以检测该视频中是否存在目标对象。
但是,上述图像识别方法的效率较低。
发明内容
本申请提供了一种显示设备及其图像识别方法,可以解决相关技术的显示设备进行图像识别的效率较低的问题。所述技术方案如下:
一方面,提供了一种显示设备,所述显示设备包括处理器和摄像头;所述处理器用于:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,从帧缓冲区中读取目标原生图像,所述帧缓冲区中存储有所述目标颜色格式的多帧预览图像,每帧所述预览图像基于所述摄像头采集到的原生图像得到;
对所述目标原生图像进行图像识别。
可选的,所述目标原生图像为所述多帧预览图像中采集时刻最晚的一帧预览图像。
可选的,在所述摄像头采集所述原生图像的过程中,所述处理器还用于:
压缩所述原生图像;
将压缩后所述原生图像发送至流服务器。
可选的,所述处理器还用于:
若检测到所述目标原生图像的分辨率大于分辨率阈值,则将所述目标原生图像的分辨率调整为所述分辨率阈值。
可选的,所述处理器还用于:
若在所述目标原生图像中识别出目标对象,则发出提示信息,所述提示信息用于提示所述目标原生图像中存在所述目标对象。
可选的,所述显示设备还包括:显示屏;所述处理器用于:
在所述显示屏中显示所述目标原生图像;
在所述目标原生图像中显示检测框,所述检测框包围所述目标对象。
可选的,所述处理器还用于:
在所述目标原生图像中显示模板图像和文本信息,所述文本信息包括下述信息中的至少一个:所述摄像头采集所述目标原生图像时所处的位置,所述目标原生图像的采集时刻,所述目标对象与所述模板图像的相似度,所述目标对象的标识,以及所述显示设备的标识;
其中,所述目标对象与所述模板图像的相似度大于相似度阈值。
另一方面,提供了一种显示设备,所述显示设备包括:处理器、摄像头以及显示屏;所述处理器用于:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述原生图像的分辨率大于所述显示屏的分辨率,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,将帧缓冲区中存储的所述目标颜色格式的多帧原生图像的分辨率均调整为所述显示屏的分辨率,得到多帧所述目标颜色格式的预览图像;
对所述多帧预览图像中的目标预览图像进行图像识别。
又一方面,提供了一种显示设备的图像识别方法,所述显示设备包括摄像头;所述方法包括:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,从帧缓冲区中读取目标原生图像,所述帧缓冲区中存储有所述目标颜色格式的多帧预览图像,每帧所述预览图像基于所述摄像头采集到的原生图像得到;
对所述目标原生图像进行图像识别。
可选的,所述目标原生图像为所述多帧预览图像中采集时刻最晚的一帧预览图像。
可选的,在所述摄像头采集所述原生图像的过程中,所述方法还包括:
压缩所述原生图像;
将压缩后所述原生图像发送至流服务器。
再一方面,提供了一种显示设备的图像识别方法,所述显示设备包括摄像头和显示屏;所述方法包括:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述原生图像的分辨率大于所述显示屏的分辨率,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,将帧缓冲区中存储的所述目标颜色格式的多帧原生图像的分辨率均调整为所述显示屏的分辨率,得到多帧所述目标颜色格式的预览图像;
对所述多帧预览图像中的目标预览图像进行图像识别。
再一方面,提供了一种显示设备,所述显示设备包括:存储器,处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方面所述的显示设备的图像识别方法。
再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如上述方面所述的显示设备的图像识别方法。
再一方面,提供了一种包含指令的计算机程序产品,当所述计算机程序产品在所述计算机上运行时,使得所述计算机执行上述方面所述的显示设备的图像识别方法。
本申请提供的技术方案带来的有益效果至少包括:
本申请提供了一种显示设备及其图像识别方法,显示设备可以在录像的过程中,从帧缓冲区读取目标原生图像,并对该目标原生图像进行图像识别。即本申请实施例提供的方法可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于帧缓冲区中存储的原生图像的颜色格式为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标原生图像后,可以直接对目标原生图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种显示设备的图像识别方法的流程图;
图2是本申请实施例提供的另一种显示设备的图像识别方法的流程图;
图3是本申请实施例提供的一种发出提示信息的界面示意图;
图4是本申请实施例提供的又一种显示设备的图像识别方法的流程图;
图5是本申请实施例提供的再一种显示设备的图像识别方法的流程图;
图6是本申请实施例提供的一种显示设备在视频推流时进行图像识别的框架图;
图7是本申请实施例提供的一种显示设备的结构示意图;
图8是本申请实施例提供的一种显示设备的软件结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中,显示设备在采集视频的过程中,通常会调用系统接口以将摄像头输出的红绿蓝(red green blue,RGB)格式的图像转换为YUV格式的图像。之后,显示设备可以压缩YUV格式的图像,并存储压缩后的图像,以减小录制得到的视频占用的存储空间的大小。其中,Y表示明亮度,U和V表示色度。
由于该系统接口仅能返回YUV格式的图像,又由于显示设备通常仅能对RGB格式的图像进行图像识别,因此显示设备在采集视频的过程中进行图像识别时,需先读取存储的YUV格式的图像,并将YUV格式的图像转换为RGB格式的图像。然后显示设备再对该RGB格式的图像进行图像识别。由于在图像识别时,需要先将YUV格式的图像转换为RGB格式的图像,因此该种图像识别的方式的效率也较低。
本申请实施例提供了一种显示设备及其图像识别方法,该方法可以应用于显示设备,该显示设备包括摄像头。可选的,该显示设备可以为手机、执法仪、平板或笔记本电脑。该显示设备的操作系统可以为安卓(Android)操作系统。
参见图1,该方法包括:
步骤101、响应于录像指令,启动摄像头采集目标颜色格式的原生图像。
显示设备中可以显示有录像控件,用户可以触控该录像控件。相应的,显示设备可以接收由用户针对该录像控件的触控操作触发的录像指令,并响应于该录像指令,启动摄像头采集目标颜色格式的原生图像。其中,该目标颜色格式为显示设备进行图像识别时所支持的颜色格式。
在摄像头采集原生图像的过程中,显示设备能够在其显示屏中显示预览图像。由于转换图像的颜色格式耗时较高,因此为了确保显示设备能够实时显示摄像头采集的每一帧图像,避免出现显示卡顿的现象,摄像头输出的原生图像的颜色格式与显示屏的颜色格式相同。并且,为了避免在对目标原生图像进行图像识别前转换目标原生图像的颜色格式,该显示屏的颜色格式也为目标颜色格式。
其中,该预览图像可以为摄像头采集的原生图像。或者,该预览图像可以为显示设备对摄像头采集到的原生图像的参数(例如分辨率、方向和角度)进行调整后得到的。
可选的,该目标颜色格式为RGB格式。相应的,该显示屏的颜色格式即为RGB格式。
步骤102、在摄像头采集原生图像的过程中,从帧缓冲区中读取目标原生图像。
在本申请实施例中,在摄像头采集原生图像的过程中,显示设备可以将摄像头采集的目标颜色格式的原生图像存储至帧缓冲区中。相应的,在进行图像识别时,显示设备可以直接从帧缓冲区中读取目标原生图像。例如,显示设备可以调用开放式图形库(opengraphics library,OpenGL)以从帧缓冲区中读取目标原生图像。
可选的,该目标原生图像可以为帧缓冲区中存储的多帧原生图像中,采集时刻最晚的一帧原生图像。
步骤103、对该目标原生图像进行图像识别。
可选的,显示设备可以基于预先存储的模板图像,对读取到的目标原生图像进行图像识别。
显示设备进行图像识别时,识别的图像的颜色格式需要为目标颜色格式,即显示设备进行图像时支持的颜色格式为目标颜色格式。由于目标原生图像的颜色格式即为该目标颜色格式,因此显示设备从帧缓冲区中读取到目标原生图像后,即可直接对该目标原生图像进行图像识别。而无需转换目标原生图像的颜色格式,从而有效提高了显示设备对目标原生图像进行图像识别的效率。
综上所述,本申请实施例提供了一种显示设备的图像识别方法,显示设备可以在录像的过程中,从帧缓冲区中读取目标原生图像,并对该目标原生图像进行图像识别。即本申请实施例提供的方法可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于帧缓冲区中存储的原生图像的颜色格式即为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标原生图像后,可以直接对目标原生图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。
图2是本申请实施例提供的另一种显示设备的图像识别方法的流程图,该方法可以应用于显示设备,该显示设备包括摄像头和显示屏。参见图2,该方法可以包括:
步骤201、响应于录像指令,启动摄像头采集目标颜色格式的原生图像。
显示设备的显示界面中可以显示有录像控件,用户可以触控该录像控件。相应的,显示设备能够接收由用户针对该录像控件的触控操作触发的录像指令,并响应于该录像指令,启动摄像头采集目标颜色格式的原生图像。其中,该目标颜色格式为显示设备进行图像识别时所支持的颜色格式。
在摄像头采集原生图像的过程中,显示设备能够在其显示屏中显示预览图像。由于转换图像的颜色格式耗时较高,因此为了确保显示设备能够实时显示摄像头采集的每一帧图像,避免出现显示卡顿的现象,摄像头输出的原生图像的颜色格式与显示屏的颜色格式相同。为了避免在对目标原生图像进行图像识别前转换目标原生图像的颜色格式,该显示屏的颜色格式也为目标颜色格式。
其中,该预览图像需要适配于显示设备的显示屏。若摄像头采集的原生图像适配于该显示屏,则显示设备可以直接将该摄像头采集的原生图像作为预览图像。若摄像头采集的原生图像不适配于该显示屏,则显示设备可以对摄像头采集到的原生图像的参数(例如分辨率、方向和角度)进行调整后得到预览图像。
可选的,该目标颜色格式为RGB格式。相应的,该显示屏的颜色格式即为RGB格式。
步骤202、在摄像头采集原生图像的过程中,从帧缓冲区中读取目标原生图像。
在本申请实施例中,在摄像头采集原生图像的过程中,显示设备可以将摄像头采集的原生图像存储至转缓冲区中。相应的,在进行图像识别时,显示设备可以直接从帧缓冲区中读取目标原生图像。例如,显示设备可以调用OpenGL从帧缓冲区中读取目标原生图像。
其中,显示设备可以按照摄像头采集原生图像的先后顺序,即原生图像的采集时刻的先后顺序,在帧缓冲区中存储原生图像。例如,显示设备可以以队列的形式存储多帧原生图像。并且,摄像头每采集一帧原生图像,显示设备即可删除位于队列的队首的原生图像,并在队列的队尾插入一帧新的原生图像。由此可见,帧缓冲区中存储的原生图像可以随着摄像头采集的原生图像实时更新。
在本申请实施例中,显示设备的识别进程可以直接基于帧缓冲区的内存地址,从帧缓冲区中读取目标原生图像,以便对该目标原生图像进行图像识别。此时,该目标原生图像即为图像识别帧。
在一种可选的实现方式中,显示设备每次可以读取帧缓冲区存储的多帧原生图像中,采集时刻最晚的一帧原生图像。也即是,目标原生图像为多帧预览图像中采集时刻最晚的一帧预览图像。
通常显示设备的识别进程对原生图像进行图像识别所消耗的时长,远大于摄像头采集一帧原生图像所消耗的时长。即该识别进程在对某一帧目标原生图像进行图像识别的过程中,摄像头可以采集多帧原生图像。相应的,显示设备的帧缓冲区管理进程可以多次删除位于队首的原生图像,并在队尾插入新的原生图像。因此,显示设备每次读取多帧预览图像中采集时刻最晚的一帧预览图像,可以避免在识别进程读取某一目标原生图像的过程中,帧缓冲区管理进程删除该目标原生图像,从而可以确保识别进程对目标原生图像的有效识别。
在另一种可选的实现方式中,显示设备可以先确定对原生图像进行识别所消耗的识别时长。然后,显示设备可以根据摄像头的采集一帧原生图像的采集时长以及该识别时长确定目标间隔帧数。例如,该目标间隔帧数可以为对识别时长与采集时长的商值进行向上取值得到的整数。之后,显示设备可以将帧缓冲区的第一帧预览图像作为一个目标原生图像,并将与前一个目标原生图像间隔该目标间隔帧数的预览图像作为下一个目标原生图像。
由此,可以有效降低显示设备在图像识别的过程中,遗漏的预览图像的个数,从而可以确保显示设备进行图像识别的可靠性。
步骤203、检测该目标原生图像的分辨率是否大于分辨率阈值。
显示设备可以比较目标原生图像的分辨率与预先存储的分辨率阈值的大小。若显示设备确定目标原生图像的分辨率小于或等于该分辨率阈值,则可以执行步骤204。若显示设备确定目标原生图像的分辨率大于分辨率阈值,则可以执行步骤206。
其中,该分辨率阈值可以小于或等于显示设备的显示屏的分辨率。
步骤204、对该目标原生图像进行图像识别。
若显示设备确定目标原生图像的分辨率小于或等于分辨率阈值,则可以执行对目标原生图像进行图像识别。
显示设备进行图像识别时,识别的图像的颜色格式需要为目标颜色格式,即显示设备进行图像时支持的颜色格式为目标颜色格式。由于目标原生图像的颜色格式也为该目标颜色格式,因此显示设备从帧缓冲区中读取到目标原生图像后,即可直接对该目标原生图像进行图像识别。而无需转换目标原生图像的颜色格式,由此有效提高了显示设备对目标原生图像进行图像识别的效率。
在本申请实施例中,显示设备可以基于模板图像对目标原生图像进行图像识别。或者,显示设备可以基于特征点对目标原生图像进行图像识别。其中,模板图像可以是显示设备预先存储的。
步骤205、若在目标原生图像中识别出目标对象,则发出提示信息。
其中,提示信息可以用于提示目标原生图像中存在目标对象。
对于显示设备基于模板图像对目标原生图像进行图像识别的场景,若显示设备确定目标对象与模板图像的相似度大于相似度阈值,则可以确定在目标原生图像中识别出目标对象。其中,相似度阈值可以是显示设备中预先存储的。
在本申请实施例中,显示设备发出提示信息的方式可以包括下述实现方式中的至少一种:
在第一种可选的实现方式中,若显示设备在目标原生图像中识别出目标对象,则可以发出语音提示,和/或,振动提示。其中,该语音提示可以为“识别出目标对象”。由此即可达到提示用户目标原生图像中存在目标对象的效果。
在第二种可选的实现方式中,显示设备在目标原生图像中识别出目标对象后,如图3所示,显示设备可以在显示屏中显示目标原生图像A,并在目标原生图像中显示检测框K。其中,该检测框K可以包围目标对象M,即该目标对象M位于检测框K所包围的区域内。由此即可达到提示用户目标原生图像中存在目标对象的效果。
显示设备在摄像头采集原生图像的过程中,显示设备的显示进程可以在显示设备的显示屏中显示预览图像。基于此,显示设备在目标原生图像中识别出目标对象后,显示设备的提示进程可以在显示屏中叠加显示目标原生图像。其中,提示进程、显示进程以及识别进程可以为显示设备中相互独立的三个进程。由此即可在发出提示信息的前提下,不中断显示屏显示预览图像。
进一步的,请继续参考图3,显示设备还可以在目标原生图像A中显示模板图像N和文本信息W,以便用户对模板图像N和目标对象M进行比对,并获取较多与目标对象M相关的信息。
其中,该文本信息W包括下述信息中的至少一个:摄像头采集目标原生图像时所处的位置,目标原生图像的采集时刻,目标对象与模板图像的相似度,目标对象的标识,以及显示设备的标识。
该目标对象的标识可以为目标对象的名称。例如,若该目标对象为人脸,则该目标对象的名称可以为人名。若该目标对象为车牌号,则该目标对象的名称可以为车辆的品牌。该显示设备的标识可以为显示设备的序列号,或用户账号。
例如,如图3所示,该文本信息W可以包括:摄像头采集目标原生图像时所处的位置(xxx研发中心),目标原生图像的采集时刻(2021年4月27日16:14:12),目标对象与模板图像的相似度(94.5%),目标对象的标识(xx),以及显示设备的标识(12345)。
步骤206、将该目标原生图像的分辨率调整为分辨率阈值。
若显示设备确定目标原生图像的分辨率大于分辨率阈值,则可以将该目标原生图像的分辨率调整为该分辨率阈值。
图像的分辨率对图像识别的准确性的影响较低,而对图像识别的效率影响较高,且图像识别的效率与图像的分辨率负相关。由于本申请实施例提供的方法在目标原生图像的分辨率大于分辨率阈值时,可以将目标原生图像的分辨率调低,因此可以在确保图像识别的准确性的前提下,进一步提高的图像识别的效率,且可以避免图像识别占用显示设备过多的处理资源,从而可以确保显示设备的性能。
步骤207、对分辨率调整后的目标原生图像进行识别。
步骤208、若在分辨率调整后的目标原生图像中识别出目标对象,则发出提示信息。
其中,步骤207和步骤208的实现过程可以参考上述步骤204和步骤205的实现过程,本申请实施例在此不再赘述。
在本申请实施例中,显示设备还可以在摄像头录像的过程中,进行视频推流,例如在网络直播的场景或远程监控的场景中。在该种场景下,显示设备还可以执行下述步骤。
步骤209、在摄像头采集原生图像的过程中,压缩该原生图像。
可选的,显示设备在摄像头采集原生图像的过程中,可以采用H.264压缩算法或H.265压缩算法对摄像头采集的图像进行压缩,得到压缩后的原生图像。其中,H.264和H.265是两种不同视频压缩标准。
在本申请实施例中,在采集原生图像的过程中,摄像头每采集一帧原生图像,可以将该一帧原生图像发送至视频编码器(例如H.264视频编码器)。该视频编码器接收到原生图像后,即可直接压缩该原生图像,得到压缩后的原生图像。
步骤210、将压缩后的原生图像发送至流服务器。
显示设备与流服务器建立有通信连接,显示设备在得到压缩后的原生图像后,即可将该压缩后的原生图像发送至流服务器,以便其他设备能够从流服务器中获取该压缩后的原生图像。
可选的,该流服务器可以是一台服务器,或者可以是由若干台服务器组成的服务器集群,又或者可以是一个云计算服务中心。
可选的,显示设备在得到压缩后的原生图像后,可以基于与流服务器之间的通信协议,例如实时消息传输协议(real time messaging protocol,RTMP),对该压缩后的原生图像进行封装,并将封装后的原生图像发送至流服务器。
需要说明的是,本申请实施例提供的显示设备的图像识别方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。例如,步骤203以及步骤206至步骤208可以根据情况删除,即无需检测目标原生图像的分辨率。或者,步骤209和步骤210也可以根据情况删除,即显示设备无需进行视频推流。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
综上所述,本申请实施例提供了一种显示设备的图像识别方法,显示设备可以在录像的过程中,从帧缓冲区中读取目标原生图像,并对该目标原生图像进行图像识别。即本申请实施例提供的方法可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于帧缓冲区中存储的原生图像的颜色格式即为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标原生图像后,可以直接对目标原生图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。
本申请实施例提供了一种显示设备及其图像识别方法,该方法可以应用于显示设备,该显示设备包括摄像头和显示屏。可选的,该显示设备可以为手机、执法仪、平板或笔记本电脑。该显示设备的操作系统可以为安卓(Android)操作系统。参见图4,该方法包括:
步骤301、响应于录像指令,启动摄像头采集目标颜色格式的原生图像。
其中,该原生图像的分辨率大于显示设备的显示屏的分辨率,该目标颜色格式为显示设备进行图像识别时所支持的颜色格式。可选的,该目标颜色格式为RGB格式。
可选的,步骤301的实现过程可以参考上述步骤101或步骤201的实现过程,本申请实施例在此不再赘述。
步骤302、在摄像头采集原生图像的过程中,将帧缓冲区中存储的目标颜色格式的多帧原生图像的分辨率均调整为显示屏的分辨率,得到多帧目标颜色格式的预览图像。
在本申请实施例中,在摄像头采集原生图像的过程中,显示设备可以将摄像头采集的目标颜色格式的原生图像存储至帧缓冲区中。例如,显示设备可以按照原生图像的采集时刻的先后顺序在帧缓冲区中存储原生图像。
相应的,显示设备的系统可以依次从帧缓冲区中读取原生图像,并将每次读取到的原生图像的分辨率均调整为显示屏的分辨率,以得到适配于显示屏的预览图像。其中,帧缓冲区中存储的原生图像的颜色格式为目标颜色格式。相应的,得到的预览图像的颜色格式也为该目标颜色格式。
步骤303、对多帧预览图像中的目标预览图像进行图像识别。
在得到预览图像后,显示设备可以获取目标预览图像,并对该目标预览图像进行图像识别。例如,显示设备可以调用OpenGL从多帧预览图像中获取目标预览图像。
可选的,显示设备可以基于预先存储的模板图像,对多帧预览图像中的目标预览图像进行图像识别。
显示设备进行图像识别时,识别的图像的颜色格式需要为目标颜色格式,即显示设备进行图像时支持的颜色格式为目标颜色格式。由于目标预览图像的颜色格式也为目标颜色格式,因此显示设备在获取目标预览图像后,即可直接对该目标预览图像进行图像识别。而无需转换目标预览图像的颜色格式,从而有效提高了显示设备对目标预览图像进行图像识别的效率。
综上所述,本申请实施例提供了一种显示设备的图像识别方法,显示设备可以在录像的过程中,将帧缓冲区中存储目标颜色格式的原生图像的分辨率调整为显示屏的分辨率,得到多帧目标颜色格式的预览图像,并对该多帧预览图像中的目标预览图像进行图像识别。即本申请实施例提供的方法可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于目标预览图像的颜色格式为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标预览图像后,可以直接对目标预览图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。此外,由于目标预览图像的分辨率低于原生图像的分辨率,因此更进一步的提高了图像识别的效率。
图5是本申请实施例提供再一种显示设备的图像识别方法的流程图,该方法可以应用于显示设备。该显示设备包括摄像头和显示屏。参见图5,该方法可以包括:
步骤401、响应于录像指令,启动摄像头采集目标颜色格式的原生图像。
其中,该原生图像的分辨率大于显示设备的显示屏的分辨率,该目标颜色格式为显示设备进行图像识别时所支持的颜色格式。可选的,该目标颜色格式为RGB格式。
可选的,步骤401的实现过程可以参考上述步骤201的实现过程,本申请实施例在此不再赘述。
步骤402、在摄像头采集原生图像的过程中,将帧缓冲区中存储的目标颜色格式的多帧原生图像的分辨率均调整为显示屏的分辨率,得到多帧目标颜色格式的预览图像。
在摄像头采集原生图像的过程中,显示设备可以将摄像头采集的目标颜色格式的原生图像存储至帧缓冲区中。例如,显示设备可以按照摄像头采集原生图像的先后顺序,即原生图像的采集时刻的先后顺序,在帧缓冲区中存储原生图像。例如,显示设备可以以队列的形式存储多帧原生图像。
相应的,显示设备的系统可以依次从帧缓冲区中读取原生图像,并对每次读取到的原生图像的参数进行调整,以得到适配于显示设备的显示屏的预览图像。其中,适配于显示屏的预览图像可以是指:颜色格式与显示屏的颜色格式相同,且分辨率与显示屏的分辨率相同的预览图像。由于原生图像的颜色格式与显示屏的颜色格式相同,因此该原生图像的参数可以包括:分辨率。
可选的,对于帧缓冲区存储的每帧原生图像,显示设备的系统可以对该原生图像进行压缩处理,以将该原生图像的分辨率调整为显示屏的分辨率。
可以理解的是,摄像头每采集一帧原生图像,帧缓冲区会更新一帧原生图像。对于更新的每帧原生图像,显示设备的系统也会对该原生图像的参数进行调整。
进一步的,适配于显示屏的预览图像可以是指:颜色格式与显示屏的颜色格式相同,分辨率与显示屏的分辨率相同,且处于正方向的预览图像。其中,正方向可以是指:显示设备的姿态为预设姿态时采集到的预览图像所处的方向。该预设姿态可以为显示设备预先存储的,例如该预设姿态可以包括:显示设备的显示屏平行于水平面,显示设备的显示屏垂直于水平面。
在本申请实施例中,若摄像头在采集一帧原生图像时,显示设备的当前姿态与该预设姿态不同,则显示设备的系统可以基于当前姿态与预设姿态的偏差(即方向的偏差以及倾斜角度的偏差)对帧缓冲区中的图像的方向以及角度进行调整,以使调整后得到预览图像处于正方向。其中,显示设备的当前姿态可以基于显示设备中的传感器(例如加速度传感器、重力传感器以及角度传感器等)确定。由此可知,原生图像的参数还可以包括:方向以及角度。
在本申请实施例中,显示设备的系统在得到预览图像后,即可将该预览图像送入显示屏,以供显示屏显示。
步骤403、对多帧预览图像中的目标预览图像进行图像识别。
在得到预览图像后,显示设备可以获取目标预览图像,并对该目标预览图像进行图像识别。例如,显示设备可以调用OpenGL从多帧预览图像中获取目标预览图像。
在本申请实施例中,显示设备可以基于模板图像对目标原生图像进行图像识别。或者,显示设备可以基于特征点对目标原生图像进行图像识别。其中,模板图像可以是显示设备预先存储的。
在本申请实施例中,显示设备识别一帧图像所消耗的时长远大于显示设备获取一帧预览图像的时长,即显示设备在识别一帧图像的过程中,其系统可以得到多帧预览图像。基于此,显示设备的识别进行可以将系统最近得到的预览图像作为目标预览图像,并对该目标预览图像进行图像识别。
例如,系统先得到预览图像1,则显示设备可以将该预览图像1作为目标预览图像,并对预览图像1进行图像识别。在识别过程中,系统依次得到预览图像2至预览图像5,且在显示设备对预览图像1完成识别后,系统得到预览图像6,则显示设备可以将预览图像6作为目标预览图像,并对预览图像6进行图像识别。
由于显示设备获取RGB格式的预览图像的第一频率(也可以称为显示屏的刷新率),高于显示设备获取YUV格式的图像(为了便于描述,下文简称为视频帧)的第二频率。例如,目前显示屏的刷新帧率最低为60赫兹(Hz),即显示设备每秒(s)最少能够获取60帧预览图像,获取一帧预览图像需16.7毫秒(ms)。而显示设备的第二频率为15Hz至30Hz,即显示设备每秒最多能够获取30帧YUV格式的图像,获取一帧YUV格式的图像需30ms。
例如,假设摄像头生成一帧原生图像需要50ms,显示设备获取一帧预览图像需要20ms,获取一帧视频帧需要50ms,对视频帧进行格式转换需要50ms,显示设备对图像进行识别需要200ms。
摄像头输出了第一个原生图像,若显示设备采用YUV格式的图像进行图像识别,则从获取视频帧到图像识别,需要耗时300ms,在这300ms的时长内,摄像头可以输出第二个原生图像至第七个原生图像。之后显示设备对基于第七个原生图像得到的视频帧进行图像识别。
而显示设备采用预览图像进行图像识别,则从获取预览图像到图像识别,需要耗时220ms,在这220ms的时长内,摄像头可以输出第二个原生图像至第五个原生图像,再等待30ms后,摄像头可以输出完整的第六原生图像。之后显示设备可以对基于第六个原生图像得到的预览图像进行图像识别。由此可见,采用视频帧进行图像识别,会遗漏5帧原生图像,而采用预览图像进行图像识别最多遗漏4帧原生图像。
在此基础上,在摄像头采集原生图像的过程中,若采用视频帧进行图像识别,则会遗漏较多原生图像,从而导致显示设备对图像识别的可靠性较低。而采用本申请实施例提供的方法,则可以有效降低遗漏的原生图像的个数,从而可以有效提高图像识别的可靠性。
步骤404、若在目标预览图像中识别出目标对象,则发出提示信息。
步骤405、在摄像头采集原生图像的过程中,压缩该原生图像。
步骤406、将压缩后的原生图像发送至流服务器。
可选的,步骤404至步骤406的实现过程可以参考上述步骤204至步骤206的实现过程,本申请实施例在此不再赘述。
对于在摄像头录像的过程中进行视频推流的场景,为了确保向流服务器发送的图像的清晰度,通常需要使得摄像头采集的原生图像的分辨率较高,且会高于显示设备的显示屏的分辨率。在该种情况下,若采用相关技术中的方法,则可能会导致显示设备进行图像识别的效率进一步降低,且会导致图像识别的过程会占用显示设备过多的处理资源,从而影响显示设备的性能。
而采用本申请实施例提供的方法,由于显示设备对适配于显示屏的预览图像进行图像识别,该预览图像的分辨率低于原生图像的分辨率,因此即使在原生图像的分辨率高于显示屏的分辨率的情况下,本申请实施例提供的方法也可以进一步提高显示设备的图像识别的效率,且可以降低资源消耗,从而可以避免对显示设备的性能造成较大影响。
以显示设备在摄像头采集原生图像的过程中,进行图像识别,并进行视频推流为例,对本申请实施例提供的显示设备的图像识别方法进行示例性的说明。
参见图6,在录像(即录制视频)过程中,摄像头采集的每帧原生图像,可以发送至显示设备的视频解码器,并可以发送至视频编码器。视频解码器可以对该原生图像进行解码(例如将原生图像的分辨率调整为显示屏的分辨率),以得到分辨率与显示屏的分辨率相同的预览图像。之后,显示设备的识别进程即可对多帧预览图像中目标预览图像进行图像识别,显示进程可以在显示设备的显示屏中显示按照采集时刻的先后顺序,依次显示该多帧预览图像。
视频编码器可以对原生图像进行编码(例如压缩原生图像),以得到压缩后的原生图像。之后,显示设备即可将该原生图像发送至流服务器。
根据上述描述可知,本申请实施例提供的显示设备在进行图像识别的过程中,直接对多帧预览图像中目标原生图像进行图像识别,而并非读取YUV格式的图像,再对该图像进行识别。因此,即使显示设备采集的原生图像的分辨率大于显示屏的分辨率,也不会影响显示设备进行图像识别的效率。由此,可以在满足发送至流服务器的图像的清晰度的条件下,提高图像识别的效率,降低资源消耗。
需要说明的是,本申请实施例提供的显示设备的图像识别方法的步骤的先后顺序可以进行适当调整,步骤也可以根据情况进行相应增减。例如,步骤404可以根据情况删除。或者,步骤405和步骤406也可以根据情况删除,即显示设备无需进行视频推流。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
综上所述,本申请实施例提供了一种显示设备的图像识别方法,本申请实施例提供了一种显示设备的图像识别方法,显示设备可以在录像的过程中,将帧缓冲区中存储目标颜色格式的原生图像的分辨率调整为显示屏的分辨率,得到多帧目标颜色格式的预览图像,并对该多帧预览图像中的目标预览图像进行图像识别。即本申请实施例提供的方法可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于目标预览图像的颜色格式为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标预览图像后,可以直接对目标预览图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。此外,由于目标预览图像的分辨率低于原生图像的分辨率,因此更进一步的提高了图像识别的效率。
本申请实施例提供了一种显示设备,该显示设备可以用于执行上述方法实施例提供的显示设备的图像识别方法。参见图7,该显示设备110可以包括处理器1101和摄像头121。该处理器1101用于:
响应于录像指令,启动摄像头采集目标颜色格式的原生图像,该目标颜色为显示设备进行图像识别时所支持的颜色格式;
在摄像头采集原生图像的过程中,从帧缓冲区中读取目标原生图像,帧缓冲区中存储有目标颜色格式的多帧预览图像,每帧预览图像基于摄像头采集到的原生图像得到;
对目标原生图像进行图像识别。
可选的,目标原生图像为多帧预览图像中采集时刻最晚的一帧预览图像。
可选的,在摄像头采集原生图像的过程中,该处理器1101还可以用于:
压缩原生图像;
将压缩后原生图像发送至流服务器。
可选的,该处理器1101还可以用于:
若目标原生图像的分辨率大于分辨率阈值,则将该目标原生图像的分辨率调整为该分辨率阈值。
可选的,该处理器1101还可以用于:
若在目标原生图像中识别出目标对象,则发出提示信息,提示信息用于提示目标原生图像中存在目标对象。
可选的,参见图7,该显示设备110还包括:显示屏131;该处理器1101用于:
在显示屏中显示目标原生图像;
在目标原生图像中显示检测框,检测框包围目标对象。
可选的,该处理器1101还可以用于:
在目标原生图像中显示模板图像和文本信息,文本信息包括下述信息中的至少一个:摄像头采集目标原生图像时所处的位置,目标原生图像的采集时刻,目标对象与模板图像的相似度,目标对象的标识,以及显示设备的标识;
其中,目标对象与模板图像的相似度大于相似度阈值。
综上所述,本申请实施例提供了一种显示设备,该显示设备可以在录像的过程中,从帧缓冲区中读取目标原生图像,并对该目标原生图像进行图像识别。即本申请实施例提供的显示设备可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于帧缓冲区中存储的原生图像的颜色格式即为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标原生图像后,可以直接对目标原生图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。
本申请实施例还提供了一种显示设备,参见图7,该显示设备110可以包括:处理器1101、摄像头121以及显示屏131。该处理器1101可以用于:
响应于录像指令,启动摄像头采集目标颜色格式的原生图像,该原生图像的分辨率大于显示屏的分辨率,该目标颜色为显示设备进行图像识别时所支持的颜色格式;
在摄像头采集原生图像的过程中,将帧缓冲区中存储的目标颜色格式的多帧原生图像的分辨率均调整为显示屏的分辨率,得到多帧目标颜色格式的预览图像;
对多帧预览图像中的目标预览图像进行图像识别。
综上所述,本申请实施例提供了一种显示设备,显示设备可以在录像的过程中,将帧缓冲区中存储目标颜色格式的原生图像的分辨率调整为显示屏的分辨率,得到多帧目标颜色格式的预览图像,并对该多帧预览图像中的目标预览图像进行图像识别。即本申请实施例提供的显示设备可以在录像过程中实时进行图像识别,而并非是在录像完成后再进行图像识别,因此有效提高了图像识别的效率。并且,由于目标预览图像的颜色格式为显示设备进行图像识别时所支持的颜色格式,因此显示设备在读取到目标预览图像后,可以直接对目标预览图像进行图像识别,而无需转换目标原生图像的颜色格式,从而进一步提高了图像识别的效率。此外,由于目标预览图像的分辨率低于原生图像的分辨率,因此更进一步的提高了图像识别的效率。
如图7所示,本申请实施例提供的显示设备110还可以包括:显示单元130、射频(radio frequency,RF)电路150、音频电路160、无线保真(wireless fidelity,Wi-Fi)模块170、蓝牙模块180和电源190等部件。
其中,摄像头121可用于捕获静态图片或视频。物体通过镜头生成光学图片投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给处理器1101转换成数字图片信号。
处理器1101是显示设备110的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器140内的软件程序,以及调用存储在存储器140内的数据,执行显示设备110的各种功能和处理数据。在一些实施例中,处理器1101可包括一个或多个处理单元;处理器1101还可以集成应用处理器和基带处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,基带处理器主要处理无线通信。可以理解的是,上述基带处理器也可以不集成到处理器1101中。本申请中处理器1101可以运行操作系统和应用程序,可以控制用户界面显示,并可以实现本申请实施例提供的显示设备的图像识别方法。另外,处理器1101与输入单元和显示单元130耦接。
显示单元130可用于接收输入的数字或字符信息,产生与显示设备110的用户设置以及功能控制有关的信号输入,可选的,显示单元130还可以用于显示由用户输入的信息或提供给用户的信息以及显示设备110的各种菜单的图形用户界面(graphical userinterface,GUI)。显示单元130可以包括设置在显示设备110正面的显示屏131。其中,显示屏131可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。
显示单元130包括:显示屏131和设置在显示设备110正面的触摸屏132。该显示屏131可以用于显示预览图片。触摸屏132可收集用户在其上或附近的触摸操作,例如点击按钮,拖动滚动框等。其中,触摸屏132可以覆盖在显示屏131之上,也可以将触摸屏132与显示屏131集成而实现显示设备110的输入和输出功能,集成后可以简称触摸显示屏。
存储器140可用于存储软件程序及数据。处理器1101通过运行存储在存储器140的软件程序或数据,从而执行显示设备110的各种功能以及数据处理。存储器140可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器140存储有使得显示设备110能运行的操作系统。本申请中存储器140可以存储操作系统及各种应用程序,还可以存储执行本申请实施例提供的显示设备的图像识别的代码。
RF电路150可用于在收发信息或通话过程中信号的接收和发送,可以接收基站的下行数据后交给处理器1101处理;可以将上行数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。
音频电路160、扬声器161、麦克风162可提供用户与显示设备110之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出。显示设备110还可配置音量按钮,用于调节声音信号的音量。另一方面,麦克风162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出至RF电路150以发送给比如另一终端,或者将音频数据输出至存储器140以便进一步处理。本申请中麦克风162可以获取用户的语音。
Wi-Fi属于短距离无线传输技术,显示设备110可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等,它为用户提供了无线的宽带互联网访问。
蓝牙模块180,用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如,显示设备110可以通过蓝牙模块180与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接,从而进行数据交互。
显示设备110还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器1101逻辑相连,从而通过电源管理系统实现管理充电、放电以及功耗等功能。显示设备110还可配置有电源按钮,用于终端的开机和关机,以及锁屏等功能。
显示设备110可以包括至少一种传感器1110,比如运动传感器11101、距离传感器11102、指纹传感器11103和温度传感器11104。显示设备110还可配置有陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的显示设备和各器件的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
图8是本申请实施例提供的显示设备的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行环境(android runtime,ART)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图8所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图8所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图片,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供显示设备110的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,通信终端振动,指示灯闪烁等。
android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:openGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图片文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图片渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序由处理器加载并执行以上述实施例提供的显示设备的图像识别方法,例如图1、图2、图4或图5所示的方法。
本申请实施例还提供了一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例提供的显示设备的图像识别方法,例如图1、图2、图4或图5所示的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
应当理解的是,在本文中提及的“和/或”,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。并且,本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。例如,在不脱离各种所述示例的范围的情况下,第一频率可以被称为第二频率,并且类似地,第二频率可以被称为第一频率。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (7)

1.一种显示设备,其特征在于,所述显示设备包括处理器和摄像头;所述处理器用于:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,从帧缓冲区中读取目标原生图像,所述帧缓冲区中存储有所述目标颜色格式的多帧原生图像,所述目标原生图像为所述多帧原生图像中采集时刻最晚的一帧原生图像,或者,所述目标原生图像是按照目标间隔帧数对所述多帧原生图像进行读取得到的;
若检测到所述目标原生图像的分辨率大于分辨率阈值,则将所述目标原生图像的分辨率调整为所述分辨率阈值;
对所述目标原生图像进行图像识别;
在所述摄像头采集所述原生图像的过程中,压缩所述原生图像;
将压缩后所述原生图像发送至流服务器。
2.根据权利要求1所述的显示设备,其特征在于,所述处理器还用于:
若在所述目标原生图像中识别出目标对象,则发出提示信息,所述提示信息用于提示所述目标原生图像中存在所述目标对象;
其中,所述处理器在发出提示信息时,不中断所述显示设备的显示屏显示预览图像,所述预览图像为所述摄像头采集到的原生图像,或者,所述预览图像是对所述摄像头采集到的原生图像的参数进行调整后得到的,所述原生图像的参数包括分辨率、方向以及角度中的至少一种。
3.根据权利要求2所述的显示设备,其特征在于,所述显示设备还包括:显示屏;所述处理器用于:
在所述显示屏中显示所述目标原生图像;
在所述目标原生图像中显示检测框,所述检测框包围所述目标对象。
4.根据权利要求1至3任一所述的显示设备,其特征在于,所述处理器还用于:
在所述目标原生图像中显示模板图像和文本信息,所述文本信息包括下述信息中的至少一个:所述摄像头采集所述目标原生图像时所处的位置,所述目标原生图像的采集时刻,所述目标对象与所述模板图像的相似度,所述目标对象的标识,以及所述显示设备的标识;
其中,所述目标对象与所述模板图像的相似度大于相似度阈值。
5.一种显示设备,其特征在于,所述显示设备包括:处理器、摄像头以及显示屏;所述处理器用于:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述原生图像的分辨率大于所述显示屏的分辨率,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,将帧缓冲区中存储的所述目标颜色格式的多帧原生图像的分辨率均调整为所述显示屏的分辨率,得到多帧所述目标颜色格式的预览图像;
对所述多帧预览图像中的目标预览图像进行图像识别,所述目标预览图像为多帧目标颜色格式的预览图像中最新得到的预览图像;
在所述摄像头采集所述原生图像的过程中,压缩所述原生图像;
将压缩后所述原生图像发送至流服务器。
6.一种显示设备的图像识别方法,其特征在于,所述显示设备包括摄像头;所述方法包括:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,从帧缓冲区中读取目标原生图像,所述帧缓冲区中存储有所述目标颜色格式的多帧原生图像,所述目标原生图像为所述多帧原生图像中采集时刻最晚的一帧原生图像,或者,所述目标原生图像是按照目标间隔帧数对所述多帧原生图像进行读取得到的;
若检测到所述目标原生图像的分辨率大于分辨率阈值,则将所述目标原生图像的分辨率调整为所述分辨率阈值;
对所述目标原生图像进行图像识别;
在所述摄像头采集所述原生图像的过程中,压缩所述原生图像;
将压缩后所述原生图像发送至流服务器。
7.一种显示设备的图像识别方法,其特征在于,所述显示设备包括摄像头和显示屏;所述方法包括:
响应于录像指令,启动所述摄像头采集目标颜色格式的原生图像,所述原生图像的分辨率大于所述显示屏的分辨率,所述目标颜色格式为所述显示设备进行图像识别时所支持的颜色格式;
在所述摄像头采集所述原生图像的过程中,将帧缓冲区中存储的所述目标颜色格式的多帧原生图像的分辨率均调整为所述显示屏的分辨率,得到多帧所述目标颜色格式的预览图像;
对所述多帧预览图像中的目标预览图像进行图像识别,所述目标预览图像为多帧目标颜色格式的预览图像中最新得到的预览图像;
在所述摄像头采集所述原生图像的过程中,压缩所述原生图像;
将压缩后所述原生图像发送至流服务器。
CN202110506007.0A 2021-05-10 2021-05-10 显示设备及其图像识别方法 Active CN113255644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110506007.0A CN113255644B (zh) 2021-05-10 2021-05-10 显示设备及其图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110506007.0A CN113255644B (zh) 2021-05-10 2021-05-10 显示设备及其图像识别方法

Publications (2)

Publication Number Publication Date
CN113255644A CN113255644A (zh) 2021-08-13
CN113255644B true CN113255644B (zh) 2023-01-17

Family

ID=77222656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110506007.0A Active CN113255644B (zh) 2021-05-10 2021-05-10 显示设备及其图像识别方法

Country Status (1)

Country Link
CN (1) CN113255644B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572450A (zh) * 2012-01-10 2012-07-11 中国传媒大学 基于sift特征与grnn网络的立体视频颜色校正方法
CN109639835A (zh) * 2019-01-26 2019-04-16 成都鑫芯电子科技有限公司 农业物联网系统
CN110930467A (zh) * 2019-11-19 2020-03-27 深圳传音控股股份有限公司 图像处理方法、电子设备及可读存储介质
CN111176602A (zh) * 2019-12-27 2020-05-19 惠州Tcl移动通信有限公司 图片显示方法、装置、存储介质及智能设备
CN111291633A (zh) * 2020-01-17 2020-06-16 复旦大学 一种实时行人重识别方法及装置
CN112733620A (zh) * 2020-12-23 2021-04-30 深圳酷派技术有限公司 信息提示方法、装置、存储介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108366288A (zh) * 2018-03-01 2018-08-03 厦门普杰信息科技有限公司 一种用于高清视频的高效解码和播放方法及系统
CN112488979A (zh) * 2019-08-20 2021-03-12 新加坡国立大学 内窥镜图像识别方法
CN112308799A (zh) * 2020-11-05 2021-02-02 山东交通学院 基于多传感器海上道路复杂环境能见度优化屏幕显示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102572450A (zh) * 2012-01-10 2012-07-11 中国传媒大学 基于sift特征与grnn网络的立体视频颜色校正方法
CN109639835A (zh) * 2019-01-26 2019-04-16 成都鑫芯电子科技有限公司 农业物联网系统
CN110930467A (zh) * 2019-11-19 2020-03-27 深圳传音控股股份有限公司 图像处理方法、电子设备及可读存储介质
CN111176602A (zh) * 2019-12-27 2020-05-19 惠州Tcl移动通信有限公司 图片显示方法、装置、存储介质及智能设备
CN111291633A (zh) * 2020-01-17 2020-06-16 复旦大学 一种实时行人重识别方法及装置
CN112733620A (zh) * 2020-12-23 2021-04-30 深圳酷派技术有限公司 信息提示方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113255644A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN113254120B (zh) 数据处理方法和相关装置
CN111597000B (zh) 一种小窗口管理方法及终端
CN111367456A (zh) 通信终端及多窗口模式下的显示方法
CN111343339B (zh) 移动终端及其图像显示方法
CN115756268A (zh) 跨设备交互的方法、装置、投屏系统及终端
CN113542545B (zh) 电子设备及录像方法
CN113709026B (zh) 即时通信消息的处理方法、设备、存储介质和程序产品
CN113688019B (zh) 响应时长检测方法及装置
CN111176766A (zh) 一种通信终端及组件显示方法
CN113038141B (zh) 视频帧处理方法及电子设备
CN113014614A (zh) 一种设备控制方法、控制设备及被控设备
CN114339419B (zh) 一种视频流拉流处理的方法、装置及存储介质
CN113255644B (zh) 显示设备及其图像识别方法
US20240126424A1 (en) Picture sharing method and electronic device
CN113079332B (zh) 移动终端及其录屏方法
CN113641431A (zh) 二维码的增强显示的方法和终端设备
CN114596633A (zh) 坐姿检测方法及终端
CN114449171A (zh) 控制摄像头的方法、终端设备、存储介质及程序产品
CN113507614A (zh) 视频的播放进度调节方法及显示设备
CN113157092A (zh) 可视化方法、终端设备和存储介质
CN111787157A (zh) 移动终端及其操作响应方法
CN112004006A (zh) 移动医疗终端及其亮度调整方法
CN113179362B (zh) 电子设备及其图像显示方法
CN111142648B (zh) 一种数据处理方法和智能终端
CN113259582B (zh) 图片生成方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 266071 Shandong city of Qingdao province Jiangxi City Road No. 11

Patentee after: Qingdao Hisense Mobile Communication Technology Co.,Ltd.

Address before: 266071 Shandong city of Qingdao province Jiangxi City Road No. 11

Patentee before: HISENSE MOBILE COMMUNICATIONS TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder