CN106295640A - 一种智能终端的物体识别方法和装置 - Google Patents

一种智能终端的物体识别方法和装置 Download PDF

Info

Publication number
CN106295640A
CN106295640A CN201610622554.4A CN201610622554A CN106295640A CN 106295640 A CN106295640 A CN 106295640A CN 201610622554 A CN201610622554 A CN 201610622554A CN 106295640 A CN106295640 A CN 106295640A
Authority
CN
China
Prior art keywords
depth
pixel
subject image
image
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610622554.4A
Other languages
English (en)
Inventor
修国明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Holding Beijing Co Ltd
LeTV Mobile Intelligent Information Technology Beijing Co Ltd
Original Assignee
LeTV Holding Beijing Co Ltd
LeTV Mobile Intelligent Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Holding Beijing Co Ltd, LeTV Mobile Intelligent Information Technology Beijing Co Ltd filed Critical LeTV Holding Beijing Co Ltd
Priority to CN201610622554.4A priority Critical patent/CN106295640A/zh
Publication of CN106295640A publication Critical patent/CN106295640A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Abstract

本发明实施例公开了一种智能终端的物体识别方法和装置,属于物体识别领域。该智能终端的物体识别方法包括:生成景深图并在拍照预览界面中显示与景深图相对应的拍照预览图像,景深图中包括各像素点的景深信息,拍照预览图像中包括各像素点的二维信息;根据各像素点的景深信息确定至少一个物体图像的边缘,并从景深图中分割出至少一个物体图像;根据物体图像中每个像素点的景深信息和二维信息,提取物体图像的特征并通过物体数据库进行物体图像的识别和物体图像的信息显示。本发明采用各像素点的景深信息确定物体图像的边缘能够准确的分割出物体图像,有效的物体图像的分割也便于准确提取物体图像特征并识别,以达到提高物体识别准确率的效果。

Description

一种智能终端的物体识别方法和装置
技术领域
本发明实施例涉及物体识别技术,尤其涉及一种智能终端的物体识别方法和装置。
背景技术
近年来,物体识别作为计算机视觉的基础研究已经有了快速的发展。物体识别技术可用于识别物体,其通常通过建立物体模型形成物体模型库来进行物体的特征识别。
随着手机相机的快速发展,手机相机拍照已成为人们日常拍照的主要方式,人们的手机中也已积累了大量的图片资源。然而发明人在实现本发明的过程中,发现现有技术存在以下缺陷:手机拍摄时只能拍摄到场景中物体的二维照片,即获取的是现实场景中的三维物体在二维平面上的投影信息,因此,现有手机无法对手机中积累的大量图片进行物体识别。
发明内容
本发明实施例提供一种智能终端的物体识别方法和装置,以解决现有智能终端无法进行物体识别的问题。
第一方面,本发明实施例提供了一种智能终端的物体识别方法,该物体识别方法包括:
生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像,所述景深图中包括各像素点的景深信息,所述拍照预览图像中包括各像素点的二维信息;
根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像;
根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示。
进一步地,生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像包括:
根据所述智能终端的至少两个摄像头拍摄的照片生成景深图,获取各像素点的景深信息,所述景深信息至少包括各像素点关联的被摄点与所述至少两个摄像头镜头之间的深度信息;同时,
对一个所述摄像头拍摄的照片进行处理以生成与所述景深图相对应的拍照预览图像并显示,获取各像素点的二维信息,所述二维信息至少包括各像素点的颜色信息。
进一步地,根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像,包括:
根据所述各像素点的景深信息,查找各局部极小值像素点;
采用区域增长算法,计算所述局部极小值像素点与其相邻像素点的深度差值并判断所述深度差值是否小于预设深度阈值;
若是,将对应的相邻像素点确定为新局部极小值像素点并与其相邻像素点进行深度差值计算和判断;
若否,将对应的局部极小值像素点确定为一个物体图像的边缘像素点,直至获取所述物体图像的边缘并从所述景深图中分割出所述物体图像。
进一步地,该物体识别方法还包括:采用边缘检测算法对分割出的所述物体图像进行边缘细化检测和平滑处理。
进一步地,根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示,包括:
根据所述景深图和所述拍照预览图像的映射对应关系,获取所述物体图像中每个像素点的景深信息和二维信息;
采用尺度不变特征转换SIFT方法提取出所述物体图像中的各特征点,所述各特征点至少包括颜色特征和深度特征;
从所述智能终端预存的物体数据库中查找出与所述各特征点匹配的目标特征数据,以所述目标特征数据对应的目标物体信息识别并标志所述物体图像。
第二方面,本发明实施例还提供了一种智能终端的物体识别装置,该物体识别装置包括:
生成图像模块,用于生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像,所述景深图中包括各像素点的景深信息,所述拍照预览图像中包括各像素点的二维信息;
分割物体图像模块,用于根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像;
识别物体图像模块,用于根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示。
进一步地,所述生成图像模块包括:
生成景深图子模块,用于根据所述智能终端的至少两个摄像头拍摄的照片生成景深图,获取各像素点的景深信息,所述景深信息至少包括各像素点关联的被摄点与所述至少两个摄像头镜头之间的深度信息;
生成预览图子模块,用于对一个所述摄像头拍摄的照片进行处理以生成与所述景深图相对应的拍照预览图像并显示,获取各像素点的二维信息,所述二维信息至少包括各像素点的颜色信息。
进一步地,所述分割物体图像模块包括:
查找极小值子模块,用于根据所述各像素点的景深信息,查找各局部极小值像素点;
计算深度子模块,用于采用区域增长算法,计算所述局部极小值像素点与其相邻像素点的深度差值并判断所述深度差值是否小于预设深度阈值;
增长区域子模块,用于所述深度差值小于所述预设深度阈值时,将对应的相邻像素点确定为新局部极小值像素点并与其相邻像素点进行深度差值计算和判断;
确定边缘子模块,用于所述深度差值大于或等于所述预设深度阈值时,将对应的局部极小值像素点确定为一个物体图像的边缘像素点,直至获取所述物体图像的边缘并从所述景深图中分割出所述物体图像。
进一步地,该物体识别装置还包括:处理边缘子模块,用于采用边缘检测算法对分割出的所述物体图像进行边缘细化检测和平滑处理。
进一步地,所述识别物体图像模块包括:
获取像素信息子模块,用于根据所述景深图和所述拍照预览图像的映射对应关系,获取所述物体图像中每个像素点的景深信息和二维信息;
提取图像特征子模块,用于采用尺度不变特征转换SIFT方法提取出所述物体图像中的各特征点,所述各特征点至少包括颜色特征和深度特征;
标识物体图像子模块,用于从所述智能终端预存的物体数据库中查找出与所述各特征点匹配的目标特征数据,以所述目标特征数据对应的目标物体信息识别并标志所述物体图像。
本发明实施例中,智能终端生成景深图并根据景深图中各像素点的景深信息确定物体图像的边缘以从景深图中分割出至少一个物体图像,再对分割出的物体进行特征提取和识别。本发明实施例采用各像素点的景深信息确定物体图像的边缘,不仅能够准确的分割物体图像和背景图像,还能够准确分离部分被遮挡的物体,并可以排除光照和噪声的外部干扰,达到高效分割物体图像的效果;此外有效的物体图像的分割也便于准确提取物体图像特征并识别,能够达到提高物体识别准确率的效果;与现有技术相比,解决了现有智能终端无法进行物体识别的缺陷。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的智能终端的物体识别方法的流程图;
图2是本发明实施例二提供的智能终端的物体识别方法的流程图;
图3是本发明实施例三提供的智能终端的物体识别装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下将参照本发明实施例中的附图,通过实施方式清楚、完整地描述本发明的技术方案,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明实施例一提供的智能终端的物体识别方法的流程图,本实施例的技术方案适用于智能终端拍摄照片并对照片中物体进行自动识别的情况。该方法可以由智能终端的物体识别装置来执行,该装置可以采用软件和/或硬件的方式实现,配置在智能终端中执行,可选智能终端为配置有多个摄像头的智能手机等电子设备。
本实施例提供的智能终端的物体识别方法,具体包括如下步骤:
步骤110、生成景深图并在拍照预览界面中显示与景深图相对应的拍照预览图像,景深图中包括各像素点的景深信息,拍照预览图像中包括各像素点的二维信息。
在本实施例中智能终端具有采用双摄像头或多摄像头方案的后置摄像头,在其他实施例中还可选智能终端具有采用双摄像头或多摄像头方案的前置摄像头,在本实施例中以智能终端的后置摄像头为双摄方案进行拍照为例说明。
在本步骤中智能终端通过后置双摄像头进行拍照时,智能终端可根据该双摄像头相对被摄点的位置信息得到该被摄点的景深信息,以此智能终端可获取被摄各点的景深信息。智能终端基于景深信息生成景深图且景深图中包括各像素点的景深信息,其中被摄各点一一对应并映射景深图中的各像素点,相应的被摄各点的景深信息作为对应的各像素点的景深信息。本领域技术人员可以理解,智能终端生成景深图的算法有多种,如景深算法,在此不再示例和详述。
在本步骤中智能终端通过后置双摄像头进行拍照时,智能终端还会在拍照预览界面中显示与景深图相对应的拍照预览图像,在此拍照预览图像与景深图相对应,即拍照预览图像的像素点所对应的被摄点与景深图中相同位置像素点所对应的被摄点完全一致。拍照预览图像是被摄对象在二维平面上的投影信息,被摄各点一一对应并映射拍照预览图像中的各像素点,相应的被摄各点的二维信息作为对应的各像素点的二维信息,因此拍照预览图像中包括各像素点的二维信息。
步骤120、根据各像素点的景深信息确定至少一个物体图像的边缘,并从景深图中分割出至少一个物体图像。
被摄物体中的相邻被摄点的景深信息不会发生突变,被摄物体的边缘景深信息与被摄背景的景深信息之间通常会发生突变,相应的被摄物体在景深图中映射的物体图像中各相邻像素点的景深信息也不会发生突变,以及被摄物体的边缘在景深图中映射的物体图像的边缘像素点与被摄背景映射的背景图像的像素点之间的景深信息发生突变。由此可知,被摄物体中任意相邻两个被摄点的景深信息连续且不突变,显而易见的,被摄物体在景深图中映射的物体图像中任意相邻两个像素点的景深信息连续且不突变。
在此基于物体图像的各像素点景深信息的连续性以及物体图像边缘像素点与背景图像像素点之间的突变性,智能终端可根据相邻像素点的景深信息的突变性确认物体图像的边缘,并根据确定的物体图像的边缘从景深图中分割出对应的物体图像,使得物体图像与背景图像隔离。在此具体是指将背景图像的像素点去除,保留物体图像的像素点。
步骤130、根据物体图像中每个像素点的景深信息和二维信息,提取物体图像的特征并通过物体数据库进行物体图像的识别和物体图像的信息显示。
在本实施例中获取到物体图像的像素点后,基于每个像素点的景深信息和二维信息,提取物体图像的特征,在此物体图像的特征具体是指物体图像中特征不变的稳定的像素点。其中物体图像的特征包括位置特征、尺度特征、旋转不变量特征、景深特征和颜色特征等,本领域技术人员可以理解,物体图像的特征包括但不限于以上示例,在此不再限制。
在此从物体数据库中查找与物体图像的特征匹配的目标物体,则物体图像可识别为目标物体且将识别出的物体信息显示标定在物体图像中。在此可选将识别出的物体信息直接显示标定在拍照预览图像中的物体图像中,或者,可选将识别出的物体信息直接显示标定在拍照预览图像中的信息中,由此可实现拍照预览图像的分类、检索和组合等,极大的提高了用户处理图片的使用体验。
需要说明的是,可选智能终端中配置有物体数据库,或者智能终端可通过联网链接服务器中的物体数据库,物体数据库可通过联网实现物体数据更新。
本实施例中,智能终端生成景深图并根据景深图中各像素点的景深信息确定物体图像的边缘以从景深图中分割出至少一个物体图像,再对分割出的物体进行特征提取和识别。本实施例采用各像素点的景深信息确定物体图像的边缘,不仅能够准确的分割物体图像和背景图像,还能够准确分离部分被遮挡的物体,并可以排除光照和噪声的外部干扰,达到高效分割物体图像的效果;此外有效的物体图像的分割也便于准确提取物体图像特征并识别,能够达到提高物体识别准确率的效果;与现有技术相比,解决了现有智能终端无法进行物体识别的缺陷。
如图2所示,为本发明实施例二提供的智能终端的物体识别方法的流程图,本实施例的技术方案适用于智能终端拍摄照片并对照片中物体进行自动识别的情况。该方法可以由智能终端的物体识别装置来执行,该装置可以采用软件和/或硬件的方式实现,配置在智能终端中执行,可选智能终端为配置有多个摄像头的智能手机等电子设备。
本实施例提供的智能终端的物体识别方法,具体包括如下步骤:
步骤111、根据智能终端的至少两个摄像头拍摄的照片生成景深图,获取各像素点的景深信息,景深信息至少包括各像素点关联的被摄点与至少两个摄像头镜头之间的深度信息;同时,对一个摄像头拍摄的照片进行处理以生成与景深图相对应的拍照预览图像并显示,获取各像素点的二维信息,二维信息至少包括各像素点的颜色信息。
在本实施例中以智能终端的后置摄像头为双摄方案进行拍照为例说明。在本步骤中智能终端通过后置双摄像头进行拍照时,智能终端可根据该双摄像头与被摄点之间的形成的夹角计算出双摄像头所在平面与该被摄点之间的距离信息即该被摄点的深度信息,以此智能终端可获取被摄各点的深度信息。智能终端基于深度信息生成景深图,其中景深图中的各像素点与被摄各点一一对应并关联,因此被摄各点的深度信息可映射并记录在对应的像素点中,则景深信息至少包括各像素点关联的被摄点与至少两个摄像头镜头之间的深度信息。
同时的,在本步骤中智能终端通过后置双摄像头进行拍照并生成景深图时,智能终端还会对一个摄像头拍摄的照片进行处理,以在拍照预览界面中显示与景深图相对应的拍照预览图像,在此拍照预览图像与景深图相对应,即拍照预览图像的像素点所对应的被摄点与景深图中相同位置像素点所对应的被摄点完全一致。拍照预览图像表征了各像素点的二维信息,可选二维信息至少包括各像素点的颜色信息。
本领域技术人员可以理解,景深信息包括但不限于深度信息,还可包括其他景深信息;二维信息包括但不限于颜色信息,还可包括其他二维信息为尺度信息等;智能终端生成景深图的算法有多种,如景深算法;以及智能终端处理拍照预览图像的方法有多种。在本发明中不进行具体限制。
步骤121、根据各像素点的景深信息,查找各局部极小值像素点。
在本实施例中,智能终端可通过扫描景深图中各像素点,并基于各像素点的深度信息,查找到景深图中的各局部极小值像素点。在此局部极小值像素点是指该像素点相对局部区域的其他像素点而言具有最小的景深信息,在此具体是指最小的深度信息。
步骤122、采用区域增长算法,计算局部极小值像素点与其相邻像素点的深度差值并判断深度差值是否小于预设深度阈值。
智能终端查找出各局部极小值像素点后,在本步骤中对于每一个局部极小值像素点,智能终端基于各像素点的深度信息,计算局部极小值像素点与其周围相邻像素点之间的深度差值,并判断深度差值是否小于预设深度阈值。在本实施例中可选开发者根据摄像头的参数合理设置预设深度阈值,在本发明中不对预设深度阈值进行具体限制。
步骤123、若是,将对应的相邻像素点确定为新局部极小值像素点并与其相邻像素点进行深度差值计算和判断。
在本步骤中,当计算得出的局部极小值像素点与其周围局部相邻像素点之间的深度差值小于预设深度阈值,则从区域连续角度可判定该相邻像素点与局部极小值像素点在深度信息上是连续性,相应的该相邻像素点与局部极小值像素点属于同一区域。基于区域增长算法,将深度差值小于预设深度阈值所对应的相邻像素点确定为新局部极小值像素点并返回步骤122,以进行与其相邻像素点的深度差值计算和判断。在此具体以相邻像素点作为下一个局部极小值像素点向外搜索,以查找并确定同一区域的所有像素点。
步骤124、若否,将对应的局部极小值像素点确定为一个物体图像的边缘像素点,直至获取物体图像的边缘并从景深图中分割出物体图像。
在本步骤中,当计算得出的局部极小值像素点与其周围相邻像素点之间的深度差值大于或等于预设深度阈值,则从区域连续角度可判定该相邻像素点与局部极小值像素点之间发生了深度信息的突变,即该相邻像素点与局部极小值像素点在深度信息上是不连续的,相应的该相邻像素点与局部极小值像素点不属于同一区域,显而易见的,智能终端可以确认该局部极小值像素点是物体图像的一个边缘像素点。基于上述步骤,采用区域增长算法可快速找到物体图像的边缘的各像素点,进而根据物体图像的边缘的各像素点从景深图中分割出物体图像。
基于上述分割过程,显而易见的,物体图像内任意两个相邻像素点之间的深度差值小于预设深度阈值,以及物体图像的边缘像素点与背景图像像素点之间的深度差值大于或等于预设深度阈值。根据深度信息可明显区分出物体图像的边缘。
步骤125、采用边缘检测算法对分割出的物体图像进行边缘细化检测和平滑处理。
智能终端根据深度信息确定物体图像的边缘并从景深图中分割出物体图像后,可能出现物体图像边缘锯齿或几个像素点离散分布的情况,在此智能终端可通过边缘检测算法对分割出的物体图像进行边缘细化检测和平滑处理,以去除边缘锯齿的多余像素点和分布离散的多个像素点,以使物体图像的边缘平滑。对图像进行边缘细化检测和平滑处理的方法包括但不限于边缘检测算法,在本发明中不进行具体限制。
步骤131、根据景深图和拍照预览图像的映射对应关系,获取物体图像中每个像素点的景深信息和二维信息。
在本实施例中景深图和拍照预览图像相对应,即拍照预览图像的像素点所对应的被摄点与景深图中相同位置像素点所对应的被摄点完全一致,显而易见的,基于景深图中包括各像素点的景深信息以及拍照预览图像中包括各像素点的二维信息,可得到物体图像中各像素点的景深信息和二维信息。此外,根据景深图和拍照预览图像的对应关系,以及物体图像的各像素点信息,能够在拍照预览图像中确定与景深图中的物体图像对应的物体图像。
在本实施例中可选景深信息包括物体图像中各像素点的深度信息,二维信息至少包括物体图像中各像素点的颜色信息。
步骤132、采用尺度不变特征转换SIFT方法提取出物体图像中的各特征点,各特征点至少包括颜色特征和深度特征。
SIFT方法能够用来描述物体图像中的局部性特征,并能够在空间尺度中寻找极值点,以提取出物体图像的位置、尺度、旋转不变量和颜色特征,智能终端根据SIFT算法获取物体图像的一些特征点。基于SIFT方法,物体图像的各像素点的深度信息,以及物体图像中任意相邻像素点的深度差值组成的局部深度梯度信息,智能终端可得到包含深度特征的物体图像特征。物体图像的深度特征、颜色特征以及其他特征能够准确有效的标识物体图像。
步骤133、从智能终端预存的物体数据库中查找出与各特征点匹配的目标特征数据,以目标特征数据对应的目标物体信息识别并标志物体图像。
智能终端中预存有物体数据库,物体数据库中存储有多个物体、各物体的物体特征、以及各物体的物体信息及对应关系等。在本步骤中智能终端得到至少包含深度特征和颜色特征的物体图像特征后,智能终端会将得出的物体图像特征与物体数据库中的物体特征进行匹配,以从物体数据库中查找出与物体图像特征匹配度最高的目标物体特征。
根据物体数据库中物体特征和物体信息的对应关系,将目标物体特征对应的目标物体及其目标物体信息作为物体图像的识别信息,由此可实现物体图像的识别。例如物体图像的特征与水杯的物体特征匹配,则目标物体为水杯,相应的该目标物体的信息即可作为识别出的物体图像的信息。
当识别出物体图像后,智能终端可将识别出的物体图像的信息直接在拍照预览图像中对应的物体图像上显示,或者,可选智能终端可将识别出的物体图像的信息直接记录在拍照预览图像中。由此用户可根据拍照预览图像的物体信息可拍照预览图像进行分类、检索等操作。
本实施例中,智能终端生成景深图并根据景深图中各像素点的景深信息确定物体图像的边缘以从景深图中分割出至少一个物体图像,再对分割出的物体进行特征提取和识别。本实施例采用各像素点的景深信息确定物体图像的边缘,不仅能够准确的分割物体图像和背景图像,还能够准确分离部分被遮挡的物体,并可以排除光照和噪声的外部干扰,达到高效分割物体图像的效果;此外有效的物体图像的分割也便于准确提取物体图像特征并识别,能够达到提高物体识别准确率的效果;与现有技术相比,解决了现有智能终端无法进行物体识别的缺陷。
如图3所示,为本发明实施例三提供的智能终端的物体识别装置的示意图,本实施例的技术方案适用于智能终端拍摄照片并对照片中物体进行自动识别的情况。该装置可以执行上述任意实施例所述的智能终端的物体识别方法,该装置可以采用软件和/或硬件的方式实现,配置在智能终端中执行,可选智能终端为配置有多个摄像头的智能手机等电子设备。
本实施例提供的智能终端的物体识别装置,具体包括:生成图像模块210,分割物体图像模块220和识别物体图像模块230。
其中,生成图像模块210用于生成景深图并在拍照预览界面中显示与景深图相对应的拍照预览图像,景深图中包括各像素点的景深信息,拍照预览图像中包括各像素点的二维信息;分割物体图像模块220用于根据各像素点的景深信息确定至少一个物体图像的边缘,并从景深图中分割出至少一个物体图像;识别物体图像模块230用于根据物体图像中每个像素点的景深信息和二维信息,提取物体图像的特征并通过物体数据库进行物体图像的识别和物体图像的信息显示。
可选的,生成图像模块210包括:生成景深图子模块和生成预览图子模块。
其中,生成景深图子模块用于根据智能终端的至少两个摄像头拍摄的照片生成景深图,获取各像素点的景深信息,景深信息至少包括各像素点关联的被摄点与至少两个摄像头镜头之间的深度信息;生成预览图子模块用于对一个摄像头拍摄的照片进行处理以生成与景深图相对应的拍照预览图像并显示,获取各像素点的二维信息,二维信息至少包括各像素点的颜色信息。
可选的,分割物体图像模块220包括:查找极小值子模块,计算深度子模块,增长区域子模块和确定边缘子模块。
其中,查找极小值子模块用于根据各像素点的景深信息,查找各局部极小值像素点;计算深度子模块用于采用区域增长算法,计算局部极小值像素点与其相邻像素点的深度差值并判断深度差值是否小于预设深度阈值;增长区域子模块用于深度差值小于预设深度阈值时,将对应的相邻像素点确定为新局部极小值像素点并与其相邻像素点进行深度差值计算和判断;确定边缘子模块用于深度差值大于或等于预设深度阈值时,将对应的局部极小值像素点确定为一个物体图像的边缘像素点,直至获取物体图像的边缘并从景深图中分割出物体图像。
可选的,该物体识别装置还包括:处理边缘子模块用于采用边缘检测算法对分割出的物体图像进行边缘细化检测和平滑处理。可选分割物体图像模块220中还包括处理边缘子模块。
可选的,识别物体图像模块230包括:获取像素信息子模块,提取图像特征子模块和标识物体图像子模块。
其中,获取像素信息子模块用于根据景深图和拍照预览图像的映射对应关系,获取物体图像中每个像素点的景深信息和二维信息;提取图像特征子模块用于采用尺度不变特征转换SIFT方法提取出物体图像中的各特征点,各特征点至少包括颜色特征和深度特征;标识物体图像子模块用于从智能终端预存的物体数据库中查找出与各特征点匹配的目标特征数据,以目标特征数据对应的目标物体信息识别并标志物体图像。
本实施例中,智能终端生成景深图并根据景深图中各像素点的景深信息确定物体图像的边缘以从景深图中分割出至少一个物体图像,再对分割出的物体进行特征提取和识别。本实施例采用各像素点的景深信息确定物体图像的边缘,不仅能够准确的分割物体图像和背景图像,还能够准确分离部分被遮挡的物体,并可以排除光照和噪声的外部干扰,达到高效分割物体图像的效果;此外有效的物体图像的分割也便于准确提取物体图像特征并识别,能够达到提高物体识别准确率的效果;与现有技术相比,解决了现有智能终端无法进行物体识别的缺陷。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种智能终端的物体识别方法,该物体识别方法包括:
生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像,所述景深图中包括各像素点的景深信息,所述拍照预览图像中包括各像素点的二维信息;
根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像;
根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示。
可选的,该计算机可执行指令在由计算机处理器执行时还可以用于执行本发明任意实施例所提供的智能终端的物体识别方法的技术方案。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种智能终端的物体识别方法,其特征在于,包括:
生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像,所述景深图中包括各像素点的景深信息,所述拍照预览图像中包括各像素点的二维信息;
根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像;
根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示。
2.根据权利要求1所述的物体识别方法,其特征在于,生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像包括:
根据所述智能终端的至少两个摄像头拍摄的照片生成景深图,获取各像素点的景深信息,所述景深信息至少包括各像素点关联的被摄点与所述至少两个摄像头镜头之间的深度信息;同时,
对一个所述摄像头拍摄的照片进行处理以生成与所述景深图相对应的拍照预览图像并显示,获取各像素点的二维信息,所述二维信息至少包括各像素点的颜色信息。
3.根据权利要求2所述的物体识别方法,其特征在于,根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像,包括:
根据所述各像素点的景深信息,查找各局部极小值像素点;
采用区域增长算法,计算所述局部极小值像素点与其相邻像素点的深度差值并判断所述深度差值是否小于预设深度阈值;
若是,将对应的相邻像素点确定为新局部极小值像素点并与其相邻像素点进行深度差值计算和判断;
若否,将对应的局部极小值像素点确定为一个物体图像的边缘像素点,直至获取所述物体图像的边缘并从所述景深图中分割出所述物体图像。
4.根据权利要求3所述的物体识别方法,其特征在于,还包括:采用边缘检测算法对分割出的所述物体图像进行边缘细化检测和平滑处理。
5.根据权利要求2所述的物体识别方法,其特征在于,根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示,包括:
根据所述景深图和所述拍照预览图像的映射对应关系,获取所述物体图像中每个像素点的景深信息和二维信息;
采用尺度不变特征转换SIFT方法提取出所述物体图像中的各特征点,所述各特征点至少包括颜色特征和深度特征;
从所述智能终端预存的物体数据库中查找出与所述各特征点匹配的目标特征数据,以所述目标特征数据对应的目标物体信息识别并标志所述物体图像。
6.一种智能终端的物体识别装置,其特征在于,包括:
生成图像模块,用于生成景深图并在拍照预览界面中显示与所述景深图相对应的拍照预览图像,所述景深图中包括各像素点的景深信息,所述拍照预览图像中包括各像素点的二维信息;
分割物体图像模块,用于根据所述各像素点的景深信息确定至少一个物体图像的边缘,并从所述景深图中分割出至少一个物体图像;
识别物体图像模块,用于根据所述物体图像中每个像素点的景深信息和二维信息,提取所述物体图像的特征并通过物体数据库进行所述物体图像的识别和所述物体图像的信息显示。
7.根据权利要求6所述的物体识别装置,其特征在于,所述生成图像模块包括:
生成景深图子模块,用于根据所述智能终端的至少两个摄像头拍摄的照片生成景深图,获取各像素点的景深信息,所述景深信息至少包括各像素点关联的被摄点与所述至少两个摄像头镜头之间的深度信息;
生成预览图子模块,用于对一个所述摄像头拍摄的照片进行处理以生成与所述景深图相对应的拍照预览图像并显示,获取各像素点的二维信息,所述二维信息至少包括各像素点的颜色信息。
8.根据权利要求7所述的物体识别装置,其特征在于,所述分割物体图像模块包括:
查找极小值子模块,用于根据所述各像素点的景深信息,查找各局部极小值像素点;
计算深度子模块,用于采用区域增长算法,计算所述局部极小值像素点与其相邻像素点的深度差值并判断所述深度差值是否小于预设深度阈值;
增长区域子模块,用于所述深度差值小于所述预设深度阈值时,将对应的相邻像素点确定为新局部极小值像素点并与其相邻像素点进行深度差值计算和判断;
确定边缘子模块,用于所述深度差值大于或等于所述预设深度阈值时,将对应的局部极小值像素点确定为一个物体图像的边缘像素点,直至获取所述物体图像的边缘并从所述景深图中分割出所述物体图像。
9.根据权利要求8所述的物体识别装置,其特征在于,还包括:处理边缘子模块,用于采用边缘检测算法对分割出的所述物体图像进行边缘细化检测和平滑处理。
10.根据权利要求7所述的物体识别装置,其特征在于,所述识别物体图像模块包括:
获取像素信息子模块,用于根据所述景深图和所述拍照预览图像的映射对应关系,获取所述物体图像中每个像素点的景深信息和二维信息;
提取图像特征子模块,用于采用尺度不变特征转换SIFT方法提取出所述物体图像中的各特征点,所述各特征点至少包括颜色特征和深度特征;
标识物体图像子模块,用于从所述智能终端预存的物体数据库中查找出与所述各特征点匹配的目标特征数据,以所述目标特征数据对应的目标物体信息识别并标志所述物体图像。
CN201610622554.4A 2016-08-01 2016-08-01 一种智能终端的物体识别方法和装置 Withdrawn CN106295640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610622554.4A CN106295640A (zh) 2016-08-01 2016-08-01 一种智能终端的物体识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610622554.4A CN106295640A (zh) 2016-08-01 2016-08-01 一种智能终端的物体识别方法和装置

Publications (1)

Publication Number Publication Date
CN106295640A true CN106295640A (zh) 2017-01-04

Family

ID=57663972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610622554.4A Withdrawn CN106295640A (zh) 2016-08-01 2016-08-01 一种智能终端的物体识别方法和装置

Country Status (1)

Country Link
CN (1) CN106295640A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817677A (zh) * 2017-01-19 2017-06-09 北京邮电大学 一种基于多传感器的室内目标信息识别方法、装置及系统
CN107582001A (zh) * 2017-10-20 2018-01-16 珠海格力电器股份有限公司 洗碗机及其控制方法、装置和系统
CN108517903A (zh) * 2018-04-27 2018-09-11 李绪臣 基于挖掘容量调整的智能挖掘机
CN108625413A (zh) * 2018-04-27 2018-10-09 李绪臣 基于挖掘容量调整的智能挖掘机的使用方法
CN109215043A (zh) * 2017-06-30 2019-01-15 北京小米移动软件有限公司 图像识别方法及装置、计算机可读存储介质
CN110147195A (zh) * 2019-06-28 2019-08-20 旷和明 基于互联网的植被识别方法及手持式通信装置
CN110335216A (zh) * 2019-07-09 2019-10-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110661971A (zh) * 2019-09-03 2020-01-07 RealMe重庆移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN111581415A (zh) * 2020-03-18 2020-08-25 时时同云科技(成都)有限责任公司 确定相似物体的方法、物体相似度的确定方法和设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625762A (zh) * 2009-06-19 2010-01-13 深圳市中瀛鑫科技发展有限公司 目标分割方法及装置
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104281839A (zh) * 2014-09-26 2015-01-14 深圳市同洲电子股份有限公司 一种人体姿势识别方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625762A (zh) * 2009-06-19 2010-01-13 深圳市中瀛鑫科技发展有限公司 目标分割方法及装置
CN102592117A (zh) * 2011-12-30 2012-07-18 杭州士兰微电子股份有限公司 三维物体识别方法及系统
CN103390164A (zh) * 2012-05-10 2013-11-13 南京理工大学 基于深度图像的对象检测方法及其实现装置
CN104281839A (zh) * 2014-09-26 2015-01-14 深圳市同洲电子股份有限公司 一种人体姿势识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯香: "基于RGB_D的人体姿态识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
郭鹏: "基于全局特征和尺度不变特征的三维人脸识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106817677A (zh) * 2017-01-19 2017-06-09 北京邮电大学 一种基于多传感器的室内目标信息识别方法、装置及系统
CN109215043A (zh) * 2017-06-30 2019-01-15 北京小米移动软件有限公司 图像识别方法及装置、计算机可读存储介质
CN107582001A (zh) * 2017-10-20 2018-01-16 珠海格力电器股份有限公司 洗碗机及其控制方法、装置和系统
CN107582001B (zh) * 2017-10-20 2020-08-11 珠海格力电器股份有限公司 洗碗机及其控制方法、装置和系统
CN108517903A (zh) * 2018-04-27 2018-09-11 李绪臣 基于挖掘容量调整的智能挖掘机
CN108625413A (zh) * 2018-04-27 2018-10-09 李绪臣 基于挖掘容量调整的智能挖掘机的使用方法
CN110147195A (zh) * 2019-06-28 2019-08-20 旷和明 基于互联网的植被识别方法及手持式通信装置
CN110147195B (zh) * 2019-06-28 2020-10-30 聊城信元通信科技有限公司 基于互联网的植被识别方法及手持式通信装置
CN110335216A (zh) * 2019-07-09 2019-10-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110661971A (zh) * 2019-09-03 2020-01-07 RealMe重庆移动通信有限公司 图像拍摄方法、装置、存储介质及电子设备
CN111581415A (zh) * 2020-03-18 2020-08-25 时时同云科技(成都)有限责任公司 确定相似物体的方法、物体相似度的确定方法和设备
CN111581415B (zh) * 2020-03-18 2023-07-04 时时同云科技(成都)有限责任公司 确定相似物体的方法、物体相似度的确定方法和设备

Similar Documents

Publication Publication Date Title
CN106295640A (zh) 一种智能终端的物体识别方法和装置
US10198823B1 (en) Segmentation of object image data from background image data
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
Feng et al. Local background enclosure for RGB-D salient object detection
US9754160B2 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
US8331619B2 (en) Image processing apparatus and image processing method
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
US9142011B2 (en) Shadow detection method and device
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
JP6442834B2 (ja) 路面高度形状推定方法とシステム
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
JPWO2004095374A1 (ja) 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
KR20010080219A (ko) 화상 처리 장치 및 화상 처리 방법 및, 기록 매체
JP2006343859A (ja) 画像処理装置及び画像処理方法
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
JP6766898B2 (ja) 点群データ処理装置、点群データ処理方法、点群データ処理プログラム、車両制御装置及び車両
JP6754717B2 (ja) 物体候補領域推定装置、物体候補領域推定方法、及び物体候補領域推定プログラム
WO2020132920A1 (en) Systems and methods for object recognition
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20220366651A1 (en) Method for generating a three dimensional, 3d, model
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170104

WW01 Invention patent application withdrawn after publication