CN110276251B - 一种图像识别方法、装置、设备及存储介质 - Google Patents

一种图像识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110276251B
CN110276251B CN201910394985.3A CN201910394985A CN110276251B CN 110276251 B CN110276251 B CN 110276251B CN 201910394985 A CN201910394985 A CN 201910394985A CN 110276251 B CN110276251 B CN 110276251B
Authority
CN
China
Prior art keywords
image
identified
target
track
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910394985.3A
Other languages
English (en)
Other versions
CN110276251A (zh
Inventor
邓建
康青
蒋建平
邹成刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Shanghai Electronics Technology Co Ltd
Original Assignee
Lenovo Shanghai Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Shanghai Electronics Technology Co Ltd filed Critical Lenovo Shanghai Electronics Technology Co Ltd
Priority to CN201910394985.3A priority Critical patent/CN110276251B/zh
Publication of CN110276251A publication Critical patent/CN110276251A/zh
Application granted granted Critical
Publication of CN110276251B publication Critical patent/CN110276251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种图像识别方法、装置、设备及存储介质,其中,所述方法包括:获取待识别图像;基于所述待识别图像获取手势信息;根据所述手势信息确定所述待识别图像的目标区域;对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。

Description

一种图像识别方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理技术领域,涉及但不限于一种图像识别方法、装置、设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)眼镜在做物体识别时,是通过设置在AR眼镜上的摄像头捕获图像,并对捕获的图像进行识别。
然而,当摄像头捕获的图像中物体较多且杂乱时,或者当摄像头距离待识别的目标对象较远时,或者当目标对象是作为零部件,与其他零部件形成一个整体时,由于摄像头对焦可能不在目标对象上,且所捕获的图像中其他杂物对目标对象会形成干扰,均会导致识别效果差或者无法识别。另外,为了方便识别和能识别,当用户通过AR眼镜进行识别时,用户需要猫腰或者移动靠近目标对象,这样均会给用户在操作上带来不便。
发明内容
有鉴于此,本申请实施例提供一种图像识别方法、装置、设备及存储介质。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种图像识别方法,所述方法包括:
获取待识别图像;
基于所述待识别图像获取手势信息;
根据所述手势信息确定所述待识别图像的目标区域;
对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
本申请实施例提供一种图像识别装置,所述装置包括:
第一获取单元,用于获取待识别图像;
第二获取单元,用于基于所述待识别图像获取手势信息;
确定单元,用于根据所述手势信息确定所述待识别图像的目标区域;
识别单元,用于对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
本申请实施例提供一种图像识别设备,所述设备至少包括:处理器和配置为存储可执行指令的存储介质,其中:所述处理器配置为执行存储的可执行指令;所述可执行指令配置为执行上述的图像识别方法。
本申请实施例提供一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令配置为执行上述的图像识别方法。
本申请实施例提供的图像识别方法、装置、设备及存储介质,根据获取的手势信息确定待识别图像的目标区域,并对待识别图像的目标区域进行识别。这样,能够通过手势信息在待识别图像中明确目标对象所属的目标区域,从而仅对该目标区域进行识别,能够排除所述目标区域之外的其他区域中的对象对所述目标对象识别过程的影响,从而能够提高识别的效率和识别的准确度。
附图说明
在附图(其不一定是按比例绘制的)中,相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1A为本申请实施例提供的一种图像识别方法的实现流程示意图;
图1B为本申请实施例所提供的图像识别方法的应用场景示意图;
图2为本申请实施例提供的另一种图像识别方法的实现流程示意图;
图3为本申请实施例提供的再一种图像识别方法的实现流程示意图;
图4为本申请实施例提供的图像识别方法的应用场景示意图;
图5为本申请实施例所提供的图像识别装置的组成结构示意图;
图6为本申请实施例所提供的图像识别设备的组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
本申请实施例提供一种图像识别方法,能够获取用户的手势信息,根据该手势信息在获取的待识别图像中圈定目标区域,以实现仅对目标区域进行图像识别,从而提高识别的效率和识别的准确度,并排除目标区域之外的其他区域中的对象,对待识别目标对象的识别过程产生影响。
图1A为本申请实施例提供的一种图像识别方法的实现流程示意图,本申请实施例提供的图像识别方法应用于具备图像识别功能的电子设备,或者应用于具备图像采集功能的电子设备。通过具备图像识别功能的电子设备实现所述图像识别方法,或者通过具有图像采集功能的电子设备对待识别图像进行采集,再将采集到的待识别图像发送给第三方的服务器,进而由第三方的服务器对所述待识别图像进行识别,以实现所述图像识别方法。如图1A所示,所述方法包括以下步骤:
步骤S101,获取待识别图像。
这里,可以通过图像识别设备获取待识别图像,其中,所述图像识别设备可以为终端,也可以为服务器。
当所述图像识别设备为终端时,则所述终端可以为AR眼镜或者任意一种具备图像识别功能的设备。这里以所述终端为AR眼镜为例进行说明,本实施例中,可以通过所述AR眼镜上所设置的图像采集单元获取待识别图像。
当所述图像识别设备为第三方的服务器时,此时,服务器获取到的待识别图像可以是其他电子设备所采集并发送的。
所述待识别图像中包括待识别的目标对象,或者,所述待识别图像中除了包括所述目标对象之外还包括其他非目标对象,所述非目标对象与所述目标对象不同,且所述非目标对象在图像识别过程中,会对图像识别的准确性产生影响。
步骤S102,基于所述待识别图像获取手势信息。
这里,图像识别设备基于所述待识别图像获取手势信息。
当所述图像识别设备为终端时,这里同样以所述终端为AR眼镜为例进行说明,所述AR眼镜上所设置的图像采集单元获取手势信息。
当所述图像识别设备为第三方的服务器时,服务器获取其他电子设备基于所述待识别图像所采集并发送的手势信息。
本申请实施例中,所述手势信息与所述待识别图像对应,所述手势信息是根据所述待识别图像所确定的,所述手势信息用于在所述待识别图像上圈定一确定的区域,且所述手势信息可以为用户的手势信息。
步骤S103,根据所述手势信息确定所述待识别图像的目标区域。
这里,可以将所述手势信息在所述待识别图像上所圈定的区域确定为所述目标区域,所述目标区域中包括待识别的目标对象。所述手势信息在所述待识别图像上所圈定的区域小于所述待识别图像所对应的全部区域。
步骤S104,对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
这里,在对所述目标区域进行识别时,是对所述待识别图像的目标区域的图像进行识别。其中,所述识别过程可以包括对所述目标区域的图像所进行的特征提取过程和特征分析过程,通过特征提取获取到特征信息之后,对特征信息进行特征分析以识别所述图像中的目标对象。在特征提取过程中,可以获取所述目标对象的特征信息,例如,轮廓、形状、颜色等任意一种或多种特征信息;在特征分析过程中,可以采用预设的图像识别模型,将所述特征信息输入至图像识别模型中进行特征信息匹配,根据匹配结果得到所述目标对象的识别结果。
本申请实施例中,确定所述待识别图像的目标区域中的目标对象,可以是选择出所述目标对象,例如,所述目标区域中如果仅包括一个物体A,则选择出物体A作为所述目标对象;或者,也可以是确定所述目标对象的信息,其中,所述目标对象的信息包括但不限于以下至少之一:类型、名称、属性。例如,所述目标区域中如果仅包括一个物体B,如果所述物体B为一个苹果,则确定出目标对象的类型为苹果,如果所述物体B为一片树叶,则确定出目标对象的类型为树叶;或者,如果所述物体B为树木,例如,枫树,则确定出目标对象的名称为枫树;或者,如果所述物体B为房屋,则确定出所述目标对象的属性为建筑物。
图1B为本申请实施例所提供的图像识别方法的应用场景示意图,如图1B所示,这里以所述图像识别设备为具备图像识别功能的AR眼镜为例进行说明:用户佩戴AR眼镜101进行安装操作,AR眼镜101获取操作台102的图像(即待识别图像),由于用户想要对操作台102上的工件103进行识别,因此,可以通过手势信息圈定工件103,此时,AR眼镜101则可以获取用户的手势信息,并根据手势信息确定图像中的目标区域104,对目标区域104进行识别,以识别出目标区域104中的工件103。在识别出工件103之后,可以在AR眼镜101的显示区域显示所述工件103的信息(例如,工件的名称、类型、安装需知等信息),以供用户参考。这样,就实现了用户在安装操作过程中,可以通过佩戴的AR眼镜进行图像识别,以确定要安装的工件,实现快速定位安装位置并确定安装操作,实现对工件的准确安装。
本申请实施例提供的图像识别方法,获取待识别图像;基于待识别图像获取手势信息;根据所述手势信息确定所述待识别图像的目标区域;对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。如此,由于通过手势信息在待识别图像中明确目标对象所属的目标区域,从而仅对该目标区域进行识别,能够排除所述目标区域之外的其他区域中的对象对所述目标对象识别过程的影响,从而能够提高识别的效率和识别的准确度。
在一些实施例中,当上述步骤S102基于所述待识别图像获取手势信息是由AR眼镜实现时,还可以通过以下步骤实现:
步骤S1021,基于所述待识别图像,获取操作体在预设时间段内的移动轨迹。
这里,所述操作体可以为用户的手指、用户手持的操作工具、带3D空间信息的画笔等任意一种。
本申请实施例中,在预设时间段内,如果所述AR眼镜检测到操作体发生移动时,开始获取所述操作体的移动轨迹。也就是说,在所述AR眼镜获取到待识别图像之后,所述AR眼镜确定其识别区域内是否存在发生移动的操作体,如果存在,获取所述操作体的移动轨迹。
需要说明的是,本申请实施例中的操作体的移动轨迹是基于所述待识别图像的,也就是说,所述移动轨迹可以投影到所述待识别图像中,所述操作体的移动轨迹在所述AR眼镜的识别区域内,其中,所述AR眼镜的识别区域是指与所述AR眼镜的图像采集单元的取景器对应的区域。
步骤S1022,根据所述移动轨迹确定所述手势信息。
这里,当获取到操作体的移动轨迹之后,将所述移动轨迹确定为所述手势信息。
在一些实施例中,上述步骤S103根据所述手势信息确定所述待识别图像的目标区域,还可以通过以下步骤实现:
步骤S1031,当所述移动轨迹映射到所述待识别图像中的轨迹为闭合轨迹时,将所述闭合轨迹在所述待识别图像中所圈定的区域,确定为所述目标区域。
这里,所映射的轨迹可以为任意一种闭合形状,例如,所述闭合形状可以为圆形、椭圆、三角形、正方形等任意一种规则形状,或者,也可以为任意一种不规则的闭合形状。
本申请实施例中,当所映射的轨迹为闭合轨迹时,将闭合轨迹在待识别图像中圈定的区域确定为所述目标区域。在实现的过程中,由于操作体是在AR眼镜与目标对象所在的位置之间的任意区域进行移动,因此,可以将操作体的移动轨迹垂直映射到目标对象所在的平面,其中,目标对象所在的平面与所述待识别图像所在的平面为同一平面。然后将根据映射到目标对象所在的平面的轨迹确定为所述闭合轨迹,并根据该闭合轨迹确定目标区域。
本申请实施例中,操作体的移动轨迹可以为闭合移动轨迹,也可以为非闭合移动轨迹,但是所述操作体的移动轨迹映射到待识别图像中的轨迹为闭合轨迹。
举例来说,当所述操作体的移动轨迹所在的平面与所述目标对象所在的平面平行时,所述操作体的移动轨迹为闭合移动轨迹,且所述操作体的移动轨迹映射到待识别图像中的轨迹对应的闭合形状,与所述操作体的移动轨迹对应的闭合形状相同。当所述操作体的移动轨迹所在的平面与所述目标对象所在的平面具有第一夹角时,所述操作体的移动轨迹可以为闭合移动轨迹,也可以为非闭合移动轨迹,且所述操作体的移动轨迹映射到待识别图像中的轨迹可以为任意一种闭合形状,其中,第一夹角大于0度且小于90度。
步骤S1032,当所述移动轨迹映射到所述待识别图像中的轨迹为非闭合轨迹时,根据所述非闭合轨迹,确定目标参考点。
这里,所映射的轨迹可以为任意一种非闭合形状,例如,直线、曲线、折线等任意一种非闭合形状。
本申请实施例中,操作体的移动轨迹可以为闭合移动轨迹,也可以为非闭合移动轨迹,但是所述操作体的移动轨迹映射到待识别图像中的轨迹为非闭合轨迹。
举例来说,当所述操作体的移动轨迹所在的平面与所述目标对象所在的平面垂直时,所述操作体的移动轨迹可以为闭合移动轨迹,也可以为非闭合移动轨迹,且所述操作体的移动轨迹映射到待识别图像中的轨迹均为一条直线。当所述操作体的移动轨迹所在的平面与所述目标对象所在的平面具有第二夹角时,所述操作体的移动轨迹为非闭合移动轨迹,且所述操作体的移动轨迹映射到待识别图像中的轨迹为任意一种非闭合形状,其中,第二夹角大于等于0度且小于90度。
本申请实施例中,根据所述非闭合轨迹,确定目标参考点,可以为将所述非闭合轨迹上满足预设条件的点确定为目标参考点,或者,将所述非闭合轨迹的任意一侧区域内满足预设条件的点确定为目标参考点。
举例来说,当所述非闭合轨迹为一直线时,可以将该直线的中点确定为所述目标参考点;当所述非闭合轨迹为一弧线时,将该弧线的圆心确定为所述目标参考点。
步骤S1033,将以所述目标参考点为中心,且具有预设尺寸参数的区域,确定为所述目标区域。
这里,所述预设尺寸参数可以为预设半径、预设对角线长度、预设边长等任意一种尺寸参数。所述目标区域可以为以目标参考点为圆心,具有预设半径的圆形,或者,所述目标区域可以为以目标参考点为中心,具有预设对角线长度或者预设边长的长方形或者正方形。
图2为本申请实施例提供的另一种图像识别方法的实现流程示意图,如图2所示,所述方法包括以下步骤:
步骤S201,第一电子设备采集待识别图像。
这里,所述第一电子设备对应上述AR眼镜。本实施例中,可以通过第一电子设备的图像采集单元采集所述待识别图像。
步骤S202,第一电子设备基于所述待识别图像获取手势信息。
这里,通过第一电子设备的图像采集单元获取所述手势信息。
步骤S203,第一电子设备将所述待识别图像和所述手势信息发送给服务器。
本申请实施例中,所述第一电子设备可以具备图像识别功能,也可以不具备图像识别功能。当所述第一电子设备需要第三方的服务器来对待识别图像进行识别,或者第一电子设备不具备图像识别功能时,均可将所获取的待识别图像和手势信息发给服务器,以使服务器实现对所述待识别图像的识别。
步骤S204,服务器根据所述手势信息确定所述待识别图像的目标区域。
这里,服务器可以通过以下步骤确定目标区域:
步骤S2041,服务器确定操作体在预设时间段内的移动轨迹。
步骤S2042,服务器将所述移动轨迹映射到所述待识别图像中。
步骤S2043,当所述移动轨迹映射到所述待识别图像中的轨迹为闭合轨迹时,服务器将所述闭合轨迹在所述待识别图像中所圈定的区域,确定为所述目标区域。
步骤S2044,当所述移动轨迹映射到所述待识别图像中的轨迹为非闭合轨迹时,服务器根据所述非闭合轨迹,确定目标参考点;将以所述目标参考点为中心,且具有预设尺寸参数的区域,确定为所述目标区域。
步骤S205,服务器对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
步骤S206,服务器将所识别的目标对象发送给第一电子设备。
本申请实施例提供的图像识别方法,第一电子设备获取到待识别图像和手势信息之后,将待识别图像和手势信息发送给服务器,通过服务器对所述待识别图像进行识别,以确定所述待识别图像的目标区域中的目标对象,从而实现第三方的服务器与第一电子设备配合完成对目标对象的识别,为用户提供更多的可选图像识别方案,提高用户体验。
图3为本申请实施例提供的再一种图像识别方法的实现流程示意图,如图3所示,所述方法包括以下步骤:
步骤S301,第二电子设备采集待识别图像。
这里,所述第二电子设备可以是与第一电子设备相同的电子设备,也可以是与第一电子设备不同的电子设备,且第二电子设备具有图像采集功能,例如,所述第一电子设备和第二电子设备均可以为AR眼镜。
步骤S302,第二电子设备将所采集的所述待识别图像发送给第一电子设备。
步骤S303,第一电子设备基于所述待识别图像获取手势信息。
这里,所述手势信息与所述待识别图像对应,所述手势信息是根据所述待识别图像所确定的,所述手势信息用于在所述待识别图像上圈定一确定的区域,且所述手势信息可以为用户的手势信息。
需要说明的是,在其他实施例中,所述手势信息也可以是第一电子设备接收第二电子设备发送的手势信息,那么,在步骤S301之后,所述方法还包括以下步骤:
步骤S3031,第二电子设备基于所述待识别图像获取手势信息。
步骤S3032,第二电子设备将所述手势信息发送给第一电子设备。
本实施例中,由于是第二电子设备获取手势信息,并将所获取的手势信息发送给第一电子设备,因此,第一电子设备在接收到所述手势信息之后,即可执行步骤S304,而无需再基于待识别图像获取手势信息。
步骤S304,第一电子设备将所述待识别图像和所述手势信息发送给服务器。
本申请实施例中,所述第一电子设备可以具备图像识别功能,也可以不具备图像识别功能。第一电子设备将待识别图像和手势信息发送给服务器,以通过服务器进行图像识别处理。
步骤S305,服务器根据所述手势信息确定所述待识别图像的目标区域。
步骤S306,服务器对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
步骤S307,服务器将所识别的目标对象发送给第一电子设备和/或第二电子设备。
需要说明的是,在其他实施例中,步骤S305至S306的处理过程也可以由第一电子设备来执行,此时,所述第一电子设备具有图像识别功能。那么,也就是说,在步骤S303之后,则由第一电子设备执行步骤S305至S306,而无需将待识别图像和手势信息再发送给服务器。
图4为本申请实施例提供的图像识别方法的应用场景示意图,请参照图4,下面对本申请实施例对应的几种不同应用场景进行说明:
场景一:用户A戴着一个AR眼镜41(即第一电子设备),用户B戴着另一个AR眼镜42(即第二电子设备),用户B通过AR眼镜42获取待识别图像之后,通过AR眼镜41将待识别图像发给用户A佩戴的AR眼镜41,用户A确定好要识别的目标区域后,通过手指(即操作体)在空中画圈,以圈定待识别的目标对象,则AR眼镜41即可获取用户A的手势信息,并根据该手势信息确定目标区域,AR眼镜41对目标区域进行识别,以确定目标区域中的目标对象。
场景二:用户A戴着一个AR眼镜41,用户B戴着另一个AR眼镜42,用户B通过AR眼镜42获取待识别图像之后,通过AR眼镜42将待识别图像发给用户A佩戴的AR眼镜41,同时,用户B确定好要识别的目标区域后,通过手指在空中画圈,以圈定待识别的目标对象,AR眼镜42获取用户B的手势信息,并将用户B的手势信息发送给AR眼镜41,以向用户A告知用户B想要识别的目标区域。在AR眼镜41获取到手势信息之后,根据该手势信息确定目标区域,AR眼镜41对目标区域进行识别,以确定目标区域中的目标对象。
场景三:用户A戴着一个AR眼镜41,用户B戴着另一个AR眼镜42,用户B通过AR眼镜42获取待识别图像之后,通过AR眼镜42将待识别图像发给用户A佩戴的AR眼镜41;用户A确定好要识别的目标区域后,通过手指在空中画圈,以圈定待识别的目标对象,则AR眼镜41即可获取用户A的手势信息;然后,AR眼镜41将所获取的待识别图像和手势信息发送给服务器,服务器根据该手势信息确定目标区域,并对目标区域进行识别,以确定目标区域中的目标对象。
在一些实施例中,在对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象之后,所述方法还包括:
步骤S310,获取所述目标对象与第一电子设备之间的相对位置信息。
这里,可以通过预先构建的三维(Three Dimensional,3D)地图来获取所述相对位置信息,那么,在解释本申请实施例之前,首先提供一种构建3D地图的方法,包括以下步骤:
步骤S3101,第一电子设备在所述目标对象所在的特定空间内,以所述第一电子设备当前所处位置为初始坐标原点,获取至少一个物体与所述第一电子设备当前所处位置之间的第一相对坐标。
这里,所述特定空间中包括有所述目标对象,例如,当所述目标对象为一台机床时,所述特定空间可以为包括该机床的一个车间的空间,或者,当所述目标对象为一张床时,所述特定空间可以为包括该床的一个房间的空间。
本实施例中,所述相对坐标可以为二维坐标,也可以为三维坐标。
需要说明的是,是在最开始建立3D地图的时候,获取第一电子设备当前所处位置,以所述第一电子设备当前所处位置为初始坐标原点,获取至少一个物体与所述第一电子设备当前所处位置之间的相对坐标;而在进一步确定所述特定空间内的其他物体的位置时,所选择的坐标原点可以不是所述第一电子设备当前所处的位置。如此,可以实现第一电子设备通过逐渐移动,以任意一个未知位置作为参考来逐步构建3D地图。
步骤S3102,以已确定相对坐标的任一物体为参照物,获取其他物体相对于所述参照物的第二相对坐标。
这里,步骤S3102与步骤S3101中的参考点不同,也就是说,步骤S3101中是以第一电子设备当前所处位置为参考点,确定第一相对坐标;而步骤S3102中,则是以已经确定了相对坐标的任意一个物体所在的位置为参考点,计算其他物体相对于所述任意一个物体所在的位置的相对距离。
其中,所述相对坐标可以是一个物体相对于第一电子设备当前所处位置的相对坐标,也可以是两个物体之间的相对坐标。
本申请实施例中,通过步骤S3101至步骤S3102,可以实现从第一电子设备当前所处位置出发,逐步确定每一物体相对于其他物体之间的相对坐标。
步骤S3103,根据所述特定空间内全部物体之间的所述相对坐标,为所述特定空间构建3D地图。
这里,通过整合所述特定空间内的全部物体之间的相对坐标,确定每一物体的实际位置,根据每一物体的实际位置构建该特定空间的3D地图。
本申请实施例中,在进行图像识别之前,第一电子设备可以通过从所述特定空间的任意一个未知位置(即初始坐标原点)开始移动,在移动的过程中根据位置的移动距离对自身进行定位,确定自身的坐标,同时在定位的基础上构建增量式地图,以实现第一电子设备或者操作体的自主定位和导航。
当然,在其他实施例中,构建3D地图的过程也可以由一带有3D空间信息的画笔(即操作体)来执行,该画笔与所述第一电子设备之间能够通信,能够将3D地图的数据信息发送给第一电子设备,进而使得第一电子设备可以根据3D地图确定目标对象与第一电子设备之间的相对位置信息。
在构建好所述3D地图之后,即可根据所述3D地图,获取所述目标对象与第一电子设备之间的相对位置信息。例如,所述第一电子设备可以具有全球定位系统(GlobalPositioning System,GPS)定位功能,这样可以确定第一电子设备当前的位置信息,然后,基于该3D地图,获取所述目标对象相对于第一电子设备当前的位置信息的相对坐标,根据所述相对坐标即可确定所述相对位置信息。其中,所述相对位置信息包括所述第一电子设备与所述目标对象之间的距离值。
需要说明的是,本申请实施例中,可以是第一电子设备根据所述3D地图确定相对位置信息,也可以是服务器根据所述3D地图确定相对位置信息。
在其他实施例中,所述第一电子设备的图像采集单元可以为RGB深度摄像头(RedGreen Blue Depth,RGBD),通过RGBD摄像头可以在拍摄待识别图像时,即可确定待识别图像上每一物体的深度信息,那么,在确定出目标对象之后,所述目标对象的深度信息也就是已知的,从而可以根据RGBD摄像头所获取的目标对象的深度信息直接确定出所述相对位置信息。
步骤S311,根据所述相对位置信息,确定所述目标对象的聚焦参数。
这里,根据所述第一电子设备与所述目标对象之间的距离值,确定目标对象的聚焦参数。这样,由于已知所述第一电子设备与所述目标对象之间的距离值,因此,可以确定出最适宜拍摄目标对象的聚焦参数,从而根据该聚焦参数获取目标对象的目标图像时,能够获得更加清晰的图像。
步骤S312,根据所述聚焦参数,获取所述目标对象的目标图像。
在其他实施例中,如果所述待识别图像是第一电子设备接收第二电子设备所发送的,则所述方法还包括:
步骤S313,将所述目标图像发送给所述第二电子设备。
本申请实施例提供的图像识别方法,通过预先构建的3D地图,获取目标对象与第一电子设备之间的相对位置信息,并根据所述相对位置信息,确定目标对象的聚焦参数,以该聚焦参数获取目标对象的目标图像。如此,能够获取更加清晰的目标图像。
基于以上实施例,本申请实施例再提供一种图像识别方法,所述方法借助AR眼镜的同步定位与建图(Simultaneous Localization and Mapping,SLAM)功能,以及带3D空间信息的画笔,使用画笔在空中所画出的手势圈定AR眼镜要识别的区域,使AR眼镜的摄像头对焦在画笔圈定区域,并且AR眼镜的识别算法只分析圈定区域,排除提取的非识别区域对识别的干扰,从而达到提升识别率和识别速度的效果。
本申请实施例提供的图像识别方法,当识别环境较复杂时,AR眼镜的摄像头捕获并识别目标区域的图像,结合SLAM功能,通过空中手势移动画出带3D信息的画笔;通过空中手势圈定要识别的目标区域;由于带3D信息的画笔附带深度信息,摄像头可对焦至圈定的目标区域里的目标对象,使得目标对象的图像更清晰;并且,识别算法只识别目标区域的图像,其他区域不做分析识别,从而达到提升识别率的目的。
基于前述的实施例,本申请实施例提供一种图像识别装置,该装置包括所包括的各模块、以及各模块所包括的各部件,可以通过图像识别设备中的处理器来实现;当然也可通过逻辑电路实现;在实施的过程中,处理器可以为中央处理器(Central ProcessingUnit,CPU)、微处理器(Micro Processor Unit,MPU)、数字信号处理器(Digital SignalProcessing,DSP)或现场可编程门阵列(FieldProgrammable Gate Array,FPGA)等。
图5为本申请实施例所提供的图像识别装置的组成结构示意图,如图5所示,该电子图像识别500包括:
第一获取单元501,用于获取待识别图像;
第二获取单元502,用于基于所述待识别图像获取手势信息;
第一确定单元503,用于根据所述手势信息确定待识别图像的目标区域;
识别单元504,用于对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
在其他实施例中,所述第二获取单元包括:
获取模块,用于基于所述待识别图像,获取操作体在预设时间段内的移动轨迹;第一确定模块,用于根据所述移动轨迹确定所述手势信息。
在其他实施例中,所述第一确定单元包括:第二确定模块,用于当所述移动轨迹映射到所述待识别图像中的轨迹为闭合轨迹时,将所述闭合轨迹在所述待识别图像中所圈定的区域,确定为所述目标区域。
在其他实施例中,所述第一确定单元包括:
第三确定模块,用于当所述移动轨迹映射到所述待识别图像中的轨迹为非闭合轨迹时,根据所述非闭合轨迹,确定目标参考点;第四确定模块,用于将以所述目标参考点为中心,且具有预设尺寸参数的区域,确定为所述目标区域。在其他实施例中,所述第一获取单元包括:
采集模块,用于采集所述待识别图像,或者,
接收模块,用于接收第二电子设备发送的所述待识别图像。
在其他实施例中,所述装置还包括:
发送单元,用于将所述待识别图像和所述手势信息发送给服务器,以使得服务器根据所述手势信息确定所述待识别图像的目标区域,并对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
在其他实施例中,所述装置还包括:
第三获取单元,用于获取所述目标对象与所述第一电子设备之间的相对位置信息;
第二确定单元,用于根据所述相对位置信息,确定所述目标对象的聚焦参数;
第四获取单元,用于根据所述聚焦参数,获取所述目标对象的目标图像。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的图像识别方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应的,本申请实施例提供一种图像识别设备,图6为本申请实施例所提供的图像识别设备的组成结构示意图,如图6所示,所述图像识别设备600至少包括:处理器601、通信接口602和配置为存储可执行指令的存储介质603,其中处理器601通常控制所述图像识别设备的总体操作。
通信接口602可以使所述图像识别设备通过网络与其他终端或服务器通信。
存储介质603配置为存储由处理器601可执行的指令和应用,还可以缓存待处理器601和所述图像识别设备600中各模块待处理或已处理的数据,可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器、磁碟或者光盘等各种可以存储程序代码的介质。或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台终端执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像识别方法,包括:
获取待识别图像;
基于所述待识别图像获取手势信息;所述手势信息至少包括操作体的移动轨迹;
当所述移动轨迹所在平面与所述待识别图像所在平面存在夹角时,将所述移动轨迹映射到所述待识别图像中,得到映射后的轨迹;
当所述映射后的轨迹为非闭合轨迹时,根据非闭合轨迹,确定目标参考点;将以所述目标参考点为中心,且具有预设尺寸参数的区域,确定为目标区域;对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
2.根据权利要求1所述的方法,所述基于所述待识别图像获取手势信息,包括:
基于所述待识别图像,获取操作体在预设时间段内的移动轨迹;
根据所述移动轨迹确定所述手势信息。
3.根据权利要求1所述的方法,所述方法还包括:
当所述映射后的轨迹为闭合轨迹时,将所述闭合轨迹在所述待识别图像中所圈定的区域,确定为所述目标区域。
4.根据权利要求1所述的方法,所述获取待识别图像,包括:
通过第一电子设备采集所述待识别图像,或者,第一电子设备接收第二电子设备发送的所述待识别图像。
5.根据权利要求4所述的方法,还包括:
将所述待识别图像和所述手势信息发送给服务器,以使得服务器根据所述手势信息确定所述待识别图像的目标区域,并对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
6.根据权利要求4或5所述的方法,在对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象之后,所述方法还包括:
获取所述目标对象与所述第一电子设备之间的相对位置信息;
根据所述相对位置信息,确定所述目标对象的聚焦参数;
根据所述聚焦参数,获取所述目标对象的目标图像。
7.一种图像识别装置,包括:
第一获取单元,用于获取待识别图像;
第二获取单元,用于基于所述待识别图像获取手势信息;所述手势信息至少包括操作体的移动轨迹;
映射单元,用于当所述移动轨迹所在平面与所述待识别图像所在平面存在夹角时,将所述移动轨迹映射到所述待识别图像中,得到映射后的轨迹;
第一确定单元,用于当所述映射后的轨迹为非闭合轨迹时,根据非闭合轨迹,确定目标参考点;将以所述目标参考点为中心,且具有预设尺寸参数的区域,确定为目标区域;
识别单元,用于对所述待识别图像的目标区域进行识别,以确定所述待识别图像的目标区域中的目标对象。
8.一种图像识别设备,所述设备至少包括:处理器和配置为存储可执行指令的存储介质,其中:所述处理器配置为执行存储的可执行指令;
所述可执行指令配置为执行上述权利要求1至6任一项所提供的图像识别方法。
9.一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令配置为执行上述权利要求1至6任一项所提供的图像识别方法。
CN201910394985.3A 2019-05-13 2019-05-13 一种图像识别方法、装置、设备及存储介质 Active CN110276251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910394985.3A CN110276251B (zh) 2019-05-13 2019-05-13 一种图像识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910394985.3A CN110276251B (zh) 2019-05-13 2019-05-13 一种图像识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110276251A CN110276251A (zh) 2019-09-24
CN110276251B true CN110276251B (zh) 2023-07-25

Family

ID=67959833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910394985.3A Active CN110276251B (zh) 2019-05-13 2019-05-13 一种图像识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110276251B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288881B (zh) * 2020-10-30 2023-01-20 北京市商汤科技开发有限公司 一种图像展示方法、装置、计算机设备和存储介质
CN112486394A (zh) * 2020-12-17 2021-03-12 南京维沃软件技术有限公司 信息处理方法、装置、电子设备及可读存储介质
CN117121478A (zh) * 2021-04-09 2023-11-24 三星电子株式会社 包括多个相机的可穿戴电子装置
CN113936338A (zh) * 2021-12-15 2022-01-14 北京亮亮视野科技有限公司 手势识别方法、装置及电子设备
CN116301361A (zh) * 2023-03-08 2023-06-23 百度在线网络技术(北京)有限公司 基于智能眼镜的目标选择方法、装置和电子设备
CN116627260A (zh) * 2023-07-24 2023-08-22 成都赛力斯科技有限公司 一种隔空操作方法、装置、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US10482670B2 (en) * 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
US9678642B2 (en) * 2015-05-29 2017-06-13 Lexmark International, Inc. Methods of content-based image area selection
CN105651300A (zh) * 2015-11-30 2016-06-08 东莞酷派软件技术有限公司 一种信息获取方法及电子设备
CN106125932A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实中目标对象的识别方法、装置及移动终端
US11002855B2 (en) * 2016-12-27 2021-05-11 Microvision, Inc. Occlusion-based height estimation
CN107920211A (zh) * 2017-12-28 2018-04-17 深圳市金立通信设备有限公司 一种拍照方法、终端及计算机可读存储介质
CN108833795B (zh) * 2018-08-29 2020-06-19 北京七鑫易维信息技术有限公司 一种图像获取设备的对焦方法及装置

Also Published As

Publication number Publication date
CN110276251A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN110276251B (zh) 一种图像识别方法、装置、设备及存储介质
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
CN112797897B (zh) 物体几何参数的测量方法、装置和终端
CN111198608B (zh) 信息提示方法、装置、终端设备及计算机可读取存储介质
EP2996067A1 (en) Method and device for generating motion signature on the basis of motion signature information
CN104102335A (zh) 一种手势控制方法、装置和系统
CN108733419A (zh) 智能设备的持续唤醒方法、装置、智能设备和存储介质
CN110276774B (zh) 物体的绘图方法、装置、终端和计算机可读存储介质
CN108174152A (zh) 一种目标监控方法及目标监控系统
CN109697444B (zh) 基于深度图像的对象识别方法及装置、设备、存储介质
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、系统和智能机器
CN111310667A (zh) 确定标注是否准确的方法、装置、存储介质与处理器
CN111476894A (zh) 三维语义地图构建方法、装置、存储介质及电子设备
CN112818925A (zh) 一种城市建筑和树冠识别方法
CN111383263A (zh) 机器人抓取物体系统、方法及装置
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN111291646A (zh) 一种人流量统计方法、装置、设备及存储介质
US11227407B2 (en) Systems and methods for augmented reality applications
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
WO2021093703A1 (zh) 基于光通信装置的交互方法和系统
US11436818B2 (en) Interactive method and interactive system
CN110765926B (zh) 图画书识别方法、装置、电子设备和存储介质
CN110391831A (zh) 一种建立波束连接的方法、装置及电子设备
CN107802468B (zh) 导盲方法及导盲系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant