CN111626084A - 信息标注方法、装置、设备、系统、介质及电子设备 - Google Patents

信息标注方法、装置、设备、系统、介质及电子设备 Download PDF

Info

Publication number
CN111626084A
CN111626084A CN201910150959.6A CN201910150959A CN111626084A CN 111626084 A CN111626084 A CN 111626084A CN 201910150959 A CN201910150959 A CN 201910150959A CN 111626084 A CN111626084 A CN 111626084A
Authority
CN
China
Prior art keywords
image
feature vector
information
region
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910150959.6A
Other languages
English (en)
Inventor
刘武
梅涛
赵何
刘鑫辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910150959.6A priority Critical patent/CN111626084A/zh
Publication of CN111626084A publication Critical patent/CN111626084A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供了一种信息标注方法、信息标注装置、图像采集设备、信息标注系统、计算机可读介质及电子设备,涉及计算机技术领域。该方法包括:确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象在第一图像和第二图像中的呈现角度不同;在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。实施本发明实施例的技术方案能够一定程度上克服人工成本较高的问题,提升信息标注效率。

Description

信息标注方法、装置、设备、系统、介质及电子设备
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种信息标注方法、信息标注装置、图像采集设备、信息标注系统、计算机可读介质及电子设备。
背景技术
随着互联网科技的不断发展,越来越多的商场向用户提供商品自动结算台,以便用户在选购结束时通过商品自动结算台完成自动结算。相较传统的人工商品结算,商品自动结算台能够通过识别商品的外观进而快速且准确的完成商品结算。
目前,大多数商场是通过人工录入的方式将商品信息标注在与其对应的商品图像上并录入数据库中,以便商品自动结算台根据数据库中的商品信息和商品图像对用户选购的商品进行自动结算。但是,人工录入的过程中需要耗费较多的人力资源,进而会导致人工成本较高的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种信息标注方法、信息标注装置、图像采集设备、信息标注系统、计算机可读介质及电子设备,进而至少在一定程度上克服人工成本较高的问题,提升信息标注效率。
本发明实施例的第一方面提供了一种信息标注方法,包括:确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象在第一图像和第二图像中的呈现角度不同;在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
在本发明的一种示例性实施例中,确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量,包括:确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量;其中,第一区域为从第一图像中确定出的包含对象的第一区域,第一区域小于第一图像对应的区域;第二区域为从第二图像中确定出的包含对象的第二区域,第二区域小于第二图像对应的区域。
在本发明的一种示例性实施例中,信息标注方法还包括:对第一图像对应的深度图像和彩色图像分别进行对象识别,根据所有识别结果从第一图像中确定出包含对象的第一区域。
在本发明的一种示例性实施例中,对第一图像对应的深度图像进行对象识别,包括:对第一图像对应的深度图像进行灰度处理,将灰度处理后的深度图像进行二值化处理;对二值化处理后的深度图像进行边缘检测,根据边缘检测结果确定对象的第一包围盒信息。
在本发明的一种示例性实施例中,将灰度处理后的深度图像进行二值化处理,包括:对灰度处理后的深度图像去噪;将去噪后的深度图像进行二值化处理。
在本发明的一种示例性实施例中,将灰度处理后的深度图像进行二值化处理,包括:根据灰度处理后的深度图像的灰度值分布确定灰度阈值;根据灰度阈值对灰度处理后的深度图像进行分割,以完成对灰度处理后的深度图像的二值化处理。
在本发明的一种示例性实施例中,对第一图像对应的彩色图像进行对象识别,包括:对第一图像对应的彩色图像进行预处理;其中,预处理包括归一化处理和/或颜色处理;根据预处理后的彩色图像确定对象的第二包围盒信息。
在本发明的一种示例性实施例中,根据所有识别结果从第一图像中确定出包含对象的第一区域,包括:根据第一包围盒信息和第二包围盒信息,从第一图像中确定出包含对象的第一区域。
在本发明的一种示例性实施例中,确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量,包括:通过特征嵌入神经网络将第一区域映射为第一特征向量,以及将第二区域映射为第二特征向量。
在本发明的一种示例性实施例中,信息标注方法还包括:如果第一特征向量与第二特征向量的相似度高于预设相似度,判定第二特征向量满足预置条件。
在本发明的一种示例性实施例中,信息标注方法还包括:将对象信息和第二区域作为对应关系进行保存。
根据本发明实施例的第二方面,提供一种信息标注装置,包括:特征向量确定单元,用于确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象在第一图像和第二图像中的呈现角度不同;信息标注单元,用于在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
在本发明的一种示例性实施例中,特征向量确定单元确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量的方式具体为:特征向量确定单元确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量;其中,第一区域为从第一图像中确定出的包含对象的第一区域,第一区域小于第一图像对应的区域;第二区域为从第二图像中确定出的包含对象的第二区域,第二区域小于第二图像对应的区域。
在本发明的一种示例性实施例中,信息标注装置还包括:对象识别单元,用于对第一图像对应的深度图像和彩色图像分别进行对象识别,根据所有识别结果从第一图像中确定出包含对象的第一区域。
在本发明的一种示例性实施例中,对象识别单元对第一图像对应的深度图像进行对象识别的方式具体为:对象识别单元对第一图像对应的深度图像进行灰度处理,将灰度处理后的深度图像进行二值化处理;对二值化处理后的深度图像进行边缘检测,根据边缘检测结果确定对象的第一包围盒信息。
在本发明的一种示例性实施例中,对象识别单元将灰度处理后的深度图像进行二值化处理的方式具体为:对象识别单元对灰度处理后的深度图像去噪;将去噪后的深度图像进行二值化处理。
在本发明的一种示例性实施例中,对象识别单元将灰度处理后的深度图像进行二值化处理的方式具体为:对象识别单元根据灰度处理后的深度图像的灰度值分布确定灰度阈值;根据灰度阈值对灰度处理后的深度图像进行分割,以完成对灰度处理后的深度图像的二值化处理。
在本发明的一种示例性实施例中,对象识别单元对第一图像对应的彩色图像进行对象识别的方式具体为:对象识别单元对第一图像对应的彩色图像进行预处理;其中,预处理包括归一化处理和/或颜色处理;根据预处理后的彩色图像确定对象的第二包围盒信息。
在本发明的一种示例性实施例中,对象识别单元根据所有识别结果从第一图像中确定出包含对象的第一区域的方式具体为:根据第一包围盒信息和第二包围盒信息,从第一图像中确定出包含对象的第一区域。
在本发明的一种示例性实施例中,特征向量确定单元确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量的方式具体为:特征向量确定单元通过特征嵌入神经网络将第一区域映射为第一特征向量,以及将第二区域映射为第二特征向量。
在本发明的一种示例性实施例中,信息标注装置还包括:相似度检测单元,用于检测第一特征向量与第二特征向量的相似度是否高于预设相似度;预置条件判定单元,用于在相似度检测单元检测到第一特征向量与第二特征向量的相似度高于预设相似度之后,判定第二特征向量满足预置条件。
在本发明的一种示例性实施例中,信息标注装置还包括:对应关系保存单元,用于将对象信息和第二区域作为对应关系进行保存。
根据本发明实施例的第三方面,提供了一种图像采集设备,包括对象角度调整装置以及拍摄装置,其中:对象角度调整装置,用于调整对象的呈现角度,以使得拍摄装置所拍摄的对象在第一图像和第二图像中的呈现角度不同;拍摄装置,用于拍摄包含对象的第一图像以及包含对象的第二图像,并向终端设备发送第一图像和第二图像,以使得终端设备根据第一图像对第二图像进行对象信息标注。
根据本发明实施例的第四方面,提供了一种信息标注系统,包括终端设备和图像采集设备,其中:图像采集设备,用于根据对象角度调整装置采集包含对象的第一图像以及包含对象的第二图像,并向终端设备发送第一图像和第二图像;其中,对象在第一图像和第二图像中的呈现角度不同;终端设备,用于在接收到由图像采集设备发送的第一图像和第二图像之后,确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
根据本发明实施例的第五方面,提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述实施例中第一方面所述的信息标注方法。
根据本发明实施例的第六方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现如上述实施例中第一方面所述的信息标注方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,可以确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象可以为待拍摄的商品,第一图像和第二图像分别为不同角度拍摄待拍摄的商品所得的图像。进而,在第二特征向量满足预置条件时,则为第二特征向量标注对象信息,即商品信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。依据上述方案描述,本发明一方面能够在一定程度上克服人工成本较高的问题,提升信息标注效率。另一方面,相较传统的主观性较强的人工标注对象信息,本申请中所公开的自动化标注对象信息能够提升对于对象信息的标注准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本发明实施例的信息标注方法的流程示意图;
图2示意性示出了根据本发明实施例的信息标注方法中对象识别过程的流程示意图;
图3示意性示出了根据本发明实施例的信息标注方法中对深度图像进行对象识别的流程示意图;
图4示意性示出了根据本发明实施例的信息标注方法中对彩色图像进行对象识别的流程示意图;
图5示意性示出了根据本发明实施例的另一种信息标注方法的流程示意图;
图6示意性示出了根据本发明实施例的图像采集设备的三视图;
图7示意性示出了根据本发明实施例的信息标注系统的交互示意图;
图8示意性示出了根据本发明实施例的信息标注装置的结构框图;
图9示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
请参阅图1,图1示意性示出了根据本发明实施例的信息标注方法的流程图,该信息标注方法可以由服务器或终端设备来实现。
如图1所示,根据本发明的一个实施例的信息标注方法,包括如下步骤S110和步骤S120,其中:
步骤S110:确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象在第一图像和第二图像中的呈现角度不同。
步骤S120:在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
以下对各步骤进行详细说明:
在步骤S110中,对象可以是待拍摄物品(如,商品),该待拍摄物品可以是一个或多个。此外,第一图像可以是以A视角拍摄的针对待拍摄物品的图像,第二图像可以是以B视角拍摄的针对待拍摄物品的图像;其中,A视角与B视角的拍摄角度不同,因此,第一图像中所呈现的待拍摄物品与第二图像中所呈现的待拍摄物品不同。另外,可选的,如果将摄像头拍摄的第一张图像作为第一图像,那么,摄像头拍摄的第二张图像则可以作为第二图像;如果将摄像头拍摄的第二张图像作为第一图像,那么,摄像头拍摄的第三张图像则可以作为第二图像,以此类推,第一图像与第二图像为摄像头拍摄的多张图像中相邻的两张图像。除此之外,第一图像与第二图像也可以是摄像头拍摄的多张图像中不相邻的两张图像,本发明实施例不作限定。
具体地,如果待拍摄物品的数量为一个,且将摄像头拍摄的第一张图像作为第一图像,那么,则将第一图像中所包含的待拍摄物品对应的特征向量作为第一特征向量;在摄像头拍摄第二张图像之前,乘放待拍摄物品的对象角度调整装置(如,转台)可以通过转动调整待拍摄物品的角度,以使得摄像头拍摄的第二张图像中的待拍摄物品与第一图像中的待拍摄物品的呈现角度不同。可选的,对象角度调整装置可以根据预设方向进行旋转(如,顺时针方向或逆时针方向),摄像头可以在对象角度调整装置每转动过预设角度时拍摄一次图像。如果将摄像头拍摄的第二张图像作为第二图像,那么,第二图像中所包含的待拍摄物品对应的特征向量则可以作为第二特征向量。如果待拍摄物品的数量为多个,那么,第一图像中则包含了多个待拍摄物品,待拍摄物品中每个物品在第一图像中均对应了一个特征向量,为了与第二图像中的特征向量作出区分,则将待拍摄物品在第一图像中对应的特征向量作为第一特征向量。如果摄像头在拍摄过程中不存在某一个物品被其他物品遮挡而导致没有被拍到的情况,则第一特征向量的数量与待拍摄物品的数量相等,以此类推,第二特征向量的数量也与待拍摄物品的数量相等。
在步骤S120中,如果待拍摄物品(即,对象)的数量为一个,那么,预置条件可以为第二特征向量与第一特征向量的相似度高于预设相似度,若第二特征向量满足上述预置条件,终端设备或服务器可以为第二特征向量标注对象信息,也可以理解为将对象信息与第二特征向量组成对应关系;其中,对象信息可以是待拍摄物品对应的商品信息,商品信息可以包括条码、商品名称、产地以及重量等与该待拍摄物品有关的信息中至少一种,本发明实施例不作限定。如果待拍摄物品的数量为多个,预置条件可以为,每个第二特征向量都存在一个与之相似度高于预设相似度的第一特征向量,如果第二特征向量满足预置条件,则为第二特征向量标注对象信息;其中,由于对象的数量为多个,因此,对象信息的数量也为多个。基于上述情况,为第二特征向量标注对象信息也可以理解为将每个第一特征向量对应的对象信息分别标注给与之相似度高于预设相似度的第二特征向量,进而完成对第二特征向量的信息标注。
本发明实施例中,可选的,预置条件还可以为:多个第二特征向量中存在目标第二特征向量,且多个第一特征向量中存在目标第一特征向量,目标第二特征向量与目标第一特征向量的相似度高于预设相似度。基于上述预置条件,第二特征向量中可能存在无对应的第一特征向量的特征向量,那么,在为第二特征向量标注对象信息时,存在对应的第一特征向量的第二特征向量(即,目标第二特征向量)有可以为其标注的对象信息,而不存在对应的第一特征向量的第二特征向量,服务器或终端设备为其标注的对象信息为空。
可见,实施图1所示的信息标注方法,能够根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
作为一种可选的实施方式,确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量,可以包括以下步骤:
确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量;其中,第一区域为从第一图像中确定出的包含对象的第一区域,第一区域小于第一图像对应的区域;第二区域为从第二图像中确定出的包含对象的第二区域,第二区域小于第二图像对应的区域。
本发明实施例中,第一区域可以为对象在第一图像中对应的包围盒区域,该区域的面积小于第一图像的面积;第二区域可以为对象在第二图像中对应的包围盒区域,该区域的面积小于第二图像的面积。在本方案的二维平面(即,图像)中,包围盒可以为包含对象的最小封闭区域,包围盒的形状可以为圆形或矩形,本发明实施例不作限定。
本发明实施例中,如果对象的数量为多个,那么,第一图像中则存在多个第一区域,即每个对象对应一个第一区域,同理,第二图像中也存在多个第二区域,即每个对象对应一个第二区域。
可见,实施该可选的实施方式,能够将包含对象的图像缩小至包含对象的最小封闭区域,这样能够提高将第一区域和第二区域映射为特征向量的映射效率,进而提升信息标注效率。
作为另一种可选的实施方式,信息标注方法还可以包括以下步骤:对第一图像对应的深度图像和彩色图像分别进行对象识别,根据所有识别结果从第一图像中确定出包含对象的第一区域。
本发明实施例中,可选的,还可以包括以下步骤:
对第二图像对应的深度图像和彩色图像分别进行对象识别,根据所有识别结果从第二图像中确定出包含对象的第二区域。
本发明实施例中,通过摄像头采集第一图像和第二图像,其中,摄像头可以为深度摄像头。深度摄像头拍摄的第一图像存在与其对应的深度图像和彩色图像,深度摄像头拍摄的第二图像也存在与其对应的深度图像和彩色图像;其中,终端设备或服务器可以从深度图像中确定出对象的深度信息。
本发明实施例中,针对深度图像进行的对象识别对应一个识别结果,该识别结果可以为对象在深度图像中的包围盒区域,针对彩色图像进行的对象识别也可以对应一个识别结果,该识别结果可以为对象在彩色图像中对应的包围盒区域。根据上述所有识别结果可以从第一图像中确定出包含对象的第一区域。举例来说,对象在彩色图像中对应的包围盒区域可能小于/大于/等于对象在深度图像中的包围盒区域,那么,将两个包围盒区域映射在第一图像中,两个包围盒区域的交集区域可以作为第一区域。
可见,实施该可选的实施方式,能够通过对彩色图像和深度图像中对象的识别,确定出对象在图像中的所在区域,提高了对于对象所在区域的判定准确率,进而提升信息标注的准确性。
请参参阅图2,图2示意性示出了根据本发明实施例的信息标注方法中对象识别过程的流程示意图。如图2所示,对象识别过程包括步骤S210、步骤S220、步骤S230、步骤S240、步骤S250、步骤S260、步骤S270以及步骤S280,其中:
步骤S210:图像采集。
步骤S220:获得深度图像。
步骤S230:获得彩色图像。
步骤S240:对深度图像进行对象识别。
步骤S250:对彩色图像进行对象识别。
步骤S260:获得子识别结果1。
步骤S270:获得子识别结果2。
步骤S280:获得识别结果。
本发明实施例中,终端设备或服务器可以通过摄像头采集到的第一图像,获得与第一图像对应的深度图像和彩色图像;进而分别对深度图像和彩色图像进行对象识别,获得与深度图像对应的子识别结果1和与彩色图像对应的子识别结果2;其中,子识别结果1可以为对象在深度图像中的包围盒区域,子识别结果2可以为对象在彩色图像中的包围盒区域;进而,再根据子识别结果1和子识别结果2从第一图像中确定出包含对象的第一区域,第一区域可以为上述的识别结果。同理,在终端设备或服务器通过摄像头采集到第二图像时,也可以通过执行上述过程从第二图像中确定出包含对象的第二区域。
需要说明的是,步骤S220与步骤S230之间、步骤S240与步骤S250之间以及步骤S260与步骤S270之间不存在先后关系。
可见,实施图2所示的信息标注方法中对象识别过程的流程示意图,能够通过对彩色图像和深度图像中对象的识别,确定出对象在图像中的所在区域,提高了对于对象所在区域的判定准确率,进而提升信息标注的准确性。
作为另一种可选的实施方式,对第一图像对应的深度图像进行对象识别,可以包括以下步骤:
对第一图像对应的深度图像进行灰度处理,将灰度处理后的深度图像进行二值化处理;对二值化处理后的深度图像进行边缘检测,根据边缘检测结果确定对象的第一包围盒信息。
本发明实施例中,当终端设备或服务器获取到第一图像时,可以将第一图像对应的深度图像转换为灰度图像,即经过灰度处理得到的图像,同理,经过二值化处理后的灰度图像则会转换为二值化图像;进而,可以对二值化图像进行边缘检测,即确定出对象在二值化图像中的第一包围盒信息,第一包围盒信息包括对象在二值化图像中的包围盒区域的边缘坐标和/或角坐标。另外,需要说明的是,上述的对二值化处理后的深度图像进行边缘检测,其中的深度图像为经过灰度处理后的深度图像,也可以理解为深度图像对应的灰度图像。
本发明实施例中,边缘检测结果可以为检测出的对象所在的包围盒区域的边缘封闭曲线/折线。如果对象的数量为多个,终端设备或服务器通过边缘检测结果确定出的第一包围盒信息也为多个。同理,在终端设备或服务器获取到第二图像时,通过执行上述过程也可以得到第二图相对应的深度图像,以及对象在该深度图像中的包围盒信息。
可见,实施该可选的实施方式,能够通过对深度图像进行灰度处理以及二值化处理,进而得到与深度图像对应的二值化图像,这样能够利用二值化的特性得到更为准确的包围盒信息,进而提高信息标注的准确性。
作为又一种可选的实施方式,将灰度处理后的深度图像进行二值化处理,可以包括以下步骤:
对灰度处理后的深度图像去噪;将去噪后的深度图像进行二值化处理。
本发明实施例中,上述的对灰度处理后的深度图像去噪,也可以理解为图像去噪(Image Denoising),减少数字图像中噪声的过程称为图像去噪。由于图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,因此,进行去噪能够得到更为纯净的图像,有利于对图像进行进一步的二值化处理。另外,需要说明的是,上述的将去噪后的深度图像进行二值化处理,其中的深度图像为经过灰度处理再经过去噪后的深度图像。
本发明实施例中,可选的,对灰度处理后的深度图像去噪的方式具体可以为:根据深度图像从多个滤波器中确定出目标滤波器;通过目标滤波器对灰度处理后的深度图像进行去噪处理。其中,针对该深度图像,目标滤波器相较多个滤波器中其他滤波器的去噪效果最好。
可见,实施该可选的实施方式,能够通过对灰度图像进行去噪处理,提升二值化处理后对二值化图像的边缘检测准确性。
作为又一种可选的实施方式,将灰度处理后的深度图像进行二值化处理,可以包括以下步骤:
根据灰度处理后的深度图像的灰度值分布确定灰度阈值;根据灰度阈值对灰度处理后的深度图像进行分割,以完成对灰度处理后的深度图像的二值化处理。
本发明实施例中,根据灰度阈值对灰度处理后的深度图像进行分割,能够将相较对象距离摄像头更远的物品和/或更近的物品筛除。
可见,实施该可选的实施方式,能够通过灰度阈值与灰度处理后的深度图像进行分割,筛除与对象无关的物品,以便终端设备或服务器对二值化处理后的图像进行更为精准的边缘检测,进而提升信息标注的准确性。
请参阅图3,图3示意性示出了根据本发明实施例的信息标注方法中对深度图像进行对象识别的流程示意图。如图3所示,对深度图像进行对象识别的过程包括步骤S310、步骤S320、步骤S330、步骤S340、步骤S350以及步骤S360,其中:
步骤S310:获得深度图像。
步骤S320:获得灰度图像。
步骤S330:对灰度图像去噪。
步骤S340:对去噪后的灰度图像进行二值化处理。
步骤S350:对二值化处理后的灰度图像进行边缘检测。
步骤S360:获得包围盒信息。
本发明实施例中,终端设备或服务器可以获得与第一图像相对应的灰度图像,并对深度图像进行灰度处理,以获得深度图像;进而,再对灰度图像进行去噪并将去噪后的灰度图像进行二值化处理,以及对二值化处理后的深度图像进行边缘检测,根据边缘检测结果确定出对象的第一包围盒信息。同理,如果终端设备或服务器可以获得与第二图像相对应的深度图像,也可以通过上述过程获得对象在该深度图像中的包围盒信息。
可见,图3所示的对深度图像进行对象识别的流程示意图,能够通过对深度图像进行灰度处理以及二值化处理,进而得到与深度图像对应的二值化图像,这样能够利用二值化的特性得到更为准确的包围盒信息,进而提高信息标注的准确性。
作为又一种可选的实施方式,对第一图像对应的彩色图像进行对象识别,可以包括以下步骤:
对第一图像对应的彩色图像进行预处理;其中,预处理包括归一化处理和/或颜色处理;根据预处理后的彩色图像确定对象的第二包围盒信息。
本发明实施例中,上述的对第一图像对应的彩色图像进行预处理之后得到的彩色图像对应的图像参数属于预设参数范围;其中,图像参数包括亮度、对比度以及饱和度中至少一种。
本发明实施例中,可选的,根据预处理后的彩色图像确定对象的第二包围盒信息的方式具体可以为:通过检测网络确定预处理后的彩色图像中对象对应的包围盒区域,并确定包围盒区域对应的第二包围盒信息。其中,第二包围盒信息可以包括对象在彩色图像中的包围盒区域的边缘坐标和/或角坐标。此外,检测网络是通过特征嵌入神经网络将其初始化之后用于确定对象对应的包围盒区域的,其中,初始化用于表示对监测网络中的各项参数进行设置,参数设置之后的检测网络能够用于确定包围盒区域。
可见,实施该可选的实施方式,能够通过对彩色图像的预处理,提高对于彩色图像的对象识别准确度。
请参阅图4,图4示意性示出了根据本发明实施例的信息标注方法中对彩色图像进行对象识别的流程示意图。如图4所示,对彩色图像进行对象识别的过程包括步骤S410、步骤S420、步骤S430、步骤S440以及步骤S450,其中:
步骤S410:获得彩色图像。
步骤S420:对彩色图像进行预处理。
步骤S430:特征嵌入神经网络初始化检测网络。
步骤S440:通过初始化后的检测网络进行对象识别。
步骤S450:获得包围盒信息。
本发明实施例中,终端设备或服务器可以先获得与第一图像对应的彩色图像,再对彩色图像进行预处理,进而通过特征嵌入神经网络初始化检测网络,以及通过初始化后的检测网络进行对象识别,以获得对象在彩色图像中的第二包围盒信息。同理,如果终端设备或服务器可以获得与第二图像相对应的彩色图像,也可以通过上述过程获得对象在该彩色图像中的包围盒信息。此外,需要说明的是,步骤S420和步骤S430之间可以不存在先后关系。
可见,图4所示的对彩色图像进行对象识别的流程示意图,能够提高对于彩色图像的对象识别准确度。
作为又一种可选的实施方式,根据所有识别结果从第一图像中确定出包含对象的第一区域,可以包括以下步骤:
根据第一包围盒信息和第二包围盒信息,从第一图像中确定出包含对象的第一区域。
本发明实施例中,终端设备或服务器可以比对第一包围盒信息中的A边缘坐标(或A角坐标)和第二包围盒信息中的B边缘坐标(或B角坐标),将A边缘坐标和B边缘坐标(或A角坐标和B角坐标)对应的包围盒区域的交集作为包含对象的第一区域。其中,A边缘坐标、B边缘坐标、A角坐标以及B角坐标中均包含多个坐标。
本发明实施例中,可选的,由于第二图像也存在与其对应的深度图像和彩色图像,进而,终端设备或服务器也可以根据对象在该深度图像中的包围盒信息和对象在该彩色图像中的包围盒信息,从第二图像中确定出包含对象的第二区域。
可见,实施该可选的实施方式,能够通过包围盒信息确定第一区域,由于第一区域对应的面积小于第一图像的面积,因此,通过实施方案能够降低在将区域映射为特征向量时的资源占用率,进而提升信息标注效率。
作为又一种可选的实施方式,确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量,可以包括以下步骤:
通过特征嵌入神经网络将第一区域映射为第一特征向量,以及将第二区域映射为第二特征向量。
本发明实施例中,特征嵌入神经网络是通过多个预设对象图像(如,商品图像)以及对象对应的对象类别(如,商品类别)训练得到的,能够用于确定对象在第一图像中的包围盒区域对应的第一特征向量,以及对象在第二图像中的包围盒区域对应的第二特征向量。
作为又一种可选的实施方式,信息标注方法还可以包括以下步骤:
如果第一特征向量与第二特征向量的相似度高于预设相似度,判定第二特征向量满足预置条件。
本发明实施例中,可选的,终端设备或服务器确定第一特征向量与第二特征向量的相似度的方式具体可以为:根据第一特征向量与第二特征向量的欧式距离确定第一特征向量与第二特征向量的相似度。
可见,实施该可选的实施方式,能够提升信息标注效率以及信息标注的准确性。
作为又一种可选的实施方式,信息标注方法还可以包括以下步骤:将对象信息和第二区域作为对应关系进行保存。
本发明实施例中,由于在第一图像中对象对应的对象信息已知而第二图像中对象对应的对象信息未知,因此,通过本申请公开的方案能够确定第二图像中对象对应的对象信息,进而将对象信息和对象在第二图像中对应的第二区域作为对应关系进行保存;其中,对象信息和第二区域作为对应关系可以通过xml格式进行保存,xml格式是一种可扩展标记语言,即数据存储语言。
可见,实施该可选的实施方式,能够根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
请参阅图5,图5示意性示出了根据本发明实施例的另一种信息标注方法的流程示意图。如图5所示,如图4所示,对彩色图像进行对象识别的过程包括步骤S510、步骤S520、步骤S530、步骤S540以及步骤S550、步骤S560以及步骤S570,其中:
步骤S510:获得第一图像和第二图像。
步骤S520:对第一图像和第二图像进行图像处理。
步骤S530:对图像处理后的第一图像和第二图像进行对象识别,获得对象在第一图像中的第一区域,以及对象在第二图像中的第二区域。
步骤S540:对第一区域和第二区域进行特征提取,获得特征向量。
步骤S550:比对第一图像和第二图像分别对应的特征向量。
步骤S560:获得比对结果。
步骤S570:如果第一图像和第二图像分别对应的特征向量的相似度高于预设相似度,将第二区域以及对象在第一图像中的对象信息作为对应关系存储。
本发明实施例中,终端设备或服务器可以通过对象角度调整装置获得针对对象(即,待拍摄物品)的第一图像和第二图像,并对第一图像的第二图像进行图像处理,图像处理包括对第一图像对应的彩色图像进行预处理以及对第一图像对应的深度图像进行灰度处理、去噪处理以及二值化处理,以便对图像处理后的第一图像进行对象识别,针对第二图像同理;进而,可以通过对象识别结果分别从第一图像和第二图像中确定出第一区域和第二区域,第一区域和第二区域均包含对象;进而,对第一区域和第二区域进行特征提取,也可以理解为,将第一区域和第二区域分别映射为第一特征向量和第二特征向量;进而,可以比对第一特征向量和第二特征向量,如果第一图像和第二图像分别对应的特征向量的相似度高于预设相似度,则将第二区域以及对象在第一图像中的对象信息作为对应关系进行存储。
可见,图5所示的根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
请参阅图6,图6示意性示出了根据本发明实施例的图像采集设备的三视图。如图6所示,图像采集设备包括对象角度调整装置以及拍摄装置,其中,拍摄装置可以是摄像头,图像采集设备可以包括一个或多个摄像头,在图6中示意性示出包括两个摄像头的图像采集设备三视图。
具体地,对象角度调整装置,用于调整对象的呈现角度,以使得拍摄装置所拍摄的对象在第一图像和第二图像中的呈现角度不同;拍摄装置,用于拍摄包含对象的第一图像以及包含对象的第二图像,并向终端设备发送第一图像和第二图像,以使得终端设备根据第一图像对第二图像进行对象信息标注。
需要说明的是,在图像采集设备主视图中,拍摄装置1(如,摄像头1)和拍摄装置2(如,摄像头2)距离B cm,A cm是对象角度调整装置(如,转台)的半径,拍摄装置1和拍摄装置2距离对象角度调整装置均为X cm,且拍摄装置2与垂直于对象角度调整装置的方向呈图示角度。另外,如图像采集设备左视图和图像采集设备俯视图所示,拍摄装置1和拍摄装置2设置于同一条直线上,且拍摄装置1处于对象角度调整装置(如,转台)的圆心。通过图6所示的图像采集设备中的拍摄装置1或拍摄装置2均可以实施图1~图5所示的信息标注方法和信息标注方法中的执行过程。
可见,图6所示的根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
请参阅图7,图7示意性示出了根据本发明实施例的信息标注系统的交互示意图。如图7所示,信息标注系统包括终端设备和图像采集设备,其中:
图像采集设备,用于根据对象角度调整装置采集包含对象的第一图像以及包含对象的第二图像,并向终端设备发送第一图像和第二图像;其中,对象在第一图像和第二图像中的呈现角度不同。
终端设备,用于在接收到由图像采集设备发送的第一图像和第二图像之后,确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
需要说明的是,图7示出的是包含一个拍摄装置的图像采集设备,此外,终端设备和图像采集设备可以通过无线传输方式进行数据传输也可以通过有线传输方式进行数据传输,本发明实施例不作限定。
可见,图7所示的根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
请参阅图8,图8示意性示出了根据本发明实施例的信息标注装置的结构框图。该信息标注装置包括:特征向量确定单元801和信息标注单元802。
其中,特征向量确定单元801,用于确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象在第一图像和第二图像中的呈现角度不同;信息标注单元802,用于在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
可见,实施图8所示的信息标注装置,能够根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
作为一种可选的实施方式,特征向量确定单元801确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量的方式具体为:
特征向量确定单元801确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量;其中,第一区域为从第一图像中确定出的包含对象的第一区域,第一区域小于第一图像对应的区域;第二区域为从第二图像中确定出的包含对象的第二区域,第二区域小于第二图像对应的区域。
可见,实施该可选的实施方式,能够将包含对象的图像缩小至包含对象的最小封闭区域,这样能够提高将第一区域和第二区域映射为特征向量的映射效率,进而提升信息标注效率。
作为另一种可选的实施方式,信息标注装置还可以包括对象识别单元(未图示),其中:
对象识别单元,用于对第一图像对应的深度图像和彩色图像分别进行对象识别,根据所有识别结果从第一图像中确定出包含对象的第一区域。
可见,实施该可选的实施方式,能够通过对彩色图像和深度图像中对象的识别,确定出对象在图像中的所在区域,提高了对于对象所在区域的判定准确率,进而提升信息标注的准确性。
作为又一种可选的实施方式,对象识别单元对第一图像对应的深度图像进行对象识别的方式具体为:对象识别单元对第一图像对应的深度图像进行灰度处理,将灰度处理后的深度图像进行二值化处理;对二值化处理后的深度图像进行边缘检测,根据边缘检测结果确定对象的第一包围盒信息。
可见,实施该可选的实施方式,能够通过对深度图像进行灰度处理以及二值化处理,进而得到与深度图像对应的二值化图像,这样能够利用二值化的特性得到更为准确的包围盒信息,进而提高信息标注的准确性。
作为又一种可选的实施方式,对象识别单元将灰度处理后的深度图像进行二值化处理的方式具体为:对象识别单元对灰度处理后的深度图像去噪;将去噪后的深度图像进行二值化处理。
可见,实施该可选的实施方式,能够通过对灰度图像进行去噪处理,提升二值化处理后对二值化图像的边缘检测准确性。
作为又一种可选的实施方式,对象识别单元将灰度处理后的深度图像进行二值化处理的方式具体为:对象识别单元根据灰度处理后的深度图像的灰度值分布确定灰度阈值;根据灰度阈值对灰度处理后的深度图像进行分割,以完成对灰度处理后的深度图像的二值化处理。
可见,实施该可选的实施方式,能够通过灰度阈值与灰度处理后的深度图像进行分割,筛除与对象无关的物品,以便终端设备或服务器对二值化处理后的图像进行更为精准的边缘检测,进而提升信息标注的准确性。
作为又一种可选的实施方式,对象识别单元对第一图像对应的彩色图像进行对象识别的方式具体为:对象识别单元对第一图像对应的彩色图像进行预处理;其中,预处理包括归一化处理和/或颜色处理;根据预处理后的彩色图像确定对象的第二包围盒信息。
可见,实施该可选的实施方式,能够提高对于彩色图像的对象识别准确度。
作为又一种可选的实施方式,对象识别单元根据所有识别结果从第一图像中确定出包含对象的第一区域的方式具体为:根据第一包围盒信息和第二包围盒信息,从第一图像中确定出包含对象的第一区域。
可见,实施该可选的实施方式,能够通过包围盒信息确定第一区域,由于第一区域对应的面积小于第一图像的面积,因此,通过实施方案能够降低在将区域映射为特征向量时的资源占用率,进而提升信息标注效率。
作为又一种可选的实施方式,特征向量确定单元801确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量的方式具体为:特征向量确定单元801通过特征嵌入神经网络将第一区域映射为第一特征向量,以及将第二区域映射为第二特征向量。
作为又一种可选的实施方式,信息标注装置还可以包括相似度检测单元(未图示)和预置条件判定单元(未图示),其中:
相似度检测单元,用于检测第一特征向量与第二特征向量的相似度是否高于预设相似度;预置条件判定单元,用于在相似度检测单元检测到第一特征向量与第二特征向量的相似度高于预设相似度之后,判定第二特征向量满足预置条件。
可见,实施该可选的实施方式,能够提升信息标注效率以及信息标注的准确性。
作为又一种可选的实施方式,信息标注装置还可以包括对应关系保存单元(未图示),其中:
对应关系保存单元,用于将对象信息和第二区域作为对应关系进行保存。
可见,实施该可选的实施方式,能够根据对象的第一特征向量为对象的第二特征向量进行信息标注,相较传统的人工标注方法,提高了信息标注效率以及信息标注的准确性。
由于本发明的示例实施例的数据传输装置的各个功能模块与上述基于游戏中虚拟操作的控制方法的示例实施例的步骤对应,因此对于本发明装置实施例中未披露的细节,请参照本发明上述的游戏中虚拟操作的控制方法的实施例。
请参阅图9,其示出了适于用来实现本发明实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备的计算机系统900仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的信息标注方法。
例如,所述的电子设备可以实现如图1中所示的:步骤S110,确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,对象在第一图像和第二图像中的呈现角度不同;步骤S120,在第二特征向量满足预置条件时,为第二特征向量标注对象信息;其中,对象信息与第一特征向量相对应,且对象信息与对象相对应。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种信息标注方法,其特征在于,包括:
确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,所述对象在所述第一图像和所述第二图像中的呈现角度不同;
在所述第二特征向量满足预置条件时,为所述第二特征向量标注对象信息;其中,所述对象信息与所述第一特征向量相对应,且所述对象信息与所述对象相对应。
2.根据权利要求1所述的方法,其特征在于,所述确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量,包括:
确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量;其中,所述第一区域为从所述第一图像中确定出的包含对象的第一区域,所述第一区域小于所述第一图像对应的区域;所述第二区域为从所述第二图像中确定出的包含所述对象的第二区域,所述第二区域小于所述第二图像对应的区域。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对所述第一图像对应的深度图像和彩色图像分别进行对象识别,根据所有识别结果从所述第一图像中确定出包含所述对象的第一区域。
4.根据权利要求3所述的方法,其特征在于,所述对所述第一图像对应的深度图像进行对象识别,包括:
对所述第一图像对应的深度图像进行灰度处理,将灰度处理后的深度图像进行二值化处理;
对二值化处理后的深度图像进行边缘检测,根据边缘检测结果确定对象的第一包围盒信息。
5.根据权利要求4所述的方法,其特征在于,所述将灰度处理后的深度图像进行二值化处理,包括:
对灰度处理后的深度图像去噪;
将去噪后的深度图像进行二值化处理。
6.根据权利要求4所述的方法,其特征在于,所述将灰度处理后的深度图像进行二值化处理,包括:
根据灰度处理后的深度图像的灰度值分布确定灰度阈值;
根据所述灰度阈值对灰度处理后的深度图像进行分割,以完成对灰度处理后的深度图像的二值化处理。
7.根据权利要求4所述的方法,其特征在于,所述对所述第一图像对应的彩色图像进行对象识别,包括:
对所述第一图像对应的彩色图像进行预处理;其中,所述预处理包括归一化处理和/或颜色处理;
根据所述预处理后的彩色图像确定所述对象的第二包围盒信息。
8.根据权利要求7所述的方法,其特征在于,所述根据所有识别结果从所述第一图像中确定出包含所述对象的第一区域,包括:
根据所述第一包围盒信息和所述第二包围盒信息,从所述第一图像中确定出包含所述对象的第一区域。
9.根据权利要求2所述的方法,其特征在于,所述确定第一区域对应的第一特征向量以及第二区域对应的第二特征向量,包括:
通过特征嵌入神经网络将第一区域映射为第一特征向量,以及将第二区域映射为第二特征向量。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述第一特征向量与所述第二特征向量的相似度高于预设相似度,判定所述第二特征向量满足所述预置条件。
11.根据权利要求9所述的方法,其特征在于,所述方法还包括:
将所述对象信息和所述第二区域作为对应关系进行保存。
12.一种信息标注装置,其特征在于,包括:
特征向量确定单元,用于确定对象在第一图像中的第一特征向量以及在第二图像中的第二特征向量;其中,所述对象在所述第一图像和所述第二图像中的呈现角度不同;
信息标注单元,用于在所述第二特征向量满足预置条件时,为所述第二特征向量标注对象信息;其中,所述对象信息与所述第一特征向量相对应,且所述对象信息与所述对象相对应。
13.一种图像采集设备,其特征在于,所述图像采集设备包括对象角度调整装置以及拍摄装置,其中:
所述对象角度调整装置,用于调整对象的呈现角度,以使得所述拍摄装置所拍摄的所述对象在第一图像和第二图像中的呈现角度不同;
所述拍摄装置,用于拍摄包含所述对象的第一图像以及包含所述对象的第二图像,并向终端设备发送所述第一图像和所述第二图像,以使得所述终端设备根据所述第一图像对所述第二图像进行对象信息标注。
14.一种信息标注系统,其特征在于,所述信息标注系统包括终端设备和图像采集设备,其中:
所述图像采集设备,用于根据对象角度调整装置采集包含对象的第一图像以及包含所述对象的第二图像,并向所述终端设备发送所述第一图像和所述第二图像;其中,所述对象在所述第一图像和所述第二图像中的呈现角度不同;
所述终端设备,用于在接收到由所述图像采集设备发送的所述第一图像和所述第二图像之后,确定所述对象在所述第一图像中的第一特征向量以及在所述第二图像中的第二特征向量;在所述第二特征向量满足预置条件时,为所述第二特征向量标注对象信息;其中,所述对象信息与所述第一特征向量相对应,且所述对象信息与所述对象相对应。
15.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~11中任一项所述的信息标注方法。
16.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1~11中任一项所述的信息标注方法。
CN201910150959.6A 2019-02-28 2019-02-28 信息标注方法、装置、设备、系统、介质及电子设备 Pending CN111626084A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910150959.6A CN111626084A (zh) 2019-02-28 2019-02-28 信息标注方法、装置、设备、系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910150959.6A CN111626084A (zh) 2019-02-28 2019-02-28 信息标注方法、装置、设备、系统、介质及电子设备

Publications (1)

Publication Number Publication Date
CN111626084A true CN111626084A (zh) 2020-09-04

Family

ID=72270727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910150959.6A Pending CN111626084A (zh) 2019-02-28 2019-02-28 信息标注方法、装置、设备、系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111626084A (zh)

Similar Documents

Publication Publication Date Title
US20200334830A1 (en) Method, apparatus, and storage medium for processing video image
CN108898186B (zh) 用于提取图像的方法和装置
US10635946B2 (en) Eyeglass positioning method, apparatus and storage medium
CN111242097B (zh) 一种人脸识别方法、装置、计算机可读介质及电子设备
CN108734185B (zh) 图像校验方法和装置
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
CN110781885A (zh) 基于图像处理的文本检测方法、装置、介质及电子设备
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN109711508B (zh) 图像处理方法和装置
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN108229494B (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
WO2020107951A1 (zh) 一种基于图像的商品结算方法、装置、介质及电子设备
CN109285181B (zh) 用于识别图像的方法和装置
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN112396050B (zh) 图像的处理方法、设备以及存储介质
KR101602591B1 (ko) 화상 내의 텍스트의 검출을 용이하게 하기 위한 방법 및 장치
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN108682021B (zh) 快速手部跟踪方法、装置、终端及存储介质
CN110909568A (zh) 用于面部识别的图像检测方法、装置、电子设备及介质
WO2019165626A1 (en) Methods and apparatus to match images using semantic features
CN110889470A (zh) 用于处理图像的方法和装置
CN117710921A (zh) 目标检测模型的训练方法、检测方法及相关装置
CN111461152B (zh) 货物检测方法及装置、电子设备和计算机可读介质
CN111179218A (zh) 传送带物料检测方法、装置、存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination