CN110264523A - 一种确定测试图像中的目标图像的位置信息的方法与设备 - Google Patents

一种确定测试图像中的目标图像的位置信息的方法与设备 Download PDF

Info

Publication number
CN110264523A
CN110264523A CN201910555670.2A CN201910555670A CN110264523A CN 110264523 A CN110264523 A CN 110264523A CN 201910555670 A CN201910555670 A CN 201910555670A CN 110264523 A CN110264523 A CN 110264523A
Authority
CN
China
Prior art keywords
image
mark
test
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910555670.2A
Other languages
English (en)
Other versions
CN110264523B (zh
Inventor
颜长建
梁健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Priority to CN201910555670.2A priority Critical patent/CN110264523B/zh
Publication of CN110264523A publication Critical patent/CN110264523A/zh
Application granted granted Critical
Publication of CN110264523B publication Critical patent/CN110264523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请的目的是提供一种确定测试图像中的目标图像的位置信息的方法与设备,该方法包括:获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;确定所述标注图像在所述测试图像中的标注位置信息;根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。本申请通过获取标注图像在测试图像中的标注位置信息,自动计算生成目标图像在测试图像中的目标位置信息,可以减少标注的人力成本,增强标注的效率,提升标注结果的稳定性及准确性。

Description

一种确定测试图像中的目标图像的位置信息的方法与设备
技术领域
本申请涉及图像处理领域,尤其涉及一种用于确定测试图像中的目标图像的位置信息的技术。
背景技术
在图像处理领域中,无论是机器视觉模型还是深度学习模型,如果模型的训练是基于有监督的学习,那么训练过程都需要训练样本和样本对应的标签。对分类模型而言,标签一般是样本的类别;对检测、跟踪模型而言,标签一般是目标在样本中的位置。现有技术中,标签的确定,特别是对检测、跟踪模型而言,一般采用人工标注,如一批训练样本图像,包含目标(一匹马),如果训练模型的目的是得到测试样本中马的位置,则训练样本对应的标签是马在每张图片样本中的位置。现有技术中,这个标签是人工标注的,通过肉眼确定目标在图片中的位置,然后手动标注目标在图像中的位置。又例如,进行算法测试时,也需要人工标注的测试数据来评判算法的优劣,即算法在测试数据上的计算的结果要和人工对测试数据的标注进行对比分析,以便能够判断算法在准确性上表现是怎么样的,其中,算法所用测试数据是指含有某张特定图像的图片或视频序列。
发明内容
本申请的一个目的是提供一种确定测试图像中的目标图像的位置信息的方法与设备。
根据本申请的一个方面,提供了一种确定测试图像中的目标图像的位置信息的方法,该方法包括:
获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;
确定所述标注图像在所述测试图像中的标注位置信息;
根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
根据本申请的另一个方面,提供了一种生成测试数据的方法,该方法包括:
对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
根据本申请的一个方面,提供了一种确定测试图像中的目标图像的位置信息的设备,该设备包括:
一一模块,用于获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;
一二模块,用于确定所述标注图像在所述测试图像中的标注位置信息;
一三模块,用于根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
根据本申请的另一个方面,提供了一种生成测试数据的设备,该设备包括:
二一模块,用于对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
根据本申请的一个方面,提供了一种确定测试图像中的目标图像的位置信息的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如下操作:
获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;
确定所述标注图像在所述测试图像中的标注位置信息;
根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
根据本申请的另一个方面,提供了一种生成测试数据的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如下操作:
对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如下操作:
获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;
确定所述标注图像在所述测试图像中的标注位置信息;
根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
根据本申请的另一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如下操作:
对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
现有技术中,人工标注耗时耗力,当训练样本或测试数据要求数量较多时,会耗费巨大的人力成本,需要标注人员机械地对大量的训练图像或测试图像进行标注,并且对于标注的位置,不同的标注人员之间会有很大的差异性,即便是同一个标注人员在不同的时刻对同一个标注点位置的判断也是不一样的,得到的标注结果具有一定的随机性及偏差,与现有技术相比,本申请通过获取标注图像在测试图像中的标注位置信息,自动计算生成目标图像在测试图像中的目标位置信息,可以减少标注的人力成本,增强标注的效率,提升标注结果的稳定性及准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的方法流程图;
图2示出根据本申请一个实施例的一种生成测试数据的方法流程图;
图3示出根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的设备结构图;
图4示出根据本申请一个实施例的一种生成测试数据的设备结构图;
图5示出根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的方法流程图;
图6示出根据本申请一个实施例的一种测试图像的呈现示意图;
图7示出根据本申请一个实施例的一种测试图像的呈现示意图;
图8示出根据本申请一个实施例的一种测试图像的呈现示意图;
图9示出根据本申请一个实施例的一种测试图像的呈现示意图;
图10示出根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的呈现示意图;
图11可被用于实施本申请中所述各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的方法流程图,该方法包括步骤S11、步骤S12和步骤S13。在步骤S11中,用户设备获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;在步骤S12中,用户设备确定所述标注图像在所述测试图像中的标注位置信息;在步骤S13中,用户设备根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
在步骤S11中,用户设备获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。在一些实施例中,为了从测试图像中更好的识别标注图像,可以将标注图像选择为黑白相间的,介于黑白之前的颜色是灰色,所以可以将背景图像选择为灰色,这样可以减少对识别标注图像的干扰。除了灰色之外,背景图像也可以是其他纯色或非纯色的复杂背景,只要能够识别标注图像即可,另外,标注图像可以选择差异较大的两个颜色,优选地,为了增加标注图像的识别率,可以选择黑白相间,因为黑白颜色的对比最大。标注图像的形状可以是圆形、二维码中的回型、一黑一白的同心圆等,优选地,标注图像由2黑2白的方形块组成,另外,标注图像也可以是黑白相间的两块或多块,通过对第一图像在不同的距离或角度下进行相机拍摄、录制,或者,通过对第一图像的图像数据执行图像变换矩阵运算,从而得到测试图像,其中,在拍摄、录制第一图像生成测试图像时,尽量保证第一图像的任何区域不跑出拍摄或录制的视野范围,即要保证第一图像在测试图像中的图像完整性。
在步骤S12中,用户设备确定所述标注图像在所述测试图像中的标注位置信息。在一些实施例中,通过获取标注图像的初选中心点的位置信息,并对初选中心点的位置信息进行亚像素级角点检测,得到标注图像的精确中心点的位置信息。亚像素级角点检测用于通过角点检测将图像识别得到的整数坐标值进一步生成更高精度的实数坐标值,来满足几何测量或标注的精度需求。
在步骤S13中,用户设备根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。在一些实施例中,若第一图像与测试图像之间是仿射变换,通过获取至少3个标注图像分别在第一图像和测试图像上的位置信息,可以确定第一图像与测试图像之间的变换矩阵,若第一图像与测试图像之间是摄影变换,通过获取至少4个标注图像分别在第一图像和测试图像上的位置信息,可以确定第一图像与测试图像之间的变换矩阵,根据目标图像在第一图像上的位置信息与变换矩阵,可以计算出目标图像在测试图像上的位置信息。在一些实施例中,若至少4个标注图像的中心点与目标图像的4个角点完全重合,此时,该至少4个标注图像对应的标注位置信息(标注图像1中心点坐标(X1,Y1),标注图像2中心点坐标(X2,Y2),标注图像3中心点坐标(X3,Y3),标注图像4中心点坐标(X4,Y4))就是目标图像在测试图像中的目标位置信息(角点1坐标(X1,Y1),角点2坐标(X2,Y2),角点3坐标(X3,Y3),角点4坐标(X4,Y4))。
在一些实施例中,所述步骤S12包括:用户设备从所述测试图像中识别出所述标注图像,并确定所述标注图像在所述测试图像中的标注位置信息。例如,以标注图像的主要特征为基础,通过图像处理技术,从测试图像中识别出标注图像,并确定标注图像的初选中心点在测试图像中的位置信息,并对初选中心点的位置信息进行亚像素级角点检测,得到标注图像的精确中心点的位置信息。
在一些实施例中,所述步骤S12包括步骤S121(未示出)、步骤S122(未示出)和步骤S123(未示出),在步骤S121中,用户设备确定所述标注图像在所述测试图像中的特征信息;在步骤S122中,根据所述特征信息,从所述测试图像中识别出所述标注图像;在步骤S123中,确定所述标注图像在所述测试图像中的标注位置信息。例如,特征信息包括但不限于标注图像在测试图像上的分辨率、标注图像与背景图像的颜色差异等,特征信息用于从测试图像中更准确更快捷地识别出标注图像。特征信息可以通过由用户手动的方式获取,标注图像在测试图像上的分辨率可以通过用户手动测量标注图像的方式获取,标注图像与背景图像的颜色差异也可以通过手动的方式获取,例如,在测试图像上,手动选取标注图像点和背景图像点来计算色差。或者,标注图像与背景图像的颜色差异也可以根据经验取一个固定值,或者,可以根据经验取一个固定计算比例,比如标注图像是黑白相间的方形块,背景图像是灰色,标注图像和背景图像的色差值可以取黑色或白色与灰色的灰度差值,或者,可以将黑色或白色与灰色的灰度差值除以一个固定计算比例(例如2.5、3等),优选地,为了使黑白色的标注图像和灰色背景图像有更好的宽容度,色差值可以取黑色或白色与灰色的灰度差值的一半。又或者,标注图像与背景图像的颜色差异也可以通过自适应阈值的方式获取,例如最大类间方差法或大津法等方法。根据标注图像在测试图像上的分辨率、标注图像与背景图像的颜色差异,通过图像处理技术,从所述测试图像中识别出标注图像,并确定标注图像的初选中心点在测试图像中的位置信息,并对初选中心点的位置信息进行亚像素级角点检测,得到标注图像的精确中心点的位置信息。
在一些实施例中,所述方法还包括步骤S14(未示出),在步骤S14中,用户设备获取与所述第一图像对应的配置信息;其中,所述步骤S12包括:用户设备根据所述配置信息,确定所述标注图像在所述测试图像中的特征信息。例如,配置信息包括但不限于目标图像的标识、目标图像在第一图像中的分辨率、目标图像在第一图像中的位置信息、标注图像在第一图像中的分辨率、标注图像在第一图像中的位置信息、标注图像在第一图像中相对目标图像的位置信息等,其中,目标图像在第一图像中的位置信息可以是目标图像的四个角点在第一图像中的坐标,标注图像在第一图像中的位置信息可以是标注图像的中心点在第一图像中的坐标。通过目标图像在第一图像中的分辨率、标注图像在第一图像中的分辨率、至少一个标注图像的中心点在第一图像中的坐标,可以间接计算出目标图像的四个角点在第一图像中的坐标,或者,通过标注图像在第一图像中的分辨率、至少三个标注图像的中心点在第一图像中的坐标,也可以间接计算出目标图像的四个角点在第一图像中的坐标。标注图像相对于目标图像的四个角点的位置是没有限定的,只要能够通过标注图像的位置推算出目标图像的位置即可,优选地,为了计算简洁,如图6中所示,可以在目标图像的四个角点上放置标注图像,如果为了减弱标注图像对目标图像的干扰。如图7中所示,同样也可以将标注图像放置的位置离目标图像的四个角点远离一定的距离,此时,配置信息中还应该包括远离的距离,配置信息的获取方式包括但不限于读取二维码信息、读取配置文件、用户手动输入等,通过配置信息可以计算得到标注图像在测试图像上的分辨率、标注图像与背景图像的颜色差异等特征信息。
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,其中,所述步骤S14包括:用户设备从所述测试图像中识别出所述二维码信息,并从所述二维码信息中获取与所述第一图像对应的配置信息。例如,将二维码信息放置在第一图像的背景图像中,二维码信息没有固定的放置位置,放置位置只要不遮挡目标图像、标注图像即可,二维码信息中存储着与第一图像对应的配置信息,通过OpenCV提供的QRCodeDetector类,可以从测试图像中定位、识别出二维码信息,并从二维码信息中解码得到与第一图像对应的配置信息,其中,OpenCV是一个开源的跨平台计算机视觉库,可以运行在Linux、Windows、Android、Mac OS等操作系统上,其实现了图像处理和计算机视觉方面的很多通用算法,QRCodeDetector类封装了OpenCV提供的用于定位、识别和解码二维码信息的接口,此外,QRCodeDetector类还可以获取二维码信息在测试图像上的分辨率,此时,配置信息中还应该包括二维码信息在第一图像中的分辨率。
在一些实施例中,所述步骤S14包括:用户设备从所述测试图像对应的配置文件中获取与所述第一图像对应的配置信息。例如,配置文件的文件类型包括但不限于xml格式、txt格式等,配置文件中存储着与第一图像对应的配置信息,通过读取配置文件,可以获取到与第一图像对应的配置信息。
在一些实施例中,所述配置信息包括但不限于:
1)所述目标图像的标识
在一些实施例中,测试图像上的目标图像可能有多个,需要根据目标图像的标识信息来找到对应的目标图像,目标图像的标识包括但不限于目标图像的图像名称、图像ID等,例如,目标图像的标识可以是“人脸A”,或者,标识可以是“Targrt001”。
2)所述目标图像在所述第一图像中的分辨率
例如,目标图像在第一图像中的分辨率是“1200*1300”。
3)所述目标图像在所述第一图像中的位置信息
在一些实施例中,目标图像在第一图像中的位置信息可以是目标图像的四个角点在第一图像中的坐标,例如,“角点1(X1,Y1),角点2(X2,Y2),角点3(X3,Y3),角点4(X4,Y4)”,或者,还可以是目标图像的中心点在第一图像中的坐标和该中心点与目标图像的四个角点在第一图像中的距离信息,,或者,还可以是目标图像任意点在第一图像中的坐标和该点与目标图像的四个角点在第一图像中的距离信息。
4)所述标注图像在所述第一图像中的分辨率
例如,标注图像在第一图像中的分辨率是“120*130”。
5)所述标注图像在所述第一图像中的位置信息
在一些实施例中,标注图像在第一图像中的位置信息可以是标注图像的中心点在第一图像中的坐标,例如,“中心点(X0,Y0)”,或者,还可以是标注图像任意点(例如标注图像的任一角点)在第一图像中的坐标(X1,Y1)。
6)所述标注图像在所述第一图像中相对所述目标图像的位置信息
在一些实施例中,该位置信息可以是标注图像相对于目标图像对应的某一个角点的相对坐标,该相对坐标通常以该角点为坐标原点,例如,“相对于目标图像的左上角点(X1,Y1)”。
在一些实施例中,所述标注图像在所述测试图像中的特征信息包括所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值。例如,特征信息可以通过用户手动输入的方式获取,用户手动测量标注图像在测试图像中的分辨率,用户手动选取标注图像上的点和背景图像上的点来计算灰度差。若背景图像是纯色背景,用户可以分别在标注图像和背景图像中取一个关键像素点计算灰度差值,将该灰度差值作为标注图像与背景图像在测试图像中的灰度差值。若背景图像是非纯色的复杂背景,用户可以在背景图像中取若干个关键像素点,可以通过计算得到标注图像与若干个关键像素点的多个灰度差,并对多个灰度差求平均得到平均灰度差值,将平均灰度差值作为标注图像与背景图像在测试图像中的灰度差值,然后用户将标注图像在测试图像中的分辨率以及标注图像与背景图像在测试图像中的灰度差值手动输入用户设备。又例如,标注图像与背景图像的颜色差异也可以根据经验取一个固定值,或者,可以根据经验取一个固定计算比例,若标注图像是黑白相间的方形块,若背景图像是灰色,标注图像和背景图像的色差值可以取黑色或白色与灰色的灰度差值,或者,可以将黑色或白色与灰色的灰度差值除以一个固定计算比例(例如2.5、3等),优选地,为了使黑白色的标注图像和灰色背景图像有更好的宽容度,色差值可以取黑色或白色与灰色的灰度差值的一半。又例如,标注图像与背景图像在测试图像中的灰度差值也可以通过自适应阈值的方式获取,例如最大类间方差法或大津法等方法。
在一些实施例中,所述标注图像在所述测试图像中的特征信息包括所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值,其中,所述步骤S121包括步骤S1211(未示出)和步骤S1212(未示出),在步骤S1211中,用户设备确定所述标注图像在所述测试图像中的分辨率;在步骤S1212中,用户设备确定所述背景图像与所述标注图像在所述测试图像中的灰度差值。例如,通过读取二维码信息中的配置信息,获取配置信息中的标注图像在第一图像中的分辨率、二维码信息在第一图像中的分辨率,并基于二维码在测试图像上的分辨率,计算得到标注图像在测试图像中的分辨率,背景图像与标注图像在测试图像中的灰度差值可以基于二维码信息与背景图像的灰度差值间接计算得到。
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,其中,所述步骤S14包括:用户设备从所述测试图像中识别出所述二维码信息,并从所述二维码信息中获取与所述第一图像对应的配置信息,其中,所述配置信息包括所述标注图像在所述第一图像中的分辨率及所述二维码信息在所述第一图像中的分辨率;其中,所述步骤S1211包括:用户设备获取所述二维码信息在所述测试图像中的分辨率,并根据所述标注图像在所述第一图像中的分辨率以及所述二维码信息在所述第一图像中的分辨率,确定所述标注图像在所述测试图像中的分辨率。例如,从测试图像中识别出二维码信息,并从二维码信息中获取标注图像在第一图像中的分辨率、二维码信息在第一图像中的分辨率,并根据二维码在测试图像上的分辨率,计算得到标注图像在测试图像中的分辨率,计算公式为:标注图像在测试图像中的分辨率=二维码在测试图像上的分辨率*(标注图像在第一图像中的分辨率/二维码信息在第一图像中的分辨率)。
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,所述标注图像包括多个黑白相间的图形;其中,所述步骤S1212包括:用户设备在所述测试图像的所述二维码信息中确定第一样点并获取所述第一样点对应的第一灰度信息;在所述测试图像的所述背景图像中确定第二样点并获取所述第二样点对应的第二灰度信息;根据所述第一灰度信息和所述第二灰度信息,确定所述背景图像与所述标注图像在所述测试图像中的灰度差值。在一些实施例中,黑白相间的图形包括但不限于黑白相间的方形块、黑白相间的同心圆等,第一样点和第二样点可以是一个或多个,当背景图像是非纯色时,可以根据多个样点的灰度值求平均来计算出背景图像与标注图像在测试图像中的灰度差值。在一些实施例中,如图8中所示,标注图像是黑白相间的方形块,背景图像是灰色背景,将二维码左上角距离为a的位置定为第一样点A点,A点的灰度值是GA,将二维码左上角距离为b的位置定为第二样点B点,B点的灰度值是GB,以确保A点在二维码中的白色区域,B点在背景图像的灰色区域,为使黑白色的标注图像能和背景灰色有更好的宽容度,取A点与B点的灰度差值(GA-GB)的一半作为背景图像与标注图像在测试图像中的灰度差值,具体计算公式为:背景图像与标注图像在测试图像中的灰度差值=(A点灰度值-B点灰度值)/2,也可以根据经验取固定值或将该固定值除以一个固定计算比例(例如2.5、3等),例如,将白色或黑色与灰色的灰度差值作为背景图像与标注图像在测试图像中的灰度差值,或者,将白色或黑色与灰色的灰度差值除以2.5的结果作为背景图像与标注图像在测试图像中的灰度差值。
在一些实施例中,所述步骤S122包括:用户设备根据所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值,从所述测试图像中识别出所述标注图像。例如,将标注图像在测试图像中的分辨率以及背景图像与标注图像在测试图像中的灰度差值作为标注图像的关键图像特征,通过图像处理技术,从测试图像中的识别出标注图像。
在一些实施例中,所述步骤S122包括:用户设备根据所述标注图像在所述测试图像中的分辨率,对所述测试图像进行滤波,得到滤波后的测试图像;根据所述背景图像与所述标注图像在所述测试图像中的灰度差值,从所述滤波后的测试图像中提取黑色区域图像或白色区域图像;通过检测所述黑色区域图像或白色区域图像中的目标轮廓,从所述测试图像中识别出所述标注图像。例如,根据标注图像在测试图像中的分辨率,对测试图像进行滤波,得到滤波图像,优选地,该滤波可以是均值滤波,也可以是中值滤波,其中,均值滤波是线性滤波算法,是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素,再用模板中的全体像素的平均值来代替原来的像素值,例如,标注图像是黑白相间的方形块,标注图像在测试图像中的分辨率是3*3,利用3*3的模板进行均值滤波,模板中心点的像素值等于周围9个点像素值的平均值,不断滑动该模板进行遍历,依次获得每个点的像素值,为了滤波尺度的平滑性,保证滤波前后更大的差异性,模板的分辨率要大于或等于标注图像在测试图像中的分辨率,均值滤波会使图像更加的平滑,测试图像中滤波前后差异值比较大的地方,就是测试图像中的黑白区域图像,若测试图像中的某个区域在均值滤波后的灰度值与均值滤波前的灰度值的差值,大于标注图像与背景图像的灰度差值,该区域被认为是测试图像中的黑色区域,若测试图像中的某个区域在均值滤波前的灰度值与均值滤波后的灰度值的差值,大于标注图像与背景图像的灰度差值,该区域被认为是测试图像中的白色区域,具体计算公式为:黑色区域图像=(均值滤波图像-均值滤波前的图像)>标注图像与背景图像的灰度差值,白色区域图像=(均值滤波前的图像-均值滤波图像)>标注图像与背景图像的灰度差值,然后提取黑色或白色区域的轮廓,可以利用传统的边缘检测算子(例如Sobel算子、Prewitt算子、Canny算子等)检测目标轮廓,或者,从人类视觉系统中提取可以使用的数学模型,通过训练集和标签来训练,学习目标轮廓检测模型,然后对待测图形进行检测,从而获得目标轮廓,其中,基于边缘检测算子的轮廓检测方法是一种低层视觉行为,它主要定义了亮度、颜色等特征的低层突变,通过标识图像中亮度变化明显的点来完成边缘检测,并通过将提取到的黑色或白色区域的轮廓进行过滤和筛选,从测试图像中识别出黑白相间的标注图像。又例如,当无法获取到背景图像与标注图像在测试图像中的灰度差值时,也可以采用自适应阈值,通过OTSU(最大类间方差法或大津法)获得背景图像与标注图像在测试图像中的灰度阈值a,并设定黑色区域灰度阈值b=a*p,其中,0<p<=1,设定白色区域灰度阈值c=a*q,其中,q>=1,因此黑色区域图像为测试图像中灰度小于b的区域,白色区域图像为测试图像中灰度大于c的区域,以此即可提取到测试图像中的黑色与白色区域图像,其中,OTSU是一种确定图像二值化分割阈值的算法,按照大津法求得的阈值进行图像二值化分割后,前景与背景图像的类间方差最大,是图像分割中阈值选取的最佳算法,计算简单,不受图像亮度和对比度的影响。
在一些实施例中,标注图像包括多个黑白相间的图形,通过提取测试图像中黑色区域图像的轮廓,从测试图像中识别出黑白相间的标注图像,并确定所述标注图像在测试图像中的标注位置信息,在一些实施例中,包括:取每一个黑色区域图像轮廓的最小面积矩形,可以通过先使用格雷厄姆法求解目标图像的凸壳,再使用旋转或投影的方式求取最小面积矩形,从而得到每个黑色区域图像轮廓的宽度、高度及中心点,从中去除掉宽度、高度比较小的轮廓,因为标注图像在测试图像中不会特别小,并去除掉宽度与高度的差值比较大的点,因为标注图像在图像中是个相对“正”的四边形(相对于长的形状),从而得到了初选轮廓,并将这些轮廓的宽度、高度及中心点保存下来,在初选得到的轮廓中逐个寻找与自己中心点(每个标注图像轮廓中心点)距离最近的轮廓中心点,如果这个距离大于标注图像在测试图像中的分辨率就丢弃掉这对轮廓,否则,如图9中所示,计算以这两个中心点(A、B点)为对角线的构成的正方形的另外两个点(C、D点)的坐标,然后判断C、D点是否都在白色区域图像上,如果是,则继续判断形状差异,如果不是,就丢弃。最后判断A、B点形状差异比较小(例如,通过设定一个阈值,低于该阈值就满足条件),具体计算公式为:A、B点形状差异=A点宽度+A点高度-B点宽度-B点宽度,其中,A点宽度、A点高度、B点宽度、B点高度是指以A点、B点为中心的轮廓的宽度、高度,如果以上条件都满足就记录下A点与B点连线的中点O点的坐标,计算公式为O点坐标=(A点坐标+B点坐标)/2,满足条件的O点认为是标注图像的初选中心点,判断O点的个数是否满足条件,例如O点的个数是否等于4,,如果不满足条件就停止执行后续步骤,如果满足条件,就对这4个O点进行亚像素级角点检测,进而得到标注图像的精确中心点。
在一些实施例中,所述方法还包括步骤S15(未示出),在步骤S15中,用户设备获取所述目标图像在所述第一图像中的位置信息以及所述标注图像在所述第一图像中的位置信息;其中,所述步骤S13包括:根据所述多个标注图像对应的多个标注位置信息以及所述标注图像在所述第一图像中的位置信息,确定所述第一图像与所述测试图像之间的坐标变换矩阵;根据所述坐标变换矩阵,以及所述目标图像在所述第一图像中的位置信息,确定所述目标图像在所述测试图像中的目标位置信息。在一些实施例中,目标图像在第一图像中的位置信息可以是目标图像的四个角点在第一图像中的坐标,标注图像在第一图像中的位置信息可以是标注图像的中心点在第一图像中的坐标,获取这两个坐标的方式包括但不限于用户手动输入、从二维码或配置文件对应的配置信息中直接提取、根据从配置信息中提取的其他参数计算得到。例如,从二维码信息中获取的配置信息中已经包括目标图像的四个角点在第一图像中的坐标、多个标注图像的中心点在第一图像中的坐标,直接从配置信息中提取即可,或者,当标注图像与目标图像的相对位置确定后,从二维码信息中获取的配置信息中包括标注图像在第一图像中的分辨率以及至少3个标注图像的中心点在第一图像中的坐标,可以间接计算出目标图像的四个角点在第一图像中的坐标、多个标注图像的中心点在第一图像中的坐标,或者,从二维码信息中获取的配置信息中包括目标图像在第一图像中的分辨率、标注图像在第一图像中的分辨率以及至少1个标注图像的中心点在第一图像中的坐标,同样也可以间接计算出目标图像的四个角点在第一图像中的坐标、多个标注图像的中心点在第一图像中的坐标。当第一图像与测试图像之间是仿射变换时,根据至少3个标注图像的中心点在第一图像以及测试图像中的坐标,可以计算出第一图像与测试图像之间的坐标变换矩阵,或者,当第一图像与测试图像之间是摄影变换时,根据至少4个标注图像的中心点在第一图像以及测试图像中的坐标,同样也可以计算出第一图像与测试图像之间的坐标变换矩阵,坐标变换矩阵是3*4的矩阵,包括3*3的内参矩阵和3*4的外参矩阵,其中,外参矩阵包含3*3的旋转矩阵和3*1的平移向量,目标图像在测试图像中的目标位置信息可以是目标图像的四个角点在测试图像中的坐标,根据坐标变换矩阵以及目标图像的四个角点在第一图像中的坐标,可以计算出目标图像的四个角点在测试图像中的坐标。
在一些实施例中,若至少4个标注图像的中心点与目标图像的4个角点重合,所述步骤S13包括:用户设备将所述至少4个标注图像对应的4个标注位置信息作为目标图像在所述测试图像中的目标位置信息。例如,若至少4个标注图像的中心点与目标图像的4个角点完全重合,此时,该至少4个标注图像对应的标注位置信息(标注图像1中心点坐标(X1,Y1),标注图像2中心点坐标(X2,Y2),标注图像3中心点坐标(X3,Y3),标注图像4中心点坐标(X4,Y4))就是目标图像在测试图像中的目标位置信息(角点1坐标(X1,Y1),角点2坐标(X2,Y2),角点3坐标(X3,Y3),角点4坐标(X4,Y4)),而无需通过计算坐标变换矩阵来间接得到目标图像在测试图像中的目标位置信息。
在一些实施例中,所述步骤S13包括:用户设备根据所述多个标注图像对应的多个标注位置信息,确定所述多个标注位置信息在所述测试图像上围成的图像区域,以作为所述目标图像在所述测试图像中的目标位置信息。例如,在测试图像上,将一个标注图像的中心点与距离它最近的标注图像的中心点用线段连起来,遍历测试图像上的所有标注图像,以此围成一个闭合的图像区域,将这个图像区域作为目标图像在测试图像中的目标位置信息,目标图像位于这个图像区域的内部。。
在一些实施例中,所述方法还包括步骤S16(未示出),在步骤S16中,用户设备获取所述多个标注图像在所述第一图像中的布局信息;其中,所述步骤S13包括:根据所述多个标注图像对应的多个标注位置信息,并结合所述多个标注图像在所述第一图像中的布局信息,确定所述多个标注位置信息在所述测试图像上围成的图像区域,以作为所述目标图像在所述测试图像中的目标位置信息。在一些实施例中,多个标注图像在第一图像中的布局信息包括但不限于布局形状(例如圆形或矩形),布局信息的获取方式包括但不限于用户手动输入、从配置信息中提取等。例如,从二维码信息中获取的配置信息已经包括多个标注图像在第一图像中的布局信息,布局信息是“布局形状为圆形”,在测试图像上,将尽可能多的标注图像的中心点用一个圆形连接起来,以此围成一个闭合的圆形区域,将这个圆形区域作为目标图像在测试图像中的目标位置信息,目标图像位于这个圆形区域的内部。
图2示出了根据本申请一个实施例的一种生成测试数据的方法流程图,该方法包括步骤S21。在步骤S21中,用户设备对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
在步骤S21中,用户设备对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。在一些实施例中,图像变换操作包括但不限于在不同的距离或角度或外界环境下对第一图像进行相机拍摄或录制、对第一图像的图像数据执行图像变换矩阵运算或者上述图像变换操作的任意组合,当第一图像与测试图像之前是仿射变换时,需要至少3个标注图像,当第一图像与测试图像之前是摄影变换时,需要至少4个标注图像。
在一些实施例中,每个标注图像分布在所述目标图像的外周。为了不干扰目标图像后续的使用,将标注图像分布在所述目标图像的外周。标注图像可以分布在目标图像的内部,此时,当后续继续使用目标图像时,需要在测试图像中去掉标注图像,并将原来的目标图像补全,这样测试图像对应着一个不含标注图像的第二测试图像,目标图像在测试图像和第二测试图像上的位置信息相同,若测试图像是基于相机斜着拍摄第一图像生成的,标注图像可能会变形,这种情况下,在测试图像中去掉标注图像、补全目标图像的操作可能会出现误差,优选地,每个标注图像分布在目标图像的外周。
在一些实施例中,所述图像变换操作包括但不限于:
1)对所述第一图像执行图像拍摄操作
例如,将第一图像放在显示器上显示或者打印出来,以供通过摄像装置对第一图像执行图像拍摄、录制操作。
2)通过不同的摄像装置和/或从不同的拍摄位姿和/或在不同的拍摄环境下对所述第一图像执行图像拍摄操作
例如,通过不同的摄像装置(例如不同像素、不同焦距、不同曝光参数的摄像装置)、不同的拍摄位姿(例如俯视拍摄、仰视拍摄、平视拍摄)、不同的拍摄环境(例如,不同光照、不同遮挡、不同噪声、不同背景的拍摄环境),对第一图像执行图像拍摄操作,生成多个不同的测试图像。
3)对所述第一图像的图像信息执行图像变换矩阵运算
例如,获取第一图像对应的像素矩阵,将该像素矩阵作为第一图像的图像信息,将该像素矩阵乘以一个或多个图像变换矩阵,得到一个新的像素矩阵,根据这个新的像素矩阵,生成新的图像,其中,图像变换矩阵包括但不限于平移变换矩阵、旋转变换矩阵、缩放变换矩阵等。
4)利用不同的图像变换矩阵对所述第一图像的图像信息执行图像变换矩阵运算
例如,将第一图像对应的像素矩阵乘以一个或多个不同的平移变换矩阵、旋转变换矩阵、缩放变换矩阵以及以上所述变换矩阵的组合,得到多个不同的像素矩阵,并根据多个不同的像素矩阵,生成多个不同的测试图像。
5)以上所述图像变换操作的任意组合
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,所述二维码信息中包括所述第一图像对应的配置信息。例如,二维码信息叠加放置在背景图像上,放置位置只要不遮挡目标图像和标注图像即可,二维码信息中存储的第一图像对应的配置信息包括但不限于目标图像的标识、目标图像在第一图像中的分辨率、目标图像在第一图像中的位置信息、标注图像在第一图像中的分辨率、标注图像在第一图像中的位置信息、标注图像在第一图像中相对目标图像的位置信息、二维码在第一图像中的分辨率等。
在一些实施例中,所述背景图像与所述标注图像在所述第一图像中的灰度差值大于或等于预定的灰度阈值信息。例如,根据背景图像的颜色、标注图像的颜色确定灰度阈值,可选地,拍摄环境的光线明暗等影响因素,也可以用来确定灰度阈值。当背景图像与标注图像在第一图像中的灰度差值大于或等于该灰度阈值时,可以减少背景图像对识别标注图像的干扰,优选地,背景图像是灰色,标注图像可以由黑白相间的图形组成。
在一些实施例中,所述标注图像包括多个图形,每个图形对应单一灰度值,所述多个图形中每相邻的两个图形之间的灰度差值大于或等于预定的灰度阈值信息。例如,可以根据相邻的两个图形之间的颜色确定灰度阈值,可选地,背景图像的颜色和/或拍摄环境的光线明暗等影响因素,也可以用来确定灰度阈值。当每相邻的两个图形之间的灰度差值大于或等于该灰度阈值时,可以提高标注图像的识别率,减少对识别标注图像的干扰,其中,每个图形的形状包括但不限于矩形、圆形、二维码中的回型等。
在一些实施例中,所述标注图像包括多个黑白相间的图形。例如,标注图像是黑白相间的方形块,因为黑色灰度值是0,白色灰度值是255,黑白颜色对比最大,能尽量减少对识别标注图像的干扰。
在一些实施例中,深度学习往往需要大量的训练集来训练模型,例如一个人脸识别的深度学习模型,其需要的训练集是含有人脸的图像,然而现有的人脸图像的获取方式如下:用摄像机拍摄场景中的人,获取含有人体上半身或者全身的一帧帧视频图像,然后采用人工的方式从该视频图像中标出头肩以上包含人脸位置,以获取训练集,如图10所示,红色框是最终需要使用的训练集样本,然而这种方法费时费力,庞大的训练集需要大量的人力和时间开销,并且,不同的人员,对于点击标记的位置会有很大的差异性,即便是同一个人在不同的时刻对同一个标注点位置的判断也是不一样的,因此,本申请能够替代人工,自动获取训练数据。仍以上述识别模型为例,可以在真实环境中人的头部上方、两个肩部分别设置标注图像,此时,目标图像是真实环境中人的头肩部分,标注图像是真实环境中设置在头部上方、两个肩部的标注图像,背景图像是人所在的真实环境,第一图像是包括目标图像、标注图像与背景图像在内的场景,然后利用摄像机拍摄该场景,将拍摄后的一帧帧视频图像作为测试图像,并识别测试图像中的标注图像的位置,根据这三个标注图像与人体头肩的位置关系,得到测试图像中人体头肩的位置,以获得对应的训练集图像。
在一些实施例中,目标检测是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小,其中目标是指图像中包含目标的图像区域,也称目标图像。然而目标检测算法可能无法检测全部的目标,特别是纹理少、特征不明显的目标,类似地,对利用检测算法很难定位的目标,仍以上述识别模型为例,可以在目标图像周围设置标注图像,背景图像是图像中除了目标图像与标注图像以外的其他部分图像,将包括目标图像、标注图像与背景图像在内的场景作为第一图像,然后利用摄像机拍摄该场景,将拍摄后的一帧帧视频图像作为测试图像,识别含有目标图像、标注图像与背景图像的测试图像,当识别到标注图像在测试图像中的位置时,根据标注图像与目标之间的位置关系,可以获得该目标的位置,从而克服了目标定位的难题。
图3示出了根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的设备,该设备包括一一模块11、一二模块12和一三模块13。一一模块11,用于获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;一二模块12,用于确定所述标注图像在所述测试图像中的标注位置信息;一三模块13,用于根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
一一模块11,用于获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
一二模块12,用于确定所述标注图像在所述测试图像中的标注位置信息。
一三模块13,用于根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
一一模块11,用于获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。在一些实施例中,为了从测试图像中更好的识别标注图像,可以将标注图像选择为黑白相间的,介于黑白之前的颜色是灰色,所以可以将背景图像选择为灰色,这样可以减少对识别标注图像的干扰。除了灰色之外,背景图像也可以是其他纯色或非纯色的复杂背景,只要能够识别标注图像即可,另外,标注图像可以选择差异较大的两个颜色,优选地,为了增加标注图像的识别率,可以选择黑白相间,因为黑白颜色的对比最大。标注图像的形状可以是圆形、二维码中的回型、一黑一白的同心圆等,优选地,标注图像由2黑2白的方形块组成,另外,标注图像也可以是黑白相间的两块或多块,通过对第一图像在不同的距离或角度下进行相机拍摄、录制,或者,通过对第一图像的图像数据执行图像变换矩阵运算,从而得到测试图像,其中,在拍摄、录制第一图像生成测试图像时,尽量保证第一图像的任何区域不跑出拍摄或录制的视野范围,即要保证第一图像在测试图像中的图像完整性。
一二模块12,用于确定所述标注图像在所述测试图像中的标注位置信息。在一些实施例中,通过获取标注图像的初选中心点的位置信息,并对初选中心点的位置信息进行亚像素级角点检测,得到标注图像的精确中心点的位置信息。亚像素级角点检测用于通过角点检测将图像识别得到的整数坐标值进一步生成更高精度的实数坐标值,来满足几何测量或标注的精度需求。
一三模块13,用于根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。在一些实施例中,若第一图像与测试图像之间是仿射变换,通过获取至少3个标注图像分别在第一图像和测试图像上的位置信息,可以确定第一图像与测试图像之间的变换矩阵,若第一图像与测试图像之间是摄影变换,通过获取至少4个标注图像分别在第一图像和测试图像上的位置信息,可以确定第一图像与测试图像之间的变换矩阵,根据目标图像在第一图像上的位置信息与变换矩阵,可以计算出目标图像在测试图像上的位置信息。在一些实施例中,若至少4个标注图像的中心点与目标图像的4个角点完全重合,此时,该至少4个标注图像对应的标注位置信息(标注图像1中心点坐标(X1,Y1),标注图像2中心点坐标(X2,Y2),标注图像3中心点坐标(X3,Y3),标注图像4中心点坐标(X4,Y4))就是目标图像在测试图像中的目标位置信息(角点1坐标(X1,Y1),角点2坐标(X2,Y2),角点3坐标(X3,Y3),角点4坐标(X4,Y4))。
在一些实施例中,所述一二模块12用于:从所述测试图像中识别出所述标注图像,并确定所述标注图像在所述测试图像中的标注位置信息。例如,以标注图像的主要特征为基础,通过图像处理技术,从测试图像中识别出标注图像,并确定标注图像的初选中心点在测试图像中的位置信息,并对初选中心点的位置信息进行亚像素级角点检测,得到标注图像的精确中心点的位置信息。
在一些实施例中,所述一二模块12包括一二一模块121(未示出)、一二二模块122(未示出)和一二三模块123(未示出),一二一模块121,用于确定所述标注图像在所述测试图像中的特征信息;一二二模块122,用于根据所述特征信息,从所述测试图像中识别出所述标注图像;一二三模块123,用于确定所述标注图像在所述测试图像中的标注位置信息。例如,特征信息包括但不限于标注图像在测试图像上的分辨率、标注图像与背景图像的颜色差异等,特征信息用于从测试图像中更准确更快捷地识别出标注图像。特征信息可以通过由用户手动的方式获取,标注图像在测试图像上的分辨率可以通过用户手动测量标注图像的方式获取,标注图像与背景图像的颜色差异也可以通过手动的方式获取,例如,在测试图像上,手动选取标注图像点和背景图像点来计算色差。或者,标注图像与背景图像的颜色差异也可以根据经验取一个固定值,或者,可以根据经验取一个固定计算比例,比如标注图像是黑白相间的方形块,背景图像是灰色,标注图像和背景图像的色差值可以取黑色或白色与灰色的灰度差值,或者,可以将黑色或白色与灰色的灰度差值除以一个固定计算比例(例如2.5、3等),优选地,为了使黑白色的标注图像和灰色背景图像有更好的宽容度,色差值可以取黑色或白色与灰色的灰度差值的一半。又或者,标注图像与背景图像的颜色差异也可以通过自适应阈值的方式获取,例如最大类间方差法或大津法等方法。根据标注图像在测试图像上的分辨率、标注图像与背景图像的颜色差异,通过图像处理技术,从所述测试图像中识别出标注图像,并确定标注图像的初选中心点在测试图像中的位置信息,并对初选中心点的位置信息进行亚像素级角点检测,得到标注图像的精确中心点的位置信息。
在一些实施例中,所述设备还包括一四模块14(未示出),一四模块14用于获取与所述第一图像对应的配置信息;其中,所述一二模块12用于:根据所述配置信息,确定所述标注图像在所述测试图像中的特征信息。例如,配置信息包括但不限于目标图像的标识、目标图像在第一图像中的分辨率、目标图像在第一图像中的位置信息、标注图像在第一图像中的分辨率、标注图像在第一图像中的位置信息、标注图像在第一图像中相对目标图像的位置信息等,其中,目标图像在第一图像中的位置信息可以是目标图像的四个角点在第一图像中的坐标,标注图像在第一图像中的位置信息可以是标注图像的中心点在第一图像中的坐标。通过目标图像在第一图像中的分辨率、标注图像在第一图像中的分辨率、至少一个标注图像的中心点在第一图像中的坐标,可以间接计算出目标图像的四个角点在第一图像中的坐标,或者,通过标注图像在第一图像中的分辨率、至少三个标注图像的中心点在第一图像中的坐标,也可以间接计算出目标图像的四个角点在第一图像中的坐标。标注图像相对于目标图像的四个角点的位置是没有限定的,只要能够通过标注图像的位置推算出目标图像的位置即可,优选地,为了计算简洁,如图6中所示,可以在目标图像的四个角点上放置标注图像,如果为了减弱标注图像对目标图像的干扰。如图7中所示,同样也可以将标注图像放置的位置离目标图像的四个角点远离一定的距离,此时,配置信息中还应该包括远离的距离,配置信息的获取方式包括但不限于读取二维码信息、读取配置文件、用户手动输入等,通过配置信息可以计算得到标注图像在测试图像上的分辨率、标注图像与背景图像的颜色差异等特征信息。
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,其中,所述一四模块14用于:从所述测试图像中识别出所述二维码信息,并从所述二维码信息中获取与所述第一图像对应的配置信息。例如,将二维码信息放置在第一图像的背景图像中,二维码信息没有固定的放置位置,放置位置只要不遮挡目标图像、标注图像即可,二维码信息中存储着与第一图像对应的配置信息,通过OpenCV提供的QRCodeDetector类,可以从测试图像中定位、识别出二维码信息,并从二维码信息中解码得到与第一图像对应的配置信息,其中,OpenCV是一个开源的跨平台计算机视觉库,可以运行在Linux、Windows、Android、Mac OS等操作系统上,其实现了图像处理和计算机视觉方面的很多通用算法,QRCodeDetector类封装了OpenCV提供的用于定位、识别和解码二维码信息的接口,此外,QRCodeDetector类还可以获取二维码信息在测试图像上的分辨率,此时,配置信息中还应该包括二维码信息在第一图像中的分辨率。
在一些实施例中,所述一四模块14用于:从所述测试图像对应的配置文件中获取与所述第一图像对应的配置信息。例如,配置文件的文件类型包括但不限于xml格式、txt格式等,配置文件中存储着与第一图像对应的配置信息,通过读取配置文件,可以获取到与第一图像对应的配置信息。
在一些实施例中,所述配置信息包括但不限于:
1)所述目标图像的标识
在一些实施例中,测试图像上的目标图像可能有多个,需要根据目标图像的标识信息来找到对应的目标图像,目标图像的标识包括但不限于目标图像的图像名称、图像ID等,例如,目标图像的标识可以是“人脸A”,或者,标识可以是“Targrt001”。
2)所述目标图像在所述第一图像中的分辨率
例如,目标图像在第一图像中的分辨率是“1200*1300”。
3)所述目标图像在所述第一图像中的位置信息
在一些实施例中,目标图像在第一图像中的位置信息可以是目标图像的四个角点在第一图像中的坐标,例如,“角点1(X1,Y1),角点2(X2,Y2),角点3(X3,Y3),角点4(X4,Y4)”,或者,还可以是目标图像的中心点在第一图像中的坐标和该中心点与目标图像的四个角点在第一图像中的距离信息,,或者,还可以是目标图像任意点在第一图像中的坐标和该点与目标图像的四个角点在第一图像中的距离信息。
4)所述标注图像在所述第一图像中的分辨率
例如,标注图像在第一图像中的分辨率是“120*130”。
5)所述标注图像在所述第一图像中的位置信息
在一些实施例中,标注图像在第一图像中的位置信息可以是标注图像的中心点在第一图像中的坐标,例如,“中心点(X0,Y0)”,或者,还可以是标注图像任意点(例如标注图像的任一角点)在第一图像中的坐标(X1,Y1)。
6)所述标注图像在所述第一图像中相对所述目标图像的位置信息
在一些实施例中,该位置信息可以是标注图像相对于目标图像对应的某一个角点的相对坐标,该相对坐标通常以该角点为坐标原点,例如,“相对于目标图像的左上角点(X1,Y1)”。
在一些实施例中,所述标注图像在所述测试图像中的特征信息包括所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值。例如,特征信息可以通过用户手动输入的方式获取,用户手动测量标注图像在测试图像中的分辨率,用户手动选取标注图像上的点和背景图像上的点来计算灰度差。若背景图像是纯色背景,用户可以分别在标注图像和背景图像中取一个关键像素点计算灰度差值,将该灰度差值作为标注图像与背景图像在测试图像中的灰度差值。若背景图像是非纯色的复杂背景,用户可以在背景图像中取若干个关键像素点,可以通过计算得到标注图像与若干个关键像素点的多个灰度差,并对多个灰度差求平均得到平均灰度差值,将平均灰度差值作为标注图像与背景图像在测试图像中的灰度差值,然后用户将标注图像在测试图像中的分辨率以及标注图像与背景图像在测试图像中的灰度差值手动输入用户设备。又例如,标注图像与背景图像的颜色差异也可以根据经验取一个固定值,或者,可以根据经验取一个固定计算比例,若标注图像是黑白相间的方形块,若背景图像是灰色,标注图像和背景图像的色差值可以取黑色或白色与灰色的灰度差值,或者,可以将黑色或白色与灰色的灰度差值除以一个固定计算比例(例如2.5、3等),优选地,为了使黑白色的标注图像和灰色背景图像有更好的宽容度,色差值可以取黑色或白色与灰色的灰度差值的一半。又例如,标注图像与背景图像在测试图像中的灰度差值也可以通过自适应阈值的方式获取,例如最大类间方差法或大津法等方法。
在一些实施例中,所述标注图像在所述测试图像中的特征信息包括所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值,其中,所述一二一模块121包括一二一一模块1211(未示出)和一二一二模块1212(未示出),一二一一模块1211,用于确定所述标注图像在所述测试图像中的分辨率;一二一二模块1212,用于确定所述背景图像与所述标注图像在所述测试图像中的灰度差值。例如,通过读取二维码信息中的配置信息,获取配置信息中的标注图像在第一图像中的分辨率、二维码信息在第一图像中的分辨率,并基于二维码在测试图像上的分辨率,计算得到标注图像在测试图像中的分辨率,背景图像与标注图像在测试图像中的灰度差值可以基于二维码信息与背景图像的灰度差值间接计算得到。
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,其中,所述一四模块14用于:从所述测试图像中识别出所述二维码信息,并从所述二维码信息中获取与所述第一图像对应的配置信息,其中,所述配置信息包括所述标注图像在所述第一图像中的分辨率及所述二维码信息在所述第一图像中的分辨率;其中,所述一二一一模块1211用于:获取所述二维码信息在所述测试图像中的分辨率,并根据所述标注图像在所述第一图像中的分辨率以及所述二维码信息在所述第一图像中的分辨率,确定所述标注图像在所述测试图像中的分辨率。例如,从测试图像中识别出二维码信息,并从二维码信息中获取标注图像在第一图像中的分辨率、二维码信息在第一图像中的分辨率,并根据二维码在测试图像上的分辨率,计算得到标注图像在测试图像中的分辨率,计算公式为:标注图像在测试图像中的分辨率=二维码在测试图像上的分辨率*(标注图像在第一图像中的分辨率/二维码信息在第一图像中的分辨率)。
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,所述标注图像包括多个黑白相间的图形;其中,所述一二一二模块1212用于:在所述测试图像的所述二维码信息中确定第一样点并获取所述第一样点对应的第一灰度信息;在所述测试图像的所述背景图像中确定第二样点并获取所述第二样点对应的第二灰度信息;根据所述第一灰度信息和所述第二灰度信息,确定所述背景图像与所述标注图像在所述测试图像中的灰度差值。在一些实施例中,黑白相间的图形包括但不限于黑白相间的方形块、黑白相间的同心圆等,第一样点和第二样点可以是一个或多个,当背景图像是非纯色时,可以根据多个样点的灰度值求平均来计算出背景图像与标注图像在测试图像中的灰度差值。在一些实施例中,如图8中所示,标注图像是黑白相间的方形块,背景图像是灰色背景,将二维码左上角距离为a的位置定为第一样点A点,A点的灰度值是GA,将二维码左上角距离为b的位置定为第二样点B点,B点的灰度值是GB,以确保A点在二维码中的白色区域,B点在背景图像的灰色区域,为使黑白色的标注图像能和背景灰色有更好的宽容度,取A点与B点的灰度差值(GA-GB)的一半作为背景图像与标注图像在测试图像中的灰度差值,具体计算公式为:背景图像与标注图像在测试图像中的灰度差值=(A点灰度值-B点灰度值)/2,也可以根据经验取固定值或将该固定值除以一个固定计算比例(例如2.5、3等),例如,将白色或黑色与灰色的灰度差值作为背景图像与标注图像在测试图像中的灰度差值,或者,将白色或黑色与灰色的灰度差值除以2.5的结果作为背景图像与标注图像在测试图像中的灰度差值。
在一些实施例中,所述一二二模块122用于:根据所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值,从所述测试图像中识别出所述标注图像。例如,将标注图像在测试图像中的分辨率以及背景图像与标注图像在测试图像中的灰度差值作为标注图像的关键图像特征,通过图像处理技术,从测试图像中的识别出标注图像。
在一些实施例中,所述一二二模块122用于:根据所述标注图像在所述测试图像中的分辨率,对所述测试图像进行滤波,得到滤波后的测试图像;根据所述背景图像与所述标注图像在所述测试图像中的灰度差值,从所述滤波后的测试图像中提取黑色区域图像或白色区域图像;通过检测所述黑色区域图像或白色区域图像中的目标轮廓,从所述测试图像中识别出所述标注图像。例如,根据标注图像在测试图像中的分辨率,对测试图像进行滤波,得到滤波图像,优选地,该滤波可以是均值滤波,也可以是中值滤波,其中,均值滤波是线性滤波算法,是指在图像上对目标像素给一个模板,该模板包括了其周围的临近像素,再用模板中的全体像素的平均值来代替原来的像素值,例如,标注图像是黑白相间的方形块,标注图像在测试图像中的分辨率是3*3,利用3*3的模板进行均值滤波,模板中心点的像素值等于周围9个点像素值的平均值,不断滑动该模板进行遍历,依次获得每个点的像素值,为了滤波尺度的平滑性,保证滤波前后更大的差异性,模板的分辨率要大于或等于标注图像在测试图像中的分辨率,均值滤波会使图像更加的平滑,测试图像中滤波前后差异值比较大的地方,就是测试图像中的黑白区域图像,若测试图像中的某个区域在均值滤波后的灰度值与均值滤波前的灰度值的差值,大于标注图像与背景图像的灰度差值,该区域被认为是测试图像中的黑色区域,若测试图像中的某个区域在均值滤波前的灰度值与均值滤波后的灰度值的差值,大于标注图像与背景图像的灰度差值,该区域被认为是测试图像中的白色区域,具体计算公式为:黑色区域图像=(均值滤波图像-均值滤波前的图像)>标注图像与背景图像的灰度差值,白色区域图像=(均值滤波前的图像-均值滤波图像)>标注图像与背景图像的灰度差值,然后提取黑色或白色区域的轮廓,可以利用传统的边缘检测算子(例如Sobel算子、Prewitt算子、Canny算子等)检测目标轮廓,或者,从人类视觉系统中提取可以使用的数学模型,通过训练集和标签来训练,学习目标轮廓检测模型,然后对待测图形进行检测,从而获得目标轮廓,其中,基于边缘检测算子的轮廓检测方法是一种低层视觉行为,它主要定义了亮度、颜色等特征的低层突变,通过标识图像中亮度变化明显的点来完成边缘检测,并通过将提取到的黑色或白色区域的轮廓进行过滤和筛选,从测试图像中识别出黑白相间的标注图像。又例如,当无法获取到背景图像与标注图像在测试图像中的灰度差值时,也可以采用自适应阈值,通过OTSU(最大类间方差法或大津法)获得背景图像与标注图像在测试图像中的灰度阈值a,并设定黑色区域灰度阈值b=a*p,其中,0<p<=1,设定白色区域灰度阈值c=a*q,其中,q>=1,因此黑色区域图像为测试图像中灰度小于b的区域,白色区域图像为测试图像中灰度大于c的区域,以此即可提取到测试图像中的黑色与白色区域图像,其中,OTSU是一种确定图像二值化分割阈值的算法,按照大津法求得的阈值进行图像二值化分割后,前景与背景图像的类间方差最大,是图像分割中阈值选取的最佳算法,计算简单,不受图像亮度和对比度的影响。
在一些实施例中,标注图像包括多个黑白相间的图形,通过提取测试图像中黑色区域图像的轮廓,从测试图像中识别出黑白相间的标注图像,并确定所述标注图像在测试图像中的标注位置信息,在一些实施例中,包括:取每一个黑色区域图像轮廓的最小面积矩形,可以通过先使用格雷厄姆法求解目标图像的凸壳,再使用旋转或投影的方式求取最小面积矩形,从而得到每个黑色区域图像轮廓的宽度、高度及中心点,从中去除掉宽度、高度比较小的轮廓,因为标注图像在测试图像中不会特别小,并去除掉宽度与高度的差值比较大的点,因为标注图像在图像中是个相对“正”的四边形(相对于长的形状),从而得到了初选轮廓,并将这些轮廓的宽度、高度及中心点保存下来,在初选得到的轮廓中逐个寻找与自己中心点(每个标注图像轮廓中心点)距离最近的轮廓中心点,如果这个距离大于标注图像在测试图像中的分辨率就丢弃掉这对轮廓,否则,如图9中所示,计算以这两个中心点(A、B点)为对角线的构成的正方形的另外两个点(C、D点)的坐标,然后判断C、D点是否都在白色区域图像上,如果是,则继续判断形状差异,如果不是,就丢弃。最后判断A、B点形状差异比较小(例如,通过设定一个阈值,低于该阈值就满足条件),具体计算公式为:A、B点形状差异=A点宽度+A点高度-B点宽度-B点宽度,其中,A点宽度、A点高度、B点宽度、B点高度是指以A点、B点为中心的轮廓的宽度、高度,如果以上条件都满足就记录下A点与B点连线的中点O点的坐标,计算公式为O点坐标=(A点坐标+B点坐标)/2,满足条件的O点认为是标注图像的初选中心点,判断O点的个数是否满足条件,例如O点的个数是否等于4,,如果不满足条件就停止执行后续步骤,如果满足条件,就对这4个O点进行亚像素级角点检测,进而得到标注图像的精确中心点。
在一些实施例中,所述设备还包括一五模块15(未示出),一五模块15用于获取所述目标图像在所述第一图像中的位置信息以及所述标注图像在所述第一图像中的位置信息;其中,所述一三模块13用于:根据所述多个标注图像对应的多个标注位置信息以及所述标注图像在所述第一图像中的位置信息,确定所述第一图像与所述测试图像之间的坐标变换矩阵;根据所述坐标变换矩阵,以及所述目标图像在所述第一图像中的位置信息,确定所述目标图像在所述测试图像中的目标位置信息。在一些实施例中,目标图像在第一图像中的位置信息可以是目标图像的四个角点在第一图像中的坐标,标注图像在第一图像中的位置信息可以是标注图像的中心点在第一图像中的坐标,获取这两个坐标的方式包括但不限于用户手动输入、从二维码或配置文件对应的配置信息中直接提取、根据从配置信息中提取的其他参数计算得到。例如,从二维码信息中获取的配置信息中已经包括目标图像的四个角点在第一图像中的坐标、多个标注图像的中心点在第一图像中的坐标,直接从配置信息中提取即可,或者,当标注图像与目标图像的相对位置确定后,从二维码信息中获取的配置信息中包括标注图像在第一图像中的分辨率以及至少3个标注图像的中心点在第一图像中的坐标,可以间接计算出目标图像的四个角点在第一图像中的坐标、多个标注图像的中心点在第一图像中的坐标,或者,从二维码信息中获取的配置信息中包括目标图像在第一图像中的分辨率、标注图像在第一图像中的分辨率以及至少1个标注图像的中心点在第一图像中的坐标,同样也可以间接计算出目标图像的四个角点在第一图像中的坐标、多个标注图像的中心点在第一图像中的坐标。当第一图像与测试图像之间是仿射变换时,根据至少3个标注图像的中心点在第一图像以及测试图像中的坐标,可以计算出第一图像与测试图像之间的坐标变换矩阵,或者,当第一图像与测试图像之间是摄影变换时,根据至少4个标注图像的中心点在第一图像以及测试图像中的坐标,同样也可以计算出第一图像与测试图像之间的坐标变换矩阵,坐标变换矩阵是3*4的矩阵,包括3*3的内参矩阵和3*4的外参矩阵,其中,外参矩阵包含3*3的旋转矩阵和3*1的平移向量,目标图像在测试图像中的目标位置信息可以是目标图像的四个角点在测试图像中的坐标,根据坐标变换矩阵以及目标图像的四个角点在第一图像中的坐标,可以计算出目标图像的四个角点在测试图像中的坐标。
在一些实施例中,若至少4个标注图像的中心点与目标图像的4个角点重合,所述一三模块13用于:将所述至少4个标注图像对应的4个标注位置信息作为目标图像在所述测试图像中的目标位置信息。例如,若至少4个标注图像的中心点与目标图像的4个角点完全重合,此时,该至少4个标注图像对应的标注位置信息(标注图像1中心点坐标(X1,Y1),标注图像2中心点坐标(X2,Y2),标注图像3中心点坐标(X3,Y3),标注图像4中心点坐标(X4,Y4))就是目标图像在测试图像中的目标位置信息(角点1坐标(X1,Y1),角点2坐标(X2,Y2),角点3坐标(X3,Y3),角点4坐标(X4,Y4)),而无需通过计算坐标变换矩阵来间接得到目标图像在测试图像中的目标位置信息。
在一些实施例中,所述一三模块13用于:根据所述多个标注图像对应的多个标注位置信息,确定所述多个标注位置信息在所述测试图像上围成的图像区域,以作为所述目标图像在所述测试图像中的目标位置信息。例如,在测试图像上,将一个标注图像的中心点与距离它最近的标注图像的中心点用线段连起来,遍历测试图像上的所有标注图像,以此围成一个闭合的图像区域,将这个图像区域作为目标图像在测试图像中的目标位置信息,目标图像位于这个图像区域的内部。。
在一些实施例中,所述设备还包括一六模块16(未示出),一六模块16用于获取所述多个标注图像在所述第一图像中的布局信息;其中,所述一三模块13用于:根据所述多个标注图像对应的多个标注位置信息,并结合所述多个标注图像在所述第一图像中的布局信息,确定所述多个标注位置信息在所述测试图像上围成的图像区域,以作为所述目标图像在所述测试图像中的目标位置信息。在一些实施例中,多个标注图像在第一图像中的布局信息包括但不限于布局形状(例如圆形或矩形),布局信息的获取方式包括但不限于用户手动输入、从配置信息中提取等。例如,从二维码信息中获取的配置信息已经包括多个标注图像在第一图像中的布局信息,布局信息是“布局形状为圆形”,在测试图像上,将尽可能多的标注图像的中心点用一个圆形连接起来,以此围成一个闭合的圆形区域,将这个圆形区域作为目标图像在测试图像中的目标位置信息,目标图像位于这个圆形区域的内部。
图4示出了根据本申请一个实施例的一种生成测试数据的设备,该设备包括二一模块21。二一模块21,用于对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
二一模块21,用于对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。在一些实施例中,图像变换操作包括但不限于在不同的距离或角度或外界环境下对第一图像进行相机拍摄或录制、对第一图像的图像数据执行图像变换矩阵运算或者上述图像变换操作的任意组合,当第一图像与测试图像之前是仿射变换时,需要至少3个标注图像,当第一图像与测试图像之前是摄影变换时,需要至少4个标注图像。
在一些实施例中,每个标注图像分布在所述目标图像的外周。为了不干扰目标图像后续的使用,将标注图像分布在所述目标图像的外周。标注图像可以分布在目标图像的内部,此时,当后续继续使用目标图像时,需要在测试图像中去掉标注图像,并将原来的目标图像补全,这样测试图像对应着一个不含标注图像的第二测试图像,目标图像在测试图像和第二测试图像上的位置信息相同,若测试图像是基于相机斜着拍摄第一图像生成的,标注图像可能会变形,这种情况下,在测试图像中去掉标注图像、补全目标图像的操作可能会出现误差,优选地,每个标注图像分布在目标图像的外周。
在一些实施例中,所述图像变换操作包括但不限于:
1)对所述第一图像执行图像拍摄操作
例如,将第一图像放在显示器上显示或者打印出来,以供通过摄像装置对第一图像执行图像拍摄、录制操作。
2)通过不同的摄像装置和/或从不同的拍摄位姿和/或在不同的拍摄环境下对所述第一图像执行图像拍摄操作
例如,通过不同的摄像装置(例如不同像素、不同焦距、不同曝光参数的摄像装置)、不同的拍摄位姿(例如俯视拍摄、仰视拍摄、平视拍摄)、不同的拍摄环境(例如,不同光照、不同遮挡、不同噪声、不同背景的拍摄环境),对第一图像执行图像拍摄操作,生成多个不同的测试图像。
3)对所述第一图像的图像信息执行图像变换矩阵运算
例如,获取第一图像对应的像素矩阵,将该像素矩阵作为第一图像的图像信息,将该像素矩阵乘以一个或多个图像变换矩阵,得到一个新的像素矩阵,根据这个新的像素矩阵,生成新的图像,其中,图像变换矩阵包括但不限于平移变换矩阵、旋转变换矩阵、缩放变换矩阵等。
4)利用不同的图像变换矩阵对所述第一图像的图像信息执行图像变换矩阵运算
例如,将第一图像对应的像素矩阵乘以一个或多个不同的平移变换矩阵、旋转变换矩阵、缩放变换矩阵以及以上所述变换矩阵的组合,得到多个不同的像素矩阵,并根据多个不同的像素矩阵,生成多个不同的测试图像。
5)以上所述图像变换操作的任意组合
在一些实施例中,所述第一图像还包括叠加于所述背景图像的二维码信息,所述二维码信息中包括所述第一图像对应的配置信息。例如,二维码信息叠加放置在背景图像上,放置位置只要不遮挡目标图像和标注图像即可,二维码信息中存储的第一图像对应的配置信息包括但不限于目标图像的标识、目标图像在第一图像中的分辨率、目标图像在第一图像中的位置信息、标注图像在第一图像中的分辨率、标注图像在第一图像中的位置信息、标注图像在第一图像中相对目标图像的位置信息、二维码在第一图像中的分辨率等。
在一些实施例中,所述背景图像与所述标注图像在所述第一图像中的灰度差值大于或等于预定的灰度阈值信息。例如,根据背景图像的颜色、标注图像的颜色确定灰度阈值,可选地,拍摄环境的光线明暗等影响因素,也可以用来确定灰度阈值。当背景图像与标注图像在第一图像中的灰度差值大于或等于该灰度阈值时,可以减少背景图像对识别标注图像的干扰,优选地,背景图像是灰色,标注图像可以由黑白相间的图形组成。
在一些实施例中,所述标注图像包括多个图形,每个图形对应单一灰度值,所述多个图形中每相邻的两个图形之间的灰度差值大于或等于预定的灰度阈值信息。例如,可以根据相邻的两个图形之间的颜色确定灰度阈值,可选地,背景图像的颜色和/或拍摄环境的光线明暗等影响因素,也可以用来确定灰度阈值。当每相邻的两个图形之间的灰度差值大于或等于该灰度阈值时,可以提高标注图像的识别率,减少对识别标注图像的干扰,其中,每个图形的形状包括但不限于矩形、圆形、二维码中的回型等。
在一些实施例中,所述标注图像包括多个黑白相间的图形。例如,标注图像是黑白相间的方形块,因为黑色灰度值是0,白色灰度值是255,黑白颜色对比最大,能尽量减少对识别标注图像的干扰。
图5示出根据本申请一个实施例的一种确定测试图像中的目标图像的位置信息的方法流程图。
如图5所示,先通过指定的需要标注的测试数据(例如,视频、图片等)文件路径,其中,测试数据是将原始图像数据经过拍摄后生成的,然后从用户设备中读取测试数据,从测试数据中识别出二维码信息,从二维码信息中提取与原始图像数据对应的配置信息,根据配置信息确定标注图像在测试数据中的特征信息,根据特征信息从测试数据中识别出标注图像,并确定标注图像在测试数据中的标注位置信息,根据多个标注图像对应的多个标注位置信息,确定目标图像在测试数据中的目标位置信息,并将目标位置信息按照一定的格式记录下来。
图11示出了可被用于实施本申请中所述的各个实施例的示例性系统。
如图11所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、持有计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (28)

1.一种确定测试图像中的目标图像的位置信息的方法,其中,所述方法包括:
获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;
确定所述标注图像在所述测试图像中的标注位置信息;
根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
2.根据权利要求1所述的方法,其中,所述确定所述标注图像在所述测试图像中的标注位置信息,包括:
从所述测试图像中识别出所述标注图像,并确定所述标注图像在所述测试图像中的标注位置信息。
3.根据权利要求2所述的方法,其中,所述确定所述标注图像在所述测试图像中的标注位置信息,包括:
确定所述标注图像在所述测试图像中的特征信息;
根据所述特征信息,从所述测试图像中识别出所述标注图像;
确定所述标注图像在所述测试图像中的标注位置信息。
4.根据权利要求3所述的方法,其中,所述方法还包括:
获取与所述第一图像对应的配置信息;
其中,所述确定所述标注图像在所述测试图像中的特征信息,包括:
根据所述配置信息,确定所述标注图像在所述测试图像中的特征信息。
5.根据权利要求4所述的方法,其中,所述第一图像还包括叠加于所述背景图像的二维码信息;
其中,所述获取与所述第一图像对应的配置信息,包括:
从所述测试图像中识别出所述二维码信息,并从所述二维码信息中获取与所述第一图像对应的配置信息。
6.根据权利要求4所述的方法,其中,所述获取与所述第一图像对应的配置信息,包括:
从所述测试图像对应的配置文件中获取与所述第一图像对应的配置信息。
7.根据权利要求4至6中任一项所述的方法,其中,所述配置信息包括以下至少一项:
所述目标图像的标识;
所述目标图像在所述第一图像中的分辨率;
所述目标图像在所述第一图像中的位置信息;
所述标注图像在所述第一图像中的分辨率;
所述标注图像在所述第一图像中的位置信息;
所述标注图像在所述第一图像中相对所述目标图像的位置信息。
8.根据权利要求3所述的方法,其中,所述标注图像在所述测试图像中的特征信息包括所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值。
9.根据权利要求4所述的方法,其中,所述标注图像在所述测试图像中的特征信息包括所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值;
其中,所述确定所述标注图像在所述测试图像中的特征信息,包括:
确定所述标注图像在所述测试图像中的分辨率;
确定所述背景图像与所述标注图像在所述测试图像中的灰度差值。
10.根据权利要求9所述的方法,其中,所述第一图像还包括叠加于所述背景图像的二维码信息;
其中,所述获取与所述第一图像对应的配置信息,包括:
从所述测试图像中识别出所述二维码信息,并从所述二维码信息中获取与所述第一图像对应的配置信息,其中,所述配置信息包括所述标注图像在所述第一图像中的分辨率及所述二维码信息在所述第一图像中的分辨率;
其中,所述确定所述标注图像在所述测试图像中的分辨率,包括:
获取所述二维码信息在所述测试图像中的分辨率,并根据所述标注图像在所述第一图像中的分辨率以及所述二维码信息在所述第一图像中的分辨率,确定所述标注图像在所述测试图像中的分辨率。
11.根据权利要求9或10所述的方法,其中,所述第一图像还包括叠加于所述背景图像的二维码信息,所述标注图像包括多个黑白相间的图形;
其中,所述确定所述背景图像与所述标注图像在所述测试图像中的灰度差值,包括:
在所述测试图像的所述二维码信息中确定第一样点并获取所述第一样点对应的第一灰度信息;
在所述测试图像的所述背景图像中确定第二样点并获取所述第二样点对应的第二灰度信息;
根据所述第一灰度信息和所述第二灰度信息,确定所述背景图像与所述标注图像在所述测试图像中的灰度差值。
12.根据权利要求8至11中任一项所述的方法,其中,所述根据所述特征信息,从所述测试图像中识别出所述标注图像,包括:
根据所述标注图像在所述测试图像中的分辨率,以及所述背景图像与所述标注图像在所述测试图像中的灰度差值,从所述测试图像中识别出所述标注图像。
13.根据权利要求12所述的方法,其中,所述根据所述特征信息,从所述测试图像中识别出所述标注图像,包括:
根据所述标注图像在所述测试图像中的分辨率,对所述测试图像进行滤波,得到滤波后的测试图像;
根据所述背景图像与所述标注图像在所述测试图像中的灰度差值,从所述滤波后的测试图像中提取黑色区域图像或白色区域图像;
通过检测所述黑色区域图像或白色区域图像中的目标轮廓,从所述测试图像中识别出所述标注图像。
14.根据权利要求1至4中任一项所述的方法,其中,所述方法还包括:
获取所述目标图像在所述第一图像中的位置信息以及所述标注图像在所述第一图像中的位置信息;
其中,所述根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息,包括:根据所述多个标注图像对应的多个标注位置信息以及所述标注图像在所述第一图像中的位置信息,确定所述第一图像与所述测试图像之间的坐标变换矩阵;
根据所述坐标变换矩阵,以及所述目标图像在所述第一图像中的位置信息,确定所述目标图像在所述测试图像中的目标位置信息。
15.根据权利要求1至4中任一项所述的方法,其中,所述根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息,包括:
根据所述多个标注图像对应的多个标注位置信息,确定所述多个标注位置信息在所述测试图像上围成的图像区域,以作为所述目标图像在所述测试图像中的目标位置信息。
16.根据权利要求15所述的方法,其中,所述方法还包括:
获取所述多个标注图像在所述第一图像中的布局信息;
其中,所述根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息,包括:
根据所述多个标注图像对应的多个标注位置信息,并结合所述多个标注图像在所述第一图像中的布局信息,确定所述多个标注位置信息在所述测试图像上围成的图像区域,以作为所述目标图像在所述测试图像中的目标位置信息。
17.一种生成测试数据的方法,其中,所述方法包括:
对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
18.根据权利要求17所述的方法,其中,每个标注图像分布在所述目标图像的外周。
19.根据权利要求17或18所述的方法,其中,所述图像变换操作包括以下至少任一项:
对所述第一图像执行图像拍摄操作;
通过不同的摄像装置和/或从不同的拍摄位姿和/或在不同的拍摄环境下对所述第一图像执行图像拍摄操作;
对所述第一图像的图像信息执行图像变换矩阵运算;
利用不同的图像变换矩阵对所述第一图像的图像信息执行图像变换矩阵运算。
20.根据权利要求17至19中任一项所述的方法,其中,所述第一图像还包括叠加于所述背景图像的二维码信息,所述二维码信息中包括所述第一图像对应的配置信息。
21.根据权利要求17至20中任一项所述的方法,其中,所述背景图像与所述标注图像在所述第一图像中的灰度差值大于或等于预定的灰度阈值信息。
22.根据权利要求17能至21中任一项所述的方法,其中,所述标注图像包括多个图形,每个图形对应单一灰度值,所述多个图形中每相邻的两个图形之间的灰度差值大于或等于预定的灰度阈值信息。
23.根据权利要求22所述的方法,其中,所述标注图像包括多个黑白相间的图形。
24.一种确定测试图像中的目标图像的位置信息的设备,其中,所述设备包括:
一一模块,用于获取测试图像,其中,所述测试图像由第一图像经图像变换操作所获得,所述第一图像包括背景图像、目标图像及多个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像;
一二模块,用于确定所述标注图像在所述测试图像中的标注位置信息;
一三模块,用于根据所述多个标注图像对应的多个标注位置信息确定所述目标图像在所述测试图像中的目标位置信息。
25.一种生成测试数据的设备,其中,所述设备包括:
二一模块,用于对第一图像执行一次或多次图像变换操作,以获得对应的测试数据,所述测试数据包括一个或多个由所述第一图像经图像变换操作所获得的第二图像,其中,所述第一图像包括背景图像、目标图像及至少三个标注图像,所述目标图像及所述标注图像分别叠加于所述背景图像。
26.一种用于确定测试图像中的目标图像的位置信息的设备,其中,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至16中任一项所述的操作。
27.一种用于生成测试数据的设备,其中,所述设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求17至23中任一项所述的操作。
28.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至23中任一项所述的操作。
CN201910555670.2A 2019-06-25 2019-06-25 一种确定测试图像中的目标图像的位置信息的方法与设备 Active CN110264523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555670.2A CN110264523B (zh) 2019-06-25 2019-06-25 一种确定测试图像中的目标图像的位置信息的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555670.2A CN110264523B (zh) 2019-06-25 2019-06-25 一种确定测试图像中的目标图像的位置信息的方法与设备

Publications (2)

Publication Number Publication Date
CN110264523A true CN110264523A (zh) 2019-09-20
CN110264523B CN110264523B (zh) 2021-06-18

Family

ID=67921393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555670.2A Active CN110264523B (zh) 2019-06-25 2019-06-25 一种确定测试图像中的目标图像的位置信息的方法与设备

Country Status (1)

Country Link
CN (1) CN110264523B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046796A (zh) * 2019-12-12 2020-04-21 哈尔滨拓博科技有限公司 一种基于双摄像头深度信息的低成本空间手势控制方法及系统
CN111292374A (zh) * 2020-01-21 2020-06-16 上海悦易网络信息技术有限公司 一种自动插拔usb接口的方法及设备
CN114697702A (zh) * 2022-03-23 2022-07-01 咪咕文化科技有限公司 音视频标记方法、装置、设备及存储介质
CN115294606A (zh) * 2022-08-05 2022-11-04 杭州电子科技大学 一种毫米波图像暗目标增强方法
WO2024183382A1 (zh) * 2023-03-09 2024-09-12 中国科学院深圳先进技术研究院 光学传感图像的信号检测方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214347A1 (en) * 2009-02-26 2010-08-26 Hiroyuki Sasayama Image recording apparatus, image processing apparatus, image processing method and computer-readable medium
CN103324937A (zh) * 2012-03-21 2013-09-25 日电(中国)有限公司 标注目标的方法和装置
CN103390282A (zh) * 2013-07-30 2013-11-13 百度在线网络技术(北京)有限公司 图像标注方法及其装置
CN105844277A (zh) * 2016-03-22 2016-08-10 江苏木盟智能科技有限公司 标签识别方法和装置
CN108009616A (zh) * 2017-12-12 2018-05-08 陈洪 一种新型具有防伪功能的条图码及应用方法
CN108196927A (zh) * 2017-12-29 2018-06-22 北京淳中科技股份有限公司 一种标注方法、装置和系统
CN109596118A (zh) * 2018-11-22 2019-04-09 亮风台(上海)信息科技有限公司 一种用于获取目标对象的空间位置信息的方法与设备
CN109656259A (zh) * 2018-11-22 2019-04-19 亮风台(上海)信息科技有限公司 一种用于确定目标对象的图像位置信息的方法与设备
CN109816014A (zh) * 2019-01-22 2019-05-28 天津大学 生成深度学习目标检测网络训练用带标注数据集的方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214347A1 (en) * 2009-02-26 2010-08-26 Hiroyuki Sasayama Image recording apparatus, image processing apparatus, image processing method and computer-readable medium
CN103324937A (zh) * 2012-03-21 2013-09-25 日电(中国)有限公司 标注目标的方法和装置
CN103390282A (zh) * 2013-07-30 2013-11-13 百度在线网络技术(北京)有限公司 图像标注方法及其装置
CN105844277A (zh) * 2016-03-22 2016-08-10 江苏木盟智能科技有限公司 标签识别方法和装置
CN108009616A (zh) * 2017-12-12 2018-05-08 陈洪 一种新型具有防伪功能的条图码及应用方法
CN108196927A (zh) * 2017-12-29 2018-06-22 北京淳中科技股份有限公司 一种标注方法、装置和系统
CN109596118A (zh) * 2018-11-22 2019-04-09 亮风台(上海)信息科技有限公司 一种用于获取目标对象的空间位置信息的方法与设备
CN109656259A (zh) * 2018-11-22 2019-04-19 亮风台(上海)信息科技有限公司 一种用于确定目标对象的图像位置信息的方法与设备
CN109816014A (zh) * 2019-01-22 2019-05-28 天津大学 生成深度学习目标检测网络训练用带标注数据集的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046796A (zh) * 2019-12-12 2020-04-21 哈尔滨拓博科技有限公司 一种基于双摄像头深度信息的低成本空间手势控制方法及系统
CN111292374A (zh) * 2020-01-21 2020-06-16 上海悦易网络信息技术有限公司 一种自动插拔usb接口的方法及设备
CN111292374B (zh) * 2020-01-21 2022-12-02 上海万物新生环保科技集团有限公司 一种自动插拔usb接口的方法及设备
CN114697702A (zh) * 2022-03-23 2022-07-01 咪咕文化科技有限公司 音视频标记方法、装置、设备及存储介质
CN114697702B (zh) * 2022-03-23 2024-01-30 咪咕文化科技有限公司 音视频标记方法、装置、设备及存储介质
CN115294606A (zh) * 2022-08-05 2022-11-04 杭州电子科技大学 一种毫米波图像暗目标增强方法
WO2024183382A1 (zh) * 2023-03-09 2024-09-12 中国科学院深圳先进技术研究院 光学传感图像的信号检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110264523B (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN110264523A (zh) 一种确定测试图像中的目标图像的位置信息的方法与设备
US10769411B2 (en) Pose estimation and model retrieval for objects in images
JP7099509B2 (ja) 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム
Mondéjar-Guerra et al. Robust identification of fiducial markers in challenging conditions
CN110009561A (zh) 一种监控视频目标映射到三维地理场景模型的方法及系统
CN108292362A (zh) 用于光标控制的手势识别
US20170213396A1 (en) Virtual changes to a real object
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN110400315A (zh) 一种缺陷检测方法、装置及系统
US20220028114A1 (en) Method and System for Calibrating a Camera and Localizing Objects Within the Camera Field of View
US10949523B2 (en) Method and electronic device for providing image-based CAPTCHA challenge
CN109740696A (zh) 一种用于压板识别的方法与设备
CN108280455A (zh) 人体关键点检测方法和装置、电子设备、程序和介质
CN110020643A (zh) 一种压板识别方法与设备
CN110858277A (zh) 一种获得姿态分类模型的方法以及装置
CN109815854A (zh) 一种用于在用户设备上呈现图标的关联信息的方法与设备
CN102473312B (zh) 标记生成装置、标记生成检测系统、标记生成检测装置及标记生成方法
Košcevic et al. Automatic visual reading of meters using deep learning
Belghit et al. Tracking color marker using projective transformation for augmented reality application
JP2010271921A (ja) 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム
CN111274602A (zh) 一种图像特征信息替换方法、装置、设备及介质
Han et al. L-split marker for augmented reality in aircraft assembly
Chiu et al. Cloud computing based mobile augmented reality interactive system
CN111107307A (zh) 基于单应性变换的视频融合方法、系统、终端及介质
Li et al. Research on MR virtual scene location method based on image recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.