CN111784767B - 一种确定目标位置方法及设备 - Google Patents
一种确定目标位置方法及设备 Download PDFInfo
- Publication number
- CN111784767B CN111784767B CN202010514293.0A CN202010514293A CN111784767B CN 111784767 B CN111784767 B CN 111784767B CN 202010514293 A CN202010514293 A CN 202010514293A CN 111784767 B CN111784767 B CN 111784767B
- Authority
- CN
- China
- Prior art keywords
- image
- target position
- determining
- sample image
- reference position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims abstract description 54
- 238000011282 treatment Methods 0.000 claims description 25
- 230000003416 augmentation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及目标识别领域,公开一种确定目标位置方法及设备,该确定目标位置方法,包括:将包含对象的图像输入已训练的神经网络,得到所述图像中位于所述对象上的基准位置;根据所述图像中所述基准位置,以及预先设定的所述基准位置和用于确定对象位置偏移的目标位置的位置关系,确定所述图像中所述对象上的目标位置;用于提高确定对象位置点的效率和准确性。
Description
技术领域
本发明涉及目标识别技术领域,特别涉及一种确定目标位置方法及设备。
背景技术
目前利用视觉检测对象位置时,特别的在自然光照的环境下由于光照在全天的变化以及天气的影响,晚上开灯光照等等情况下,都会影响相机获取图像中对象的位置变化,从而造成对象在图像中的位置与实际位置的偏差,造成图像中对象上下偏移或者左右偏移,导致获取对象在图片的相对位置时,发生变化。
在工业场景中,用来确定对象的位置点,需要人为的去粘贴点,主要通过人为粘贴标志点来定位,不但影响检测物体外观,而且效率较低,不利于在检测对象位置点工序阶段的自动化。
发明内容
本发明公开了一种确定目标位置方法及设备,用于提高确定对象位置点的效率和准确性。
为达到上述目的,本发明提供以下技术方案:
第一方面,本发明提供了一种确定目标位置方法,包括:
将包含对象的图像输入已训练的神经网络,得到所述图像中位于所述对象上的基准位置;
根据所述图像中所述基准位置,以及预先设定的所述基准位置和用于确定对象位置偏移的目标位置的位置关系,确定所述图像中所述对象上的目标位置。
本发明提供的确定目标位置方法,先将包含对象的图像输入训练好的神经网络中,然后得到图像中对象上的基准位置,通过基准位置和需要确定的目标位置与基准位置的位置关系,由两者位置关系和基准位置准确确定对象目标位置。该方法实现了自动在图像中寻找对象的目标位置,能够抵抗环境等原因造成的对象中目标位置的偏移而准确的找到目标位置,提高了确定目标位置的效率。
在一种可能的实现方式中,所述确定所述图像中所述对象上的目标位置,包括:
若所述图像中所述基准位置为用于限制所述基准位置范围的包围框的中心点的位置,则通过所述中心点的坐标值与所述目标位置的第一像素距离,确定所述图像中所述对象上的目标位置;或,
若所述图像中所述基准点位置为用于限制所述基准位置范围的包围框的边界点的位置,则通过所述边界点的坐标值与所述目标位置的第二像素距离,确定所述图像中所述对象上的目标位置。
上述方法中,在确定图像中对象上的目标位置时,是通过图像中限制基准位置的包围框进行确定,至少可以通过包围框的中心点位置的坐标值与目标位置的第一像素距离,确定图像中对象上的目标位置;或通过包围框的边界点位置的坐标值与目标位置的第二像素距离,确定图像中对象上的目标位置。这样的方式能够更准确的定位图像中对象上的目标位置。
在一种可能的实现方式中,通过如下方式对所述神经网络进行训练:
将样本图像集合中的样本图像作为输入,将所述样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
在一种可能的实现方式中,通过如下方式确定所述样本图像集合:
对初始样本图像集合进行增广处理,得到所述样本图像集合。
上述方法中,首先将样本图像集合中的样本图像输入神经网络中,然后输出样本图像中位于对象上的基准位置。这样确定基准位置可以提高作为参照点基准位置的准确性。
在一种可能的实现方式中,所述对初始样本图像集合进行增广处理,得到所述样本图像集合,具体包括:
对所述初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和所述初始样本图像集合中的样本图像组成所述样本图像集合。
上述方法中,对初始样本图像集合进行增光处理时,得到的样本图像集合可以通过对初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,这样每次旋转一次和/或曝光处理一次,得到一张图片,将得到的所有图片和初始样本图像集合中的样本图像组成样本图像集合,从而扩充了初始样本图像集合,有利于提高训练的神经网络在对象上的基准位置输出的准确性。
第二方面,本发明提供的一种确定目标位置设备,该设备包括:处理器以及存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器实行下列过程:
将包含对象的图像输入已训练的神经网络,得到所述图像中位于所述对象上的基准位置;
根据所述图像中所述基准位置,以及预先设定的所述基准位置和用于确定对象位置偏移的目标位置的位置关系,确定所述图像中所述对象上的目标位置。
在一种可能的实现方式中,所述处理器用于确定所述图像中所述对象上的目标位置,具体包括:
若所述图像中所述基准位置为用于限制所述基准位置范围的包围框的中心点的位置,则通过所述中心点的坐标值与所述目标位置的第一像素距离,确定所述图像中所述对象上的目标位置;或,
若所述图像中所述基准点位置为用于限制所述基准位置范围的包围框的边界点的位置,则通过所述边界点的坐标值与所述目标位置的第二像素距离,确定所述图像中所述对象上的目标位置。
在一种可能的实现方式中,所述处理器还用于,通过如下方式对所述神经网络进行训练:
将样本图像集合中的样本图像作为输入,将所述样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
在一种可能的实现方式中,所述处理器还用于,通过如下方式确定所述样本图像集合:
对初始样本图像集合进行增广处理,得到所述样本图像集合。
在一种可能的实现方式中,所述处理器还用于,对初始样本图像集合进行增广处理,得到所述样本图像集合,具体包括:
对所述初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和所述初始样本图像集合中的样本图像组成所述样本图像集合。
第三方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现上述第一方面或第二方面中任意一种确定目标位置方法的步骤。
第二方面和第三方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果,此处不再赘述。
附图说明
图1为本发明实施例提供的一种确定目标位置方法的流程示意图;
图2为本发明实施例提供的识别安装板上螺母的示意图;
图3为本发明实施例提供的识别安装板上螺母和连接孔的示意图;
图4为本发明实施例提供的在图像中的对象未偏移情况一个基准位置与目标位置的关系示意图;
图5为本发明实施例提供的一种确定目标位置方法通过一个基准位置的中心点确定目标位置的示意图;
图6为本发明实施例提供的一种确定目标位置方法通过一个基准位置的边界点确定目标位置的示意图;
图7本发明实施例提供的在图像中的对象未偏移情况两个基准位置与目标位置的关系示意图;
图8为本发明实施例提供的一种确定目标位置方法通过两个基准位置的中心点确定目标位置的示意图;
图9为本发明实施例提供的一种确定目标位置方法通过两个基准位置的边界点确定目标位置的示意图;
图10为本发明实施例提供的一种确定目标位置方法的判断示意图;
图11为本发明实施例提供的一种确定目标位置设备的示意图;
图12为本发明实施例提供的另一种确定目标位置设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个,例如可以是两个、三个或者更多个,本申请实施例不做限制。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,在不做特别说明的情况下,一般表示前后关联对象是一种“或”的关系。
为了便于理解,下面先对本发明实施例的技术背景进行介绍。
目前在工厂生产线中,在一些生产线中需要对工厂操作系统中的某个零部件某个位置进行定位以方便操作,但是在实际工作中,会因为光照的变化以及天气的原因干扰或是因为在操作系统中对某个零部件发生力的作用,都会影响相机获取图像中零部件的位置变化,这时如果选择对零部件中的某个位置进行操作时,为了准确找到需要操作的该位置现有的常用手段是通过人为贴标签的方式,这样虽然可以准确找到需要操作的该位置,但是浪费人力成本。
下面为了描述方便,将零部件称为对象。
如图1所示,本发明实施例提供了一种确定目标位置方法,该方法包括如下步骤:
S101:将包含对象的图像输入已训练的神经网络,得到图像中位于对象上的基准位置;
在一种实施例中,包含对象的图像是通过相机或是其他获取图片的设备拍摄或是摄录,获取的图片上的对象可以是工厂生产线中的零部件;在一些生产线中需要对工厂操作系统中的某个零部件某个位置进行定位以方便操作,例如对某个零部件中的某个位置进行焊接,则将包含零部件的图像输入已训练好的神经网络中,得到图像中的零部件的某个位置即基准位置,该基准位置是一批次零部件的具有共同标识或是共同结构的特殊位置。
S102:根据图像中基准位置,以及预先设定的基准位置和用于确定对象位置偏移的目标位置的位置关系,确定图像中对象上的目标位置。
在一种实施例中,基准位置是通过一批次零部件的具有共同标识或是共同结构的确定的特殊位置得到的,具体可以通过网上或是现场采集一批次零部件的具有共同标识或是共同结构制作的;通过已得到的基准位置、和基准位置与需要确定的目标位置的位置关系,确定图像中对象上的目标位置。
当相机或获取图片的设备获取包含对象的图像时,会出现用于限制基准位置的包围框,包围框可以为包围基准位置的最小框。
这里需要说明的是,先将包含对象的图像输入训练好的神经网络中,通过训练好的神经网络识别图像中对象上的包围框,进而通过训练好的神经网络根据识别出的包围框确定对应的基准位置。
这里的包围框是对对象上的预设标识或结构进行识别后确定的,该包围框203可以是包含该标识或结构的最小框,例如,如图2所示,当对象为安装板201,该安装板上设有螺母202,在将包含螺母的安装板的图像输入训练好的神经网络中,训练好的神经网络识别安装板上的螺母并包围该螺母形成有若干包围框,这里以在螺母202位置的最小框为包围框,通过得到的包围框203的位置、和包围框203与目标位置的位置关系,可以准确确定目标位置X。
如图3所示,但是在识别安装板301上的螺母302时,有可能会形成有不能完全包围该螺母302的包围框303,这时为了保证准确确定目标位置,还将在安装板上的包含连接孔304的安装板的图像输入训练好的神经网络中,训练好的神经网络识别安装板301上的连接孔304并包围该连接孔304形成有若干包围框305,这里以在连接孔304位置的最小框为包围框,这样,将包含安装板的图像输入训练好的神经网络时,则训练好的神经网络识别图像中安装板上的螺母的包围框和连接孔的包围框,这样即使出现不能完全包围螺母的包围框时,依旧可以通过连接孔的包围框的位置、和包围框与目标位置的位置关系,可以准确确定目标位置X。
具体地,基准位置可以是包围框的中心点,或包围框的边界点。
在对神经网络进行训练时,会将包含对象的样本图像作为训练数据集合,将样本图像中包围框和基准位置作为标签对神经网络进行训练。由于基准位置是工厂生产线中的多个零部件上的共同位置,如当零部件为安装板时,设置在安装板上的螺母作为基准位置,可以通过训练好的神经网络识别螺母上的包围框,进而通过训练好的神经网络根据识别出的包围框确定对应的基准位置;但是目标位置可以为对象上的任何一点,因此当目标位置不是螺母时,则无法直接通过训练好的神经网络识别和确定目标位置。
例:如果基准位置为一个,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的基准位置的包围框A,通过已知的基准位置的包围框A与目标位置X的位置关系确定目标位置X的位置,具体的,这里的基准位置可以为包围框A的中心点,通过包围框A的中心点,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位;或这里的基准位置可以为包围框A的边界点,通过包围框A的边界点,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位。
如果基准位置为多个,如两个,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的基准位置的包围框A和包围框B,通过已知的基准位置的包围框A与目标位置X的位置关系和通过已知的基准位置的包围框B与目标位置X的位置关系,共同确定目标位置X的位置,具体的,这里的基准位置可以为包围框A和包围框B的中心点,通过包围框A和包围框B的中心点,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位;或这里的基准位置可以为包围框A和包围框B的边界点,通过包围框A和包围框B的边界点,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位,这样的多个基准位置确定目标位置的方式,可以避免在相机获取图片中对象的基准位置有部分基准位置无法获取造成无法定位目标位置,从而提高了定位目标位置的准确性。
当图像中的对象未偏移,且基准位置为一个时,如图4所示,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的基准位置的包围框A,通过已知的基准位置的包围框A与目标位置X的位置关系确定目标位置X的位置,具体方式有如下几种:
方式一,基准位置可以为包围框A的中心点;
参照图4,当图像中的对象发生偏移,如图5所示,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的基准位置的包围框A,通过已知的基准位置的包围框A与目标位置X的位置关系确定目标位置X的位置,具体的,这里的基准位置可以为包围框A的中心点A1,通过包围框A的中心点A1,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位。
具体地,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的用于限制基准位置范围的包围框A,这里以得到包围框A中心点A1的位置作为基准位置的位置,并通过已知中心点A1的坐标值与目标位置X的第一像素距离,这里图中的箭头是指第一像素距离,确定图像中对象上的目标位置X,这里关于目标位置X只是代表图像中对象的任一位置,这样在图像中的对象发生偏转时,整个对象中的基准位置的中心点A1均随对象发生变化,而对象上的目标位置X相对于A1的相对位置是固定的,因此无论图像中的对象是否发生偏移,通过A1的位置和A1与目标位置X的距离,就可以准确的找到目标位置X。
方式二,基准位置可以为包围框A的边界点;
参照图4,当图像中的对象发生偏移,当如图6所示,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的基准位置的包围框A,通过已知的基准位置的包围框A与目标位置X的位置关系确定目标位置X的位置,具体的,这里的基准位置可以为包围框A的边界点A1、A2、A3和A4,通过包围框A的边界点中的A1、A2、A3和A4中的一个或多个,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位。
具体地,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的用于限制基准位置范围的包围框A,这里以得到包围框A的边界点A1、A2、A3和A4作为基准位置的位置,这里可以选择A1、A2、A3和A4中的至少任意一点作为基准位置的位置,并通过已知边界点A1、A2、A3和A4中的至少任意一点坐标值与目标位置X的第二像素距离,这里图中的箭头是指第二像素距离,确定图像中对象上的目标位置X,这里关于目标位置X只是代表图像中对象的任一位置,这样在图像中的对象发生偏转时,整个对象中的基准位置中的边界点A1、A2、A3和A4均发生变化,而对象上的目标位置X相对于A1、A2、A3和A4的相对位置是固定的,因此无论图像中的对象是否发生偏移,通过A1、A2、A3和A4的位置和A1、A2、A3和A4中任一个与目标位置X的距离,就可以准确的找到目标位置X。
当图像中的对象未偏移,且基准位置为多个时,这里以两个为例进行说明,如图7所示,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的两个基准位置的包围框A和包围框B,通过已知的包围框A与目标位置X的位置关系和包围框B和目标位置X的位置关系,确定目标位置X的位置,具体方式有如下几种:
方式一,基准位置可以为包围框A和包围框B的中心点;
参照图7,当图像中的对象发生偏移,且基准位置为多个时,这里以两个为例进行说明,如图8所示,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的两个基准位置的包围框A和包围框B,通过已知的包围框A与目标位置X的位置关系和包围框B和目标位置X的位置关系,具体的,这里的基准位置可以为包围框A的中心点A1和包围框B的中心点B1,通过包围框A和包围框B的中心点A1以及B1,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位。
具体地,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的用于限制基准位置范围的包围框A和B,这里以得到包围框A和B的中心点A1和B1的位置作为基准位置的位置,并通过已知中心点A1和B1的坐标值与目标位置X的第一像素距离,这里图中的箭头是指第一像素距离,确定图像中对象上的目标位置X,这里关于目标位置X只是代表图像中对象的任一位置,这样在图像中的对象发生偏转时,整个对象中的基准位置的中心点A1、B1均发生变化,而对象上的目标位置X相对于A1、B1的相对位置是固定的,因此无论图像中的对象是否发生偏移,通过A1、B1的位置和A1、B1与目标位置X的距离,就可以准确的找到目标位置X。
方式二、基准位置可以为包围框A和包围框B的边界点;
参照图7,当图像中的对象发生偏移,且基准位置为多个时,这里以两个为例进行说明,如图9所示,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的两个基准位置的包围框A和包围框B,通过已知的包围框A与目标位置X的位置关系和包围框B和目标位置X的位置关系,具体的,这里的基准位置可以为包围框A的边界点A1、A2、A3、A4和包围框B的边界点B1、B2、B3、B4,通过包围框A和包围框B的边界点A1、A2、A3、A4的一个或多个,以及B1、B2、B3、B4中的一个或多个,可以准确的确定出目标位置X的位置,从而完成了对目标位置X在图片上对象上的准确定位。这里并不对基准位置的个数进行限制,并且关于目标位置也不进行限制。
具体地,将包含对象的图像输入训练好的神经网络中时,得到了图像中对象上的用于限制基准位置范围的包围框A和B,这里以得到包围框A的边界点A1、A2、A3和A4作为一个基准位置的位置,包围框B的边界点B1、B2、B3和B4作为另一个基准位置的位置,这里可以选择A1、A2、A3和A4中的至少任意一点作为基准位置的位置,可以选择B1、B2、B3和B4中的至少任意一点作为基准位置的位置,并通过已知边界点A1、A2、A3和A4中的至少任意一点坐标值与目标位置X的第二像素距离,和B1、B2、B3和B4中的至少任意一点与目标位置X的第二像素距离,这里图中的箭头是指第二像素距离,确定图像中对象上的目标位置X,这里关于目标位置X只是代表图像中对象的任一位置,这样在图像中的对象发生偏转时,整个对象中的基准位置均发生变化,而对象上的目标位置X相对于的相对位置是固定的,因此无论图像中的对象是否发生偏移,通过A1、A2、A3和A4中的任一个位置和B1、B2、B3和B4中的任一个位置,上述两者与目标位置X的距离,就可以准确的找到目标位置X。
通过如下方式对神经网络进行训练:
将样本图像集合中的样本图像作为输入,将样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
具体地,在一些生产线中的零部件都有一些通用的标识,还有些是有固定的稳定的标志,通过在网上和在工厂采集这些物体的图片,并制作数据集,以制作完成的数据集作为输入,为了实现检测图像中对象目标位置的实时性要求,通过采用深度学习中的yolo框架,并配置一个GPU显卡,采用yolov3-tiny的模型,完成了神经网络的训练。
具体地,如果对象为产线设备或是控制器等,可以选择同一批次设备和控制器中的相同标识作为样本图像,通过在网上和在现场采集这些物体的图片,并制作样本图像。
上述样本图像集合通过如下方式确定:
对初始样本图像集合进行增广处理,得到样本图像集合。通过增广初始样本图像集合,使得样本图像集合中的图像更多,这样在确定基准位置可以提高作为参照点的基准位置的准确性。
另外,对初始样本图像集合进行增广处理,得到样本图像集合,具体包括:
对初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和初始样本图像集合中的样本图像组成样本图像集合。
具体地,对初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,例如,将样本图像顺时针旋转15°得到一张图片,或是,逆时针旋转15°,再得到一张图片,这样通过将一张样本图像进行两次旋转就会得到两张旋转后的照片和一张未旋转的照片,上述三张照片组成样本图像集合。
例如,将样本图像曝光亮度调高得到一张图片,或将样本图像曝光亮度调低,得到一张图片,这样通过将一张样本图像进行两次曝光就会得到两张调节曝光强度后的照片和一张未调节曝光的照片,上述三张照片组成样本图像集合。
例如,还可以将样本图像旋转角度的同时又调节曝光亮度,这样得到一张照片,将该张照片和一张未处理的照片组成样本图像集合。
为了实现检测图像中对象目标位置的实时性要求,通过采用深度学习中的yolo框架,并配置一个GPU显卡,采用yolov3-tiny的模型,对初始样本图像集合中的样本图像其中的参数进行增广,参数主要包括旋转以及曝光亮度的设置,然后对获得的样本图像集合进行训练。这里的模型还可以选择其他相关的深度学习模型,如,Resnet101。
图10为本发明实施例提供的一种确定目标位置方法的判断示意图,如图8所示,包括如下步骤:
S1001:获取图像中对象的基准位置的样本图像集合;
S1002:对样本图像集合进行增广处理,得到样本图像集合;
S1003:将样本图像集合中的样本图像输入神经网络,将样本图像中位于对象上的基准位置作为输出,得到训练完成的神经网络;
S1004:将包含对象的图像输入已训练的神经网络;
S1005:对包含对象的图像中的基准位置进行判断,是否存在基准位置,如果存在基准位置,则执行S1006;否则,执行S1001;
S1001:根据图像中基准位置,以及预先设定的基准位置和用于确定对象位置偏移的目标位置的位置关系,确定图像中所述对象上的目标位置。
如图11所示,本发明实施例提供一种确定目标位置设备,该设备包括:处理器1101以及存储器1102,其中,存储器1102存储有程序代码,当程序代码被处理器1101执行时,使得处理器1101实行下列过程:
将包含对象的图像输入已训练的神经网络,得到图像中位于对象上的基准位置;
根据图像中基准位置,以及预先设定的基准位置和用于确定对象位置偏移的目标位置的位置关系,确定图像中对象上的目标位置。
可选地,处理器1101用于确定图像中对象上的目标位置,具体包括:
若图像中基准位置为用于限制基准位置范围的包围框的中心点的位置,则通过中心点的坐标值与目标位置的第一像素距离,确定图像中对象上的目标位置;或,
若图像中基准点位置为用于限制基准位置范围的包围框的边界点的位置,则通过边界点的坐标值与目标位置的第二像素距离,确定图像中对象上的目标位置。
可选地,处理器1101还用于,通过如下方式对神经网络进行训练:
将样本图像集合中的样本图像作为输入,将样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
可选地,处理器1101还用于,通过如下方式确定样本图像集合:
对初始样本图像集合进行增广处理,得到样本图像集合。
可选地,处理器1101还用于,对初始样本图像集合进行增广处理,得到样本图像集合,具体包括:
对初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和初始样本图像集合中的样本图像组成样本图像集合。
如图12所示,本发明实施例提供的一种确定目标位置设备包括:
处理模块1201,用于将包含对象的图像输入已训练的神经网络,得到所述图像中位于所述对象上的基准位置;
定位模块1202,用于根据所述图像中所述基准位置,以及预先设定的所述基准位置和用于确定对象位置偏移的目标位置的位置关系,确定所述图像中所述对象上的目标位置。
在一种可能的实施方式中,定位模块1202用于确定所述图像中所述对象上的目标位置,具体包括:
若所述图像中所述基准位置为用于限制所述基准位置范围的包围框的中心点的位置,则通过所述中心点的坐标值与所述目标位置的第一像素距离,确定所述图像中所述对象上的目标位置;或,
若所述图像中所述基准点位置为用于限制所述基准位置范围的包围框的边界点的位置,则通过所述边界点的坐标值与所述目标位置的第二像素距离,确定所述图像中所述对象上的目标位置。
在一种可能的实施方式中,处理模块1201用于通过如下方式对所述神经网络进行训练:
将样本图像集合中的样本图像作为输入,将所述样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
在一种可能的实施方式中,处理模块,通过如下方式确定所述样本图像集合:
对初始样本图像集合进行增广处理,得到所述样本图像集合。
在一种可能的实施方式中,处理模块1201还用于,对初始样本图像集合进行增广处理,得到所述样本图像集合,具体包括:
对所述初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和所述初始样本图像集合中的样本图像组成所述样本图像集合。
本发明实施例提供一种计算机可存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述车辆偏离报警方法的步骤。其中,可存储介质可以为非易失可存储介质。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (8)
1.一种确定目标位置方法,其特征在于,包括:
将包含对象的图像输入已训练的神经网络,得到所述图像中位于所述对象上的基准位置;
根据所述图像中所述基准位置,以及预先设定的所述基准位置和用于确定对象位置偏移的目标位置的位置关系,确定所述图像中所述对象上的目标位置;
其中,所述基准位置是一批次零部件的具有共同标识或是共同结构的特殊位置;
所述确定所述图像中所述对象上的目标位置,包括:
若所述图像中所述基准位置为用于限制所述基准位置范围的包围框的中心点的位置,则通过所述中心点的坐标值与所述目标位置的第一像素距离,确定所述图像中所述对象上的目标位置;或,
若所述图像中所述基准点位置为用于限制所述基准位置范围的包围框的边界点的位置,则通过所述边界点的坐标值与所述目标位置的第二像素距离,确定所述图像中所述对象上的目标位置;
通过如下方式对所述神经网络进行训练:
将样本图像集合中的样本图像作为输入,将所述样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
2.根据权利要求1所述的确定目标位置方法,其特征在于,通过如下方式确定所述样本图像集合:
对初始样本图像集合进行增广处理,得到所述样本图像集合。
3.根据权利要求2所述的确定目标位置方法,其特征在于,所述对初始样本图像集合进行增广处理,得到所述样本图像集合,具体包括:
对所述初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和所述初始样本图像集合中的样本图像组成所述样本图像集合。
4.一种应用如权利要求1-3任一项所述的确定目标位置方法的确定目标位置设备,其特征在于,该设备包括:处理器以及存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器实行下列过程:
将包含对象的图像输入已训练的神经网络,得到所述图像中位于所述对象上的基准位置;
根据所述图像中所述基准位置,以及预先设定的所述基准位置和用于确定对象位置偏移的目标位置的位置关系,确定所述图像中所述对象上的目标位置。
5.根据权利要求4所述的确定目标位置设备,其特征在于,所述处理器用于确定所述图像中所述对象上的目标位置,具体包括:
若所述图像中所述基准位置为用于限制所述基准位置范围的包围框的中心点的位置,则通过所述中心点的坐标值与所述目标位置的第一像素距离,确定所述图像中所述对象上的目标位置;或,
若所述图像中所述基准点位置为用于限制所述基准位置范围的包围框的边界点的位置,则通过所述边界点的坐标值与所述目标位置的第二像素距离,确定所述图像中所述对象上的目标位置。
6.根据权利要求5所述的确定目标位置设备,其特征在于,所述处理器还用于,通过如下方式对所述神经网络进行训练:
将样本图像集合中的样本图像作为输入,将所述样本图像中位于对象上的基准位置作为输出,对神经网络进行训练。
7.根据权利要求6所述的确定目标位置设备,其特征在于,所述处理器还用于,通过如下方式确定所述样本图像集合:
对初始样本图像集合进行增广处理,得到所述样本图像集合。
8.根据权利要求7所述的确定目标位置设备,其特征在于,所述处理器还用于,对初始样本图像集合进行增广处理,得到所述样本图像集合,具体包括:
对所述初始样本图像集合中的样本图像进行多次旋转和/或多次曝光处理,每次旋转一次和/或曝光处理一次,得到一张图片;
将得到的所有图片和所述初始样本图像集合中的样本图像组成所述样本图像集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010514293.0A CN111784767B (zh) | 2020-06-08 | 2020-06-08 | 一种确定目标位置方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010514293.0A CN111784767B (zh) | 2020-06-08 | 2020-06-08 | 一种确定目标位置方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111784767A CN111784767A (zh) | 2020-10-16 |
CN111784767B true CN111784767B (zh) | 2024-06-18 |
Family
ID=72753558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010514293.0A Active CN111784767B (zh) | 2020-06-08 | 2020-06-08 | 一种确定目标位置方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111784767B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112317946B (zh) * | 2020-11-26 | 2021-07-06 | 江苏科睿坦电子科技有限公司 | 一种提高rfid高频天线良率的方法及装置 |
CN117807434B (zh) * | 2023-12-06 | 2024-07-16 | 中国信息通信研究院 | 一种通信数据集处理方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104006708A (zh) * | 2014-05-30 | 2014-08-27 | 河南科技大学 | 一种基于景象匹配的地面目标间接定位方法 |
CN110569841A (zh) * | 2019-09-02 | 2019-12-13 | 中南大学 | 基于卷积神经网络的接触网关键部件目标检测方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8744133B1 (en) * | 2010-10-04 | 2014-06-03 | The Boeing Company | Methods and systems for locating visible differences on an object |
CN107742093B (zh) * | 2017-09-01 | 2020-05-05 | 国网山东省电力公司电力科学研究院 | 一种红外图像电力设备部件实时检测方法、服务器及系统 |
CN108460413A (zh) * | 2018-02-12 | 2018-08-28 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络的训练方法、装置以及设备 |
CN109101966B (zh) * | 2018-06-08 | 2022-03-08 | 中国科学院宁波材料技术与工程研究所 | 基于深度学习的工件识别定位和姿态估计系统和方法 |
CN109358315B (zh) * | 2018-10-12 | 2020-08-18 | 华中科技大学 | 一种辅助目标间接定位方法及系统 |
CN111079619B (zh) * | 2019-12-10 | 2023-04-18 | 北京百度网讯科技有限公司 | 用于检测图像中的目标对象的方法和装置 |
-
2020
- 2020-06-08 CN CN202010514293.0A patent/CN111784767B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104006708A (zh) * | 2014-05-30 | 2014-08-27 | 河南科技大学 | 一种基于景象匹配的地面目标间接定位方法 |
CN110569841A (zh) * | 2019-09-02 | 2019-12-13 | 中南大学 | 基于卷积神经网络的接触网关键部件目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111784767A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guindel et al. | Automatic extrinsic calibration for lidar-stereo vehicle sensor setups | |
CN111784767B (zh) | 一种确定目标位置方法及设备 | |
CN113228039B (zh) | 用于监督式机器学习的自动标记图像的系统和方法 | |
CN110751682B (zh) | 一种提取和标识图像的方法、装置、终端设备及存储介质 | |
JP2018060296A (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
CN110489182B (zh) | 一种带有自主导航模块的机器人云平台设计方法 | |
CN109903323B (zh) | 用于透明物体识别的训练方法、装置、存储介质及终端 | |
CN108694716B (zh) | 一种工件检测方法、模型训练方法及设备 | |
CN112621765B (zh) | 一种基于机械手的设备自动组装控制方法及装置 | |
CN115713476A (zh) | 基于激光焊接的视觉检测方法、装置及可读存储介质 | |
CN112052907A (zh) | 基于图像边缘信息的目标检测方法、装置及存储介质 | |
CN115984796A (zh) | 一种图像标注方法及系统 | |
CN113734981B (zh) | 智能塔吊物料运输路径设置方法和装置 | |
CN110014305A (zh) | 一种零件加工的控制方法及装置、系统 | |
CN109712197B (zh) | 一种机场跑道网格化标定方法及系统 | |
CN113673344B (zh) | 一种智能塔吊物料挂载位置识别方法和装置 | |
CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
JP2010184300A (ja) | 姿勢変更システムおよび姿勢変更方法 | |
CN108268813B (zh) | 一种车道偏离预警方法、装置及电子设备 | |
JP4814116B2 (ja) | 実装基板外観検査方法 | |
CN116091595A (zh) | 一种面向360全景图像的标注方法及系统 | |
CN111709991B (zh) | 一种铁路工机具的检测方法、系统、装置和存储介质 | |
CN112396696B (zh) | 一种基于特征点检测与分割的语义地图增量更新方法 | |
CN114140517A (zh) | 物体位姿识别方法及装置、视觉处理设备和可读存储介质 | |
CN112697159A (zh) | 一种地图编辑方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |