CN114092632A - 标注方法、应用其的装置、系统、方法及计算机程序产品 - Google Patents

标注方法、应用其的装置、系统、方法及计算机程序产品 Download PDF

Info

Publication number
CN114092632A
CN114092632A CN202110381575.2A CN202110381575A CN114092632A CN 114092632 A CN114092632 A CN 114092632A CN 202110381575 A CN202110381575 A CN 202110381575A CN 114092632 A CN114092632 A CN 114092632A
Authority
CN
China
Prior art keywords
area
image
dimensional
exposure
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110381575.2A
Other languages
English (en)
Inventor
蔡承翰
洪国峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW109133623A external-priority patent/TWI772909B/zh
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN114092632A publication Critical patent/CN114092632A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/02—Devices for moving articles, e.g. containers, past labelling station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/40—Controls; Safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/40—Controls; Safety devices
    • B65C2009/408—Controls; Safety devices reading information before printing and applying a label
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

一种标注方法、应用其的装置、系统、方法及计算机程序产品。自动生成图像与标注图像中可取放区的方法，包括以下步骤。首先，在生成背景条件下，生成三维图像，三维图像包括至少一个三维物件影像。然后，撷取三维图像的二维图像，二维图像包括三维物件影像的二维物件影像。然后，辨识二维物件影像的物件区域。然后，取得二维物件影像的露出区域的露出面积占物件区域的物件面积的露出比例。然后，判断露出比例是否大于预设比例。然后，当露出比例大于预设比例，定义露出区域为可取放区。

Description

标注方法、应用其的装置、系统、方法及计算机程序产品
技术领域
本公开是有关于一种标注图像中可取放区的方法、应用其的装置、取放系统、取放方法及计算机程序产品，且本公开特别是有关于一种自动生成图像与标注图像中可取放区的方法、应用其的装置、取放系统、取放方法及计算机程序产品。
背景技术
已知标注方法是以人工拍摄实体物件的二维物件影像，然后再以人工标注二维物件影像中的可取放放区后，再采用机器学习技术对这些标注信息进行学习。然而，机器学习通常需要大量的二维物件影像，因此以人工拍摄实体物件的二维物件影像的方式相当耗时且没有效率。因此，如何改善前述已知问题是本领域技术人员努力的目标之一。
发明内容
本公开实施例提出一种自动生成图像与标注图像中可取放区的方法。自动生成图像与标注图像中可取放区的方法包括以下步骤：在生成背景条件下，生成三维图像，三维图像包括至少一个三维物件影像；撷取三维图像的二维图像，二维图像包括三维物件影像的二维物件影像；辨识二维物件影像的物件区域；取得二维物件影像的露出区域的露出面积占物件区域的物件面积的露出比例；判断露出比例是否大于预设比例；以及，当露出比例大于预设比例，定义露出区域为可取放区。
本公开另一实施例提出一种自动生成图像与标注图像中可取放区的装置。装置包括生成器、装置摄像器及标注器。生成器用于在生成背景条件下，生成三维图像，其中三维图像包括至少一个三维物件影像。装置摄像器用于撷取三维图像的二维图像，其中二维图像包括三维物件影像的二维物件影像。标注器用于：辨识二维物件影像的物件区域；取得物件区域的露出区域的露出面积占物件区域的物件面积的露出比例；判断露出比例是否大于预设比例；以及，当露出比例大于预设比例，定义露出区域为可取放区。
本公开另一实施例提出一种取放系统。取放系统包括自动生成图像与标注图像中可取放区的装置、系统摄像器、机械手臂及控制器。装置包括生成器、系统摄像器及标注器。生成器用于在生成背景条件下，生成三维图像，其中三维图像包括至少一个三维物件影像。装置摄像器用于撷取三维图像的二维图像，其中二维图像包括三维物件影像的二维物件影像。标注器用于：辨识二维物件影像的物件区域；取得物件区域的露出区域的露出面积占物件区域的物件面积的露出比例；判断露出比例是否大于预设比例；以及，当露出比例大于预设比例，定义露出区域为第一可取放区。系统摄像器用于撷取实体物件的二维图像，二维图像包含二维物件影像。控制器电性连接于装置且用于：分析二维物件影像，并依据装置所取得的第一可取放区的信息，取得二维物件影像的第二可取放区；以及，控制机械手臂取放实体物件对应第二可取放区的可取放部。
本公开另一实施例提出一种取放方法。取放方法包括以下步骤。在生成背景条件下，生成三维图像，三维图像包括至少一个三维物件影像；撷取三维图像的二维图像，二维图像包括三维物件影像的二维物件影像；辨识二维物件影像的物件区域；取得物件区域的露出区域的露出面积占物件区域的物件面积的露出比例；判断露出比例是否大于预设比例；当露出比例大于预设比例，定义露出区域为第一可取放区；撷取实体物件的二维图像，二维图像包含二维物件影像；分析二维物件影像，并依据第一可取放区的信息，取得二维物件影像的第二可取放区；以及，控制机械手臂取放实体物件对应第二可取放区的可取放部。
本公开另一实施例提出一种计算机程序产品。计算机程序产品装载于自动生成图像与标注图像中可取放区的装置，以执行自动生成图像与标注图像中可取放区的方法。方法包括：在生成背景条件下，生成三维图像，三维图像包括至少一个三维物件影像；撷取三维图像的二维图像，二维图像包括三维物件影像的二维物件影像；辨识二维物件影像的物件区域；取得二维物件影像的露出区域的露出面积占物件区域的物件面积的露出比例；判断露出比例是否大于预设比例；以及，当露出比例大于预设比例，定义露出区域为可取放区。
为了对本公开的上述及其他方面有更佳的了解，下文特举实施例，并配合附图详细说明如下：
附图说明
图1绘示依照本公开实施例的自动生成图像与标注图像中第一可取放区的装置的功能方块图。
图2绘示图1的装置的生成器所生成的三维图像的示意图。
图3绘示图2的装置的装置摄像器所撷取的二维图像的示意图。
图4绘示依照本公开另一实施例的三维图像的深度视角示意图。
图5绘示图3的多个二维物件影像的示意图。
图6绘示依照本公开实施例的取放系统的示意图。
图7绘示图6的装置的自动生成图像与标注图像中第一可取放区的流程图。
图8绘示图6的取放系统的取放实体物件的取放流程图。
图9绘示图6的取放系统所撷取的二维物件影像的示意图。
附图标记说明
10：取放系统
11：取放器
11a：取放口
12：机械手臂
13：系统摄像器
14：控制器
100：装置
110：生成器
120：装置摄像器
130：标注器
AER：露出面积
AOR：物件面积
A11：取放口面积
C1：第二可取放区
D：信息
H1：预设深度
O1：实体物件
O11：可取放部
M2D，M2D，1，M2D，2，MO，2D，MO，2D，1，MO，2D，2：二维物件影像
M3D：三维物件影像
MOR，MOR，1，MOR，2，MOR1，MOR2，MOR3，MOR4：物件区域
MER，MER1，MER2：露出区域
MSR：被遮蔽部区域
MV：容器影像
MV1：底部
P2D，PO，2D：二维图像
P3D：三维图像
R：露出比例
S110～S160，S210～S250：步骤
具体实施方式
请参照图1～图6，图1绘示依照本公开实施例的自动生成图像与标注图像中可取放区的装置100的功能方块图，图2绘示图1的装置100的生成器110所生成的三维图像P3D的示意图，图3绘示图2的装置100的装置摄像器120所撷取的二维图像P2D的示意图，图4绘示依照本公开另一实施例的三维图像P3D的深度视角示意图，图5绘示图3的多个二维物件影像M2D的示意图，而图6绘示依照本公开实施例的取放系统10的示意图。
如图1所示，装置100包括生成器110、装置摄像器120及标注器130。生成器110、装置摄像器120与标注器130中至少二个可整合成单一元件，或者，生成器110、装置摄像器120与标注器(或标记器)130中至少一各可整合至装置100的处理器(processor)(未绘示)或控制器(controller)(未绘示)。生成器110、装置摄像器120与标注器130中至少一个可采用例如是半导体工艺所形成的实体电路结构(circuit)，例如是半导体芯片、半导体封装件或其它类型的电路结构。
生成器110用于生成三维图像P3D，其中三维图像P3D包括至少一个三维物件影像M3D。装置摄像器120用于撷取三维图像P3D的二维图像P2D，其中二维图像P2D包括三维物件影像M3D的二维物件影像M2D。标注器130用于：(1).辨识二维物件影像M2D的物件区域MOR；(2).取得物件区域MOR的露出区域MER的露出面积AER占物件区域MOR的物件面积AOR的露出比例R；(3).判断露出比例R是否大于预设比例；以及，(4).当露出比例R大于预设比例，定义露出区域MER为第一可取放区。前述的物件区域MOR的物件面积AOR例如是物件区域MOR的影像的外边界所围绕区域的面积。相较于人工标注(或标记)，本公开实施例是以装置100快速地标注二维物件影像的第一可取放区，相对较省时、快速且更有效率。
如图5所示，以二维物件影像M2D，1及M2D，2举例来说，二维物件影像M2D，1重叠于二维物件影像M2D，2上，因此二维物件影像M2D，2的物件区域MOR，2部分被二维物件影像M2D，1的物件区域MOR，1覆盖。详细地说，二维物件影像M2D，2的物件区域MOR，2包含被遮蔽部区域MSR、露出区域MER1及露出区域MER2，其中被遮蔽部区域MSR被二维物件影像M2D，1覆盖，而露出区域MER1及露出区域MER2从二维物件影像M2D，1露出。
标注器130通过影像分析技术，辨识物件区域MOR，1的范围、物件区域MOR，2的范围以及物件区域MOR，2的被遮蔽部区域MSR的范围、露出区域MER1的范围及露出区域MER2的范围，并据以计算物件区域MOR，1的面积、物件区域MOR，2的面积、物件区域MOR，2的被遮蔽部区域MSR的面积、露出区域MER1的面积及露出区域MER2的面积。前述“辨识区域的范围”例如是“取得区域的影像的多个像素点的各坐标”。
在取得面积后，标注器130可计算露出区域MER的露出面积AER占物件区域MOR的物件面积AOR的露出比例R，并将露出比例R大于预设比例的露出区域MER定义为第一可取放区。例如，图5的露出区域MER1占物件面积AOR的露出比例R大于该预设比例，因此标注器130将露出区域MER1定义为第一可取放区，而图5的露出区域MER2占物件面积AOR的露出比例R不大于该预设比例，因此标注器130不将露出区域MER1定义为第一可取放区。
本公开实施例不限定前述预设比例的数值，其可以是介于20％～80％之间的任意实数，或者低于20％，例如是0％，或超过80％，例如是100％。当预设比例设为0％时，在实际取放流程中，只要是有露出区域的实体物件都可被取放。当预设比例设为100％时，在实际取放流程中，只有完全露出的实体物件才会被取放。预设比例可视物件种类及/或所处环境而定，本公开实施例不加以限定。
在一实施例中，如图5所示，标注器130还用于：(1).判断取放器11(绘示于图6)的取放口11a(绘示于图6)的取放口面积A11是否完全落于露出区域MER内，其中取放口面积A11可以是预先设定的信息；(2).当取放口面积A11完全落于露出区域MER内，定义露出区域MER为第一可取放区。举例来说，如图5所示，标注器130采用影像处理技术，判断取放口面积A11完全落于露出区域MER1内，因此将此露出区域MER1定义为第一可取放区。
在一实施例中，标注器130还用于：(1).判断三维物件影像M3D的所在深度是否大于预设深度；(2).当三维物件影像M3D的所在深度大于预设深度，针对高于预设深度的物件区域MOR，执行辨识二维物件影像M2D的物件区域MOR的步骤、取得露出比例R的步骤、判断露出比例R是否大于预设比例的步骤及定义露出区域MER为第一可取放区的步骤。
举例来说，如图4所示，三维图像P3D还包括容器影像MV，全部三维物件影像M3D位于容器影像MV内。由于接近容器影像MV的底部MV1的三维物件影像M3D被上方三维物件影像M3D覆盖的机率或覆盖的区域大，因此可考虑忽略不计。基于此，标注器130可只分析高于预设深度H1的物件区域，例如是物件区域MOR1、MOR2、MOR3及MOR4。如此，装置100分析三维物件影像M3D的数量可减少，可加快分析速度以及减少分析所需时间。标注器130分析前述物件区域MOR1、MOR2、MOR3及MOR4的方式类似或同于分析图5的物件区域MOR，1及物件区域MOR，2的方式，因此不再赘述。
此外，图4仅是为了示意预设深度H1，装置100实际上仍是通过分析图3的二维图像P2D取得高于预设深度H1的物件区域。此外，标注器130对于不同二维图像P2D可采用不同预设深度H1分析物件区域。例如，当二维图像P2D的物件数量堆叠较高时，预设深度H1可愈高。
以第一可取放区的信息D的应用来说，如图6所示，标注器130可输出第一可取放区的信息D给电子档案(file)(未绘示)，或输出给取放系统10(绘示于图6)的机械手臂12或控制器14。在一实施例中，第一可取放区的信息D包含物件区域MOR的物件名称及第一可取放区的多个像素点的各坐标值。以输出给取放系统10来说，取放系统10在实际进行取放至少一个实体物件O1的过程，可依据第一可取放区的信息D，取得此至少一个实体物件O1中对应第一可取放区的可取放部O11，并通过该可取放部，方便/快速取放实体物件O1。
如图2所示，三维物件影像M3D例如是物品的三维物件影像，此物品例如是容器、工具、文具、玩偶(如布偶等)等任何可供取放系统10取放的物件。前述容器例如是塑料瓶、玻璃瓶、利乐包、水壶、包包等各种领域的容器，工具例如是板手、锤子等各领域所使用的处理工具，而文具例如是笔、修正带、钉书机等各种文书处理文具。本公开实施例不限定物品的种类，其可以是任何可供取放系统10取放的物件。此外，物件可具有硬质性、软质性或其组合，其中软质性表示物件具有较大可变形性或可挠性，此类物件例如是由纸、布、橡胶、塑胶(可能厚度薄)或其组合的材质所制成。硬质性表示物件具有小可变形性或小可挠性，此类物件例如是由金属、玻璃、塑胶(可能是厚度大)、木头或其组合的材质所制成。
在本实施例中，装置摄像器120例如是虚拟摄像器，详细地说，装置摄像器120并非实体摄像器。生成器110所生成的是三维图像P3D，其包含至少一个三维物件影像M3D。装置100可通过装置摄像器120撷取三维物件影像M3D的二维物件影像M2D，以利后续对于二维物件影像M2D的第一可取放区的分析。
此外，装置100可在生成背景条件下分析第一可取放区。生成背景条件包含光源种类、光源数量、光源姿态、光源照射角度、物件种类、物件数量、物件表面纹理、物件姿态、背景环境、装置摄像器120的摄像视角及/或装置摄像器120与物件的距离等各种模拟(或相似于)取放系统10所处实际环境的环境参数。标注器可基于前述环境参数的任意组合，执行随机演算法，以使一个或多个三维模型，基于随机产生的参数，在包含光源物件的模拟场景中，生成物件姿态参数都不同、且可即时产生光影变化的多个虚拟物件。
就光源参数而言，光源参数例如为定向光源(Directional Light)、点光源(PointLight)、聚光源(Spot Light)与天空光源(Sky Light)其中一种。此外，不同的光源姿态能让虚拟物件(三维物件影像M3D)因不同打光位置，而产生不同的光影变化。就物件姿态参数而言，物件姿态参数可例如可以X、Y及Z轴数值表示的位置信息(Location)、旋转度信息(Rotation)、比例信息(Scale)的组合，前述的位置信息可例如被表示为(x，y，z)或(x，y，z，rx，ry，rz)，其中的x、y及z分别为X、Y及Z轴的坐标值，而rx、ry、rz分别为绕x、y、z轴旋转的物理量(r是旋转(rotation)之意)，如角度值。
随机产生前述的物件姿态参数时，若以标注器(模拟器)为Unreal引擎为例，可应用例如Random Rotator、Random Rotator from Stream、Random Float in Range、RandomFloat in Range from Stream、Random Integer、Random Integer From Stream、RandomPoint in Bounding Box等函数的随机演算法，以随机产生各虚拟物件的物件姿态参数。若以标注器为Unreal引擎为例，随机演算法可例如为标注器提供的Random Integer、RandomInteger From Stream、Random Integer in Range、Random Integer In Range FromStream等函数，但不以此为限，只要能产生随机输出值的函数，均可视需求采用。
就环境物件参数而言，环境物件参数例如是位于装置摄像器的视野中的背景物件，例如物料篮或料车，其中，物料篮本身也有定义的物件姿态参数、物件种类参数及/或材质参数(material)，使得物料篮的颜色、纹理及/或大小可在标注器中被定义，而物料篮的种类及/或大小亦可作为赋予物料篮的标记信息的一部分。
由于生成背景条件尽可能符合或接近取放系统10实际上的所处环境，因此所分析取得的第一可取放区信息D能增加取放系统10在实际取放物件时的取放成功率(第一可取放区的辨识正确率愈高，实际取放成功率愈高)。
图2的三维图像P3D是在特定的生成背景条件下所生成的三维图像。在对一个三维图像P3D分析完成后，生成器110可改变前述生成背景条件的至少一个，然后生成新的三维图像P3D，并采用相同分析方式，取得该新的三维图像P3D的至少一个第一可取放区的信息。生成器110改变生成背景条件的方式例如是随机改变或依据设定条件改变，其中设定条件例如是使用者预先输入。在一实施例中，装置100所分析的三维图像P3D的数量等于或大于1。装置100在不同生成背景条件下所分析的三维图像P3D的数量愈多，表示样本数愈多，对于取放系统10在实际取放物件时的取放成功率愈高。本公开实施例不限定装置100分析三维图像P3D的数量，其可以是等于或大于1的任意数量。在一实施例中，装置100可持续分析不同生成背景条件下的三维图像P3D。
请参照图7，其绘示图6的装置100的自动生成图像与标注图像中第一可取放区的流程图。
在步骤S110中，如图1和图2所示，生成器110生成三维图像P3D，其中三维图像P3D包括至少一个三维物件影像M3D。
在步骤S120中，如图1和图3所示，装置摄像器120撷取三维图像P3D的二维图像P2D，其中二维图像P2D包括三维物件影像M3D的二维物件影像M2D。
在步骤S130中，标注器130辨识二维物件影像M2D的物件区域MOR。以图5的两个二维物件影像M2D，1及M2D，2举例来说，标注器130可采用影像分析技术，辨识物件区域MOR，1的范围、物件区域MOR，2的范围以及物件区域MOR，2的被遮蔽部区域MSR的范围、露出区域MER1的范围及露出区域MER2的范围。
在步骤S140中，标注器130取得物件区域MOR的露出区域MER的露出面积AER占物件区域MOR的物件面积AOR的露出比例R。以图5的二维物件影像M2D，2举例来说，标注器130可采用影像分析技术，计算出物件区域MOR，2的露出区域MER1的露出面积AER占物件区域MOR，2的物件面积AOR的露出比例R。
在步骤S150中，标注器130判断露出比例R是否大于预设比例。若是，流程进入步骤S160；若否，生成器110改变前述生成背景条件的至少一个，然后流程回到步骤S110。在一实施例中，生成器110可随机改变前述生成背景条件的至少一个，或依据前述设定条件改变前述生成背景条件的至少一个，然后再回到步骤S110。在一实施例中，在二维图像P2D中所有二维物件影像M2D都分析完成后，或高于预设深度H1的所有二维物件影像M2D都分析完成后，再回到步骤S110。
在步骤S160中，标注器130定义露出区域MER为第一可取放区。以图5的二维物件影像M2D，2举例来说，由于露出区域MER1占物件面积AOR的露出比例R大于该预设比例，因此标注器130将露出区域MER1定义为第一可取放区。在另一实施例中，标注器130可采用影像处理技术，判断取放口面积A11完全落于露出区域MER1内，因此将露出区域MER1定义为第一可取放区。
然后，生成器110可随机改变前述生成背景条件的至少一个，或依据前述设定条件改变前述生成背景条件的至少一个，然后流程回到步骤S110。在另一实施例中，标注器130可输出第一可取放区的物件名称及多个像素点的各坐标给机械手臂12(绘示于图6)、控制器14(绘示于图6)或电子档案(file)(未绘示)。
由上可知，装置100在不同生成背景条件下持续地分析多张三维图像P3D。所分析的三维图像P3D的数量愈多(样本数愈多)，对于取放系统10在实际取放物件时的取放成功率愈高。本公开实施例不限定装置100所分析的三维图像P3D的数量，其可以是等于或大于1的任意正整数。
在实施例中，步骤S110～S160是由装置100自动及/或主动完成，过程中可不需人工处理，因此可省时、快速且有效率地取得物件区域的第一可取放区信息。
请参照图8和图9，图8绘示图6的取放系统10的取放实体物件O1的取放流程图，而图9绘示图6的取放系统10所撷取的二维物件影像MO，2D的示意图。
首先，提供取放系统10。如图6所示，取放系统10包含装置100、取放器11、机械手臂12、系统摄像器13及控制器14。控制器14可配置于机械手臂12外，然亦可整合于机械手臂12或配置于装置100内。
如图6所示，取放器11可配置在机械手臂12。在本实施例中，取放器11例如是吸嘴，其连通真空源(未绘示)，其中真空源可提供真空吸力给取放器11，使取放器11可吸取实体物件O1的可取放部。当真空源未提供真空吸力给取放器11时，取放器11可释放实体物件O1的可取放部。此外，取放器11具有取放口11a，取放口11a的取放口面积A11小于实体物件O1的可取放部面积，如此可使用最大吸力吸取实体物件O1。在另一实施例中，取放器11例如是磁吸器，取放器11可选择性提供磁力或切断磁力的供应，以取放实体物件O1。在另一实施例中，取放器11也可以是夹持器，以使用夹持方式取放实体物件O1。
如图6所示，系统摄像器13例如是实体摄像器，其可撷取至少一个实体物件O1的二维图像PO，2D，其中二维图像PO，2D包含各个实体物件O1的二维物件影像MO，2D。控制器14用于：(1).分析二维物件影像MO，2D，并依据装置100所提供的第一可取放区的信息，取得各二维物件影像MO，2D的第二可取放区；(2).控制机械手臂12移动至实体物件O1中对应第二可取放区的可取放部的上方或周边；(3).控制取放器11取放实体物件O1的可取放部。
在步骤S210中，控制器14接收来自于装置100的取放区的信息D。
在步骤S220中，系统摄像器13撷取实体物件O1的二维图像PO，2D，二维图像PO，2D包含至少一个二维物件影像MO，2D，如图9所示的二维物件影像MO，2D，1及MO，2D，2。
在步骤S230中，控制器14分析二维物件影像MO，2D，并依据装置100所提供的第一可取放区的信息D，取得各二维物件影像MO，2D的第二可取放区。以图9的二维物件影像MO，2D，2举例来说，控制器14分析二维物件影像MO，2D，2，并依据装置100所提供的第一可取放区的信息D，取得二维物件影像MO，2D，2的第二可取放区C1。由于装置100已提供控制器14至少一个第一可取放区的信息D，因此控制器14可不需或可省略对二维物件影像MO，2D进行复杂的影像分析，即可快速取得二维物件影像MO，2D的第二可取放区C1的信息，如大小及/或位置等。
在步骤S240中，控制器14控制机械手臂12移动至实体物件O1中对应第二可取放区C1的可取放部O11(可取放部O11绘示于图6)的上方或周边。
在步骤S250中，控制器14控制取放器11吸取实体物件O1的可取放部O11，以吸取实体物件O1。详细地说，取放器11通过可取放部O11取放实体物件O1。
在一实施例中，图7的步骤S240之前，还包含有坐标转换流程；例如可以是由控制器14将影像坐标转换至机械手臂坐标。详细来说，在系统摄像器13撷取实体物件O1的二维图像PO，2D(步骤S220)后，控制器14将二维图像PO，2D的二维影像坐标换至机械手臂12的机械手臂坐标，然后再据以控制机械手臂12取放实体物件O1。
此外，在一实施例中，图7和图8所示的流程可以计算机程序产品(未绘示)实现。
综上，本公开实施例的自动生成图像与标注图像中可取放区的装置可自动生成不同背景条件的至少一个图像，并加以标注图像中的第一可取放区。此第一可取放区的信息可输出成数据表形式数据或提供给取放系统，以供取放系统使用，例如，取放系统撷取实体物件的二维物件影像，并依据该第一可取放区的信息，取得二维物件影像的第二可取放区，因而可通过该实体物件中对应该第二可取放区的可取放部，取放该实体物件。通过本申请的自动生成图像与标注图像中可取放区的方法，可使视觉(或影像)辨识成功率高于80％，例如92％以上。
综上所述，虽然本公开已以实施例公开如上，然其并非用于限定本公开。本领域技术人员在不脱离本公开的精神和范围内，当可作各种的更动与润饰。因此，本公开的保护范围以权利要求的申请专利范围所界定的范围为准。

Claims (17)

1.一种自动生成图像与标注图像中可取放区的方法，包括：
在生成背景条件下，生成三维图像，该三维图像包括至少一个三维物件影像；
撷取该三维图像的二维图像，该二维图像包括该三维物件影像的二维物件影像；
辨识该二维物件影像的物件区域；
取得该二维物件影像的露出区域的露出面积占该物件区域的物件面积的露出比例；
判断该露出比例是否大于预设比例；以及
当该露出比例大于该预设比例，定义该露出区域为可取放区。
2.根据权利要求1所述的自动生成图像与标注图像中可取放区的方法，还包括：
判断取放器的取放口的取放口面积是否完全落于该露出区域内；
其中，在定义该露出区域为该可取放区的步骤还包括：
当该取放口面积完全落于该露出区域内，定义该露出区域为该可取放区。
3.根据权利要求1所述的自动生成图像与标注图像中可取放区的方法，还包括：
输出该可取放区的物件名称及多个像素点的各坐标值至机械手臂。
4.根据权利要求1所述的自动生成图像与标注图像中可取放区的方法，还包括：
判断该三维物件影像的所在深度是否大于预设深度；
当该三维物件影像的该所在深度大于该预设深度，针对高于该预设深度的该物件区域，执行辨识该二维物件影像的该物件区域的步骤、取得该露出比例的步骤、判断该露出比例是否大于该预设比例的步骤及定义该露出区域为该可取放区的步骤。
5.根据权利要求1所述的自动生成图像与标注图像中可取放区的方法，其中该生成该三维图像的步骤、撷取该三维图像的该二维图像的步骤、辨识该二维物件影像的该物件区域的步骤、取得该露出比例的步骤、判断该露出比例是否大于该预设比例的步骤与定义该露出区域为该可取放区的步骤是由装置自动完成。
6.根据权利要求1所述的自动生成图像与标注图像中可取放区的方法，还包括：
在定义该露出区域为该可取放区后，改变该生成背景条件，然后回到生成该三维图像的步骤。
7.根据权利要求1所述的自动生成图像与标注图像中可取放区的方法，还包括：
当该露出比例小于或等于该预设比例，改变该生成背景条件，然后回到生成该三维图像的步骤。
8.一种自动生成图像与标注图像中可取放区的装置，包括：
生成器，用于在生成背景条件下，生成三维图像，其中该三维图像包括至少一个三维物件影像；
装置摄像器，用于撷取该三维图像的二维图像，其中该二维图像包括该三维物件影像的二维物件影像；以及
标注器，用于：
辨识该二维物件影像的物件区域；
取得该物件区域的露出区域的露出面积占该物件区域的物件面积的露出比例；
判断该露出比例是否大于预设比例；以及
当该露出比例大于该预设比例，定义该露出区域为可取放区。
9.根据权利要求8所述的自动生成图像与标注图像中可取放区的装置，其中该标注器还用于：
判断取放器的取放口的的取放口面积是否完全落于该露出区域内；以及
当该取放口面积完全落于该露出区域内，定义该露出区域为该可取放区。
10.根据权利要求8所述的自动生成图像与标注图像中可取放区的装置，其中该标注器还用于：
输出该可取放区的物件名称及多个像素点的各坐标值至机械手臂。
11.根据权利要求8所述的自动生成图像与标注图像中可取放区的装置，其中该标注器还用于：
判断该三维物件影像的所在深度是否大于预设深度；
当该三维物件影像的该所在深度大于该预设深度，针对高于该预设深度的该物件区域，执行辨识该二维物件影像的该物件区域的步骤、取得该露出比例的步骤、判断该露出比例是否大于该预设比例的步骤及定义该露出区域为该可取放区的步骤。
12.根据权利要求8所述的自动生成图像与标注图像中可取放区的装置，其中该生成器还用于：
在定义该露出区域为该可取放区后，改变该生成背景条件后，生成另一个该三维图像。
13.根据权利要求8所述的自动生成图像与标注图像中可取放区的装置，其中该生成器还用于：
当该露出比例小于或等于该预设比例，改变该生成背景条件后，生成另一个该三维图像。
14.一种取放系统，包括：
自动生成图像与标注图像中可取放区的装置，包括：
生成器，用于在生成背景条件下，生成三维图像，其中该三维图像包括至少一个三维物件影像；
装置摄像器，用于撷取该三维图像的二维图像，其中该二维图像包括该三维物件影像的二维物件影像；以及
标注器，用于：
辨识该二维物件影像的物件区域；
取得该物件区域的露出区域的露出面积占该物件区域的物件面积的露出比例；
判断该露出比例是否大于预设比例；及
当该露出比例大于该预设比例，定义该露出区域为第一可取放区；
系统摄像器，用于撷取实体物件的二维图像，该二维图像包含二维物件影像；
机械手臂；以及
控制器，电性连接于该装置且用于：
分析该二维物件影像，并依据该装置所取得的该第一可取放区的信息，取得该二维物件影像的第二可取放区；以及
控制该机械手臂取放该实体物件对应该第二可取放区的可取放部。
15.一种取放方法，包括：
在生成背景条件下，生成三维图像，该三维图像包括至少一个三维物件影像；
撷取该三维图像的二维图像，该二维图像包括该三维物件影像的二维物件影像；
辨识该二维物件影像的物件区域；
取得该二维物件影像的露出区域的露出面积占该物件区域的物件面积的露出比例；
判断该露出比例是否大于预设比例；
当该露出比例大于该预设比例，定义该露出区域为第一可取放区；
撷取实体物件的二维图像，该二维图像包含二维物件影像；
分析该二维物件影像，并依据该第一可取放区的信息，取得该二维物件影像的第二可取放区；以及
控制该机械手臂取放该实体物件对应该第二可取放区的可取放部。
16.根据权利要求15所述的取放方法，在生成该三维图像之前，还包括配置取放系统；该取放系统包括自动生成图像与标注图像中可取放区的装置，系统摄像器、机械手臂及控制器；该装置包括生成器、系统摄像器及标注器；其中，该生成器用于在该生成背景条件下，生成该三维图像；该装置摄像器用于撷取该三维图像的该二维图像；该标注器用于辨识该二维物件影像的该物件区域；该系统摄像器用于撷取该实体物件的该二维图像；该控制器电性连接于该装置且用于分析该二维物件影像，并依据该装置所取得的该第一可取放区的信息，取得该二维物件影像的该第二可取放区；以及，控制该机械手臂取放该实体物件对应该第二可取放区的该可取放部。
17.一种计算机程序产品，装载于自动生成图像与标注图像中可取放区的装置，以执行自动生成图像与标注图像中可取放区的方法，该方法包括：
在生成背景条件下，生成三维图像，该三维图像包括至少一个三维物件影像；
撷取该三维图像的二维图像，该二维图像包括该三维物件影像的二维物件影像；
辨识该二维物件影像的物件区域；
取得该二维物件影像的露出区域的露出面积占该物件区域的物件面积的露出比例；
判断该露出比例是否大于预设比例；以及
当该露出比例大于该预设比例，定义该露出区域为可取放区。
CN202110381575.2A 2020-08-06 2021-04-09 标注方法、应用其的装置、系统、方法及计算机程序产品 Pending CN114092632A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063061843P 2020-08-06 2020-08-06
US63/061,843 2020-08-06
TW109133623 2020-09-28
TW109133623A TWI772909B (zh) 2020-08-06 2020-09-28 標註方法、應用其之裝置、系統、方法及電腦程式產品

Publications (1)

Publication Number Publication Date
CN114092632A true CN114092632A (zh) 2022-02-25

Family

ID=80115247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110381575.2A Pending CN114092632A (zh) 2020-08-06 2021-04-09 标注方法、应用其的装置、系统、方法及计算机程序产品

Country Status (2)

Country Link
US (1) US11562527B2 (zh)
CN (1) CN114092632A (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
US7983487B2 (en) * 2007-11-07 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for locating and picking objects using active illumination
US8923602B2 (en) * 2008-07-22 2014-12-30 Comau, Inc. Automated guidance and recognition system and method of the same
JP5229253B2 (ja) 2010-03-11 2013-07-03 株式会社安川電機 ロボットシステム及びロボット装置並びにワーク取り出し方法
US9102055B1 (en) 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
GB201517462D0 (en) 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
CN107133190A (zh) 2016-02-29 2017-09-05 阿里巴巴集团控股有限公司 一种机器学习系统的训练方法和训练系统
TWI608369B (zh) 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
US10365617B2 (en) 2016-12-12 2019-07-30 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow
JP6734402B2 (ja) 2017-01-12 2020-08-05 株式会社Ｆｕｊｉ 作業機
CN109584295B (zh) 2017-09-29 2022-08-26 阿里巴巴集团控股有限公司 对图像内目标物体进行自动标注的方法、装置及系统
CN108202328B (zh) * 2017-12-29 2020-04-17 深圳市越疆科技有限公司 机器人自适应取放物体的方法、装置、机械臂及存储介质
TWI696804B (zh) 2019-01-09 2020-06-21 阿丹電子企業股份有限公司 體積量測裝置及體積量測方法
CN111428731B (zh) * 2019-04-04 2023-09-26 深圳市联合视觉创新科技有限公司 基于机器视觉的多类目标识别定位方法、装置和设备

Also Published As

Publication number Publication date
US20220044471A1 (en) 2022-02-10
US11562527B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
WO2019189661A1 (ja) 学習データセット作製方法及び装置
CN112802105A (zh) 对象抓取方法及装置
CN107748890A (zh) 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN111482967B (zh) 一种基于ros平台的智能检测与抓取方法
CN114952809A (zh) 工件识别和位姿检测方法、系统及机械臂的抓取控制方法
CN111483750A (zh) 机器人系统的控制方法以及控制装置
CN106886165A (zh) 一种基于模拟器的机械手抓取和操纵方法
CN112802107A (zh) 基于机器人的夹具组的控制方法及装置
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
Pan et al. Manipulator package sorting and placing system based on computer vision
US20230297068A1 (en) Information processing device and information processing method
CN112633187B (zh) 基于图像分析的机器人自动搬运方法、系统和存储介质
CN114092632A (zh) 标注方法、应用其的装置、系统、方法及计算机程序产品
CN116228854B (zh) 一种基于深度学习的包裹自动分拣方法
TWI772909B (zh) 標註方法、應用其之裝置、系統、方法及電腦程式產品
Roa-Garzón et al. Vision-based solutions for robotic manipulation and navigation applied to object picking and distribution
De Gregorio et al. Robotfusion: Grasping with a robotic manipulator via multi-view reconstruction
WO2023082417A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
EP4275174A1 (en) Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system
CN115082554A (zh) 用于控制机器人来拿起对象的装置和方法
CN113345023A (zh) 箱体的定位方法、装置、介质和电子设备
CN111470244A (zh) 机器人系统的控制方法以及控制装置
JP2021016910A (ja) ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination