JP2020179355A - 物体選別システム及びエッジ領域抽出プログラム - Google Patents
物体選別システム及びエッジ領域抽出プログラム Download PDFInfo
- Publication number
- JP2020179355A JP2020179355A JP2019084648A JP2019084648A JP2020179355A JP 2020179355 A JP2020179355 A JP 2020179355A JP 2019084648 A JP2019084648 A JP 2019084648A JP 2019084648 A JP2019084648 A JP 2019084648A JP 2020179355 A JP2020179355 A JP 2020179355A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- area
- unit
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 239000000463 material Substances 0.000 claims description 35
- 239000013077 target material Substances 0.000 claims description 17
- 238000003702 image correction Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 4
- 239000002023 wood Substances 0.000 description 32
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 239000002699 waste material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 229910000831 Steel Inorganic materials 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 239000004567 concrete Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001071861 Lethrinus genivittatus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Abstract
Description
図1は、実施例1の物体選別システムの構成を説明する図である。図2は、実施例1のレーザ輝度画像と距離画像とカラー画像を示す図である。以下、図1及び図2に基づいて、実施例1の物体選別システムの構成を説明する。
搬送部2は、例えば、ベルトコンベア等の搬送帯とすることができる。搬送部2には、重なった状態の複数の物体Mの物体群Gが載せられる。搬送部2は、循環するように構成される。
撮影部10は、搬送部2上に設けられた撮影ボックス13と、3Dスキャナ11と、エリアカメラ12と、で構成される。
制御部20は、PC(パーソナルコンピュータ)とすることができる。なお、制御部20の機能構成については後述する。
選別部40は、制御盤41を介して制御部20からの情報を受け取るコントローラ42と、コントローラ42によって駆動が制御されるロボットハンド部43と、を備える。
図3は、実施例1の物体選別システムの機能構成を示すブロック図である。図4〜7は、実施例1の物体選別システムによる画像処理を説明する図である。図8は、実施例1の画像補正部26について説明する説明図である。図9は、実施例1の物体選別システムによる画像処理を説明する図である。以下、図3〜図9に基づいて、実施例1の物体選別システムの機能構成を説明する。
w1=w×WD/(WD−h) 式1
d1=d×WD/(WD−h)−d 式2
図10は、実施例1の高さ情報の均一化について説明する図である。図11は、実施例1の学習に使用する画像について説明する図である。図12は、実施例1の色補正について説明する図である。以下、図10〜図12に基づいて、実施例1の機会学習について説明する。
図10(a)は、物体Mに対して、平面視で外接する矩形を形成して、その矩形の中心点を通る断面図である。図10(a)に示すように、物体Mの縁部における最高点aの高さを最高高さHaとし、最低点bの高さを最低高さHbとし、物体Mの中央部cの高さを中央高さHcとする。
(Ha−Hb):ab=(Ha−Hc’):ac
Hc’=Ha−ac/ab*(Ha−Hb)
Hcnew=Hc−Ha+ac/ab*(Ha−Hb)
色補正部29は、図11に示すように、RGB画像に対して画像処理で色の特徴を強化する。具体的には、色補正部29は、図12(b)に示すように、物体Mとしての木材のカラー画像に、例えば、木材色の色フィルタを乗算し、木材色の特徴を強化した補正カラー画像V1を生成する。
G3=(G1+G2)*Multi
学習済みモデル32を生成する際は、図11に示すように、RGBの3チャンネルのカラー画像を用いるだけでなく、3Dスキャナ11で取得した距離画像S2と、レーザ輝度画像S1のチャンネルを追加して、4チャンネル又は5チャンネルの画像で機械学習を実行してもよい。これにより、物体Mの表面の凹凸情報を加味して、学習済みモデル32の精度を向上させることができる。
図13は、実施例1の物体選別システムによる物体選別処理の流れを示すフローチャートである。以下、図13に基づいて、実施例1の物体選別処理の流れについて説明する。
次に、実施例1の物体選別システム1の作用を説明する。実施例1の物体選別システム1は、搬送部2で移動する重なった状態の物体群Gから特定の物体Mを選別する物体選別システムである。物体選別システム1は、3Dスキャナ11が物体群Gを撮影した画像(レーザ輝度画像S1)に基づいて、物体群Gの全体領域Eを特定する全体領域特定部21と、全体領域Eに基づいて、物体群Gに含まれる物体Mのエッジ領域Tを生成するエッジ領域生成部22と、エッジ領域Tに基づいて、領域分割画像P1を生成する領域分割画像生成部23と、領域分割画像P1に基づいて、所定の面積以上の大領域M2を算出する大領域算出部24と、大領域M2と、画像(距離画像S2)とに基づいて、最上層領域M3を算出する最上層領域算出部25と、最上層領域M3を特定の物体Mとして選別するロボットハンド部43と、を備える(図3)。
2 搬送部
11 3Dスキャナ
12 エリアカメラ
21 全体領域特定部
22 エッジ領域生成部
23 領域分割画像生成部
24 大領域算出部
25 最上層領域算出部
26 画像補正部
27 カラー付最上層領域生成部
28 材質判定部
32 学習済みモデル
43 ロボットハンド部
E 全体領域
G 物体群
M 物体
M2 大領域
M3 最上層領域
P1 領域分割画像
S1 レーザ輝度画像(画像の一例)
S2 距離画像(画像の一例)
S3 カラー画像
T エッジ領域
Ta 距離画像エッジ領域
Tb 輝度画像エッジ領域
M4 カラー付最上層領域
V1〜V3 補正カラー画像
Claims (7)
- 搬送部で移動する重なった状態の物体群から特定の物体を選別する物体選別システムであって、
3Dスキャナが前記物体群を撮影した画像に基づいて、前記物体群の全体領域を特定する全体領域特定部と、
前記全体領域に基づいて、前記物体群に含まれる物体のエッジ領域を生成するエッジ領域生成部と、
前記エッジ領域に基づいて、領域分割画像を生成する領域分割画像生成部と、
前記領域分割画像に基づいて、所定の面積以上の大領域を算出する大領域算出部と、
前記大領域と、前記画像とに基づいて、最上層領域を算出する最上層領域算出部と、
前記最上層領域を特定の物体として選別するロボットハンド部と、を備える
ことを特徴とする、物体選別システム。 - 前記画像は、レーザ輝度画像と距離画像であって、
前記エッジ領域生成部は、
前記距離画像に基づいて抽出された前記物体の距離画像エッジ領域と、
前記レーザ輝度画像に基づいて抽出された前記物体の輝度画像エッジ領域と、を生成する
ことを特徴とする、請求項1に記載の物体選別システム。 - 前記3Dスキャナに隣接して配置されたエリアカメラが前記物体群を撮影したカラー画像から、前記最上層領域を抽出して、カラー付最上層領域を生成するカラー付最上層領域生成部と、
前記カラー付最上層領域が、対象の材質であるか否かを判定する材質判定部と、を備え、
前記ロボットハンド部は、材質判定部の判定情報に基づいて、特定の物体を選別する
ことを特徴とする、請求項2に記載の物体選別システム。 - 前記材質判定部は、前記物体の前記カラー画像に対して、色補正を施した補正カラー画像による機械学習を実行した学習済みモデルに基づいて、前記カラー付最上層領域が、対象の材質であるか否かを判定する
ことを特徴とする、請求項3に記載の物体選別システム。 - 前記学習済みモデルは、前記物体の前記距離画像に基づいて、前記物体の高さ情報を均一化した情報を使って機械学習を実行した
ことを特徴とする、請求項4に記載の物体選別システム。 - 前記3Dスキャナで撮影された前記距離画像上の前記物体群の3Dスキャナ物体群高と、
前記3Dスキャナで撮影された前記距離画像上の前記物体群の3Dスキャナ物体群幅と、
前記エリアカメラから前記搬送部までの第1距離と、
前記エリアカメラで撮影された前記カラー画像上の前記物体群のエリアカメラ物体群幅と、
前記エリアカメラの中心から、前記物体群の中心までの第2距離と、
前記物体群の中心と、前記3Dスキャナで撮影した前記物体群の中心との第3距離と、に基づいて、
前記カラー画像と、前記距離画像と、の前記物体群の位置と大きさを補正する画像補正部を備える
ことを特徴とする、請求項3〜5の何れか一項に記載の物体選別システム。 - 物体群に含まれる物体のエッジ領域を抽出するエッジ領域抽出プログラムであって、
3Dスキャナが前記物体群を撮影した距離画像から抽出された前記物体の距離画像エッジ領域と、
前記3Dスキャナが前記物体群を撮影したレーザ輝度画像から抽出された前記物体の輝度画像エッジ領域と、を統合して前記物体のエッジ領域を生成するエッジ領域生成手段としてコンピュータを機能させる
ことを特徴とする、エッジ領域抽出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084648A JP7178954B2 (ja) | 2019-04-25 | 2019-04-25 | 物体選別システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019084648A JP7178954B2 (ja) | 2019-04-25 | 2019-04-25 | 物体選別システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020179355A true JP2020179355A (ja) | 2020-11-05 |
JP7178954B2 JP7178954B2 (ja) | 2022-11-28 |
Family
ID=73022969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019084648A Active JP7178954B2 (ja) | 2019-04-25 | 2019-04-25 | 物体選別システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7178954B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3952908B2 (ja) * | 2002-08-29 | 2007-08-01 | Jfeエンジニアリング株式会社 | 物体の個別認識方法及び個別認識装置 |
JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
JP5967470B2 (ja) * | 2012-03-30 | 2016-08-10 | 株式会社リコー | 検査装置 |
JP2017109197A (ja) * | 2016-07-06 | 2017-06-22 | ウエノテックス株式会社 | 廃棄物選別システム及びその選別方法 |
JP6271953B2 (ja) * | 2013-11-05 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2018111140A (ja) * | 2017-01-10 | 2018-07-19 | オムロン株式会社 | 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム |
-
2019
- 2019-04-25 JP JP2019084648A patent/JP7178954B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3952908B2 (ja) * | 2002-08-29 | 2007-08-01 | Jfeエンジニアリング株式会社 | 物体の個別認識方法及び個別認識装置 |
JP5618569B2 (ja) * | 2010-02-25 | 2014-11-05 | キヤノン株式会社 | 位置姿勢推定装置及びその方法 |
JP5967470B2 (ja) * | 2012-03-30 | 2016-08-10 | 株式会社リコー | 検査装置 |
JP6271953B2 (ja) * | 2013-11-05 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2017109197A (ja) * | 2016-07-06 | 2017-06-22 | ウエノテックス株式会社 | 廃棄物選別システム及びその選別方法 |
JP2018111140A (ja) * | 2017-01-10 | 2018-07-19 | オムロン株式会社 | 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7178954B2 (ja) | 2022-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3740897B1 (en) | License plate reader using optical character recognition on plural detected regions | |
CN111669566B (zh) | 用于检测可见光和红外投影图案的成像器 | |
JP4704804B2 (ja) | 木材の節探査方法及び装置及びプログラム | |
CN107597600A (zh) | 分拣系统和分拣方法 | |
JP2013010155A (ja) | 対象物把持装置、対象物把持装置の制御方法、およびプログラム | |
US11580627B2 (en) | Systems and methods for automatically grading pre-owned electronic devices | |
CN102164718A (zh) | 工件取出方法 | |
CN111359915B (zh) | 基于机器视觉的物料分选方法及系统 | |
DE602004015759D1 (ja) | ||
CN113383227A (zh) | 缺陷检查装置 | |
JP7005388B2 (ja) | 情報処理装置及び仕分システム | |
CN107301634A (zh) | 一种机器人自动分拣方法及系统 | |
JP2024016293A (ja) | 廃棄物選別装置 | |
CN106540887A (zh) | 建筑垃圾智能机器人分拣系统及方法 | |
CN104772286A (zh) | 一种基于kinect的新型分拣系统及其操作方法 | |
CN112977974A (zh) | 烟包外观质量检测装置及其方法、烟包包装机 | |
JP2020179355A (ja) | 物体選別システム及びエッジ領域抽出プログラム | |
CN113610833A (zh) | 物料抓取方法、装置、电子设备和存储介质 | |
JP6017390B2 (ja) | 単板の選別堆積装置及び単板選別方法 | |
JP4812083B2 (ja) | いりこ等の選別方法とその装置 | |
CN115375889A (zh) | 一种多种照明融合识别定位焊盘的处理方法及系统 | |
JP2006226950A (ja) | 木材の検査方法及び木材の検査装置 | |
KR102436943B1 (ko) | Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법 | |
CN106181998A (zh) | 一种机器人视觉定位传感器 | |
JP7258345B2 (ja) | 物体識別装置と物体識別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190514 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7178954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |