JP2021030219A - 物品選別装置および物品選別方法 - Google Patents
物品選別装置および物品選別方法 Download PDFInfo
- Publication number
- JP2021030219A JP2021030219A JP2020048484A JP2020048484A JP2021030219A JP 2021030219 A JP2021030219 A JP 2021030219A JP 2020048484 A JP2020048484 A JP 2020048484A JP 2020048484 A JP2020048484 A JP 2020048484A JP 2021030219 A JP2021030219 A JP 2021030219A
- Authority
- JP
- Japan
- Prior art keywords
- sorting
- waste
- article
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003756 stirring Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000002699 waste material Substances 0.000 description 228
- 238000012545 processing Methods 0.000 description 58
- 239000000463 material Substances 0.000 description 44
- 230000006870 function Effects 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 18
- 238000012937 correction Methods 0.000 description 16
- 239000002023 wood Substances 0.000 description 13
- 239000007921 spray Substances 0.000 description 12
- 239000010440 gypsum Substances 0.000 description 11
- 229910052602 gypsum Inorganic materials 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 238000011144 upstream manufacturing Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 229920001971 elastomer Polymers 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 239000005060 rubber Substances 0.000 description 6
- 230000003028 elevating effect Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000007621 cluster analysis Methods 0.000 description 2
- 241000252100 Conger Species 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002916 wood waste Substances 0.000 description 1
Images
Abstract
【課題】分散して配置されていない物品を従来よりも精度よく選別することができる物品選別装置および物品選別方法を提供する。【解決手段】搬送装置4によって搬送されている物品群Vから特定の物品を選別する物品選別装置5であって、搬送装置4によって搬送されている物品群Vを撮影する撮影手段21と、物品群Vから選別対象を選別位置に移動させる選別機構10と、選別機構10を制御する機構制御部を有する制御装置30とを備え、制御装置30は、画像データに写る複数の物品の中で認識率が閾値よりも高い物品を選別対象に決定し、認識率が閾値よりも高い物品がない場合に物品群を攪拌するように決定する。【選択図】図1
Description
本発明は、物品選別装置および物品選別方法に関する。
住宅や施設を解体処理した際に発生する廃棄物や、災害時に発生する瓦礫などの廃棄物には、木材、金属類、ゴム類、ガラス類、プラスチック類などが混在した状態である。このような廃棄物を再利用するためには、素材毎に分別する必要がある。近年、人工知能の技術を用いて廃棄物を選別する選別システムの開発が進められている。
これに関連して、廃棄物を効率よく選別できるシステムが開発されている(特許文献1参照)。特許文献1には、搬送中の廃棄物を撮影した画像データと、重量センサで計測した重量と、作業者が目視により判別した素材情報とを紐付けて教師データを作成することが記載されている(特に、実施例1参照)。また、作成した教師データを用いて学習した人工知能を使って自動選別を行うことが記載されている(特に、実施例2参照)。
しかしながら、特許文献1の技術では、廃棄物(物品)が分散された状態で搬送されることを前提としており、廃棄物が重なった状態や密集した状態で搬送される場合を想定していなかった。そのため、廃棄物が重なった状態や密集した状態などの分散して配置されていない状態では、廃棄物を精度よく選別することが難しかった。
このような観点から、本発明は、分散して配置されていない物品を従来よりも精度よく選別することができる物品選別装置および物品選別方法を提供する。
前記課題を解決するため、本発明に係る物品選別装置は、搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置である。
この物品選別装置は、前記搬送装置によって搬送されている前記物品群を撮影する撮影手段と、前記物品群から選別対象を選別位置に移動させる選別機構と、前記選別機構を制御する機構制御部を有する制御装置と、を備える。
この物品選別装置は、前記搬送装置によって搬送されている前記物品群を撮影する撮影手段と、前記物品群から選別対象を選別位置に移動させる選別機構と、前記選別機構を制御する機構制御部を有する制御装置と、を備える。
前記制御装置は、前記撮影手段によって撮影された画像データから当該画像データに写る複数の物品の種別を判定する判定部と、前記判定部の判定結果に基づいて、前記選別対象を決定する対象決定部と、を備える。
前記対象決定部は、前記画像データに写る複数の物品の中で認識率が閾値よりも高い物品を前記選別対象に決定し、前記認識率が閾値よりも高い物品がない場合に前記物品群を攪拌するように決定する。
前記対象決定部は、前記画像データに写る複数の物品の中で認識率が閾値よりも高い物品を前記選別対象に決定し、前記認識率が閾値よりも高い物品がない場合に前記物品群を攪拌するように決定する。
前記課題を解決するため、本発明に係る物品選別方法は、搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置における物品選別方法である。
前記物品選別装置は、前記搬送装置によって搬送されている前記物品群を撮影する撮影手段と、前記物品群から選別対象を選別位置に移動させる選別機構と、前記選別機構を制御する機構制御部を有する制御装置と、を備える。
前記物品選別装置は、前記搬送装置によって搬送されている前記物品群を撮影する撮影手段と、前記物品群から選別対象を選別位置に移動させる選別機構と、前記選別機構を制御する機構制御部を有する制御装置と、を備える。
この物品選別方法は、前記撮影手段によって撮影された画像データから当該画像データに写る複数の物品の種別を判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記選別対象を決定する対象決定ステップと、を有する。
前記対象決定ステップでは、前記画像データに写る複数の物品の中で認識率が閾値よりも高い物品を前記選別対象に決定し、前記認識率が閾値よりも高い物品がない場合に前記物品群を攪拌するように決定する。
前記対象決定ステップでは、前記画像データに写る複数の物品の中で認識率が閾値よりも高い物品を前記選別対象に決定し、前記認識率が閾値よりも高い物品がない場合に前記物品群を攪拌するように決定する。
本発明に係る物品選別装置および物品選別方法においては、物品が重なった状態や密集した状態などを原因にとして認識率が低下している場合に、その状態を攪拌によって解消できる。そのため、分散して配置されていない物品を従来よりも精度よく選別することができる。
本発明によれば、分散して配置されていない物品を従来よりも精度よく選別することができる。
以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。
<第1実施形態に係る物品選別システムの構成>
第1実施形態に係る物品選別システム1の構成について説明する。物品選別システム1は、物品を撮影した画像(映像を含む。以下同じ)から物品の種別を判定し、その判定結果に基づいて当該物品を選別するシステムである。物品選別システム1における物品の種別の認識精度は、物品の種別を判定するために撮影した画像を用いて学習を繰り返し行うことで次第に向上する。学習の詳細は後記する。物品選別システム1は、物品の選別を必要とする様々な場面で使用することができ、選別する物品や物品を選別する基準は、特に限定されるものではない。
第1実施形態に係る物品選別システム1の構成について説明する。物品選別システム1は、物品を撮影した画像(映像を含む。以下同じ)から物品の種別を判定し、その判定結果に基づいて当該物品を選別するシステムである。物品選別システム1における物品の種別の認識精度は、物品の種別を判定するために撮影した画像を用いて学習を繰り返し行うことで次第に向上する。学習の詳細は後記する。物品選別システム1は、物品の選別を必要とする様々な場面で使用することができ、選別する物品や物品を選別する基準は、特に限定されるものではない。
本実施形態では、図1に示すように、廃棄物Wの選別に物品選別システム1を用いることを想定する。廃棄物Wは、例えば、住宅や施設の解体処理や災害によって発生したものである。廃棄物Wには、複数種類の素材が混在している。つまり、本実施形態における物品選別システム1は、素材に基づく種別ごとに廃棄物Wを選別するものである。なお、廃棄物Wには、複数種類の形状、色のものが混在していてもよく、物品選別システム1は、形状、色、サイズなどに基づく種別ごとに廃棄物Wを選別するものであってもよい。
物品選別システム1は、ローカルシステム2と、クラウドシステム3とを含んで構成されている。ローカルシステム2は、例えば廃棄物を選別する工場内に設けられ、クラウドシステム3は、例えば廃棄物を選別する工場から離れたデータセンタに設けられる。ローカルシステム2では、廃棄物Wを実際に選別する。一方、クラウドシステム3では、ローカルシステム2で廃棄物Wを選別する際に使用されるアプリケーションプログラム(種別判定モデル)や廃棄物Wを撮影した画像データを管理する。
本実施形態では、ローカルシステム2とクラウドシステム3とが外部ネットワーク(例えば、インターネット)を介して通信可能に接続されている。なお、物品選別システム1は、ローカルシステム2とクラウドシステム3とに分かれていなくてもよい。つまり、ここではローカルシステム2とクラウドシステム3とが外部ネットワークNWを介して接続されているが、例えばLAN(Local Area Network)を介して接続されるなどして、ローカルシステム2とクラウドシステム3とが一つの場所(例えば、廃棄物を選別する工場内)に配置されていてもよい。
ローカルシステム2は、コンベア4と、少なくとも一つの物品選別装置5(ここでは、二つの物品選別装置5A,5Bを表記)と、を備える。
ローカルシステム2の説明における「前後」、「上下」、「左右」は、図1の矢印に従う。当該方向は、説明の便宜上定めるものであり、本発明を限定するものではない。図1の前方はコンベア4の上流側であり、後方はコンベア4の下流側である。コンベア4の上流には、例えば廃棄物Wをコンベア4に供給する装置(図示せず)が配置されている。
ローカルシステム2の説明における「前後」、「上下」、「左右」は、図1の矢印に従う。当該方向は、説明の便宜上定めるものであり、本発明を限定するものではない。図1の前方はコンベア4の上流側であり、後方はコンベア4の下流側である。コンベア4の上流には、例えば廃棄物Wをコンベア4に供給する装置(図示せず)が配置されている。
コンベア4は、廃棄物Wを搬送する搬送装置である。本実施形態におけるコンベア4は、ベルトを台車の上で回転させ、その上に載せた物品を搬送するベルト式のもの(ベルトコンベア)である。なお、コンベア4は、ローラ式のものやその他の方式のものであってもよい。ここでは、コンベア4が、分散して配置されていない状態(例えば、重なった状態や密集した状態など)の廃棄物Wを搬送することを想定する。以下では、分散して配置されていない状態の廃棄物Wをまとめて「廃棄物群V」と呼ぶ場合がある。廃棄物群Vは、「物品群」の一例である。
コンベア4によって搬送される廃棄物Wには、複数種類の素材が混在している。本実施形態では、廃棄物Wにコンクリートがら(以下では、省略して「コンがら」と呼ぶ場合がある)、スプレー缶、木くず、石膏ボードの四つが含まれており、これら四つを選別する。コンクリートがらは、コンクリート破片やアスファルト破片などのがれき類を意味する。なお、廃棄物Wには、選別する対象となっていない素材(例えば、ガラスやゴム)が含まれていてもよい。
本実施形態の物品選別装置5は、コンベア4によって搬送されている廃棄物Wを選別する装置である。特に、物品選別装置5は、廃棄物群Vから特定の廃棄物Wを選別することができる。本実施形態での選別は、廃棄物Wの種類ごとに予め決められた位置(以下では、「選別位置」と呼ぶ場合がある)に廃棄物Wを移動させることを意図している。ここでは、コンベア4の両側に収納容器6,6が配置されており、選別対象の廃棄物Wを収納容器6,6に移動させる。なお、収納容器6が設置されるのは、コンベア4の片側だけであってもよい。
第一の物品選別装置5Aと第二の物品選別装置5Bとは同様の構成である。第二の物品選別装置5Bは、第一の物品選別装置5Aよりも下流に配置されており、例えば、第一の物品選別装置5Aによって選別できなかった廃棄物Wを選別する。つまり、第二の物品選別装置5Bは、例えば、廃棄物Wの密集具合が高いことによって第一の物品選別装置5Aでは選別しきれなかった残りの廃棄物Wを選別したり、廃棄物Wが重なり合うことによって第一の物品選別装置5Aでは隠れていた廃棄物Wを選別する。なお、第二の物品選別装置5Bは、第一の物品選別装置5Aとは異なる種類の廃棄物Wを選別してもよい。その場合、物品選別システム1の管理者は、例えば、各々の物品選別装置5A,5Bが何の種類の廃棄物Wを選別するかを事前に登録しておく。
各々の物品選別装置5は、選別機構10と、物品情報取得機構20と、制御装置30と、を備える。なお、第一の物品選別装置5Aと第二の物品選別装置5Bとで一つの制御装置30を共有してもよい。
本実施形態の選別機構10は、コンベア4によって搬送されている廃棄物Wを収納容器6,6(選別位置)に移動させる機構である。選別機構10は、廃棄物群Vから特定の廃棄物Wを分離する分離機能と、廃棄物Wを選別位置(ここでは、収納容器6)に移動する選別機能と、廃棄物群Vの配置を変更する攪拌機能と、を主に有する。分離機能、選別機能および攪拌機能は、制御装置30の制御によって実現される。なお、図1に示す選別機構10の構成はあくまで例示であり、図1とは異なる構成にすることもできる。
選別機構10は、少なくとも一つの選別ユニット11(ここでは、三つの選別ユニット11a,11b,11cを表記)を含んで構成される。三つの選別ユニット11a,11b,11cの構成は同様である。第一の選別ユニット11aは、最も上流に配置されており、第二の選別ユニット11bは、第一の選別ユニット11aよりも下流に配置されており、第三の選別ユニット11cは、第二の選別ユニット11bよりもさらに下流(最も下流)に配置されている。
図2を参照して、選別ユニット11の構成を説明する。選別ユニット11は、門型の枠12と、枠12に取り付けられたロボットアーム13とを主に備える。枠12は、二本の脚部12a,12aと、脚部12a,12aの上端を連結する連結部12bとを備える。脚部12a,12aおよび連結部12bは、棒状を呈する。枠12は、コンベア4を跨ぐように設置され、連結部12bはコンベア4の上方を横断して配置される。脚部12a,12aの下端内側には、収納容器6が配置されている。連結部12bには、レール12cが形成されている。つまり、レール12cは、コンベア4および収納容器6の上方を横断するように形成されている。
図2に示すロボットアーム13は、廃棄物Wを掴む、放す、運ぶなどの作業をすることができる。ロボットアーム13は、レール12c上を左右方向に移動可能である。ロボットアーム13は、本体部13aと、保持部13bと、移動昇降機構13cとを主に備える。本体部13aは、棒状を呈し、移動昇降機構13c内を上下方向に貫通する。本体部13aの下端には、保持部13bが設置されている。保持部13bは、廃棄物Wを保持するとともに、保持した廃棄物Wを開放することが可能な構成になっている。ここでの保持部13bは、図2のγ方向に開閉可能な複数本の指を備える。保持部13bは、水平面内での旋回(図2のδ方向)が可能である。移動昇降機構13cは、レール12c上(図2のα方向)の移動を実現する移動機構と、保持部13bの昇降(図2のβ方向)を実現する昇降機構とを含んでいる。移動昇降機構13cは、例えば、モータや車輪を有し、本体部13aを昇降可能に支持する。つまり、図2に示す保持部13bは、本体部13aの長さ分だけ上下方向に移動可能である。
なお、ロボットアーム13の動作の詳細は後記するが、ロボットアーム13は、例えば、廃棄物群Vの中から選別対象の廃棄物Wを掴み、掴んだ状態のまま持ち上げて廃棄物群Vから一つの廃棄物Wを分離する。また、ロボットアーム13は、分離した選別対象の廃棄物Wを選別位置(ここでは、収納容器6)まで運び、収納容器6内に廃棄物Wを収納する。これにより、廃棄物Wの選別が完了する。
図1に示す物品情報取得機構20は、第一撮影手段21と、第二撮影手段22と、計測手段23とを備える。なお、図1に示す物品情報取得機構20の構成はあくまで例示であり、図1とは異なる構成にすることもできる。
第一撮影手段21および第二撮影手段22は、廃棄物Wを撮影し、廃棄物Wの画像を作成する。なお、第一撮影手段21および第二撮影手段22によって撮影された画像は、デジタルデータを想定しているので、第一撮影手段21および第二撮影手段22によって撮影された画像を「画像データ」と呼ぶ場合がある。第一撮影手段21および第二撮影手段22によって作成された画像データは、廃棄物Wの種別の判定や廃棄物Wを選別する際に使用されるアプリケーションプログラム(種別判定モデル)の学習などに利用される。第一撮影手段21および第二撮影手段22は、例えば、RGBカメラである。
第一撮影手段21は、選別を行う前の状態の廃棄物群Vを撮影可能な位置に設置される。本実施形態での第一撮影手段21は、図1に示すように、選別機構10の上流であって、コンベア4の上方に設置されている。第一撮影手段21は、例えば、コンベア4の幅方向(ここでは、左右方向)を画角(撮影範囲)に含めるように調整されており、廃棄物群Vを俯瞰して撮影する。第一撮影手段21によって撮影した第一画像データM21のイメージを図3に示す。図3に示すように、第一画像データM21には、複数の廃棄物Wが写っている。
第二撮影手段22は、ロボットアーム13によって持ち上げられた状態(つまり、分離された状態)の廃棄物Wを撮影できる位置に設置される。本実施形態での第二撮影手段22は、図1に示すように、選別機構10の下流に配置されているが、選別機構10の上流や選別ユニット11の間に配置されてもよい。第二撮影手段22は、例えば、持ち上げられた状態の廃棄物Wの全体を画角(撮影範囲)に含めるように調整されている。第二撮影手段22の画角(撮影範囲)には、コンベア4によって搬送されている他の廃棄物Wなどが含まれないのが望ましい。つまり、第二撮影手段22の撮影方向には、持ち上げられた状態の廃棄物W以外の物が写らないようになっているのがよい。また、第二撮影手段22によって撮影された画像データは、撮影した廃棄物Wを容易に特定できるような背景(例えば、廃棄物Wとは異なる単一色)になっているのがよい。第二撮影手段22によって撮影した第二画像データM22のイメージを図4に示す。図4に示すように、第二画像データM22には、単一の廃棄物Wが写っている。
図1に示す計測手段23は、コンベア4によって搬送されている廃棄物Wを計測し、例えば、廃棄物Wまでの距離、廃棄物Wのサイズ、廃棄物Wの形状に関する情報を取得する。計測手段23によって計測された情報は、廃棄物Wの種別の判定やロボットアーム13の制御に利用される。計測手段23は、例えば、ステレオカメラやレーザスキャナなどである。ここでは、計測手段23としてステレオカメラを用いることを想定して説明する。
計測手段23は、選別を行う前の状態の廃棄物群Vを計測可能な位置に設置される。本実施形態での計測手段23は、図1に示すように、選別機構10の上流であって、コンベア4の上方に設置されている。計測手段23による計測結果と第一撮影手段21によって撮影した第一画像データM21との対応関係を取り易くするために、計測手段23は、第一撮影手段21の近傍に配置されているのがよく、第一撮影手段21と計測手段23とが一つの筐体内に収容されることで一つの装置として構成されていてもよい。
図1に示す制御装置30は、選別機構10や物品情報取得機構20の制御、および物品情報取得機構20によって撮影や計測した情報を用いた処理を行う。制御装置30は、例えばパーソナルコンピュータ(PC:Personal Computer)やサーバである。制御装置30は、各々の選別ユニット11、第一撮影手段21、第二撮影手段22および計測手段23と通信可能に接続されている。また、制御装置30は、外部ネットワークNWを介してクラウドシステム3と通信可能に接続されている。なお、選別ユニット11の制御に着目して、制御装置30を特に「コントロールユニット」と呼ぶ場合がある。
図5を参照して(適宜、図1ないし図4を参照)、制御装置30の構成を説明する。制御装置30は、主に、情報取得機構制御部31と、選別機構制御部32と、取得情報処理部33とを備える。制御装置30が備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。ここでは、制御装置30が備える各機能の概要の説明を行い、後記する動作の説明でその詳細を説明する。なお、図5に示す制御装置30の各機能の分類は、説明の便宜上分けたものであり、本発明を限定するものではない。
図5に示す情報取得機構制御部31は、物品情報取得機構20を制御する。
例えば、情報取得機構制御部31は、廃棄物群Vが流れてくるタイミングに合わせて第一撮影手段21に撮影指示を送り、第一撮影手段21に廃棄物群Vを撮影させる。
また、情報取得機構制御部31は、ロボットアーム13がコンベア4から廃棄物Wを持ち上げた(分離した)タイミングに合わせて第二撮影手段22に撮影指示を送り、第二撮影手段22に廃棄物Wを撮影させる。なお、ロボットアーム13を使用した空中への廃棄物Wの移動は、廃棄物群Vから選別対象の廃棄物Wを分離する動作の一例である。
また、情報取得機構制御部31は、廃棄物群Vが流れてくるタイミングに合わせて計測手段23に計測指示を送り、計測手段23に廃棄物群Vを計測させる。計測手段23は、例えば、自身の位置を基準として各々の廃棄物Wを計測する。なお、計測手段23は、他の位置を基準として各々の廃棄物Wを計測してもよい。
例えば、情報取得機構制御部31は、廃棄物群Vが流れてくるタイミングに合わせて第一撮影手段21に撮影指示を送り、第一撮影手段21に廃棄物群Vを撮影させる。
また、情報取得機構制御部31は、ロボットアーム13がコンベア4から廃棄物Wを持ち上げた(分離した)タイミングに合わせて第二撮影手段22に撮影指示を送り、第二撮影手段22に廃棄物Wを撮影させる。なお、ロボットアーム13を使用した空中への廃棄物Wの移動は、廃棄物群Vから選別対象の廃棄物Wを分離する動作の一例である。
また、情報取得機構制御部31は、廃棄物群Vが流れてくるタイミングに合わせて計測手段23に計測指示を送り、計測手段23に廃棄物群Vを計測させる。計測手段23は、例えば、自身の位置を基準として各々の廃棄物Wを計測する。なお、計測手段23は、他の位置を基準として各々の廃棄物Wを計測してもよい。
図5に示す選別機構制御部32は、選別機構10を制御する。
例えば、選別機構制御部32は、各々の選別ユニット11(ここでは、三つの選別ユニット11a,11b,11c)を制御して、コンベア4によって搬送されている廃棄物群Vから選別する対象となっている素材の廃棄物Wを選別位置(ここでは、収納容器6)に移動させる。選別機構制御部32は、例えば、コンベア4の搬送速度、ならびに第一撮影手段21および計測手段23の設置位置を記憶しており、物品情報取得機構20で撮影した画像データや計測した情報からコンベア4によって搬送されている廃棄物Wの位置を算出する。なお、ロボットアーム13によって掴めない程度に大きいサイズのものや、選別する対象となっていない素材(例えば、ガラスやゴム)の廃棄物Wについては、例えば選別を行わずに選別機構10を通過させる。
例えば、選別機構制御部32は、各々の選別ユニット11(ここでは、三つの選別ユニット11a,11b,11c)を制御して、コンベア4によって搬送されている廃棄物群Vから選別する対象となっている素材の廃棄物Wを選別位置(ここでは、収納容器6)に移動させる。選別機構制御部32は、例えば、コンベア4の搬送速度、ならびに第一撮影手段21および計測手段23の設置位置を記憶しており、物品情報取得機構20で撮影した画像データや計測した情報からコンベア4によって搬送されている廃棄物Wの位置を算出する。なお、ロボットアーム13によって掴めない程度に大きいサイズのものや、選別する対象となっていない素材(例えば、ガラスやゴム)の廃棄物Wについては、例えば選別を行わずに選別機構10を通過させる。
図5に示す取得情報処理部33は、物品情報取得機構20で撮影した画像データや計測した情報を用いた処理を行う。取得情報処理部33は、例えば、オブジェクト処理部33aと、第一判定部33bと、対象決定部33cと、第二判定部33dと、教師データ作成部33eとを備える。
オブジェクト処理部33aは、第一画像データM21からオブジェクトを抽出する。オブジェクト処理部33aによるオブジェクトの抽出方法は特に限定されず、種々の方法を用いることができる。オブジェクト処理部33aは、例えば、第一画像データM21(図3参照)を画像処理(セグメンテーション)することによってオブジェクトを抽出する。この画像処理は、ニューラルネットワークにより実現されてもよい。第一画像データM21からオブジェクトを抽出した状態を図6に示す。オブジェクト処理部33aは、第二画像データM22からも同様にオブジェクトを抽出する。
なお、オブジェクト処理部33aは、計測手段23によって計測した形状から廃棄物Wの範囲を予測し、その予測の結果に基づいてオブジェクトを抽出してもよい。また、計測手段23によって読み取った形状に基づいて、第一画像データM21に割り当てたオブジェクトの範囲(オブジェクトの枠の形状や大きさ)を修正してもよい。つまり、オブジェクト処理部33aは、第一画像データM21および計測手段23によって計測した計測結果を用いてオブジェクトを抽出してもよい。
第一判定部33bは、第一画像データM21に写る廃棄物Wの種別を判定する。第一判定部33bは、画像データから廃棄物Wの種別を判定する種別判定モデルを有しており、第一画像データM21から抽出した各オブジェクトの画像を種別判定モデルに入力し、各オブジェクトの種別を判定する。種別判定モデルは、例えば、ニューラルネットワークとして構成されており、選別する対象となっている素材の種別(ここでは、コンがら、スプレー缶、木くず、及び石膏ボード)である可能性を算出する。例えば、ニューラルネットワークは、決められた画素数の画像を入力する入力層と、中間層(隠れ層)と、種別の数に応じたノード(本実施形態では、コンがら、スプレー缶、木くず、石膏ボードの四つ)を有する出力層と、によって構成されている。入力層には、所定の画素数に揃えたオブジェクト画像が入力される。出力層からは、選別する対象となっている素材の種別である可能性が確率として出力される。ここでは、廃棄物Wが各々の素材である確率を「認識率」と呼ぶ。つまり、本実施形態では、一つのオブジェクト(廃棄物W)に対して、コンがらである認識率、スプレー缶である認識率、木くずである認識率、石膏ボードである認識率の四つが出力される。なお、素材の種別ごとにモデルを用意しておき、オブジェクト画像を素材の種別ごとに用意したモデルに入力してもよい。第一判定部33bによる判定結果の例示を図7に示す。図7では、スプレー缶およびスプレー缶と重なる木くずに対応するオブジェクトの認識率のみを表示し、その他のオブジェクトの認識率の表示を省略している。なお、廃棄物Wが各々の素材である確率(認識率)は、「自信度」などと呼ばれる場合もある。
対象決定部33cは、第一判定部33bによる判定結果に基づいて、選別対象とする廃棄物Wを決定する。選別対象を決定する規則は予め決めておく。対象決定部33cは、例えば、各々の選別ユニット11が選別する廃棄物を決定する。ここでは、廃棄物Wの種別に関係なく認識率の高いものから順に選別する場合を想定する。その場合、対象決定部33cは、第一の選別ユニット11aが最も認識率が高い廃棄物Wを選別し、第二の選別ユニット11bが二番目に認識率が高い廃棄物Wを選別し、第三の選別ユニット11cが三番目に認識率が高い廃棄物Wを選別するように決定する。
第二判定部33dは、第二画像データM22に写る廃棄物Wの種別を判定する。第二判定部33dは、第一判定部33bと同様に画像データから廃棄物Wの種別を判定する種別判定モデルを有しており、第二画像データM22から抽出したオブジェクトの画像を種別判定モデルに入力し、オブジェクトの種別を判定する。種別判定モデルは、例えば、ニューラルネットワークとして構成されており、選別する対象となっている素材の種別(ここでは、コンがら、スプレー缶、木くず、及び石膏ボード)である可能性(認識率)を算出する。なお、第二判定部33dにおけるニューラルネットワークの構成は、第一判定部33bにおけるニューラルネットワークの構成と同様であってよい。第二判定部33dによる判定結果の例示を図8に示す。
教師データ作成部33eは、第二判定部33dによる判定結果と第一画像データM21とを関連づけて、教師データを作成する。教師データ作成部33eは、第一画像データM21を基にした教師データをクラウドシステム3の第一画像DB51に格納する。
また、教師データ作成部33eは、第二判定部33dによる判定結果と第二画像データM22とを関連づけて、教師データを作成する。教師データ作成部33eは、第二画像データM22を基にした教師データをクラウドシステム3の第二画像DB52に格納する。
また、教師データ作成部33eは、第二判定部33dによる判定結果と第二画像データM22とを関連づけて、教師データを作成する。教師データ作成部33eは、第二画像データM22を基にした教師データをクラウドシステム3の第二画像DB52に格納する。
次に、図1に示すクラウドシステム3について説明する。クラウドシステム3は、処理装置40と、第一画像DB51と、第二画像DB52と、モデル記憶部53と、を備える。
第一画像DB51は、第一画像データM21を基にした教師データを格納する。
第二画像DB52は、第二画像データM22を基にした教師データを格納する。
モデル記憶部53は、種別判定モデルを格納する。モデル記憶部53に格納される種別判定モデルは、第一画像DB51および第二画像DB52の少なくとも何れか一方に格納される教師データを用いて学習される。学習済みの種別判定モデルは、所定のタイミングで制御装置30に送信される。
第二画像DB52は、第二画像データM22を基にした教師データを格納する。
モデル記憶部53は、種別判定モデルを格納する。モデル記憶部53に格納される種別判定モデルは、第一画像DB51および第二画像DB52の少なくとも何れか一方に格納される教師データを用いて学習される。学習済みの種別判定モデルは、所定のタイミングで制御装置30に送信される。
図1に示す処理装置40は、例えばパーソナルコンピュータ(PC:Personal Computer)やサーバである。処理装置40は、第一画像DB51、第二画像DB52およびモデル記憶部53と通信可能に接続されている。なお、処理装置40を「中央管理PC」と呼ぶ場合がある。
図9を参照して、処理装置40の構成を説明する。処理装置40は、主に、機械学習部41と、モデル更新部42と、教師データ修正部43と、を備える。処理装置40が備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。ここでは、処理装置40が備える各機能の概要の説明を行い、後記する動作でその詳細を説明する。なお、図9に示す処理装置40の各機能の分類は、説明の便宜上分けたものであり、本発明を限定するものではない。
機械学習部41は、第一画像DB51に格納される教師データ(第一画像データM21から抽出したオブジェクト画像を基にしたもの)、および、第二画像DB52に格納される教師データ(第二画像データM22を基にしたもの)の少なくとも何れか一方を用いて、モデル記憶部53に格納される種別判定モデルを再学習する。ここで、第一画像DB51に格納される教師データは、教師データ作成部33eの処理によって、第一画像データM21から抽出したオブジェクト画像に、第二判定部33dによる判定結果(答え)が与えられたものである。また、第二画像DB52に格納される教師データは、教師データ作成部33eの処理によって、第二画像データM22に、第二判定部33dによる判定結果(答え)が与えられたものである。なお、第一撮影手段21によって廃棄物群Vを構成する各々の廃棄物Wの撮影が可能であれば、第一撮影手段21によって撮影した各々の廃棄物Wの画像データに、第二判定部33dによる判定結果(答え)を与えてもよい。
モデル更新部42は、機械学習部41で再学習された種別判定モデルによって、制御装置30の第一判定部33bおよび第二判定部33dが有する種別判定モデルを更新する機能である。第一判定部33bおよび第二判定部33dの種別判定モデルを更新するタイミングや方法は特に限定されない。モデル更新部42は、例えば、制御装置30とモデル記憶部53とを定期的に自動同期させ、制御装置30が有する種別判定モデルのバージョンアップを自動的に行う。例えば、毎週月曜日の夜「24:00」に同期作業を自動的に行うように登録しておく。同期作業は「約10秒」程度で完了し、その間は物品選別装置5を動作させないようにしておく。これにより、制御装置30が有する種別判定モデルの精度が半自動的に日々向上する。
教師データ修正部43は、人間(例えば、物品選別システム1の管理者)による教師データの修正を実現する機能である。管理者は、第二判定部33dによる判定結果を例えば定期的に確認し、判定結果が間違えている場合には修正指示を出して第二画像データM22を基にした教師データを修正する。なお、教師データ修正部43は、管理者からの修正指示を受け付けた場合に、対応する第一画像データM21を基にした教師データを併せて修正してもよい。
<第1実施形態に係る物品選別システムの動作>
図1を参照して(適宜、図2ないし図9を参照)、第1実施形態に係る物品選別システム1の動作について説明する。ここでは、「物品の選別処理」、「選別で撮影した画像データを用いた学習処理」について説明する。
図1を参照して(適宜、図2ないし図9を参照)、第1実施形態に係る物品選別システム1の動作について説明する。ここでは、「物品の選別処理」、「選別で撮影した画像データを用いた学習処理」について説明する。
(物品の選別処理)
図1に示すように、廃棄物群Vは、第一の物品選別装置5Aの前方(上流)から接近し、第一の物品選別装置5Aに到達する。これにより、第一の物品選別装置5Aの処理が開始する。
図1に示すように、廃棄物群Vは、第一の物品選別装置5Aの前方(上流)から接近し、第一の物品選別装置5Aに到達する。これにより、第一の物品選別装置5Aの処理が開始する。
最初に、第一撮影手段21は、搬送されている廃棄物群Vを撮影し、また、計測手段23は、搬送されている廃棄物群Vを計測する。
オブジェクト処理部33aは、第一画像データM21からオブジェクトを抽出する。この際に、オブジェクト処理部33aは、計測手段23によって読み取った形状に基づいて、第一画像データM21に割り当てたオブジェクトの範囲を修正する。
オブジェクト処理部33aは、第一画像データM21からオブジェクトを抽出する。この際に、オブジェクト処理部33aは、計測手段23によって読み取った形状に基づいて、第一画像データM21に割り当てたオブジェクトの範囲を修正する。
次に、第一判定部33bは、第一画像データM21に写る廃棄物Wの種別を判定する。第一判定部33bは、例えば、第一画像データM21から抽出した各オブジェクトの画像を種別判定モデルに入力し、各オブジェクトの種別を判定する。これにより、オブジェクト単位に素材の種別(ここでは、コンがら、スプレー缶、木くず、及び石膏ボード)の可能性(認識率)が算出される(図7参照)。
次に、対象決定部33cは、第一判定部33bによる判定結果に基づいて、選別対象とする廃棄物Wを決定する。対象決定部33cは、例えば、各々の選別ユニット11が選別する廃棄物Wを決定する。ここでは、廃棄物Wの種別に関係なく認識率の高いものから順に選別する場合を想定する。その場合、対象決定部33cは、第一の選別ユニット11aが最も認識率が高い廃棄物Wを選別し、第二の選別ユニット11bが二番目に認識率が高い廃棄物Wを選別し、第三の選別ユニット11cが三番目に認識率が高い廃棄物Wを選別するように決定する。
ここで、認識率が閾値を超えるオブジェクトの数Xが選別ユニット11の数Yよりも少なかった場合(X<Y)、対象決定部33cは、最も下流に配置される選別ユニット11(ここでは、第三の選別ユニット11c)が廃棄物を攪拌するように決定する。攪拌は、廃棄物群Vに含まれる少なくとも一つの廃棄物Wの状態を変更させるものであればよく、例えば廃棄物群Vに含まれる廃棄物Wを分離して再配置する。
次に、各々の選別ユニット11は、自身に割り当てられた廃棄物Wを選別位置(ここでは、収納容器6)に移動する。ここでは、第一の選別ユニット11aが最も認識率が高い廃棄物Wを収納容器6まで移動させ、第二の選別ユニット11bが二番目に認識率が高い廃棄物Wを収納容器6まで移動させ、第三の選別ユニット11cが三番目に認識率が高い廃棄物Wを収納容器6まで移動させる。
選別を行う際に、各々のロボットアーム13は、例えば、廃棄物群Vの中から選別対象の廃棄物Wを掴み、掴んだ状態のまま持ち上げて廃棄物群Vから一つの廃棄物Wを分離する。ロボットアーム13は、計測手段23による廃棄物Wの計測結果を用いて廃棄物Wを分離する。
例えば、選別機構制御部32は、計測手段23の計測結果(基準点から選別対象の廃棄物Wまでの距離)に基づいて、保持部13bを昇降させる移動量を算出し、算出した移動量だけ保持部13bを移動させる。これにより、例えば、重なることによってコンベア4の表面から離れた位置にある廃棄物Wを分離する場合でも、廃棄物Wを正確に掴むことができる。
また、選別機構制御部32は、計測結果(選別対象の廃棄物Wのサイズ)に基づいて、保持部13bを開閉する開閉量を算出し、算出した開閉量だけ保持部13bを動作させる。この開閉量は、選別対象の廃棄物Wよりも少しだけ大きい(廃棄物Wの幅よりも1〜2cm程度だけ広い)のがよい。これにより、例えば、密集して配置されている廃棄物Wを分離する場合でも、廃棄物Wを正確に掴むことができる。
また、選別機構制御部32は、計測結果(選別対象の廃棄物Wの形状や配置方向)に基づいて、保持部13bを水平方向に回転させる回転量を算出し、算出した回転量だけ保持部13bを回転させる。この回転量は、選別対象の廃棄物Wの形状や配置方向に対応したものであるのがよい。これにより、例えば、掴みにくい形状の廃棄物Wや搬送方向に対して曲がって配置されている廃棄物Wを正確に掴むことができる。
例えば、選別機構制御部32は、計測手段23の計測結果(基準点から選別対象の廃棄物Wまでの距離)に基づいて、保持部13bを昇降させる移動量を算出し、算出した移動量だけ保持部13bを移動させる。これにより、例えば、重なることによってコンベア4の表面から離れた位置にある廃棄物Wを分離する場合でも、廃棄物Wを正確に掴むことができる。
また、選別機構制御部32は、計測結果(選別対象の廃棄物Wのサイズ)に基づいて、保持部13bを開閉する開閉量を算出し、算出した開閉量だけ保持部13bを動作させる。この開閉量は、選別対象の廃棄物Wよりも少しだけ大きい(廃棄物Wの幅よりも1〜2cm程度だけ広い)のがよい。これにより、例えば、密集して配置されている廃棄物Wを分離する場合でも、廃棄物Wを正確に掴むことができる。
また、選別機構制御部32は、計測結果(選別対象の廃棄物Wの形状や配置方向)に基づいて、保持部13bを水平方向に回転させる回転量を算出し、算出した回転量だけ保持部13bを回転させる。この回転量は、選別対象の廃棄物Wの形状や配置方向に対応したものであるのがよい。これにより、例えば、掴みにくい形状の廃棄物Wや搬送方向に対して曲がって配置されている廃棄物Wを正確に掴むことができる。
また、第二撮影手段22は、ロボットアーム13によって持ち上げられた状態(つまり、分離された状態)の廃棄物Wを撮影する。ロボットアーム13は、第二撮影手段22による撮影が完了するまで廃棄物Wを分離位置で停止させてもよい。オブジェクト処理部33aは、第二画像データM22からオブジェクトを抽出する。
続いて、第二判定部33dは、第二画像データM22に写る廃棄物Wの種別を判定する。第二判定部33dは、例えば、第二画像データM22から抽出したオブジェクトの画像を種別判定モデルに入力し、オブジェクトの種別を判定する。これにより、オブジェクト単位に素材の種別(ここでは、コンがら、スプレー缶、木くず、及び石膏ボード)の可能性(認識率)が算出される(図8参照)。
続いて、ロボットアーム13は、第二判定部33dによる判定結果に基づいて、分離した選別対象の廃棄物Wを廃棄物ごとの選別位置(ここでは、収納容器6)まで運ぶ。なお、各々の選別ユニット11の動作のタイミングは特に限定されない。例えば、第一の選別ユニット11aが選別を完了した後で第二の選別ユニット11bが選別を開始してもよいし、また、第一の選別ユニット11aが選別を完了する前に第二の選別ユニット11bが選別を開始してもよい。また、第二判定部33dによる判定の結果、ロボットアーム13で掴んだ廃棄物Wが選別する対象となっていない素材であると分かった場合、当該掴んだ廃棄物Wをコンベア4に戻すようにするのがよい。
次に、教師データ作成部33eは、第二判定部33dによる判定結果と第一画像データM21から抽出したオブジェクト画像とを関連づけて、教師データを作成する。教師データ作成部33eは、第一画像データM21を基にした教師データをクラウドシステム3の第一画像DB51に格納する。
また、教師データ作成部33eは、第二判定部33dによる判定結果と第二画像データM22とを関連づけて、教師データを作成する。教師データ作成部33eは、第二画像データM22を基にした教師データをクラウドシステム3の第二画像DB52に格納する。
なお、各々の教師データを第一画像DB51または第二画像DB52に格納するタイミングは限定されず、随時格納してもよいし、所定数や所定時刻にまとめて格納してもよい。
また、教師データ作成部33eは、第二判定部33dによる判定結果と第二画像データM22とを関連づけて、教師データを作成する。教師データ作成部33eは、第二画像データM22を基にした教師データをクラウドシステム3の第二画像DB52に格納する。
なお、各々の教師データを第一画像DB51または第二画像DB52に格納するタイミングは限定されず、随時格納してもよいし、所定数や所定時刻にまとめて格納してもよい。
これにより、第一の物品選別装置5Aによる廃棄物Wの選別が完了する。第一の物品選別装置5Aによって選別されなかった廃棄物W(廃棄物群V)は、第二の物品選別装置5Bの前方(上流)から接近し、第二の物品選別装置5Bに到達する。そして、第二の物品選別装置5Bの処理が引き続き開始する。
(選別で撮影した画像データを用いた学習処理)
図1を参照して(適宜、図2ないし図9を参照)、第1実施形態に係る学習処理について説明する。学習処理は任意のタイミングで実行される。
図1を参照して(適宜、図2ないし図9を参照)、第1実施形態に係る学習処理について説明する。学習処理は任意のタイミングで実行される。
機械学習部41は、第一画像DB51に格納される教師データ、および、第二画像DB52に格納される教師データの少なくとも何れか一方を用いて、モデル記憶部53に格納される種別判定モデルを再学習する。ここで、第一画像DB51に格納される教師データは、教師データ作成部33eの処理によって、第二判定部33dによる判定結果と第一画像データM21から抽出したオブジェクト画像とを関連づけられたものである。つまり、第二判定部33dによる判定結果は、単一の廃棄物Wが写る第二画像データM22を用いて廃棄物Wの種別の判定を行ったものであるので、認識精度が高いと言える。そのため、第一画像データM21から抽出したオブジェクト画像に対して正解を自動的に付与できる。
次に、モデル更新部42は、機械学習部41で再学習された種別判定モデルによって、制御装置30の第一判定部33bおよび第二判定部33dが有する種別判定モデルを更新する。第一判定部33bおよび第二判定部33dの種別判定モデルを更新するタイミングや方法は特に限定されない。モデル更新部42は、例えば、制御装置30とモデル記憶部53とを定期的に自動同期させ、制御装置30が有する種別判定モデルのバージョンアップを自動的に行う。これにより、制御装置30が有する種別判定モデルの精度が半自動的に日々向上する。
以上のように、第1実施形態に係る物品選別システム1は、コンベア4によって搬送されている廃棄物群Vを第一撮影手段21で撮影し、第一画像データM21に写る各々の廃棄物Wの種別の可能性(認識率、自信度)を算出する(第一段目識別処理)。また、ロボットアーム13は、第一画像データM21に基づく判定結果に基づいて廃棄物Wを分離し、第二撮影手段22によって分離した単一の廃棄物Wを撮影する。そして、物品選別システム1は、第二画像データM22に写る単一の廃棄物Wの種別の可能性(認識率)を再び算出し(第二段目識別処理)、ロボットアーム13は、第二画像データM22に基づく判定結果に基づいて廃棄物Wを分離する。
ここで、第二画像データM22には単一の廃棄物Wが写るので、第二画像データM22に基づく判定結果は、認識精度が高い。そのため、本実施形態に係る物品選別システム1では、分散して配置されていない廃棄物Wを従来よりも精度よく選別することができる。
ここで、第二画像データM22には単一の廃棄物Wが写るので、第二画像データM22に基づく判定結果は、認識精度が高い。そのため、本実施形態に係る物品選別システム1では、分散して配置されていない廃棄物Wを従来よりも精度よく選別することができる。
また、本実施形態に係る物品選別システム1は、複数の廃棄物Wが写る第一画像データM21の判定結果に基づいて第二撮影手段22によって撮影する廃棄物Wを決定する。そのため、コンベア4によって搬送される廃棄物Wの中に選別する対象となっていない素材(ここでは、ガラスやゴムなど)が含まれている場合であっても、選別する対象となっている素材(ここでは、コンがら、スプレー缶、木くず、石膏ボードの四つ)を適切に選んでロボットアーム13による分離および第二撮影手段22による撮影を実行できる。したがって、選別する対象となっていない素材を間違えてロボットアーム13によって分離してしまう可能性が低く、効率的に廃棄物Wを選別することができる。
また、本実施形態に係る物品選別システム1は、第二画像データM22に基づく判定結果と、第一画像データM21とを関連付けて教師データを作成する。つまり、第二画像データM22による判定結果は、単一の廃棄物Wが写る第二画像データM22を用いて廃棄物Wの種別の判定を行ったものであるので、認識精度が高いといえる。そのため、第一画像データM21から抽出したオブジェクト画像に対して正解を自動的に付与できる。
また、本実施形態に係る物品選別システム1は、第一画像データM21に基づいて作成した教師データを用いて、廃棄物Wの種別の判定に使用されるアプリケーションプログラム(種別判定モデル)を学習する。そのため、複数の廃棄物Wが写る第一画像データM21の判定結果(認識精度)があまり高くないものであっても、繰り返し選別を行っていく中で第一画像データM21の判定結果の精度が向上する。したがって、選別する対象となっていない素材を間違えてロボットアーム13によって分離してしまう可能性がさらに低くなり、より効率的に廃棄物Wを選別することができる。
[第2実施形態]
第1実施形態では、廃棄物群V(物品群)が撮影された画像データ(例えば、第一画像データM21)から、各々の廃棄物W(物品)をオブジェクトとして抽出していた。しかしながら、オブジェクトの抽出方法はこれに限定されない。第2実施形態では、第一画像データM21から廃棄物群V(物品群)に含まれる複数個の廃棄物W(物品)のまとまりをオブジェクト群として抽出する場合を説明する。
第1実施形態では、廃棄物群V(物品群)が撮影された画像データ(例えば、第一画像データM21)から、各々の廃棄物W(物品)をオブジェクトとして抽出していた。しかしながら、オブジェクトの抽出方法はこれに限定されない。第2実施形態では、第一画像データM21から廃棄物群V(物品群)に含まれる複数個の廃棄物W(物品)のまとまりをオブジェクト群として抽出する場合を説明する。
また、第1実施形態では、クラウドシステム3の処理装置40が備える機能(教師データ修正部43)を用いて、物品選別装置5による廃棄物Wの判定結果の修正を行っていた。これにより、仮に物品選別装置5による判定結果が間違っていても、人間(例えば、物品選別システム1の管理者)が判定結果を修正することで、正しい教師データを作成することができた。しかしながら、判定結果の修正方法はこれに限定されない。第2実施形態では、ローカルシステム2(例えば廃棄物を選別する工場)内でリアルタイムに廃棄物Wの判定結果を修正する場合について説明する。
<第2実施形態に係る物品選別システムの構成>
図10を参照して、第2実施形態に係る物品選別システム101の構成について説明する。第2実施形態に係る物品選別システム101は、第1実施形態に係る物品選別システム1(図1参照)と同様に、物品を撮影した画像(映像を含む。以下同じ)から物品の種別を判定し、その判定結果に基づいて当該物品を選別するシステムである。以下では、第1実施形態に係る物品選別システム1との相違点を中心に説明する。
図10を参照して、第2実施形態に係る物品選別システム101の構成について説明する。第2実施形態に係る物品選別システム101は、第1実施形態に係る物品選別システム1(図1参照)と同様に、物品を撮影した画像(映像を含む。以下同じ)から物品の種別を判定し、その判定結果に基づいて当該物品を選別するシステムである。以下では、第1実施形態に係る物品選別システム1との相違点を中心に説明する。
図10に示す物品選別システム101は、ローカルシステム102と、クラウドシステム3とを含んで構成されている。本実施形態に係るローカルシステム102は、コンベア4と、少なくとも一つの物品選別装置105(ここでは、二つの物品選別装置105A,105Bを表記)と、を備える。物品選別装置105は、コンベア4によって搬送されている廃棄物Wを選別する装置である。第一の物品選別装置105Aと第二の物品選別装置105Bとは同様の構成である。
各々の物品選別装置105は、選別機構10と、物品情報取得機構20と、制御装置130と、作業員用の端末160とを備える。なお、第一の物品選別装置105Aと第二の物品選別装置105Bとで一つの制御装置130および作業員用の端末160を共有してもよい。選別機構10および物品情報取得機構20の構成は、第1実施形態と同様である。作業員用の端末160は、例えばタブレット端末である。
図1に示す制御装置130は、選別機構10や物品情報取得機構20の制御、および物品情報取得機構20によって撮影や計測した情報を用いた処理を行う。制御装置130は、例えばパーソナルコンピュータ(PC:Personal Computer)やサーバである。制御装置130は、各々の選別ユニット11、第一撮影手段21、第二撮影手段22および計測手段23と通信可能に接続されている。また、制御装置130は、システム内の無線ネットワーク(図示せず)を介して作業員用の端末160と通信可能に接続されている。また、制御装置130は、外部ネットワークNWを介してクラウドシステム3と通信可能に接続されている。なお、選別ユニット11の制御に着目して、制御装置130を特に「コントロールユニット」と呼ぶ場合がある。
図11を参照して(適宜、図10などを参照)、制御装置130の構成を説明する。制御装置130は、主に、情報取得機構制御部31と、選別機構制御部32と、取得情報処理部133とを備える。制御装置130が備えるこれらの機能は、CPU(Central Processing Unit)によるプログラム実行処理や、専用回路等により実現される。なお、図11に示す制御装置130の各機能の分類は、説明の便宜上分けたものであり、本発明を限定するものではない。
制御装置130が備える情報取得機構制御部31および選別機構制御部32は、第1実施形態で説明した機能と同様である。つまり、情報取得機構制御部31は、物品情報取得機構20を制御する。また、選別機構制御部32は、選別機構10を制御する。
図11に示す取得情報処理部133は、物品情報取得機構20で撮影した画像データや計測した情報を用いた処理を行う。取得情報処理部133は、例えば、オブジェクト処理部133aと、第一判定部133bと、対象決定部133cと、第二判定部133dと、教師データ作成部133eと、判定結果修正部133fと、を備える。
オブジェクト処理部133aは、第一画像データM21から廃棄物Wのまとまりを抽出する。以下では、このまとまりを「オブジェクト群」と呼ぶ。オブジェクト群は、例えば重なり合ったり、隙間なく並べられることにより密着した状態の廃棄物Wである。オブジェクト処理部133aは、例えば、第一画像データM21を分割した分割画像にオブジェクト群が含まれるように第一画像データM21を分割する。オブジェクト処理部133aは、クラスタ分析機能などと呼ばれる場合がある。なお、オブジェクト処理部133aは、計測手段23によって計測した形状から廃棄物Wの範囲を予測し、その予測の結果に基づいてオブジェクト群を抽出してもよい。また、オブジェクト処理部133aは、オブジェクト群に含まれる各オブジェクト(または素材ごと)のおおよその位置を検出する。オブジェクト処理部133aは、例えば、画像処理技術を用いて、第一画像データM21の所定の基準位置に対する当該各オブジェクト(または素材ごと)の位置(例えば、座標情報)を算出する。なお、オブジェクト処理部33aは、計測手段23によって読み取った形状などに基づいて、各オブジェクト(または素材ごと)の位置を検出してもよい。
第一判定部133bは、第一画像データM21に写る廃棄物Wの種別を判定する。第一判定部133bは、画像データから廃棄物Wの種別を判定する種別判定モデルを有している。第一判定部133bは、第一画像データM21を分割した分割画像に写るオブジェクト群に選別する対象である廃棄物Wが含まれている可能性を算出する。第一判定部133bは、例えば、選別する対象となっている素材の種別(ここでは、コンがら、スプレー缶、木くず、及び石膏ボード)ごとの可能性を確率(認識率)として出力する。
オブジェクト処理部133aおよび第一判定部133bは、例えば単一のニューラルネットワークが有する機能の一部として構成されてもよい。オブジェクト処理部133aおよび第一判定部133bを単一のニューラルネットワークで実現する場合の処理のイメージを図12に示す。
図12に示すように、第一画像データM21をニューラルネットワーク133gに入力すると、ニューラルネットワーク133g内で様々な演算処理を行い、分割画像(オブジェクト群)に選別する対象である廃棄物Wが含まれる可能性を出力する。また、ニューラルネットワーク133gから各オブジェクト(または素材ごと)の位置が出力される。
図12では、選別する対象となっている素材の種別を抽象化して簡単な図形で表している。そのため、図形の形状は、素材の種別(図12では「対象物A,B,C,D」と表記している)に対応しており、同じ形の図形は同じ素材の種別を表している。例えば、ひし形のものは「対象物A」に対応し、四角形のものは「対象物B」に対応し、丸形のものは「対象物C」に対応し、三角形のものは「対象物D」に対応する。
図12では、選別する対象となっている素材の種別を抽象化して簡単な図形で表している。そのため、図形の形状は、素材の種別(図12では「対象物A,B,C,D」と表記している)に対応しており、同じ形の図形は同じ素材の種別を表している。例えば、ひし形のものは「対象物A」に対応し、四角形のものは「対象物B」に対応し、丸形のものは「対象物C」に対応し、三角形のものは「対象物D」に対応する。
図12では、ニューラルネットワーク133gによって、第一オブジェクト群(図12では「第一Obj群」と表記)が写る分割画像M21aと、第二オブジェクト群(図12では「第二Obj群」と表記)が写る分割画像M21bと、第三オブジェクト群(図12では「第三Obj群」と表記)が写る分割画像M21cと、に分割されている。
分割画像M21a(第一オブジェクト群)には、対象物Bおよび対象物Dが含まれている。分割画像M21b(第二オブジェクト群)には、対象物A,対象物B,対象物Cおよび対象物Dが含まれている。分割画像M21c(第三オブジェクト群)には、二つの対象物Aおよび対象物Cが含まれている。
分割画像M21a(第一オブジェクト群)には、対象物Bおよび対象物Dが含まれている。分割画像M21b(第二オブジェクト群)には、対象物A,対象物B,対象物Cおよび対象物Dが含まれている。分割画像M21c(第三オブジェクト群)には、二つの対象物Aおよび対象物Cが含まれている。
一方、ニューラルネットワーク133gによって算出される各々の分割画像M21a,M21b,M21c(第一〜第三オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、ここでは以下の通りであったとする。
分割画像M21a(第一オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、対象物Aが「10%」であり、対象物Bが「30%」であり、対象物Cが「15%」であり、対象物Dが「85%」である。
分割画像M21b(第二オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、対象物Aが「90%」であり、対象物Bが「30%」であり、対象物Cが「40%」であり、対象物Dが「15%」である。
分割画像M21c(第三オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、対象物Aが「30%」であり、対象物Bが「10%」であり、対象物Cが「85%」であり、対象物Dが「20%」である。
分割画像M21a(第一オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、対象物Aが「10%」であり、対象物Bが「30%」であり、対象物Cが「15%」であり、対象物Dが「85%」である。
分割画像M21b(第二オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、対象物Aが「90%」であり、対象物Bが「30%」であり、対象物Cが「40%」であり、対象物Dが「15%」である。
分割画像M21c(第三オブジェクト群)に含まれる素材の種別(対象物A,B,C,D)の可能性は、対象物Aが「30%」であり、対象物Bが「10%」であり、対象物Cが「85%」であり、対象物Dが「20%」である。
ニューラルネットワーク133gで算出されるオブジェクト群に含まれる素材の種別(対象物A,B,C,D)の可能性の精度(認識精度)は、第1実施形態と同様に、学習を繰り返し行うことで次第に向上する。なお、分割するオブジェクト群の数(クラスタ分析によるクラスタの数)は、予め決まっていなくてよい。
図11に示す対象決定部133cは、第一判定部133bによる判定結果に基づいて、選別対象とする廃棄物Wを決定する。選別対象を決定する規則は予め決めておく。ここでは、廃棄物Wの種別に関係なく認識率の高いものから順に選別する場合を想定する。例えば、図12に示す判定結果の場合、対象決定部133cは、最も認識率が高い第二オブジェクト群の対象物Aを最初に選別する廃棄物Wとして決定する。選別機構制御部32は、例えば選別することを決定した廃棄物Wの位置にロボットアーム13を移動させ、当該廃棄物Wの選別を実行させる。つまり、ロボットアーム13は、オブジェクト処理部133a(ニューラルネットワーク133g)によって検出される位置情報に基づいて、オブジェクト群に含まれている可能性が最も高い廃棄物Wを掴んで持ち上げる。
図11に示す第二判定部133dは、第二画像データM22に写る廃棄物Wの種別を判定する。第二判定部133dは、第一判定部133bと同様に画像データから廃棄物Wの種別を判定する種別判定モデルを有している。種別判定モデルは、例えば、ニューラルネットワークとして構成されており、選別する対象となっている素材の種別(ここでは、コンがら、スプレー缶、木くず、及び石膏ボード)である可能性(認識率)を算出する。なお、第二判定部133dにおけるニューラルネットワークの構成は、第一判定部133bにおけるニューラルネットワークの構成と同様であってよい。
図11に示す教師データ作成部133eは、第二判定部133dによる判定結果と第一画像データM21とを関連づけて、教師データを作成する。教師データ作成部133eは、第一画像データM21を基にした教師データをクラウドシステム3の第一画像DB51に格納する。
また、教師データ作成部133eは、第二判定部133dによる判定結果と第二画像データM22とを関連づけて、教師データを作成する。教師データ作成部133eは、第二画像データM22を基にした教師データをクラウドシステム3の第二画像DB52に格納する。
また、教師データ作成部133eは、第二判定部133dによる判定結果と第二画像データM22とを関連づけて、教師データを作成する。教師データ作成部133eは、第二画像データM22を基にした教師データをクラウドシステム3の第二画像DB52に格納する。
図13を参照して、教師データ作成部133eの処理を説明する。例えば、第一判定部133bによる判定結果と第二判定部133dによる判定結果とが同じ場合(つまり、第一判定部133bによる判定結果が正しかった場合)、教師データ作成部133eは、オブジェクト群に含まれる当該素材の種別を「100%」にする。図13では、第二オブジェクト群に対象物Aが含まれる可能性を「90%」から「100%」に修正している。そして、教師データ作成部133eは、修正した内容に基づいて教師データを作成し、教師データをクラウドシステム3の第一画像DB51に格納する。
一方、第一判定部133bによる判定結果と第二判定部133dによる判定結果とが異なる場合(つまり、第一判定部133bによる判定結果が間違っていた場合など)、教師データ作成部133eは、第二判定部133dによる判定結果に基づく素材の種別を「100%」にする。図13では、第二オブジェクト群に対象物Cが含まれる可能性を「40%」から「100%」に修正している。そして、教師データ作成部133eは、修正した内容に基づいて教師データを作成し、教師データをクラウドシステム3の第一画像DB51に格納する。なお、第一判定部133bによる間違った判定結果(ここでは、対象物Aが含まれる可能性「90%」)を修正してもよいし、修正しなくてもよい(つまり、修正の要否は問わない)。
一方、第一判定部133bによる判定結果と第二判定部133dによる判定結果とが異なる場合(つまり、第一判定部133bによる判定結果が間違っていた場合など)、教師データ作成部133eは、第二判定部133dによる判定結果に基づく素材の種別を「100%」にする。図13では、第二オブジェクト群に対象物Cが含まれる可能性を「40%」から「100%」に修正している。そして、教師データ作成部133eは、修正した内容に基づいて教師データを作成し、教師データをクラウドシステム3の第一画像DB51に格納する。なお、第一判定部133bによる間違った判定結果(ここでは、対象物Aが含まれる可能性「90%」)を修正してもよいし、修正しなくてもよい(つまり、修正の要否は問わない)。
図11に示す判定結果修正部133fは、人間(例えば、廃棄物を選別する工場内の作業員)による第一画像データM21の判定結果の修正を実現する機能である。判定結果修正部133fは、作業員用の端末160に第一判定部133bの判定結果を表示する。判定結果修正部133fによる判定結果の表示方法は特に限定されず、どのように判定結果を表示してもよい。判定結果修正部133fは、例えば、第一画像データM21を作業員用の端末160に表示するとともに、オブジェクト群に含まれている可能性が高い素材の廃棄物Wを認識可能にする枠を当該廃棄物Wに付して表示する。また、判定結果修正部133fは、オブジェクト群に含まれている可能性が高い素材の廃棄物Wおよび当該廃棄物Wに付した枠の何れか一方または両方に対応付けて、判定した素材の種別(物品の種別)の名称を表示する。
作業員は、作業員用の端末160に表示される判定結果の内容が正しければ、何も操作を行わず、以降の処理は第一判定部133bの判定結果に基づいて行われる。一方、作業員は、作業員用の端末160に表示される判定結果の内容が間違っている場合、作業員用の端末160を用いて第一判定部133bの判定結果を修正する。作業員は、例えば、第一画像データM21を表示した画面の一部(例えば、オブジェクト群に含まれる対象の廃棄物W)を、画面の横に表示される図示しない素材の種別(物品の種別)欄に移動させる。これにより、第一判定部133bの判定結果は、作業員が操作した内容に修正される。判定結果の修正方法は、例えば、オブジェクト群に当該素材の種別(物品の種別)の廃棄物Wが含まれる可能性を「100%」にする。そして、以降の処理は、作業員が修正した判定結果に基づいて行われる。なお、作業員によって第一判定部133bの判定結果が修正された場合、第二判定部133dは、第二画像データM22に写る廃棄物Wの種別を判定せずに、修正された判定結果を引き継ぐようにしてもよい。
以上説明した第2実施形態に係る物品選別システム101によっても、第1実施形態と略同等の効果を奏することができる。
つまり、第2実施形態に係る物品選別システム101によれば、コンベア4によって搬送されている廃棄物群Vを第一撮影手段21で撮影し、第一画像データM21に写る廃棄物Wのまとまりに含まれる種別の可能性(認識率、自信度)を算出する(第一段目識別処理)。また、ロボットアーム13は、第一画像データM21に基づく判定結果に基づいて廃棄物Wを分離し、第二撮影手段22によって分離した単一の廃棄物Wを撮影する。そして、物品選別システム101は、第二画像データM22に写る単一の廃棄物Wの種別の可能性(認識率)を再び算出し(第二段目識別処理)、ロボットアーム13は、第二画像データM22に基づく判定結果に基づいて廃棄物Wを分離する。
ここで、第二画像データM22には単一の廃棄物Wが写るので、第二画像データM22に基づく判定結果は、認識精度が高い。そのため、本実施形態に係る物品選別システム101では、分散して配置されていない廃棄物Wを従来よりも精度よく選別することができる。
ここで、第二画像データM22には単一の廃棄物Wが写るので、第二画像データM22に基づく判定結果は、認識精度が高い。そのため、本実施形態に係る物品選別システム101では、分散して配置されていない廃棄物Wを従来よりも精度よく選別することができる。
また、第2実施形態に係る物品選別システム101によれば、作業員は、作業員用の端末160を用いて第一判定部133bの判定結果を修正できる。そのため、物品選別システム101の導入初期などの理由により、廃棄物Wの認識率が低い場合でも廃棄物Wを間違えることなく選別できる。なお、第1実施形態に係る物品選別システム1においても第2実施形態と同様に、作業員が作業員用の端末160を用いて第一判定部33b(図5参照)の判定結果を修正してもよい。
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。
各実施形態では、保持部13bとして、図2のγ方向に開閉可能な複数本の指を備えるものを想定していた。しかしながら、廃棄物Wを一時的に保持することができるものであれば、保持部13bの構成は図2に示すものに限定されない。例えば、廃棄物Wとして木材(例えば、木くず)を想定した場合、保持部13bは電動ドリルであってもよい。つまり、廃棄物Wに電動ドリルを所定量(例えば、数cm)だけ突き刺した状態で移動させ、ドリルを逆回転させて廃棄物Wを離脱させる。
1,101 物品選別システム
2,102 ローカルシステム
3 クラウドシステム
4 コンベア(搬送装置)
5,105 物品選別装置
10 選別機構
11 選別ユニット
20 物品情報取得機構
21 第一撮影手段
22 第二撮影手段
23 計測手段
30,130 制御装置
40 処理装置
2,102 ローカルシステム
3 クラウドシステム
4 コンベア(搬送装置)
5,105 物品選別装置
10 選別機構
11 選別ユニット
20 物品情報取得機構
21 第一撮影手段
22 第二撮影手段
23 計測手段
30,130 制御装置
40 処理装置
Claims (2)
- 搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置であって、
前記搬送装置によって搬送されている前記物品群を撮影する撮影手段と、
前記物品群から選別対象を選別位置に移動させる選別機構と、
前記選別機構を制御する機構制御部を有する制御装置と、を備え、
前記制御装置は、
前記撮影手段によって撮影された画像データから当該画像データに写る複数の物品の種別を判定する判定部と、
前記判定部の判定結果に基づいて、前記選別対象を決定する対象決定部と、を備え、
前記対象決定部は、前記画像データに写る複数の物品の中で認識率が閾値よりも高い物品を前記選別対象に決定し、前記認識率が閾値よりも高い物品がない場合に前記物品群を攪拌するように決定する、
ことを特徴とする物品選別装置。 - 搬送装置によって搬送されている物品群から特定の物品を選別する物品選別装置における物品選別方法であって、
前記物品選別装置は、
前記搬送装置によって搬送されている前記物品群を撮影する撮影手段と、
前記物品群から選別対象を選別位置に移動させる選別機構と、
前記選別機構を制御する機構制御部を有する制御装置と、を備え、
前記撮影手段によって撮影された画像データから当該画像データに写る複数の物品の種別を判定する判定ステップと、
前記判定ステップの判定結果に基づいて、前記選別対象を決定する対象決定ステップと、を有し、
前記対象決定ステップでは、前記画像データに写る複数の物品の中で認識率が閾値よりも高い物品を前記選別対象に決定し、前記認識率が閾値よりも高い物品がない場合に前記物品群を攪拌するように決定する、
ことを特徴とする物品選別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048484A JP2021030219A (ja) | 2020-03-18 | 2020-03-18 | 物品選別装置および物品選別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048484A JP2021030219A (ja) | 2020-03-18 | 2020-03-18 | 物品選別装置および物品選別方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019149434A Division JP6695539B1 (ja) | 2019-08-16 | 2019-08-16 | 物品選別装置、物品選別システムおよび物品選別方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021030219A true JP2021030219A (ja) | 2021-03-01 |
Family
ID=74674615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020048484A Pending JP2021030219A (ja) | 2020-03-18 | 2020-03-18 | 物品選別装置および物品選別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021030219A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114535144A (zh) * | 2022-03-02 | 2022-05-27 | 盛景智能科技(嘉兴)有限公司 | 零件分拣方法、装置、设备及桁架设备 |
WO2023042391A1 (ja) * | 2021-09-17 | 2023-03-23 | 株式会社Pfu | アノテーション装置 |
WO2023084713A1 (ja) * | 2021-11-11 | 2023-05-19 | 株式会社Pfu | 物体選別システム |
KR102565528B1 (ko) * | 2022-09-20 | 2023-08-10 | 주식회사 이노버스 | 인공 지능 모델을 활용하여 복수 개의 재활용품을 동시에 분류 가능한 지능형 재활용품 수거 장치 |
AT526401A1 (de) * | 2022-08-11 | 2024-02-15 | Brantner Env Group Gmbh | Verfahren zum Sortieren von Sortiergut |
-
2020
- 2020-03-18 JP JP2020048484A patent/JP2021030219A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023042391A1 (ja) * | 2021-09-17 | 2023-03-23 | 株式会社Pfu | アノテーション装置 |
WO2023084713A1 (ja) * | 2021-11-11 | 2023-05-19 | 株式会社Pfu | 物体選別システム |
CN114535144A (zh) * | 2022-03-02 | 2022-05-27 | 盛景智能科技(嘉兴)有限公司 | 零件分拣方法、装置、设备及桁架设备 |
AT526401A1 (de) * | 2022-08-11 | 2024-02-15 | Brantner Env Group Gmbh | Verfahren zum Sortieren von Sortiergut |
KR102565528B1 (ko) * | 2022-09-20 | 2023-08-10 | 주식회사 이노버스 | 인공 지능 모델을 활용하여 복수 개의 재활용품을 동시에 분류 가능한 지능형 재활용품 수거 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6695539B1 (ja) | 物品選別装置、物品選別システムおよび物品選別方法 | |
JP2021030219A (ja) | 物品選別装置および物品選別方法 | |
CN109201514B (zh) | 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统 | |
JP5969685B1 (ja) | 廃棄物選別システム及びその選別方法 | |
CN106960195B (zh) | 一种基于深度学习的人群计数方法及装置 | |
CN106127780B (zh) | 一种曲面表面缺陷自动检测方法及其装置 | |
CN110743818A (zh) | 基于视觉及深度学习的垃圾分选系统、垃圾分选方法 | |
CN110390691A (zh) | 一种基于深度学习的矿石尺度测量方法及应用系统 | |
JP2019056966A (ja) | 情報処理装置、画像認識方法および画像認識プログラム | |
CN108229665A (zh) | 一种以深度卷积神经网络为基础的零件分拣系统 | |
CN109584298B (zh) | 面向机器人自主物体拾取任务的在线自学习方法 | |
JP2017109197A (ja) | 廃棄物選別システム及びその選別方法 | |
CN111161292B (zh) | 一种矿石尺度测量方法及应用系统 | |
CN109692821A (zh) | 分拣系统 | |
JP2019195751A (ja) | 廃棄物選別システム、教師データ生成装置、教師データ生成システム、および教師データ生成プログラム | |
CN112916416A (zh) | 一种建筑垃圾分拣系统 | |
JP2020011182A (ja) | 商品検査装置、商品検査方法および商品検査プログラム | |
CN109816634A (zh) | 检测方法、模型训练方法、装置及设备 | |
Petso et al. | Automatic animal identification from drone camera based on point pattern analysis of herd behaviour | |
JP2020030145A (ja) | 検査装置及び検査システム | |
CN107767399A (zh) | 叉车监控方法及监控系统 | |
CN110197483A (zh) | 基于视频信号的深基坑裂缝检测方法 | |
JP7134331B2 (ja) | 計数システム、計数装置、機械学習装置、計数方法、部品配置方法、および、プログラム | |
Cunha et al. | Computer vision and robotic manipulation for automated feeding of cork drillers | |
CN211100232U (zh) | 基于视觉及深度学习的垃圾分选系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231205 |