JP2019220116A - 情報処理装置、判定方法、および対象物判定プログラム - Google Patents
情報処理装置、判定方法、および対象物判定プログラム Download PDFInfo
- Publication number
- JP2019220116A JP2019220116A JP2018119346A JP2018119346A JP2019220116A JP 2019220116 A JP2019220116 A JP 2019220116A JP 2018119346 A JP2018119346 A JP 2018119346A JP 2018119346 A JP2018119346 A JP 2018119346A JP 2019220116 A JP2019220116 A JP 2019220116A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- extraction
- classification
- extraction unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 37
- 238000000034 method Methods 0.000 title claims description 33
- 238000000605 extraction Methods 0.000 claims abstract description 263
- 238000010801 machine learning Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims description 102
- 230000000007 visual effect Effects 0.000 claims description 38
- 239000000284 extract Substances 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 30
- 238000011156 evaluation Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 235000013305 food Nutrition 0.000 description 33
- 230000008569 process Effects 0.000 description 23
- 238000011179 visual inspection Methods 0.000 description 18
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000032258 transport Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 235000013372 meat Nutrition 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000021485 packed food Nutrition 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の一実施形態について図1〜図6に基づいて説明する。まず、本実施形態に係る判定装置(情報処理装置)1の概要を図1に基づいて説明する。図1は、判定装置1の要部構成の一例を示すブロック図である。
判定装置1の用途は特に限定されないが、例えば食品生産工場の品質管理に利用することができる。これについて図2に基づいて説明する。図2は、食品生産工場において、生産された食品を判定装置1の判定対象物として撮影した例を示す図である。
判定装置1が実行する判定処理の流れを図3に基づいて説明する。図3は、判定装置1が実行する判定処理(判定方法)の一例を示すフローチャートである。なお、以下では、パック詰めされた食品の表面に貼り付けられたラベルの分類カテゴリを判定装置1が判定する例を説明する。
上述のように、合否判定部108は、判定結果を出力部50に出力させてもよい。ここでは、分類部105の判定結果を表示出力させる例を図4に基づいて説明する。図4は、判定結果の表示例を示す図である。
判定装置1では、新規対象物画像202が所定数(例えば10個)以上記憶されたことを契機として、機械学習に関する処理が行われる。これについて、図5に基づいて説明する。図5は、新規対象物画像202が所定数以上記憶されたことを契機として開始される機械学習に関する処理の一例を示すフローチャートである。なお、所定数の新規対象物画像202は、何れも同じ分類カテゴリに属するラベルが写った画像であるとする。また、新規対象物画像202が所定数記憶されたことは、例えば画像取得部101が検出する構成とすればよい。
判定装置1は、食品に貼り付けられたラベルに限られず、任意の対象物の分類カテゴリの判定に利用できる。特に、判定装置1は第2抽出部103を備えていることから、画像中に占める領域が狭い対象物の分類カテゴリの判定に好適である。例えば、衣類に付されたタグの分類カテゴリの判定などにも好適に利用できる。
判定装置1の機能は、相互に通信可能な複数の装置からなるシステムで実現することもできる。この場合、上述の各処理は、該システムを構成する複数の装置の何れかが行う。例えば、第1抽出部102および訓練データ生成部112を備えた情報処理装置により、分類部訓練データを生成する構成とし、判定装置1はこの分類部訓練データを用いて機械学習を行う構成としてもよい。また、例えば、抽出精度判定部110および学習部109を備えた情報処理装置により、第2抽出部103の再学習を行うタイミングを決定する構成とし、判定装置1は決定されたタイミングで再学習を行う構成としてもよい。なお、再学習は、情報処理装置の制御によって行ってもよいし、ユーザが判定装置1を操作して行うようにしてもよい。
判定装置1の制御ブロック(特に制御部10に含まれる各部)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
本発明の一態様にかかる情報処理装置は、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する情報処理装置であって、機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する機械学習抽出部と、機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類部と、を備えている。
102 第1抽出部(抽出部)
103 第2抽出部(機械学習抽出部)
105 分類部
107 目視判定部
109 学習部
110 抽出精度判定部
112 訓練データ生成部(分類部訓練データ生成部、抽出部訓練データ生成部)
201 画像(対象画像)
Claims (12)
- 対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する情報処理装置であって、
機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する機械学習抽出部と、
機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類部と、を備えていることを特徴とする情報処理装置。 - 上記分類部は、上記複数の分類カテゴリのそれぞれに該当する対象物がそれぞれ写っている画像から当該対象物が写っている領域を抽出して生成された部分画像を訓練データとした機械学習の結果に基づいて上記対象物の分類カテゴリを判定することを特徴とする請求項1に記載の情報処理装置。
- 上記対象画像に写る上記対象物が上記複数の分類カテゴリの何れにも該当しない場合、または上記分類部の判定結果の確度が閾値未満であった場合に、上記対象画像または上記対象物の閲覧者による分類カテゴリの入力を受け付けることにより、上記対象物の分類カテゴリを判定する目視判定部を備えていることを特徴とする請求項1または2に記載の情報処理装置。
- 上記分類部の機械学習用の分類部訓練データの元になる訓練用画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出部と、
上記抽出部が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、上記分類部訓練データを生成する分類部訓練データ生成部と、を備えていることを特徴とする請求項1から3の何れか1項に記載の情報処理装置。 - 上記抽出部が上記訓練用画像から上記領域を抽出できなかった場合に、上記機械学習抽出部が上記訓練用画像から上記領域を抽出して、上記分類部訓練データの生成に用いる部分画像を生成することを特徴とする請求項4に記載の情報処理装置。
- 上記抽出部の抽出結果と上記機械学習抽出部の抽出結果に基づいて上記機械学習抽出部の抽出精度の評価値を算出する抽出精度判定部と、
上記評価値に基づいて上記機械学習抽出部の再学習を行うタイミングを決定する学習部と、を備えていることを特徴とする請求項4または5に記載の情報処理装置。 - 上記訓練用画像と上記抽出部が抽出した上記領域とを対応付けて、上記機械学習抽出部の機械学習用の抽出部訓練データを生成する抽出部訓練データ生成部を備えていることを特徴とする請求項4から6の何れか1項に記載の情報処理装置。
- 上記抽出部訓練データ生成部は、上記訓練用画像に所定の画像処理を施すことによって生成された1または複数の画像のそれぞれと、上記抽出部が抽出した上記領域とを対応付けて上記抽出部訓練データを生成することを特徴とする請求項7に記載の情報処理装置。
- 1または複数の装置により、対象物を撮影した対象画像から、当該対象物の分類カテゴリが、所定の複数の分類カテゴリの何れに該当するかを判定する判定方法であって、
機械学習の結果に基づき、上記対象画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出ステップと、
機械学習の結果に基づき、上記部分画像から上記対象物の分類カテゴリを判定する分類ステップと、を含むことを特徴とする判定方法。 - 請求項1に記載の情報処理装置としてコンピュータを機能させるための対象物判定プログラムであって、上記機械学習抽出部および上記分類部としてコンピュータを機能させるための対象物判定プログラム。
- 画像から該画像に写る対象物の分類カテゴリを判定する分類部の機械学習に用いる分類部訓練データを生成する情報処理装置であって、
上記分類部訓練データの元になる訓練用画像から上記対象物が写っている領域を抽出して部分画像を生成する抽出部と、
上記抽出部が生成した部分画像と、該部分画像に写る対象物の分類カテゴリとを対応付けて、上記分類部訓練データを生成する分類部訓練データ生成部と、を備えていることを特徴とする情報処理装置。 - 機械学習の結果に基づき、画像から対象物が写っている領域を抽出する機械学習抽出部の再学習のタイミングを決定する情報処理装置であって、
上記画像から上記対象物が写っている領域を抽出する抽出部の抽出結果と、上記機械学習抽出部が上記画像から上記対象物が写っている領域を抽出した抽出結果とに基づいて、上記機械学習抽出部の抽出精度の評価値を算出する抽出精度判定部と、
上記評価値に基づいて上記機械学習抽出部の再学習を行うタイミングを決定する学習部と、を備えていることを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119346A JP7219023B2 (ja) | 2018-06-22 | 2018-06-22 | 情報処理装置および対象物判定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119346A JP7219023B2 (ja) | 2018-06-22 | 2018-06-22 | 情報処理装置および対象物判定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019220116A true JP2019220116A (ja) | 2019-12-26 |
JP7219023B2 JP7219023B2 (ja) | 2023-02-07 |
Family
ID=69096793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018119346A Active JP7219023B2 (ja) | 2018-06-22 | 2018-06-22 | 情報処理装置および対象物判定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7219023B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476234A (zh) * | 2020-03-17 | 2020-07-31 | 平安科技(深圳)有限公司 | 一种遮挡车牌字符识别方法、装置、存储介质和智能设备 |
WO2021214991A1 (ja) * | 2020-04-24 | 2021-10-28 | 日本電気株式会社 | モデル生成システム、形状認識システム、モデル生成方法、形状認識方法、及びコンピュータプログラム |
JP7502448B2 (ja) | 2020-07-27 | 2024-06-18 | ファナック株式会社 | 検査装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003515942A (ja) * | 1999-11-29 | 2003-05-07 | ケイエルエイ−テンコー コーポレイション | 半導体欠陥用のパワー・アシスト自動監視分類器作製ツール |
JP2015191666A (ja) * | 2014-03-28 | 2015-11-02 | ゼロックス コーポレイションXerox Corporation | オブジェクトパーツ位置の予測へのデータ駆動型検出の拡張 |
JP2016527646A (ja) * | 2013-08-05 | 2016-09-08 | フェイスブック,インク. | コンテキストキューを画像に相関付けることによる画像分類のシステム及び方法 |
JP2016176907A (ja) * | 2015-03-23 | 2016-10-06 | 石川県 | 位置測定システム、位置測定装置、位置測定方法、及びプログラム |
JP2016194925A (ja) * | 2015-04-01 | 2016-11-17 | 株式会社リコー | 道路境界物の検出方法及び装置 |
JP2016218999A (ja) * | 2015-05-21 | 2016-12-22 | 三菱電機株式会社 | ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム |
JP2017027227A (ja) * | 2015-07-17 | 2017-02-02 | 日本電信電話株式会社 | ラベル推定関数学習装置、方法、ラベル推定装置、方法及びプログラム |
WO2017109918A1 (ja) * | 2015-12-24 | 2017-06-29 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2017132167A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to identify a specimen container from multiple lateral views |
WO2017194399A1 (en) * | 2016-05-12 | 2017-11-16 | Bayer Cropscience Aktiengesellschaft | Recognition of weed in a natural environment |
EP3279831A1 (en) * | 2016-08-03 | 2018-02-07 | Bayer CropScience AG | Recognition of weed in a natural environment using a digital image |
WO2018089938A1 (en) * | 2016-11-14 | 2018-05-17 | Siemens Healthcare Diagnostics Inc. | Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen |
-
2018
- 2018-06-22 JP JP2018119346A patent/JP7219023B2/ja active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003515942A (ja) * | 1999-11-29 | 2003-05-07 | ケイエルエイ−テンコー コーポレイション | 半導体欠陥用のパワー・アシスト自動監視分類器作製ツール |
JP2016527646A (ja) * | 2013-08-05 | 2016-09-08 | フェイスブック,インク. | コンテキストキューを画像に相関付けることによる画像分類のシステム及び方法 |
JP2015191666A (ja) * | 2014-03-28 | 2015-11-02 | ゼロックス コーポレイションXerox Corporation | オブジェクトパーツ位置の予測へのデータ駆動型検出の拡張 |
JP2016176907A (ja) * | 2015-03-23 | 2016-10-06 | 石川県 | 位置測定システム、位置測定装置、位置測定方法、及びプログラム |
JP2016194925A (ja) * | 2015-04-01 | 2016-11-17 | 株式会社リコー | 道路境界物の検出方法及び装置 |
JP2016218999A (ja) * | 2015-05-21 | 2016-12-22 | 三菱電機株式会社 | ターゲット環境の画像内に表現されたオブジェクトを検出するように分類器をトレーニングする方法およびシステム |
JP2017027227A (ja) * | 2015-07-17 | 2017-02-02 | 日本電信電話株式会社 | ラベル推定関数学習装置、方法、ラベル推定装置、方法及びプログラム |
WO2017109918A1 (ja) * | 2015-12-24 | 2017-06-29 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2017132167A1 (en) * | 2016-01-28 | 2017-08-03 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus adapted to identify a specimen container from multiple lateral views |
WO2017194399A1 (en) * | 2016-05-12 | 2017-11-16 | Bayer Cropscience Aktiengesellschaft | Recognition of weed in a natural environment |
EP3279831A1 (en) * | 2016-08-03 | 2018-02-07 | Bayer CropScience AG | Recognition of weed in a natural environment using a digital image |
WO2018089938A1 (en) * | 2016-11-14 | 2018-05-17 | Siemens Healthcare Diagnostics Inc. | Methods, apparatus, and quality check modules for detecting hemolysis, icterus, lipemia, or normality of a specimen |
Non-Patent Citations (1)
Title |
---|
藤田 一弥 外, 実装 ディープラーニング, vol. 第1版, JPN6022028625, 30 November 2016 (2016-11-30), JP, pages 150 - 167, ISSN: 0004822791 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111476234A (zh) * | 2020-03-17 | 2020-07-31 | 平安科技(深圳)有限公司 | 一种遮挡车牌字符识别方法、装置、存储介质和智能设备 |
CN111476234B (zh) * | 2020-03-17 | 2024-05-24 | 平安科技(深圳)有限公司 | 一种遮挡车牌字符识别方法、装置、存储介质和智能设备 |
WO2021214991A1 (ja) * | 2020-04-24 | 2021-10-28 | 日本電気株式会社 | モデル生成システム、形状認識システム、モデル生成方法、形状認識方法、及びコンピュータプログラム |
JPWO2021214991A1 (ja) * | 2020-04-24 | 2021-10-28 | ||
JP7502448B2 (ja) | 2020-07-27 | 2024-06-18 | ファナック株式会社 | 検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7219023B2 (ja) | 2023-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151427B2 (en) | Method and apparatus for checkout based on image identification technique of convolutional neural network | |
CN108291876A (zh) | 用于检测产品的真实性的系统及方法 | |
AU2009305437B2 (en) | Method and system for item identification | |
JP7219023B2 (ja) | 情報処理装置および対象物判定プログラム | |
CN110880175B (zh) | 一种焊点缺陷检测方法、系统以及设备 | |
US20200193112A1 (en) | Method for improper product barcode detection | |
CN103072718A (zh) | 用于食品包装生产线的机器视觉检测系统及方法 | |
US9754191B2 (en) | Feature image generation apparatus, classification apparatus and non-transitory computer-readable memory, and feature image generation method and classification method | |
US11741685B2 (en) | Commodity identification device, non-transitory computer-readable storage medium, and learning method | |
CN107403128A (zh) | 一种物品识别方法及装置 | |
US11354549B2 (en) | Method and system for region proposal based object recognition for estimating planogram compliance | |
US20240233422A1 (en) | Systems and methods for recognizing text of interest | |
US20240185622A1 (en) | Systems and methods for detecting text of interest | |
JP7219016B2 (ja) | 判定装置、判定方法、および対象物判定プログラム | |
WO2006132484A1 (en) | Method and apparatus for inspecting marking of semiconductor package | |
CN115302963A (zh) | 一种基于机器视觉的条形码印刷控制方法、系统及介质 | |
CN114445843A (zh) | 固定版式的卡证图像文字识别方法和装置 | |
WO2022227103A1 (zh) | 一种零部件智能检测与标签系统及方法 | |
JP2014126445A (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
US20240029017A1 (en) | Information processing device, information processing method, and recording medium | |
CN111935480B (zh) | 一种用于图像获取装置的检测方法及相关装置 | |
WO2021119946A1 (en) | Food inspection solution | |
CN117474924B (zh) | 基于机器视觉的标签缺陷检测方法 | |
US20170200383A1 (en) | Automated review of forms through augmented reality | |
JP7035357B2 (ja) | 画像判定用コンピュータプログラム、画像判定装置及び画像判定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7219023 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |