JP2021174182A - 画素レベル対象物検出システムおよびそのプログラム - Google Patents
画素レベル対象物検出システムおよびそのプログラム Download PDFInfo
- Publication number
- JP2021174182A JP2021174182A JP2020076486A JP2020076486A JP2021174182A JP 2021174182 A JP2021174182 A JP 2021174182A JP 2020076486 A JP2020076486 A JP 2020076486A JP 2020076486 A JP2020076486 A JP 2020076486A JP 2021174182 A JP2021174182 A JP 2021174182A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pixel
- detection
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 228
- 238000012545 processing Methods 0.000 claims abstract description 73
- 230000011218 segmentation Effects 0.000 claims abstract description 55
- 230000010354 integration Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims description 66
- 230000006866 deterioration Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims 1
- 230000003247 decreasing effect Effects 0.000 abstract 1
- 238000012549 training Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 244000141359 Malus pumila Species 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 201000004384 Alopecia Diseases 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003676 hair loss Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
Description
画素レベルで対象物の検出を行う画素レベル対象物検出システムであって、検出対象を写した画像である推論用画像を収集する撮影部と、前記推論用画像から、検出対象を含む領域を検出する領域検出部と、前記推論用画像から、局所的情報のみを用い検出対象を検出する詳細検出部と、前記領域検出部の出力と、前記詳細検出部の出力とを統合して、画像内のいずれの画素が検出対象物と対応するかを確率マップとして示すセグメンテーションマップを出力する結果統合処理部と、を有するものである。
詳細検出部2の局所検出マップの作成方法は2段階である。まず前段で1画素毎に、或いは少数の画素毎に既存のフィルタ処理である鮮明化フィルタ処理やヒストグラム平坦化などを行う(前処理機能200)。そして、後段でそれぞれの画素の明度を計算する(画素明度計算機能201)、または、予め設定した画素からの各画素の距離、例えば色の距離を計算する(参考画素距離計算機能202)。そして、出力部20より、得られた結果を局所検出マップとして出力する。
1.後述するGUI部5の重み付き合成割合設定機能506等により設定された0以上1以下の重み数値に基づき局所検出マップと領域検出マップを重み付き合成する重み付き統合機能300。ここにおける重み付き合成とは、局所検出マップの画素値に重み数値を乗算し、領域検出マップの画素値に(1−重み数値)を乗算し、2つの結果を加算することである。
2.局所検出マップ、領域検出マップどちらかまたは両方に対し設定した閾値を用いて閾値処理を行い、結果をマスク処理を用い統合するマスク統合機能301。
図6Aの局所検出マップでは、少数画素毎、例えば1画素毎に検出対象の検出処理を行っているため、ノイズなどにより検出対象物以外の画素も検出している。図6Bの領域検出マップでは、詳細検出部2で検出処理する画素数よりも多い、広い領域の画素を基に対象物の検出処理を行っているため、検出対象物を含む広い領域を検出するとともに、小領域のノイズなどは検出されない。図6Cのセグメンテーションマップでは、図6Aの局所検出マップと図6Bの領域検出マップを合わせることにより、検出対象物のみを検出することができる。
(1)入力したセグメンテーションマップを編集するセグメンテーションマップ編集機能500。
(2)セグメンテーションマップにより定義される、各画素が対象物と対応している確率を多階調画像として表示するセグメンテーションマップ多階調表示機能501。
(3)ユーザがセグメンテーションマップ閾値設定機能507から指定する閾値により、セグメンテーションマップを閾値処理する閾値処理機能508。
(4)元画像のRGB情報、またはセグメンテーションマップで定義される確率情報をもとに、類似する画素を一括に選択することを可能とする類似領域選択機能502。
(5)ユーザの操作により表示画像の一部領域を拡大表示するズーム機能503。
(6)領域検出部8の処理フローを変更するための領域検出部種類選択機能504。
(7)詳細検出部2の処理フローを変更するための詳細検出部種類選択機能505。
(8)先に述べた合成重み数値を設定する重み付き合成割合設定機能506。
更に、前記成長度閾値処理機能511で用いる成長度閾値は部品546により定義される。
Claims (14)
- 画素レベルで対象物の検出を行う画素レベル対象物検出システムであって、
検出対象を写した画像である推論用画像を収集する撮影部と、
前記推論用画像から、検出対象を含む領域を検出する領域検出部と、
前記推論用画像から、局所的情報のみを用い検出対象を検出する詳細検出部と、
前記領域検出部の出力と、前記詳細検出部の出力とを統合して、画像内のいずれの画素が検出対象物と対応するかを確率マップとして示すセグメンテーションマップを出力する結果統合処理部と、
を有する画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、
前記詳細検出部は、1画素或いは少数画素を用いて検出対象を検出し、
前記領域検出部は、前記詳細検出部が用いる画素よりも多い画素を用いて検出対象を含む領域を検出する
ことを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、さらに、
事前に収集した画像群である学習用画像と、画素が対象物に対応しているかどうかの情報を含む正解データのペアの集合である学習データを出力する学習データ入力部と、
前記学習データを保持する学習データベースと、を有し、
前記領域検出部は、
その学習部が、前記学習データベースの前記学習データを用いて、機械学習によって対象物に対応する画素を推論する推論部を生成し、前記推論部が、前記推論用画像から検出対象を含む領域を検出する処理を実行する、
ことを特徴とする画素レベル対象物検出システム - 請求項3に記載の画素レベル対象物検出システムであって、さらに、
学習データを作成する学習データ作成部を有し、
前記学習データ作成部は、
前記学習用画像から、局所的情報のみを用い検出対象を検出する第2の詳細検出部と、
前記第2の詳細検出部で求めた局所検出結果と正解データ入力部で入力された正解データとを統合する第2の結果統合処理部と、を有し、
前記正解データを詳細化することを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、
前記詳細検出部は、
フィルタ処理などの前処理を行う前処理機能、
推論画像に含まれる画素の明度を計算する画素明度計算機能、
任意の画素値と推論用画像の各画素値との距離を計算する画素距離計算機能、
の少なくとも何れかを備えることを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、さらに、
前記撮影部が出力する推論用画像の解像度を縮小し前記領域検出部に入力する画像縮小部と、
前記領域検出部から出力された領域検出マップを拡大する画像拡大部と、
を有することを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、
セグメンテーションマップ出力を画面に表示するGUI部を有し、
前記GUI部は、
前記画面においてセグメンテーションマップ出力を結果統合処理部から出力される対象物確率値をもとに色付けされた多階調画像として表示する処理と、
前記画面において画面の一部を拡大する処理と、
前記画面において同対象物と判断され、さらに隣接する画素群を一括で選択可能である類似領域選択処理と、
前記画面においてセグメンテーション出力を対象物推定確率値をもとに閾値処理を行う処理と、
前記セグメンテーションマップを編集する処理と、
の少なくとも何れかを行うことを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、
セグメンテーションマップ出力を画面に表示するGUI部を有し、
前記GUI部は、
前記閾値処理に必要な閾値を設定する第一部品、
領域検出部の種類を設定する第二部品、
詳細検出部の種類を設定する第三部品、
結果統合処理部が局所検出マップと領域検出マップを統合する際に必要である閾値を設定する第四部品、
の少なくとも何れかを表示することを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、
前記結果統合処理部は、セグメンテーションマップとして構造物劣化度を出力し、
前記セグメンテーションマップを画面に表示するGUI部を有し、
前記GUI部は、
閾値処理した検出結果の内、同対象物だと判断され、さらに隣接する画素群の領域サイズが小さい物を除去可能な機能と、
閾値処理した検出領域の形状が直線である場合にそれを除去する直線除去機能と、
を備えることを特徴とする画素レベル対象物検出システム。 - 請求項1に記載の画素レベル対象物検出システムであって、
前記結果統合処理部は、セグメンテーションマップとして農作物の成長度確率を出力し、
前記セグメンテーションマップを画面に表示するGUI部を有し、
前記GUI部は、
閾値処理した検出結果の内、成長度が遅い段階の農作物を除去する機能
を備えることを特徴とする画素レベル対象物検出システム。 - コンピュータを、
推論用画像から、検出対象を含む領域を検出する領域検出部と、
前記推論用画像から、局所的情報のみを用い検出対象を検出する詳細検出部と、
前記領域検出部の出力と、前記詳細検出部の出力とを統合して、画像内のいずれの画素が検出対象物と対応するかを確率マップとして示すセグメンテーションマップを出力する結果統合処理部と、
を有する画素レベル対象物検出システムとして機能させるためのプログラム。 - 請求項11に記載のプログラムであって、
前記領域検出部は、その学習部が、学習データベースの学習データを用いて、機械学習によって対象物に対応する画素を推論する推論部を生成し、前記推論部が、前記推論用画像から検出対象を含む領域を検出する処理を実行するものである、
画素レベル対象物検出システムとして機能させるためのプログラム。 - 請求項12に記載のプログラムであって、さらに、
学習用画像から、局所的情報のみを用い検出対象を検出する第2の詳細検出部と、前記第2の詳細検出部で求めた局所検出結果と正解データ入力部で入力された正解データとを統合する第2の結果統合処理部と、を有し、前記正解データを詳細化する学習データ作成部を含む
画素レベル対象物検出システムとして機能させるためのプログラム。 - 請求項11に記載のプログラムであって、さらに、
前記推論用画像の解像度を縮小し前記領域検出部に入力する画像縮小部と、
前記領域検出部から出力された領域検出マップを拡大する画像拡大部と、
を含む画素レベル対象物検出システムとして機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076486A JP2021174182A (ja) | 2020-04-23 | 2020-04-23 | 画素レベル対象物検出システムおよびそのプログラム |
SG10202103778XA SG10202103778XA (en) | 2020-04-23 | 2021-04-13 | Pixel-level object detection system and program thereof |
US17/229,980 US11995835B2 (en) | 2020-04-23 | 2021-04-14 | Pixel-level object detection system and program thereof |
PH12021050171A PH12021050171A1 (en) | 2020-04-23 | 2021-04-19 | Pixel-level object detection system and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076486A JP2021174182A (ja) | 2020-04-23 | 2020-04-23 | 画素レベル対象物検出システムおよびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174182A true JP2021174182A (ja) | 2021-11-01 |
JP2021174182A5 JP2021174182A5 (ja) | 2023-03-02 |
Family
ID=78222551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076486A Pending JP2021174182A (ja) | 2020-04-23 | 2020-04-23 | 画素レベル対象物検出システムおよびそのプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11995835B2 (ja) |
JP (1) | JP2021174182A (ja) |
PH (1) | PH12021050171A1 (ja) |
SG (1) | SG10202103778XA (ja) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140210944A1 (en) * | 2013-01-30 | 2014-07-31 | Samsung Electronics Co., Ltd. | Method and apparatus for converting 2d video to 3d video |
JP2016099668A (ja) | 2014-11-18 | 2016-05-30 | キヤノン株式会社 | 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム |
US9972092B2 (en) * | 2016-03-31 | 2018-05-15 | Adobe Systems Incorporated | Utilizing deep learning for boundary-aware image segmentation |
JP6333307B2 (ja) | 2016-06-02 | 2018-05-30 | 日本電信電話株式会社 | 劣化部位検知装置、劣化部位検知方法およびプログラム |
KR101805318B1 (ko) | 2016-11-01 | 2017-12-06 | 포항공과대학교 산학협력단 | 텍스트 영역 식별 방법 및 장치 |
JP2019028887A (ja) | 2017-08-02 | 2019-02-21 | 国立研究開発法人産業技術総合研究所 | 画像処理方法 |
JP6936685B2 (ja) | 2017-09-29 | 2021-09-22 | 清水建設株式会社 | ひび割れ検出装置、ひび割れ検出方法、および、コンピュータプログラム |
US10957041B2 (en) * | 2018-05-14 | 2021-03-23 | Tempus Labs, Inc. | Determining biomarkers from histopathology slide images |
JP2020038574A (ja) | 2018-09-05 | 2020-03-12 | 京セラ株式会社 | 画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、及び画像認識装置 |
JP2019008830A (ja) | 2018-09-19 | 2019-01-17 | 株式会社ニコン | 被写体検出装置、撮像装置及びプログラム |
US10803594B2 (en) * | 2018-12-31 | 2020-10-13 | Beijing Didi Infinity Technology And Development Co., Ltd. | Method and system of annotation densification for semantic segmentation |
CN110176027B (zh) | 2019-05-27 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 视频目标跟踪方法、装置、设备及存储介质 |
CN113239800B (zh) | 2021-05-12 | 2023-07-25 | 上海善索智能科技有限公司 | 目标检测方法及目标检测装置 |
-
2020
- 2020-04-23 JP JP2020076486A patent/JP2021174182A/ja active Pending
-
2021
- 2021-04-13 SG SG10202103778XA patent/SG10202103778XA/en unknown
- 2021-04-14 US US17/229,980 patent/US11995835B2/en active Active
- 2021-04-19 PH PH12021050171A patent/PH12021050171A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US11995835B2 (en) | 2024-05-28 |
SG10202103778XA (en) | 2021-11-29 |
PH12021050171A1 (en) | 2022-01-10 |
US20210334981A1 (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3540637B1 (en) | Neural network model training method, device and storage medium for image processing | |
CN110705583B (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
Zhou et al. | Underwater camera: Improving visual perception via adaptive dark pixel prior and color correction | |
EP2706507B1 (en) | Method and apparatus for generating morphing animation | |
CN104517110B (zh) | 一种二维码图像的二值化方法及系统 | |
CN108021923B (zh) | 一种用于深度神经网络的图像特征提取方法 | |
WO2010024265A1 (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
CN111144215B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Fu et al. | Twice mixing: A rank learning based quality assessment approach for underwater image enhancement | |
CN111553923A (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 | |
CN109034136A (zh) | 图像处理方法、装置、摄像设备及存储介质 | |
CN111222530A (zh) | 一种细粒度图像分类方法、系统、装置和存储介质 | |
CN116757988A (zh) | 基于语义丰富和分割任务的红外与可见光图像融合方法 | |
CN114359228A (zh) | 物体表面缺陷检测方法、装置、计算机设备和存储介质 | |
CN114021704A (zh) | 一种ai神经网络模型的训练方法及相关装置 | |
CN117058606A (zh) | 一种x射线图像违禁品检测方法 | |
US10194880B2 (en) | Body motion display device and body motion display method | |
JP2021174182A (ja) | 画素レベル対象物検出システムおよびそのプログラム | |
CN111241891B (zh) | 一种人脸图像切图方法、装置及计算机可读存储介质 | |
JP2020144686A (ja) | モデル作成システム、モデル作成方法 | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
CN114372931A (zh) | 一种目标对象虚化方法、装置、存储介质及电子设备 | |
KR20170062661A (ko) | 컬러영상에서 Mean-Shift 군집화와 단계별 병합 방법을 이용한 자동 원료 선별 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240313 |