JP2020087165A - 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法 - Google Patents

学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法 Download PDF

Info

Publication number
JP2020087165A
JP2020087165A JP2018223405A JP2018223405A JP2020087165A JP 2020087165 A JP2020087165 A JP 2020087165A JP 2018223405 A JP2018223405 A JP 2018223405A JP 2018223405 A JP2018223405 A JP 2018223405A JP 2020087165 A JP2020087165 A JP 2020087165A
Authority
JP
Japan
Prior art keywords
images
image
learning data
data generation
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018223405A
Other languages
English (en)
Other versions
JP7220062B2 (ja
Inventor
祐輔 樋田
Yusuke Toida
祐輔 樋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018223405A priority Critical patent/JP7220062B2/ja
Priority to US16/694,311 priority patent/US11176455B2/en
Publication of JP2020087165A publication Critical patent/JP2020087165A/ja
Application granted granted Critical
Publication of JP7220062B2 publication Critical patent/JP7220062B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

【課題】機械学習を用いた画像処理において、画像に写っている物体の判別精度を向上させる。【解決手段】コンピュータは、機械学習における学習対象物に関連する複数の画像各々と他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定する(ステップ201)。そして、コンピュータは、複数の画像それぞれについて、注目領域以外の領域に対して不鮮明化処理を適用し(ステップ202)、不鮮明化処理が適用された複数の画像を含む学習データを生成する(ステップ203)。【選択図】図2

Description

本発明は、学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法に関する。
近年、様々な物体が写っている画像を自動的に分類する人工知能の分野において、分類の正解率を向上させる取り組みが行われている。例えば、人工知能のモデルとして、畳み込みニューラルネットワーク(Convolutional Neural Network,CNN)が知られている(例えば、非特許文献1を参照)。
CNNを用いた分類処理では、入力された画像に対して畳み込み演算を行うことで、その画像から特徴量が抽出され、抽出された特徴量に基づいて、画像がいずれかのクラスに分類される。この場合、深層学習の層数又はネットワーク構造を変化させることで、特徴量の抽出精度を向上させ、分類の正解率を高めることができる。画像から抽出される特徴量としては、様々なものが知られている(例えば、非特許文献2〜非特許文献5を参照)。
クエリ画像に類似した画像を検索する画像検索方法、3次元形状モデルから特徴点を選択する特徴点選択システム、及び観察対象の三次元座標とカメラ画像の二次元座標とを対応付ける画像処理装置も知られている(例えば、特許文献1〜特許文献3を参照)。
特開2011−008507号公報 特開2010−218051号公報 特開2014−038566号公報
A. Krizhevsky et al.,"ImageNet Classification with Deep Convolutional Neural Networks", NIPS'12 Proceedings of the 25th International Conference on Neural Information Processing Systems, Volume 1, Pages 1097-1105, December 2012. E. Rublee et al.,"ORB: an efficient alternative to SIFT or SURF", ICCV '11 Proceedings of the 2011 International Conference on Computer Vision, Pages 2564-2571, November 2011. P. F. Alcantarilla et al.,"KAZE Features", Computer Vision - ECCV 2012, Pages 214-227, 2012. D. G. Lowe,"Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Volume 60 Issue 2, Pages 91-110, November 2004. H. Bay et al.,"Speeded-Up Robust Features (SURF)", Computer Vision and Image Understanding, Volume 110 Issue 3, Pages 346-359, June 2008.
画像分類の正解率を向上させるためには、画像に写っている人間等の分類対象物と、背景等の分類非対象物とから、分類精度を向上させる特徴量を抽出することが有効である。
しかしながら、CNNを用いて画像分類を行う場合、CNNの学習データとして与えられる画像の枚数によって、分類対象物の特徴量の抽出精度が低下することがある。
なお、かかる問題は、CNNを用いた画像分類に限らず、機械学習に基づく他のモデルを用いた画像処理においても生ずるものである。
1つの側面において、本発明は、機械学習を用いた画像処理において、画像に写っている物体の判別精度を向上させることを目的とする。
1つの案では、学習データ生成プログラムは、以下の処理をコンピュータに実行させる。
(1)コンピュータは、機械学習における学習対象物に関連する複数の画像各々と他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定する。
(2)コンピュータは、複数の画像それぞれについて、注目領域以外の領域に対して不鮮明化処理を適用する。
(3)コンピュータは、不鮮明化処理が適用された複数の画像を含む学習データを生成する。
実施形態によれば、機械学習を用いた画像処理において、画像に写っている物体の判別精度を向上させることができる。
学習データ生成装置の機能的構成図である。 学習データ生成処理のフローチャートである。 画像分類システムの機能的構成図である。 画像を示す図である。 矩形領域の画像と頻度分布を示す図である。 頻度値とフィルタ領域の関係を示す図である。 フィルタ領域を示す図である。 不鮮明化された画像を示す図である。 学習データ生成処理の具体例を示すフローチャートである。 画像分類処理のフローチャートである。 分類結果を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
CNNを用いて分類を行う場合、大量の画像を学習データとして与えれば、それらの画像から分類対象物の特徴量のみを抽出するように、CNNに対する学習が行われる。大量の画像としては、例えば、数万枚以上の画像が想定される。
しかしながら、学習データとして少量の画像しか与えられない場合、学習結果に対する1枚の画像の影響が大きくなるため、分類に不要な分類非対象物の特徴量も抽出する学習が行われる可能性が高くなる。少量の画像としては、例えば、数十枚〜数百枚の画像が想定される。
一方、セグメンテーションによって、画像から分類対象物が写っている領域を切り出せば、分類非対象物の特徴量が抽出されることを防止できる。しかし、セグメンテーションを行うためには、教師あり学習のための正解データを作成する作業が発生する。
図1は、実施形態の学習データ生成装置の機能的構成例を示している。図1の学習データ生成装置101は、記憶部111、特定部112、不鮮明化部113、及び生成部114を含む。記憶部111は、機械学習における学習対象物に関連する複数の画像を記憶する。特定部112、不鮮明化部113、及び生成部114は、記憶部111が記憶する複数の画像を用いて、学習データ生成処理を行う。
図2は、図1の学習データ生成装置101が行う学習データ生成処理の例を示すフローチャートである。まず、特定部112は、記憶部111が記憶する各画像と他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定する(ステップ201)。
次に、不鮮明化部113は、記憶部111が記憶する複数の画像それぞれについて、注目領域以外の領域に対して不鮮明化処理を適用する(ステップ202)。そして、生成部114は、不鮮明化処理が適用された複数の画像を含む学習データを生成する(ステップ203)。
このような学習データ生成装置101によれば、機械学習を用いた画像処理において、画像に写っている物体の判別精度を向上させることができる。
図3は、図1の学習データ生成装置101を含む画像分類システムの機能的構成例を示している。図3の画像分類システムは、学習データ生成装置101及び画像分類装置301を含む。
学習データ生成装置101は、記憶部111、特定部112、不鮮明化部113、生成部114、及び通信部311を含む。記憶部111は、機械学習における学習対象物と同じ種類の分類対象物が写っている複数の画像321を記憶する。例えば、学習対象物が人間である場合、各画像321は人間が写っている画像であり、学習対象物が自動車である場合、各画像321は自動車が写っている画像であり、学習対象物が船である場合、各画像321は船が写っている画像である。
画像321に写っている分類対象物の種類は、ユーザが目視によって判定してもよく、学習データ生成装置101が、画像321に付加されたタグに基づいて判定してもよい。
図4は、画像321の例を示している。この例では、学習対象物は船であり、図4の画像には、分類対象物である船とともに、分類非対象物である背景が写っている。例えば、領域402及び領域403内には山が含まれており、領域404内には建物が含まれており、領域405内には海が含まれている。
背景の影響を低減するために、船が写っている矩形領域401を境界ボックスによって切り取る処理を行っても、矩形領域401内には背景の一部が含まれる。このため、CNNに対する学習では、分類対象物の情報を学習する際に、その周辺に写っている分類非対象物の情報も含めて学習してしまう。
そこで、特定部112は、各画像321と他の画像321との間の画像マッチングを行って、各画像321内における特徴点の頻度分布322を求め、求めた頻度分布322を記憶部111に格納する。そして、特定部112は、頻度分布322に基づいて、各画像321内における注目領域を特定する。
学習対象物と同じ種類の対象物が写っている画像321を用いることで、画像間における画像マッチングを行うことが可能になり、画像間で特徴点同士を対応付けることができる。例えば、特定部112は、以下のような特徴量を用いて画像マッチングを行うことができる。
(F1)非特許文献2に記載されたORB(Oriented FAST and Rotated BRIEF)
(F2)非特許文献3に記載されたKAZE特徴量
(F3)Accelerated-KAZE特徴量
(F4)非特許文献4に記載されたSIFT(Scale-Invariant Feature Transform)特徴量
(F5)非特許文献5に記載されたSURF(Speeded-Up Robust Features)
頻度分布322は、処理対象の画像321内の複数の特徴点それぞれに対する頻度値を含み、各特徴点に対する頻度値は、その特徴点に対応付けられた、他のすべての画像321内の特徴点の個数を表す。特定部112は、他のすべての画像321内の特徴点を処理対象の画像321上に写像することで、頻度分布322を生成する。
図5は、船が写っている矩形領域の画像と頻度分布322の例を示している。図5(a)は、矩形領域の画像の例を示しており、図5(b)は、図5(a)の矩形領域に対する頻度分布322の例を示している。図5(b)の頻度分布322において、図5(a)の矩形領域から抽出された各特徴点の頻度値に応じて、その特徴点に対応する画素の色を変更することで、矩形領域内における頻度値の分布を表すことができる。
例えば、特定部112は、頻度分布322において、所定の閾値よりも大きな頻度値を有する特徴点の集合を、注目領域として抽出する。これにより、矩形領域内の分類対象物の形状を表す特徴点のみを注目領域として抽出することが可能になる。
不鮮明化部113は、各画像321の頻度分布322を参照して、注目領域以外の領域に含まれる複数の特徴点それぞれの頻度値を取得し、各特徴点の頻度値に応じて、その特徴点を含む所定領域を決定する。そして、不鮮明化部113は、決定した所定領域に対して不鮮明化処理を適用することで、注目領域以外の領域の画像を不鮮明化する。例えば、不鮮明化部113は、以下のような不鮮明化処理を適用することができる。
(P1)ぼかし処理
(P2)コントラスト変更処理
(P3)グレースケール化処理
(P4)セピア化処理
(P5)膨張処理
(P6)収縮処理
(P7)ジッター処理
ぼかし処理は、所定領域内の画素に対して、ぼかしフィルタによるフィルタ処理を適用して、それらの画素の画素値を統計値に置き換える処理である。例えば、ぼかしフィルタとしては、Blur_filter、Gaussian_blur、median_blur等を用いることができ、統計値としては、所定領域内の画素の画素値の平均値、中央値、最大値、最小値等を用いることができる。
コントラスト変更処理は、所定領域内の画素の明度、色相、輝度、彩度等を増減することで、情報量を低下させる処理であり、グレースケール化処理及びセピア化処理は、所定領域内の画素のRGB値の分散を狭めることで、情報量を低下させる処理である。
膨張処理は、特徴点の明度を、その特徴点を含む所定領域内における明度の最大値に置き換える処理であり、収縮処理は、特徴点の明度を、その特徴点を含む所定領域内における明度の最小値に置き換える処理である。膨張処理又は収縮処理によれば、特徴点の情報量を、周辺の状況に合わせて低下させることができる。ジッター処理は、所定領域内の画素の画素値をランダム化してノイズに変換することで、特徴量が抽出されにくくする処理である。
不鮮明化部113は、画像321に写っている分類非対象物に応じて、異なる不鮮明化処理を適用することもできる。例えば、背景に海面が含まれる場合、コントラストを低減する処理を適用することで、海面による光の反射を表す特徴量が抽出されにくくなる。背景に波が含まれる場合、膨張処理又は収縮処理を適用することで、波を表す特徴量が抽出されにくくなる。背景に山、建物等の物体が含まれる場合、ジッター処理を適用することで、物体の輪郭線がノイズに変換され、その物体を表す特徴量が抽出されにくくなる。
各画像321に対して適用される不鮮明化処理の種類は、ユーザが指定してもよく、不鮮明化部113が所定のアルゴリズムを用いて分類非対象物を特定し、特定した分類非対象物に応じて不鮮明化処理の種類を決定してもよい。
図6は、不鮮明化処理としてぼかし処理を用いた場合の各特徴点に対する頻度値とフィルタ領域の関係の例を示している。図6の横軸は、各特徴点の頻度値を表し、縦軸は、各特徴点を含む所定領域であるフィルタ領域の面積を表す。この例では、閾値T以下の頻度値を有する特徴点に対するフィルタ領域の面積は、頻度値が増加するにつれて段階的に減少している。なお、閾値Tよりも大きな頻度値を有する特徴点は注目領域として抽出されるため、その特徴点に対してフィルタ領域が設定されることはない。
頻度値が増加するにつれてフィルタ領域を狭くすることで、他の画像321とマッチした回数が多い特徴点ほど、不鮮明化される画像領域を限定することが可能になる。これにより、特徴点が分類対象物の形状を表す可能性が低いほど、不鮮明化の度合いを大きくし、特徴点が分類対象物の形状を表す可能性が高いほど、不鮮明化の度合いを小さくすることができる。
図7は、特徴点に対して設定された2段階のフィルタ領域の例を示している。特徴点701の頻度値が所定値以下である場合、特徴点701を中心とする5×5のフィルタ領域703が設定され、特徴点701の頻度値が所定値よりも大きい場合、特徴点701を中心とする3×3のフィルタ領域702が設定される。
図8は、図5(a)の矩形領域内の注目領域以外の領域に対してぼかし処理を適用することで不鮮明化された画像の例を示している。この場合、分類対象物である船の形状を表す特徴点以外の特徴点に対してフィルタ領域が設定され、そのフィルタ領域に対して、ぼかしフィルタによるフィルタ処理が適用される。これにより、船の背景が不鮮明化される。
このように、分類対象物の形状を表す特徴点のみからなる注目領域を特定して、それ以外の領域の画像を不鮮明化することで、分類非対象物の特徴量の影響を低下させることができる。したがって、不鮮明化された画像321を用いた学習処理において、分類非対象物が不活性化され、その特徴量が抽出されにくくなる。
生成部114は、不鮮明化処理が適用された複数の画像321を含む学習データ323を生成して、記憶部111に格納し、通信部311は、通信ネットワーク302を介して、学習データ323を画像分類装置301へ送信する。
画像分類装置301は、通信部331、CNN332、及び記憶部333を含む。通信部331は、学習データ生成装置101から学習データ323を受信し、受信した学習データ323を記憶部333に格納する。
CNN332は、画像を分類する分類器であり、入力された画像に写っている分類対象物の特徴に応じて、その画像を複数のクラスのいずれかに分類する。まず、CNN332は、学習データ323を用いて学習処理を行うことで、ニューラルネットワークの各層におけるパラメータを決定する。
次に、CNN332は、分類対象の画像341を入力データとして用いて分類処理を行い、画像341をいずれかのクラスに分類する。そして、CNN332は、分類したクラスを示す分類結果342を生成して、記憶部333に格納する。
図3の画像分類システムによれば、学習データ323が少量の画像321しか含んでいない場合であっても、CNN332は、それらの画像321に写っている分類対象物の特徴を効率よく学習することができる。したがって、画像341に写っている分類対象物の判別精度が向上し、分類の正解率を高めることが可能になる。
図9は、図3の学習データ生成装置101が行う学習データ生成処理の具体例を示すフローチャートである。この例では、記憶部111は、複数の画像321として、画像X1〜画像Xn(nは2以上の整数)を記憶する。
まず、特定部112は、処理対象の画像Xi(i=1〜n)を示す制御変数iに1を設定し、比較対象の画像Xj(j=1〜n)を示す制御変数jに1を設定して、iとjを比較する(ステップ901)。i=jである場合(ステップ901,YES)、特定部112は、jを1だけインクリメントして、ステップ901の処理を繰り返す。
一方、i≠jである場合(ステップ901,NO)、特定部112は、画像Xiと画像Xjとの画像マッチングを行って(ステップ902)、画像Xi内における頻度分布Yiを計算する(ステップ903)。そして、特定部112は、jを1だけインクリメントして、ステップ901の処理を繰り返す。
jがnに達した場合、特定部112は、頻度分布Yiに基づいて、画像Xi内における注目領域を特定する。次に、不鮮明化部113は、画像Xiの注目領域以外の領域に含まれる各特徴点に対して所定領域を設定し、設定した所定領域に対して不鮮明化処理を適用する(ステップ904)。そして、学習データ生成装置101は、iを1だけインクリメントし、jに1を設定して、ステップ901の処理を繰り返す。
iがnに達した場合、生成部114は、不鮮明化処理が適用された画像X1〜画像Xnを含む学習データ323を生成する。
図10は、画像分類処理の例を示すフローチャートである。まず、CNN332は、学習データ323を用いて学習処理を行う(ステップ1001)。次に、CNN332は、分類処理を行って画像341をいずれかのクラスに分類し、分類したクラスを示す分類結果342を生成する(ステップ1002)。
図11は、画像X1〜画像Xnに対する分類結果の例を示している。この例では、n=528であり、528枚の画像がクラス0〜クラス13のいずれかのクラスに分類される。
図11(a)は、画像X1〜画像Xnに対して不鮮明化処理を適用しない場合の分類結果の例を示している。図11(a)のテーブルの14個の列は、CNN332によって各画像が分類されたクラスを表し、14個の行は、各画像に対する正解のクラスを表す。したがって、k行m列(k=0〜13,m=0〜13)の数字は、クラスkを正解とする画像のうち、クラスmに分類された画像の枚数を表す。
例えば、クラス0を正解とする画像は35枚であり、このうち20枚の画像がクラス0に分類され、残りの15枚の画像が他のクラスに分類されている。したがって、クラス0を正解とする画像の正解率は、20/35である。また、クラス1を正解とする画像は40枚であり、このうち23枚の画像がクラス1に分類され、残りの17枚の画像が他のクラスに分類されている。したがって、クラス1を正解とする画像の正解率は、23/40である。そして、528枚の画像全体の正解率は、437/528=82.7652%である。
図11(b)は、クラス0又はクラス1を正解とする75枚の画像に対してぼかし処理を適用した場合の分類結果の例を示している。この場合、クラス0を正解とする画像の正解率は26/35であり、クラス1を正解とする画像の正解率は33/40である。そして、528枚の画像全体の正解率は、453/528=85.7955%である。したがって、一部の画像に対してぼかし処理を適用することで、正解率が向上することが分かる。すべての画像に対してぼかし処理を適用すれば、正解率はさらに向上する。
図1の学習データ生成装置101の構成は一例に過ぎず、学習データ生成装置101の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。
図3の画像分類システムの構成は一例に過ぎず、学習データ生成装置101の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、学習データ生成装置101内にCNN332が設けられる場合は、通信部311及び画像分類装置301を省略することができる。
CNN332の代わりに、順伝播型ニューラルネットワーク、再帰型ニューラルネットワーク等の他のニューラルネットワークを用いてもよく、機械学習に基づく他のモデルを用いてもよい。例えば、CNN332の代わりに、決定木、相関ルール、遺伝的プログラミング、クラスタリング等のモデルを用いてもよい。
図2、図9、及び図10のフローチャートは一例に過ぎず、学習データ生成装置101の構成又は条件に応じて一部の処理を省略又は変更してもよい。
図4及び図5(a)に示した画像321は一例に過ぎず、画像321は、学習対象物に応じて変化する。図5(b)に示した頻度分布322は一例に過ぎず、頻度分布322は、画像321に応じて変化する。
図6及び図7に示したフィルタ領域は一例に過ぎず、別の大きさ及び別の形状のフィルタ領域を用いてもよい。図8に示した画像は一例に過ぎず、不鮮明化された画像は、不鮮明化処理の種類に応じて変化する。図11に示した分類結果は一例に過ぎず、分類結果は、分類対象の画像と不鮮明化処理の種類に応じて変化する。
図12は、図1及び図3の学習データ生成装置101、及び図3の画像分類装置301として用いられる情報処理装置(コンピュータ)の構成例を示している。図12の情報処理装置は、CPU(Central Processing Unit)1201、メモリ1202、入力装置1203、出力装置1204、補助記憶装置1205、媒体駆動装置1206、及びネットワーク接続装置1207を含む。これらの構成要素はバス1208により互いに接続されている。
メモリ1202は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ1202は、図1及び3の記憶部111、及び図3の記憶部333として用いることができる。
CPU1201(プロセッサ)は、例えば、メモリ1202を利用してプログラムを実行することにより、図1及び図3の特定部112、不鮮明化部113、及び生成部114として動作する。CPU1201は、メモリ1202を利用してプログラムを実行することにより、図3のCNN332としても動作する。
入力装置1203は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置1204は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。
補助記憶装置1205は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1205は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置1205にプログラム及びデータを格納しておき、それらをメモリ1202にロードして使用することができる。補助記憶装置1205は、図1及び3の記憶部111、及び図3の記憶部333として用いることができる。
媒体駆動装置1206は、可搬型記録媒体1209を駆動し、その記録内容にアクセスする。可搬型記録媒体1209は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1209は、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体1209にプログラム及びデータを格納しておき、それらをメモリ1202にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ1202、補助記憶装置1205、又は可搬型記録媒体1209のような、物理的な(非一時的な)記録媒体である。
ネットワーク接続装置1207は、図3の通信ネットワーク302に接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1207を介して受信し、それらをメモリ1202にロードして使用することができる。ネットワーク接続装置1207は、図3の通信部311又は通信部331として用いることができる。
なお、情報処理装置が図12のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザと対話する必要がない場合は、入力装置1203及び出力装置1204を省略してもよい。可搬型記録媒体1209又は通信ネットワーク302を使用しない場合は、媒体駆動装置1206又はネットワーク接続装置1207を省略してもよい。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
図1乃至図12を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
機械学習における学習対象物に関連する複数の画像各々と、前記複数の画像のうち他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定し、
前記複数の画像それぞれについて、前記注目領域以外の領域に対して不鮮明化処理を適用し、
前記不鮮明化処理が適用された複数の画像を含む学習データを生成する、
処理をコンピュータに実行させるための学習データ生成プログラム。
(付記2)
前記複数の画像各々は、前記学習対象物と同じ種類の対象物が写っている画像であることを特徴とする付記1記載の学習データ生成プログラム。
(付記3)
前記コンピュータは、前記複数の画像各々と前記他の画像との間の画像マッチングを行って、各画像内における特徴点の頻度分布を求め、求めた頻度分布に基づいて、前記注目領域を特定することを特徴とする付記1又は2記載の学習データ生成プログラム。
(付記4)
前記コンピュータは、前記注目領域以外の領域内の各特徴点の頻度値に応じて、各特徴点を含む所定領域を決定し、決定した所定領域に対して前記不鮮明化処理を適用することを特徴とする付記3記載の学習データ生成プログラム。
(付記5)
前記不鮮明化処理は、ぼかし処理、コントラスト変更処理、グレースケール化処理、セピア化処理、膨張処理、収縮処理、又はジッター処理であることを特徴とする付記1乃至4のいずれか1項に記載の学習データ生成プログラム。
(付記6)
機械学習における学習対象物に関連する複数の画像を記憶する記憶部と、
前記複数の画像各々と、前記複数の画像のうち他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定する特定部と、
前記複数の画像それぞれについて、前記注目領域以外の領域に対して不鮮明化処理を適用する不鮮明化部と、
前記不鮮明化処理が適用された複数の画像を含む学習データを生成する生成部と、
を備えることを特徴とする学習データ生成装置。
(付記7)
前記複数の画像各々は、前記学習対象物と同じ種類の対象物が写っている画像であることを特徴とする付記6記載の学習データ生成装置。
(付記8)
前記特定部は、前記複数の画像各々と前記他の画像との間の画像マッチングを行って、各画像内における特徴点の頻度分布を求め、求めた頻度分布に基づいて、前記注目領域を特定することを特徴とする付記6又は7記載の学習データ生成装置。
(付記9)
前記不鮮明化部は、前記注目領域以外の領域内の各特徴点の頻度値に応じて、各特徴点を含む所定領域を決定し、決定した所定領域に対して前記不鮮明化処理を適用することを特徴とする付記8記載の学習データ生成装置。
(付記10)
前記不鮮明化処理は、ぼかし処理、コントラスト変更処理、グレースケール化処理、セピア化処理、膨張処理、収縮処理、又はジッター処理であることを特徴とする付記6乃至9のいずれか1項に記載の学習データ生成装置。
(付記11)
コンピュータにより実行される学習データ生成方法であって、前記コンピュータが、
機械学習における学習対象物に関連する複数の画像各々と、前記複数の画像のうち他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定し、
前記複数の画像それぞれについて、前記注目領域以外の領域に対して不鮮明化処理を適用し、
前記不鮮明化処理が適用された複数の画像を含む学習データを生成する、
ことを特徴とする学習データ生成方法。
(付記12)
前記複数の画像各々は、前記学習対象物と同じ種類の対象物が写っている画像であることを特徴とする付記11記載の学習データ生成方法。
(付記13)
前記コンピュータは、前記複数の画像各々と前記他の画像との間の画像マッチングを行って、各画像内における特徴点の頻度分布を求め、求めた頻度分布に基づいて、前記注目領域を特定することを特徴とする付記11又は12記載の学習データ生成方法。
(付記14)
前記コンピュータは、前記注目領域以外の領域内の各特徴点の頻度値に応じて、各特徴点を含む所定領域を決定し、決定した所定領域に対して前記不鮮明化処理を適用することを特徴とする付記13記載の学習データ生成方法。
(付記15)
前記不鮮明化処理は、ぼかし処理、コントラスト変更処理、グレースケール化処理、セピア化処理、膨張処理、収縮処理、又はジッター処理であることを特徴とする付記11乃至14のいずれか1項に記載の学習データ生成方法。
101 学習データ生成装置
111、333 記憶部
112 特定部
113 不鮮明化部
114 生成部
301 画像分類装置
302 通信ネットワーク
311、331 通信部
321、341 画像
322 頻度分布
323 学習データ
342 分類結果
401 矩形領域
402〜405 領域
701 特徴点
702、703 フィルタ領域
1201 CPU
1202 メモリ
1203 入力装置
1204 出力装置
1205 補助記憶装置
1206 媒体駆動装置
1207 ネットワーク接続装置
1208 バス
1209 可搬型記録媒体

Claims (7)

  1. 機械学習における学習対象物に関連する複数の画像各々と、前記複数の画像のうち他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定し、
    前記複数の画像それぞれについて、前記注目領域以外の領域に対して不鮮明化処理を適用し、
    前記不鮮明化処理が適用された複数の画像を含む学習データを生成する、
    処理をコンピュータに実行させるための学習データ生成プログラム。
  2. 前記複数の画像各々は、前記学習対象物と同じ種類の対象物が写っている画像であることを特徴とする請求項1記載の学習データ生成プログラム。
  3. 前記コンピュータは、前記複数の画像各々と前記他の画像との間の画像マッチングを行って、各画像内における特徴点の頻度分布を求め、求めた頻度分布に基づいて、前記注目領域を特定することを特徴とする請求項1又は2記載の学習データ生成プログラム。
  4. 前記コンピュータは、前記注目領域以外の領域内の各特徴点の頻度値に応じて、各特徴点を含む所定領域を決定し、決定した所定領域に対して前記不鮮明化処理を適用することを特徴とする請求項3記載の学習データ生成プログラム。
  5. 前記不鮮明化処理は、ぼかし処理、コントラスト変更処理、グレースケール化処理、セピア化処理、膨張処理、収縮処理、又はジッター処理であることを特徴とする請求項1乃至4のいずれか1項に記載の学習データ生成プログラム。
  6. 機械学習における学習対象物に関連する複数の画像を記憶する記憶部と、
    前記複数の画像各々と、前記複数の画像のうち他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定する特定部と、
    前記複数の画像それぞれについて、前記注目領域以外の領域に対して不鮮明化処理を適用する不鮮明化部と、
    前記不鮮明化処理が適用された複数の画像を含む学習データを生成する生成部と、
    を備えることを特徴とする学習データ生成装置。
  7. コンピュータにより実行される学習データ生成方法であって、前記コンピュータが、
    機械学習における学習対象物に関連する複数の画像各々と、前記複数の画像のうち他の画像との間の画像マッチングの結果に基づいて、各画像内における注目領域を特定し、
    前記複数の画像それぞれについて、前記注目領域以外の領域に対して不鮮明化処理を適用し、
    前記不鮮明化処理が適用された複数の画像を含む学習データを生成する、
    ことを特徴とする学習データ生成方法。
JP2018223405A 2018-11-29 2018-11-29 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法 Active JP7220062B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018223405A JP7220062B2 (ja) 2018-11-29 2018-11-29 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法
US16/694,311 US11176455B2 (en) 2018-11-29 2019-11-25 Learning data generation apparatus and learning data generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018223405A JP7220062B2 (ja) 2018-11-29 2018-11-29 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法

Publications (2)

Publication Number Publication Date
JP2020087165A true JP2020087165A (ja) 2020-06-04
JP7220062B2 JP7220062B2 (ja) 2023-02-09

Family

ID=70850139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018223405A Active JP7220062B2 (ja) 2018-11-29 2018-11-29 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法

Country Status (2)

Country Link
US (1) US11176455B2 (ja)
JP (1) JP7220062B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124380A1 (en) * 2020-12-09 2022-06-16 Brother Kogyo Kabushiki Kaisha Method, system, and non-transitory computer-readable storage medium storing set of computer-readable instructions
JP7299542B1 (ja) 2022-05-18 2023-06-28 キヤノンマーケティングジャパン株式会社 情報処理システム及びその制御方法、プログラム
JP7548059B2 (ja) 2021-02-25 2024-09-10 富士通株式会社 設定方法、設定プログラム及び設定装置
US12124534B2 (en) 2020-12-09 2024-10-22 Brother Kogyo Kabushiki Kaisha Method for generating a plurality of sets of training image data for training machine learning model

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200132245A (ko) 2019-05-16 2020-11-25 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045538A (ja) * 2014-08-20 2016-04-04 富士通株式会社 情報処理装置、画像判定方法、及びプログラム
JP2018173814A (ja) * 2017-03-31 2018-11-08 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2018181157A (ja) * 2017-04-19 2018-11-15 株式会社日立製作所 人物認証装置
JP2018185724A (ja) * 2017-04-27 2018-11-22 Kddi株式会社 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5206517B2 (ja) 2009-03-13 2013-06-12 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP5164222B2 (ja) 2009-06-25 2013-03-21 Kddi株式会社 画像検索方法およびシステム
JP5931646B2 (ja) 2012-08-20 2016-06-08 Kddi株式会社 画像処理装置
US11417082B2 (en) * 2017-06-16 2022-08-16 Markable, Inc. Image processing system
US10776903B2 (en) * 2017-07-17 2020-09-15 Open Text Corporation Systems and methods for image modification and image based content capture and extraction in neural networks
US10740647B2 (en) * 2018-03-14 2020-08-11 Adobe Inc. Detecting objects using a weakly supervised model
US20200151692A1 (en) * 2018-04-18 2020-05-14 Sbot Technologies, Inc. d/b/a Caper Inc. Systems and methods for training data generation for object identification and self-checkout anti-theft

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045538A (ja) * 2014-08-20 2016-04-04 富士通株式会社 情報処理装置、画像判定方法、及びプログラム
JP2018173814A (ja) * 2017-03-31 2018-11-08 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2018181157A (ja) * 2017-04-19 2018-11-15 株式会社日立製作所 人物認証装置
JP2018185724A (ja) * 2017-04-27 2018-11-22 Kddi株式会社 画素変更処理画像を用いて対象を追跡する装置、プログラム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"My人工知能の育て方 第4章 いい人工知能作り成功のカギ 学習データ作りの基本", INTERFACE 2018年12月号, JPN6022035137, 30 October 2018 (2018-10-30), ISSN: 0004853420 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124380A1 (en) * 2020-12-09 2022-06-16 Brother Kogyo Kabushiki Kaisha Method, system, and non-transitory computer-readable storage medium storing set of computer-readable instructions
US12124534B2 (en) 2020-12-09 2024-10-22 Brother Kogyo Kabushiki Kaisha Method for generating a plurality of sets of training image data for training machine learning model
JP7548059B2 (ja) 2021-02-25 2024-09-10 富士通株式会社 設定方法、設定プログラム及び設定装置
JP7299542B1 (ja) 2022-05-18 2023-06-28 キヤノンマーケティングジャパン株式会社 情報処理システム及びその制御方法、プログラム
JP2023169922A (ja) * 2022-05-18 2023-12-01 キヤノンマーケティングジャパン株式会社 情報処理システム及びその制御方法、プログラム

Also Published As

Publication number Publication date
JP7220062B2 (ja) 2023-02-09
US11176455B2 (en) 2021-11-16
US20200175366A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
JP7220062B2 (ja) 学習データ生成プログラム、学習データ生成装置、及び学習データ生成方法
Khan et al. An efficient contour based fine-grained algorithm for multi category object detection
JP6435740B2 (ja) データ処理システム、データ処理方法およびデータ処理プログラム
Gould et al. Superpixel graph label transfer with learned distance metric
CN110097050B (zh) 行人检测方法、装置、计算机设备及存储介质
JP6393230B2 (ja) オブジェクト検出方法及び画像検索システム
Kumar et al. Indian classical dance classification with adaboost multiclass classifier on multifeature fusion
JP6937508B2 (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN113469092B (zh) 字符识别模型生成方法、装置、计算机设备和存储介质
JP2020017082A (ja) 画像オブジェクト抽出装置及びプログラム
JP2017102622A (ja) 画像処理装置、画像処理方法及びプログラム
JP2011248702A (ja) 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記憶媒体
JP2018206260A (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
CN107368832A (zh) 基于图像的目标检测及分类方法
JP2016099980A (ja) 画像セグメンテーション方法、装置、及びプログラム
Kajale et al. Supervised machine learning in intelligent character recognition of handwritten and printed nameplate
KR20230048785A (ko) 변형 가능한 부분 모델에 기반한 대규모 객체 검출 및 학습 방법 및 장치
Mohammed et al. Proposed approach for automatic underwater object classification
CN114550173A (zh) 图像预处理方法、装置、电子设备以及可读存储介质
JP5337252B2 (ja) 特徴抽出装置
Kumar et al. Fuzzy inference system based edge detection using fuzzy membership functions
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR20200134813A (ko) 기계 학습을 위한 이미지 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R150 Certificate of patent or registration of utility model

Ref document number: 7220062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150