JP2019207535A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】対象物と背景の境界周辺の領域の学習を抑制する教師画像を容易に生成する情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】画像における対象物の領域を抽出する学習モデルの教師画像を生成する情報処理装置１００であって、対象物が写った画像から対象物の領域を示す閉領域を抽出する操作を受け付ける操作手段１３０と、閉領域である第１の領域と、第１の領域の外縁である第２の領域とを決定する決定手段１４０と、第１の領域に対して対象物の領域であることを示す第１の値を、第２の領域に対して学習モデルの学習への寄与を抑制する第２の値を、付与した教師画像を生成する生成手段１５０とを有する。【選択図】図２

Description

学習モデルの教師画像を生成する技術に関する。

機械学習の方法として、画像の特徴と正解ラベルのペアである教師画像を用いることが知られている。特許文献１では、検知対象の領域が分類されるべきカテゴリとその妥当性を示す確信レベルを領域毎にユーザが付与した教師画像を生成する。学習時には、確信レベルが高い領域を教師画像として用いて検知対象のカテゴリを学習する方法が開示されている。

また、画像を用いた機械学習の分野では、画像内の特定の対象物の領域や輪郭を検知する領域分割問題を解く学習モデルの研究が行われている。この学習モデルは、大量の画像と、画像に写った対象物の領域や輪郭を示す正解である位置にラベル付けをした教師画像を用いて学習することで構築することができる。

特開２００６−１８９９１５号公報

しかし、ユーザが見ても対象物の領域として正解か不正解か判断が難しい領域を含む画像である場合、教師画像のラベル付けの判断をユーザが間違ってしまうことがあった。従来の方法では、ラベル付けの判断を間違いやすい領域を、教師画像に簡単に設定することはできなかった。

本発明は、上記の課題に鑑みてなされたものであり、ラベル付けの判断を間違いやすい領域を考慮した教師画像を生成することを目的とする。

上記課題を解決する本発明にかかる情報処理装置は、画像における対象物の領域を抽出する学習モデルの教師画像を生成する情報処理装置であって、対象物が写った画像から前記対象物の領域を示す閉領域を抽出する操作を受け付ける操作手段と、前記閉領域である第１の領域と、前記第１の領域の外縁である第２の領域とを決定する決定手段と、前記第１の領域に対して前記対象物の領域であることを示す第１の値を、前記第２の領域に対して前記学習モデルの学習への寄与を抑制する第２の値を、付与した教師画像を生成する生成手段とを有することを特徴とする。

本発明によれば、ラベル付けの判断を間違いやすい領域を、教師画像に簡単に設定できる。

ハードウェア構成の一例を示す図 情報処理装置の機能構成例を示すブロック図 情報処理装置が実行する処理の流れを説明するフローチャート 曖昧領域を決定する処理の例を説明する図 ユーザが教師画像の修正操作を行う例を説明する図 曖昧領域をユーザが手動で決定する際の表示例を説明する図 確率マップを用いて曖昧領域を決定する処理例を説明する図 情報処理装置が実行する処理の流れを説明するフローチャート 曖昧領域の候補の中から、ユーザに曖昧領域を選ばせる例を説明する図 情報処理装置が実行する処理の流れを説明するフローチャート ユーザが教師画像の修正操作を行う例を説明する図 曖昧領域を決定する処理例を説明する図 情報処理装置の機能構成例を示すブロック図 情報処理装置が実行する処理の流れを説明するフローチャート

以下、図面を用いて本発明の実施形態について説明する。

＜実施形態１＞
本実施形態は、画像の対象物の領域を抽出する学習モデルを構築するための教師画像を生成する情報処理装置について説明する。特に、ユーザの入力に基づいて教師画像における曖昧領域を決定する方法を示す。ユースケースとしては、例えば、デジタルカメラで特定の人や動物を撮影し、より見栄えが良い画像を取得することを想定する。そのとき、画像の領域毎に適切な画像処理を加える必要がある。例えば、被写体が存在する領域は解像度を高くすることや、空や海などの風景は色味を強調することが挙げられる。このような処理を行う場合、画像中の各画素の意味的なカテゴリを認識する意味的領域分割を行う学習モデルが有効である。実施形態１では検知対象を犬として、入力画像における検知対象の輪郭または領域を出力する学習モデルとして、曖昧領域データをルールベースで決定する方法を説明する。以下の説明では、輪郭抽出の場合と領域抽出の場合の両方について述べる。

はじめに、本実施形態で用いる用語について定義する。曖昧領域は、検知対象を撮像した画像のうち、正解であると確信がないが、正解である可能性がある領域である。データ上に検知対象の輪郭が存在するが目視では分かりにくく、特定の画像特徴を抽出する微分フィルタを適用してもその位置が定まらない場合において、輪郭位置の可能性のある領域とする。具体的には、輪郭の形状が複雑な場合や、輪郭周辺の輝度変化が小さい場合がある。

輪郭が複雑な例として、犬や鳥などの毛皮に覆われた動物の輪郭が挙げられる。このような輪郭が複雑な動物を撮像した画像に微分フィルタを適用すると、画像特徴の勾配の大きい境界を連続的に抽出できない。さらに検知対象と背景の境界付近にエッジが複数出現することから、エッジ抽出結果から簡単に境界を決めることができない。

輪郭周辺の輝度変化が小さい例には、海と砂浜の境界や、解像度が低い画像や、動いてぶれて見える人の輪郭が挙げられる。このような輪郭を含む画像に微分フィルタを適用すると、検知対象領域から背景領域にかけての輝度変化がなだらかなため、微分フィルタにより輪郭を抽出できない。曖昧領域には、曖昧であることを示す教師値を画素ごとに与え、学習の際のパラメータ更新に与える影響を抑制する。具体的な処理は後述する。これによって、領域分割が精度良く行える。

以上に示した曖昧領域を含む画像を対象として、本実施形態で説明する情報処理装置は、画像における対象物の領域を抽出する学習モデルが教師とする教師画像を生成する。具体的にはユーザに画像に写った検知対象物の輪郭位置に入力操作を行わせ、操作内容に基づいて検知対象領域、背景領域、曖昧領域から構成される教師画像を作成し、出力する。ただし、教師画像の検知対象領域は、輪郭抽出のときは輪郭を指し、領域抽出のときは領域を指すものとする。情報処理装置が出力する教師画像の検知対象領域は、輪郭抽出の場合は輪郭の位置とし、領域抽出の場合は輪郭に囲まれた閉領域とする。曖昧領域は検知対象の輪郭の周辺に設定し、背景領域は教師画像の領域のうち検知対象領域と曖昧領域のいずれにも該当しない領域とする。教師画像とは、画像と教師値を合わせた画像であるとする。教師値には、例えば、対象物の領域には正解を示す１、背景の領域には０、曖昧領域には０から１の間の値を与える。

図１は、情報処理装置のハードウェア構成例を示す図である。Ｈ０１はＣＰＵであり、システムバスＨ０９に接続された各種デバイスの制御を行う。Ｈ０２はＲＯＭであり、ＢＩＯＳ（ＢａＳｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ ＳｙＳｔｅｍ）のプログラムやブートプログラムを記憶する。Ｈ０３はＲＡＭであり、ＣＰＵであるＨ０１の主記憶装置として使用される。Ｈ０４は記憶装置であり、情報処理装置が処理するプログラムを格納する。入力部Ｈ０５はタッチパネルやキーボード、マウス、ロボットコントローラーであり、ユーザによる情報等の入力操作に係る処理を行う。Ｈ０６は通信インターフェイスであり、ネットワークを介して情報通信を行うものであり、通信インターフェイスはイーサネット（登録商標）でもよく、ＵＳＢやシリアル通信、無線通信等種類は問わない。表示部Ｈ０７はＣＰＵからの指示に従って情報処理装置の演算結果を表示装置に出力する。なお、表示装置は液晶表示装置やプロジェクタ、ＬＥＤインジケータなど、種類は問わない。情報処理装置１００及び関連する構成は、ネットワークまたは各種情報記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機によって実行することで実現できる。なお、計算機については、汎用の計算機を用いても良いし、本実施形態または以下の各実施形態で説明するソフトウェアに最適に設計されたハードウェアを用いても良い。

図２には、情報処理装置の機能構成例を示すブロック図を示す。情報処理装置１００は入力部１１０、表示制御部１２０、入力操作部１３０、決定部１４０、生成部１５０、格納部１６０、修正部１７０、学習部１８０から構成される。各機能構成部の概略を説明し、処理の詳細は後述する。入力部１１０は、教師画像を生成するための画像を入力する。ここでは、検出対象である対象物が写っている画像であるとする。表示制御部１２０は、入力部で入力された画像、または格納部１６０に格納された教師画像を取得し、ユーザに見せるための表示を画面に出力する。入力操作部１３０はユーザからの入力操作を受け付ける。入力操作部１３０は、ユーザが正解であるという確信がもてる対象物の領域または輪郭を示す領域の入力操作を受け付け、トレースデータを取得する。決定部１４０は、入力操作部１３０でユーザに入力されたトレースデータに基づいて、教師画像における曖昧領域を決定する。生成部１５０は、入力操作部１３０と決定部１４０から情報を受け付け、教師画像を作成する。ここで作成した教師画像は、格納部１６０に送られ、格納される。格納部１６０は、画像と教師値を合わせた教師画像を格納する。修正部１７０はユーザから教師値の修正を受け付け、修正された教師値を格納部１６０に送る。学習部１８０では格納部１６０から画像と教師値を受け取り、学習を行う。修正部１７０、学習部１８０が実行する具体的な処理については後述する。

以降では、入力操作部にてユーザが手動で入力する検知対象領域を示す画像をトレースデータと記載する。また、決定された検知対象領域の周辺領域を曖昧領域と記載する。トレースデータと曖昧領域データは領域で定義された画像であって、領域の各画素に異なる画素値を持つ。この画素値は教師画像における教師値に対応する。トレースデータと曖昧領域データは、それ自体が教師画像ではなく生成部で教師画像を作成するために使用する画像である。トレースデータは、対象物が存在する領域、すなわち検知対象領域を示す画像である。本実施形態におけるトレースデータは、教師画像と同じサイズの画像であって、ユーザの入力操作に従って正解のラベル（例えば１）を格納した画像である。トレースデータは、データ量が画像より小さいベクターデータでも良い。ベクターデータである場合は処理速度が向上する効果がある。入力操作部は、ユーザからの入力操作を受け付けるとトレースデータを生成する。ユーザが入力操作をすると同時に画面上でトレースデータを確認できるように、表示制御部がトレースデータを表示するように制御する。トレースデータは入力操作部から決定部と生成部に送られる。決定部はトレースデータに基づいて正解領域を決定する。生成部はトレースデータを使って検知対象領域に対象物があることを示すラベルを付与した教師画像を生成する。曖昧領域データはトレースデータに基づいて生成する画像であり、検知対象領域の外縁である領域に対象物が存在する可能性を示す。曖昧領域データ作成後は、表示画面上で曖昧領域が示す範囲を確認できる。決定部は、入力操作部から入力されたトレースデータを用いて、曖昧領域を決定し、曖昧領域データを生成部に出力する。生成部は、曖昧領域データに基づいて曖昧領域に曖昧ラベルを付与した教師画像を生成する。

入力部１１０は、ユーザが事前に用意した、対象物が写った画像を入力する。画像は、ＲＧＢカラー画像やグレースケール画像が含まれるものとし、これらの画像に対してノイズ除去を行った画像であっても良い。ＲＧＢカラー画像以外でも、白黒画像やグレースケールの濃淡画像でも良い。また、カメラで撮像する画像以外でも、赤外線カメラによる赤外線写真や、ＬｉｄａｒやＴｏＦを代表とするアクティブ距離センサで得た距離を色等で表現した距離画像でも良い。

次に、表示制御部１２０ついて説明する。表示制御部では、入力された画像や生成されたトレースデータ、曖昧領域データ、教師画像を画面に出力する。教師画像を表示する場合は、ユーザに入力や修正の操作を促すことができる。ユーザはトレースデータや曖昧領域データ、教師画像を確認することで、望ましい教師画像が生成できているか確認できる。曖昧領域データとトレースデータは両方とも同時に確認させても良いし、いずれかを切り替えながら確認させても良い。処理の手順としては、まず格納部で格納している画像を取得する。ユーザにトレースデータを入力させるため、表示制御部は画像を画面に出力させる制御をする。その後、ユーザの操作に応じて、最新の教師画像をユーザに確認させるために画像と教師画像を重畳した表示画像を随時生成し、画面に出力する。教師画像を確認することによって、ユーザは検出対象領域や曖昧領域に背景部分が含まれていないかチェックできる。背景であることが確からしい領域を正解領域または曖昧領域に含まないようにすることで、教師画像の精度を向上させることが期待できる。表示画面上では、教師画像の正解領域と曖昧領域には、ユーザが区別できるように異なる色を１種類ずつ割り当てて表示する。異なる色で表示することによって、画像内の正解領域や曖昧領域の設定領域が、ユーザにとって確認しやすくなる。教師画像の曖昧部分に０から１の実数値を設定している場合には、正解領域や曖昧領域を画面に出力する際に、教師画像の画素値と対応するように設定することもできる。例えば、表示画面上では曖昧領域の画素値を２５５倍した値をＲＧＢカラーのいずれかの色に設定する。 このように教師画像の画素値と対応するように設定することにより、曖昧領域の中でも、教師画像上において教師値が大きい（正解に近い）部分領域や小さい部分領域（背景に近い）を直観的に確認しやすい。また、正解領域も曖昧領域も透過色で着色して表示することで、視認性を向上させても良い。透過色を用いることによって、教師画像に写った実際の対象物の特徴と、決定された正解領域と曖昧領域とを比較しながら確認しやすい。

入力操作部１３０は、ユーザの入力操作を受け付ける。本実施形態では、画像に写った検知対象の領域をユーザがなぞることで検知対象領域を抽出する。つまり、入力操作部は入力操作によって抽出された閉領域を検知対象領域（第１領域）として取得し、トレースデータ（第１領域を示す画像）を生成する。本実施形態では、ユーザが確信を持てる対象物の領域または輪郭だけを入力する。ユーザが確信を持てる領域のみ入力すればいいので、ユーザにとって利便性が高い。なお、検知対象物が画角からはみ出して撮影されている場合、検知対象領域は閉領域であるとは限らない。その場合は、ユーザの入力した線と、画像の縁で囲まれる領域を閉領域とする。

決定部１４０は、予め入力されたトレースデータに基づいて、閉領域である検知対象領域（第１領域）と、検知対象領域の外縁である曖昧領域（第２領域）と、背景領域（第３領域）を決定する。実施形態１では、入力操作部１３０でユーザが入力したトレースデータが示す閉領域の外縁に曖昧領域を決定する。本実施形態では、検知対象領域を所定の幅で膨張させるといった一定のルールによって教師画像の曖昧領域を決定する。詳しい処理は後述する。この処理によって、ユーザが見ても正解か不正解か判断が難しい対象物の輪郭や対象物の領域の周囲に対して、学習モデルのパラメータの更新を抑制するラベルを付与した教師画像を生成できる。さらに、決定部１４０は、トレースデータに基づいて対象物が存在しない背景領域（第３領域）を決定する。背景領域は、入力操作部１３０で検知対象領域でないとされた領域である。なお、領域を決定する方法は複数ある。そのうちの１つの方法を説明する。まずトレースデータに基づいて対応する閉領域を検知対象領域に決定する。検知対象領域から、検知対象領域の境界領域でかつ閉領域の外側の部分領域（外縁）を曖昧領域に決定する。最後に、検知対象領域でも曖昧領域でもない領域を背景領域として決定する。なお、領域を決定する順番はこれに限定されない。例えば、入力画像に対応する教師画像の全画素について、まず背景領域を決定する。次に、トレースデータに基づいて対応する閉領域を検知対象領域に決定する。最後に、曖昧領域は、背景領域のうち、検知対象領域との境界周辺に決定する。このように曖昧領域より先に背景領域を決定しても良い。なお、外縁の幅はユーザの意図によって変更できる。

生成部１５０は、入力された画像のうち、検知対象領域（第１領域）に対して対象物の領域であることを示す正解の教師値（第１教師値）を付与する。また、曖昧領域（第２領域）に対して学習モデルのパラメータの更新を抑制する教師値（第２教師値）を付与する。さらに、背景領域（第３領域）に対して、対象物ではないことを示す不正解の教師値（第３教師値）を付与する。すなわち、生成部は、入力された画像の各画素または領域に、正解、曖昧、不正解の３つの教師値を付与した教師画像を生成する。教師画像に３クラスの領域を設定することで、学習モデルは正解と不正解のデータの実空間や特徴空間における距離が離れた状態で学習できるため、２つの領域をより精度良く識別できるようになる。教師画像は、学習モデルの入力画像と同じサイズの画像で、検知対象領域、曖昧領域、背景領域を設定した画像である。なお、教師画像は、ユーザによる修正操作を受けるタイミングで更新される。

格納部１６０は、入力部から受け取る画像と、生成部から取得する教師画像を格納する。

図３を用いて、情報処理装置が実行する処理の流れを説明する。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。フローチャートの概略を述べる。Ｓ２０１では、入力部１１０が、教師画像の基となる画像を入力する。Ｓ２０２では、表示制御部１２０が、入力された画像を画面に表示制御する。ユーザは表示を参照しながら検知対象物の領域を抽出する。Ｓ２０３では、入力操作部１３０が、ユーザによって入力されたトレースデータを受け付ける。Ｓ２０４では、入力操作部１３０が、ユーザによる入力操作が終了したか否かを判断する。入力操作が続行する場合は、Ｓ２０２に戻る。入力操作の終了指示があった場合は、Ｓ２０５に進む。次に、Ｓ２０５では、決定部１４０が、Ｓ２０３でユーザの入力したトレースデータに基づき検知対象領域の外縁を示す曖昧領域データを生成する。Ｓ２０６では、生成部１５０が、入力された画像の各画素または領域に、正解、曖昧、不正解の３つの教師値を付与した教師画像を生成して、格納部１６０に保存する。Ｓ２０７では、表示制御部１２０が、教師画像を画面に表示制御する。ユーザは教師画像が意図した出来栄えになっているか確認する。Ｓ２０８では、情報処理装置が、入力されたすべての画像に対して教師画像が生成されたかを判断する。すべての教師画像が生成された場合、情報処理装置は処理を終える。教師画像が生成されていない画像が残っている場合はＳ２０２に戻る。以下、図５に示す検出対象物が写った画像から教師画像を生成するイメージを説明する図を使って説明する。

Ｓ２０１では、入力部１１０が、対象物が写った画像を１枚以上入力する。図５（Ａ）における画像３１０には、検知対象である犬３１１が写っている。ここで入力された画像は、格納部に送られる。ユーザは入力したい画像のファイルを指定する。もしくは画像が格納されているフォルダを指定する。

Ｓ２０２では、表示制御部１２０が、画像３１０を画面に表示させる。図５（Ａ）は画像３１０を表示させたイメージである。ユーザは検知対象（犬）が写っているか確認できる。検知対象が写っていない場合や教師画像に相応しくないと判断した場合は、ユーザはその画像を使わないよう指示を行い、その指示を入力操作部が受け付ける。

Ｓ２０３では、入力操作部１３０が、入力操作によって抽出された閉領域を検知対象領域（第１領域）として取得し、トレースデータ（第１領域を示す画像）を生成する。入力操作とは、具体的には、ユーザが画面に表示された画像を参照して、画像に写った検知対象の輪郭位置を、ユーザがマウスやペンタブレットなどの入力装置を使ってなぞる操作を指す。入力操作された結果から生成されるデータがトレースデータである。なお、トレースデータの範囲は、輪郭抽出のときと領域抽出のときでは異なる。輪郭抽出のとき、トレースデータの範囲は、入力を行った位置やその周辺領域とし、具体的には幅が１画素の輪郭や、その輪郭に膨張処理を適用して拡げた領域とする。領域抽出のとき、トレースデータの範囲は、入力を行った位置で囲まれた閉領域や、閉領域に膨張処理を施して得られる領域とする。入力操作部１３０は、トレースデータを生成し、決定部に出力する。

Ｓ２０４では、入力操作部１３０が、ユーザによる入力操作が終了したか否かを判断する。入力操作の終了指示は、例えば、ユーザによって、画面に表示された終了ボタンが押されることによって受け付ける。終了指示がない間、すなわち入力操作が続行する場合は、Ｓ２０２に戻る。入力操作の終了指示があった場合は、Ｓ２０５に進む。

Ｓ２０５では、決定部１４０が、対象物の領域に対応する検知対象領域（第１領域）に基づいて、検知対象領域の外縁である曖昧領域（第２領域）を決定する。本実施形態では、トレースデータに基づいて、所定の基準によって教師画像の曖昧領域（第２領域）を決定するための曖昧領域データを生成する。基準に基づいて第２領域（第１領域の外縁）を決める方法として、膨張処理を行う方法、トレースデータの位置からの距離を利用する方法、または画像の解像度に関する情報を利用する方法を説明する。

膨張処理を行う方法は、検知対象領域のうち輪郭の画素に隣接する画素を選択する。隣接する画素だけではなく、幅ｎ画素分（ｎは２や５等の実数値）だけ膨張させても良い。膨張させる幅は、予め設定した値を用いる。なお、検知対象領域の面積に応じた値や、ユーザの好みの値で良い。

トレースデータの位置からの距離を利用する方法として、教師画像のうち、トレースデータの検知対象領域（第１領域）からの距離が所定の値より小さい領域を曖昧領域（第２領域）に決定する。すなわち、距離のパラメータを設定し、トレースデータの範囲から一定の距離以内の領域は曖昧領域とする。例えば、距離のパラメータを５画素とすると、輪郭抽出の場合も領域抽出の場合も、トレースデータの位置を中心とした、幅１０画素の領域が曖昧領域となる。領域抽出の場合は、トレースデータの外側に向かって５画素離れたところまでの領域を曖昧領域とする。

また、画像の解像度に関する情報を利用する方法として、距離のパラメータを、画像の解像度により変更する。画像を拡大しながら入力するときは、拡大しないときに比べて、ユーザは細かいところまで見ながら入力できる。このため、例えば、画像を２倍に拡大して入力するときには、距離のパラメータを、拡大せずに入力するときの０．５倍に設定すると良い。

決定部は、曖昧領域決定生成後、曖昧領域の位置を示す画像である曖昧領域データを生成し、曖昧領域データを生成部に出力する。曖昧領域データを、表示部に送り、ユーザに確認および修正させることもできる。一定のルールで曖昧領域を決定することによって、ユーザは曖昧領域を確認するもしくは少し修正を加えるだけで容易に教師画像を生成することができる。

Ｓ２０６では、生成部１５０が、検知対象領域（第１領域）に対して対象物の領域であることを示す正解の教師値（第１の値）を、曖昧領域（第２領域）に対して学習モデルのパラメータの更新を抑制する教師値（第２の値）を、付与した教師画像を生成する。すなわち、入力画像のうち、Ｓ２０３にて得られたトレースデータを基に第１領域に対して正解の教師値を付与する。入力画像のうち、Ｓ２０５にて得られた曖昧領域（第２領域）には中間の教師値を付与する。入力画像のうち、背景である領域には不正解の教師値を付与する。以下、具体的な手順を述べる。初めに、入力画像の全画素に背景領域を示す値０（０以外でも任意のラベルで良い）を格納しておく。これを初期値の教師画像とする。その後、初期値の教師画像にトレースデータと曖昧領域をそのまま重畳する。重畳前後に教師画像の検知対象領域、曖昧領域、背景領域に異なる値を設定しても良い。トレースデータと曖昧領域の範囲に重なりがあるときは、一方を重畳した後、他方を重畳することで上書きする。教師画像の曖昧領域と検知対象領域が決まることで、いずれにも該当しない領域が背景領域として定まる。さらに生成部１５０は、画素値（教師値）を決める。例えば、検知対象領域には１、背景領域には０、曖昧領域には０．５といった教師値を与える。曖昧領域の画素値は、検知対象領域と背景領域に対して中間的な実数値を設定する場合、検知対象領域または背景領域からの距離に応じて連続的な教師値を設定しても良い。具体的には、曖昧領域のうち検知対象領域に近い領域は、背景領域に近い領域より検知対象の可能性が高いと解釈し、教師画像の正解の教師値に近い値（例えば０．８）を設定する。反対に、曖昧領域データのうち背景領域に近い領域には、教師画像の不正解の教師値に近い値（例えば０．２）を設定する。このような教師画像を生成することによって、精度良く対象物と背景を識別できる。このとき、曖昧領域を検知対象領域の輪郭に沿って等高線状に分割し、分割した領域ごとに異なる値を設定しても良い。

以下に、図４を用いて、犬を検知対象とした場合、Ｓ２０３からＳ２０５に対応する処理の流れを説明する図例を示す。図４（Ａ）の画像３１０は、データ格納部から犬の画像を読み込み、表示部にて表示画像に出力したイメージである。図４（Ｂ）と図４（Ｃ）はそれぞれ、輪郭抽出と領域抽出をしたときの表示画像のイメージである。画像３２０は輪郭抽出結果を示すトレースデータである。画像３３０は画像３２０に基づいて決定された曖昧領域を含む画像である。画像３４０は領域抽出された結果を示すトレースデータである。画像３５０は画像３４０に基づいて決定された曖昧領域を含む画像である。

まず図４（Ｂ）の画像３２０と３３０を用いて、輪郭抽出の場合について述べる。ユーザは図４（Ａ）の画像３１０を見ながら、検知対象３１１の輪郭に沿ってマウスポインタ３１２を使って入力操作を行う。画像３２０に示す輪郭３２１のようなトレースデータを入力結果とする。ユーザの入力結果であるトレースデータに基づいて、曖昧領域決定部では、トレースデータに対して一定画素数分だけ膨張処理を行い、その領域を教師画像の曖昧領域データとして決定する。その後、生成部で曖昧領域データとトレースデータを基に教師画像が作成される。表示部では、画像と教師画像を重畳した表示画像３３０をユーザに提示する。ユーザは曖昧領域３３１が意図した領域をカバーできているか確認できる。

次に、図４（Ｃ）の画像３４０と３５０を用いて、領域抽出の場合について述べる。輪郭抽出の時と同様に、ユーザは画像３１０を見ながら、検知対象３１１の輪郭に沿ってマウスポインタ３１２を使って入力操作を行い、入力した領域で定義される閉領域がトレースデータとなるように設定する。ユーザの入力により、表示画像３４０に示すトレースデータ３４１が、検知対象のトレースデータとして設定されたとする。決定部では、トレースデータ３４１を膨張させ、膨張した領域とトレースデータ３４１の差分を曖昧領域データとする。また、領域３４１の輪郭領域を膨張させ、その領域を曖昧領域データとしても良い。その後、生成部で曖昧領域データとトレースデータを基に教師画像が作成される。表示部では、画像と教師画像を重畳した表示画像３５０を表示し、ユーザに曖昧領域３５１に教師画像の曖昧領域の範囲が、ユーザの意図する領域をカバーしているかを確認させる。

Ｓ２０７では、表示制御部１２０が、教師画像を画面に表示制御する。ユーザは生成された教師画像を確認できる。このとき、検知対象領域（第１の領域）と曖昧領域（第２の領域）とを異なる色で表示しても良い。ユーザは曖昧領域の範囲を確認しやすい。また、Ｓ２０５で決定部１４０が複数の曖昧領域を決定しても良い。このとき、表示では、複数の曖昧領域を同時に表示しても良いし、切り替えて表示しても良い。複数の曖昧領域を同時に重畳することによって、複数の曖昧領域の候補を提示する方が、１つだけ提示するよりもユーザはとって好ましい曖昧領域を選択できる。また、ユーザが曖昧領域の幅を変更できるように、曖昧領域の幅の候補を同時に表示させても良い。この場合も複数の曖昧領域の幅を提示する方が、１つだけ提示するよりもユーザにとって好ましい曖昧領域の幅を選択することができる。その他、後述する処理によって、教師画像を修正しても良い。

Ｓ２０８では、情報処理装置が、入力されたすべての画像に対して教師画像が生成されたかを判断する。すべての教師画像が生成された場合、情報処理装置は処理を終える。教師画像が生成されていない画像が残っている場合はＳ２０２に戻る。

以上の処理により１枚の画像に対して教師画像の曖昧領域を決定できる。ただし、情報処理装置１００は必ずしもこのフローチャートで説明するすべての処理を行わなくても良い。Ｓ２０６における教師画像を生成して保存する処理は、Ｓ２０４をスキップし、Ｓ２０３でユーザがトレースデータを入力した直後にＳ２０５と同時に実行しても良い。また、複数の画像を扱うときは上記の一連の処理を画像の数だけ繰り返す。この場合、全画像に対してＳ２０１からＳ２０３までの処理をまとめて実行してユーザの入力操作を先に済ませ、その後Ｓ２０５からＳ２０７までの処理を各画像に対して実行しても良い。はじめにすべての画像を読み込む場合は、Ｓ２０４からＳ２０２に戻る。画像を１枚ごとに読み込んでトレースデータ入力の処理をする場合は、Ｓ２０４からＳ２０１に戻る。

なお、生成された教師画像に対して修正を加えても良い。図２に示す修正部１７０では、トレースデータ、曖昧領域、教師画像について、ユーザから修正操作を受ける。以下に、修正部で受ける操作および処理について説明する。修正は、元の教師画像を入力し直す手段と入力済みの領域を座標変換により変形する手段によって実行できる。

図５には、輪郭抽出のときに教師画像を修正する例を示す。画像４１０に示す輪郭３３１は、教師画像の検知対象領域または曖昧領域を示すものとする。ここでは、輪郭３３１のうち、矩形４１１内の輪郭４１２を画像４２０に示す矩形４２１内の輪郭４２２のように修正する方法を、画像４３０、４４０、４５０を用いて示す。元のデータを入力し直す手段を説明する。具体的には、元のデータを消してから描く方法と、元のデータに描き足したら元のデータを消す方法がある。

まず、元のデータを消してから描く方法について説明する。曖昧領域を削除する際には、表示されている画像上に消しゴムツールを用意しておいて、修正したい領域を消す。画像４３０は削除操作を行ったイメージであり、マウスポインタ４１３で削除ボタン４３２をクリックした後、矩形４１１に含まれる輪郭をなぞることで削除を行った結果を表している。消しゴムツールの他、削除したい領域について、領域指定の操作をしてから削除操作を行うこともできる。

領域指定の操作としては、画像４５０に示すように、ユーザがマウスポインタ４１３を指定ボタン４５３にかざしてクリックし、領域４１１の左上の頂点から右下の頂点までマウスをドラッグすることで矩形領域４１１を指定する。その他にも、ユーザに、検知対象の輪郭線上に複数の点を指定させて、点に挟まれた輪郭領域を指定できるようにしても良い。

削除操作としては、指定領域をマウスポインタ４１３で指定した上で、キーボードのｄｅｌｅｔｅキーを押す操作を実行する。削除後、マウスポインタ４１３を用いて新たな輪郭線を描くことで、画像４２０の輪郭４２２に示すように、教師画像を修正する。

次に、描き足した後に元のデータを消す方法を説明する。画像４４０に示すように、元のデータに、破線で示すトレースデータ４４３を新たに描き足し、トレースデータ４４３に基づいて曖昧領域の範囲を決め、描き足した領域の近くにある輪郭を自動で削除する。例えば、元の教師画像３３１の曖昧領域と描き足したトレースデータ４４３の交わる点４４１、４４２に挟まれた範囲にある元の教師画像の曖昧領域を削除することで、画像４２０に示すような教師画像を作成する。

２つ目の入力済みの領域を変形する手段を説明する。この方法では、画面上でユーザが修正したい領域を好きな方向に引っ張る操作をし、それに応じて曖昧領域や検知対象領域に対して拡大・縮小などの座標変換を行う。例えば、ユーザは画像４５０にて矩形４１１を指定する操作をした後、領域を指定したら、ユーザは矩形４１１の辺や頂点、または輪郭４１２を選択して、マウスポインタ４１３を使い、右上方向にドラッグする操作を行う。この操作により、指定領域以外の輪郭は固定したまま、選択領域を拡大する座標変換を行うことで輪郭４１２を輪郭４２２のように変形する。以上の方法で教師画像を修正できる。また、上記の例では、輪郭抽出の場合の修正方法であったが、これらの方法は領域抽出の場合の修正操作にも適用できる。

学習部１８０では、生成された教師画像に基づいて学習モデルのパラメータを更新する。パラメータの更新とは、学習モデルの入力側の層に画像を設定し、出力画像の層に画像に対する正解値を設定し、ニューラルネットワークを経由して算出される出力が設定した正解値に近づくようにニューラルネットワークのパラメータを調整する処理を指す。正解値には、教師画像の画素毎に与えられた教師値を利用する。教師画像を対象領域、曖昧領域、背景領域の３クラスに分けて学習することによって、学習モデルの精度を向上できる。曖昧領域についての学習を抑制する方法を以下で説明する。

曖昧領域を設定した教師画像は、誤差関数の式の設定に利用できる。誤差関数は、学習により学習モデル（識別器）のパラメータが適切な値になるように調整する働きを持つ関数である。識別器の出力値と教師画像の画素値の誤差が大きい時、大きな値を返すことで、パラメータを大きく変えるように指示する。逆に出力値と教師画像の画素値の誤差が小さい時小さな値を返し、パラメータをあまり大きく修正しないようにする。ここでの識別器は、画像を入力すると、画像の各画素に対して０から１の予測値を出力する。ある画素の予測値が０に近い場合、その画素が背景である可能性高いと予測したことになる。反対に、ある画素の予測値が１に近い場合、その画素が検知対象領域である可能性が高いと予測したことになる。ここでは、教師画像の曖昧領域の情報を誤差関数に利用することで効果的な学習を行う。

例えば、教師画像の曖昧領域を実数値で設定する場合において、１枚の画像に対する誤差関数は以下のように設定する。

ただし、Ｅは誤差、ｉは画像の全画素に割り当てられる画素のインデックス、ｙ_ｉは識別の出力値、ｔ_ｉは教師画像の画素値、ｗは重みパラメータ、Ｎは教師画像１枚の画素総数とする。曖昧領域を含む箇所では誤差関数で大きな値を返さないように設定したいとき、重みパラメータｗは、例えば次式のように設定する。

重みパラメータｗを教師画像のある画素が曖昧領域データに属さない場合は１と設定し、曖昧領域に属す場合は、１未満の値に設定することで、曖昧領域におけるパラメータ修正への寄与の度合いを下げることができる。

なお、例えば教師画像が十分にある場合は、学習に用いる教師画像をデータサンプリングの時点で選別しても良い。データサンプリングについて説明する。データサンプリングでは、学習を行う前に、学習に用いる教師画像を選別する方法である。教師画像ごとに信頼度という指標を設定して、信頼度がより大きい教師画像を選択する。信頼度は、教師画像における曖昧領域の画素数と画素値を考慮して設定する指標である。曖昧領域の画素数が多いとき、その画像の信頼度は低下する。教師画像の曖昧領域の画素値に実数値を設定する場合における信頼度の式の例を以下に示す。

ここで、ｒは信頼度、ｉは画素のインデックス、Ｎは教師画像１枚の画素総数とする。δ_ｉは教師画像のラベルによって０から１の範囲で変化するパラメータで、注目画素の曖昧性が低いときには１に近い値となる。δ_ｉは、教師画像の画素ｉのラベルをｔ_ｉとし、例えば以下のように設定する。

この例では、教師画像の画素ｉのラベルが０か１のとき、すなわち検知対象領域か背景領域に属すときにδ_ｉは１とする。教師画像の画素ｉラベルが０から１の中間の値のとき、すなわち曖昧領域に属すときには、１より小さい値を設定する。上式により曖昧領域データの値が０または１に近いときには背景領域と検知対象領域のいずれかに近いことから、曖昧領域の中では比較的曖昧性が低いと解釈し、δ_ｉは１に近い値に設定する。曖昧領域の値が０．５に近いときには、検知対象領域と背景領域から離れていて、曖昧領域の中でも比較的曖昧性が高いと解釈して、δ_ｉは０に近い値になるように設定する。信頼度がある値より高い画像を選択することで、信頼度が低い画像を除外して学習を行うことができる。また、信頼度の低い教師画像を少なくすることによって、学習効率を向上できる。

データサンプリングと、誤差関数の式の設定の方法は両方行っても良いし、片方のみ実施しても曖昧領域を決定することによる恩恵を受けることが出来る。以上のように、教師画像の曖昧領域の情報をデータサンプリングや誤差関数に利用することができる。なお、上記の処理を画像のうち部分領域画像に対して行っても良い。例えば、１枚の画像をｎ等分（ｎは整数）する。数３、数４のＮをＮ／ｎに置き換える。領域画像毎に信頼度ｒや誤差Ｅを取得する。この処理によって効率的に教師画像を利用できる。

その他にも、曖昧領域の情報を使って、画像の領域単位で、検知対象クラスと背景クラスと曖昧クラスに分類する学習を行うことができる。表示部には、検知対象クラスと曖昧クラスの識別結果の一方または両方を画像に重畳した表示画像を切り替えて表示する手段を持たせる。これらの識別結果は、画像に重畳して表示しても良い。さらに、検知対象クラスと曖昧クラスの識別結果を統合する手段を用意しても良い。

以上の説明では、決定部１４０の処理は、曖昧領域データをユーザの入力したトレースデータに基づいて自動的に設定するものであったが、この処理は手動で行う場合がある。図６を用いてユーザに曖昧領域を手動で設定させる方法を説明する。ここ手動で曖昧領域を設定する場合は、入力操作の前後に、図６（Ａ）に示す表示画面上の操作手段５１１により、ユーザにトレースデータの周辺に曖昧領域を設定するかどうかを指示させる。では、曖昧領域データの設定の有無を決めさせる手段、ユーザに曖昧領域データの幅を設定させる手段、ユーザに曖昧領域データの画素値を決定させる手段について述べる。まず、曖昧領域データの設定の有無を決めさせる手段について述べる。ユーザは、入力操作の前後に曖昧領域データを設定するかどうかを、表示画面上のツールを使って決定する。具体的には、画像５１０に示すように、ユーザはマウスポインタ５１２を用いて表示画面上の曖昧ボタン５１１を入力操作前にクリックすることにより、これから入力するトレースデータの周辺には曖昧領域を決定する。また、入力操作後に曖昧ボタン５１１をクリックすることで、直前に入力したトレースデータの周辺に曖昧データを設定することを決める。

また、トレースデータに対して、曖昧領域を設定したい領域を限定的に指定する機能があっても良い。図６（Ｂ）に示す表示画面５２０のように、ユーザはトレースデータを入力した後、マウスポインタ５１２を指定ボタン５２１にかざしてクリックし、曖昧領域を設定したい輪郭を含む領域５２２を選択する。選択方法としては、例えば、領域５２２の左上の頂点から左下の頂点に向かってマウスをドラッグする方法がある。指定した領域内の教師画像のみを対象として、トレースデータに対して膨張処理を行って得られる領域を曖昧領域データとする。

次に、ユーザに曖昧領域である外縁の幅を設定させる手段を説明する。ここまで示してきた例では、教師画像の曖昧領域は検知対象領域の後に決まるものであったが、同時に決定される場合もある。具体的には、表示画面５３０に示す例のように、入力時のペンの幅（外縁の幅）を選択させるツールを表示画面に用意する。２点鎖線５３１に囲まれている領域にある、大きさの異なる円は、ペンの太さを表すものとする。ユーザが使いたいペンの太さをマウスポインタ５１２で選択した上でトレースデータを入力すると、ペンの太さに応じた幅の曖昧領域データが決定される。入力後にマウスホイールを動かすことで入力したデータの幅を調整できるようにし、気に入った幅が表示されているときにクリックすることで確定する仕様にしても良い。曖昧領域の幅が可変である場合は、画像のシーンに応じて曖昧領域を設定することが出来る為、精度良く教師画像を生成できる。このとき、ユーザの操作により、曖昧領域データを広げる方向を内側、外側、それら両方のいずれにするかを決定する機能を持たせることもできる。具体的には、マウスホイールを動かしている間、上向き矢印キーを押すと曖昧領域データがトレースデータに対して外側に広がり、下向き矢印キーを押すと曖昧領域データがトレースデータに対して内側に広がるようにする。最後に、ユーザに曖昧領域の画素値を決定させる手段を説明する。教師画像の曖昧領域の各画素値を実数で設定する場合、その値を手動で設定する。例えば、表示画面に、ペンの濃さを切り替えられるツールを用意し、入力操作を行わせる。ユーザには、曖昧領域データのうち確信のある領域には濃い色で入力し、確信の低い領域は薄い色で入力するようにさせ、入力時のペンの濃さの情報を教師画像の曖昧領域の画素値に反映する。以上に示したように、手動で教師画像の曖昧領域を決定できる。

＜実施形態２＞
実施形態１では、トレースデータを用いてルールベースで所定の幅を持つ曖昧領域を決定する方法について述べた。これに対して、実施形態２ではトレースデータと対象物が写った画像に対応づいた情報を用いて統計的に曖昧領域を決定する。すなわち、ユーザの入力したトレースデータと入力された画像に基づいて、検知対象に関する確率マップを生成し、確率マップに１つ以上の閾値を適用して曖昧領域または曖昧領域の候補を決定する。確率マップとは、入力された画像の各領域について、検知対象物が含まれている可能性を確率的に表現した画像である。本実施形態では、検知対象は海とする。曖昧領域を決定する為にトレースデータだけではなく画像の情報も利用することによって教師画像の質が向上する。例えば、実施形態１では、トレースデータから一定の幅で曖昧領域を膨張させていたことに対して、本実施形態では、閾値処理によって曖昧領域を決定するため外縁の幅は領域によって異なる。一定の幅で曖昧領域を設定する場合よりも、背景や対象物の領域を柔軟に回避できるようになる。その結果、より精度のよい教師画像を簡単に生成できる。

図７を用いて、本実施形態の概要を説明する。図７は、検知対象を海とし、確率マップを用いて教師画像の曖昧領域を決定する例を示す。図７（Ａ）に示す画像７１０は海を撮影した画像で、領域７１１は空、斜線領域７１２は海、領域７１３は砂浜である。海と浜辺の境界の色の変化がなだらかで、目視では境界が見えづらいとする。図７（Ｂ）に示す画像７１０において、ユーザが教師画像の検知対象領域として領域７２１を入力したとする。本実施形態の情報処理装置は、入力画像とユーザの入力したトレースデータを元に確率マップを生成して、ある閾値より高い領域を曖昧領域として抽出する。図７（Ｃ）に示す画像７３０は確率マップのイメージであり、ある閾値より高い値を持つ領域として、確率マップの領域７３１を抽出したとする。ユーザの入力したトレースデータ７２１と確率マップの領域７３１の差分を曖昧領域として決定し、その後トレースデータと曖昧領域に基づいて教師画像を作成する。図７（Ｄ）に示す画像７４０はユーザに教師画像７４０を確認させるための表示のイメージである。画像７４０の領域７２１は検知対象領域、領域７４１は曖昧領域を表している。

本実施形態の機能構成例は、実施形態１における図１と同様である。実施形態１と実施形態２の異なる点は、実施形態２では、決定部１４０が、曖昧領域を決める前に確率マップを生成する点である。詳しい処理は後述する。図８に基づいて情報処理装置が行う処理を説明する。まず、Ｓ２０１では、入力部１１０が、画像７１０を入力する。Ｓ２０２では、表示制御部１２０が、画像７１０を画面に表示させる。Ｓ２０３では、入力操作部１３０が、ユーザによって入力されたトレースデータ（閉領域を示す画像）を取得する。図７（Ｂ）に示す画像７１０の領域７２１が閉領域に対応する。Ｓ２０４では、入力操作部１３０が、ユーザの入力が終了したか確認し、入力が終わっていない場合はＳ２０２に戻る。入力が終わっている場合にはＳ６０１に進む。Ｓ６０１では、決定部１４０が、画像とトレースデータに基づいて確率マップを生成する。確率マップは、画像に基づいて生成されるため、画像に含まれる情報を抽出し、曖昧領域の決定に活用できる。確率マップは、入力された画像の画素毎に、画素と検知対象領域（第１の領域）との距離が小さいほど高い確率が付与される。または確率マップは、入力された画像の画素毎に、検知対象領域に含まれる画素の所定の色と、入力された画像の各画素の色との類似度に応じた確率が、入力された画像に対応して付与される。確率マップの詳しい説明は後述する。Ｓ６０２では、決定部１４０が、閾値処理を使って、確率が所定の閾値より大きい領域を曖昧領域（第２の領域）として決定する。Ｓ２０６では、生成部１５０が、教師画像７４０を生成する。また、格納部１６０に生成した教師画像を保存する。Ｓ２０７では、表示制御部１２０が、教師画像７４０を画面に表示させる。これによってユーザは生成した教師画像を確認する。

実施形態１と実施形態２では決定部１４０の処理Ｓ６０１とＳ６０２が異なるため、その点について説明する。Ｓ６０１では、決定部１４０が、ユーザの入力に基づいて確率マップを生成する。確率マップは、入力された画像の領域毎に、検知対象領域（第１の領域）との距離が小さいほど高い確率が付与された画像である。確率マップの生成する方法を２つ説明する。ひとつの方法は画素の位置と色情報やテクスチャ情報を利用する。もうひとつの方法はトレースデータの情報を利用する。

まず、画素の位置と色情報やテクスチャ情報を用いる方法について述べる。この方法では、検知対象領域と背景領域の境界から離れた位置にある画素は曖昧ではないと解釈し、曖昧でない領域の画素情報を利用する。以降、境界から所定の距離だけ離れた位置にある領域を、「第４の領域」と記載する。第４の領域は、検知対象領域と背景領域の境界に存在しないため曖昧領域でないと解釈できる。画像全域の各画素が、第４の領域の検知対象領域と背景領域の画素のうち、どちらと似ているかを調べる。例えば、第４の領域の色情報やテクスチャ情報の平均と、画像の各画素の色情報やテクスチャ情報の類似度を求め、得られる類似度のマップを、その画像の確率マップとする。

次に、トレースデータを使って、検知対象領域からの距離情報を利用する方法について述べる。検知対象領域の輪郭に含まれる画素からの距離を表現した画像を距離変換画像と記載する。距離変換画像は、画像と同じサイズのデータであり、検知対象領域からの最短距離の情報を格納した画像である。具体的には、検知対象領域の画素には０を格納する。検知対象領域の外側、すなわち閉領域外である各画素において、検知対象領域とから一画素離れた画素には１、二画素離れた画素には２、というように、検知対象領域から離れる程大きな値を格納する。距離変換画像を作成する方法は、例えば、はじめに検知対象領域の画素には０、その他の画素にはＮｕｌｌを格納しておき、その後、画素ごとに検知対象領域からの最小距離を算出して格納することで作成する。距離情報は、実施形態１の中でルールベースにより曖昧領域データの範囲を決める方法でも用いたが、ここでは距離情報を確率マップに反映する。検知対象領域の位置から近い領域は対象物がある可能性が高く、離れた領域は対象物の可能性が低いとみなし、距離に応じた確率を確率マップの各画素に設定する。ここでは、閉領域外の領域ごとに対象物が含まれる確率を、画素値で示した距離に反比例して設定する。つまり、画素値が小さいほど、大きい確率になる。このように、画素情報、検知対象領域からの位置情報を用いて確率マップを生成することができる。

または、第４領域の色情報から、その画像内で検知対象領域と背景領域の占める領域の大きさの比を予測し、その比に基づいて２つの領域の境界線の位置を決定することもできる。例えば、画像内の検知対象領域と背景領域の各領域の大きさの比が２：８の場合、トレースデータに対して内側に２画素離れた箇所から外側に８画素離れた箇所までの範囲を曖昧領域データの領域として設定する。なお、これらの情報は組み合わせて使用することもできる。１つの方法として、これらの方法で得られる確率マップを用意し、対応する画素ごとに積を求めた結果を新たに確率マップとすることができる。

他の方法として、画像から得た情報を組み合わせた統計モデルを用いて確率マップを作成することができる。上記の方法で得られる確率マップを作成する。例えば、数式５に示す式のモデルを構築する。数式５は、ある画素について、画像から得た各情報に基づいて曖昧領域の教師値を求める式である。

ただし、ｙはモデルの出力値であり、注目画素に対する確率マップ上の値を意味する。ｎはモデル構築に利用する情報の種類数、ｉは各情報に対応するインデックス、ｘ_ｉは注目画素において各情報から求めた確率を表している。例えば、ｉ＝０を画像から得た画素の色情報、ｉ＝１をトレースデータから得た距離情報とする。画像やトレースデータから得られる情報を複数利用することによって、教師画像の精度を向上できる。なお、ａ_ｉは各情報の重みパラメータを表しており、経験的に決定して良い。

Ｓ６０２では、確率マップを生成した後、決定部１４０が、確率が所定の閾値より大きい領域を曖昧領域（第２の領域）として決定する。確率マップ上の、画素値がある閾値より高い領域を切り出し、その後教師画像の曖昧領域を決める。１つの方法として、確率マップから切り出した領域と教師画像の検知対象領域の差分を曖昧領域データとみなし、教師画像に重畳する。２つ目の方法として、切り出した領域を全て曖昧領域データとみなしてそのまま教師画像に重畳する。前者の場合は、ユーザが入力したトレースデータの検知対象領域は曖昧領域データに上書きされないため、ユーザの入力したトレースデータは完全に依存することになる。反対に、後者の場合には、トレースデータは曖昧領域に上書きされるため、ユーザが入力した領域を完全に依存しない。また、教師画像に曖昧領域データを重畳するときには、曖昧領域データの値をそのまま重畳しても良いし、一定の値に書き換えた上で重畳しても良い。

図９に示す画像を用いて、確率マップに１つ以上の閾値を適用し、各閾値による閾値処理により抽出される領域を曖昧領域データの候補とみなし、候補の中からユーザに曖昧領域データを選ばせる方法を示す。この例でも、検知対象は海とする。画像８１０は確率マップを表しており、図７の表示画像７２０にユーザが領域７２１にて教師画像の入力をした後に生成されたものとする。また、確率マップを生成した後、ここでは閾値を２種類適用するものとし、第一の閾値は第二の閾値より高いとする。第一の閾値より高い値を持つ画素のある領域として領域８１１、第二の閾値より高い値を持つ画素のある領域として領域８１２が抽出されたとき、領域８１１、領域８１２と領域７２１の差分を曖昧領域データの候補とする。曖昧領域データの候補が決まったら、表示画像上でユーザに、候補から曖昧領域データを選ぶよう促す。

ユーザに曖昧領域データを選ばせる上で、候補を切り替えて表示する方法と同時に表示する方法があり、それぞれ図９の（Ｂ）、（Ｃ）に示す。曖昧領域データの候補を切り替えて表示する方法について、（Ｂ）を用いて説明する。画像８２０、８３０は切り替え操作を行う際の表示画像のイメージである。画像８２０の領域８２２、画像８３０の領域８３１はそれぞれ、確率マップの領域８１１、８１２から求めた曖昧領域データの候補である。以上の説明では、確率マップに対して１つの閾値を適用して曖昧領域データを自動で決定したが、確率マップから曖昧領域データの候補を求め、候補の中からユーザに曖昧領域データを選ばせることもできる。表示部では、ユーザからの操作により、曖昧領域データの候補の写った表示画像８２０と８３０を交互に切り替えて表示する。切り替え時の操作方法として、マウスホイールを動かすことで切り替える方法や、表示画面上に切り替えボタンを用意しておいて、切り替えボタンがマウスでクリックされた際に切り替える方法がある。

次に、同時に表示する場合について、（Ｃ）を用いて説明する。画像８４０は、複数の曖昧領域データの候補を１つの画面に表示したイメージである。領域８４１、８４２はそれぞれ、（Ｂ）に示した曖昧領域データの候補８２２、８３１に相当するデータであり、表示画像８４０ではこれらを重畳して表示している。領域８４１と領域８４２は、異なる色で表示することで、ユーザにとって区別がつきやすいようにする。ユーザは曖昧領域データの候補からの中で気に入ったものがあれば、曖昧領域データを１つ以上選択して確定する。

（Ｂ）に示す切り替え表示の場合には、画面に気に入った曖昧領域データの候補が表示されたとき、マウスポインタ８２３で確定ボタン８２１をクリックする。これによって曖昧領域データの候補の中からデータを１つ以上選択し、曖昧領域データを確定する。

また、（Ｂ）と（Ｃ）のいずれの場合でも、ユーザが選択した曖昧領域データの候補にマウスポインタ８２３をかざしてクリックすることで曖昧領域を決定するようにしても良い。なお、ユーザは、曖昧領域データのトレースデータの中から、１つも選ばない、という選択をすることもできる。

＜実施形態３＞
実施形態２では、教師画像の曖昧領域を、確率マップを生成することにより決定する方法を説明した。実施形態３では、確率マップを使用する点では実施形態２と同じであるが、ユーザからの修正操作を受け、修正に関する情報を、確率マップに反映して教師画像の曖昧領域を決定する。本実施形態では、検知対象は海とする。はじめに、本実施形態の概要を説明する。本実施形態では、実施形態２で説明した、画素情報を利用して確率マップを作成する。

決定部１４０では、検知対象領域と背景領域の境界から離れた、第４領域の画素情報を基準とし、その基準と画像内の各画素の類似度を求めて確率マップとする。ここでの基準とは、教師画像を作成済みの画像うち、第４領域の画素値情報から得る情報とし、例として、第４領域であり、かつ教師画像の検知対象領域に相当する領域の画素値の平均値が挙げられる。ユーザがある教師画像の修正を行うと、基準を決める上で用いていた第４領域が変化するため、最新の第４領域に基づいて基準を更新する。既に教師画像を作成した画像については、確率マップを生成し直し、基準の更新に伴い、曖昧領域データを再度作成する。一方、まだユーザが教師画像の入力を行っていない画像については、最新の基準に合わせて確率マップを作成するようにする。

図１０に、実施形態３の情報処理装置が実行する処理の流れを示す。１枚の教師画像に修正すべき箇所が複数存在する場合を説明する。実施形態３は、実施形態２とはユーザの修正を受けて確率マップを生成し直す点で異なる。まず、Ｓ２０１では、入力部１１０が、画像７１０を入力する。Ｓ２０２では、表示制御部１２０が、画像７１０を画面に表示させる。Ｓ２０３では、入力操作部１３０が、ユーザによって入力されたトレースデータ（閉領域を示す画像）を取得する。Ｓ２０４では、入力操作部１３０が、ユーザの入力が終了したか確認し、入力が終わっていない場合はＳ２０２に戻る。入力が終わっている場合にはＳ９０１に進む。上記に述べたように、本実施形態では画素情報を用いて確率マップを生成するため、ユーザの入力操作後、Ｓ９０１では、決定部１４０が、画素情報から確率マップを求めるための基準を決定する。続いて、Ｓ６０１で決定部１４０が、画像とトレースデータに基づいて確率マップを生成する。Ｓ６０２では、決定部１４０が、閾値処理を使って、確率が所定の閾値より大きい領域を曖昧領域（第２の領域）として決定する。Ｓ２０６で教師画像を生成する。Ｓ２０７で表示制御部１２０が教師画像を表示制御する。その後、Ｓ９０２で、修正部１７０がユーザによって教師画像の修正操作を受け付ける。Ｓ９０３で、修正部１７０は、教師画像の修正が全て終わっているかを確認する。つまり、修正操作の有無を判断する。修正操作がなかった場合には、処理は終了とする。修正操作があった場合にはＳ９０１に戻る。つづいて修正された教師画像の情報に基づいて確率マップの基準を修正する。続いて、修正された基準を使って、Ｓ６０１で確率マップを再生成し、Ｓ６０２で決定部１４０が曖昧領域を再度決定し、Ｓ２０６で生成部が教師画像を再生成する。

以上の方法で、１枚の画像に複数のトレースデータがあるときユーザの修正を踏まえて修正を行うことができる。複数の画像に対して修正を行うときには、１枚以上の教師画像を修正した時点で確率マップの基準を更新し、その基準を用いて他の画像の確率マップを生成することで、曖昧領域を決定するようにして良い。また、複数の画像のうち１枚ごとに読み込んでトレースデータを入力する場合は、Ｓ２０４のＮｏはＳ２０１に戻る。はじめに全ての画像を読み込む場合は、Ｓ２０４のＮｏはＳ２０２に戻る。

実施形態３では、実施形態２と同様に検知対象は海とし、海と浜辺の境界において教師画像の曖昧領域データを設定する。図１１を用いて、ユーザの修正を受けて確率マップを再度生成する処理を説明する。画像１０１０、１０２０と画像１０３０、１０４０は異なる画像に対する教師画像を表している。ここでは、一方の教師画像１０１０を１０２０のように修正することにより、もう一方の教師画像１０３０が１０４０のように更新される処理の流れを説明する。

はじめに、データ格納部には、教師画像１０１０と教師画像１０３０が格納されているものとする。これらの教師画像において、領域７２１、領域１０３１は教師画像の検知対象領域、領域１０１１、領域１０３２は教師画像の曖昧領域とする。修正部１７０は、ユーザによる教師画像１０１０に対する修正操作を受け付ける。教師画像１０１０の曖昧領域１０１１の一部をユーザが削除し、教師画像１０２０に示す領域１０２１のように修正したとする。

この修正操作により、決定部１４０は、確率マップを生成する上での基準を決定する。ここで、教師画像１０３０を作成する上で生成した確率マップのイメージを画像１０５０に示す。初めの処理では、決定部１４０が確率マップから初期の閾値を使った閾値処理により領域１０５１を抽出し、教師画像１０３０の曖昧領域１０３２を決定する。Ｓ９０２において、修正部１７０がユーザによる教師画像１０１０の修正操作を受ける。基準を決める際に用いていた第４領域の範囲が変化することから、最新の第４領域を用いて基準を更新し、その基準を基に確率マップを更新する。画像１０６０は確率マップ１０５０から更新された確率マップのイメージである。閾値処理により、抽出された領域１０６１と教師画像の検知対象領域１０３１の差分から、曖昧領域データが決定する。結果として、画像１０４０に示す領域１０４１が新たに教師画像の曖昧領域として決定され、教師画像が更新される。

ユーザに最新の教師画像を確認させる際には、教師画像を表示画像に１枚ずつ表示しても良く、表示画像上に同時に表示しても良い。

以上の方法により、ユーザの修正を受けて、他の教師画像を更新することができる。

＜実施形態４＞
実施形態４では、入力する対象やユーザによって、曖昧領域の設定の仕方に一定の規則性があることを考慮して、ユーザの操作の規則性を統計的に分析した傾向情報を取得し、ユーザの好みに合うように曖昧領域を決定する方法を示す。傾向情報とは、画像、対応する教師画像の検知対象領域、曖昧領域およびその属性から構成されるデータセットのことである。その他にも、曖昧領域の属性と画像特徴量に関する回帰分析による関係式や相関性に関する統計量を傾向情報として良い。なお、傾向情報取得部には、これらの傾向情報を求めて蓄積する記憶手段を持たせるものとする。

実施形態４では、検知対象はコンクリート構造物の表面に発生するひび割れとする。トンネルなどの構造物のコンクリート壁面の劣化を検査するインフラ点検では、コンクリート壁面を撮影した画像からひび割れ等の異常領域の大きさを推定する。コンクリート構造物を撮影した画像において、ひび割れは細長いため、ひび割れが存在していることは分かっても、実際にひび割れが存在する位置と人手で入力したトレースデータの位置には、ずれが生じやすい。また、暗い壁にあるひび割れなど、コントラストが小さい画像では、入力する際には正確な位置を定めることは一層難しい。このため、曖昧領域を自動で決定することによって、学習において正解か不正解か判断が難しい領域について、学習のパラメータに影響しない教師画像を生成できる。また、ユーザにとっては、ある程度の量の教師画像を生成すれば、あとは情報処理装置がその教師画像に近い教師画像を生成できるようになるため、手間がかからない。

図１２を用いて、ユーザの操作傾向を取得しながら曖昧領域を決定する例を説明する。画像１３１０、１３２０、１３３０はひび割れの写った異なる画像を表している。画像１３２０は夜間に撮影または暗い箇所を撮った画像であるため、画像１３１０と比較して全体的に暗い（輝度が低い）画像になっているものとする。また、画像１３３０は、画像１３１０と画像１３２０の中間くらいの明るさであるとする。画像１３４０、１３５０、１３６０はそれぞれ、画像１３１０、１３２０、１３３０に対応する教師画像とする。実線１３１１、１３２１、１３３１は画像上のひび割れとする。実線１３２１は、画像１３２０が暗いため、画像１３１０における実線１３１１よりユーザにとって確認しづらいことがわかる。実線１３４１、１３５１、１３６１はユーザが入力した、教師画像の検知対象領域とし、それらの周辺の領域１３４２、１３５２、１３６２は曖昧領域とする。この例では、傾向情報取得部が取得する情報は、画像１３１０、１３２０に対してユーザが教師画像１３４０、１３５０を作成する操作内容に基づき対応する傾向情報であって、記憶手段に蓄積されている傾向情報の属性値を参照する。そして、新たな画像１３３０の教師画像を作成する際に、傾向情報を利用して、ユーザの傾向に合う曖昧領域を決定する。まず、傾向情報取得部では、画像１３１０、１３２０のコントラストと教師画像１３４０、１３５０の曖昧領域データ１３４２、１３５２の幅を求め、コントラストと曖昧領域データの幅の関係を調べる。この結果、画像のコントラストと曖昧領域データの幅に相関性があり、コントラストが小さい時にはユーザが曖昧領域データの幅を広く設定する傾向があることが分かったとする。傾向情報取得部では、傾向情報の属性を参照してコントラストと曖昧領域データの幅の間に成り立つ関係式を求め、その情報を決定部に送る。次に、取得部で、新たな画像１３３０に対して、ユーザは表示画像上でひび割れのある領域１３３１に入力操作を行う。決定部では、画像１３３０からコントラストを求め、傾向情報の関係式にコントラストを入力し、曖昧領域の幅を算出する。得られた値の画素数分だけトレースデータに膨張処理を施し、曖昧領域データを作成する。その後、生成部で、トレースデータと曖昧領域データの情報に基づいて教師画像１３６０を作成する。教師画像１３６０の実線１３６１は検知対象領域であり、その周辺の１３６２は曖昧領域を表している。

実施形態４における構成を図１３に示す。本実施形態における情報処理装置の構成は、図１に傾向情報取得部１１１０を加えた構成から成る。傾向情報取得部１１１０は、入力操作部１３０と修正部１７０で操作を受けると、傾向情報を抽出し、決定部１４０に送る機能を持つ。傾向情報取得部の処理内容を説明する。傾向情報取得部は、取得部と修正部から操作を受けるタイミングで、画像や教師画像を用いて傾向情報を抽出する。傾向情報は、決定部で利用するために取得するデータであり、ユーザに１枚以上の画像に対して入力操作や修正操作を行わせる際に取得できる。傾向情報に定義される対象の属性には、例えば、教師画像の曖昧領域の広さ、曖昧領域のトレースデータに対する向き、確率マップの閾値があり、それぞれについて以下に説明する。

実施形態４の情報処理装置が実行する処理の流れを図１４に示すフローチャートを用いて説明する。図１４（Ａ）は、準備段階で複数の画像から傾向情報を収集するための処理を説明するフローチャートである。図１４（Ｂ）は、傾向情報を使って曖昧領域を決定する処理を説明するフローチャートである。ここでは、傾向情報を取得するための画像群と、傾向情報を用いて正解データを作成するための画像群を予め用意して、前者を（Ａ）のフローに適用し、後者を（Ｂ）のフローに適用するものとする。基本的な処理の流れは、図２に示した実施形態１のフローチャートと同じであるが、傾向情報を取得して曖昧領域データの決定に利用する点で異なる。ここでは、複数の画像を対象とした処理の流れを説明する。

まず、図１４（Ａ）のフローチャートを説明する。Ｓ２０１からＳ２０８までは画像に対して教師画像を生成する処理であり、実施例１のフローと同様である。そのため概要のみ説明する。Ｓ２０１では、入力部１１０が、画像を入力する。Ｓ２０２では、表示制御部１２０が、入力された画像を画面に表示させる。Ｓ２０３では、入力操作部１３０が、ユーザによって入力された画像１３１０における検知領域である実線１３４１をトレースデータ（第１領域）として取得する。Ｓ２０４では、入力操作部１３０が、表示中の画像１３１０に対するトレースデータの入力が終了したかを判断する。終了指示がなく、入力操作が続行する場合は、Ｓ２０２に戻る。入力操作の終了指示があった場合は、Ｓ２０５に進む。Ｓ２０５では、決定部１４０が、Ｓ２０３でユーザの入力したトレースデータに基づき曖昧領域データを生成する。Ｓ２０６では、生成部１５０が、入力された画像の各画素または領域に、正解、曖昧、不正解の３つの教師値を付与した教師画像を生成して、格納部１６０に保存する。Ｓ２０７では、表示制御部１２０が、教師画像を画面に表示制御する。ユーザは教師画像が意図した出来栄えになっているか確認する。Ｓ２０８では、情報処理装置が、入力されたすべての画像に対して教師画像が生成されたかを判断する。教師画像が生成されていない画像が残っている場合はＳ２０２に戻る。すべての教師画像が生成された場合はＳ１２０１に進む。Ｓ１２０１では、情報処理装置１００が、入力されたすべての画像について教師画像生成が完了したかを判断する。入力された画像に対応する教師画像が格納部１６０に保存されているかを判断する。不足がある場合はＳ２０２に戻る。入力されたすべての画像に対応する教師画像が生成されていれば、Ｓ１２０２に進む。Ｓ１２０２では、傾向情報取得部１１１０が、複数の教師画像から傾向情報を取得する。詳しい処理内容は後述する。なお、画像を１枚ごとに読み込んでトレースデータを入力する場合は、Ｓ２０４のＮｏはＳ２０１に戻る。はじめに全画像を読み込む場合は、Ｓ２０４のＮｏはＳ２０２に戻る。

次に、図１２（Ｂ）を用いて、複数の画像を対象として、傾向情報を用いて教師画像を生成するための処理の流れを説明する。Ｓ２０１からＳ２０４、Ｓ２０６，Ｓ２０７の処理は、実施例１のフローと同様で、概要のみ説明する。実施例１と異なる点は、Ｓ１２０３で曖昧領域を決定する際に、傾向情報を利用する点である。Ｓ２０１では、入力部１１０が、画像を入力する。Ｓ２０２では、表示制御部１２０が、入力された画像を画面に表示させる。Ｓ２０３では、入力操作部１３０が、ユーザによって入力された画像１３１０における検知領域である実線１３４１をトレースデータ（第１領域）として取得する。Ｓ２０４では、入力操作部１３０が、表示中の画像１３１０に対するトレースデータの入力が終了したかを判断する。終了指示がなく、入力操作が続行する場合は、Ｓ２０２に戻る。入力操作の終了指示があった場合は、Ｓ１２０３に進む。Ｓ１２０３では、決定部１４０が、傾向情報に基づき曖昧領域を決定する。図１２を用いて説明すると、例えば、画像１３３０は、画像１３１０と画像１３２０の中間の明るさなので、曖昧領域の幅を幅１３４２と幅１３５２の中間である幅１３６２に決定する。Ｓ２０５の詳しい処理は後述する。Ｓ２０６では、生成部１５０が、入力された画像の各画素または領域に、正解、曖昧、不正解の３つの教師値を付与した教師画像を生成して、格納部１６０に保存する。Ｓ２０７では、表示制御部１２０が、教師画像を画面に表示制御する。ユーザは教師画像が意図した出来栄えになっているか確認する。Ｓ２０８では、情報処理装置が、入力されたすべての画像に対して教師画像が生成されたかを判断する。教師画像が生成されていない画像が残っている場合はＳ２０２に戻る。すべての教師画像が生成された場合はＳ１２０１に進む。Ｓ１２０１では、情報処理装置１００が、入力されたすべての画像について教師画像生成が完了したかを判断する。入力された画像に対応する教師画像が格納部１６０に保存されているかを判断する。不足がある場合はＳ２０２に戻る。入力されたすべての画像に対応する教師画像が生成されていれば、処理を終了する。

以上が基本的な処理の流れであるが、処理の順序はこれに限定されない。他の実施形態と同様に、Ｓ２０１からＳ２０４までの入力に関する処理を行ってから、Ｓ２０５からＳ２０７までの曖昧領域の決定に関する処理をまとめて行って良い。画像を１枚ごとに読み込んでトレースデータを入力する場合は、Ｓ２０４のＮｏはＳ２０１に戻る。はじめに全画像を読み込む場合は、Ｓ２０４のＮｏはＳ２０２に戻る。ただし、実施形態４では曖昧領域データに関する処理を行うときには、入力済みのデータを、傾向情報を取得する際に使用するデータ群と、傾向情報を使用して曖昧領域を決定するデータ群の２つに分ける必要がある。前者のデータ群に対して先に曖昧領域データを作成する処理を一通り実施し、そこで得られる情報を用いて傾向情報を取得した上で、傾向情報を使って後者のデータ群の曖昧領域データを作成する。

Ｓ１２０２における傾向情報取得部１１１０の処理内容を説明する。傾向情報取得部１１１０は、入力操作部１３０と修正部１７０から入力操作を受け取ると、画像や教師画像を用いて傾向情報を抽出する。傾向情報は、決定部で曖昧領域を決定するために取得するデータであり、ユーザに、１枚以上の画像に対して、検知対象領域の入力操作や修正操作を行わせる際に取得できる。傾向情報に定義される対象の属性には、例えば、教師画像の曖昧領域の広さ、曖昧領域のトレースデータに対する向き、確率マップの閾値があり、それぞれについて以下に説明する。

まず、１つ目の教師画像の曖昧領域の面積の情報について説明する。これは、ユーザがある検知対象に対して最終的に決定する曖昧領域の面積に関する情報である。曖昧領域の面積の情報には、曖昧領域自体に関する情報と、曖昧領域と画像に関する情報がある。曖昧領域自体に関する情報として、例えば、ユーザが曖昧領域を手動で決定した場合、ユーザが設定する幅の平均値が該当する。教師画像の曖昧領域と画像に関する情報として、画像のコントラストと教師画像の曖昧領域の幅の相関性を分析結果が該当する。例えば、画像のコントラストと教師画像の曖昧領域の幅の関係を調べ、蓄積した傾向情報の属性からコントラストが大きいときユーザが曖昧領域を太く設定する傾向が検出されたとする。傾向情報取得部では、コントラストと曖昧領域の幅の間に成り立つ関係式を求め、それを傾向情報とする。この方法におけるＳ１２０３では、決定部１４０が、傾向情報を受け取り、新たな画像のコントラストを取得し、先に述べた関係式に代入することで、適切な曖昧領域データの幅を決定する。

次に、２つ目の曖昧領域のトレースデータに対する向きについて説明する。これは、ユーザがトレースデータに対してどの方向に向かって曖昧領域を設定する傾向があるかという情報である。傾向情報取得部では、傾向情報の属性として、例えばユーザから修正操作や曖昧領域データの候補から選択する操作を受けた後、採用された曖昧領域データがトレースデータの位置に対して内側と外側のどちらかという情報を検知対象領域ごとに複数回記録する。これによって、例えばユーザが背景寄りに入力して検知対象寄りに曖昧領域データを広く設定する傾向があることが分かれば、傾向情報取得部では、その情報を傾向情報として得る。この方法におけるＳ１２０３では、決定部が傾向情報に従い、新たな画像に対して、ユーザのトレースデータの位置の内側に曖昧領域データを設定するようにする。

３つ目の確率マップの閾値について説明する。これは、ユーザが確率マップにおいて、曖昧領域として決定している画素に付与されている確率の閾値に関する情報である。実施形態２で説明した、複数の曖昧領域の候補からユーザが曖昧領域を決定する操作の際に、確率マップにおいて、曖昧領域データとして採用された領域の各画素に格納されている確率を調べる。もしくは実施形態３で説明した、ユーザが曖昧領域を修正する操作を行う際に、確率マップにおいて、曖昧領域データとして採用された領域の各画素に格納されている確率を調べる。具体的には、決定部の処理が終わったタイミングで、確率マップにおいて、曖昧領域として採用された範囲にある確率の最小値を調べ、その値を傾向情報の属性として蓄積していく。この方法におけるＳ１２０３では、決定部１４０が、新たな画像に対して曖昧領域を決定する際に、確率マップの閾値を、蓄積した傾向情報の属性を参照して平均を求めるなどして、統計的に決定する。

なお、傾向情報は曖昧領域の決定のみならず、曖昧領域のトレースデータを表示する場合には表示順序の決定にも利用できる。トレースデータの順序を決める際に、傾向情報から求めた曖昧領域を優先的に表示するようにする。

以上の実施形態では、あるユーザの操作に基づき傾向情報を取得し、そのユーザが他の画像の教師画像を作成する際に、取得した傾向情報を利用する方法を説明してきた。本実施形態はこれに限定されず、傾向情報取得部で複数の入力者の操作に基づき平均的な情報を求めるようにしても良い。また、傾向情報の使用目的として、ある特定のユーザの作成する教師画像に、他のユーザが作成する教師画像を近づけることもできる。この目的においては、特定のユーザが操作しているときの傾向情報を取得しておき、他のユーザが入力操作を行ったときに、傾向情報を用いて曖昧領域を決定するようにする。以上に述べた方法により、ユーザの操作の傾向情報を取得して、曖昧領域データの決定に利用することができる。これによって、ユーザにとって好ましい曖昧領域を手間なく、効率的に設定することができる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供しても良い。

１００ 情報処理装置
１１０ 入力部
１２０ 表示制御部
１３０ 入力操作部
１４０ 決定部
１５０ 生成部
１６０ 格納部
１７０ 修正部
１８０ 学習部

Claims (13)

1. 画像における対象物の領域を抽出する学習モデルの教師画像を生成する情報処理装置であって、
   対象物が写った画像から前記対象物の領域を示す閉領域を抽出する操作を受け付ける操作手段と、
   前記閉領域である第１の領域と、前記第１の領域の外縁である第２の領域とを決定する決定手段と、
   前記第１の領域に対して前記対象物の領域であることを示す第１の値を、前記第２の領域に対して前記学習モデルの学習への寄与を抑制する第２の値を、付与した教師画像を生成する生成手段とを有することを特徴とする情報処理装置。
2. 前記生成手段によって生成された前記教師画像を表示する表示手段を更に有することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示手段は、前記第１の領域と前記第２の領域とを異なる色で表示することを特徴とする請求項２に記載の情報処理装置。
4. 前記表示手段は、前記外縁の幅の候補を複数表示し、
   前記決定手段は、ユーザによって選択された前記外縁の幅に従って前記第２の領域を決定することを特徴とする請求項２または３に記載の情報処理装置。
5. 前記表示手段は、前記外縁の幅が異なる複数の前記第２の領域を切り替えて表示することを特徴とする請求項４に記載の情報処理装置。
6. 前記決定手段は、前記閉領域に基づいて前記画像のうち背景の領域である第３の領域を決定し、
   前記生成手段は、前記画像のうち、前記第３の領域に対して前記対象物の領域でないことを示す第３の値を付与した前記教師画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記決定手段は、前記画像と前記閉領域とに基づいて、前記画像の前記閉領域外の領域ごとに前記対象物が含まれる確率を求め、所定の閾値より大きい領域を前記第２の領域として決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記確率は、前記画像の領域と前記閉領域との距離が小さいほど大きいことを特徴とする請求項７に記載の情報処理装置。
9. 前記確率は、前記画像の領域の色と、前記閉領域に含まれる画素の色との類似度が大きいほど大きいことを特徴とする請求項７に記載の情報処理装置。
10. 前記生成手段で生成された前記教師画像に基づいて、前記学習モデルのパラメータを更新する学習手段をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 予め生成された前記教師画像から、前記第２の領域の面積または前記第１の領域に対して前記第２の領域を変形させる向きに関する傾向情報を取得する取得手段を更に有し、
    前記決定手段は、前記傾向情報に基づいて前記第２の領域を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. コンピュータを請求項１乃至１１のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。
13. 画像における対象物の領域を抽出する学習モデルの教師画像を生成する情報処理方法であって、
    対象物が写った画像から前記対象物の領域を示す閉領域を抽出する操作を受け付ける操作工程と、
    前記閉領域である第１の領域と、前記第１の領域の外縁である第２の領域とを決定する決定工程と、
    前記第１の領域に対して前記対象物の領域であることを示す第１の値を、前記第２の領域に対して前記学習モデルの学習への寄与を抑制する第２の値を、付与した教師画像を生成する生成工程とを有することを特徴とする情報処理方法。

Images