JP2021128402A - 摂動プログラム、摂動方法、および情報処理装置 - Google Patents

Abstract

【課題】グラフィカルユーザインタフェース部品の画像に応じた好ましい輝度調節パラメータの摂動範囲を決定する。【解決手段】一実施形態に係る摂動プログラムは、グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換し、それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定し、輝度を調節する輝度調節パラメータを変更することで２つの輝度を摂動させて探索を行い、摂動後の２つの輝度のコントラスト比が所定値以上となるように輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定し、決定する処理で決定される摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、部品画像の輝度調節パラメータを摂動させて複数の摂動画像を生成する、処理をコンピュータに実行させる。【選択図】図８

Description

本発明は、摂動プログラム、摂動方法、および情報処理装置に関する。

グラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）アプリケーションを作成する際に、設定したグラフィカルユーザインタフェース部品が表示画面上に存在しているかを確認する作業が行われている。一例では、検査員が目視で対象のＧＵＩ部品が表示されているかを検査している。なお、以下では、グラフィカルユーザインタフェース部品をＧＵＩ部品と記載することがある。

検査の負荷を軽減するために、機械学習による学習済みモデルを用いてＧＵＩ部品を自動的に検出するための技術も開発されている。こうしたＧＵＩ部品の検出技術では、例えば、ＧＵＩ部品の存在する表示領域の特定が行われ、続いて、特定したＧＵＩ部品の表示領域の画像データを、ＧＵＩ部品の種別を分類するための学習済みモデルに入力してＧＵＩ部品の種別の特定が行われる。

また、例えば、機械学習に用いる教師データを増やすためのデータ拡張（Data Augmentation）技術が知られている。

また更に、以上に関連する技術として、機械学習を用いた画像認識に関連する技術が知られている（例えば、特許文献１）。また、画像のデータ拡張に関連する技術も知られている（例えば、特許文献２および特許文献３）。

国際公開第２０１８／１７３８１９号 特開２０１９−０９６００６号公報 特開２０１９−０５６９６６号公報

例えば、ＧＵＩ部品の表示領域の画像に、並行移動、拡大縮小、輝度の調節などの様々な摂動を与えることで、複数の摂動画像を生成することができる。しかしながら、ＧＵＩでは、ユーザによる視認性を保つために、様々な規約や推奨事項が定められている。一例として、ＧＵＩ部品では、文字、記号、および印などの部品上の表記の色と、部品の背景に用いられる色とのコントラスト比が所定値以上となるように規約や推奨事項が設けられている。そして、予め定められている固定的な摂動範囲で輝度を調節する輝度調節パラメータを変更し、ＧＵＩ部品の表示領域の画像を摂動させた場合、こうした規定や推奨事項を満たさない摂動画像が生成されてしまうことがある。このようにＧＵＩ部品として好ましくない摂動画像を生成し、機械学習に用いてしまうと、生成される学習済みモデルの信頼性に問題が生じる恐れがある。そのため、ＧＵＩ部品の画像において文字、記号、および印などの表記の色と、背景の色とのコントラスト比が、好ましい値となるように摂動画像を生成することのできる技術の提供が望まれている。

１つの側面では、本発明は、ＧＵＩ部品の画像に応じた好ましい輝度調節パラメータの摂動範囲を決定することを目的とする。

本発明の一つの態様の摂動プログラムは、グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換し、それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定し、輝度を調節する輝度調節パラメータを変更することで２つの輝度を摂動させて探索を行い、摂動後の２つの輝度のコントラスト比が所定値以上となるように輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定し、決定する処理で決定される摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、部品画像の輝度調節パラメータを摂動させて複数の摂動画像を生成する、処理をコンピュータに実行させる。

ＧＵＩ部品の画像に応じた好ましい輝度調節パラメータの摂動範囲を決定することができる。

例示的なＧＵＩ部品の検出と分類の流れを説明する図である。 例示的なＧＵＩ部品を分類するための学習済みモデルの生成の流れを示す図である。 実施形態に係るＧＵＩ部品の画像データを増やすためのデータ拡張の手順を説明する図である。 実施形態に係る摂動範囲を示す摂動範囲情報を例示する図である。 摂動によりコントラスト比が推奨されるレベルを下回ってしまう場合を例示する図である。 実施形態に係る情報処理装置の機能ブロック構成を例示する図である。 輝度調節パラメータによる輝度の調節について説明する図である。 実施形態に係る摂動範囲の決定処理の動作フローを例示する図である。 実施形態に係る輝度画像への画像変換を例示する図である。 実施形態に係る輝度画像からの画素のサンプリングを例示する図である。 実施形態に係る表記の色の輝度および背景の色の輝度の特定の例を説明する図である。 グループの輝度範囲を拡張した際のピークの変化を例示する図である。 実施形態に係るブライトネスおよびコントラストの摂動範囲の探索を例示する図である。 ブライトネスとコントラストの探索をグラフで表した例を示す図である。 実施形態に係る画像摂動範囲情報を例示する図である。 実施形態に係る摂動画像の生成処理を例示する図である。 実施形態に係る情報処理装置を実現するためのコンピュータのハードウェア構成を例示する図である。

以下、図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、複数の図面において対応する要素には同一の符号を付す。

上述のように、例えば、ＧＵＩアプリケーションの検査では、設計上で表示対象となっているＧＵＩ部品が画面上にきちんと存在しているかを確認する作業が行われている。この確認は、一例では目視で行われているが、確認にかかる労力を削減するため、自動化する仕組みの開発も行われている。

図１は、例示的なＧＵＩ部品の検出と分類の流れを説明する図である。例えば、図１では、まず、アプリケーションの表示画面のスクリーンショットを撮った画像データからＧＵＩ部品の表示領域の特定が行われている（例えば、図１（ａ））。なお、ＧＵＩ部品は、例えば、ボタン、テキストボックス、およびドロップダウンボックスなどの種別を含んでよい。

続いて、特定したＧＵＩ部品の表示領域の画像を抽出し（例えば、図１（ｂ））、得られた画像をＧＵＩ部品を分類する学習済みモデルに入力して、画像に含まれるＧＵＩ部品の種別を特定する（例えば、図１（ｃ））。図１の例では、分類結果としてＧＵＩ部品がボタンであると判定されている。このようなＧＵＩ部品を自動的に検出するための技術の一例として、Ｆａｓｔｅｒ ＲＣＮＮ（Regions with Convolutional Neural Networks）が知られている。また、ＧＵＩ部品を分類するための学習済みモデルは、例えば、機械学習により生成することができる。

図２は、例示的なＧＵＩ部品を分類するための学習済みモデルの生成の流れを示す図である。図２（ａ）には、モデルの学習フェーズが示されている。まず、教師データとして様々なＧＵＩ部品が写る複数の画像データを用意する。なお、複数の画像データには、その画像データに写るＧＵＩ部品の分類がラベルされていてよい。

そして、学習フェーズでは、教師データをモデルに入力して得られた出力データとラベルとのズレの大きさを損失関数で計算し、その損失値が小さくなるようにモデルに付随するパラメータを更新する。この処理を、教師データとして用意した複数の画像データに対して繰り返し実行することで、モデルのパラメータを学習して学習済みモデルを生成することができる。

また、図２（ｂ）には、学習済みモデルの評価フェーズが示されている。評価フェーズでは、生成された学習済みモデルの推定精度を、学習に用いていないラベル付きの画像データを用いて評価する。例えば、学習済みモデルにＧＵＩ部品の画像データを入力して得られる出力データと、ラベルのＧＵＩ部品の分類とが一致していれば正解として、正解が出力される割合から学習済みモデルによる判定の正確度を評価することができる。

なお、学習済みモデルの生成には、既知の様々な機械学習アルゴリズムを利用することができる。一例では、学習済みモデルは、ディープラーニングなどのニューラルネットワーク、サポートベクターマシンなどの機械学習アルゴリズムを用いて生成されてよい。

例えば、以上のようにして、ＧＵＩ部品を分類する学習済みモデルを生成することができる。しかしながら、多様なＧＵＩ部品を適切に分類することができるロバストな学習済みモデルを構築するためには、多くの教師データを用意することが望ましい。例えば、教師データの数が十分でない場合、生成した学習済みモデルが誤った分類をしてしまうことが知られている。

そのため、機械学習に用いる教師データを増やすためのデータ拡張の技術が注目されている。図３は、実施形態に係るＧＵＩ部品の画像データを増やすためのデータ拡張の手順を説明する図である。例えば、図３（ａ）に示すように、ＧＵＩ部品の写る画像データに様々な摂動を与えることで、多様な画像データを生成することができる。なお、画像に与える摂動の種類としては、例えば、並行移動（Ｘ方向）、並行移動（Ｙ方向）、拡大縮小、ブライトネスの調節、およびコントラストの調節などのパラメータの調節が挙げられる。

図３（ｂ）は、ＧＵＩ部品の画像データに対する摂動処理の一例を示している。図３（ｂ）の例では、ＧＵＩ部品の写る画像データを、Ｘ軸方向に＋２ピクセル平行移動し、次に画像サイズを１．１倍に拡大し、ブライトネスを０．８倍に調節し、最後にコントラストを０．８倍に調節して、摂動済みの画像を生成している。なお、図３（ｂ）の例では、画像データのＸ軸は、画像データの横軸と一致しており、また、Ｙ軸は画像データの縦軸と一致しているものとする。摂動の結果、図３（ｂ）では、Ｘ軸方向の２ピクセルの移動により画像データが存在しなくなった領域が黒色で表示されている。また、画像サイズは元の画像サイズの１．１倍に拡大されている。更に、ブライトネスおよびコントラストなどの輝度を調節するパラメータを変更した結果、元の画像よりも摂動後の画像データは全体的に暗くなっている。なお、輝度を調節するパラメータを、輝度調節パラメータと呼ぶことがある。

このように、パラメータに摂動を与えて画像データを変換することで、１つの画像データから複数の摂動済みの画像データを生成することができる。また、摂動を与えても画像に写っているＧＵＩ部品の分類は変わらないため、生成された画像データには、元の画像に付されていたラベルを流用することができる。そのため、摂動された画像データを用いてモデルの学習に用いる教師データを水増しすることができる。

なお、摂動処理において、画像データに与える各パラメータの摂動の範囲は、例えば、経験則などに基づいて好ましい範囲を予め設定しておくことができる。

図４は、実施形態に係る摂動範囲を示す摂動範囲情報４００を例示する図である。図４の摂動範囲情報４００では、Ｘ軸方向およびＹ軸方向の並行移動については、−３ピクセル（ｐｘ）〜３ピクセル（ｐｘ）に摂動範囲が設定されている。また、拡大縮小は、０．９倍〜１．１倍に摂動範囲が設定されている。輝度調節パラメータであるブライトネスおよびコントラストは、０．８倍〜１．２倍に摂動範囲が設定されている。

しかしながら、このように摂動対象の画像データによらず固定的に設定した摂動範囲に従って画像データを摂動させると、好ましくない画像データが生成されてしまうことがある。

例えば、ボタン、テキストボックス、ドロップダウンボックスなどのＧＵＩ部品では、ＧＵＩ部品に文字、記号、および印などの表記が含まれ得る。こうした文字、記号、および印などの表記の色は、人間の目で見やすいように、ＧＵＩ部品の背景となる色とのコントラスト比が所定値以上となるように設定されることが好ましい。

例えば、ＷＣＡＧ２．０では、ウェブコンテンツをよりアクセシブルにするための広範囲に及ぶ推奨事項が規定されており、そのレベルＡＡ基準として文字と背景のコントラスト比は４．５：１以上とすることが規定されている。なお、ＷＣＡＧは、Web Content Accessibility Guidelinesの略称である。

しかしながら、摂動対象とする画像データによらず、固定的に定めた摂動範囲により、輝度調節パラメータ（例えば、ブライトネスやコントラスト）を摂動させて画像データを生成すると、コントラスト比が推奨されるレベルを下回ってしまうことがある。

図５は、摂動によりコントラスト比が推奨されるレベルを下回ってしまう場合を例示する図である。例えば、図５（ａ）では、摂動前は、コントラスト比が１４．８と十分に高い値を有している。しかしながら、ブライトネスを１．００、コントラストを０．７５で摂動させた結果、コントラスト比が３．８３にまで低下してしまい、コントラスト比の推奨されるレベル：４．５を下回ってしまっている。

また同様に、図５（ｂ）では、摂動前は、コントラスト比が４．８と十分に高い値を有している。しかしながら、ブライトネスを０．８３、コントラストを０．９２で摂動させた結果、コントラスト比が２．５５にまで低下してしまい、コントラスト比の推奨されるレベル：４．５を下回ってしまっている。

コントラスト比の推奨されるレベルは、利用者の視認性などを考慮して定められているため、ＧＵＩのアプリケーションを作成する場合、利用者の利便性に配慮して、推奨されるレベルを満たすようにＧＵＩのアプリケーションを作成することが多い。そのため、例えば、コントラスト比の推奨レベルを満たしていないＧＵＩ部品は作成されないことが多い。そして、このような実際にはあまり用いられないコントラスト比を有する画像を用いて機械学習を行ってしまうと、学習済みモデルによる分類の信頼性が低下してしまう恐れがある。そのため、予め定められているコントラスト比の規定を満たすように輝度調節パラメータの摂動範囲を決定することのできる技術の提供が望まれている。

以下で述べる実施形態では、ブライトネスおよびコントラストなどの輝度調節パラメータを変更しながらコントラスト比が規定を満たす範囲を探索し、輝度調節パラメータの摂動範囲を決定する。それにより、輝度調節パラメータの摂動範囲をコントラスト比が規定を満たす範囲に適切に決定することができる。そのため、輝度調節パラメータを摂動させて生成した摂動画像を機械学習モデルに用いた場合の推定の信頼性を保つことができる。以下、実施形態を更に詳細に説明する。

図６は、実施形態に係る情報処理装置６００の機能ブロック構成を例示する図である。情報処理装置６００は、例えば、パーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末などのコンピュータであってよい。情報処理装置６００は、例えば、制御部６０１および記憶部６０２を含む。制御部６０１は、例えば変換部６１１、特定部６１２、決定部６１３、および生成部６１４などを含み、また、その他の機能部を含んでもよい。情報処理装置６００の記憶部６０２は、例えば、ＧＵＩ部品の画像データ、摂動範囲情報４００、および、画像摂動範囲情報１５００などの情報を記憶していてよい。これらの各部の詳細については後述する。

続いて、コントラスト比についての例を説明する。

（コントラスト比）
コントラスト比は、２つの色の輝度に基づいて求められる値である。一例として、ＷＣＡＧ２．０ではコントラスト比として以下の式が規定されている。

式１において、Ｌは相対輝度を表しており、Ｌ_１は明るい方の色の相対輝度、また、Ｌ_２は暗い方の色の相対輝度を表す。相対輝度：Ｌは、例えば以下のように求めることができる。例えば、２４ビットで表されるＲＧＢ（Red-Green-Blue color model）カラーの色があるとする。この場合、赤、緑、青の各色の成分の大きさは８ビットで表されてよく、その８ビット値を以下ではＣ_８ｂｉｔと記載する。なお、Ｃ_８ｂｉｔの最大値は２５５であり、最小値は０の２５６階調であってよい。続いて、以下の式２で輝度を０〜１の範囲の値に正規化したＣ_ｓを求める。

続いて、得られたＣ_ｓの値にガンマ補正をかけてＸ_ｃを求める。なお、下記の式３によりガンマ補正を近似することができる。式３では、Ｃ_ｓが０．０３９２８以下であれば上段の式を適用し、Ｃ_ｓが０．０３９２８よりも大きければ下段の式を適用してＸ_ｃが計算される。

そして、得られた赤、緑、青の各色のＸ_ｃを用いて以下の式４を計算することで相対輝度：Ｌを計算することができる。なお、式４では赤色の成分に対して計算したＸ_ｃをＸ_Ｒ、緑色の成分に対して計算したＸ_ｃをＸ_Ｇ、青色の成分に対して計算したＸ_ｃをＸ_Ｂとしている。

そして、例えば、以上のようにして、相対輝度：Ｌをコントラスト比を求める対象とする２つの色について特定し、式１に代入することで、コントラスト比を求めることができる。なお、コントラスト比の算出は、以上の例に限定されるものではない。例えば、別の実施形態では、ＲＧＢの値からガンマ補正等を介さずに直接計算された相対輝度を用いてコントラスト比が計算されてもよい。また、コントラスト比の算出式は、式１とは異なる式であってもよい。

続いて、輝度を調節するための輝度調節パラメータの例として、ブライトネスおよびコントラストについて説明する。なお、ブライトネスは、明度と呼ばれてもよい。以下、ブライトネスおよびコントラストによる輝度の調節について説明する。

図７は、輝度調節パラメータによる輝度の調節について説明する図である。まず、ブライトネスによる輝度の調節についての例を説明する。

（ブライトネスの調節）
図７（ａ）は、ブライトネスの調節について説明する図である。図７（ａ）では、上側にブライトネスの値が示されており、下側に輝度の値が示されている。そして、例えば、黒色の輝度を０．０とし、また、白色の輝度を１．０とする。一方、ブライトネスについては、黒色の輝度：０．０のときのブライトネス：０．０とし、ブライトネスの調節対象とする色の輝度のときのブライトネス：１．０とする。この場合に、ブライトネス：１．０に対する調節後のブライトネスの値に応じて輝度が調節される。例えば、調節対象とする色の輝度が０．３の場合、ブライトネスを２．０に調節すると、０．３×２．０／１．０＝０．６に輝度が調節される。また、調節対象とする色の輝度が０．８の場合、ブライトネスを１．２に調節すると、０．８×１．２／１．０＝０．９６に輝度が調節される。この様に、ブライトネスの調節では、ブライトネスの値に対する輝度の調節の度合いが、調節対象とする色の輝度に応じて変化する。

続いて、コントラストによる輝度の調節についての例を説明する。

（コントラストの調節）
図７（ｂ）は、コントラストによる輝度の調節について説明する図である。図７（ｂ）では、上側にコントラストの値が示されており、下側に輝度の値が示されている。そして、例えば、黒色の輝度を０．０とし、また、白色の輝度を１．０とする。一方、コントラストについては、灰色の輝度：０．５をコントラスト：０．０とし、コントラストの調節対象とする色の輝度をコントラスト：１．０とする。この場合に、コントラスト：０．０と対応する灰色の輝度：０．５に対する調節対象とする色の輝度の配置と、コントラスト：１．０に対する調節後のコントラストの値に応じて輝度が調節される。例えば、調節対象とする色の輝度が０．３の場合、コントラストを２．０に調節すると、０．５＋（０．３−０．５）×２．０＝０．１に輝度が調節される。従って、調節対象とする色の輝度がコントラスト：０．０の灰色の輝度：０．５よりも低いと、輝度が小さくなるように調節される。また、調節対象とする色の輝度が０．６の場合、コントラストを１．５に調節すると、０．５＋（０．６−０．５）×１．５＝０．６５に輝度が調節される。従って、調節対象とする色の輝度がコントラスト：０．０の灰色の輝度：０．５よりも高いと、輝度が大きくなるように調節される。この様に、コントラストの調節では、コントラストの値に対する輝度の調節の度合いが、調節対象とする色の輝度に応じて変化し、また、調節対象とする色の輝度がコントラスト：０．０の輝度：０．５よりも大きいか否かによって輝度の調節の方向が変化する。

例えば、以上で述べたブライトネスおよびコントラストによる輝度の調節は、画像編集のアプリケーションなどで利用されている。なお、ブライトネスおよびコントラストによる輝度の調節は、上記の例に限定されるものではなく、その他の形式でブライトネスおよびコントラストにより輝度が調節されてもよい。

続いて、実施形態に係る摂動範囲の決定処理について説明する。摂動範囲の決定処理では、画像内にある文字の色などの第１の色と、背景などの第２の色とが所定のコントラスト比を満たすように、画像の輝度調節パラメータであるコントラストおよびブライトネスの摂動範囲、或いはその摂動範囲の上限または下限を決定する。

図８は、実施形態に係る摂動範囲の決定処理の動作フローを例示する図である。例えば、情報処理装置６００の制御部６０１は、摂動範囲の決定を行う処理対象の画像の指定とともに摂動範囲の決定処理の実行指示が入力されると、図８の動作フローを開始してよい。処理対象の画像は、例えば、図３を参照して例示したように、ＧＵＩ部品の表示領域が抽出された画像であってよい。

ステップ８０１（以降、ステップを“Ｓ”と記載し、例えば、Ｓ８０１と記載する）において制御部６０１は、処理対象の画像を輝度画像に変換する。なお、輝度画像は、画像中の位置に応じた輝度の成分を行列で表した輝度行列であってもよい。

図９は、実施形態に係る輝度画像への画像変換を例示する図である。例えば、制御部６０１は、図９に示すように、８ビット値で表される各色の２５６階調のＲＧＢの値から画像内の各位置と対応する輝度を求め、画像を輝度で表した輝度画像を生成してよい。なお、輝度画像の各画素の輝度には、一例では、上述の式２から式４により求められる相対輝度：Ｌを用いることができる。

Ｓ８０２において制御部６０１は、輝度画像から画素をサンプリングする。例えば、制御部６０１は、輝度画像の全画素に対して所定の割合まで画素のサンプリングを実行してよい。例えば、制御部６０１は、輝度画像の画素数の０．３％〜３％などの数までサンプリングを実行してよく、一例では、１％の数までサンプリングを実行してよい。また、制御部６０１は、輝度画像の中心付近での画素のサンプリングの回数が、輝度画像の周辺付近での画素のサンプリングの回数よりも高くなるように、画素のサンプリングを実行してよい。

図１０は、実施形態に係る輝度画像からの画素のサンプリングを例示する図である。図１０（ａ）には輝度画像が例示されている。ＧＵＩ部品の場合、ＧＵＩ部品の画像領域において文字、記号、および印などの表記は画像の中心付近に配置されることが多い。例えば、図１０（ａ）では、「完了」の文字がＧＵＩ部品の中心付近に配置されている。そのため、ＧＵＩ部品の中心領域でのサンプリング数が、中心領域の外側にある周辺領域でのサンプリング数よりも多くなるように画素をサンプリングすることで、表記の表示に用いられている色の画素を効率的にサンプリングすることができる。また、ＧＵＩ部品内には文字、記号、および印などの表記の色よりも背景の色の方が多く含まれる傾向がある。そのため、この様に中心付近を重点的にサンプリングすることで、ＧＵＩ部品の表示領域の全体からランダムにサンプリングを行った場合と比較して、表記の色を有する画素と、背景の色を有する画素とを近しい量比でサンプリングすることができる。なお、中心領域は、例えば、画像の中心を含む所定サイズの領域であってよく、一例では、中心から所定の画素数の範囲の領域を中心領域としてよい。なお、中心領域のサイズは、例えば、ＧＵＩ部品に用いられる表記のフォントなどのサイズに応じて表記の領域が抽出され易いように定めることができる。また、画像において周辺領域は、中心領域の外側の領域であってよい。中心領域と周辺領域とは、一例では接していてもよく、別の例では接していなくてもよい。

なお、ＧＵＩ部品の中心領域でのサンプリング数が、中心領域の外側にある周辺領域でのサンプリング数よりも多くなるように画素をサンプリングする手法の１つとして、正規分布に従った頻度で、画像内から画素をサンプリングすることが考えられる。図１０（ｂ）は、Ｘ軸方向の座標に沿ったサンプリング頻度を示す図である。ここで、図１０（ａ）の画像では、横方向がＸ軸であり、縦方向がＹ軸であるものとする。この場合に、図１０（ｂ）に示すように、制御部６０１は、正規分布に従う頻度で画像の中心領域でのサンプリング回数が、中心領域の外側にある周辺領域でのサンプリング回数よりも多くなるように画素のサンプリングを行ってよい。それにより、制御部６０１は、表記の色と対応する輝度を効率的に収集することができる。なお、制御部６０１は、Ｙ軸の方向にも同様に、正規分布に従う頻度で中心領域でのサンプリング回数が、中心領域の外側にある周辺領域でのサンプリング回数よりも多くなるように画素のサンプリングを行ってよい。サンプリングの手法は、以上の手法に限定されるものではなく、その他の手法で画素のサンプリングが実行されてもよい。例えば、制御部６０１は、画像の中心領域でのサンプリングの頻度が、中心領域の外側にある周辺領域よりも多くなる分布であればその他の分布に従ってサンプリングを行ってもよい。

また更に別の実施形態では、制御部６０１は、文字が画像の中心領域にあることを想定し、画像の端を所定のピクセル数だけ取り除いてサンプリングを行ってもよい。それにより、周辺領域のうち取り除かれた領域ではサンプリングが行われなくなるため、中心領域のサンプリング頻度を周辺領域よりも高めることができる。この場合、サンプリングは、一例ではランダムな位置で行われてもよい。

続くＳ８０３からＳ８０８の処理では、制御部６０１は、サンプリングした画素の輝度を用いて、文字、記号、および印などのＧＵＩ部品の表記の色と対応する輝度と、背景の色と対応する輝度とを特定する処理を実行する。なお、図１１は、実施形態に係る表記の色の輝度および背景の色の輝度の特定の例を説明する図である。

Ｓ８０３において制御部６０１は、それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度画像からサンプリングした画素の輝度を分類し、グループごとにグループに属するサンプリングした画素の数を集計する。例えば、制御部６０１は、輝度の範囲（例えば、０．０から１．０の全体）を所定の間隔で複数のグループに区切り、サンプリングした画素を輝度で各グループに分類し、各グループごとに画素の数を集計してよい。図１１（ａ）には、０．０から１．０の輝度範囲を０．１間隔でグループに分けて、グループに属する画素の数をカウントした例が示されている。なお、図１１の例では、輝度範囲には、範囲の最小値の輝度が登録されており、また、輝度範囲は１つ下段の輝度範囲の最小値未満までの範囲を有していてよい。例えば、輝度範囲：０．１は、グループの輝度範囲が０．１以上で０．２未満であることを表していてよい。

Ｓ８０４において制御部６０１は、複数のグループの画素の数を代表する代表数を特定する。なお、代表数は、一例では、各グループの画素の数の中央値であってよい。例えば、図１１（ｂ）では、制御部６０１は、グループに属する画素の数でソートを行っており、図１１（ｃ）では、ソートした結果から画素の数の中央値を画素の数を代表する代表数として特定している。なお、代表数は、中央値に限定されるものではなく、平均値などのその他の統計値や、最大の画素の数に対して所定の割合の数などのその他の値であってもよい。

Ｓ８０５において制御部６０１は、画素の数が、代表数に対して所定の条件を満たして多いグループを特定する。所定の条件は、例えば、輝度範囲の全体において顕著に高いピークを特定する条件であればよい。一例では、所定の条件は、複数のグループの画素数の中央値の２倍の画素数を有するグループを抽出する条件であってよい。図１１の例では、制御部６０１は、図１１（ｄ）に示すように、代表数として特定した中央値：１２２の２倍以上の数を有する輝度範囲：０．１のグループと、輝度範囲：０．９のグループとを特定している。

Ｓ８０６において制御部６０１は、ピークとして特定されたグループの数が２以上であるか否かを判定する。ピークとして特定されたグループの数が２以上でなければ、ＧＵＩ部品の表記および背景と対応するピークを検出するのに十分な画素のサンプリングが行われていない可能性が考えられる。そのため、ピークとして特定されるグループの数が２以上でない場合（Ｓ８０６がＮＯ）、フローはＳ８０２に戻り、制御部６０１は、輝度画像からの更なる画素のサンプリングを行い、画素の数を増やして以降の処理を繰り返す。一方、ピークとして特定されたグループの数が２以上である場合（Ｓ８０６がＹＥＳ）、フローはＳ８０７に進む。

Ｓ８０７において制御部６０１は、ピークとして特定されたグループの数が２であるか、またはグループの数が１０以下であるか否かを判定する。ピークとして特定されたグループの数が２ではなく、かつ、グループの数が１０よりも多い場合（Ｓ８０７がＮＯ）、フローは８０８に進む。

Ｓ８０８において制御部６０１は、グループ数を減らしてグループの１つあたりに割り当てられる輝度範囲を拡張する。一例では、制御部６０１は、グループの輝度範囲を２倍に拡張して、隣接する２つのグループの画素の数を１つのグループに統合してよい。

図１２は、グループの輝度範囲を拡張した際のピークの変化を例示する図である。図１２には、縦軸に画素の数、横軸に輝度をとったヒストグラムが示されている。図１２（ａ）のヒストグラムでは、０．０から１．０の輝度範囲を１００等分した１００個のビンが示されている。この場合に、１．０付近のビンは目立った高いピークで示されているが、その他には目立ったピークがない。ＧＵＩ部品では、例えば、アンチエイリアス処理により文字、記号、および印などの表記のエッジ付近に中間色が多数生成されることがある。この場合、表記の色と対応する輝度のピークは散らばってしまう傾向がある。例えば、この様な場合にも、ビンの数を少なくすることで、隣接するビンのピークが統合され、表記の色と対応する輝度のピークを目立たせることが可能である。例えば、図１２（ｂ）には、ビンの数を１００個から２５個に減らし、０．０から１．０の輝度範囲を２５等分した２５個のビンが示されている。そして、このようにビンの数を減らすことで、図１２（ｂ）では０．０付近に他の輝度領域と比較して顕著に高いピークが出現している。その結果、図１２の例では、代表数の２倍以上の数を有するピークとして２つのピークを検出することが可能となっている。

そして、Ｓ８０７において、ピークとして特定されたグループの数が２である場合（Ｓ８０７がＹＥＳ）、フローはＳ８０９に進む。なお、この様に、サンプリングした画素において顕著に高い頻度で検出された上位の２つのグループの輝度は、ＧＵＩ部品の表記の色および背景の色の輝度と対応している可能性が高い。また、Ｓ８０７では、制御部６０１は、グループの数が１０以下であるか否かの判定も行っている。これは、グループの数をあまりに少なくしてしまうと、ピークが表記や背景の輝度を表さない可能性が増大するためである。そのため、制御部６０１は、グループ数が１０以下となった場合には、強度が上位の２つのピークを表記および背景のピークとみなして処理を進めてよい。

そして、Ｓ８０９において制御部６０１は、２つのピークから２つの輝度を取得し、２つの輝度を用いてコントラスト比を算出する。ピークの輝度は、例えば、ピークとして検出されたグループに属する画素の輝度の代表値であってよく、輝度の代表値には、一例では平均値、中央値、最頻値などの統計値を用いることができる。

Ｓ８１０において制御部６０１は、得られたコントラスト比が所定値以上か否かを判定する。所定値は、一例では、上述のＷＣＡＧ２．０のＡＡ基準で定められているコントラスト比の閾値：４．５などの規約によって定められた値であってよい。コントラスト比が所定値以上である場合（Ｓ８１０がＹＥＳ）、フローはＳ８１１に進む。

Ｓ８１１において制御部６０１は、摂動後のコントラスト比が所定値以上となるように輝度調節パラメータの摂動範囲を特定する。制御部６０１は、例えば、ブライトネスおよびコントラストを０．０から探索し、コントラスト比が所定値以上の値となるブライトネスおよびコントラストの範囲を決定してよい。一例では、制御部６０１は、ブライトネスおよびコントラストを同じ値に設定して動かし、コントラスト比が所定値以上となる条件が満たされる範囲の探索を行ってよい。

図１３は、実施形態に係るブライトネスおよびコントラストの摂動範囲の探索を例示する図である。例えば、制御部６０１は、０．０から０．１ずつブライトネスおよびコントラストの値を増やしながら、コントラスト比が４．５を超える点を線形探索してよい。なお、コントラストおよびブライトネスが０．０の点では、２つの色は完全な黒であるため、コントラスト比は１．０となる。図１３では、０．０から順に０．１ずつ輝度調節パラメータ（ブライトネスおよびコントラスト）の値を増やして探索を行い、そのときのコントラスト比を求めている。そして、摂動パラメータが０．２から１．９の範囲でコントラスト比が４．５を超えている。そのため、制御部６０１は、コントラストおよびブライトネスの摂動範囲の上限および下限を、０．２〜１．９の範囲に定めてよい。

なお、コントラストおよびブライトネスの値は、白色を超えるとそれ以上高くしても明るくはならず頭打ちとなる。そのため、一例では、コントラストおよびブライトネスの探索範囲の上限は、２．０など所定の値に定められていてよく、制御部６０１は、その値を超えたら探索を終了してもよい。この場合、制御部６０１は、コントラストおよびブライトネスの下限値および上限値の少なくとも一方のみを探索により決定してよい。

図１４は、以上で述べたブライトネスとコントラストの探索をグラフで表した例を示す図である。図１４において縦軸はコントラストであり、横軸はブライトネスである。グラフ内の各座標位置には、その座標でのブライトネスおよびコントラストの値に応じたコントラスト比がプロットされているものとする。この場合に、図１４に示すように、コントラスト比が４．５以上の領域が円状の領域として示される。そして、コントラストとブライトネスの値を０．０から０．１ずつ上げてコントラスト比を求めることで、図１４の矢印のラインに沿って探索を行うことができ、コントラスト比が４．５を超える範囲の下限値：１．４５を特定することができる。なお、図１４の例では、探索範囲を２．０で打ち切っており、下限の１．４５は特定されているが、上限は特定されていない。別の実施形態では、更に探索を続けて上限を特定してもよい。

Ｓ８１２において制御部６０１は、特定した摂動範囲を処理対象の画像と対応づけて出力し、本動作フローは終了する。例えば、制御部６０１は、Ｓ８１１で特定したコントラスト比が４．５以上となる摂動範囲の下限値および上限値の少なくとも一方に基づいて摂動範囲を決定し、処理対象の画像と対応づけて画像摂動範囲情報１５００に登録してよい。或いは、制御部６０１は、好ましい範囲として予め定められている摂動範囲情報４００の摂動範囲を、コントラスト比に基づき特定した摂動範囲の下限値および上限値の少なくとも一方を用いて狭めて画像摂動範囲情報１５００に登録してもよい。例えば、機械学習の教師データを生成する上で好ましい摂動範囲として、摂動範囲情報４００に例示するように、ブライトネスおよびコントラストの摂動範囲が予め０．８から１．２の範囲に定められているものとする。また、コントラスト比が４．５を超える範囲として、０．９６〜２．０の範囲が特定されたとする。この場合、制御部６０１は、コントラストの摂動範囲の下限値に０．９６を端として用いて、摂動範囲を０．９６〜１．２の範囲に定めてよい。この様に摂動範囲を決定することで、摂動範囲情報４００などに予め登録されている摂動範囲内にコントラスト比が所定値未満となる範囲が含まれてしまっている場合にも、コントラスト比が所定値未満とならないように摂動範囲を狭めることができる。

また、摂動範囲情報４００などに予め登録されている摂動範囲の内側に、Ｓ８１１において摂動範囲の上限値および下限値が決定されたとする。この場合には、制御部６０１は、決定された上限値および下限値を端とする摂動範囲を、処理対象の画像に対する摂動範囲として画像摂動範囲情報１５００に登録してよい。更には、摂動範囲情報４００などに予め登録されている摂動範囲の外側に、Ｓ８１１において摂動範囲の上限値および下限値が決定されたとする。この場合には、制御部６０１は、摂動範囲情報４００などに予め登録されている摂動範囲を、処理対象の画像に対する摂動範囲として画像摂動範囲情報１５００に登録してもよい。

図１５は、実施形態に係る画像摂動範囲情報１５００を例示する図である。画像摂動範囲情報１５００には、例えば、画像識別子、ブライトネス、およびコントラストが対応づけられたレコードが登録されている。画像識別子は、例えば、ＧＵＩ部品の画像を識別する識別子である。また、ブライトネスは、レコードの画像識別子で識別されるＧＵＩ部品の画像に対して設定されたブライトネスの摂動範囲が登録されている。コントラストは、レコードの画像識別子で識別されるＧＵＩ部品の画像に対して設定されたコントラストの摂動範囲が登録されている。例えば、以上で述べたように、Ｓ８１２の処理では制御部６０１は、決定した摂動範囲に関する情報を、画像摂動範囲情報１５００にレコードとして登録してよい。

一方、Ｓ８１０においてコントラスト比が所定値未満である場合（Ｓ８１０がＮＯ）、フローはＳ８１３に進む。この場合、ＧＵＩ部品の表記の色と背景の色とがコントラスト比の規定を満たしていないことを表している。例えば、入力が禁止されているＧＵＩ部品などの場合、入力が禁止されていることを利用者が認識し易いように、故意に見えづらいコントラスト比に設定してＧＵＩ部品を作成することがある。このようなＧＵＩ部品は、学習済みモデルの生成のための教師データとして好ましくない可能性がある。そのため、Ｓ８１３では制御部６０１は、コントラストおよびブライトネスを１．０に設定して画像を摂動させなくてよい。

以上で述べたように実施形態によれば、輝度調節パラメータの摂動範囲を、ＧＵＩ部品の表記の色と背景の色とのコントラスト比が所定値以上となるように設定することができる。そのため、実際には利用されないコントラスト比を有する不自然な画像を摂動により生成して機械学習に用いてしまうことを抑制することができる。その結果、学習済みモデルの推定結果の信頼性を向上させることができる。

また、上述の実施形態では、摂動範囲は摂動対象の画像に応じて決定される。そのため、例えば、複数の画像に対して同じ摂動範囲で画像を摂動させる場合と比較して、コントラスト比が適切な値を有する範囲で、多様な画像を生成することが可能となる。

なお、上述の実施形態において図１３および図１４の説明では、コントラスト比が満たされる範囲を、ブライトネスおよびコントラストの双方を同じ値で動かして探索する例を述べているが、実施形態はこれに限定されるものではない。例えば、別の実施形態では、ブライトネスとコントラストの一方の摂動範囲の決定に、上述の実施形態が利用されてもよい。例えば、画像に対してブライトネスとコントラストの調節を適用する場合、図３に示すように、一方の輝度調節パラメータを調節した後で、他方の輝度調節パラメータの調節が行われる。そのため、一実施形態においては、制御部６０１は、前段で適用する輝度調節パラメータの摂動範囲を固定的に定められた範囲の上限値および下限値で摂動させてよい。その後、制御部６０１は、後段で適用する輝度調節パラメータの摂動範囲の上限値および下限値の少なくとも一方を、上述の実施形態に従って摂動画像で表記と背景の色のコントラスト比の所定値以上となるように決定してもよい。

また、ＧＵＩの設計において、見やすさを向上させる別な観点として、ＧＵＩ部品の表記と背景に補色を採用することが考えられる。しかしながら、たとえ補色を採用した場合でも、コントラスト比が不十分である場合、見やすさは損なわれて見にくい画像となってしまう。即ち、ＧＵＩ部品の見やすさを確保するためには表記と背景のコントラスト比が十分に大きいことが重要である。そのため、ＧＵＩ部品の表記と背景に補色を用いる場合にも、上述の実施形態によるコントラスト比の摂動範囲の決定は有用である。

続いて、実施形態により決定された摂動範囲を用いた摂動画像の生成について説明する。図１６は、実施形態に係る摂動画像の生成処理を例示する図である。制御部６０１は、例えば、摂動対象とするＧＵＩ部品の画像の指定とともに摂動画像の生成指示が入力されると、図１６の動作フローを開始してよい。

Ｓ１６０１において制御部６０１は、指定された摂動対象のＧＵＩ部品画像を読み出す。Ｓ１６０２において制御部６０１は、読み出したＧＵＩ部品画像と対応する摂動範囲を画像摂動範囲情報１５００から読み出す。例えば、制御部６０１は、指定された摂動対象のＧＵＩ部品画像の画像識別子と対応するブライトネスの摂動範囲と、コントラストの摂動範囲とを読み出してよい。

Ｓ１６０３において制御部６０１は、読み出した摂動範囲に従ってＧＵＩ部品画像を摂動させて摂動画像を生成する。なお、摂動画像の生成では、コントラストとブライトネスの摂動に加えて、例えば、並行移動、拡大縮小などのその他の摂動をＧＵＩ部品画像に与えてもよく、それにより、複数の摂動画像が生成されてよい。また、コントラストとブライトネスの適用順序は、例えば、画像摂動範囲情報１５００に登録されている摂動範囲の決定の際の適用順序と一致していれば、どちらが先であってもよい。

Ｓ１６０４において制御部６０１は、生成した摂動画像を記憶部６０２に保存し、本動作フローは終了する。

図１６の動作フローによれば、表記の色と背景の色とのコントラスト比が所定値以上となる複数の摂動画像を生成することができる。そのため、実際にＧＵＩ部品として利用されている表記の色と背景の色とのコントラスト比を有する好ましい摂動画像を生成して機械学習に用いることが可能となる。その結果、学習済みモデルの推定結果の信頼性を向上させることができる。

以上において、実施形態を例示したが、実施形態はこれに限定されるものではない。例えば、上述の動作フローは例示であり、実施形態はこれに限定されるものではない。可能な場合には、動作フローは、処理の順番を変更して実行されてもよく、別に更なる処理を含んでもよく、または、一部の処理が省略されてもよい。例えば、上述の図８では、画像中の一部の画素をサンプリングし、十分な数のピークが見つからなければサンプリング数を増やす処理を行う例を述べている（例えば、Ｓ８０６の判定による繰り返し処理）。しかしながら、実施形態はこれに限定されるものではない。別の実施形態では、ピークの検出に十分な数の画素を最初からサンプリングすることで、Ｓ８０６の処理は省略されてもよい。

なお、上述の図８の動作フローにおいて、例えば、Ｓ８０１の処理では、情報処理装置６００の制御部６０１は、変換部６１１として動作する。また、例えば、Ｓ８０２〜８０９の処理では、情報処理装置６００の制御部６０１は、特定部６１２として動作する。例えば、Ｓ８１０〜８１３の処理では、情報処理装置６００の制御部６０１は、決定部６１３として動作する。また、例えば、図１６の動作フローでは制御部６０１は、生成部６１４として動作する。

図１７は、実施形態に係る情報処理装置６００を実現するためのコンピュータ１７００のハードウェア構成を例示する図である。図１７の情報処理装置６００を実現するためのハードウェア構成は、例えば、プロセッサ１７０１、メモリ１７０２、記憶装置１７０３、読取装置１７０４、通信インタフェース１７０６、および入出力インタフェース１７０７を備える。なお、プロセッサ１７０１、メモリ１７０２、記憶装置１７０３、読取装置１７０４、通信インタフェース１７０６、入出力インタフェース１７０７は、例えば、バス１７０８を介して互いに接続されている。

プロセッサ１７０１は、例えば、シングルプロセッサであっても、マルチプロセッサやマルチコアであってもよい。プロセッサ１７０１は、メモリ１７０２を利用して例えば上述の動作フローの手順を記述したプログラムを実行することにより、上述した制御部６０１の一部または全部の機能を提供する。例えば、情報処理装置６００のプロセッサ１７０１は、記憶装置１７０３に格納されているプログラムを読み出して実行することで、変換部６１１、特定部６１２、決定部６１３、および生成部６１４として動作する。

メモリ１７０２は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んでいてよい。記憶装置１７０３は、例えばハードディスク、フラッシュメモリ等の半導体メモリ、または外部記憶装置である。なお、ＲＡＭは、Random Access Memoryの略称である。また、ＲＯＭは、Read Only Memoryの略称である。

読取装置１７０４は、プロセッサ１７０１の指示に従って着脱可能記憶媒体１７０５にアクセスする。着脱可能記憶媒体１７０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体などにより実現される。なお、半導体デバイスは、例えば、ＵＳＢ（Universal Serial Bus）メモリである。また、磁気的作用により情報が入出力される媒体は、例えば、磁気ディスクである。光学的作用により情報が入出力される媒体は、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Blu-ray Disc等（Blu-rayは登録商標）である。ＣＤは、Compact Discの略称である。ＤＶＤは、Digital Versatile Diskの略称である。

記憶部６０２は、例えばメモリ１７０２、記憶装置１７０３、および着脱可能記憶媒体１７０５を含んでいる。例えば、情報処理装置６００の記憶装置１７０３には、ＧＵＩ部品の画像データ、摂動範囲情報４００、および、画像摂動範囲情報１５００が格納されている。

通信インタフェース１７０６は、プロセッサ１７０１の指示に従って、他の装置と通信する。一例では、通信インタフェース１７０６は、有線または無線通信で他の装置とデータを送受信してよい。

入出力インタフェース１７０７は、例えば、入力装置および出力装置との間のインタフェースであってよい。入力装置は、例えばユーザからの指示を受け付けるキーボード、マウス、タッチパネルなどのデバイスである。出力装置は、例えばディスプレーなどの表示装置、およびスピーカなどの音声装置である。

実施形態に係る各プログラムは、例えば、下記の形態で情報処理装置６００に提供される。
（１）記憶装置１７０３に予めインストールされている。
（２）着脱可能記憶媒体１７０５により提供される。
（３）プログラムサーバなどのサーバから提供される。

なお、図１７を参照して述べた情報処理装置６００を実現するためのコンピュータ１７００のハードウェア構成は、例示であり、実施形態はこれに限定されるものではない。例えば、上述の構成の一部が、削除されてもよく、また、新たな構成が追加されてもよい。また、別の実施形態では、例えば、上述の制御部６０１の一部または全部の機能がＦＰＧＡ、ＳｏＣ、ＡＳＩＣ、およびＰＬＤなどによるハードウェアとして実装されてもよい。なお、ＦＰＧＡは、Field Programmable Gate Arrayの略称である。ＳｏＣは、System-on-a-chipの略称である。ＡＳＩＣは、Application Specific Integrated Circuitの略称である。ＰＬＤは、Programmable Logic Deviceの略称である。

以上において、いくつかの実施形態が説明される。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換し、
それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて前記輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定し、
輝度を調節する輝度調節パラメータを変更することで前記２つの輝度を摂動させて探索を行い、摂動後の前記２つの輝度のコントラスト比が所定値以上となるように前記輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定し、
前記決定する処理で決定される前記摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、前記部品画像の前記輝度調節パラメータを摂動させて複数の摂動画像を生成する、
処理をコンピュータに実行させる摂動プログラム。
（付記２）
前記輝度画像からの前記画素のサンプリングは、前記輝度画像の中心領域よりも、前記中心領域の外側に位置する周辺領域の方が低い頻度となるように実行される、付記１に記載の摂動プログラム。
（付記３）
前記特定する処理は、前記複数のグループのそれぞれに分類された画素の数を代表する代表数に対して、所定の条件を満たして多い画素の数を有する２つのグループの輝度を前記２つの輝度として特定する、ことを特徴とする、付記１または２に記載の摂動プログラム。
（付記４）
前記特定する処理は、前記複数のグループのそれぞれに分類された画素の数を代表する前記代表数に対して、前記所定の条件を満たして多い画素の数を有するグループが２つよりも多い場合、前記複数のグループの数を減らして各グループの前記輝度範囲を拡張する処理を更に含む、付記３に記載の摂動プログラム。
（付記５）
前記輝度調節パラメータは、ブライトネスおよびコントラストの少なくとも一方を含む、付記１から４のいずれかに記載の摂動プログラム。
（付記６）
前記特定する処理は、前記グラフィカルユーザインタフェース部品の表記の色の輝度と背景の色の輝度とを、前記２つの輝度として特定する、ことを特徴とする、付記１から５のいずれかに記載の摂動プログラム。
（付記７）
グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換し、
それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて前記輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定し、
輝度を調節する輝度調節パラメータを変更することで前記２つの輝度を摂動させて探索を行い、摂動後の前記２つの輝度のコントラスト比が所定値以上となるように前記輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定し、
前記決定する処理で決定される前記摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、前記部品画像の前記輝度調節パラメータを摂動させて複数の摂動画像を生成する、ことを含む、コンピュータが実行する摂動方法。
（付記８）
グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換する変換部と、
それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて前記輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定する特定部と、
輝度を調節する輝度調節パラメータを変更することで前記２つの輝度を摂動させて探索を行い、摂動後の前記２つの輝度のコントラスト比が所定値以上となるように前記輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定する決定部と、
前記決定部で決定される前記摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、前記部品画像の前記輝度調節パラメータを摂動させて複数の摂動画像を生成する生成部と、
を含む、情報処理装置。

４００ 摂動範囲情報
６００ 情報処理装置
６０１ 制御部
６０２ 記憶部
６１１ 変換部
６１２ 特定部
６１３ 決定部
６１４ 生成部
１５００ 画像摂動範囲情報
１７００ コンピュータ
１７０１ プロセッサ
１７０２ メモリ
１７０３ 記憶装置
１７０４ 読取装置
１７０５ 着脱可能記憶媒体
１７０６ 通信インタフェース
１７０７ 入出力インタフェース
１７０８ バス

Claims (6)

1. グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換し、
   それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて前記輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定し、
   輝度を調節する輝度調節パラメータを変更することで前記２つの輝度を摂動させて探索を行い、摂動後の前記２つの輝度のコントラスト比が所定値以上となるように前記輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定し、
   前記決定する処理で決定される前記摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、前記部品画像の前記輝度調節パラメータを摂動させて複数の摂動画像を生成する、
   処理をコンピュータに実行させる摂動プログラム。
2. 前記輝度画像からの前記画素のサンプリングは、前記輝度画像の中心領域よりも、前記中心領域の外側に位置する周辺領域の方が低い頻度となるように実行される、請求項１に記載の摂動プログラム。
3. 前記特定する処理は、前記複数のグループのそれぞれに分類された画素の数を代表する代表数に対して、所定の条件を満たして多い画素の数を有する２つのグループの輝度を前記２つの輝度として特定する、ことを特徴とする、請求項１または２に記載の摂動プログラム。
4. 前記特定する処理は、前記複数のグループのそれぞれに分類された画素の数を代表する前記代表数に対して、前記所定の条件を満たして多い画素の数を有するグループが２つよりも多い場合、前記複数のグループの数を減らして各グループの前記輝度範囲を拡張する処理を更に含む、請求項３に記載の摂動プログラム。
5. グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換し、
   それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて前記輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定し、
   輝度を調節する輝度調節パラメータを変更することで前記２つの輝度を摂動させて探索を行い、摂動後の前記２つの輝度のコントラスト比が所定値以上となるように前記輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定し、
   前記決定する処理で決定される前記摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、前記部品画像の前記輝度調節パラメータを摂動させて複数の摂動画像を生成する、ことを含む、コンピュータが実行する摂動方法。
6. グラフィカルユーザインタフェース部品が表示されている領域の画像である部品画像を輝度画像に変換する変換部と、
   それぞれのグループが異なる輝度範囲を有する複数のグループに、輝度の値に基づいて前記輝度画像からサンプリングした画素を分類し、各グループに属する画素の数に基づいて２つの輝度を特定する特定部と、
   輝度を調節する輝度調節パラメータを変更することで前記２つの輝度を摂動させて探索を行い、摂動後の前記２つの輝度のコントラスト比が所定値以上となるように前記輝度調節パラメータの摂動範囲の下限値および上限値の少なくとも一方を決定する決定部と、
   前記決定部で決定される前記摂動範囲の下限値および上限値の少なくとも一方を端とする摂動範囲で、前記部品画像の前記輝度調節パラメータを摂動させて複数の摂動画像を生成する生成部と、
   を含む、情報処理装置。
   

Images