JP2023177230A - 顕著性解析システム、顕著性解析方法及びプログラム - Google Patents

Abstract

【課題】顕著性について説明精度の高い評価結果を得ることができ、かつ顕著性評価を求める者に分かりやすい評価結果を提供する。【解決手段】情報処理装置１等で構成される顕著性解析システム１００が、評価対象画像を入力する入力部１５と、評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部、及び低次の画像特徴量及び高次の画像特徴量に基づき画像内の顕著性を算出する算出部として機能する制御部１１と、を備えている。【選択図】図３

Description

新規性喪失の例外適用申請有り

本発明は、顕著性解析システム、顕著性解析方法及びプログラムに関する。

従来、顕著性の評価としては、色、輝度、方位のコントラスト等からなる低次の画像特徴量に基づくbottom up型の評価手法が知られている。また、アイトラッキング等で得られる視線データを教師データとし深層学習によって視線予測を行うtop down型のアプローチも知られている。
例えば特許文献１には、コンピューターが、場面の視覚的表現を受信し、場面内の少なくとも１つの選択領域を示す領域選択データを受信し、プロセッサが、視覚的注意モデルを視覚的表現に適用し、少なくとも１つの選択領域の視覚的目立ち度を決定することと、プロセッサが、少なくとも１つの選択領域と関連付けられている複数の視覚的特徴と関連付けられている特徴関連データを計算することと、プロセッサが、視覚的目立ち度及び特徴関連データに基づいて、少なくとも１つの選択領域内の視覚的特徴のうちの少なくとも１つが視覚的目立ち度に及ぼす特徴インパクトを評価することと、を含む方法が記載されている。

特許第６４９５２５４号公報

しかしながら、低次の画像特徴量に基づくbottom up型のアプローチの場合、デザイン（画像等）の中で注意を惹く部分、注視されやすい部分の顕著性を評価することは期待できるが、対象を認識する際の初期段階の情報処理（認識処理）において視線がどのように誘導されるか、という視線予測性に関しては十分に解析することができない。
また、従来視線予測性について用いられてきた深層学習によるアプローチの場合、デザインを制作するデザイナー（制作者）としては、視線がどこに誘導されたかという結果を知ることはできても、どのような要因（画像特徴量）によって視線が誘導されたのかについては理解が及ばない。このため、深層学習に基づく顕著性の評価結果から、デザインの顕著性・注目性を改善するには何をどのように変更すればよいか、改善の方向性を知ることは困難であるという課題があった。

本発明は、上記の従来技術における問題に鑑みてなされたものであって、顕著性について説明精度の高い評価結果を得ることができ、かつ顕著性評価を求める者に分かりやすい評価結果を提供することのできる顕著性解析システム、顕著性解析方法及びプログラムを提供することを課題とする。

上記課題を解決するために、請求項１に記載の発明は、顕著性解析システムであり、
評価対象画像を入力する入力部と、
前記評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部と、
前記低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出部と、
を備えることを特徴とする。

また、請求項１６に記載の発明は、顕著性解析方法であって
入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出工程と、
前記低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出工程と、
を含むことを特徴とする。

また、請求項１７に記載の発明は、プログラムであって
コンピューターに、
入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出機能と、
前記低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出機能と、
を実現させることを特徴とする。

本発明によれば、顕著性について説明精度の高い評価結果を得ることができ、かつ顕著性評価を求める者に分かりやすい評価結果を提供することができる。

本実施形態における顕著性解析システムを構成する情報処理装置の機能的構成を示す要部ブロック図である。 （ａ）は、評価対象画像の一例を示す図であり、（ｂ）は、顕著性マップの一例を示す図であり、（ｃ）及び（ｄ）は、改善提案例を示す図である。 本実施形態における評価対象画像についての顕著性解析処理の流れを模式的に示した説明図である。 従来例における評価対象画像についての顕著性解析処理の流れを示す説明図である。 （ａ）～（ｃ）は、深層学習において視線予測に基づく顕著性を予測する場合の顕著性評価例を示す図である。 文字顕著性表示処理の流れを示すフローチャートである。 （ａ）は、評価対象画像の一例を示す図であり、（ｂ）は、評価対象画像に顕著性マップを重ねて表示した画像の一例を示す図であり、（ｃ）は、評価対象画像内の文字の顕著性を表示した画像の一例を示す図である。 視線予測出力処理の流れを示すフローチャートである。 評価対象画像内における視線の現在地、及び現在地から第１方向及び第２方向に延びる領域の一例を示す図である。 視線予測モデルによる予測結果を表示した画像の一例を示す図である。 評価対象画像が動画像である場合の一例を示す図である。

図１から図１１を参照しつつ、本発明に係る顕著性解析システム、顕著性解析方法及びプログラムの一実施形態について説明する。
顕著性解析システム１００（図１参照）は、評価者（ユーザー等）がある画像（後述の「評価対象画像」）について視覚的に特に目立たせたいと考えている部分を目立たせることができている（これを「顕著性あり」という。）か否か、当該部分をより目立たせるためにはどのようにすればいいのかを知りたい場合に、顕著性に関する解析結果を示すことができるものである。評価者（ユーザー等）としては、例えばポスターのデザインや本の装丁、各種レイアウトの提案等を行うデザイナー（制作者）等やこうしたデザイナー（制作者）にデザインを発注する依頼者等が想定される。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
以下の実施形態では、顕著性解析システムが単体の情報処理装置で構成されている場合を例に説明するが、顕著性解析システムは、複数の情報処理装置等が連携することで構成されるものであってもよい。

［全体構成］
図１は、本実施形態における顕著性解析システム（顕著性解析システムを構成する情報処理装置）の機能的構成を示す要部ブロック図である。
本実施形態の顕著性解析システム１００を構成する情報処理装置１は、例えば、通常のコンピューター（ＰＣ）である。
情報処理装置１は、図１に示すように、操作受付部１４、入力部１５、表示部１６、通信部１７、及び例えばＣＰＵ（Central Processing Unit）等で構成される制御部１１、記憶部１２、ＲＡＭ（Random Access Memory）１３等を備えており、各部はバス１８により接続されている。

操作受付部１４は、外部からの入力操作を受け付けて、当該入力操作に応じた入力信号を生成し、制御部１１へ出力する。操作受付部１４は、例えば、キーボードやマウス等の各種ポインティングデバイス等を有する。また、操作受付部１４には、電力供給スイッチやリセットスイッチなどの各種スイッチング素子が含まれていてもよいし、これらに加えて又はこれらに代えて、表示部１６の表示画面と重なって位置するタッチパネル等を有していてもよい。

入力部１５は、顕著性の解析対象（評価対象）となる画像データ（以下「評価対象画像」ともいう）を外部の装置等（例えばデザインの作成に用いる専用端末等）から取得（顕著性解析システム１００に入力）する取得部である。
入力部１５は、例えばネットワークインターフェース等で構成され、通信ネットワークを介して有線又は無線で接続された外部機器からデータを受信するように構成されている。なお、入力部１５はネットワークインターフェース等で構成されるものに限定されず、ＵＳＢメモリーやＳＤカード等を差し込むことで画像データの取り込みが可能なポート等で構成されてもよい。

表示部１６は、例えば、液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display）等のモニターで構成される表示画面を有している。なお、表示画面上には操作受付部１４として機能するタッチパネルが一体に形成されていてもよい。
表示部１６は、制御部１１による制御に従い当該表示画面への表示動作を行う。具体的には、制御部１１から入力される表示信号に基づいて、各種画像等（例えば評価対象画像や顕著性の解析結果等）を表示画面に表示する。
なお、顕著性解析システム１００（顕著性解析システム１００を構成する情報処理装置１）に設けられる表示部１６は１つに限定されず、例えば複数のモニターを備えていてもよい。

通信部１７は、所定の通信規格に従って情報処理装置１と外部との間で行うデータの送受信を制御する。通信規格としては、特には限られないが、例えば、ＬＡＮ（Local AreaNetwork）に係るＴＣＰ／ＩＰなどが含まれる。また、これに加えて又は代えて、通信部１７は、ＷｉＦｉなどの無線通信に係る通信制御を行うことが可能なものであってもよい。その他、通信部１７は、ＵＳＢ（Universal Serial Bus）などの一対一での通信を制御するドライバーを有していてもよい。

制御部１１は、各種の演算処理を行い、情報処理装置１の動作を統括制御するハードウェアプロセッサーである。制御部１１は、単一のＣＰＵで構成されるものであってもよいし、複数が並列に演算処理を行うものであってもよい。また、複数のＣＰＵが機能などに応じて各々割り当てられて独立に演算を行うものであってもよい。

記憶部１２は、不揮発性の記憶媒体であり、例えば、フラッシュメモリーやＨＤＤ（Hard Disk Drive）などである。記憶部１２は、制御部１１により実行されるプログラムを記憶するプログラム記憶領域１２１等を有している。また記憶部１２は、制御部１１が各種処理を行うために必要な各種設定データ等を記憶している。
記憶部１２は、情報処理装置１に内蔵されているものに限定されず、外付けの装置であってもよい。また、記憶部１２は、クラウドサーバーなどのようにネットワーク上に位置しているものであってもよい。

ＲＡＭ１３は、制御部１１に作業用のメモリー空間を提供し、一時データを記憶する。ＲＡＭ１３は、例えば、ＤＲＡＭであり、大容量のデータを高速で読み書きが可能である。記憶される一時データには、入力部１５や通信部１７等を介して取得される評価対象の画像データ（評価対象画像）が含まれてよい。

なお、情報処理装置１は、操作受付部１４及び／又は表示部１６を有さず、通信部１７を介した外部からのアクセスにより入力操作（コマンド）の受付及び表示データの送出を行うものであってもよい。
また、ここでは単一の情報処理装置１が全ての処理を行うものとして説明しているが、制御部１１が複数のコンピューターに分散配置されて、適宜データを送受信しながら各処理を実行する顕著性解析システムであってもよい。

ここで制御部１１の機能の詳細について説明する。
制御部１１は、記憶部１２のプログラム記憶領域１２１に記憶されている各種処理プログラムを読み出してＲＡＭ１３に展開し、当該プログラムにしたがって各種処理を実行する。本実施形態において制御部１１は、プログラムとの協働により、以下のように各種機能を実現する。
すなわち制御部１１は、特徴量抽出部、算出部として機能する。また本実施形態では、さらにエリア設定部、判定部、改善提案部としても機能する。

特徴量抽出部としての制御部１１は、入力部１５において顕著性解析システム１００（情報処理装置１）に入力された「評価対象画像」について低次の画像特徴量及び高次の画像特徴量を抽出する。
なお、特徴量抽出部としての制御部１１が入力部１５から入力された「評価対象画像」について低次の画像特徴量及び高次の画像特徴量を抽出する具体的な手法については後述する。

ここで「低次の画像特徴量」とは、例えば色、輝度、方位（エッジの向き、形状）等を含む物理的な画像特徴量であり、外発的・受動的に、注視するよう人の視線を誘導するような成分である。本実施形態において「低次の画像特徴量」は、色や輝度分布、コントラスト等や、顔、フォント、動作の少なくともいずれかを広く含む概念である。
画像を見る者に与えるインパクト、注視の度合い（目立ち度、顕著性）は、画像を構成する各部に用いられている色（例えば補色差等）や部分ごとの明るさ（輝度）の分布、方位（向き）、コントラスト等の要素によって異なる。

例えば補色差の大きい部分（例えば赤色対緑色、青色対黄色の境界部分等）には視線が集まりやすく顕著性が高くなる傾向がある。また例えば全体が一定の方向に配列されている場合にこれと異なる向き（エッジ方向）に配置されているものがある場合、当該部分に視線が集まる傾向がある。さらに画像内に顔と認識される部分がある場合には、一般的に当該部分を注視する傾向がある。また画像を構成する要素が文字である場合には、フォントの種類やサイズによっても見る者の注視の度合いが異なる。フォントは特定の書体の文字を内包しており、活字体やブロック体や筆記体など様々な書体のものが存在する。どのようなフォントで表現されているかによって見る者の注目度合いが異なることもある。また同じ書体でも大きな文字は小さな文字よりも注目を集めやすい傾向がある。

さらに「評価対象画像」は静止画像に限定されず、動画像であってもよい。「評価対象画像」が動画像である場合には、画像内の各種の動作（動き、運動）も見る者の注視の度合いに影響を与える。例えば全体がほぼ一定の速度で一定方向に移動している画像の中で一か所だけ違う速度で動くものがある場合や他とは異なる方向に動くものがある場合等には、その部分に視線が集まる傾向がある。

「高次の画像特徴量」は、人の記憶や経験、知見等を反映する生理的、精神的な画像特徴量であり、内発的・能動的に、注視するよう人の視線を誘導するような成分である。より具体的には、画像を見る者に与えるインパクト、注視の度合い（目立ち度、顕著性）に影響を及ぼすとされる人の精神的・心理的な傾向、視線の移動傾向等から導かれる成分である。本実施形態において高次の画像特徴量は、位置バイアス、処理流暢性の少なくともいずれかの度合いを含んでいる。

例えば位置バイアスは、視線の動きの傾向として、画像の中心にあるものには視線が集まりやすいという「センターバイアス」や、例えば雑誌・ウェブページ等では視線が画像の左上から右下に向って移動しやすく左上に視線が集まりやすいという傾向、縦書きの文書を見る場合には右上から左下に向って視線が移動し右上に視線が集まりやすいという傾向、さらに例えばスーパーマーケット等の店舗に行った場合を考えると店内のレイアウトのうち目線の高さに近い部分に視線が集まりやすいという傾向等を含む概念であり、画像等を見る者の注視の度合い（目立ち度、顕著性）に影響を及ぼす。

また処理流暢性とは、一般的に人は簡単なもの、認知しやすいものは処理しやすく、複雑なもの、理解しにくいものは処理しにくいことをいい、本実施形態においては、画像中認識しやすく処理流暢性が高い部分には視線が向きやすく、注視されやすい傾向があり、認識しにくく処理流暢性が低い部分はあまり注視されない傾向がある、という意味で画像を見る者の注視の度合い（目立ち度、顕著性）に影響を及ぼす。

本実施形態において処理流暢性の度合いは、複雑度、デザインの密度、空間周波数の少なくともいずれかによって決定されるものを含んでいる。
すなわち、認識されにくい部分とは乱雑で複雑な部分、すなわちデザイン等が密集して分かりにくくなっている部分である。デザイン等が乱雑に密集している箇所等では、画像中にエッジ等の突然の変化が生じており、このような箇所では空間周波数が高い。複雑度、デザインの密度、空間周波数が高すぎる部分では処理流暢性が低くなる。
一方、複雑度、デザインの密度、空間周波数が低すぎる部分、つまり情報が含まれていない領域も情報を読み取ることが難しく、処理がしがたく、注視されない傾向がある。

例えば図２（ａ）に示す画像Ｉｍｏでは、画像左側に置かれたノートの上に、ノートの角度とは異なる角度で置かれたスマートフォンのエッジ部分や、画像右側に置かれたノートパソコンのエッジ部分、ノートとノートパソコンとの間に配置されている植物等に多くの視線が集まる。

また、算出部としての制御部１１は、低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する。
なお、算出部としての制御部１１が低次の画像特徴量及び高次の画像特徴量に基づいて顕著性を算出する具体的な手法については後述する。

また本実施形態では「評価対象画像」（画像Ｉｍｏ）中、顕著性の度合いを判定する領域を設定して、設定された領域（これを「判定エリア」という。）について顕著性を判定することができるようになっている。
エリア設定部としての制御部１１は、「評価対象画像」中に「判定エリア」を設定する。
本実施形態においてエリア設定部としての制御部１１により設定される「判定エリア」は、評価者（ユーザー等）が任意に指定したものである。

評価者（ユーザー等）による、顕著性の度合いを判定したい任意の領域Ａｒ１の指定は、例えば操作受付部１４からの入力操作等によって行われる。
例えば図２（ａ）では、画面左側にノート、画面右側にノートパソコン、ノートとノートパソコンとの間に植物が配置され、ノートパソコンの右側にはペン等の文房具が置かれている画像が「評価対象画像」（画像Ｉｍｏ）の例として示されている。実施形態では評価者（ユーザー等）が、このうちノートパソコンの画面からキーボードにかけての領域（エリア）を、顕著性を判定したい領域Ａｒ１として指定した場合を例示する。なお、図２（ａ）中、評価者（ユーザー等）によって指定された領域Ａｒ１を白破線で囲んで示している。

エリア設定部としての制御部１１は、このようにして「評価対象画像」中に任意の領域Ａｒ１が指定されると、当該領域を「判定エリア」として設定する。
また判定部としての制御部１１は、設定された「判定エリア」内における、各画像特徴量の顕著性に対する寄与度を判定する。
改善提案部としての制御部１１は、抽出部において抽出された画像特徴量の値に応じて、顕著性に関する改善を提案する。
なお、判定部としての寄与度の判定及び改善提案部としての提案の詳細については後述する。

［本実施形態における顕著性解析方法について］
本実施形態において顕著性解析方法では、入力部１５より入力された「評価対象画像」に対して低次の画像特徴量及び高次の画像特徴量を抽出し（特徴量抽出工程）、抽出された低次の画像特徴量及び高次の画像特徴量に基づいて、画像内の顕著性を算出する（算出工程）。具体的には、画像特徴量を抽出することにより、「評価対象画像」全体について各画像特徴量についての特徴量マップを生成し、この特徴量マップに基づいて画像中のどこにどの程度視線が集まるのか、注視度合いを表す顕著性マップが各画像特徴量ごとに生成される。さらに、各顕著性マップに、各画像特徴量が顕著性に及ぼす影響（寄与度）を示す重み付けの値を乗算した上で、全ての顕著性マップを統合し、全体としての顕著性マップを生成する。

以下、上記顕著性解析方法における、画像特徴量ごとの顕著性マップを特徴量顕著性マップとも表記する。
上記顕著性解析方法において、制御部１１は、画像特徴量の種類ごとに、特徴量抽出部として抽出した画像特徴量に基づいて算出部として算出した画像内の顕著性を示す特徴量顕著性マップを生成し、全ての特徴量顕著性マップを統合した顕著性マップを生成する。ここで、制御部１１は生成部として機能する。

図３は、本実施形態における顕著性解析処理の流れを模式的に示した説明図である。
図３に示すように、本実施形態の顕著性解析方法では、まず入力部１５から顕著性解析システム１００内に「評価対象画像」が入力される。例えばデザイナー（製作者）が自分の制作したポスター等の画像をデザイン専用端末等から顕著性解析システム１００（顕著性解析システム１００を構成する情報処理装置１）に通信ネットワーク等を介して入力する。ここでは、例えば先に示した図２（ａ）の画像Ｉｍｏが「評価対象画像」として入力された場合を例として説明する。

「評価対象画像」が入力されると、制御部１１は、特徴量抽出部として当該「評価対象画像」（図２（ａ）の画像Ｉｍｏ）から低次及び高次の各画像特徴量を抽出する。
そして制御部１１は、「評価対象画像」（図２（ａ）の画像Ｉｍｏ）に対してガウシアンフィルターによる暈し処理（画像の解像度を落とす処理）を行う。具体的には、暈し具合を変えた複数のガウシアンフィルターを段階的に変えて「評価対象画像」（画像Ｉｍｏ）に適用させた画像群（画像の多重解像度表現、ガウシアンピラミッド）を、低次の画像特徴量ごとに生成する。
なお図３では、低次の画像特徴量として、色成分、輝度成分、方位成分を例示しているが、前述のように、低次の画像特徴量の要素はこれに限定されず、例えば「評価対象画像」として入力された画像Ｉｍｏが動画像である場合には、動作（動き）等の要素も含まれる。

画像特徴量の成分ごとの画像群（ガウシアンピラミッド）が生成されると、この多重解像度表現を用いて、画像特徴量の要素ごとにそれぞれスケール（尺度）違いの画像間差分を取得（算出）する。
制御部１１は、当該画像間差分を算出する処理において、色差及び輝度差のうちの少なくとも一つ以上をＲＧＢデータから変換して得られるＬ^＊ａ^＊ｂ^＊色空間により算出する。Ｌ^＊ａ^＊ｂ^＊色空間は、ＲＧＢ色空間よりも人の色差感覚に合っている。そのため、色差及び輝度差のうちの少なくとも一つ以上をＬ^＊ａ^＊ｂ^＊色空間により算出することで、次の効果が得られる。具体的には、「評価対象画像」から抽出される輝度コントラストや色度コントラストの値を、人の感覚にあった明度差や色差を使って表すことができる。したがって、最終的に得られる顕著性マップが示す顕著性を、人の感覚によりよく一致させることができる。
差分画像が取得されると、制御部１１は、これを正規化した上で、画像特徴量の成分ごとに、全スケール（尺度）の特徴量マップを結合し、この特徴量マップに応じた顕著性マップを生成する。
低次の画像特徴量ごとに見た場合の顕著性マップは、例えば図３に示すように、色成分であれば、色の対比（補色差）が大きく表れている部分の顕著性が大きいことを示す顕著性マップとなり、輝度成分であれば、例えばノートパソコンの黒い画面の部分と、白い部分との境界の部分の顕著性が大きいことがマップとして示される。また方位成分では、ノートやノートパソコンのエッジがある部分が顕著性の大きな部分として示される。

また、制御部１１は、算出工程において、特徴量抽出工程により抽出された低次及び高次の画像特徴量に基づいて画像内の顕著性を算出する際に以下の処理を実施する。具体的には、「評価対象画像」内に透過領域が存在する場合、制御部１１は、当該透過領域に所定の階調を設定した上で、顕著性を算出する。
これにより、「評価対象画像」に透過領域が含まれている場合においても、適切な顕著性を算出できる。

また本実施形態では、高次の画像特徴量として処理流暢性（複雑性等）、位置バイアスが特徴量抽出部としての制御部１１によって抽出される（図３参照）。
なおここでは、高次の画像特徴量として処理流暢性（複雑性等）及び位置バイアスを例示しているが、前述のように、高次の画像特徴量はこれに限定されず、これら以外の各種要素（成分）も含まれ得る。

前述のように処理流暢性は、複雑性の程度で測ることができるものであり、例えばフラクタル次元という手法を用いて解析し、数値化することができる。すなわち、「評価対象画像」（画像Ｉｍｏ）を複数のメッシュに切り分け、どの部分ではドットで表現されるような構成が密であり、どの部分では疎であるか、といった解析を行う。この結果フラクタル次元が高い（例えば１．８）部分は、複雑、乱雑な部分であると評価され、フラクタル次元が低い（例えば１．２）部分は、簡単な、情報量の少ない部分であると評価される。
例えば図２（ａ）で示す画像の場合、何も置かれていない地の部分はフラクタル次元が低く、ノートパソコンの右側の文房具等が乱雑に置かれた辺りはフラクタル次元が高いと評価される。そして、制御部１１はこのように数値化された複雑性（処理流暢性）の程度に基づいて、顕著性マップを生成する。

なお前述のように、ほとんど情報が存在しない地の部分はフラクタル次元は低いが、あまり注目されない部分であり顕著性としては低い。このため、処理流暢性（複雑性）に関する顕著性マップとしては、ほとんど情報のない地の部分や複雑すぎる部分では顕著性が低く適度に複雑性のある部分が最も顕著性が高い評価とされるマップとなる。

さらに、制御部１１は、「評価対象画像」として入力された画像Ｉｍｏの特性・種類（例えば、それが書籍やウェブページに掲載することを目的とする画像か、縦書きの文書に挿入される画像か等）に応じて、人の心理的な特性を踏まえたときに視線が誘導されやすい場所や方向に応じた位置バイアスの顕著性マップを生成する。
例えば「評価対象画像」として入力された画像Ｉｍｏがウェブページに掲載されるものである場合には、画面左上の顕著性が高く、右下では顕著性が低いマップとなる。

そして、低次及び高次の各画像特徴量についてそれぞれ顕著性マップが生成されると、制御部１１は、各顕著性マップを統合して、人が「評価対象画像」を見たときに、全体として視線がどこに行くか、どの部分の注目度・注視度が高くなるかという計算を行う。
ただ、各画像特徴量の重み（注目度・注視度に及ぼす影響、寄与度）は一律ではなく、注目度・注視度に大きく影響を与える要素（成分）と、あまり影響を及ぼさない要素（成分）とがある。このため、本実施形態では、各画像特徴量について重み付けの値を設定し、これを乗算した上で顕著性マップを足し合わせる。

例えば色成分、方位成分の注目度・注視度に及ぼす影響度（寄与度）が「５」であり、輝度成分が注目度・注視度に及ぼす影響度（寄与度）が「１」程度、処理流暢性、位置バイアスの影響度（寄与度）が「２」程度である、という場合、各画像特徴量について算出された顕著性マップに、それぞれの影響度（寄与度）に応じた重み付けの値を乗算した上で顕著性マップを統合する。

各画像特徴量の顕著性マップに乗算される重み付けの値は、例えばそれぞれの影響度（寄与度）について一般的に考えられている程度に応じたものがデフォルトで設定されており、記憶部１２等に記憶されている。なお、重み付けの値は「評価対象画像」について顕著性の評価を行う者（評価者）が、目的等に応じて適宜設定を変更できてもよい。
例えば年配者の場合、比較的エッジが見えにくくなる傾向があるとされていることから、高齢者向けに用いられる場所のレイアウトや、高齢者向けのウェブページ、書籍等に用いられるデザインについて顕著性を評価する場合には、方位成分（エッジ成分）の重み付けの値を低めに設定する等の調整を適宜行ってもよい。

これにより、現状の「評価対象画像」（画像Ｉｍｏ）では、どのあたりにどの程度の視線が集まるのか、注視されるのか、画像全体としての顕著性を評価者等に示すことができる。
顕著性の提示の仕方は特に限定されず、例えば表示部１６等に図３に示すような顕著性マップそのものを表示させてもよいし、各部分の顕著性を数字等で示してもよい。またどのような画像特徴量が顕著性に寄与したのか、各画像特徴量の寄与度を数値等で表示させてもよい。さらに顕著性の提示の仕方、出力のさせ方は表示部１６等への表示に限定されず、例えば音声出力等を行ってもよいし、印刷等により出力させてもよい。また情報処理装置１から外部装置に対して解析結果を送信してもよい。

また、前述のように、本実施形態では、評価者が特に顕著性の評価を知りたい領域を任意に設定すると、当該領域Ａｒ１を制御部１１が「判定エリア」として設定するようになっている。顕著性の評価は画像全体ではなく、設定された「判定エリア」について行われてもよい。
例えば図２（ａ）に白破線で囲んで示すように、ノートパソコンの画面からキーボードにかけての領域（エリア）Ａｒ１が「判定エリア」として設定された場合、当該「判定エリア」について顕著性を判定する。
なお、図２（ａ）では、もとの「評価対象画像」（画像Ｉｍｏ）について任意の領域Ａｒ１が指定され、当該領域Ａｒ１が「判定エリア」として設定される例を示したが、領域Ａｒ１の指定は、「評価対象画像」（画像Ｉｍｏ）全体について顕著性が判断され、図２（ｂ）に示すような顕著性マップＭが生成されたあとで行われてもよい（例えば図２（ｂ）において白破線で囲んで示す。）。

「判定エリア」が設定されると、判定部としての制御部１１は、設定された「判定エリア」が画像全体の中でどの程度目立っているか、視線を集めるか、の顕著性の判断や、「判定エリア」内における各画像特徴量の顕著性に対する寄与度がどの程度であるかを判定する。
すなわち、先の例では、ノートパソコンの画面からキーボードにかけての領域Ａｒ１が画像全体の中でどの程度注視されているか、注視されている又は注視されていないとされるのは、どの画像特徴量によるものであるかを判定する。判定結果は顕著性のレベルを示す数値や、各特徴量が顕著性に寄与する寄与度等を表示部１６等に表示させ、評価者に提示する。
例えば現状では「判定エリア」が画像全体の中であまり目立っていない場合、目立っていない状態とされるのが色によるのか、コントラストによるのか等、各成分の寄与度を表示部１６に表示する。例えば顕著性に対する寄与度の大きな要素（成分）の上位３位までを表示させたり、数値で示したりする。

また、制御部１１は改善提案部として、画像特徴量の値に応じて、顕著性に関する改善を提案する。
例えば現状では「判定エリア」が目立っていない場合であって、画像特徴量のうち、輝度分布やコントラストが現状の顕著性に大きく寄与していると判断される場合に、制御部１１は、例えば図２（ｃ）に示すように、地の部分とノートパソコンの部分とのコントラストを上げた改善画像例Ｉｍｃｏ１を、顕著性に関する改善案として表示部１６等に表示させ評価者（デザイナー等）に提案する。また、例えば画像特徴量のうち、色が大きく寄与している場合（すなわち、色が白っぽく薄いことが「判定エリア」が目立っていない要因と判断される場合）には、色味を濃くして現状よりもインパクトが強くなるように改善する改善画像例Ｉｍｃｏ２を、顕著性に関する改善案として表示部１６等に表示させ評価者（デザイナー等）に提案する。
また、「判定エリア」の内側で複雑度が高い領域を情報量があり、顕著性を向上したい「改善部位エリア」と仮定し、「改善部位エリア」及び、画像中の「改善部位エリア」以外の画像の画像特徴量を修正することが好ましい。このようにすることで地の部分の輝度や色が非連続になり、違和感を持たれることを抑えることができる。

なお、ここでは輝度と色について例示したが、他の画像特徴量に関しても同様に改善を提案することができる。
改善提案は１つの画像特徴量ごとに行ってもよいし、２つ以上の要素（項目）について組み合わせて行ってもよい。どの要素（成分）をどのように変更すると、顕著性がどの程度改善されるかを、複数パターン出して、表示部１６の表示画面等に並べて配置して提示してもよい。このとき、元の画像Ｉｍｏからどの要素をどのように変更したか等を数値で示すことが好ましい。

これにより、評価者としては、どの画像特徴量についてどのように変更すると、「評価対象画像」のうち目立たせたい部分の注目度合いをどの程度上げることができるのかを具体的に知ることができる。このため、例えば評価者がデザイナーである場合に所望の顕著性を得るためにどうすればよいかが分かりやすく、改善したデザインを制作しやすくなる。
また、デザイン制作を依頼する依頼者が評価者である場合にも、デザイナー等からデザイン案が提示された場合に、所望の顕著性を有するデザインとするためには、何をどう変更してもらえばよいか等を具体的に指摘しやすい。

例えば図４に示す従来例のように、低次の画像特徴量だけに基づいて顕著性を判断した場合には、人の心理的な注目の仕方、視線の動かし方等が顕著性の判断に反映されず、正しく顕著性を判断することができない。
また、予め各種の画像を複数（ｎ人）の被験者に見せた場合の目の動きについての情報（アイトラッキング情報、視線計測情報）を専用の装置によって取得・収集し、これを視線データとしてデータベースに蓄積して、深層学習によって分析を行う場合、新規の画像を「評価対象画像」として入力すると、視線データの予測（画像中どの辺りが注視されるかといった顕著性）情報を得ることができる。

例えば図５（ａ）から図５（ｃ）は、「評価対象画像」について深層学習を用いて顕著性を予測した例を示すものであり、画像中濃い色の丸が付されている部分に多くの視線が集中する（すなわち顕著性が高い）と予測されたことを示している。
しかし深層学習で顕著性を予測した場合、予測結果を示すことはできても、なぜ視線がその部分に集中すると判断されたのかを示すことはできない。例えば図５（ａ）に示す画像Ｉｍｏ１や図５（ｃ）に示す画像Ｉｍｏ３の場合、人の顔の周辺や手先周辺に視線が集まると予測されているが、これが人の手や顔に視線が引きつけられることによるのか、色（補色差）や輝度等によるのかは分からない。また図５（ｂ）に示す画像Ｉｍｏ２の場合、ノートの上や文房具の上に視線が集まると予測されているが、これが色（補色差）によるのかエッジとして検出されたためか、あるいは各要素の配置によるものか等、その要因は分からない。このため、結果を示された評価者（デザイナー等）としてはどのようにデザインを変更すれば現状よりも所望の箇所の顕著性が向上するのか、改善の仕方・方向性を知ることができない。

これに対して本実施形態では、低次の画像特徴量と高次の画像特徴量とを組み合わせることで、顕著性の解析・判断精度を高めることができるとともに、評価者（デザイナー等）が所望の箇所の顕著性を向上させるにはどのように改善すればよいか、改善の方向性を示すことができ、デザイナー等を支援するための十分な情報を提供することができる。

［文字に対する顕著性の表示方法について］
次に、「評価対象画像」内の文字に対する顕著性を表示する例を説明する。

デザイン画像において文字が目立つ度合い（顕著性）は重要であり、当該デザイン画像内で訴求したい文字が目立っているかを判定することが求められている。
従来技術では、「評価対象画像」内の文字が書かれている領域（文字領域）の顕著性を定量化するために次の処理を行っており、非効率であった。具体的には、ユーザーにより手動で選択された個々の文字領域に対して、顕著性マップを生成することなく、それぞれ顕著性を算出していた。
これに対し、本実施形態では、制御部１１は、図６に示す文字顕著性表示処理を実行することにより、「評価対象画像」内の文字に対する顕著性を表示する。

（文字顕著性表示処理）
まず、制御部１１は、「評価対象画像」内の文字領域を「判定エリア」として設定する（ステップＡ１）。つまり、本実施形態における「判定エリア」は、制御部１１が指定したものを含む。
具体的には、制御部１１は、ＡＩ（Artificial Intelligence）により、「評価対象画像」内の文字領域を指定する。
なお、「評価対象画像」内の文字領域は、評価者により、例えば操作受付部１４からの入力操作等によって指定されてもよい。

次に、制御部１１は、ステップＡ１で設定した「判定エリア」に文字以外の領域が含まれているか否か、つまり、文字の背景が含まれているか否かを判断する（ステップＡ２）。
「判定エリア」に文字の背景が含まれている場合（ステップＡ２；ＹＥＳ）、制御部１１は、「判定エリア」に存在する色情報のうちの文字部分の色情報を判定する（ステップＡ３）。これにより、例えば、文字領域を矩形により指定した場合に、制御部１１は、文字部分を文字の形状に沿って抽出できる。これにより、文字の顕著性の表示における精度を向上させることができる。
一方、「判定エリア」に文字の背景が含まれていない場合（ステップＡ２；ＮＯ）、制御部１１は、本処理をステップＡ４に移行する。

次に、制御部１１は、上記顕著性解析処理により生成された顕著性マップから、ステップＡ３で抽出した文字部分に対応する部分の顕著性を抽出する。そして、制御部１１は、顕著性マップから抽出した顕著性を、文字の顕著性として表示し（ステップＡ４）、本処理を終了する。
つまり、制御部１１は、上記顕著性解析処理において生成部として生成した顕著性マップに基づいて、「評価対象画像」内の文字領域における顕著性を決定する。ここで、制御部１１は第１制御部として機能する。

なお、ステップＡ１において、制御部１１が文字領域ではない部分を「判定エリア」として設定した場合を説明する。この場合、ユーザーが操作受付部１４を介して文字領域ではない部分を指定することにより「判定エリア」を修正してもよい。そして、制御部１１は、ユーザーにより修正された「判定エリア」についてステップＡ２～Ａ４を実行する。
また、ステップＡ１において、制御部１１が文字領域を「判定エリア」として設定しなかった場合を説明する。この場合、ユーザーが操作受付部１４を介して文字領域を指定することにより「判定エリア」を修正してもよい。そして、制御部１１は、ユーザーにより修正された「判定エリア」についてステップＡ２～Ａ４を実行する。

図７（ａ）に、「評価対象画像」の一例としての評価対象画像I４を示す。図７（ｂ）に、評価対象画像I４に顕著性マップを重ねて表示した画像Ｉ５を示す。図７（ｃ）に、評価対象画像Ｉ４内の文字の顕著性を表示した画像Ｉ６を示す。
制御部１１は、図７（ｃ）に示すように、「評価対象画像」内の文字の顕著性において、最大である文字部分を１００％として、他の文字部分について相対値で表示する。
なお、図７（ｃ）に示すように、文字の顕著性を文字列ごとに表示する場合であって、且つ当該文字列に対応する顕著性が一つの文字列内において一定ではない場合を説明する。この場合、当該文字列における平均の顕著性を当該文字列の顕著性として表示してもよい。また、当該文字列における最大の顕著性を当該文字列の顕著性として表示してもよい。

以上のように、文字顕著性表示処理を実行することにより、「評価対象画像」内の文字に特化して、文字列同士で比較した場合に、どの文字が目立っているかを相対的に可視化できる。
また、本実施形態では、上記したように、ＡＩを用いて自動的に文字領域を設定し、当該文字領域の顕著性を自動的に算出して表示できる。そのため、ユーザーは効率的に文字に関わるデザインの評価や改善検討ができる。

［視線予測モデルへの顕著性マップの適用方法について］
次に、視線予測モデルへの顕著性マップの適用方法を説明する。当該視線予測モデルとは、「評価対象画像」に対して観察者が見たときの視線軌跡を予測するモデルである。

従来技術による視線予測モデルでは、適用する顕著性マップの精度が低いため、算出される視線予測結果が実際の人の視線の動きに合わない場合があった。
これに対し、本実施形態では、制御部１１は、図８に示す視線予測出力処理を実行する。これにより、制御部１１は、上記顕著性解析処理により生成した顕著性マップを適用した視線予測結果を出力する。

（視線予測出力処理）
まず、制御部１１は、「評価対象画像」内で現在地から次に視線が向く確率が高い部分を示す第１確率分布を以下のように生成する（ステップＢ１）。具体的には、制御部１１は、第１確率分布を、顕著性マップと、「評価対象画像」内における視線の現在地から第１方向及び第１方向に直交する第２方向に延びる領域とを合成することにより生成する。図９に、評価対象画像Ｉ７内における視線の現在地Ｉ７ａ、及び現在地Ｉ７ａから第１方向及び第２方向に延びる領域Ｉ７ｂの例を示す。
第１確率分布では、顕著性マップにおいて顕著性が高い領域、及び視線の現在地から第１方向及び第２方向に延びる領域が、現在地から次に視線が向く確率が高い領域である。
ステップＢ１により、第１確率分布は、上記顕著性解析処理により生成した顕著性マップにおける位置ごとの顕著性に基づいて重みづけされた確率分布となる。
つまり、制御部１１は、顕著性マップにおける位置ごとの顕著性に基づいて、「評価対象画像」を観察者が見たときの視線軌跡を予測するモデルにおける視線が向く確率に重み付けをする。ここで、制御部１１は第２制御部として機能する。

次に、制御部１１は、「評価対象画像」内で現在地から次に視線が向かない確率が高い部分を示す第２確率分布を以下のように生成する（ステップＢ２）。具体的には、制御部１１は、「評価対象画像」において一度視線が向けられた領域を、視線が向かない確率が高い部分として第２確率分布を生成する。
第２確率分布では、一度視線が向けられた領域において視線の向き難さを示す変数の程度が時間経過とともに強くなり、当該変数の量が所定量に達すると、視線は他の領域に移動する。

次に、制御部１１は、ステップＢ１で生成した第１確率分布に、ステップＢ２で生成した第２確率分布を「評価対象画像」内の画素ごとに合成する。これにより、制御部１１は、第１確率分布を補正する（ステップＢ３）。
次に、制御部１１は、ステップＢ３で補正した第１確率分布に基づいて視線予測結果を出力し（ステップＢ４）、本処理を終了する。

図１０に、ステップＢ４において出力する視線予測結果を示す。
制御部１１は、図１０に示すように、ステップＢ３で補正した第１確率分布に基づいて視線の滞留する順番を番号で示す。また、制御部１１は、第２確率分布に基づいて視線の滞留する時間をバブルの大きさで示す。

以上のように、視線予測出力処理を実行することにより、視線予測モデルに、上記顕著性解析処理により生成した、より精度が高い顕著性マップを適用できる。これにより、「評価対象画像」に対する視線予測モデルにおける予測精度を向上できる。

［動画像に対する顕著性の算出方法について］
次に、「評価対象画像」が動画像である場合に、当該動画像に対する顕著性を算出する例を説明する。
「評価対象画像」が動画像である場合、「評価対象画像」としての評価対象動画像のフレーム画像間で差が生じた部分について顕著性が高くなるように顕著性が算出される。
図１１に示すように、動画撮影者の手ぶれ等によりフレーム画像間の画面全体の平行移動が発生する場合を説明する。
従来技術では、この場合においても、当該平行移動により生じたフレーム画像間の差分において顕著性が高く算出されていた。これにより、実際には静止している背景部分が動いていると判定されるため、人が実際に目立つと感じる感覚と一致せず、違和感があった。

これに対し、本実施形態では、制御部１１は、上記顕著性解析処理の特徴量抽出工程において、低次の画像特徴量として、さらに評価対象動画像内の動作（動き）を抽出する。つまり、制御部１１は、低次の画像特徴量として、評価対象動画像のフレーム画像間で生じた差分を抽出する。
次いで、制御部１１は、評価対象動画像の各フレーム画像内のエッジ部分を抽出する。そして、制御部１１は、隣接するフレーム画像間で抽出したエッジ部分と平行な動作を示す特徴量を、顕著性を算出する特徴量群から除外する。

これにより、フレーム画像間における画面全体の平行移動が発生した場合、当該平行移動により生じたフレーム画像間の差分において顕著性を高く算出することを抑制できる。
したがって、本実施形態において算出される動画に対する顕著性は、人が実際に目立つと感じる感覚とよりよく一致し、前述の違和感を覚えさせずに済む。
本実施形態では、図１１に示す評価対象動画像に対して、フレーム画像間における背景の差分について顕著性は高く算出されず、フレーム画像間で動いた人の腕について顕著性が高く算出される。

［色覚異常者の視界に対応した顕著性マップについて］
次に、「評価対象画像」に対する色覚異常者の視界の再現について説明する。
デザインをする上で、デザイン画像中に記載されている内容の視認性を確保することが重要である。このとき、色覚異常者が当該デザイン画像を見ても視認性が確保できるように注意が払われる必要がある。
従来の技術では、色覚異常がない人が見る光景のみを基準に顕著性マップが生成されていた。そのため、顕著性マップの生成において色覚異常者が見る光景は考慮されておらず、色覚異常者にとっては不十分な顕著性マップが生成されていた。

これに対し、本実施形態では、制御部１１は、所定の型の色覚異常者が見ている視界を再現するように、「評価対象画像」の色情報を編集する。つまり、制御部１１は、「評価対象画像」に色覚異常者の視界を再現する処理を行う。当該所定の型とは、例えば、Ｐ型、Ｄ型、Ｔ型等である。
そして、制御部１１は、色情報を編集した「評価対象画像」について上記顕著性解析処理を実行して、顕著性マップを生成する。

これにより、顕著性解析処理により生成した顕著性マップにおいて、色覚異常者が観察した場合に、「評価対象画像」中で視覚的注意を引き付けると予測される場所を可視化できる。したがって、色覚異常者が観察した場合においても「評価対象画像」に記載されている内容の視認性が高いかどうかを容易に確認できる。

［顕著性マップの表示方法について］
次に、顕著性マップの表示方法の一例について説明する。
従来技術における顕著性解析システムでは、顕著性解析処理における入力画像である「評価対象画像」と、出力される顕著性マップとを別々に表示するのが主であった。この場合、顕著性マップ上で目立っている領域が「評価対象画像」内のどこであるのかを判断するには、次の作業が必要であった。具体的には、ユーザーの手作業による「評価対象画像」と顕著性マップを重ねる等の作業である。そのため、非効率であった。

これに対し、本実施形態では、制御部１１は、図７（ｂ）で示したように、顕著性の高低をヒートマップとして示した顕著性マップを「評価対象画像」に重ねて表示する。ここで、制御部１１は表示制御部として機能する。
なお、この場合の「評価対象画像」は、静止画であってもよいし、動画像であってもよい。

これにより、顕著性マップ上で目立っている領域が「評価対象画像」内のどこであるのかを容易に認識できる。つまり、顕著性マップ上で目立っている領域が「評価対象画像」内のどこであるのかの判断結果がより分かり易く、効率的に可視化できる。

［効果］
以上説明したように、本実施形態に係る顕著性解析システム１００（情報処理装置１）は、「評価対象画像」を入力する入力部１５と、「評価対象画像」に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部として機能するとともに、低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出部として機能する制御部１１と、を備えている。
これにより、顕著性を評価したい画像について、色、輝度、方位といった低次の画像特徴量だけでなく、処理流暢性や位置バイアスといった高次の画像特徴量も考慮に入れた上での顕著性（注視性）を評価・解析することができる。

このため、顕著性（注視性）の評価を高精度に行うことができるとともに、従来深層学習を用いて行っていた視線予測性（視線誘導）についても解析することができる。そして、深層学習を用いずに、視線予測性も含めた顕著性の評価を行うため、顕著性（注視性）の評価結果だけでなく、その結果がどのような要素・要因（画像特徴量）の影響で導かれたものかを示すことができ、評価の過程がブラックボックスとならない。
このように評価の過程を示すことのできるシステムとすることで、デザイナー等の評価者にとって理解しやすい評価結果を得ることができる。すなわち、単に顕著性の有無だけでなく、どのような要素・成分（画像特徴量）によって顕著性がある又はない、と判断されたのかを評価者が知ることができ、評価者への説明精度が向上する。

また本実施形態では「評価対象画像」の「判定エリア」を設定するエリア設定部、及び判定エリア内における、各画像特徴量の顕著性に対する寄与度を判定する判定部として機能する制御部１１を備えている。
これにより、「評価対象画像」のうち特に顕著性を解析したい部分について、どのような画像特徴量の影響でどの程度の顕著性があると判断されるのかを示すことができる。
そして、「判定エリア」は、評価者が任意に指定したものである。このため、特に顕著性の評価を知りたい部分について解析結果を求めることができる。

また本実施形態では、制御部１１が画像特徴量の値に応じて、顕著性に関する改善を提案する改善提案部としても機能する。
顕著性の改善としては、顕著性を高めたい部分（すなわち目立たせたい部分）をどのようにすれば今よりも目立たせることができるのかを評価者が把握することができ、所望の顕著性を得られるようにデザインを修正することができる。このため、デザイナー等を支援することができる。特に視線予測性（視線誘導）も含めた顕著性を示すことができるため、デザイナー等の評価者に、デザインの改善の方向性を提示することが可能である。

また本実施形態において高次の画像特徴量は、位置バイアス、処理流暢性の少なくともいずれかの度合いを含んでいる。
これにより画像を見る者に与えるインパクト、注視の度合い（目立ち度、顕著性）に影響を及ぼすとされる人の精神的・心理的な傾向、視線の移動傾向等を顕著性の解析に反映させることができる。このため、従来のような深層学習を用いずに、視線予測性（視線誘導）も含めた顕著性を示すことができる。

また本実施形態の処理流暢性の度合いは、複雑度、デザインの密度、空間周波数の少なくともいずれかによって決定されるものを含んでいる。
これにより、「評価対象画像」内における乱雑・複雑な箇所や、逆に情報量が少ない箇所はあまり注視・注目されない、という人の精神的な傾向を顕著性の解析に反映させることができる。

また本実施形態において低次の画像特徴量は、色、輝度分布、方位（エッジの向き、形状等）、コントラスト、顔、フォント、動作の少なくともいずれかを含んでいる。
これにより、色や輝度分布等、基本的な画像特徴量を顕著性の解析に反映させることができる。

また、本実施形態に係る顕著性解析システム１００は、画像特徴量の種類ごとに、特徴量抽出部（制御部１１）により抽出された画像特徴量に基づいて算出部（制御部１１）により算出された画像内の顕著性を示す特徴量顕著性マップを生成し、全ての特徴量顕著性マップを統合した顕著性マップを生成する生成部（制御部１１）を備える。
これにより、低次及び高次の画像特徴量を考慮した、より精度の高い顕著性マップを生成できる。

また、本実施形態に係る顕著性解析システム１００において、生成部（制御部１１）は、Ｌ^＊ａ^＊ｂ^＊色空間を用いて特徴量顕著性マップを生成する。
これにより、「評価対象画像」から抽出される輝度コントラストや色度コントラストの値を、人の感覚にあった明度差や色差を使って表すことができる。したがって、最終的に得られる顕著性マップが示す顕著性を、人の感覚によりよく一致させることができる。

また、本実施形態に係る顕著性解析システム１００において、生成部（制御部１１）は、評価対象画像内に存在する透過領域に所定の階調を設定して、顕著性マップを生成する。
これにより、「評価対象画像」に透過領域が含まれている場合においても、適切な顕著性を示す顕著性マップを生成できる。

また、本実施形態に係る顕著性解析システム１００は、生成部（制御部１１）により生成された顕著性マップに基づいて、評価対象画像内の文字領域における顕著性を決定する第１制御部（制御部１１）を備える。
これにより、「評価対象画像」内の文字に特化して、文字列同士で比較した場合に、どの文字が目立っているかを相対的に可視化できる。

また、本実施形態に係る顕著性解析システム１００は、顕著性マップにおける位置ごとの顕著性に基づいて、評価対象画像を観察者が見たときの視線軌跡を予測するモデルにおける視線が向く確率に重み付けをする第２制御部（制御部１１）を備える。
これにより、視線予測モデルに、顕著性解析処理により生成したより精度が高い顕著性マップを適用できる。したがって、「評価対象画像」に対する視線予測モデルにおける予測精度を向上できる。

また、本実施形態に係る顕著性解析システム１００において、第２制御部（制御部１１）は、顕著性マップと、評価対象画像における視線の現在地から第１方向及び第１方向に直交する第２方向に延びる領域とに基づいて、評価対象画像における現在地から次に視線が向く確率が高い部分を示す第１確率分布を生成し、評価対象画像における現在地から次に視線が向かない確率が高い部分を示す第２確率分布を生成し、当該第１確率分布から当該第２確率分布を、評価対象画像の画素ごとに合成することにより当該第１確率分布を補正する。
これにより、視線予測モデルに、顕著性解析処理により生成したより精度が高い顕著性マップを適用できる。したがって、「評価対象画像」に対する視線予測モデルにおける予測精度を向上できる。

また、本実施形態に係る顕著性解析システム１００において、特徴量抽出部（制御部１１）は、評価対象画像である動画像に対しての画像特徴量として、動作を抽出し、生成部（制御部１１）は、動画像の隣接するフレーム画像間において、特徴量抽出部により抽出された動作であって、フレーム画像のエッジ部分と平行である動作を示す画像特徴量を除外して、顕著性マップを生成する。
これにより、フレーム画像間における画面全体の平行移動が発生した場合、当該平行移動により生じたフレーム画像間の差分において顕著性を高く算出することを抑制できる。したがって、動画に対する顕著性が、人が実際に目立つと感じる感覚とよりよく一致する。

また、本実施形態に係る顕著性解析システム１００において、生成部（制御部１１）は、評価対象画像に色覚異常者の視界を再現する処理を行い、顕著性マップを生成する。
これにより、色覚異常者が「評価対象画像」を観察した場合における視覚的注意を引き付けると予測される場所を、顕著性マップにより可視化できる。したがって、色覚異常者が「評価対象画像」を観察した場合においても、「評価対象画像」に記載されている内容の視認性が高いかどうかを容易に確認できる。

また、本実施形態に係る顕著性解析システム１００は、評価対象画像に顕著性マップを重ねて表示する表示制御部（制御部１１）を備える。
これにより、顕著性マップ上で目立っている領域が「評価対象画像」内のどこであるのかを容易に認識できる。つまり、顕著性マップ上で目立っている領域が「評価対象画像」内のどこであるのかの判断結果がより分かり易く、効率的に可視化できる。

［変形例］
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。

例えば、上記実施形態では、１つの情報処理装置１の制御部１１が特徴量抽出部、算出部、エリア設定部、判定部、改善提案部として機能する場合を例示したが、特徴量抽出部、算出部、エリア設定部、判定部、改善提案部として機能するのは情報処理装置１の制御部１１に限定されず、他のコンピューターの制御部が、これらの全部又は一部の機能を担ってもよい。
さらに、上記実施形態では、１つの情報処理装置１の制御部１１が生成部、第１制御部、第２制御部、表示制御部として機能する場合を例示したが、生成部、第１制御部、第２制御部、表示制御部として機能するのは情報処理装置１の制御部１１に限定されず、他のコンピューターの制御部が、これらの全部又は一部の機能を担ってもよい。
この場合、これらの機能を担うコンピューターも含めて顕著性解析システムが構成される。

また本実施形態では、処理流暢性（複雑性）をフラクタル次元によって数値化する場合を例示したが、処理流暢性（複雑性）を数値化し評価する手法はこれに限定されず、各種の手法を用いることができる。

また本実施形態では、低次の画像特徴量の例として、色、輝度分布、方位（エッジの向き、形状等）、コントラスト、顔、フォント、動作を示し、高次の画像特徴量の例として、処理流暢性、位置バイアスを示したが、顕著性解析システムにおいて解析・判断に影響を与える画像特徴量はこれに限定されず、各種の他の要素を含んでもよい。
視線の集中・移動等に影響を与えるような要素を広く含んで顕著性を判断することにより、一層精度の高い解析結果を得ることができる。

なお、本発明が上記の実施形態や変形例等に限定されず、本発明の趣旨を逸脱しない限り、適宜変更可能であることは言うまでもない。

１ 情報処理装置
１１ 制御部
１２ 記憶部
１３ ＲＡＭ
１５ 入力部
１６ 表示部
１００ 顕著性解析システム

Claims (17)

1. 評価対象画像を入力する入力部と、
   前記評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出部と、
   前記低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出部と、
   を備えることを特徴とする顕著性解析システム。
2. 前記評価対象画像の判定エリアを設定するエリア設定部と、
   前記判定エリア内における、各画像特徴量の顕著性に対する寄与度を判定する判定部と、
   を備え、
   前記エリア設定部により設定される前記判定エリアは、評価者が任意に指定した領域であることを特徴とする請求項１に記載の顕著性解析システム。
3. 前記画像特徴量の値に応じて、前記顕著性に関する改善を提案する改善提案部を備えることを特徴とする請求項１又は請求項２に記載の顕著性解析システム。
4. 前記高次の画像特徴量は、位置バイアス、処理流暢性の少なくともいずれかの度合いを含むことを特徴とする請求項１又は請求項２に記載の顕著性解析システム。
5. 前記処理流暢性の度合いは、複雑度、デザインの密度、空間周波数の少なくともいずれかによって決定されるものを含むことを特徴とする請求項４に記載の顕著性解析システム。
6. 前記低次の画像特徴量は、色、輝度分布、方位、コントラスト、顔、フォント、動作の少なくともいずれかを含むことを特徴とする請求項１又は請求項２に記載の顕著性解析システム。
7. 前記画像特徴量の種類ごとに、前記特徴量抽出部により抽出された前記画像特徴量に基づいて前記算出部により算出された前記画像内の顕著性を示す特徴量顕著性マップを生成し、全ての前記特徴量顕著性マップを統合した顕著性マップを生成する生成部を備える請求項１に記載の顕著性解析システム。
8. 前記生成部は、Ｌ^＊ａ^＊ｂ^＊色空間を用いて前記特徴量顕著性マップを生成する請求項７に記載の顕著性解析システム。
9. 前記生成部は、前記評価対象画像内に存在する透過領域に所定の階調を設定して、顕著性マップを生成する請求項７に記載の顕著性解析システム。
10. 前記生成部により生成された前記顕著性マップに基づいて、前記評価対象画像内の文字領域における顕著性を決定する第１制御部を備える請求項７に記載の顕著性解析システム。
11. 前記顕著性マップにおける位置ごとの顕著性に基づいて、前記評価対象画像を観察者が見たときの視線軌跡を予測するモデルにおける視線が向く確率に重み付けをする第２制御部を備える請求項７に記載の顕著性解析システム。
12. 前記第２制御部は、前記顕著性マップと、前記評価対象画像における視線の現在地から第１方向及前記第１方向に直交する第２方向に延びる領域とに基づいて、前記評価対象画像における現在地から次に視線が向く確率が高い部分を示す第１確率分布を生成し、前記評価対象画像における現在地から次に視線が向かない確率が高い部分を示す第２確率分布を生成し、当該第１確率分布から当該第２確率分布を、評価対象画像の画素ごとに合成することにより当該第１確率分布を補正する請求項１１に記載の顕著性解析システム。
13. 前記特徴量抽出部は、前記評価対象画像である動画像に対しての画像特徴量として、動作を抽出し、
    前記生成部は、前記動画像の隣接するフレーム画像間において、前記特徴量抽出部により抽出された動作であって、前記フレーム画像のエッジ部分と平行である動作を示す画像特徴量を除外して、顕著性マップを生成する請求項７に記載の顕著性解析システム。
14. 前記生成部は、前記評価対象画像に色覚異常者の視界を再現する処理を行い、顕著性マップを生成する請求項７に記載の顕著性解析システム。
15. 前記評価対象画像に前記顕著性マップを重ねて表示する表示制御部を備える請求項７に記載の顕著性解析システム。
16. 入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出工程と、
    前記低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出工程と、
    を含むことを特徴とする顕著性解析方法。
17. コンピューターに、
    入力された評価対象画像に対して低次の画像特徴量及び高次の画像特徴量を抽出する特徴量抽出機能と、
    前記低次の画像特徴量及び高次の画像特徴量に基づき、画像内の顕著性を算出する算出機能と、
    を実現させることを特徴とするプログラム。

Images