JP2022096883A - 評価システム、評価方法、及びプログラム - Google Patents
評価システム、評価方法、及びプログラム Download PDFInfo
- Publication number
- JP2022096883A JP2022096883A JP2020210128A JP2020210128A JP2022096883A JP 2022096883 A JP2022096883 A JP 2022096883A JP 2020210128 A JP2020210128 A JP 2020210128A JP 2020210128 A JP2020210128 A JP 2020210128A JP 2022096883 A JP2022096883 A JP 2022096883A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- feature
- content
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】コンテンツ画像における、見え方に関する均質性の度合いを示す指標を、プロセッサ上の処理により算出することができる評価システムを提供する。
【解決手段】コンテンツ画像を取得するコンテンツ画像取得部と、前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する評価指標情報算出部と、を備え、前記評価指標情報算出部は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出する。
【選択図】図1
【解決手段】コンテンツ画像を取得するコンテンツ画像取得部と、前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する評価指標情報算出部と、を備え、前記評価指標情報算出部は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出する。
【選択図】図1
Description
本発明は、評価システム、評価方法、及びプログラムに関する。
建装材の分野において、壁紙材などの化粧シートが、建築の内外装、家具、調度品等に接着されて使用されている。このような化粧シートの意匠には、所定の柄を単位として、その柄を繰り返し配置することにより、所定の柄を同調させたものがある。
このような所定の柄を同調させた意匠(以下、コンテンツ画像、或いは視覚コンテンツなどと称する)においては、柄の連続性が想定外のパターンや影を作り出してしまい全体として意匠性が損なわれてしまうような不具合が発生することがある。このような不具合は、単体の柄を設計する段階では検出することが難しく、単体の柄を繰り返し配置したコンテンツ画像を離れた位置から観察して初めて検出されることが多い。これは、柄が繰り返されたコンテンツ画像上に、均質ではない、なんらかの空間的な不均質性(ムラ)を、人間が視覚的に感知するためと考えられる。ここでの均質性とは、画像に対して定義される性質であり、画像中の任意の位置において、各々の局所的な感性量(質)が不変であると感じられる性質である。
このようなコンテンツ画像の制作に際して、そのような意匠性が損なわれてしまうような不具合が発生し得るのか否かを、所定の柄を繰り返し配置する前の段階で客観的に評価したいという要求がある。
つまり、最小単位の画像を制作する時点で、どの程度、意匠性が損なわれてしまうような不具合が生じる可能性があるのかを定量的に知りたいという要求がある。最小単位の画像に不具合が生じる可能性があるのかを定量的に知ることができれば、制作およびその後の修正作業を効率的に実現できるようになることが期待できる。
Itti,Koch,Niebr:"A Model of Saliency-based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence,20(11):1254-1259,November 1998.
D.Gao,V.Mahadevan and N.Vasconcelos:"On the Plausibility of the discriminant center-surround hypothesis for visual saliency",Journal of Vision,Vol.8,13,June 2008.
J.Harel,C.Koch,P.Perona:"Graph-Based Visual Saliency",Advances in Neural Informatin Processing Systems,19,545-552,NIPS,2006.
Fred,J.Hickernell:"A Generalized Discrepancy And Quadrature Error Bound",MATHEMATICS OF COMPUTATION,Vol.67,Number221,299-322,January 1998.
ここで、コンテンツ画像に対する、人間の視覚による処理プロセスを、プロセッサ上の処理として実行することを考える。例えば、人間の視覚は、眼から光の情報を入力して網膜に二次元状の明るさを示す情報と、色を示す情報とを抽出する。そして、人間の視覚は、抽出した情報を脳の視覚野に送信する。脳の視覚野においては、視覚から得た明るさ等の情報に基づいて、明るさの強度、空間的な不連続性(エッジ)、連続性(勾配)、色情報の色度表現(赤、緑、青の三原色表現や、赤緑/黄青などの反対色表現)などが、個別に処理される。
さらに、脳の視覚野においては、処理したそれらの空間的な対比(中心部と周辺部間)や、方向の連続性/不連続性などが処理され、さらにはそれらの組み合わせが処理され、というように、処理結果を用いて更に処理を繰返すことで、段階的に、より高次で複雑なパターンが処理される。これらの各処理を逐次プロセッサ上に実現できれば、人間の視覚と同じ種類の情報が処理できるとともに、ある回路(処理)は強く、別のある回路は弱く作用するように制御することが可能になる。
特に、人間の視覚による処理プロセスを、プロセッサ上の処理として実行することにより、人間が目で見て感じる均質性の度合を定量的に算出することができれば、コンテンツ制作に係る作業を効率的に実現できるようになることが期待できる。
本発明は、このような状況に鑑みてなされたもので、その目的は、コンテンツ画像における、見え方に関する均質性の度合いを示す指標を、プロセッサ上の処理により算出することができる評価システム、評価方法、及びプログラムを提供することである。
上述した課題を解決するために、本発明の評価システムは、コンテンツ画像の性質を評価する評価システムであって、前記コンテンツ画像を取得するコンテンツ画像取得部と、前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する評価指標情報算出部と、を備え、前記評価指標情報算出部は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出することを特徴とする。
また、本発明の評価方法は、コンテンツ画像の性質を評価する評価システムのコンピュータ装置により実行される評価方法であって、コンテンツ画像取得部が、前記コンテンツ画像を取得し、評価指標情報算出部が、前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出し、前記評価指標情報算出部は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出することを特徴とする。
また、本発明のプログラムは、コンテンツ画像の性質を評価する評価システムのコンピュータ装置を、前記コンテンツ画像を取得するコンテンツ画像取得手段、前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する評価指標情報算出手段、として機能させるプログラムであって、前記評価指標情報算出手段において、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出するプログラムである。
本発明によれば、コンテンツ画像における、見え方に関する均質性の度合いを示す指標を、プロセッサ上の処理により算出することができる。これにより、コンテンツ画像における均質性を定量的に評価することができる。また、その均質性の指標値を表示すれば、制作者が、定量的かつ直感的に、画像の均質性を認識することができ、コンテンツ画像の制作に係る作業を効率的に進めることができる。
以下、実施形態の評価システムを、図面を参照しながら説明する。
<第1の実施形態>
まず、第1の実施形態について説明する。評価システム100は、人間の脳、特に視覚神経機構の処理過程をモデル化した信号処理を行う。
まず、第1の実施形態について説明する。評価システム100は、人間の脳、特に視覚神経機構の処理過程をモデル化した信号処理を行う。
人間が、視覚的に得た情報からある判断をしたり、違和感を覚えたりする働きは、人間の脳の視覚神経機構の処理に依拠している。現在、脳の処理の比較的初期の段階については、その処理過程が判ってきている。そこで、処理過程をモデル化した信号処理を評価システム100に実行させることによって、人間の脳における視覚の情報処理を、より正確に再現することが可能となる。
以下では、本実施形態の評価システム100は、処理の対象とする画像(以下、コンテンツ画像という)が、静止画像である場合を例に説明するが、これに限定されることはない。コンテンツ画像は、動画像や、映像等であってもよい。また、コンテンツ画像は、単位となる特定の画像(以下、単位画像という)が複数配置されることによって生成された静止画像である場合を例に説明するが、これに限定されることはない、コンテンツ画像は、単位画像が複数配置されることによって生成されない画像であってもよい。
図1は、第1の実施形態に係る評価システム100の構成の例を示すブロック図である。評価システム100は、例えば、コンテンツ画像選択部101と、視覚特徴選択部102と、視覚特徴画像生成部103と、模式化画像生成部104と、評価指標選択部105と、評価部106と、コンテンツ画像DB107と、視覚特徴DB108と、視覚特徴画像記憶部109と、模式化画像記憶部110と、評価指標DB111 と、評価結果記憶部112と、評価結果出力部113とを備える。ここで、コンテンツ画像選択部101は、「コンテンツ取得部」の一例である。評価部106は、「評価指標情報算出部」の一例である。視覚特徴画像生成部103は、「知覚特徴画像生成部」の一例である。
コンテンツ画像選択部101は、ユーザによる選択操作等に応じて、コンテンツ画像DB107を参照し、所望のコンテンツ画像を選択することによって、処理の対象とするコンテンツ画像を取得する。ユーザ等による選択の方法は、任意の方法であってよい。例えば、評価システム100の表示部(不図示)に、コンテンツ画像DB107に記憶された複数のコンテンツ画像や、ファイル名が表示され、表示された画像群の中からユーザ等によってコンテンツ画像が選択される。コンテンツ画像選択部101は、取得したコンテンツ画像を、視覚特徴画像生成部103に出力する。
なお、コンテンツ画像は、コンテンツ画像DB107に記憶されたものに限定されることはなく、例えば、可搬型メモリや、スキャナ、或いは通信ネットワークなど任意の入力手段を介して評価システム100に入力されたものであってもよい。
視覚特徴選択部102は、視覚特徴を選択する。視覚特徴は、人間の脳の処理の比較的初期の段階で視覚により認識され得る特徴であり、例えば、輝度、色度、コントラスト、勾配、エッジ、オプティカルフロー等である。詳細には、視覚特徴は、輝度、色度、赤緑色度、黄青色度、方向、輝度勾配、色度勾配、赤緑勾配、黄青勾配、方向勾配、輝度コントラスト、色度コントラスト、赤緑コントラスト、黄青コントラスト、方向コントラストなどを含む。また、視覚特徴は、人の目の惹き易さを特徴として表す指標であってもよい。人の目の惹き易さを特徴として表す指標としては、視覚的注意モデル、視線予測モデル、顕著性モデル、またはサリエンシーモデルと呼ばれるものがある。例えば、非特許文献1や非特許文献2や非特許文献3等の方法を用いて、人の目の惹き易さを特徴として表すことができる。視覚特徴選択部102は、例えば、視覚特徴DB108に記憶された複数の視覚特徴の中から、ユーザ等により選択された視覚特徴を選択する。
視覚特徴画像生成部103は、視覚特徴画像を生成する。視覚特徴画像は、コンテンツ画像の画素ごとに、その画素における視覚特徴の度合いを示す特徴量(視覚特徴量)を対応づけた画像である。視覚特徴画像生成部103は、コンテンツ画像選択部101により選択された画像の画素ごとに、視覚特徴選択部102により選択された視覚特徴の特徴量を抽出し、抽出した特徴量をその画素に対応づけることによって視覚特徴画像を生成する。視覚特徴画像生成部103は、生成した視覚特徴画像を、視覚特徴画像記憶部109に記憶させる。
模式化画像生成部104は、入力として受け取った画像を模式化した模式化画像を生成する。ここでの模式化は、画像上の特徴量を単純にして示すことである。模式化画像生成部104は、視覚特徴画像記憶部109を参照することにより、処理対象のコンテンツ画像に対応する視覚特徴画像を取得する。模式化画像生成部104は、取得した視覚特徴画像から、画像上の特徴量を抽出する。
ここでの画像上の特徴量とは、既知の画像処理の技法を用いて抽出する画像上の特徴であり、例えば、同じ柄を複数配置して形成された模様における空間的な規則性(パターン)を抽出可能なテクスチャ特徴である。テクスチャ特徴としては、例えば、コントラスト、相関、角度2次モーメント、或は一様性等がある。
特に、本実施形態では、画像上の特徴として、空間的な対比特性を用いる。ここでの空間的な対比とは、画像空間における対比であって、例えば、画像における着目画素についての、その着目画素の近傍にある近接領域と、着目画素の周辺にある周辺領域とを対比させた特性である。
模式化画像生成部104は、画素ごとに抽出した特徴量が所定の閾値に対して大きいか小さいかにより区分(例えば、二値化)し、区分した値をその画素に対応づけることにより模式化画像を生成する。例えば、模式化画像生成部104は、画像上の特徴の値が所定の閾値より大きい場合に「1」、小さい場合に「0」をその画素に対応づけた模式化画像を生成する。
例えば、模式化画像生成部104は、例えば、輝度を視覚特徴として生成された視覚特徴画像から、画素ごとの近接領域と周辺領域の輝度の差(コントラスト)を、画像上の特徴量として抽出する。模式化画像生成部104は、抽出したコントラストが所定の閾値より大きい場合に「1」、小さい場合に「0」としてその画素に対応づけた模式化画像を生成する。
なお、上記では、模式化画像生成部104が、画素ごとに画像上の特徴量を抽出する場合を例に説明したが、これに限定されない。模式化画像生成部104は、模式化の粒度を任意に設定してよい。例えば、模式化画像生成部104は、2×2の画素で構成される領域を模式化の単位(粒度)としてもよい。
また、模式化画像生成部104は、着目画素の近接領域と周辺領域との領域を任意に設定してよい。また、模式化画像生成部104は、着目画素に代えて、任意の粒度をもつ着目箇所について、その近接領域と周辺領域との空間を対比させた特徴量を抽出するようにしてもよい。模式化画像生成部104は、生成した模式化画像を模式化画像記憶部110に記憶させる。
評価指標選択部105は、コンテンツ画像に対する評価指標を選択する。評価指標は、コンテンツ画像の見え方に関する評価の度合いを示す指標である。本実施形態の評価指標は、少なくとも均質性に関する指標(均質性指標)を含む。均質性指標は、一様性および規則性に関する指標を含む。
一様性に関する指標(一様性指標)とは、画像における見え方に関する性質の分布が一様である度合いである。一様性指標を算出する方法は、画像におけるテクスチャ特徴の一つとしての算出する方法等、種々あるが、ユーザは用途に合わせてどれを用いてもよい。ここでは、ディスクレパンシーを一様性指標として採用する場合を例に説明する。ディスクレパンシーは、画像における一定の面積に、粒子を一様に配置する際の数学的表現として知られる。ディスクレパンシーの算出には、例えば非特許文献4等の方法を用いることができる。
規則性に関する指標(規則性指標)とは、画像における見え方に関する性質の分布が規則的である度合いである。規則性の算出方法は、画像の規則性が抽出できる任意の方法が適用可能であるが、例えば、画像にフーリエ変換を使用して算出される周波数パワースペクトル等である。規則性指標として、例えば、周波数パワースペクトル分布における所定の周波数帯域の占有量が用いられてもよい。周波数パワースペクトラムは、周波数帯域と、その周波数帯域の周波数に該当するデータ個数との関係を示す特性である。
占有量は、周波数パワースペクトラムにおける全周波数帯域に該当するデータ個数の積分値(すなわち、全データ数)に対する、特定の周波数帯域に該当するデータ個数の積分値である。或いは、占有量は、全データ数に対する、特定の周波数帯域に該当するデータ個数の最大値であってもよい。占有量は、全データ数から特定の周波数帯域に該当するデータ個数を引いた数に対する、特定の周波数帯域に該当するデータ個数であってもよい。以下の説明では、これらの占有量のことを、「占有量に関する情報」と称する場合がある。
占有量は、周波数パワースペクトラムにおける全周波数帯域に該当するデータ個数の積分値(すなわち、全データ数)に対する、特定の周波数帯域に該当するデータ個数の積分値である。或いは、占有量は、全データ数に対する、特定の周波数帯域に該当するデータ個数の最大値であってもよい。占有量は、全データ数から特定の周波数帯域に該当するデータ個数を引いた数に対する、特定の周波数帯域に該当するデータ個数であってもよい。以下の説明では、これらの占有量のことを、「占有量に関する情報」と称する場合がある。
評価指標選択部105は、ユーザの選択操作等に応じて評価指標DB111から所望の評価指標を選択し、選択した評価指標と、その評価指標の算出方法をセットにして、評価部106に出力する。
評価部106は、画像を評価する。評価部106は、入力された画像を、評価指標選択部105により選択された評価指標を用いて評価した評価値を算出する。ここで、算出された評価値は、「評価指標情報」の一例である。
評価部106により評価の対象となる画像は、コンテンツ画像であるが、評価指標値を算出する際に用いる画像はコンテンツ画像に基づいて生成された画像(視覚特徴画像、及び模式化画像)である。例えば、評価部106は、模式化画像生成部104により生成された模式化画像を用いて、模式化画像における一様性指標、及び規則性指標値を算出し、算出した指標値を、コンテンツ画像の指標値とする。
或いは、評価部106は、模式化画像における一様性指標値をコンテンツ画像の一様性指標値とし、視覚特徴画像における規則性指標値をコンテンツ画像の規則性指標値としてもよい。評価部106は、視覚特徴画像における一様性指標値をコンテンツ画像の一様性指標値とし、模式化画像における規則性指標値をコンテンツ画像の規則性指標値としてもよい。評価部106は、視覚特徴画像における一様性指標値、及び規則性指標値をコンテンツ画像の一様性指標値、及び規則性指標値としてもよい。評価部106は、算出した評価指標値を、評価結果記憶部112に記憶させる。
評価結果出力部113は、評価結果を出力する。評価結果出力部113は、評価結果記憶部112を参照して、評価部106により算出された評価指標値を取得する。評価結果出力部113は、取得した評価指標値を、各評価指標を軸とする評価空間に布置(プロット)する。評価結果出力部113は、評価空間に布置した評価指標値を、評価結果として出力する。評価結果出力部113が評価結果を出力する態様は任意であってよいが、例えば、評価結果をディスプレイに表示したり、プリンタに出力したりする。
コンテンツ画像DB107は、コンテンツ画像を記憶する。コンテンツ画像DB107には、例えば、コンテンツ画像を一意に示す識別情報に対応付けられたコンテンツ画像が記憶される。コンテンツ画像は、例えば、マウスやキーボード等の外部入力装置、或いは、可搬型メモリや、スキャナ、或いは通信ネットワークなど任意の入力手段を介して評価システム100に入力され、コンテンツ画像DB107に記憶される。
視覚特徴DB108は、視覚特徴を記憶する。視覚特徴DB108には、例えば、視覚特徴を一意に示す識別情報に対応付けられた視覚特徴が記憶される。視覚特徴は、例えば、外部入力装置、或いは、入力手段を介して評価システム100に入力され、視覚特徴DB108に記憶される。
視覚特徴画像記憶部109は、視覚特徴画像生成部103により生成された視覚特徴画像を記憶する。視覚特徴画像記憶部109には、例えば、視覚特徴画像を一意に示す識別情報に対応付けられた視覚特徴画像、当該視覚特徴画像の生成に用いられたコンテンツ画像の識別情報、及び当該視覚特徴画像の生成に用いられた視覚特徴の識別情報などが記憶される。
模式化画像記憶部110は、模式化画像生成部104により生成された模式化画像を記憶する。模式化画像記憶部110には、例えば、模式化画像を一意に示す識別情報に対応付けられた模式化画像、当該模式化画像の生成に用いられた視覚特徴画像の識別情報、及び当該模式化画像の生成に用いられた画像上の特徴の識別情報などが記憶される。
評価指標DB111は、評価指標、およびその評価指標に対応する指標値の算出方法を記憶する。評価指標DB111には、例えば、評価指標を一意に示す識別情報に対応付けられた算出方法が記憶される。算出方法は、例えば、外部入力装置、或いは、入力手段を介して評価システム100に入力され、評価指標DB111に記憶される。
評価結果記憶部112は、評価部106により算出された評価結果(コンテンツ画像の評価結果を提示するための情報)を記憶する。評価結果記憶部112には、例えば、評価 結果を一意に示す識別情報に対応付けられた評価結果、その評価結果を算出する際に視覚特徴画像を用いたか模式化画像を用いたかを示す情報、その評価に用いられた評価指標の識別情報、及びその評価指標値などが記憶される。
図2は、第1の実施形態の評価システム100が行う処理の流れを示すフローチャートである。
ステップS10:
評価システム100は、コンテンツ画像選択部101によりコンテンツ画像を選択する。コンテンツ画像選択部101は、例えば、コンテンツ画像DB107を参照することによりコンテンツ画像を選択し、選択したコンテンツ画像を視覚特徴画像生成部103および模式化画像生成部104に出力する。
ステップS11:
評価システム100は、視覚特徴選択部102により視覚特徴を選択する。視覚特徴選択部102は、例えば、視覚特徴DB109を参照することにより視覚特徴を選択し、選択した視覚特徴を、視覚特徴画像生成部103に出力する。
ステップS12:
評価システム100は、視覚特徴画像生成部103により視覚特徴画像を生成する。視覚特徴画像生成部103は、ステップS10にて選択されたコンテンツ画像における、ステップS11にて選択された知覚特徴を算出することにより視覚特徴画像を生成する。視覚特徴画像生成部103は、生成した視覚特徴画像を、模式化画像生成部104に出力する。
ステップS10:
評価システム100は、コンテンツ画像選択部101によりコンテンツ画像を選択する。コンテンツ画像選択部101は、例えば、コンテンツ画像DB107を参照することによりコンテンツ画像を選択し、選択したコンテンツ画像を視覚特徴画像生成部103および模式化画像生成部104に出力する。
ステップS11:
評価システム100は、視覚特徴選択部102により視覚特徴を選択する。視覚特徴選択部102は、例えば、視覚特徴DB109を参照することにより視覚特徴を選択し、選択した視覚特徴を、視覚特徴画像生成部103に出力する。
ステップS12:
評価システム100は、視覚特徴画像生成部103により視覚特徴画像を生成する。視覚特徴画像生成部103は、ステップS10にて選択されたコンテンツ画像における、ステップS11にて選択された知覚特徴を算出することにより視覚特徴画像を生成する。視覚特徴画像生成部103は、生成した視覚特徴画像を、模式化画像生成部104に出力する。
ステップS13:
評価システム100は、模式化画像生成部104により模式化画像を生成する。模式化画像生成部104は、視覚特徴画像における画像上の特徴量を抽出し、抽出した特徴量を、例えば、閾値以上か否かに応じた二値に区分して、画素に対応づけることにより、模式化画像を生成する。
ステップS14:
評価システム100は、評価部106により一様性指標値を算出する。この場合、評価指標選択部105により、一様性指標が選択されていることを前提とする。評価部106は、ステップS13にて生成された模式化画像における、一様性指標値を算出する。或いは、評価部106は、ステップS12にて生成された視覚特徴画像における、一様性指標値を算出する。評価部106は、算出した一様性指標値を、評価結果記憶部112に記憶させる。
評価システム100は、模式化画像生成部104により模式化画像を生成する。模式化画像生成部104は、視覚特徴画像における画像上の特徴量を抽出し、抽出した特徴量を、例えば、閾値以上か否かに応じた二値に区分して、画素に対応づけることにより、模式化画像を生成する。
ステップS14:
評価システム100は、評価部106により一様性指標値を算出する。この場合、評価指標選択部105により、一様性指標が選択されていることを前提とする。評価部106は、ステップS13にて生成された模式化画像における、一様性指標値を算出する。或いは、評価部106は、ステップS12にて生成された視覚特徴画像における、一様性指標値を算出する。評価部106は、算出した一様性指標値を、評価結果記憶部112に記憶させる。
ステップS15:
評価システム100は、評価部106により規則性指標値を算出する。この場合、評価指標選択部105により、規則性指標が選択されていることを前提とする。評価部106は、ステップS13にて生成された模式化画像における、規則性指標値を算出する。或いは、評価部106は、ステップS12にて生成された視覚特徴画像における、規則性指標値を算出する。
ステップS16:
評価システム100は、評価部106により均質性指標値を算出する。この場合、評価指標選択部105により、均質性指標が選択されていることを前提とする。評価部106は、ステップS14にて算出された一様性指標値、及びステップS15にて算出された規則性指標値を用いて、均質性評価指標値を算出する。評価部106が、一様性指標値、及び規則性指標値を用いて、均質性評価指標値を算出する方法は任意の方法であってよい。例えば、評価部106は、一様性指標値と規則性指標値との差異に基づいて、均質性評価指標値を算出する。例えば、評価部106は、一様性指標値が比較的大きな値であり、規則性指標値が比較的小さな値である場合、均質性が大きいとする均質性評価指標値を算出する。一方、評価部106は、一様性指標値が比較的小さな値であり、規則性指標値が比較的大きな値である場合、均質性が小さいとする均質性評価指標値を算出する。
評価システム100は、評価部106により規則性指標値を算出する。この場合、評価指標選択部105により、規則性指標が選択されていることを前提とする。評価部106は、ステップS13にて生成された模式化画像における、規則性指標値を算出する。或いは、評価部106は、ステップS12にて生成された視覚特徴画像における、規則性指標値を算出する。
ステップS16:
評価システム100は、評価部106により均質性指標値を算出する。この場合、評価指標選択部105により、均質性指標が選択されていることを前提とする。評価部106は、ステップS14にて算出された一様性指標値、及びステップS15にて算出された規則性指標値を用いて、均質性評価指標値を算出する。評価部106が、一様性指標値、及び規則性指標値を用いて、均質性評価指標値を算出する方法は任意の方法であってよい。例えば、評価部106は、一様性指標値と規則性指標値との差異に基づいて、均質性評価指標値を算出する。例えば、評価部106は、一様性指標値が比較的大きな値であり、規則性指標値が比較的小さな値である場合、均質性が大きいとする均質性評価指標値を算出する。一方、評価部106は、一様性指標値が比較的小さな値であり、規則性指標値が比較的大きな値である場合、均質性が小さいとする均質性評価指標値を算出する。
ステップS17:
評価システム100は、評価部106により算出された評価指標値を評価結果記憶部112に記憶させる。評価部106は、ステップS12にて算出した一様性指標値、ステップS13にて算出した規則性指標値、及びステップS14にて算出した均質性指標値を、評価結果記憶部112に記憶させる。
ステップS18:
評価システム100は、評価結果出力部113により評価結果を出力する。評価結果出力部113は、評価部106により算出された評価指標値を、評価空間における対応する評価軸上に布置し、表示部(不図示)などに出力する。
評価システム100は、評価部106により算出された評価指標値を評価結果記憶部112に記憶させる。評価部106は、ステップS12にて算出した一様性指標値、ステップS13にて算出した規則性指標値、及びステップS14にて算出した均質性指標値を、評価結果記憶部112に記憶させる。
ステップS18:
評価システム100は、評価結果出力部113により評価結果を出力する。評価結果出力部113は、評価部106により算出された評価指標値を、評価空間における対応する評価軸上に布置し、表示部(不図示)などに出力する。
ここで、図3~図5を用いて、コンテンツ画像、及びそのコンテンツ画像から生成される視覚特徴画像と模式化画像について説明する。ここでは、コンテンツ画像が、単位画像を繰り返し複数配置することによって生成された画像であることを前提とする。
図3は、第1の実施形態のコンテンツ画像の例を示す図である。図3では、左側に修正前のコンテンツ画像(図3では基準画像と記載する)、右側に修正後のコンテンツ画像(図3では修正済み画像と記載する)が示されている。図3に示す通り、基準画像と修正済画像とは差異が感じられるが、具体的にどんな差違があるのかは、直ちに判らないように思われるような差異がある。しかしながら、熟練者であれば、基準画像に不具合を検出し、検出した内容に基づいて基準画像を修正済画像のように加工する。
本実施形態では、評価システム100により基準画像と修正済画像との各々を、人間の視知覚による見え方の差異を、可視化した視覚特徴画像、及び模式化画像として提示することが可能である。つまり、評価システム100は、基準画像に比べて修正済画像のどのような性質が、どの程度異なるのかを、数値で示すことができる。
図4は、第1の実施形態の視覚特徴画像の例を示す図である。図4では、視覚特徴としてコントラストが選択された場合の例を示している。
図4では、上段に基準画像における視覚特徴画像の例を、下段に修正済画像における視覚特徴画像の例を示しており、基準画像及び修正済画像の各々についての視覚特徴画像を示している。三つの視覚特徴画像は、基準画像及び修正済画像に対して、1×1は基準画像を縦横に1枚ずつ連結した(1枚分)場合、2×2は縦横に2枚ずつ連結した(4枚分)場合、3×3は縦横に3枚ずつ連結した(9枚分)場合の視覚特徴画像を、それぞれ示している。
つまり、図4の上段には、基準画像の各々の視覚特徴画像を、左から順に(1×1)、(2×2)、(3×3)の画像サイズで示している。同様に、図4の下段には、修正済画像の各々の視覚特徴画像を、左から順に(1×1)、(2×2)、(3×3)の画像サイズで示している。
図4に示すように、基準画像から生成した視覚特徴画像と、修正済画像から生成した視覚特徴画像とは、例えば、(2×2)に対応する両画像や、(3×3)に対応する視覚特徴画像を見比べれば、差異が、コンテンツ画像の差異と比較して、より明らかになるように思われる。
視覚特徴画像により顕著な差異が認められる場合、基準画像及び修正済画像の両画像において、視覚特徴(この例では、コントラスト)に、差異があることを示している。つまり、修正前後のコンテンツ画像を視覚特徴画像に変換することで、両画像における視覚特徴に起因する見え方の差異を強調することが可能である。
図5Aは、第1の実施形態の模式化画像の例を示す図である。図5Aでは、(1×1)の画像サイズの視覚特徴画像から生成した模式化画像の例を示している。図5Aでは、左から順に、模式化の粒度を、ある粒度(不例えば画素単位)を基準(×1)として、段階的に倍増させた場合を(×2)、(×4)、(×8)で示している。また、図5A上段には基準画像に対する粒度ごとの模式化画像を示しており、下段には修正画像に対する粒度ごとの模式化画像を示している。
図5Bでは、(2×2)の画像サイズの視覚特徴画像から生成した模式化画像の例を示している。図5Bでは、左から順に、ある粒度(不例えば画素単位)を基準(×1)として、段階的に倍増させた場合を(×2)、(×4)、(×8)で示している。また、図5B上段には基準画像に対する粒度ごとの模式化画像を示しており、下段には修正画像に対する粒度ごとの模式化画像を示している。
図5Cでは、(3×3)の画像サイズの視覚特徴画像から生成した模式化画像の例を示している。図5Cでは、左から順に、ある粒度(不例えば画素単位)を基準(×1)として、段階的に倍増させた場合を(×2)、(×4)、(×8)で示している。また、図5C上段には基準画像に対する粒度ごとの模式化画像を示しており、下段には修正画像に対する粒度ごとの模式化画像を示している。
模式化画像には、視覚特徴画像における局所的にコントラストが高い部分が白く、コントラストが低い部分が黒で示されている。具体的には、模式化画像生成部104は、例えば画像上の1点に注目したとき、その点を中心とする半径Rの円内部(近接領域)と、半径2Rの円から半径R円を差し引いてできる円環部内部間(近接領域)での視覚特徴の平均値の比率を求める。そして、模式化画像生成部104は、求めた比率が所定の閾値よりも大きい場合に、その点を均質性の指標として注目すべき点として決めることができる。つまり、評価システム100では、修正前後の画像を視覚特徴画像に変換し、その視覚特徴の空間対比が局所的に高い点を選別して、その点の分布を示す模式化画像を生成することで、両画像における視覚特徴に起因する差異を、点分布の差違として定量的に示すことが可能になる。
ここで、図6を用いて、ディスクレパンシーについて説明する。ディスクレパンシー(discrepancy)は、一様性指標の一例である。すでに説明したとおり、模式化画像は点分布画像である。点分布画像は点が分布した画像である。評価部106が評価の対象を点分布画像に特化して、ディスクレパンシーのような評価指標を、一様性を評価する指標として適用することができる。
図6には、「discrepancyの模式図」、及びディスクレパンシーを導出する数式が示されている。ディスクレパンシーは、多次元空間(この例えではk次元)における点列の均質性(一様性)を表す概念である。図6の数式に示すように、ディスクレパンシーDN
(k)は、k次元の単位立方体[0,1]^kの中で存在する点xi(i=1、2、…、k)の均質さを表す概念である。図6の数式におけるNは、単位立方体[0,1]^kに含まれる点xiの総数である。図6の数式におけるAは、指定領域[0,t)^kに含まれる点xiの数である。図6の数式におけるtiは、k次元の単位立方体[0,1]^kに含まれる点tの座標値である。
本実施形態に係る壁紙のような2次元画像では、k=2が適用される。図6の「discrepancyの模式図」の例に示すように、単位領域TRに対する指定区間SKの面積比率と、単位領域TRに存在する点の総数Nに対する指定区間SKに存在する点の数の比率が同じ値であれば、ディスクレパンシーの値は0(ゼロ)となる。指定区間SKに存在する点の数が極端に少なかったり多かったりすると、その偏りの度合いに応じてディスクレパンシーの値は増大する。
例えば、評価部106は、典型的な画像を一様性テストデータとして用意する。ここでの典型的な画像とは、一様性の評価についての評価が定まっていると考えられる点分布画像である。例えば、典型的な画像は、多くの人が一様であると感じるような画像(以下、一様画像という)、及び多くの人が一様でないと感じるような画像(以下、非一様画像という)である。一様画像は、例えば、点線のように、点が規則的に配置された画像である。第2画像は、例えば、星座模様のように、点が不規則に配置された画像である。
評価部106は、一様画像、及び非一様画像のそれぞれについて、模様の大きさや密度を変化させた複数の画像を一様性テストデータとして用意する。評価部106は、用意した一様性テストデータのそれぞれについてディスクレパンシーの値を取得する。評価部106は、取得したディスクレパンシーの値を画像に対応付けて記憶部(不図示)に記憶させる。評価部106は、模式化画像における、ディスクレパンシーの値を算出する。評価部106は、算出した模式化画像におけるディスクレパンシーの値が、一様画像におけるディスクレパンシーの値の範囲内である場合、模式化画像が一様であると評価する。一方、評価部106は、算出した模式化画像におけるディスクレパンシーの値が、非一様画像におけるディスクレパンシーの値の範囲内である場合、模式化画像が一様でないと評価する。
ここで、図7A~図7Cを用いて、周波数パワースペクトルに係るヒストグラムの算出方法について説明する。周波数パワースペクトル、及び周波数パワースペクトルに係るヒストグラムは規則性指標の一例である。画像における周波数パワースペクトルを取得することによって、画像において点がどのような周期で分布しているのかを定量的に取得することができる。
図7Aには、評価部106が規則性の評価に用いる、規則性テストデータの例が示されている。規則性テストデータは、規則性の評価についての評価が定まっていると考えられる画像である。例えば、規則性テストデータは、多くの人が規則的であると感じるような画像、及び多くの人が規則的でないと感じるような画像である。図7Aの左右方向に沿って、規則性の度合いに応じた規則性テストデータの例が示されている。図7Aの左側には多くの人が規則的であると感じる画像(「秩」と記載、以下、規則画像ともいう)が示され、右側に向かうにしたがって多くの人が規則的でないと感じる画像(「乱」と記載以下、不規則画像ともいう)が示されている。
図7Bには、評価部106が、周波数パワースペクトルに係るヒストグラムを算出する処理の流れを示すフローチャートが示されている。まず、評価部106は、模式化画像(ここでは点が分布した点分布画像)を二次元離散フーリエ変換し、模式化画像における二次元の周波数分布を取得する(ステップS100)。次に、評価部106は、二次元の周波数分布を用いて、周波数毎のパワーを算出する(ステップS101)。評価部106は、算出した周波数パワースペクトル分布における平均値および標準偏差σを算出する(ステップS102)。評価部106は、周波数パワースペクトル分布における平均値から標準偏差σの整数倍だけ離れた周波数区分毎に、その周波数区分に含まれる周波数成分の数を集計したヒストグラムを算出する(ステップS103)。ここでの周波数区分は、「周波数帯域」の一例である。
図7Cには、規則画像と不規則画像における集計の例としてのヒストグラムが示されている。図7Cの左側には、規則画像と規則画像におけるヒストグラムが示されている。図7Cの右側には、不規則画像と不規則画像におけるヒストグラムが示されている。
図7Cのヒストグラムの横軸は周波数区分、縦軸はデータ個数(ここでは該区分に含まれるデータの周波数成分の個数)を示す。周波数区分は、平均値を0としたときの、平均値からのズレ量がn×σの周波数区分をnで示している。但し、ヒストグラムにおいて、平均周波数(ここでは周波数0)での計数はヒストグラムのビンに含めていない。ここで、nは任意の自然数、σは標準偏差を示す。
例えば、周波数区分n=1~2には、周波数パワースペクトルの平均値の周波数に対して、平均値との差異が[σ、2σ]にあるデータ個数が示されている。周波数区分n=2~3には、周波数パワースペクトルの平均値の周波数に対して、平均値との差異が[σ、2σ]にあるデータ個数が示されている。この図の例では、正のシフト側(n>0)のみを示している。規則画像のヒストグラムでは、多くの周波数区分に渡って度数が小さい。一方、不規則画像のヒストグラムでは、平均値寄りの比較的多くの周波数区分において度数が大きい。
これは、規則画像では、平均値での集計が大きく、それ以外の平均値から離れた周波数帯域におけるデータ数が総じて小さくなっていると考えられる。一方、不規則画像では、平均値から離れた周波数帯域におけるデータ数が、規則画像の場合と比較して大きくなっていると考えられる。すなわち、規則画像においてはデータ個数が平均値に集中し、平均値以外の周波数では総じてデータ個数が小さい値となるのに対し、不規則画像においては特定の周波数に集中せず規則画像の場合と比較して広い周波数帯でデータ個数が大きな値となるためと考えられる。したがって、規則画像においては平均値に相当する特定周波数における大きいパワースペクトル分布と、それ以外の広い周波数帯域に渡る小さいパワースペクトル分布が存在し、不規則画像においては特定の大きいパワースペクトル分布は存在せず、広い周波数帯域に渡り規則画像の場合と比較して強い(データ個数が大きい)パワースペクトルの分布が存在すると考えられる。
評価部106は、規則画像、及び不規則画像のそれぞれについて、模様の大きさや密度を変化させた複数の画像を規則性テストデータとして用意する。評価部106は、用意した規則性テストデータのそれぞれについてヒストグラムを取得する。評価部106は、取得したヒストグラムの分布度合を示す情報を画像に対応付けて記憶部(不図示)に記憶させる。ヒストグラムの分布度合を示す情報は、例えば、平均値寄りの所定の周波数区分における度数の和(以下、分布度合という)である。
評価部106は、模式化画像におけるヒストグラムを算出する。評価部106は、算出した模式化画像におけるヒストグラムにおける分布度合が、規則画像における分布度合の範囲内である場合、模式化画像が規則的であると評価する。一方、評価部106は、算出した模式化画像における分布度合が、不規則画像における分布度合の範囲内である場合、模式化画像が不規則であると評価する。
図8は、第1の実施形態における評価結果の例を示す図である。図8には、図5の基準画像及び修正済画像に対する均質性評価指標値が示されている。図8の各グラブの横軸は規則性指標、縦軸は一様性指標を示している。ここでは、規則性指標値が小さい程、規則性が高いことを示している。また、一様性指標値が小さい程、一様性が高いことを示している。
また、図8では、左側に基準画像、右側に修正済画像の評価結果が示され、上から下に向かって順に、(1×1)、(2×2)、(3×3)のそれぞれの画像サイズにおける評価結果が示されている。基準画像と修正済画像の結果を比較すると、(1×1)の画像サイズでは、両画像の規則性指標値は同程度だが、一様性指標値は基準画像よりも修正済画像の方が増している。(2×2)および(3×3)の画像サイズでは、基準画像に比べて修正済画像の方が、一様性及び規則性ともに指標値が増しているのがわかる。この結果から、修正操作により、繰り返しのない状態、つまり(1×1)の画像サイズでは一様性がやや低下したものの、繰り返しのある状態、つまり(2×2)や(3×3)の画像サイズでは、一様性および規則性の指標値が増して均質性が高まっていることが判る。このように、評価指標空間に、評価指標値を布置することで、直感的に修正操作の効果を把握することが可能になる。
また、評価指標は、評価したい軸によって、ユーザ等が定義したものでもよく、評価値が一意に求まる評価指標を評価指標 DB111に格納して利用することができる。
以上説明したように、第1の実施形態の評価システム100は、コンテンツ画像選択部101と、評価部106とを備える。コンテンツ画像選択部101は、コンテンツ画像を取得する。評価部106は、コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する。評価部106は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を算出する。評価部106は、均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出する。これにより、第1の実施形態の評価システム100は、コンテンツ画像における、見えに関する均質性の度合いを示す指標を、プロセッサ上の処理により算出することができる。
また、第1の実施形態の評価システム100では、評価結果出力部113を更に備える。評価結果出力部113は、評価部106によって算出された、画像における均質性指標情報を、少なくとも一様性指標の値を示す指標軸と、規則性指標の値を示す指標軸を備える指標とを備える評価空間に表示する。また、コンテンツ画像選択部101は、複数のコンテンツ画像(例えば、修正前後のコンテンツ画像)を取得する。評価部106は。それぞれのコンテンツ画像における評価指標値を算出する。評価結果出力部113は、それぞれの評価指標値を評価空間に表示する。これにより、第1の実施形態の評価システム100では、複数のコンテンツ画像における評価指標値を互いに比較可能に表示することができ、熟練者でなければ見分けが判らないような微差を、より明確な差異として表示して、経験の少ない者にも差異を認識させることが可能となる。
また、第1の実施形態の評価システム100では、コンテンツ画像は、単位となる単位画像が繰り返し複数配置されることによって生成された画像である。これにより、第1の実施形態の評価システム100では、単位画像を繰り返し複数枚配置したときに生じ得るムラなどの不具合が発生する可能性を、経験の少ない者にも認識させることが可能となる。
また、第1の実施形態の評価システム100では、視覚特徴画像生成部103と、模式化画像生成部104とを更に備える。視覚特徴画像生成部103は、コンテンツ画像における画素ごとに、視覚特徴(見え方に関する知覚特徴)の度合いを示す視覚特徴量(知覚特徴量)を対応づけた視覚特徴画像(知覚特徴画像)を生成する。模式化画像生成部104は、視覚特徴画像における画素ごとの視覚特徴量から抽出した画像上の特徴量が予め定められた閾値以上か否かに応じて区分した二値に変換し、画素ごとに前記区分した二値を対応づけた模式化画像を生成する。評価部106は、模式化画像に基づいて、一様性指標情報及び規則性指標情報を算出する。また、評価部106は、模式化画像に基づいて、一様性指標情報を算出し、視覚画像に基づいて規則性指標情報を算出するようにしてもよい。これにより、第1の実施形態の評価システム100では、コンテンツ画像における見え方に関する視覚特徴を強調して示す画像(視覚特徴画像、及び模式化画像)を用いてコンテンツ画像の評価指標値を算出することができる。したがって、画像における見え方を強調して認識させることが可能となる。
また、第1の実施形態の評価システム100では、模式化画像生成部104は、視覚特徴画像における画素ごとの視覚特徴量に基づいて、画素ごとの近接領域と周辺領域の空間的な対比を示す度合いを、画像上の特徴量として抽出する。これにより、第1の実施形態の評価システム100では、コンテンツ画像における空間的な対比が見え方に影響する度合を強調して示す模式化画像を生成することができる。したがって、画像における空間的な対比による見え方を強調して認識させることが可能となる。
また、第1の実施形態の評価システム100では、評価部106は、画像におけるディスクレパンシーを、一様性指標情報として算出する。これにより、第1の実施形態の評価システム100では、一様性指標値を、定量的に算出することが可能である。
また、第1の実施形態の評価システム100では、評価部106は、画像の周波数パワースペクトル分布における所定の周波数帯域の占有量を、規則性指標情報として算出する。これにより、第1の実施形態の評価システム100では、規則性指標値を、定量的に算出することが可能である。
なお、人の脳機能の解明が進むにしたがって、視覚により認識され得る特徴が数多く発見されつつあり、それらの特徴を視覚特徴に含めてもよい。
<第2の実施形態>
以下、第2の実施形態について、図面を参照して説明する。本実施形態の評価システム100Aは、熟練者がコンテンツ画像の不具合を検出する際の視線を疑似的に提示する点において、上述した実施形態と相違する。評価システム100Aは、熟練者の視線を提示することにより、不具合の検出を支援し、非熟練者であっても不具合を検出し易くなるようにすることができる。本実施形態においては、第1の実施形態と異なる構成についてのみ説明し、第1の実施形態による図1の構成と同様の構成については同一の符号を付し、特に必要な場合を除いてその説明を省略する。
以下、第2の実施形態について、図面を参照して説明する。本実施形態の評価システム100Aは、熟練者がコンテンツ画像の不具合を検出する際の視線を疑似的に提示する点において、上述した実施形態と相違する。評価システム100Aは、熟練者の視線を提示することにより、不具合の検出を支援し、非熟練者であっても不具合を検出し易くなるようにすることができる。本実施形態においては、第1の実施形態と異なる構成についてのみ説明し、第1の実施形態による図1の構成と同様の構成については同一の符号を付し、特に必要な場合を除いてその説明を省略する。
図9は、第2の実施形態による評価システム100Aの構成例を示すブロック図である。評価システム100Aは、例えば、視線特徴学習モデル選択部114と、視線特徴画像生成部115と、視線特徴学習モデルDB116とを備える。ここで、視線特徴画像生成部115は、「知覚特徴画像生成部」の一例である。なお、評価システム100Aは、視覚特徴選択部102、及び視覚特徴画像生成部103を備えない。
以下、本実施形態においては、コンテンツ画像を静止画像として説明するが、第1の実施形態と同様に、動画像、映像等の他のコンテンツ画像に適用されてもよい。
視線特徴学習モデル選択部114は、視線特徴学習モデルを選択する。視線特徴学習モデルは、機械学習の手法により生成された、コンテンツ画像における視線特徴を推定するモデルである。視線特徴は、熟練者がコンテンツ画像の不具合を検出する際の視線に関する特徴を示す情報であって、例えば、後述する視線特徴画像、或いはコンテンツ画像の領域ごとに視認される度合いを統計的に示す情報である。
視線特徴学習モデルは、例えば、互いに異なる複数の学習用のコンテンツ画像(学習用コンテンツ画像)の各々に、それぞれの学習用コンテンツ画像を視認した熟練者の視線特徴の実績を対応付けた学習データを用いて機械学習を実行することにより生成される。
視線特徴を取得する手段としては、市販の専用の視線計測機(例えば、身体装着型計測機であるTobii社のTobii Pro Glasse2や、据え置き型計測機である Tobii Pro X2,X3等)を用いても良く、もしくは民生カメラと視線推定手法の組み合わせで計算する方法を用いても良い。視線特徴は、一般的に一定のサンプリングタイムで計測した視点の座標が時系列で格納されており、これを画像上の座標に変換して使用する。
ここで用いられる機械学習の手法は、任意の手法であってよいが、例えば、深層ニューラルネットワークなどの推定モデルを用いて行われる。深層ニューラルネットは、例えば、入力層、出力層、及びその中間を多層の畳み込み層とプーリング層により接続された構成を備える。そして、多層ニューラルネットワークの入力層に学習用コンテンツ画像を入力した場合における、当該多層ニューラルネットワークの出力層から出力される情報が、その学習用コンテンツ画像に対応付けられた視線特徴となるように学習が繰返されることにより、各層を結合する結合係数やバイアス値が決定される。推定モデルの結合係数やバイアス値が決定されることにより、視線特徴学習モデルが生成される。
視線特徴学習モデル選択部114は、例えば、視線特徴学習モデルDB116に記憶された複数の視線特徴学習モデルの中から、ユーザ等による選択操作により選択された視線特徴学習モデルを選択する。視線特徴学習モデル選択部114は、取得した視線特徴学習モデルを視線特徴画像生成部115に出力する。
視線特徴画像生成部115は、コンテンツ画像に、視線特徴学習モデルにより推定された視線特徴を適用することにより、視線特徴画像を生成する。視線特徴画像は、コンテンツ画像における視線特徴の度合いを示す画像である。視線特徴から視線特徴画像を得る方法としては、例えば、計測時間内の画像上の視点の蓄積を確率分布として近似してヒートマップを出力する方法が用いられる。
視線特徴画像は、視線特徴を、1枚の画像に情報を縮約させた画像である。ここで、情報の縮約方法としては、例えば、コンテンツ画像における画素毎の視線分布を計数して2次元ヒストグラムを構成し、ヒストグラムの山を、2次元正規分布を用いて近似表現して、強度[0,1]の範囲の実数値で表現する方法(一般にヒートマップと呼ばれる)等がある。
視線特徴画像生成部115により用いられるコンテンツ画像は、コンテンツ画像選択部101により選択された画像である。視線特徴画像生成部115により用いられる視線特徴は、視線特徴学習モデル選択部114により選択された視線特徴学習モデルに、コンテンツ画像選択部101により選択されたコンテンツ画像を入力させることにより推定されたものである。視線特徴画像生成部115は、生成した視線特徴画像を、模式化画像生成部104に出力する。
視線特徴学習モデルDB116は、視線特徴学習モデルを記憶する。視線特徴学習モデルDB116には、例えば、視線特徴学習モデルを一意に示す識別情報に対応付けられた視線特徴学習モデルが記憶される。視線特徴学習モデルは、例えば、外部の学習サーバなどにより生成され、外部入力装置、或いは、入力手段を介して評価システム100Aに入力され、解析方法DB113に記憶される。視線特徴学習モデルDB116には、コンテンツ画像の種別に応じたモデルが記憶されていてもよい。これにより、コンテンツ画像の種別により、熟練者の見方が異なる場合であっても、その種別に応じたモデルを選択することができ、より精度よく視線特徴を推定させることが可能となる。
図10は、本実施形態による評価システム100Aが行なう処理の動作例を示すフローチャートである。図10のステップS24~S28の各々に示す処理については、図2のステップS14~S18の各々に示す処理と同様であるため、その説明を省略する。
ステップS20:
評価システム100Aは、コンテンツ画像選択部101により選択したコンテンツ画像を視線特徴画像生成部115に出力する。
ステップS21:
評価システム100Aは、視線特徴学習モデル選択部116により視線特徴学習モデルを選択する。視線特徴学習モデル選択部116は、視線特徴学習モデルDB118を参照することにより視線特徴学習モデルを選択し、選択した視線特徴学習モデルを、視線特徴画像生成部115に出力する。
ステップS22:
評価システム100Aは、視線特徴画像生成部115により視線特徴画像を生成する。視線特徴画像生成部115は、ステップS20にて選択されたコンテンツ画像における視線特徴を、ステップS21にて選択された視線特徴学習モデルを用いて推定することにより視線特徴画像を生成する。視線特徴画像生成部115は、生成した視線特徴画像を、模式化画像生成部104に出力する。
ステップS23:
評価システム100Aは、模式化画像生成部104により、模式化画像を算出する。模式化画像生成部104は、ステップS22にて生成された視線特徴画像を用いて模式化画像を生成る。模式化画像生成部104が模式化画像を生成する方法は、第1の実施形態と同様である。
評価システム100Aは、コンテンツ画像選択部101により選択したコンテンツ画像を視線特徴画像生成部115に出力する。
ステップS21:
評価システム100Aは、視線特徴学習モデル選択部116により視線特徴学習モデルを選択する。視線特徴学習モデル選択部116は、視線特徴学習モデルDB118を参照することにより視線特徴学習モデルを選択し、選択した視線特徴学習モデルを、視線特徴画像生成部115に出力する。
ステップS22:
評価システム100Aは、視線特徴画像生成部115により視線特徴画像を生成する。視線特徴画像生成部115は、ステップS20にて選択されたコンテンツ画像における視線特徴を、ステップS21にて選択された視線特徴学習モデルを用いて推定することにより視線特徴画像を生成する。視線特徴画像生成部115は、生成した視線特徴画像を、模式化画像生成部104に出力する。
ステップS23:
評価システム100Aは、模式化画像生成部104により、模式化画像を算出する。模式化画像生成部104は、ステップS22にて生成された視線特徴画像を用いて模式化画像を生成る。模式化画像生成部104が模式化画像を生成する方法は、第1の実施形態と同様である。
以上説明したように、第2の実施形態の評価システム100Aでは、視線特徴画像生成部115は、コンテンツ画像における画素ごとに、視線特徴(見え方に関する知覚特徴)の度合いを示す視線特徴量(知覚特徴量)を対応づけた視線特徴画像(知覚特徴画像)を生成する。模式化画像生成部104は、視線特徴画像における画素ごとの視線特徴量から抽出した画像上の特徴量が予め定められた閾値以上か否かに応じて区分した二値に変換し、画素ごとに前記区分した二値を対応づけた模式化画像を生成する。これにより、第2の実施形態の評価システム100では、上述した効果と同様の効果を奏する。
図11は、第2の実施形態の学習装置200の構成例を示すブロック図である。学習装置200は、視線特徴学習モデルを生成する装置である。
学習装置200は、例えば、学習用コンテンツ画像取得部201と、視線情報取得部202と、学習用視線特徴画像生成部203と、深層学習部204と、学習用コンテンツ画像DB205と、視線情報記憶部206と、視線特徴画像記憶部207と、視線特徴学習モデルDB208とを備える。
学習装置200は、例えば、学習用コンテンツ画像取得部201と、視線情報取得部202と、学習用視線特徴画像生成部203と、深層学習部204と、学習用コンテンツ画像DB205と、視線情報記憶部206と、視線特徴画像記憶部207と、視線特徴学習モデルDB208とを備える。
学習用コンテンツ画像取得部201は、学習用コンテンツ画像を取得する。学習用コンテンツ画像は、推定モデルに機械学習を実行する際に用いられる学習データであって、推定モデルの入力層に入力(設定)する情報である。
学習用コンテンツ画像取得部201は、学習用コンテンツ画像DB205に記憶された複数の学習用コンテンツ画像の中から、学習量に応じてユーザ等により選択された画像の集合を、学習用コンテンツ画像の集合として取得する。ユーザ等による選択の方法は、任意の方法であってよい。学習用コンテンツ画像取得部201は、取得した学習用コンテンツ画像を、学習用視線特徴画像生成部203に出力する。
視線情報取得部202は、視線情報(視線特徴)を取得する。視線情報は、学習用コンテンツ画像に対する熟練者の視線に関する情報であって、例えば、学習用コンテンツ画像を視認する熟練者の視線の時系列変化を示す情報である。視線情報取得部202は、例えば、視線情報記憶部206に記憶された複数の視覚特徴の中から、学習用コンテンツ画像に対応する視線情報を選択する。視線情報取得部202は、取得した視線情報を、学習用視線特徴画像生成部203に出力する。
学習用視線特徴画像生成部203は、学習用コンテンツ画像に、視線情報を適用することにより、学習用視線特徴画像を生成する。学習用視線特徴画像を生成する方法は、視線特徴画像生成部115が視線特徴画像を生成する方法と同様であるため、その説明を省略する。学習用視線特徴画像生成部203は、生成した学習用視線特徴画像を、深層学習部204に出力すると共に、視線特徴画像記憶部207に記憶させる。
深層学習部204は、学習用視線特徴画像を学習データとした学習(深層学習)を行うことにより、視線特徴学習モデルを生成する。深層学習部204は、生成した視線特徴学習モデルを視線特徴学習モデルDB208に記憶させる。
図10は、第2の実施形態による学習装置200が行なう処理の動作例を示すフローチャートである。図11では、深層学習による視線特徴学習モデルを生成する処理の動作の流れが示される。
ステップS50:
学習装置200は、学習用コンテンツ画像取得部201により、学習用コンテンツ画像を取得する。学習用コンテンツ画像取得部201は、学習用コンテンツ画像を多数取得することが好ましい。一般に、学習データ(学習用コンテンツ画像)を数多くバリエーション豊富に揃えることで良い学習効果が得られるためである。
ステップS51:
学習装置200は、視線情報取得部202により、学習用コンテンツ画像に対応する視線情報を取得する。
ステップS52:
学習装置200は、学習用視線特徴画像生成部203により、ステップS50で取得した学習用コンテンツ画像に、ステップS51で取得した視線情報を適用することにより、学習用視線特徴画像を生成する。
ステップS53:
学習装置200は、ステップS50で取得した学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成したか否かを判定する。学習装置200は、学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成した場合には、ステップS54に示す処理を実行する。学習装置200は、学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成していない場合には、ステップS51に示す処理に戻る。
ステップS54:
学習装置200は、学習用視線特徴画像を学習データとして深層学習を実行することにより、視線特徴学習モデルを生成する。
ステップS50:
学習装置200は、学習用コンテンツ画像取得部201により、学習用コンテンツ画像を取得する。学習用コンテンツ画像取得部201は、学習用コンテンツ画像を多数取得することが好ましい。一般に、学習データ(学習用コンテンツ画像)を数多くバリエーション豊富に揃えることで良い学習効果が得られるためである。
ステップS51:
学習装置200は、視線情報取得部202により、学習用コンテンツ画像に対応する視線情報を取得する。
ステップS52:
学習装置200は、学習用視線特徴画像生成部203により、ステップS50で取得した学習用コンテンツ画像に、ステップS51で取得した視線情報を適用することにより、学習用視線特徴画像を生成する。
ステップS53:
学習装置200は、ステップS50で取得した学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成したか否かを判定する。学習装置200は、学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成した場合には、ステップS54に示す処理を実行する。学習装置200は、学習用コンテンツ画像の全てにおいて、学習用視線特徴画像を生成していない場合には、ステップS51に示す処理に戻る。
ステップS54:
学習装置200は、学習用視線特徴画像を学習データとして深層学習を実行することにより、視線特徴学習モデルを生成する。
図13は、第2の実施形態による学習装置200が行なう処理の動作例を示すフローチャートである。図12では、深層学習による視線特徴学習モデル(以下、単に学習モデルともいう)について転移学習を行うことで新たな学習モデルを生成する処理の動作の流れが示される。
ステップS60:
学習装置200は、深層学習部204により、推定モデルの入力層及び出力層を構成する。推定モデルは、中間層(プーリング層及び畳み込み層)が多層構造の深層学習モデルである。入力層には、学習用コンテンツ画像における各画素の情報が入力される。出力層は、正規化する全結合層である。この出力層は、「1」あるいは「0」との間の小数点の数値を出力する構成となっている。
ステップS61:
深層学習部204は、深層学習を用いて新たな学習モデルを生成するか、あるいは既存の汎用的な学習モデルを用いた転移学習により新たな学習モデルを生成するか、を判定する。深層学習部204は、例えば、評価システム100Aによる学習モデルの選択が実行される際に、係る判定を行う。
ステップS60:
学習装置200は、深層学習部204により、推定モデルの入力層及び出力層を構成する。推定モデルは、中間層(プーリング層及び畳み込み層)が多層構造の深層学習モデルである。入力層には、学習用コンテンツ画像における各画素の情報が入力される。出力層は、正規化する全結合層である。この出力層は、「1」あるいは「0」との間の小数点の数値を出力する構成となっている。
ステップS61:
深層学習部204は、深層学習を用いて新たな学習モデルを生成するか、あるいは既存の汎用的な学習モデルを用いた転移学習により新たな学習モデルを生成するか、を判定する。深層学習部204は、例えば、評価システム100Aによる学習モデルの選択が実行される際に、係る判定を行う。
例えば、深層学習部204は、学習用コンテンツ画像を多量に用意できる状況において、視線特徴学習モデルを生成する場合を考える。この場合、各学習用コンテンツ画像に対して、熟練者の視線情報を取得し、正解コンテンツ集合(学習データ)を生成する。その後、深層学習部204は、学習用コンテンツ画像の集合と、正解コンテンツ集合とを用いて、深層学習モデル(推定モデル)を機械学習により学習させ、つまり、新規の学習により視線特徴学習モデルを生成する。
一方、深層学習部204は、学習用コンテンツ画像を多量に用意できない状況において、視線特徴学習モデルを生成する場合、すでに深層学習により生成された、他の学習用コンテンツ画像に対応する視線特徴学習モデルを転移学習させることにより、視線特徴学習モデルを生成する。なお、学習用コンテンツ画像が多量に用意できる状況であるか否かは、例えば、学習用コンテンツ画像DB205に記憶された学習用コンテンツ画像の数に応じて、或いはユーザの選択操作に応じて判定される。
深層学習部204は、新規の学習により視線特徴学習モデルを生成する場合、ステップS65に示す処理を実行する。学習装置200は、転移学習により視線特徴学習モデルを生成する場合、ステップS62に示す処理を実行する。
一方、深層学習部204は、学習用コンテンツ画像を多量に用意できない状況において、視線特徴学習モデルを生成する場合、すでに深層学習により生成された、他の学習用コンテンツ画像に対応する視線特徴学習モデルを転移学習させることにより、視線特徴学習モデルを生成する。なお、学習用コンテンツ画像が多量に用意できる状況であるか否かは、例えば、学習用コンテンツ画像DB205に記憶された学習用コンテンツ画像の数に応じて、或いはユーザの選択操作に応じて判定される。
深層学習部204は、新規の学習により視線特徴学習モデルを生成する場合、ステップS65に示す処理を実行する。学習装置200は、転移学習により視線特徴学習モデルを生成する場合、ステップS62に示す処理を実行する。
ステップS62:
深層学習部204は、視線特徴学習モデルDB208に記憶されている学習モデルの中から、所定の学習モデルを選択する。例えば、深層学習部204は、ユーザにより選択された学習用コンテンツ画像の集合に対して、他の学習用コンテンツ画像の集合に対して学習済みの学習モデルを選択する。深層学習部204は、選択した学習モデルを転移学習に用いる深層学習モデルとして取得する。
ステップS63:
深層学習部204は、ステップS62で転移学習に用いるために読み出した深層学習モデルから、入力層からユーザが指定あるいは予め指定されている中間層(適合層)までを、転移学習モデルとして抽出する。そして、深層学習部204は、深層学習モデルから、上記適合層以降の中間層を抽出し、上記転移学習モデルの適合層に接続し、かつ出力層を接続することにより、転移学習用深層学習モデルを構成する。
ステップS64:
学習用コンテンツ画像取得部201は、学習用コンテンツ画像DB205を参照して多量のコンテンツ画像を取得し、学習用コンテンツ画像の集合を構成する。次に、該学習用コンテンツ画像群の各コンテンツ画像に対する視線情報を視線情報取得部202により、視線情報記憶部を参照して取得する。学習用視線特徴画像生成部203は、学習用コンテンツ画像の集合の各画像に対して対応する視線情報を適用して、学習用視線特徴画像を生成し、視線特徴画像記憶部に記憶する。これにより、学習用コンテンツ画像の集合と対応する視線特徴画像の集合のセットを正解コンテンツ集合(学習データ)として構成する。
ステップS65:
深層学習部204は、学習対象モデル(上記転移学習用深層学習モデルあるいは上記深層学習モデル)の入力層に、学習用コンテンツ画像における熟練者の視線情報に基づき注目度が高いと判断される画素を入力した場合に、出力層から注目度が高いことを示す「1」に近い数値が出力されるように、各ネットワークの層の重みパラメタの最適化処理を行う。また、深層学習部204は、学習対象モデルの入力層に、学習用コンテンツ画像における熟練者の注目度が低いと判断される画素を入力した場合に、出力層から注目度が低いことを示す「0」に近い数値が出力されるよう最適化処理を行う。すなわち、深層学習部204は、学習用コンテンツ画像に対し、クラス分類の機械学習を行い、学習結果として、視線特徴画像を生成する。
深層学習部204は、視線特徴学習モデルDB208に記憶されている学習モデルの中から、所定の学習モデルを選択する。例えば、深層学習部204は、ユーザにより選択された学習用コンテンツ画像の集合に対して、他の学習用コンテンツ画像の集合に対して学習済みの学習モデルを選択する。深層学習部204は、選択した学習モデルを転移学習に用いる深層学習モデルとして取得する。
ステップS63:
深層学習部204は、ステップS62で転移学習に用いるために読み出した深層学習モデルから、入力層からユーザが指定あるいは予め指定されている中間層(適合層)までを、転移学習モデルとして抽出する。そして、深層学習部204は、深層学習モデルから、上記適合層以降の中間層を抽出し、上記転移学習モデルの適合層に接続し、かつ出力層を接続することにより、転移学習用深層学習モデルを構成する。
ステップS64:
学習用コンテンツ画像取得部201は、学習用コンテンツ画像DB205を参照して多量のコンテンツ画像を取得し、学習用コンテンツ画像の集合を構成する。次に、該学習用コンテンツ画像群の各コンテンツ画像に対する視線情報を視線情報取得部202により、視線情報記憶部を参照して取得する。学習用視線特徴画像生成部203は、学習用コンテンツ画像の集合の各画像に対して対応する視線情報を適用して、学習用視線特徴画像を生成し、視線特徴画像記憶部に記憶する。これにより、学習用コンテンツ画像の集合と対応する視線特徴画像の集合のセットを正解コンテンツ集合(学習データ)として構成する。
ステップS65:
深層学習部204は、学習対象モデル(上記転移学習用深層学習モデルあるいは上記深層学習モデル)の入力層に、学習用コンテンツ画像における熟練者の視線情報に基づき注目度が高いと判断される画素を入力した場合に、出力層から注目度が高いことを示す「1」に近い数値が出力されるように、各ネットワークの層の重みパラメタの最適化処理を行う。また、深層学習部204は、学習対象モデルの入力層に、学習用コンテンツ画像における熟練者の注目度が低いと判断される画素を入力した場合に、出力層から注目度が低いことを示す「0」に近い数値が出力されるよう最適化処理を行う。すなわち、深層学習部204は、学習用コンテンツ画像に対し、クラス分類の機械学習を行い、学習結果として、視線特徴画像を生成する。
このとき、深層学習部204は、生成した学習モデルに対し、学習用コンテンツとは異なる学習用コンテンツ画像の集合と、それらの画像に対する熟練者の視線情報である正解データ集合との組を入力し、生成した学習モデルに対して学習テストを行うようにしてもよい。
この場合、深層学習部204は、学習用コンテンツ画像の集合を、学習モデルに入力した際、出力層の出力する数値が予め設定した第1閾値以上となり、かつ、出力層の出力する数値が予め設定した第2閾値以下となった場合、この学習モデルを視線特徴学習モデルDB208に記憶し、視線特徴学習モデルとする。
一方、深層学習部204は、上記学習テストにおいて、熟練者の視線が集中する画素に対して学習モデルの出力層の出力する数値が予め設定した第1閾値未満、あるいは検査員の視線が集中しにくい画素に対して、学習対象モデルの出力層の出力する数値が予め設定した第2閾値以上である場合、この学習モデルを視線特徴学習モデルDB208に記憶せずに、学習モデルの再学習を行う。
この場合、深層学習部204は、学習用コンテンツ画像の集合を、学習モデルに入力した際、出力層の出力する数値が予め設定した第1閾値以上となり、かつ、出力層の出力する数値が予め設定した第2閾値以下となった場合、この学習モデルを視線特徴学習モデルDB208に記憶し、視線特徴学習モデルとする。
一方、深層学習部204は、上記学習テストにおいて、熟練者の視線が集中する画素に対して学習モデルの出力層の出力する数値が予め設定した第1閾値未満、あるいは検査員の視線が集中しにくい画素に対して、学習対象モデルの出力層の出力する数値が予め設定した第2閾値以上である場合、この学習モデルを視線特徴学習モデルDB208に記憶せずに、学習モデルの再学習を行う。
ステップS66:
深層学習部204は、ステップS64で生成した学習モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメタ、活性化関数の種類と出力されるパラメタなどの各々を、学習モデルのパラメタとして抽出する。
深層学習部204は、ステップS64で生成した学習モデルから、多層構造の中間層におけるプーリング層及び畳み込み層の出力パラメタ、活性化関数の種類と出力されるパラメタなどの各々を、学習モデルのパラメタとして抽出する。
ステップS67:
深層学習部204は、生成した学習モデルと、抽出した学習モデルパラメタとを視線特徴学習モデルDB208に記憶させる(登録処理)。
深層学習部204は、生成した学習モデルと、抽出した学習モデルパラメタとを視線特徴学習モデルDB208に記憶させる(登録処理)。
<第3の実施形態>
次に第3の実施形態について説明する。本実施形態では、視覚特徴と視線特徴とを用いて、コンテンツ特徴量を算出する点において、上述した実施形態と相違する。これにより、本実施形態の評価システム100Bは、人間の視知覚の情報処理に類似した処理を施すこと、及び人間の視線情報を利用することができ、コンテンツ画像の見え方について、より詳細な情報を提示することができる。本実施形態においては、上述した実施形態と異なる構成についてのみ説明し、上述した実施形態の構成と同様の構成については同一の符号を付し、特に必要な場合を除いてその説明を省略する。
次に第3の実施形態について説明する。本実施形態では、視覚特徴と視線特徴とを用いて、コンテンツ特徴量を算出する点において、上述した実施形態と相違する。これにより、本実施形態の評価システム100Bは、人間の視知覚の情報処理に類似した処理を施すこと、及び人間の視線情報を利用することができ、コンテンツ画像の見え方について、より詳細な情報を提示することができる。本実施形態においては、上述した実施形態と異なる構成についてのみ説明し、上述した実施形態の構成と同様の構成については同一の符号を付し、特に必要な場合を除いてその説明を省略する。
図12は、第3の実施形態による評価システム100Bの構成例を示すブロック図である。評価システム100Bは、例えば、視覚特徴視線特徴画像生成部117を備える。
以下、本実施形態においては、コンテンツ画像を静止画像として説明するが、第1の実施形態と同様に、動画像、映像等の他のコンテンツ画像に適用されてもよい。
視覚特徴視線特徴画像生成部117は、視覚特徴画像と視線特徴画像とを用いて、視覚特徴視線特徴を算出する。視覚特徴視線特徴は、視覚特徴と視線特徴との双方の度合いを示す情報である。視覚特徴視線特徴画像生成部117は、例えば、視覚特徴と視線特徴との間で演算を行うことにより、視覚特徴視線特徴を算出する。ここでの演算には、例えば、視覚特徴と視線特徴との論理積(AND)、論理和(OR)、排他的論理和(XOR)等の各種論理演算や、Winners take all演算や、ビット演算、四則演算等が含まれる。
視覚特徴視線特徴画像生成部117は、視覚特徴と視線特徴との間で演算を行う際に、特徴ごと、或いは画素ごとに重みづけを行ってもよい。
視覚特徴視線特徴画像生成部117に用いられる視覚特徴画像は、視覚特徴画像生成部103により生成された画像である。視覚特徴視線特徴画像生成部117に用いられる視線特徴画像は、視線特徴画像生成部115により生成された画像である。視覚特徴視線特徴画像生成部117は、生成した視覚特徴視線特徴画像を、模式化画像生成部104に出力する。
模式化画像生成部104は、視覚特徴視線特徴画像から模式化画像を生成する。模式化画像生成部104が視覚特徴視線特徴画像から模式化画像を生成する方法は、視覚特徴画像から模式化画像を生成する方法と同様である。
図15は、本実施形態による評価システム100Bが行なう処理の動作例を示すフローチャートである。図15のステップS31、S32、及びS37~S41の各々に示す処理については、図2のステップS11、S12、及びS14~S18の各々に示す処理と同様であるため、その説明を省略する。また、図14のステップS33、S34に示す処理については、図10のステップS21、S22に示す処理と同様であるため、その説明を省略する。
ステップS30:
評価システム100Bは、コンテンツ画像選択部101により取得したコンテンツ画像を、視覚特徴画像生成部103、及び視線特徴画像生成部115に出力する。
ステップS35:
評価システム100Bは、視覚特徴視線特徴画像生成部117により、S32で生成した視覚特徴画像、及びステップS34で生成した視覚特徴画像を用いて、視覚特徴視線特徴画像を生成し、生成した視覚特徴視線特徴画像を模式化画像生成部104Bに出力する。
ステップS37:
評価システム100Bは、模式化画像生成部104により、ステップS35で算出した視覚特徴視線特徴画像を用いて模式化画像を生成する。
評価システム100Bは、コンテンツ画像選択部101により取得したコンテンツ画像を、視覚特徴画像生成部103、及び視線特徴画像生成部115に出力する。
ステップS35:
評価システム100Bは、視覚特徴視線特徴画像生成部117により、S32で生成した視覚特徴画像、及びステップS34で生成した視覚特徴画像を用いて、視覚特徴視線特徴画像を生成し、生成した視覚特徴視線特徴画像を模式化画像生成部104Bに出力する。
ステップS37:
評価システム100Bは、模式化画像生成部104により、ステップS35で算出した視覚特徴視線特徴画像を用いて模式化画像を生成する。
以上説明したように、第3の実施形態の評価システム100Bは、視覚特徴視線特徴画像生成部117を備える。視覚特徴視線特徴画像生成部117は、視覚特徴画像と視線特徴画像とを用いて、視覚特徴視線特徴画像を生成する。模式化画像生成部104は、視覚特徴視線特徴画像を用いて模式化画像を生成する。これにより、第3の実施形態の評価システム100Bによれば、人間の視知覚の情報処理に類似した処理を施すこと、及び人間の視線情報を利用することができ、コンテンツ画像の見え方について、より詳細な情報を提示することができる。
上述した実施形態における評価システム100(100A、100B)の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
100…評価システム
101…コンテンツ画像選択部(コンテンツ画像取得部)
102…視覚特徴選択部
103…視覚特徴画像生成部
104…模式化画像生成部
105…評価指標選択部
106…評価部(評価指標情報算出部)
113…評価結果出力部
115…視線特徴画像生成部
117…視覚特徴視線特徴画像生成部
101…コンテンツ画像選択部(コンテンツ画像取得部)
102…視覚特徴選択部
103…視覚特徴画像生成部
104…模式化画像生成部
105…評価指標選択部
106…評価部(評価指標情報算出部)
113…評価結果出力部
115…視線特徴画像生成部
117…視覚特徴視線特徴画像生成部
Claims (13)
- コンテンツ画像の性質を評価する評価システムであって、
前記コンテンツ画像を取得するコンテンツ画像取得部と、
前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する評価指標情報算出部と、
を備え、
前記評価指標情報算出部は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出する、
評価システム。 - 前記評価指標情報算出部によって算出された、画像における前記均質性指標情報を、少なくとも前記一様性指標の値を示す指標軸と前記規則性指標の値を示す指標軸を備える指標とを備える評価空間に表示する評価結果出力部を更に備え、
前記コンテンツ画像取得部は、前記コンテンツ画像を複数取得し、
前記評価指標情報算出部は、前記コンテンツ画像取得部によって取得された前記コンテンツ画像の各々における前記均質性指標情報を算出し、
前記評価結果出力部は、前記評価指標情報算出部によって算出された前記コンテンツ画像の各々における前記均質性指標情報を前記評価空間に表示する、
請求項1に記載の評価システム。 - 前記コンテンツ画像は、単位となる単位画像が繰り返し複数配置されることによって生成された画像である、
請求項1又は請求項2に記載の評価システム。 - 前記コンテンツ画像における画素ごとに、見え方に関する知覚特徴の度合いを示す知覚特徴量を対応づけた知覚特徴画像を生成する知覚特徴画像生成部と、
前記知覚特徴画像における画素ごとの前記知覚特徴量から抽出した画像上の特徴量が予め定められた閾値以上か否かに応じて区分した二値に変換し、画素ごとに前記区分した二値を対応づけた模式化画像を生成する模式化画像生成部と、
を更に備え、
前記評価指標情報算出部は、前記模式化画像に基づいて、前記一様性指標情報及び前記規則性指標情報を算出する、
請求項1から請求項3のいずれか一項に記載の評価システム。 - 前記コンテンツ画像における画素ごとに、見え方に関する知覚特徴の度合いを示す知覚特徴量を対応づけた知覚特徴画像を生成する知覚特徴画像生成部と、
前記知覚特徴画像における画素ごとの前記知覚特徴量から抽出した画像上の特徴量が予め定められた閾値以上か否かに応じて区分した二値に変換し、画素ごとに前記区分した二値を対応づけた模式化画像を生成する模式化画像生成部と、
を更に備え、
前記評価指標情報算出部は、前記模式化画像に基づいて前記一様性指標情報を算出し、前記知覚特徴画像に基づいて前記規則性指標情報を算出する、
請求項1から請求項3のいずれか一項に記載の評価システム。 - 前記模式化画像生成部は、前記知覚特徴画像における画素ごとの前記知覚特徴量に基づいて、画素ごと近接領域と周辺領域の空間的な対比を示す度合いを、画像上の特徴量として抽出する、
請求項4又は請求項5に記載の評価システム。 - 前記評価指標情報算出部は、画像におけるディスクレパンシーを、前記一様性指標情報として算出する、
請求項1から請求項6のいずれか一項に記載の評価システム。 - 前記評価指標情報算出部は、画像の周波数パワースペクトル分布における所定の周波数帯域の占有量に関する情報を、前記規則性指標情報として算出する、
請求項1から請求項7のいずれか一項に記載の評価システム。 - 前記知覚特徴画像生成部は、前記コンテンツ画像における画素ごとに、視覚によって認識され得る画像の特徴の度合いを示す視覚特徴量を対応づけた視覚特徴画像を生成する、
請求項4に記載の評価システム。 - 前記知覚特徴画像生成部は、前記コンテンツ画像における画素ごとに、視線によって認識され得る画像の特徴の度合いを示す視線特徴量を対応づけた視線特徴画像を生成する、
請求項4に記載の評価システム。 - 前記知覚特徴画像生成部は、前記コンテンツ画像における画素ごとに、視覚によって認識され得る画像の特徴の度合いを示す視覚特徴量と、視線によって認識され得る画像の特徴の度合いを示す視線特徴量とを組み合わせた視覚特徴量視線特徴量を対応づけた視覚特徴視線特徴画像を生成する、
請求項4に記載の評価システム。 - コンテンツ画像の性質を評価する評価システムのコンピュータ装置により実行される評価方法であって、
コンテンツ画像取得部が、前記コンテンツ画像を取得し、
評価指標情報算出部が、前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出し、
前記評価指標情報算出部は、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出する、
評価方法。 - コンテンツ画像の性質を評価する評価システムのコンピュータ装置を、
前記コンテンツ画像を取得するコンテンツ画像取得手段、
前記コンテンツ画像における、見え方に関する性質の度合いを示す評価指標に関する情報である評価指標情報を算出する評価指標情報算出手段、
として機能させるプログラムであって、
前記評価指標情報算出手段において、少なくとも、画像における前記性質が不変であると感じられる性質である均質性の度合いを示す均質性指標に関する情報である均質性指標情報を、画像における前記性質の分布が一様である度合いを示す一様性指標に関する情報である一様性指標情報と、画像における前記性質の分布に規則性がある度合いを示す規則性指標に関する情報である規則性指標情報と、を用いて算出する、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210128A JP2022096883A (ja) | 2020-12-18 | 2020-12-18 | 評価システム、評価方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020210128A JP2022096883A (ja) | 2020-12-18 | 2020-12-18 | 評価システム、評価方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022096883A true JP2022096883A (ja) | 2022-06-30 |
Family
ID=82164959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020210128A Pending JP2022096883A (ja) | 2020-12-18 | 2020-12-18 | 評価システム、評価方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022096883A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091796A (zh) * | 2023-04-11 | 2023-05-09 | 天之翼(苏州)科技有限公司 | 基于人工智能的无人机采集数据处理方法及系统 |
-
2020
- 2020-12-18 JP JP2020210128A patent/JP2022096883A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116091796A (zh) * | 2023-04-11 | 2023-05-09 | 天之翼(苏州)科技有限公司 | 基于人工智能的无人机采集数据处理方法及系统 |
CN116091796B (zh) * | 2023-04-11 | 2023-06-02 | 天之翼(苏州)科技有限公司 | 基于人工智能的无人机采集数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Human visual system-based fundus image quality assessment of portable fundus camera photographs | |
KR101140533B1 (ko) | 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법 | |
Ganesan et al. | Segmentation and edge detection of color images using CIELAB color space and edge detectors | |
US11954598B2 (en) | Matching network for medical image analysis | |
Lupascu et al. | Automated detection of optic disc location in retinal images | |
Lavoué et al. | Quality assessment in computer graphics | |
CN106780436B (zh) | 一种医疗影像显示参数确定方法及装置 | |
KR102045223B1 (ko) | 골 연령 분석 방법, 장치 및 컴퓨터 프로그램 | |
JP2006142005A (ja) | 肌状態診断システムおよび美容のためのカウンセリングシステム | |
US20180184967A1 (en) | Skin gloss evaluation device, skin gloss evaluation method, and skin gloss evaluation program | |
US11615508B2 (en) | Systems and methods for consistent presentation of medical images using deep neural networks | |
JP2011171807A (ja) | 画像処理装置、およびプログラム | |
Krasula et al. | FFTMI: Features fusion for natural tone-mapped images quality evaluation | |
Dou et al. | Image fusion based on wavelet transform with genetic algorithms and human visual system | |
JP2022096883A (ja) | 評価システム、評価方法、及びプログラム | |
Cvejic et al. | A nonreference image fusion metric based on the regional importance measure | |
Ortiz-Jaramillo et al. | Content-aware contrast ratio measure for images | |
Peres et al. | Automatic segmentation of digital images applied in cardiac medical images | |
CN107787506A (zh) | 选择用于显示医学图像的传递函数 | |
Bringier et al. | No-reference perceptual quality assessment of colour image | |
JP7476487B2 (ja) | 検出支援装置、検出支援方法、及びプログラム | |
Lewis et al. | Uni-modal versus joint segmentation for region-based image fusion | |
Tang et al. | Feature comparison and analysis for new challenging research fields of image quality assessment | |
Sathananthavathi et al. | Improvement of thin retinal vessel extraction using mean matting method | |
KR101895390B1 (ko) | 영상 대비 평가 장치 및 방법 |