JP2012022353A - 画像評価装置および画像評価プログラム - Google Patents

画像評価装置および画像評価プログラム Download PDF

Info

Publication number
JP2012022353A
JP2012022353A JP2010157398A JP2010157398A JP2012022353A JP 2012022353 A JP2012022353 A JP 2012022353A JP 2010157398 A JP2010157398 A JP 2010157398A JP 2010157398 A JP2010157398 A JP 2010157398A JP 2012022353 A JP2012022353 A JP 2012022353A
Authority
JP
Japan
Prior art keywords
image
evaluation
area
evaluation value
importance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010157398A
Other languages
English (en)
Other versions
JP5416663B2 (ja
Inventor
Kazuaki Komine
一晃 小峯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to JP2010157398A priority Critical patent/JP5416663B2/ja
Publication of JP2012022353A publication Critical patent/JP2012022353A/ja
Application granted granted Critical
Publication of JP5416663B2 publication Critical patent/JP5416663B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

【課題】画面に表示される画像として制作者が意図する優れた画像であるのか否かを評価する。
【解決手段】画像評価装置1は、オブジェクトの領域および重要度をパラメータで指定したWebページ(画像)を記述したHTML文書を作成するマークアップ文書作成手段11と、HTMLファイルを読み込んで、レンダリングして表示装置Dに表示させると共に、埋め込まれているパラメータを抽出するマークアップ文書解析手段14と、表示されたWebページにおいて領域および重要度を指定パラメータにて指定する領域重要度指定手段15と、Webページから顕著性マップを算出する顕著性算出手段13と、HTML文書のパラメータで示される領域毎に顕著性マップのマップ値を利用した評価値を算出する評価値算出手段17と、評価値を重要度にて重み付けて合計することでWebページについての総合評価値を算出して表示装置Dに表示させる評価結果表示手段18とを備える。
【選択図】図1

Description

本発明は、制作者が優れた画像をデザインできるように支援する技術に係り、特に、Webページ等の画面に表示される画像を評価する技術に関する。
Web(world wide web)から情報を収集する機会が増え、情報を発信する側のホームページにおいては、そのデザインが、ユーザビリティや情報受容の点から重要となっている。しかしながら、そのデザインの優劣を評価する方法は確立されたものがなく、経験的に評価することが一般的である。
情報を発信する際に考慮しなければならない事項の1つは、テキストや画像など視覚的な表現によってなされる情報(以下、視覚情報という)が、容易に受容されているかであり、これらの視覚情報の視認性は、情報受容に大きな影響を与える。例えば、リンクをクリックしてから表示されるまである程度以上かかると、ユーザはそのページを見ない(8秒ルールor 3秒ルール)などとされるように、大量の情報の中から目的のものを抽出する作業には、一定の時間内に必要な情報が受容できるデザインが重要となっている。実際には、多様な情報が1ページに表示される例が多く、主要な項目の情報伝達が阻害されている可能性がある。デザイン時には、このような情報受容時の阻害要因を考慮し、主要項目の視認性を向上させる手段が望まれている。
制作されたホームページの視認性を評価する方法としては、ユーザビリティテスティングを行って調べるほか、ユーザビリティの専門家が経験的にその問題点を抽出する方法や、実際にホームページを利用しているユーザの視線を測定して注視点の分布や移動速度などから情報伝達に重要な領域へどの程度注意が向いているかで評価している例が多い(非特許文献1,2参照)。
また、Webページ等のデザインの優劣を評価するものではないが、従来、予めコンテンツのセグメンテーションを行うことなく、コンテンツを視線によって評価することができる画像評価装置が知られている(特許文献1参照)。
また、Webページ等のデザインの優劣を評価するものではないが、従来、例えばモニタに表示されたカメラ映像等の画像において、輝度、色、方位などの特徴量が周囲よりも目立つ箇所を示したマップ(顕著性マップ:Saliency Map)を算出するモデルが知られている(非特許文献3参照)。非特許文献3に開示された方法は、脳神経科学において研究されている人の視覚の機能に基づくもので、入力された視覚情報(シーン)に依存して瞬時に顕著性を判断する特性のボトムアップ(bottom-up)による注意の遷移を対象にしたものである。
ここで、顕著性とは、例えば、図7(a)に示すように、16個の棒が4行4列で配置された画像を人間が見た場合、符号601で示す1つの棒が周囲よりも際立って見えることを言う。図7(a)に示す例の場合、画像における方位が特徴量となっている。同様に、例えば、図7(b)に示す画像を人間が見た場合、符号602で示す1つの棒が周囲よりも際立って見える。この例の場合、画像における輝度や色が特徴量となっている。
なお、ボトムアップの対となるのは、記憶に基づいた判断など、意志力によって特定の領域に注意を向けるトップダウン(top-down)の注意である。また、非特許文献3に開示された顕著性マップ算出モデルを改良した同様のモデルが研究されてきている(非特許文献4,5参照)。
特開2007−310454号公報
阪井誠、他4名、「WebTracer:視線を利用したWebユーザビリティ評価環境」、情報処理学会論文誌、2003年11月、第44巻、第11号、p.2575-2586 河▲崎▼宜史、「Webユーザビリティヘの取り組み」、IPSJ Magazine、Vol.44、No.2、February、2003、p.163-168 L. Itti et al., "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.11, November 1998, p.1254-1259 O. Le Meur et al., "Predicting visual fixations on video based on low-level visual features", Vision Research, Vol.47, No.19, September 2007, p.2483-2498 N. D. B. Bruce et al., "Saliency,attention,and visual search: An information theoretic approach", Journal of Vision,Vol.9, No.3, article 5, March 2009, p.1-24
しかしながら、表示画面の画像のデザインは、経験的に評価されるか、または視線測定により評価されるため、Webページ等の制作者は、閲覧者に制作意図を正しく伝えることができるような優れたデザインを容易に判断することができない。
また、表示画面の画像のデザインの優劣を評価するために、例えば、Web利用中の視線を用いる場合に、その視線の測定が必要になる。そして、視線を測定する際には、眼球部を撮影するためのカメラを、頭部(ゴーグル、眼鏡、帽子の鍔など)に装着するか、Webを表示するモニタの下部、あるいはモニタの左右部に固定してなるべく頭部動作をしないようにして測定することが多い。この場合、ユーザに負担がかかるなど、自然な利用状況を再現できない可能性がある。
また、視線を測定する作業においては、眼球形状の個人差などに由来する誤差を補正するために事前にキャリブレーションを行う必要があるために作業が面倒となる。
さらに、利用時のユーザの視線には興味や事前知識の差異による個人差が生じると考えられるため、できる限り多様なユーザに対して視線を測定し、個人差の影響を平均化する必要がある。そのため、測定する側にも相応の労力が必要となり、コスト的な課題が存在する。例えば、特許文献1に記載の方法にて視線を実際に測定する場合、20〜30名程度の被験者の眼球運動(視線)を測定し、その分布を求めることで個人差の影響を平均化している。
また、表示画面の画像のデザインを評価する目的では顕著性マップは利用されておらず、どのように適用すれば、Webページ等の制作者が、閲覧者に制作意図を正しく伝えることができるような優れた画像のデザインを容易に判断することができるのか知られていない。
本発明は、以上のような問題点に鑑みてなされたものであり、画面に表示される画像のデザインを評価するための人的負担やコストを軽減して、制作者が意図する優れた画像であるのか否かを評価できる画像評価装置および画像評価プログラムを提供することを課題とする。
前記課題を解決するために、本発明の請求項1に記載の画像評価装置は、1または複数のオブジェクトが表示される画像内の所定の領域別の顕著性を評価するための評価値を算出することで当該画像を評価する画像評価装置であって、マークアップ文書作成手段と、マークアップ文書蓄積手段と、マークアップ文書解析手段と、領域重要度蓄積手段と、顕著性算出手段と、評価値算出手段と、評価結果表示手段と、を備えることとした。
かかる構成によれば、画像評価装置は、マークアップ文書作成手段によって、前記画像において1または複数のオブジェクトが表示される領域と、当該領域に対する重要度とをパラメータとしてそれぞれ指定し、当該画像を、前記各パラメータを含むマークアップ言語で記述したマークアップ文書ファイルを作成する。ここで、評価の対象である画像は、例えばWebページやデータ放送として表示装置の画面に呈示される画像である。また、マークアップ文書は、例えば、HTMLやBMLといったマークアップ言語で記述されている。また、領域とその重要度とをそれぞれ指定するためのパラメータは、マークアップ文書のタグによって設定することができる。そして、タグによって設定する際には、制作者が意図をもって目立たせたいと望んでいる領域を、パラメータで指定することができる。
そして、画像評価装置は、マークアップ文書蓄積手段に、前記マークアップ文書ファイルを蓄積し、マークアップ文書解析手段によって、前記マークアップ文書ファイルを読み込んで、前記画像を表示させるためのマークアップ文書を構成する構文の要素および属性を解析して、当該マークアップ文書の中から、前記領域およびその重要度をそれぞれ指定するパラメータを抽出する。ここで、マークアップ文書解析手段はブラウザの機能として構成することができる。そして、画像評価装置は、領域重要度蓄積手段に、前記画像における領域およびその重要度をそれぞれ指定するパラメータを当該画像に関連付けて蓄積する。そして、画像評価装置は、顕著性算出手段によって、前記画像を表示させるためのマークアップ文書をレンダリングした画像を所定の画像処理することで当該画像において輝度、色、方位のうちの少なくとも1つの特徴量が周囲よりも目立つ箇所ほど評価が高くなるようにマップ値を算出して割り当てた顕著性マップを作成する。ここで、顕著性マップは、当該画像の全領域についての顕著性を示す。
そして、画像評価装置は、評価値算出手段によって、前記顕著性マップが作成された画像に関連付けて蓄積されている領域およびその重要度をそれぞれ指定するパラメータで指定された領域における前記マップ値から予め定められた演算式により算出された評価値を、当該画像の領域毎に算出する。ここで、評価値は、例えば、当該領域における顕著性マップのマップ値の最大値や、その最大値を含む当該領域におけるマップ値の合計値つまり総和とすることができる。そして、画像評価装置は、評価結果表示手段によって、前記画像の領域毎に算出された評価値を当該領域の前記重要度で重み付けた領域毎の線形和を当該画像についての総合評価値として表示装置に表示させる。ここで、総合評価値は、画像の各領域の視認性を表す指標についての画像全体の重み付き線形和なので、画像のデザインを評価する指標となる。評価値や総合評価値といったこれらの指標を用いることにより、呈示された画像において予めタグで設定された領域の視認性および画像のデザインの良否を実際に視線測定することなく推定することができる。そのため、画像評価装置を利用する制作者によって、画像のデザインと評価とを繰り返し行うことで、デザインの改良を容易に行うことができる。つまり、画像評価装置を利用することで制作者が視認性の評価を短時間でフィードバックできるため、画像評価装置は、制作者が意図する優れた画像を容易にデザインできるように支援することができる。
また、本発明の請求項2に記載の画像評価装置は、請求項1に記載の画像評価装置において、領域重要度指定手段をさらに備えることとした。
かかる構成によれば、画像評価装置は、領域重要度指定手段によって、前記画像を表示させるためのマークアップ文書のレンダリングにより前記表示装置に表示された画像の注目すべき部分を示す注目領域と、当該注目領域に対する重要度とをそれぞれ指定するための指定パラメータの入力を受け付け、前記受け付けたそれぞれの指定パラメータを、当該画像に関連付けて前記領域重要度蓄積手段に格納する。そして、画像評価装置は、評価値算出手段によって、マークアップ文書の中から抽出されたパラメータで指定される領域と、指定パラメータで指定された注目領域とについて評価値を算出する。ここで、領域重要度指定手段は、例えばGUI(グラフィカル・ユーザ・インタフェース)により、表示画面上の入力操作から、指定パラメータの入力を受け付けることができる。
また、本発明の請求項3に記載の画像評価装置は、請求項1または請求項2に記載の画像評価装置において、前記顕著性算出手段が、変換手段と、顕著性マップ作成手段とを備えることとした。
かかる構成によれば、画像評価装置は、顕著性算出手段において、変換手段によって、前記画像に動画のオブジェクトを含む場合に、この動画における予め定められた区間について当該部分の動画像をフレーム画像に変換する。そして、顕著性算出手段は、顕著性マップ作成手段によって、前記変換されたフレーム画像毎に前記顕著性マップを作成する。これにより、評価の対象である画像として、例えばWebページやデータ放送として表示装置の画面に呈示されるテキストや画像のほか、動画を含む場合にも適用することができる。
また、本発明の請求項4に記載の画像評価装置は、請求項1ないし請求項3のいずれか一項に記載の画像評価装置において、前記評価結果表示手段が、総合評価値算出手段と、マップ重畳手段と、表示制御手段とを備えることとした。
かかる構成によれば、画像評価装置は、評価結果表示手段において、総合評価値算出手段によって、前記画像についての総合評価値を算出する。そして、評価結果表示手段は、マップ重畳手段によって、当該画像について算出された顕著性マップを当該画像に重畳する。そして、評価結果表示手段は、表示制御手段によって、前記画像に重畳された顕著性マップと、前記総合評価値とを前記表示装置に異なるタイミングまたは同時に表示させる。したがって、画像評価装置は、画像に重畳した顕著性マップと総合評価値とを表示装置に表示させることができるので、制作者は、総合評価値が示す画像のデザインを評価する指標を顕著性マップと共に視認することで、デザインの優劣を容易に直感的に把握することができる。
また、本発明の請求項5に記載の画像評価装置は、請求項3に記載の画像評価装置において、前記評価値算出手段が、領域別評価値算出手段と、統計量算出手段とを備えることとした。
かかる構成によれば、画像評価装置は、評価値算出手段において、領域別評価値算出手段によって、動画における予め定められた区間について前記当該部分の動画像から変換されたフレーム画像毎に評価値を算出する。そして、評価値算出手段は、統計量算出手段によって、前記区間内で変換された枚数分のフレーム画像を対象として、前記評価値についての最大値および最小値と、平均と、分散とのうちの少なくとも1つを含む統計量を算出する。したがって、画像評価装置は、画像に動画のオブジェクトを含む場合に、変換されたフレーム画像のすべての枚数の各評価値を対象として、評価値の統計量を画像の領域毎に算出する。この統計量により、制作者は、統計量が示す画像の各領域のデザインの時間変化を容易に把握することができる。
また、本発明の請求項6に記載の情報表示デザイン支援プログラムは、請求項1ないし請求項5のいずれか一項に記載の画像評価装置を動作させる画像評価プログラムであって、前記各手段として機能させるための画像評価プログラムとした。このように構成されることにより、このプログラムをインストールされたコンピュータは、このプログラムに基づいた各機能を実現することができる。
請求項1に記載の発明によれば、画像評価装置は、画面に表示する画像のデザインが記述されたマークアップ文書にて画像中の領域を指定するパラメータと、画像の全領域について算出された顕著性とに基づいて、画像のデザインを評価する指標となる総合評価値を表示装置に表示させる。したがって、画像の中で制作者が意図をもって目立たせたいと望んでいる領域を、マークアップ文書のタグにパラメータで指定することで、制作者が意図する画像をデザインできたか否かを容易に判断することができる。そのため、画像評価装置によれば、制作者が画像のデザインと評価とを繰り返し行うことで、デザインの改良を短期間で容易に行うことができる。これにより、画面に表示される画像のデザインの優劣を評価するための人的負担やコストを軽減して、制作者が意図する優れた画像を容易にデザインできるように支援することができる。
また、請求項2に記載の発明によれば、画像評価装置は、レンダリングにより表示装置に表示された画像において注目領域およびその重要度を指定するための指定パラメータの入力を受け付けて、当該画像に関連付けて記憶する。これにより、制作者は、画面表示される前には予測できずにマークアップ文書に含めなかった画像の領域およびその重要度のパラメータを、画像が画面表示された後に指定することができる。したがって、この画像評価装置によれば、画像のデザインの改良をより短期間で容易に行うことができ、制作者が意図する優れた画像を容易にデザインできるように支援することができる。
また、請求項3に記載の発明によれば、画像評価装置は、動画を含む画像にも適用することができるので、様々なバリエーションの画像のデザインを支援することができる。
また、請求項4または請求項5に記載の発明によれば、制作者は、画像のデザインの優劣や画像のデザイン改良後の変化を容易に把握することができる。
また、請求項6に記載の発明によれば、このプログラムをインストールしたコンピュータは請求項1の画像評価装置と同様の効果を奏することができる。
本発明の実施形態に係る画像評価装置の構成を模式的に示すブロック図である。 本発明の実施形態に係る画像評価装置に表示されるWebページの例を示す図である。 本発明の実施形態に係る画像評価装置の構成の詳細を模式的に示すサブブロック図である。 本発明の実施形態において図2に示すWebページに用いるソースコードの例を示す図である。 本発明の実施形態に係る画像評価装置による処理結果の表示例を示す図である。 本発明の実施形態に係る画像評価装置の動作を示すフローチャートである。 従来技術の顕著性マップにおける顕著性の説明図であって、(a)は顕著性の特徴量が方位である場合、(b)は顕著性の特徴量が色または輝度である場合をそれぞれ示している。
図面を参照して本発明の画像評価装置を実施するための形態について詳細に説明する。
[画像評価装置の概要]
図1に示す画像評価装置1は、1または複数のオブジェクトが表示される画像内の所定の領域別の顕著性を評価するための評価値を算出することで当該画像を評価する装置である。以下では、画像評価装置1は、一例として、HTML(HyperText Markup Language)文書によりデザインされたWebページ(画像)内の領域別の顕著性を評価するための評価値を算出することとして説明する。このようなWebページの一例としてホームページを図2に示す。つまり、画像評価装置1のタスクは、図2に示すホームページ(画像)をデザインする制作者が制作するホームページ(画像)を評価することである。
また、本実施形態の画像評価装置1では、前提として、デザインの対象であるホームページ(以下、ページ画像という)の制作者が、そのホームページ(ページ画像)の画面全体に配置された複数のオブジェクトの中で、閲覧者に特に閲覧して欲しいオブジェクトが画面全体の画像の中で目立って欲しいという制作意図を持っている。そして、制作者の制作意図がよく反映されている画像のデザインを優れたデザインと呼ぶ。そのため、画像評価装置1が算出する評価値や後記する総合評価値は、制作者が所望するページ画像が、制作者による制作意図を反映しているか否かを評価するための指標となっている。これにより、制作者は、画像評価装置1が1つの画面デザイン(ページ画像)から求めた評価値や総合評価値を、自らの判断材料として、デザインを繰り返し改良することで、自らの意図を最も反映したホームページ(ページ画像)の画面を制作することができる。
画像評価装置1は、Webコンテンツの解析、この解析を行うための各種パラメータ(総称して解析パラメータという)の設定、レンダリングされたWebコンテンツの顕著性算出および評価値算出を行うために、CPU(Central Processing Unit)等の演算装置と、メモリやハードディスク等の記憶装置と、外部との間で各種情報の送受信を行うインタフェース装置とを備えて構成される。
つまり、画像評価装置1は、前記したハードウェア資源がプログラムによって制御されることにより実現され、図1に示すように、マークアップ文書作成手段11と、マークアップ文書蓄積手段12と、顕著性算出手段13と、マークアップ文書解析手段14と、領域重要度指定手段15と、領域重要度蓄積手段16と、評価値算出手段17と、評価結果表示手段18とを備えている。
また、図1に示す入力装置Mは、画像評価装置1に解析パラメータを設定するものであり、例えば、マウス、キーボード、ディスクドライブ装置などから構成される。表示装置Dは、Webコンテンツのレンダリング結果および評価結果の表示を行うためのものであり、例えば、液晶ディスプレイ等から構成される。
[ホームページのデザインの構成]
ここで、評価対象とするホームページ(ページ画像)のデザインとして、図2の具体例について説明する。図2に示すページ画像100は、Webページの主要な構成要素を簡略化して模式的に示したものである。各構成要素により閲覧者に伝達しようとする情報の種類や重みによって、制作側の意図を反映して、各構成要素のタイトル、ページ画像内の領域にある個々の画像の形状、サイズ、配置、色彩等のデザインが、例えば次のように決定されていることとする。以下では、単に画像という場合、デザインの総合評価の対象とするホームページ(ページ画像)全体ではなく、そのホームページ内の個々のオブジェクト画像のことを示すものとする。ここで、個々のオブジェクト画像は、デザインの評価の対象として、総合評価の対象とはしないことにする。なお、総合評価の対象は、ホームページ(ページ画像)全体とする。
ページ画像100は、画面内を区分した主な領域として、画面上部の横長矩形のメインフレーム110と、画面中央のやや左側に配置された矩形の新着エリア120と、新着エリア120の下側に配置された矩形の報道エリア130と、画面各所に多数配置された短冊状のバナー140と、画面下側に配置された短冊状のオブジェクト150と、画面中央の右側に配置された短冊状のオブジェクト160と、を備えている。
メインフレーム110は、最も目立つ画面上部の領域である。メインフレーム110の内側には、左側に配置されたオブジェクト111と、中央に配置された画像と、右側に配置されたオブジェクト112および3つのバナー140とが含まれている。例えば、中央に配置された画像オブジェクトやバナー140は、Flashなどの動画でもよい。
新着エリア120には、例えば、オブジェクト121のように、このホームページの新着情報の見出しがハイパーリンク等のテキスト文字で表示されている。
報道エリア130も同様に、例えば、オブジェクト131のように、このホームページの報道発表資料の見出しがハイパーリンク等のテキスト文字で表示されている。
バナー140は、広告情報であり、例えば表示領域をクリックすることでリンク先へジャンプしたりするオブジェクトである。なお、バナー140については形状以外のデザインを省略した。
オブジェクト150は、必要であるが他よりも相対的にあまり目立たせなくないために画面下側に配置したバナーである。
オブジェクト160は、閲覧者に特に注目してもらうために他よりも相対的に目立つように画面中央右側にカラフルなデザイン(図示は省略する)で強調して配置したバナーである。
なお、詳細は後記するが、制作者は、このページ画像100(ホームページ)の出来栄えを評価するために、ページ画像100上の6つのオブジェクト111,112,121,131,150,160に対しては、ページ画像100上における当該オブジェクトの占める領域を指定するパラメータ(ID)の値と、その領域の重要度(重み)のパラメータ(w)の値とを指定する。これら6つのオブジェクトのうち、オブジェクト111,121,150に対しては、このページ画像100を表示する前にパラメータが指定され、一方、オブジェクト112,160,150の領域に対しては、このページ画像100を表示した後にパラメータが指定されている。そして、このようにパラメータを指定した後に、画像評価装置1は、このホームページ(Webページ)の総合評価値を算出する。
[画像評価装置の各部の構成]
<マークアップ文書作成手段>
マークアップ文書作成手段11は、ページ画像100において1または複数のオブジェクトが表示される領域と、当該領域に対する重要度とをパラメータとしてそれぞれ指定し、ページ画像100を、前記各パラメータを含むHTML(マークアップ言語)で記述したHTMLファイル(マークアップ文書ファイル)を作成するものである。ここで作成されたHTMLファイルは、マークアップ文書蓄積手段12に出力される。
これらのパラメータは、表示画面(Webページ)を表示させる情報に、領域とその重要度(以下、領域重要度ともいう)を指定するパラメータを加えて記述したソースコードによって設定される。ソースコードは、この画像評価装置1の操作者により入力装置Mから入力される。これらのパラメータは、当該Webページを表示する前のソースコードに埋め込まれているため、以下では、埋め込みパラメータと呼称する。一方、本実施形態の画像評価装置1は、当該Webページを表示した後に、領域重要度指定手段15により同様なパラメータの入力を受け付ける。このように表示後に受け付けるパラメータのことを以下では、指定パラメータと呼称する。
埋め込みパラメータおよび指定パラメータは、制作側の意図を反映したパラメータである。画像評価装置1の操作者は、入力装置Mから、領域を指定するためのパラメータ(ID)の値と、その重要度(重み)を指定するためのパラメータ(w)の値とを入力する。ここでは、埋め込みパラメータおよび指定パラメータで指定する領域を、オブジェクトが表示される領域(オフジェクトと同じ形状の領域)としたが、指定パラメータで指定する領域を、オブジェクトに限定されずに画面の一部の領域(オフジェクトと同じ形状とは限らない領域)としてもよい。なお、各パラメータで指定される領域の個数は特に限定されないが、埋め込みパラメータで指定する領域と、指定パラメータで指定する領域とは異なっており、一方のパラメータで指定された領域を他方のパラメータでは指定しないこととしている。
埋め込みパラメータおよび指定パラメータにおける重要度の決め方は、例えば、その領域やオブジェクトを制作者が閲覧者に注目して欲しい程度に応じて、設定する領域毎の相対値で定めることができる。また、画像評価装置1が、Webページの初期設定のデザイン(1回目にデザインされたページ画像)に対する総合評価値を算出した後にデザインを改良する場合には、Webページの画像の中で改良した領域や改良したオブジェクトのみその重要度を変更することで、デザインの変更が総合評価値へ貢献する度合いを見積もることもできる。なお、デザイン改良の際の指針として、例えば前回の領域毎の評価結果において、重要度が相対的に高くても評価値が相対的に低い領域のデザインを改良するために、重要度が相対的に低くても評価値が相対的に高い領域のデザインを参考にすることができる。
ここで、埋め込みパラメータが指定されたオブジェクトの表示例を図2に示し、該当するHTMLソースコードを図4に示す。図2に示す例では、画面に表示された3つのオブジェクト111(ID:1,w:1.0)、オブジェクト121(ID:2,w:0.8)、オブジェクト150(ID:3,w:0.2)に対して、埋め込みパラメータが指定されている。
このうち、図4(a)に示すソースコード210は、図2に示すオブジェクト111(ID:1,w:1.0)に対するソースコードである。ソースコード210において、符号211,215は、A要素であって、符号211で示す「Aタグ」の「href属性」を含むタグ(「<」、「>」)内には、リンク先のアドレスを示す情報が定義されている。符号212〜214の各行は、「IMGタグ」を示す。「IMGタグ」の符号212,213は、画像データ(コンテンツ)にて通常指定される一般的な属性を示す。符号214は、本実施形態の画像評価装置1において、「IMGタグ」のタグ(「<」、「>」)内に独自の属性として記述した、埋め込みパラメータを示している。埋め込みパラメータは、この場合、図2に示すオブジェクト111の領域を識別する情報であるID=「1」と、その領域の重要度の値(重み)を示すw=「1.0」とを示している。
また、図4(b)に示すソースコード220は、図2に示すオブジェクト121(ID:2,w:0.8)に対するソースコードである。ソースコード220において、符号221,224は、A要素であって、符号221で示す「Aタグ」の「href属性」を含むタグ(「<」、「>」)内には、リンク先のアドレスを示す情報が定義されている。符号222は、「Aタグ」のタグ(「<」、「>」)内に独自の属性として記述した、埋め込みパラメータを示す情報であって、図2に示すオブジェクト121の領域を識別する情報であるID=「2」と、その領域の重要度の値(重み)を示すw=「0.8」とを示している。符号213は、ハイパーリンクのテキストを示す情報である。
また、図4(c)に示すソースコード230は、図2に示すオブジェクト150(ID:3,w:0.2)に対するソースコードである。ソースコード230において、符号231〜235の各行は、図4(a)に示すソースコード210の符号211〜215と同様なので説明を適宜省略する。ここで、符号234は、「IMGタグ」のタグ(「<」、「>」)内に独自の属性として記述した、埋め込みパラメータを示す情報であって、図2に示すオブジェクト150の領域を識別する情報であるID=「3」と、その領域の重要度の値(重み)を示すw=「0.2」とを示している。
図1に戻って、画像評価装置1の各部の構成の説明を続ける。
<マークアップ文書蓄積手段>
マークアップ文書蓄積手段12は、例えば、RAM(Random Access Memory)やROM(Read Only Memory)等のメモリやハードディスク等の記憶装置から構成され、HTMLファイルを記憶する。このマークアップ文書蓄積手段12に蓄積されるHTMLファイルは、顕著性算出手段13およびマークアップ文書解析手段14にて利用される。
<顕著性算出手段>
顕著性算出手段13は、HTML文書をレンダリングしたWebページを画像処理することで当該Webページにおいて輝度、色、方位のうちの少なくとも1つの特徴量が周囲よりも目立つ箇所ほど評価が高くなるようにマップ値を算出して割り当てた顕著性マップ(Saliency map)を作成するものである。つまり、顕著性マップでは、周囲よりも目立つ画素ほど値が高い。
本実施形態では、顕著性算出手段13は、図3に示すように、レンダリング手段13aと、変換手段13bと、顕著性マップ作成手段13cとを備えることとした。
レンダリング手段13aは、マークアップ文書蓄積手段12から取得したHTMLファイルを読み込んで、ページ画像を表示させるためのHTML文書をレンダリングしてWebページ(ページ画像)を生成する。ここで生成されたWebページは、変換手段13bと、顕著性マップ作成手段13cと、評価結果表示手段18に出力される。
変換手段13bは、HTML文書をレンダリングして生成したWebページ(ページ画像)にFlashなどの動画のオブジェクトが埋め込まれている場合に、この動画における予め定められた区間について当該部分の動画像をフレーム画像に変換する。ここで、予め定められた区間とは、動画の開始時刻から終了時刻までの間で制作者が評価したい任意の区間であり、開始から終了までのすべてであっても構わない。例えば、Webページ(ページ画像)の中に1つの動画のオブジェクトがあって、例えば連続した10フレームの区間を評価する場合には、変換手段13bは、当該Webページから、Webページにおいて動画のオブジェクト以外の全領域の静止画部分と動画の1フレーム目とからなる第1のフレーム画像、動画のオブジェクト以外の全領域の静止画部分と動画の2フレーム目とからなる第2のフレーム画像、・・・といった10枚のフレーム画像を生成する。変換された各フレーム画像は、顕著性マップ作成手段13cに出力される。
なお、Webページ(ページ画像)に動画のオブジェクトを含む場合には、例えば、事前に予めその旨を示すフラグ等をHTMLファイルに関連付けて設定しておき、このフラグが有る場合に変換手段13bが変換処理を行うようにしてもよい。あるいは、ページ画像に動画のオブジェクトを含むか否かを判別する判別手段を別に設け、この判別手段の判別結果を変換手段13bに入力する構成としてもよい。判別手段は、顕著性算出手段13の内外いずれに配置してもよい。
顕著性マップ作成手段13cは、入力画像から、例えば、図5の上側に示すような顕著性マップを作成する。顕著性マップは、当該ページ画像において周囲よりも目立つ箇所を示す。後記するように顕著性マップは公知の方法で作成することができる。
本実施形態では、顕著性マップ作成手段13cは、レンダリング手段13aでレンダリングされた画像(静止画)、または、変換手段13bで変換されたフレーム画像を入力として、顕著性マップを作成する。なお、顕著性マップ作成手段13cは、動画を含む場合には、所定区間の変換されたフレーム画像毎に顕著性マップを作成する。作成された顕著性マップ(表示画面全体のマップ値を反映しているマップ)は、評価結果表示手段18に出力される。
また、顕著性マップ作成手段13cは、このWebページに関連付けて領域重要度蓄積手段16に記憶されているパラメータを取得し、作成した顕著性マップのうち、取得したパラメータで指定される領域のマップ値(表示画面の一部のマップ値)を評価値算出手段17に出力する。ここで、領域重要度蓄積手段16に記憶されているパラメータは、前記した埋め込みパラメータに限定されずに後記する指定パラメータを含んでおり、顕著性算出手段13は、これらのパラメータで指定される領域のマップ値を出力することとした。なお、顕著性マップ作成手段13cが、評価値算出手段17に対して表示画面のすべてのマップ値を出力し、かつ、評価値算出手段17が領域重要度蓄積手段16に記憶されている領域のパラメータを取得して必要なマップ値を特定して評価値を算出することもできる。
ここで、顕著性マップを作成する方法は、特に限定されるものではなく、例えば、非特許文献3〜5に記載の顕著性マップ算出モデルを用いることができる。一例として、本実施形態の顕著性算出手段13は、非特許文献3に記載の顕著性マップ算出モデルと同様にして、顕著性マップを作成することとした。
顕著性マップ算出モデルの詳細は非特許文献3に記載されているが、ここでは、その概略について簡単に説明する。
顕著性マップを作成するためには、入力画像として、例えば原画像(1:1=1:20)と、原画像から縮小された各画像(1:2=1:21 〜 1:256=1:28)とを合わせた合計9枚の画像を予め準備しておく。ここで、「2」の指数0〜8は画像のスケールを表す。
次に、各画像それぞれに対して、輝度(Intensity)、色(Color)、方位(Orientation)を計算する。そして、入力画像として前記のように精緻な画像と粗雑な画像とを用意して、Center-surroundオペレータ(異なるスケールの画像間の差分)を用いることで、入力画像からマルチスケールの特徴を抽出する。
Center-surroundオペレータにおいて、中心(center)は、スケールcの画像のピクセルを表し、周辺(surround)は、スケールsの画像の対応するピクセルを表す。sの値とcの値とは、s=c+δの関係を満たしている。ここで、cの値は2,3,4のいずれかであり、δの値は3,4のいずれかである。よって、輝度I(c,s)の組み合わせは6である。したがって、輝度Iについては、3原色r,g,bから6枚の特徴マップ(Feature map)が算出される。
色の特徴量については、3原色r,g,bを変換した色チャネルR(赤),G(緑),B(青),Y(黄)で定義された反対色の組合せとしてRGとBYの2種類があるので、6×2=12の特徴マップが作成される。
方位の特徴量については、例えば8方位(4方向)を示す0°(180°),45°,90°,135°の4種類とする。これにより、6×4の特徴マップが作成される。
つまり、輝度、色、および方位の特徴マップは合計すると42枚作成される。
次に、6枚の輝度の特徴マップを正規化して重ね合わせすることで、1つの目立度マップ(conspicuity map)が算出される。また、12枚の色の特徴マップを正規化して重ね合わせすることで1つの目立度マップが算出され、24枚の方位の特徴マップを正規化して重ね合わせすることで1つの目立度マップが算出される。これら3つの目立度マップを重ね合わせることで、顕著性マップ(Saliency map)が算出される。
このように、顕著性算出手段13は、非特許文献3に記載の顕著性マップ算出モデルと同様にして、顕著性マップを作成する。これにより、例えば、図5の下側に示すWebページ(ページ画像)において、輝度、色および方位の特徴量が周囲よりも目立っている箇所ほど評価が高くなるようなマップ値が算出され、図5の上側に示すような顕著性マップが作成される。なお、図5については、評価結果表示手段18と共に説明する。
<マークアップ文書解析手段>
マークアップ文書解析手段14は、マークアップ文書蓄積手段12から取得したHTMLファイルを読み込んで、ページ画像を表示させるためのHTML文書を構成する構文の要素および属性を解析し、埋め込みパラメータを抽出するものである。本実施形態では、マークアップ文書解析手段14は、図3に示すように、レンダリング手段14aと、パラメータ抽出手段14bとを備えることとした。
レンダリング手段14aは、HTML文書を構成する構文の要素および属性を解析することでHTML文書に記載された内容をレンダリングしてWebページを表示装置Dに表示させるものである。これにより、Webページをブラウジングすることができる。
パラメータ抽出手段14bは、埋め込みパラメータを抽出するものであって、HTML文書を構成する構文の要素および属性を解析することで、HTML文書を構成する構文においてオブジェクトの内容を表すタグに埋め込まれている、Webページ上の領域およびその重要度をそれぞれ指定するためのパラメータを抽出する。抽出されたパラメータ(埋め込みパラメータ)は、領域重要度蓄積手段16に出力される。
例えば、図4(a)に示すソースコード210の場合、パラメータ抽出手段14bは、符号212〜214の各行に記述されたIMGタグのタグ(「<」、「>」)内に独自の属性として記述された“data-priority-object-id”の値を、該当するオブジェクトの領域を指定するパラメータとして抽出すると共に、“data-priority-object-weight”の値を、その重要度を指定するパラメータとして抽出する。
抽出された各埋め込みパラメータ(以下、領域重要度ともいう)は、該当するWebページに関連付けられて領域重要度蓄積手段16に記憶される。
なお、このマークアップ文書解析手段14と、後記する領域重要度指定手段15とを1つのWebブラウザの機能として実現することもできる。また、前記したレンダリング手段13aを、別に設けることなくレンダリング手段14aと共用してもよい。
<領域重要度指定手段>
領域重要度指定手段15は、Webページ(ページ画像)を表示させるためのHTML文書のレンダリングにより表示装置Dに表示されたページ画像の注目すべき部分を示す注目領域を指定するための領域指定値(指定パラメータ)と、当該注目領域に対する重要度を指定するための重要度指定値(指定パラメータ)の入力をGUIにより受け付け、受け付けたそれぞれの指定パラメータを、当該Webページに関連付けて領域重要度蓄積手段16に格納するものである。これにより、領域重要度蓄積手段16では、当該ページ画像に関連付けて蓄積されている埋め込みパラメータと共に指定パラメータが蓄積される。つまり、領域重要度蓄積手段16において、ページ画像に関連付けられているパラメータが追加される。
本実施形態では、領域重要度指定手段15は、GUIにより、例えばマウス等の入力装置Mを用いた表示画面上の入力操作から、領域重要度(指定パラメータ)の入力を受け付けることとした。ここで、注目領域とは、1つのオブジェクトに完全一致する必要はなく、複数のオブジェクトを含んでもよく、オブジェクトの背景の一部であってもよい。注目領域の形状は、例えば矩形、円形のほか、GUIで選択可能な形状とすることができる。
ここで、領域重要度(指定パラメータ)が指定されたたオブジェクトの表示例を図2に示す。図2に示す例では、画面に表示された3つのオブジェクト112(ID:4,w:0.5)、オブジェクト160(ID:5,w:0.8)、オブジェクト131(ID:6,w:0.2)に対して、例えばマウスで選択する操作を行って、ページ画像100に対応付けて重み(重要度w)が指定されている。
<領域重要度蓄積手段>
領域重要度蓄積手段16は、例えば、RAMやROM等のメモリやハードディスク等の記憶装置から構成され、Webページ(ページ画像)に関連付けて埋め込みパラメータや指定パラメータ(追加された領域重要度)を記憶する。この領域重要度蓄積手段16に蓄積されるパラメータは、顕著性算出手段13や評価値算出手段17にて利用される。
<評価値算出手段>
評価値算出手段17は、顕著性マップが作成されたWebページに関連付けて領域重要度蓄積手段16に蓄積されている領域およびその重要度をそれぞれ指定するパラメータで指定された領域における評価値を、当該ページ画像の領域毎に算出するものである。ここで、領域毎の評価値は、パラメータで指定された領域内のマップ値から予め定められた演算式により算出されたものである。この評価値は、例えば、当該領域におけるマップ値の最大値や、その最大値を含む当該領域におけるマップ値の合計値つまり総和とすることができる。なお、領域毎の評価値は、その領域の視覚情報の視認性を表す指標であればこれらに限るものではない。
本実施形態では、評価値算出手段17は、図3に示すように、領域別評価値算出手段17aと、統計量算出手段17bとを備えることとした。
領域別評価値算出手段17aは、顕著性算出手段13から取得するマップ値を利用して領域毎の評価値(例えばマップ値の最大値または総和)を算出する。なお、領域重要度蓄積手段16に記憶されているパラメータは、埋め込みパラメータと、指定パラメータとを含んでおり、ここでは、領域別評価値算出手段17aは、これらのパラメータで指定される領域のマップ値を利用して評価値を算出することとした。算出された領域毎の評価値は、評価結果表示手段18に出力される。
また、領域別評価値算出手段17aは、算出した領域毎の評価値と、該当するページ画像に関連付けて領域重要度蓄積手段16に記憶されている当該領域の重要度(重み)とを用いて重み付き計算値も算出する。算出された重み付き計算値は、評価結果表示手段18に出力される。
さらに、本実施形態では、ページ画像に例えばflash等の動画のオブジェクトを含む場合には、領域別評価値算出手段17aは、動画における予め定められた区間についてWebページ(ページ画像)から変換されたフレーム画像毎に評価値を算出する。ページ画像に動画のオブジェクトを含む場合、算出された領域毎の評価値は、評価結果表示手段18および統計量算出手段17bに出力される。
統計量算出手段17bは、ページ画像に動画のオブジェクトを含む場合に処理を行うものであり、領域別評価値算出手段17aにて動画の区間内で変換された枚数分のフレーム画像を対象として、領域毎の評価値について区間内での統計量を算出する。算出された統計量は、評価結果表示手段18に出力される。ここで、統計量とは、例えば、領域毎の評価値について区間内での最大値および最小値と、それらの平均と、それらの分散とのうちのいずれか1つまたは複数を含むことができる。この統計量算出手段17bにて算出する統計量は、区間ごとの評価値をまとめたものなので、区間中の各領域の時間変化を見ることにより、評価値の相対的な関係から、目立つ領域がどのように変化しているかを評価することが可能になる。
<評価結果表示手段>
評価結果表示手段18は、Webページ(ページ画像)の領域毎に算出された評価値を、当該領域を指定するパラメータで示される重要度で重み付けた領域毎の線形和を当該ページ画像についての総合評価値として表示装置Dに表示させるものである。
本実施形態では、評価結果表示手段18は、図3に示すように、マップ重畳手段18a、総合評価値算出手段18bと、表示制御手段18cとを備えることとした。
マップ重畳手段18aは、Webページについて算出された顕著性マップを当該Webページに重畳するものである。
マップ重畳手段18aは、顕著性算出手段13のレンダリング手段13aでレンダリングされたWebページに対して、当該Webページについて顕著性マップ作成手段13cで作成された顕著性マップを重畳して表示装置Dに表示させるための表示画面(マップ重畳画像)を生成する。生成されたマップ重畳画像は、表示制御手段18cに出力される。
総合評価値算出手段18bは、Webページについての総合評価値を算出するものである。本実施形態では、総合評価値算出手段18bは、領域別評価値算出手段17aで算出された領域毎の評価値と、当該領域について領域重要度蓄積手段16に記憶されている重要度のパラメータとを乗算した結果を、当該Webページの各領域について合計することで総合評価値を算出する。算出された総合評価値は、表示制御手段18cに出力される。
表示制御手段18cは、Webページに重畳された顕著性マップと、総合評価値とを表示装置Dに表示させる制御を行うものである。
本実施形態では、表示制御手段18cは、マップ重畳手段18aから入力するマップ重畳画像(Webページに重畳された顕著性マップ)と、総合評価値算出手段18bから入力する総合評価値と、を入力装置M等の外部からの画面切り替え操作情報によって切り替えて表示させるように設定されていることとした。なお、表示装置Dの画面の中に、マップ重畳画像とは別に、総合評価値が表示される別ウィンドウを同時に表示させるように設定することもできる。
さらに、本実施形態では、Webページに動画のオブジェクトを含む場合には、評価結果表示手段18は、統計量算出手段17bから、領域毎の各評価値についての全フレーム分の統計量を取得し、表示装置Dに表示させることとした。また、評価結果表示手段18は、各フレームにおける評価結果(各領域の評価値および総合評価値)の時間変化を表示装置Dに順次表示させるようにしてもよい。なお、評価結果表示手段18は、総合評価値と、ページ画像に重畳された顕著性マップと、領域毎の各評価値についての全フレーム分の統計量とを、それぞれ別の表示モードによって切り替えて異なるタイミングで表示させてもよいし、異なるウィンドウで同時に表示させるようにしてもよい。
ここで、評価結果表示手段18が算出する総合評価値の具体例について表1を参照して説明する。
Figure 2012022353
表1の1行目には、項目として、「設定値」、「領域別の評価値」、「最大値の重み付き計算値」、「Webページの総合評価値」が記載されている。
このうち、「設定値」は、埋め込みパラメータや指定パラメータを示している。具体的には、領域IDが「1,2,3」の設定値は、埋め込みパラメータの領域およびその領域の重要度をそれぞれ示している。また、領域IDが「4,5,6」の設定値は、領域重要度(指定パラメータ)をそれぞれ示している。
また、表1の1行目の「領域別の評価値」は、視認性の指標として、顕著性マップにおける該当領域内のマップ値の最大値を採用した場合に、領域別評価値算出手段17aが算出するデータを示している。
また、表1の1行目の「最大値の重み付き計算値」は、領域別評価値算出手段17aにおいて算出したデータを示している。ここで、4列目の計算値は、2列目の重要度と3列目の最大値との積を表している。
また、表1の1行目の「Webページの総合評価値」は、視認性の指標として、顕著性マップにおける該当領域内のマップ値の最大値を採用した場合に、総合評価値算出手段18bが算出する総合評価値を示している。つまり、5列目に示す最大値の重み付き計算値の線形和は、4列目に示す6個の「最大値の重み付き計算値」の線形和を表している。
同様に、領域毎の評価値(視認性の指標)として、顕著性マップにおける該当領域内のマップ値の総和を採用した場合に、領域別評価値算出手段17aが算出する「領域別の評価値」および「総和の重み付き計算値」と、総合評価値算出手段18bが算出する「Webページの総合評価値」とを表2に示す。
Figure 2012022353
次に、評価結果表示手段18が顕著性マップをページ画像に重畳した表示画面の具体例について図5を参照して説明する。図5において上側に顕著性マップを示し、下側にページ画像を示す。この下側のページ画像は、図2に例示したページ画像100を示している。
ここで、図5の下側に示す「垂直方向」は、図2において縦方向であり、図5の下側に示す「水平方向」は、図2において縦方向である。なお、図5の下側に示す「垂直方向」および「水平方向」の単位はピクセル(解像度)を示す。
また、図5の下側に示す「垂直方向」および「水平方向」に対してそれぞれ直交する方向(図5において上方向)は、顕著性(マップ値)を表している。この例では、顕著性(マップ値)は、0〜1に正規化されている。図5に示すように、顕著性マップは、顕著性が高い箇所が山となって突出している。なお、顕著性の同一値を結んだ線の一例を、図5において下側に配置されたページ画像上に等高線CLとして示した。
[画像評価装置の動作]
次に、画像評価装置1の典型的な動作について図6を参照(適宜図1参照)して説明する。
まず、ステップS1にて、ページ画像の制作者は、評価対象となるWebページ(表示画面)をデザインし、各種オブジェクトを実装したHTMLファイルを作成する。このとき、表示画面上において、閲覧者(ユーザ)に注目して欲しい領域(注目領域)に予めパラメータを埋め込む。つまり、画像評価装置1は、マークアップ文書作成手段11によって、入力装置Mを介して入力された画像ファイルやテキスト文字等の入力情報(Webページ、埋め込みパラメータ)を読み込み、入力情報を変換して、各種オブジェクトを実装したHTMLファイルを作成し、マークアップ文書蓄積手段12に蓄積する。
ステップS2にて、画像評価装置1は、マークアップ文書解析手段14によって、マークアップ文書蓄積手段12から、評価対象のWebページを記述したHTMLファイルを読み込み、メモリ上に展開する。
ステップS3にて、マークアップ文書解析手段14は、読み込んだHTMLファイルに基づいて、パラメータ抽出手段14bによる処理と、レンダリング手段14aによる処理とを行う。このうち、パラメータ抽出手段14bは、評価対象となるWebコンテンツのHTML文書のタグに埋め込まれているパラメータを抽出し、領域重要度蓄積手段16に格納することで、評価対象となるWebコンテンツについて、解析パラメータ(埋め込みパラメータ)として領域およびその重要度を指定する。
また、このステップS3において、レンダリング手段14aによって、評価対象となるWebコンテンツのHTML文書をレンダリングすることでWeb画像が表示装置Dに表示される。これにより、ページ画像の制作者は、ブラウジングして、必要に応じてGUIにより、表示画面上の所望の領域に対して、手動で任意の形状を領域重要度(指定パラメータ)として指定することで、評価対象となるWebコンテンツについて、解析パラメータ(指定パラメータ)として注目領域およびその重要度も指定する。
そして、ステップS4にて、画像評価装置1は、顕著性算出手段13のレンダリング手段13aによって、HTML文書をレンダリングしてWebページを生成する。ここで、WebページにFlashなどの動画のオブジェクトを含む場合(ステップS4:Yes)、顕著性算出手段13は、変換手段13bによって、Webページの表示画面において、評価対象となる動画の区間についてWebページ全体のフレーム画像の集合に変換する(ステップS5)。つまり、この動画の時間区間を形成するフレーム毎に、当該部分の動画像をフレーム画像に変換して、評価対象となる時間区間の枚数のフレーム画像の集合を生成する。一方、動画のオブジェクトを含まない場合(ステップS4:No)、ステップS5をスキップする。
続いて、動画のオブジェクトを含まない場合のWebベージ(ステップS4:No)、または、前記したステップS5にて変換された各フレーム画像について、以下のステップS6〜ステップS8に示す処理を行う。
まず、ステップS6にて、画像評価装置1は、顕著性マップ作成手段13cによって、Webページの顕著性マップを算出する。ここで、動画のオブジェクトを含む場合には、顕著性マップ作成手段13cは各フレーム画像について顕著性マップを算出する。顕著性マップ作成手段13cは、領域重要度蓄積手段16から取得した領域重要度を指定するパラメータで示される領域と該当する顕著性マップとに基づいて、前記したステップS3で設定された注目領域ごとにその領域に含まれる顕著性(マップ値)を評価値算出手段17に出力する。
次に、ステップS7にて、領域別評価値算出手段17aは、取得した領域におけるマップ値を利用して領域ごとにその領域に含まれる顕著性の最大値(または領域内の顕著性の合計である総和)を算出して、当該領域の評価値とすると共に、領域重要度蓄積手段16から取得した領域の重要度を用いて重み付き計算値を領域毎に算出する。各領域の評価値および重み付き計算値は、評価結果表示手段18に出力される。
次に、ステップS8にて、画像評価装置1は、総合評価値算出手段18bによって、領域の重要度を考慮した領域毎の重み付き計算値について領域毎の線形和を算出し、対象とするWebページの総合評価値とする。
そして、Webページに動画のオブジェクトを含まない場合(ステップS9:No)、画像評価装置1は、表示制御手段18cによって、対象Webページの総合評価値を表示装置Dに表示させ、処理を終了する。なお、表示制御手段18cは、例えば表示モードを切り替えることで、表示装置Dに対象Webページの総合評価値を表示させたり、Webページに重畳された顕著性マップを表示させたりする。
一方、Webページに動画のオブジェクトを含む場合(ステップS9:Yes)、表示制御手段18cは、各フレームにおける各領域の評価値および総合評価値の時間変化を表示装置Dに表示させる(ステップS10)。また、Webページに動画のオブジェクトを含む場合、統計量算出手段17bは、全フレーム分の各領域における評価値の統計量(最大・最小値、平均、分散など)を算出する(ステップS11)。なお、表示制御手段18cは、例えば表示モードの切り替えによって、表示装置Dにフレーム別の評価値および総合評価値を表示させたり、Webページに重畳された顕著性マップを表示させたり、全フレーム分の各領域における評価値の統計量を表示させたりする。
制作者は、画像評価装置1による以上の処理で算出・表示された評価値およびその時間変化から、Webページデザインの問題点を分析し、デザインの改良を行う。
そして、制作者は、この分析結果をフィードバックしてデザインを変更し、再びステップS1から同様の処理を画像評価装置1に実行させることで、最も評価のよいデザインを採用することができる。
また、制作したWebページにおいて、アクセス頻度が予想と異なる領域がある場合などに、その阻害要因となっているデザイン要素(オブジェクトの配置や表現方法など)を容易に調べることが可能である。
本実施形態によれば、画像評価装置1は、HTMLファイルに予め埋め込まれた領域およびその重みを指定する埋め込みパラメータ、および、ブラウジングにより指定された指定パラメータと、Webページ全領域について算出された顕著性(マップ値)とに基づいて、Webページのデザインを評価する指標となる総合評価値を表示させることで、Webページ(ページ画像)を評価することができる。したがって、予め制作者が意図をもって目立たせたいと望んでいる領域を、HTMLのタグに埋め込みパラメータで指定したり、表示装置Dに表示されたWebページにGUIで指定パラメータを追加したりすることで、制作者が意図するページ画像をデザインできたか否かを容易に判断することができる。これにより、実際に視線を計測することなく人的負担やコストを軽減して、制作者が意図する優れた画像を容易にデザインできるように支援することができる。
以上、実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。例えば、前記した画像評価装置1の典型的な動作においては、解析パラメータの指定を、(1)ステップS3の段階にてブラウザでレンダリングされて表示されたWeb画像を利用して入力装置Mにより手動で任意の形状の領域を指定する、(2)ステップS1の段階でコンテンツ制作時にHTMLソースのタグに埋め込んでオブジェクト単位で領域を指定する、の両方を行うこととしたが、(1)の方法だけで指定してもよい。つまり、本実施形態では、画像評価装置1は、領域重要度指定手段15を備えるものとして説明したが、領域重要度指定手段15を除いた簡易な構成としてもよい。
また、この典型的な動作に関連する例外的な運用として、(2)の方法だけで解析パラメータを指定してもよい。さらに、この典型的な動作に関連する例外的な運用として、評価対象のページ画像について評価値の算出が必要ではない場合(相対的な顕著性のみが分かればよい場合)には、これらの解析パラメータを設定しなくてもよい。その場合には、制作者は、前記したステップS5で算出される顕著性マップ(図5参照)から問題点の分析を行えばよい。
また、本実施形態では、評価対象とする画像を、ホームページ(Webページ)としたが、本発明は、ホームページ以外においても、各種情報を画面に表示させる場合の画面デザインについても適用可能である。例えば、データ放送に適用した場合、HTMLに代えてBML(Broadcast Markup Language)で記述すれば同様な効果を奏することができる。また、マークアップ言語は、他のXML(Extensible Markup Language)で記述してもよい。
また、本発明はコンピュータを画像評価装置1の各手段として機能させるためのプログラムにより実現することができる。このプログラム(画像評価プログラム)は、通信回線を介して配布することも可能であるし、DVDやCD−ROM等の記録媒体に書き込んで配布することも可能である。
本発明に係る画像評価装置は、例えば、ヒューマンインタフェース、人間工学、視覚情報処理の分野などに利用することができる。
1 画像評価装置
11 マークアップ文書作成手段
12 マークアップ文書蓄積手段
13 顕著性算出手段
13a レンダリング手段
13b 変換手段
13c 顕著性マップ作成手段
14 マークアップ文書解析手段
14a レンダリング手段
14b パラメータ抽出手段
15 領域重要度指定手段
16 領域重要度蓄積手段
17a 領域別評価値算出手段
17b 統計量算出手段
17 評価値算出手段
18 評価結果表示手段
18a マップ重畳手段
18b 総合評価値算出手段
18c 表示制御手段
D 表示装置
M 入力装置

Claims (6)

  1. 1または複数のオブジェクトが表示される画像内の所定の領域別の顕著性を評価するための評価値を算出することで当該画像を評価する画像評価装置であって、
    前記画像において1または複数のオブジェクトが表示される領域と、当該領域に対する重要度とをパラメータとしてそれぞれ指定し、当該画像を、前記各パラメータを含むマークアップ言語で記述したマークアップ文書ファイルを作成するマークアップ文書作成手段と、
    前記マークアップ文書ファイルを蓄積するマークアップ文書蓄積手段と、
    前記マークアップ文書ファイルを読み込んで、前記画像を表示させるためのマークアップ文書を構成する構文の要素および属性を解析して、当該マークアップ文書の中から、前記領域およびその重要度をそれぞれ指定するパラメータを抽出するマークアップ文書解析手段と、
    前記画像における領域およびその重要度をそれぞれ指定するパラメータを当該画像に関連付けて蓄積する領域重要度蓄積手段と、
    前記画像を表示させるためのマークアップ文書をレンダリングした画像を所定の画像処理することで当該画像において輝度、色、方位のうちの少なくとも1つの特徴量が周囲よりも目立つ箇所ほど評価が高くなるようにマップ値を算出して割り当てた顕著性マップを作成する顕著性算出手段と、
    前記顕著性マップが作成された画像に関連付けて蓄積されている領域およびその重要度をそれぞれ指定するパラメータで指定された領域における前記マップ値から予め定められた演算式により算出された評価値を、当該画像の領域毎に算出する評価値算出手段と、
    前記画像の領域毎に算出された評価値を当該領域の前記重要度で重み付けた領域毎の線形和を当該画像についての総合評価値として表示装置に表示させる評価結果表示手段と、
    を備えることを特徴とする画像評価装置。
  2. 前記画像を表示させるためのマークアップ文書のレンダリングにより前記表示装置に表示された画像の注目すべき部分を示す注目領域と、当該注目領域に対する重要度とをそれぞれ指定するための指定パラメータの入力を受け付け、前記受け付けたそれぞれの指定パラメータを、当該画像に関連付けて前記領域重要度蓄積手段に格納する領域重要度指定手段をさらに備え、
    前記評価値算出手段は、前記マークアップ文書の中から抽出されたパラメータで指定される領域と、前記指定パラメータで指定された注目領域とについて前記評価値を算出することを特徴とする請求項1に記載の画像評価装置。
  3. 前記顕著性算出手段は、
    前記画像に動画のオブジェクトを含む場合に、この動画における予め定められた区間について当該部分の動画像をフレーム画像に変換する変換手段と、
    前記変換されたフレーム画像毎に前記顕著性マップを作成する顕著性マップ作成手段と、
    を備えることを特徴とする請求項1または請求項2に記載の画像評価装置。
  4. 前記評価結果表示手段は、
    前記画像についての総合評価値を算出する総合評価値算出手段と、
    当該画像について算出された顕著性マップを当該画像に重畳するマップ重畳手段と、
    前記画像に重畳された顕著性マップと、前記総合評価値とを前記表示装置に異なるタイミングまたは同時に表示させる表示制御手段と、
    を備えることを特徴とする請求項1ないし請求項3のいずれか一項に記載の画像評価装置。
  5. 前記評価値算出手段は、
    動画における予め定められた区間について前記当該部分の動画像から変換されたフレーム画像毎に評価値を算出する領域別評価値算出手段と、
    前記区間内で変換された枚数分のフレーム画像を対象として、前記評価値についての最大値および最小値と、平均と、分散とのうちの少なくとも1つを含む統計量を算出する統計量算出手段と、
    を備えることを特徴とする請求項3に記載の画像評価装置。
  6. 請求項1ないし請求項5のいずれか一項に記載の画像評価装置を動作させる画像評価プログラムであって、前記各手段として機能させるための画像評価プログラム。
JP2010157398A 2010-07-12 2010-07-12 画像評価装置および画像評価プログラム Expired - Fee Related JP5416663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010157398A JP5416663B2 (ja) 2010-07-12 2010-07-12 画像評価装置および画像評価プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010157398A JP5416663B2 (ja) 2010-07-12 2010-07-12 画像評価装置および画像評価プログラム

Publications (2)

Publication Number Publication Date
JP2012022353A true JP2012022353A (ja) 2012-02-02
JP5416663B2 JP5416663B2 (ja) 2014-02-12

Family

ID=45776625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010157398A Expired - Fee Related JP5416663B2 (ja) 2010-07-12 2010-07-12 画像評価装置および画像評価プログラム

Country Status (1)

Country Link
JP (1) JP5416663B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014167673A (ja) * 2013-02-28 2014-09-11 Dainippon Printing Co Ltd 顕著性分析装置
JP2017182821A (ja) * 2017-05-08 2017-10-05 日本電気株式会社 画面表現評価装置、画面表現評価方法、及びプログラム
WO2017213244A1 (ja) * 2016-06-08 2017-12-14 シャープ株式会社 画像処理装置、画像処理プログラム、および記録媒体
US10402683B2 (en) 2016-09-16 2019-09-03 Fujifilm Corporation Image display control system, image display control method, and image display control program for calculating evaluation values of detected objects
CN113012089A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 一种图像质量评价方法及装置
JP7567577B2 (ja) 2021-03-11 2024-10-16 マツダ株式会社 映像コンテンツ評価システム及び映像コンテンツ評価方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981761A (ja) * 1995-09-08 1997-03-28 Fuji Xerox Co Ltd 図表処理装置
JP2001236508A (ja) * 2000-02-23 2001-08-31 Fujitsu Ltd 顕著性算出装置及び方法
JP2004280597A (ja) * 2003-03-17 2004-10-07 Seiko Epson Corp レイアウト評価システム及びレイアウト評価プログラム、並びにレイアウト評価方法
JP2007310454A (ja) * 2006-05-16 2007-11-29 Nippon Hoso Kyokai <Nhk> 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981761A (ja) * 1995-09-08 1997-03-28 Fuji Xerox Co Ltd 図表処理装置
JP2001236508A (ja) * 2000-02-23 2001-08-31 Fujitsu Ltd 顕著性算出装置及び方法
JP2004280597A (ja) * 2003-03-17 2004-10-07 Seiko Epson Corp レイアウト評価システム及びレイアウト評価プログラム、並びにレイアウト評価方法
JP2007310454A (ja) * 2006-05-16 2007-11-29 Nippon Hoso Kyokai <Nhk> 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014167673A (ja) * 2013-02-28 2014-09-11 Dainippon Printing Co Ltd 顕著性分析装置
WO2017213244A1 (ja) * 2016-06-08 2017-12-14 シャープ株式会社 画像処理装置、画像処理プログラム、および記録媒体
JPWO2017213244A1 (ja) * 2016-06-08 2019-04-04 シャープ株式会社 画像処理装置、画像処理プログラム、および記録媒体
US10402683B2 (en) 2016-09-16 2019-09-03 Fujifilm Corporation Image display control system, image display control method, and image display control program for calculating evaluation values of detected objects
JP2017182821A (ja) * 2017-05-08 2017-10-05 日本電気株式会社 画面表現評価装置、画面表現評価方法、及びプログラム
CN113012089A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 一种图像质量评价方法及装置
JP7567577B2 (ja) 2021-03-11 2024-10-16 マツダ株式会社 映像コンテンツ評価システム及び映像コンテンツ評価方法

Also Published As

Publication number Publication date
JP5416663B2 (ja) 2014-02-12

Similar Documents

Publication Publication Date Title
JP5416663B2 (ja) 画像評価装置および画像評価プログラム
CN106249982B (zh) 显示控制方法、显示控制装置以及控制程序
KR101230129B1 (ko) 콘텐츠 표시 장치, 콘텐츠 표시 방법, 기록 매체, 서버 장치 및 콘텐츠 제공 방법
KR101253213B1 (ko) 모바일 단말기의 영상 표시 제어 방법 및 장치
JP5113929B1 (ja) 画像提供装置、画像処理方法、画像処理プログラム及び記録媒体
KR20130016408A (ko) 표시 제어 장치, 표시 제어 프로그램이 기록된 기록 매체 및 표시 제어 방법
EP2624203A1 (en) Image providing device, image processing method, image processing program, and recording medium
CN104978565B (zh) 一种普适性的图像文字提取方法
KR20170028302A (ko) 시선 정보에 기초하는 자극들에 대한 주의의 결정
KR101988919B1 (ko) 기계 가독 도트 패턴의 표시 장치를 이용한 표시 포맷
JP5694890B2 (ja) 注視領域データ生成装置およびその動作方法
US20150149883A1 (en) Image processing device, image processing device control method, program, and information storage medium
CN111104608A (zh) 一种网页数据处理方法以及相关装置
JP2015106862A (ja) コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
US8699795B2 (en) Image processing device, image processing method and image processing program
CN108304118B (zh) 截图方法及装置
JP2013210793A (ja) Ar表示最適化のためのシステム、方法、およびプログラム
KR101407124B1 (ko) 오브젝트 제어 방법, 오브젝트 제어 프로그램을 기록한 컴퓨터 판독 가능 기록 매체 및 웹 서버
JP2011180917A (ja) 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム
EP3177005B1 (en) Display control system, display control device, display control method, and program
CN106056042B (zh) 产生视频数据变换表示以及分析视频数据的方法和系统
JP5508145B2 (ja) コンテンツ表示装置、コンテンツ表示方法、コンテンツ表示プログラム及び記録媒体
KR101370714B1 (ko) 다중 스크린 장치 사용을 위한 웹 페이지 스크린 분할 방법 및 시스템
US20240281830A1 (en) Image display apparatus, image display method, and non-transitory computer-readable medium
JP2011159257A (ja) 情報提供方法及び情報表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131115

R150 Certificate of patent or registration of utility model

Ref document number: 5416663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees