JP2015106295A - Webサイト評価システム、その評価方法および品質評価サーバ - Google Patents

Webサイト評価システム、その評価方法および品質評価サーバ Download PDF

Info

Publication number
JP2015106295A
JP2015106295A JP2013248265A JP2013248265A JP2015106295A JP 2015106295 A JP2015106295 A JP 2015106295A JP 2013248265 A JP2013248265 A JP 2013248265A JP 2013248265 A JP2013248265 A JP 2013248265A JP 2015106295 A JP2015106295 A JP 2015106295A
Authority
JP
Japan
Prior art keywords
evaluation
website
quality
information
web site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013248265A
Other languages
English (en)
Inventor
俊明 本間
Toshiaki Honma
俊明 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DOCUMENT HOUSE CO Ltd
Original Assignee
DOCUMENT HOUSE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DOCUMENT HOUSE CO Ltd filed Critical DOCUMENT HOUSE CO Ltd
Priority to JP2013248265A priority Critical patent/JP2015106295A/ja
Publication of JP2015106295A publication Critical patent/JP2015106295A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】Webサイトの作成における要求を一元管理し、Webサイト作成時の品質管理を容易に行うWebサイト評価システムおよびその評価方法を提供する。
【解決手段】本実施形態に係るWebサイト評価システム700は、Webサイト登録端末200と、社内評価端末300と、品質評価サーバ500と、備える。品質評価サーバ500は、所定の評価項目を蓄積した評価項目データベースと、Webサイト情報の登録を受け付ける登録受付部と、Webサイト情報を格納するWebサイト情報格納データベースと、Webサイト情報と所定の評価項目とを関連付けて管理する評価対象管理部と、格納されたWebサイト情報と関連付けられた所定の評価項目とに基づいて、評価対象を通知する評価対象通知部と、評価情報を評価結果として取得する評価結果取得部と、評価結果から評価レポートを生成する評価レポート生成部と、備える。
【選択図】 図1

Description

本発明の実施の形態は、Webサイト評価システム、その評価方法および品質評価サーバに関する。
従来から、ウェブサイト(以下、Webサイトという)の品質の評価として、一般にはユーザーテストとヒューリスティック評価が行われているが、その実施には、Web制作・構築費用とのバランスにおいて、過剰な費用と時間が費やされている。
企業のWebサイトには、企業規模や所在地、経営陣の情報などの会社の概要情報から、上場企業であれば有価証券報告書やCSRレポートなどの情報、製品やサービスの購入方法やメンテナンスの方法の情報など、様々な情報が掲載される。
また、これらの情報は、適宜更新され、維持・管理される必要がある。さらに、これら多岐に渡る情報にかかわるステークホルダーには、会社社員や経営陣からはじまり、顧客や取引先、株主や政府機関、銀行など様々であり、それら各々のステークホルダーのニーズを満たすべく、Webサイト制作者は、Webサイトの客観的な品質評価を適宜実施し、Webサイトを作成、更新しなければならない。
これらを実現するには、Webサイトの客観的な品質評価をタイムリーに、また、低コストで実施する必要がある。品質評価における評価者を社員のみに限定した場合であっても、本社と支社のロケーションの問題や、海外出張など、社員の所在はまちまちとなる。こうした環境において、Webサイトの品質評価を効率的に実施するためには、クラウドコンピューティングの採用が不可欠であり、評価者の所在にかかわらず適宜評価を実施する唯一の手段となる。
Webサイトはインターネットを介し、全世界に公開される情報であり、日本のみを考えても、景品表示法などの法令の遵守やWebサイトのアクセシビリティなどのJIS規格への適合、Webサイト訪問者(ユーザ)の性別や年齢層、初心者なのかエキスパートなのかといった対象ユーザの把握、ヒューリスティック的な制作技術上の要件、情報開示だけを目的としたものなのか、製品やサービスの販売を目的としたものなのかといったWebサイトの用途や、競合他社との差別化、不祥事等の事故未然回避などの安全面からの要件、分かり易さなどのユーザビリティ要件や実効性上の要件(実際に目的を達成できること)に配慮して、Webサイトは作成される必要があった。
すなわち、Webサイトを作成する側は、例えば、情報伝達を司る記載情報要素(伝えるべき情報)や内容構造要素(検索性を左右する構成手法)、視覚表現要素(写真やビデオ、その他の画像やイラストなどのビジュアルによる表現手段)、文章表現要素(言葉での表現手段)、物理構造要素(ブラウジング環境や反応速度など)などの視点から適合要件を判断していた。
これに対し、Webサイトを利用するユーザ側は、役立つ情報(情報の適切さや正確さ)、情報の検索のしやすさ(知りたい情報がすぐに見つかる)、文章表現の分かりやすさ(読んで分かりやすい)、視覚表現の分かりやすさ(見て分かりやすい)、操作性の良さ(操作しやすい、リアクションが良いなど)、好感度の高さ(魅力的で好感が持て、ユーザ保護への配慮がある)などの視点から適合要件を判断していた。
しかしながら、これらのWebサイトの品質要件を満たすWebサイトを作成することは、作業が煩雑になりがちであった。また、Webサイトの開発担当者がWebサイトの品質を評価する業務を兼任して対応する場合が多く、Webサイトの開発担当者は、本来の業務とは異なる品質評価・管理のための情報収集と分析の業務に、多くの時間が割かれていた。
この場合、Webサイトの開発担当者は、そのWebサイトに関するエンジニアリング的な対応だけでなく、Webサイトに求められている法令や規格の調査および要求への適合、その他のユーザビリティ要件への適合も合わせて行う必要がある。しかしながら、それらの品質要件を客観的に収集・分析しWebサイトを作成することは、Webサイトの開発担当者に過剰に負担を強いることになっていた。
また、作成されたWebサイトの品質評価には、確立された一定の方法がなく、一人の担当者の独断でなされることもあり、その一人の担当者に負荷が掛かることがあった。そのため、企業によっては複数人でWebサイトの品質評価を行うこともされていたが、この場合には、Webサイトの品質評価の尺度にばらつきを生じ、集計と分析に多大な時間を費やしていた。
また、Webサイトの経験豊富な担当者がその会社のWebサイトを作成し、作成したWebサイトの品質評価・管理を担当者として対応することも考えられる。しかしながら、そのような担当者は、本来のWebサイト制作・構築に関する業務が多忙であることが多く、Webサイトの品質評価・管理に時間を割けないことも多かった。
さらに、Webサイト自体の作成・構築は、多くの企業で実施されるようになったが、Webサイトのユーザビリティチェックや実効性の検証については実施されているケースが少なく、仮に実施されている場合であっても、前述した一人の担当者の独断的な評価に依存した客観性の無いものであった。
従来から、Webサイトの作成において、Webサイトの品質評価尺度のばらつきをなくし、また、開発担当者に手間と負担を掛けずにWebサイトを作成、品質を評価・管理することが望まれていた。しかしながら、これらの要求を満たすような取り組みは、今まではなされていなかった。そのため、Webサイトに要求される一定の品質を管理しながら、作成されたWebサイトを客観的に評価する装置やシステムが構築されていなかった。
そこで、本願に係る発明者は、これらの課題に着目し、Webサイトの作成における要求を一元管理し、Webサイト品質の評価と管理を容易に行うWebサイト評価システム、その評価方法および品質評価サーバを見出した。
本実施形態によれば、Webサイト評価システムは、会社名やURL等のWebサイトを特定するためのWebサイト情報をWebサイト情報データベースに登録するWebサイト登録装置と、前記Webサイト情報データベースに登録されたWebサイト情報により特定されるWebサイトを評価するための評価項目に基づいて評価した評価結果を、評価情報として入力する評価入力端末と、前記入力された評価情報を集計して管理する品質評価サーバとを備え、前記品質評価サーバは、Webサイトを評価するための所定の評価項目を蓄積した評価項目データベースと、前記Webサイト登録装置により、前記Webサイト情報データベースに前記Webサイト情報を登録するために受け付ける登録受付手段と、前記登録受付手段で受け付けたWebサイト情報を格納する評価対象蓄積データベースと、前記評価対象蓄積データベースに格納されたWebサイト情報と、前記評価項目データベースに蓄積された所定の評価項目とを関連付けて管理する評価対象管理手段と、前記評価対象蓄積データベースに格納されたWebサイト情報と、前記関連付けられた所定の評価項目とに基づいて、前記評価入力端末に評価対象を通知する評価対象通知手段と、前記所定の評価項目について前記評価入力端末により入力された前記評価情報を、評価結果として取得する評価結果取得手段と、前記評価結果取得手段で取得した評価結果を集計し、当該集計された評価結果から評価レポートを生成する評価レポート生成手段と、を具備する。
本実施形態に係るWebサイト評価システムの概略の構成を示した概略構成図。 本実施形態に係るWebサイト評価システムの全体動作を示したシーケンス図。 本実施形態に係る品質評価サーバの構成を示した機能ブロック図。 本実施形態に係る品質評価サーバのハードウエアの構成を示したハードウエアブロック図。 本実施形態に係るWebサイト評価システムにおいて、Webサイトを評価するための評価準備処理手順を示したフローチャート。 本実施形態に係るWebサイト登録端末に表示される設定管理者用メニュー画面の一例を示した表示画面例。 本実施形態に係るWebサイト登録端末の表示部の表示画面に表示されるWebサイト登録画面の一例を示した表示画面例。 本実施形態に係る評価カテゴリに分類されている法令や規格、ユーザビリティ要求を、Webサイト登録端末の表示部の表示画面に表示させた場合の一例を示した表示画面例。 本実施形態に係る評価項目の詳細を表示した詳細表示画面を、Webサイト登録端末の表示部の表示画面に表示させた場合の一例を示した表示画面例。 本実施形態に係るWebサイトを評価する評価者を登録する評価者登録画面を、Webサイト登録端末の表示部の表示画面に表示させた場合の一例を示した表示画面例。 本実施形態に係るWebサイトの評価者に評価のためのアカウントを登録するアカウント送信画面を、Webサイト登録端末の表示部の表示画面に表示させた場合の一例を示した表示画面例。 本実施形態に係るWebサイト評価システムのWebサイトを評価するための評価処理手順を示したフローチャート。 本実施形態に係る評価カテゴリを選択する評価カテゴリ選択画面を表示画面に表示させた場合の一例を示した表示画面例。 本実施形態に係る社内評価端末がユーザビリティの評価カテゴリを選択した場合の評価画面を、社内評価端末の表示部の表示画面に表示させた場合の一例を示した表示画面例。 本実施形態に係る評価項目を評価する際に、適合割合と適合品質に基づいて、適合性を評価する場合の一例を示した表示画面。 本実施形態に係る品質評価サーバが、集計した評価結果に基づいて、適合割合と適合品質の分布を示したリスクマップ(本実施形態では品質マップとも言う)の一例を示した説明図。 本実施形態に係る品質評価サーバが集計した評価結果に基づいて、同一市場グループにおけるWebサイト品質の平均値と、評価対象のWebサイト品質とを比較してグラフ化した場合の一例を示した表示例。 本実施形態に係る品質評価サーバが集計した評価結果に基づいて、品質評価サーバに登録されている同一業種グループにおけるWebサイト品質の平均値と、評価対象のWebサイト品質とを比較してグラフ化した場合の一例を示した表示例。 本実施形態に係る品質評価サーバが、リスクマップを作成する際に、重み付けをする場合の加重点数を示した説明図。 5人の評価者が任意のWebサイトを評価して、各評価者の評価点を算出する算出方法の一例を示した説明図。 本実施形態に係る品質評価サーバが、リスクマップに基づいて、あるWebサイトの適合割合と適合品質の改善の前後を示すと共に、その改善の度合いを視覚的に示した説明図。 Webサイトの品質ランキングとして、格付けランキングをAaaからCaの8段階で示した説明図。 格付け表記の乗数部分の意味を示した説明図。 リスクマップ(品質マップ)上で、適合割合RTと評価点、適合品質QCと評価点の関係を示した説明図。 適合割合優先で評価点の悪いものからランク付けされたリストで、評価点が同得点の場合は、重要度レベルで更にランク付けされていることを示す説明図。
(第1の実施形態)
以下、本実施形態に係るWebサイト評価システム700について、添付図面を参照して説明する。
図1は、本実施形態に係るWebサイト評価システム700の概略の構成を示した概略構成図である。
図1に示すように、Webサイト評価システム700は、Webサイト作成端末100と、Webサイト登録端末(Webサイト登録装置)200と、社内評価端末(評価入力装置)300と、サービス提供者端末(評価入力装置)400と、品質評価サーバ500とをインターネット等のネットワーク600にそれぞれ接続することにより構成されている。
なお、Webサイト作成端末100と、Webサイト登録端末200と、社内評価端末300は、クライアントに該当するA社に属しているものとする。また、サービス提供者端末400は、Webサイトを評価するB社に属しているものとする。また、品質評価サーバ500は、Webサイトを評価するための品質評価サーバを提供するC社に属しているものとする。また、本実施形態において、Webサイト作成端末100と、Webサイト登録端末200は、サービス提供会社であるB社に属することもあり、また、B社とC社が同一の会社に属する場合も含まれる。
Webサイト作成端末100は、Webサイト作成者が任意の企業において、Webサイトを作成する際に使用されるWebサイト作成装置である。Webサイト作成端末100は、Webサイトを作成するための環境またはアプリケーションソフトを有している。
Webサイト登録端末200は、Webサイト作成端末100で作成されたWebサイトを特定するためのURLや会社名等のWeb情報を、ネットワーク600を介して、品質評価サーバ500に登録するための登録装置である。本実施形態では、Webサイト登録端末200は、ネットワーク600を介して、品質評価サーバ500と接続されているので、Webサイト作成端末100に格納し公開したWebサイト情報を、Webサイト登録端末200から品質評価サーバ500に登録する。なお、ここで、Webサイト情報とは会社名やURL以外に、市場、業種、Web種別等Webサイトを特定するための情報であり、いわばWebサイト特定情報である。また、Webサイトとは、これらWebサイト情報により特定されるサイト上に表示される1以上のWebページの集合体をいう。
そして、WebサイトをWebサイト登録端末200に格納して公開し、品質評価サーバ500に登録してもよい。また、Webサイト情報のWebサイト登録は、サービス提供を行うB社のサービス提供端末から行うようにしてもよい。
社内評価端末300は、Webサイトを作成した会社(すなわちA会社)の端末であって、Webサイト登録端末200で登録したWebサイトを評価する部署の評価端末である。本実施形態では、社内評価端末300は、Webサイト登録端末200と同一の会社に属しており、属する部署が異なるものとする。なお、本実施形態は、これに限定されるものではなく、例えばWebサイトを作成するWebサイト作成者と評価を担当する評価者とを兼任し、その者が社内評価端末300を用いて評価を行う形態であってもよい。また、Webサイト登録端末200に社内評価端末300の機能を備え、評価者は、Webサイト登録端末200を用いてWebサイトを評価する形態であってもよい。
次に、B社に属するサービス提供者端末400について説明する。
サービス提供者端末400は、Webサイトの全頁の品質を評価するために予め作成されている複数の評価項目を入力(登録)するための評価項目登録端末であり、また、Webサイト登録端末200によって登録されたWebサイトの全頁の品質を、評価する会社の評価用端末である。また、サービス提供者端末400は、Webサイトを作成した会社(A社)とは異なる会社の評価者用端末である。なお、サービス提供者端末400の会社は、Webサイトの評価をサービスとして提供する会社を想定しているが、本実施形態はこれに限らず、例えば、Webサイトを作成するWebサイト制作会社であってもよい。
また、サービス提供者端末400は、弁護士や外部制作会社のディレクター、外部デザイン会社のWebサイトのデザイナーなどの外部スペシャリストや一般モニターなどが使用する端末(評価端末)であってもよい。
この場合、サービス提供者端末400が、外部のスペシャリストや一般モニターなどが使用する端末によって構成される場合には、そのWebサイトを一般モニターなどに評価させることができるので、ユーザ側からの評価を入力する評価端末として機能する。これにより、サービス提供者端末400は、ユーザ側からの評価を受け付ける情報収集端末としても機能する。
なお、サービス提供者端末400、Webサイト作成端末100およびWebサイト登録端末200は、サービス提供者端末400の会社が提供する端末であってもよい。
次に、C社に属する品質評価サーバ500について説明する。
品質評価サーバ500は、社内評価端末300またはサービス提供者端末400において評価された評価情報を集計して、その集計内容や集計結果から評価レポートを生成する。そして、品質評価サーバ500は、Webサイト作成端末100、Webサイト登録端末200または社内評価端末300に、その評価レポートを送付するようになっている。
ネットワーク600は、Webサイト作成端末100と、Webサイト登録端末200と、社内評価端末300と、サービス提供者端末400と、品質評価サーバ500とを接続して、相互にデータ通信を行う例えばインターネット等のネットワーク網である。
なお、Webサイト作成端末100、Webサイト登録端末200、社内評価端末300、サービス提供者端末400および品質評価サーバ500は、それぞれ表示部を有している。
次に、本実施形態に係るWebサイト評価システム700の全体動作について、図面を用いて説明する。
図2は、本実施形態に係るWebサイト評価システム700の全体動作を示したシーケンス図である。
図2に示すように、Webサイト作成端末100は、コンテンツを作成する環境またはアプリケーションソフトを使用してWebサイトを作成し、その作成されたWebサイトのURL等のWebサイト情報をWebサイト登録端末200に格納する(ステップS001)。この場合、Webサイト作成端末100は、ネットワーク600を介してWebサイト情報を送信もしくはアップロードし、Webサイト登録端末200に格納してもよく、また、USBメモリを用いてWebサイトをWebサイト登録端末200に格納して登録するようにしてもよい。
Webサイトは、Webサイト作成端末100に格納し公開してもよく、また、Webサイト登録端末200に格納し公開してもよい。
いずれの場合も、Webサイト情報(会社名やURLの情報等)を品質評価サーバ500に登録する。
Webサイト登録端末200は、Webサイトの公開の有無にかかわらず、Webサイト作成端末100から取得したWebサイトのWebサイト情報を、品質評価サーバ500に登録する(ステップS003)。品質評価サーバ500は、Webサイトの登録を受け付けると、Webサイト登録端末200に登録を受け付けた旨を通知する(ステップS005)。
また、品質評価サーバ500は、Webサイトを受け付けた旨の通知と、その登録されたWebサイトについての評価依頼を、社内評価端末300およびサービス提供者端末400に通知する(ステップS007、S009)。なお、品質評価サーバ500は、評価依頼を通知する通知先をWebサイト登録端末200に選択させ、社内評価端末300またはサービス提供者端末400のいずれかに評価依頼を通知することもできる。
社内評価端末300は、品質評価サーバ500からの評価依頼を受け付けて、ネットワーク600を介して、品質評価サーバ500に接続し、品質評価サーバ500に格納されている評価項目に従いWebサイトの評価を行う(ステップS011)。
サービス提供者端末400は、品質評価サーバ500からの評価依頼を受け付けて、ネットワーク600を介して、品質評価サーバ500に接続し、品質評価サーバ500に格納されている評価項目に従いWebサイトの評価を行う(ステップS013)。
品質評価サーバ500は、社内評価端末300およびサービス提供者端末400からWebサイトの評価を受け付けて、その評価を集計した適合性を、サービス提供者端末400に通知する(ステップS015)。また、品質評価サーバ500は、その集計した適合性を、社内評価端末300にも通知する(ステップS017)。また、品質評価サーバ500は、その集計した適合性を、Webサイト登録端末200にも通知する(ステップS019)。さらに、品質評価サーバ500は、その集計した適合性を、Webサイト作成端末100にも通知してもよい(ステップS021)。
なお、品質評価サーバ500は、適合性に関し、評価に基づく評価レポートとして、Webサイト作成端末100やWebサイト登録端末200、社内評価端末300にファイル形式で送信するようになっている。本実施形態では、品質評価サーバ500は、ファイル形式で送信する場合に限定されるものではなく、所定の格納場所にファイル化して格納するようにしてもよく、また、評価結果に基づく適合性として表示部に視覚可能に表示させるようにしてもよい。
次に、本実施形態に係る品質評価サーバ500について、図面を用いて説明する。
図3は、本実施形態に係る品質評価サーバ500の構成を示した機能ブロック図である。
図3に示すように、品質評価サーバ500は、登録受付部510と、Webサイト情報格納データベース520と、評価項目データベース530と、評価項目登録受付部535と、評価対象管理部540と、評価対象蓄積データベース550と、評価対象通知部560と、評価結果取得部570と、評価結果データベース580と、評価レポート生成部590とを備えて構成されている。
登録受付部510は、ネットワーク600を介して、Webサイト登録端末200から受け付けたWebサイト情報の登録依頼を受け付ける。登録受付部510は、受け付けたWebサイト情報をWebサイト情報格納データベース520に格納する。
Webサイト情報格納データベース520は、登録受付部510によって受け付けたWebサイト情報を格納する。
評価項目データベース530は、登録受付部510で受け付けたWebサイトを評価するための複数の評価項目の新規または改訂情報を受け取り蓄積する評価項目データベースである。なお、評価項目データベース530は、所定の評価項目として、法令や規格、分かりやすさなどのWebサイトのユーザビリティ品質を含んでいる。
評価項目登録受付部535は、Webサイトを評価するための評価項目を取得し、評価項目データベース530に蓄積させる管理機能を有している。
評価対象管理部540は、Webサイト情報格納データベース520に格納された評価対象のWebサイト情報と、評価項目データベース530に蓄積された所定の評価項目とを関連付けて管理する機能を有している。この関連付けに関しては、詳細を後述する。
評価対象蓄積データベース550は、Webサイト情報格納データベース520に格納されたWebサイト情報と、評価項目データベース530に蓄積された所定の評価項目とを関連付けて格納するデータベースである。
評価対象通知部560は、Webサイト情報格納データベース520に格納されたWebサイト情報と、その関連付けられた所定の評価項目とに基づいて、ネットワーク600を介して、社内評価端末300またはサービス提供者端末400に評価対象を通知する機能を有している。この場合、評価対象通知部560は、Webサイト情報と、その関連付けられた所定の評価項目の評価依頼のみを通知して、品質評価サーバ500がASP(Application Service Provider)またはクラウドコンピューティングとして、社内評価端末300やサービス提供者端末400に、Webサイトを評価させるサービスを提供するようになっている。
また、本実施形態では、Webサイト情報と、その関連付けられた所定の評価項目を、ネットワーク600を介して、社内評価端末300やサービス提供者端末400にアクセスさせ、社内評価端末300またはサービス提供者端末400でWebサイトとその関連付けられた所定の評価項目を表示させて評価させるようにしてもよい。
評価結果取得部570は、評価項目データベース530に格納されている所定の評価項目について、社内評価端末300またはサービス提供者端末400により入力された評価情報を、評価結果として取得する機能を有している。また、評価結果取得部570は、取得した評価結果を、評価結果データベース580に格納する機能を有している。
評価結果データベース580は、評価結果取得部570によって取得された評価結果を格納するようになっている。
評価レポート生成部590は、評価結果データベース580に格納されている評価結果を、社内評価端末300またはサービス提供者端末400から評価結果を集計し、その集計された評価結果から評価レポートを作成する機能を有している。
ここで、評価レポート生成部590は、集計された評価情報から、法令や規格、ユーザビリティ要求への適合の割合を定量的に示した適合割合と、適合箇所の品質の評価を定性的に示した適合品質とに基づいて、Webサイトの適合性として視覚可能な評価レポートを作成する。また、評価レポート生成部590は、生成した評価レポート(集計評価ともいう。)を、ネットワーク600を介して、Webサイト登録端末200や社内評価端末300に送信する機能も有している。
図4は、本実施形態に係る品質評価サーバ500のハードウエアの構成を示したハードウエアブロック図である。
図4に示すように、品質評価サーバ500は、CPU(Central Processing Unit)501と、ROM(Real Only Memory)502と、RAM(Random Access Memory)503、ネットワークインターフェース部504と、表示部505と、記憶部506とを備えて構成されている。
CPU501は、品質評価サーバ500の上記各機能を実現させるためにROM502に格納されている各種プログラムを、RAM503にロードして、そのプログラムを展開することにより、各種プログラムの機能を実現することができる。
RAM503は、ワークエリア(作業用メモリ)として利用されるようになっている。ROM502は、品質評価サーバ500の各機能を実行するための各種プログラムを格納するようになっている。すなわち、ROM502に格納されている各種プログラムには、品質評価サーバ500の各機能、つまり図3で示した登録受付機能、評価対象管理機能、評価対象通知機能、評価結果取得機能、評価レポート生成機能などを実現するためのプログラムが含まれている。
ネットワークインターフェース部504は、ネットワーク600を介して、Webサイト登録端末200、社内評価端末300またはサービス提供者端末400と接続するためのインターフェース部である。
表示部505は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)などで構成された表示装置である。
記憶部506は、大容量不揮発の記憶装置であり、Webサイト格納データベース520、評価項目データベース530、評価対象蓄積データベース550および評価結果データベース580を構成するようになっている。また、本実施形態では、ハードディスク(hard Disk)やRAMによって構成されている。
次に、本実施形態に係るWebサイト評価システム700において、Webサイトを評価するための準備フローについて説明する。
図5は、本実施形態に係るWebサイト評価システム700において、Webサイトの品質を評価するための評価準備処理手順を示したフローチャートである。なお、図5では、Webサイト登録端末200がネットワーク600を介して品質評価サーバ500に接続して、評価準備処理手順を行う場合について以下に説明するが、サービス提供者端末400を用いた場合でも、同様の処理を実施させることができる。
図5のフローチャートに示すように、まず、Webサイト登録端末200(図1)は、ネットワーク600を介して、品質評価サーバ500に接続してログインする。ログインする際は、A社のユーザアカウントとして、ユーザID(Identification)とパスワードを用いることにより、A社のWebサイト登録端末200からの接続であることが認証される。Webサイト登録端末200は、ユーザIDとパスワードにより品質評価サーバ500に認証されると、品質評価サーバ500から提供されるサービスの中からメニューを選択する(ステップS101)。
ここで、メニューを選択する際のメニュー画面について、例を用いて説明する。
図6は、本実施形態に係るWebサイト登録端末200に表示される設定管理者用メニュー画面の一例を示した表示画面例である。
図6に示したWebサイト登録端末200の表示部201の表示画面には、ステップS101のメニュー選択の一例として、WebサイトのWebサイト登録か評価者登録を選択することができる表示画面が表示される。本実施形態では、例えば、まずWebサイト登録を選択し、その後、評価者の登録を行うものとする。
Webサイト登録端末200は、設定管理者用メニュー画面においてWebサイト登録が選択されると、評価対象であるWebサイトを登録するWebサイト登録画面が表示され、評価対象のWebサイトの登録を受け付ける(図5のステップS103参照)。
図7は、本実施形態に係るWebサイト登録端末200の表示部201の表示画面に表示されるWebサイト登録画面の一例を示した表示画面例である。
図7に示したWebサイト登録端末200の表示部201の表示画面には、ステップS103のWebサイト登録の一例として、評価対象のWebサイト(http://www.xyz.com/index)について、市場、業種、Web用途をプルダウン形式で項目を選択し、また、品質評価サーバ500に登録するURL名の設定と、評価期間を登録するための表示画面が表示される。
具体的には、市場として、東証一部、東証二部、JASDAQなどを選択することができ、また、業種として、食品、化学、機械、建設、電気などを選択することができる。評価カテゴリについては、市場や業種、Webサイト種別で選択された項目に対応して、そのWebサイトに該当する法令や規格、ユーザビリティ要求等が設定される。具体的には、景品表示法やユーザビリティ品質評価チェックリストなどが該当する。
また、Webサイトの登録は、Webサイトが格納されている場所を示すURL(Uniform Resource Locator)を指定する。これにより、品質評価サーバ500は、そのWebサイトの登録を受け付ける(ステップS103)。なお、図7では、「http://www.xyz.com/index」が指定されている。
なお、サービス提供者端末400を用いてWebサイトを登録する場合には、サービス提供者端末400の表示部の表示画面に、図7に示した表示画面例が表示される。
図8は、本実施形態に係る評価カテゴリに分類されている法令や規格、ユーザビリティ要求を、Webサイト登録端末200の表示部201の表示画面に表示させた場合の一例を示した表示画面例である。
図8に示したWebサイト登録端末200の表示部201の表示画面には、Webサイトの操作性に関するユーザビリティに対応した評価項目の一例が表示されている。この評価項目には、例えば、「Webサイト上のボタン等のユーザーインタフェースは直観的で分かりやすいかどうか」の必要条件が記載されている。
図9は、本実施形態に係る評価項目の詳細を表示した詳細表示画面を、Web登録端末200の表示部201の表示画面に表示させた場合の一例を示した表示画面例である。
図9に示した詳細表示画面には、評価項目についての詳細な説明と、疑義を生じる箇所についてコントロールを行う「コントロールの入力」という欄が表示されている。この欄は、Webサイトが評価を受ける際、どういう評価項目でどういう評価内容(評価基準)により評価されるかを、Webサイト登録端末200の登録者が登録することができる欄である。また、Webサイト登録端末200の登録者は、図9の詳細表示画面のコントロール入力フィールドに適合性チェックの評価基準(ガイドラインや評価尺度、具体例など)としての情報を入力し、画面の右下にある確定ボタンを押下することにより、評価基準としてのコントロール情報を登録することができる。
また、Webサイト登録端末200の登録者は、図7のWebサイト登録画面の右下にある確定ボタンを選択することにより、評価対象のWebサイトについて、市場および業種、Web種別の確定とそれによる評価項目の決定、Webサイトとのリンクを実施することができる。
なお、サービス提供者端末400を用いてWebサイトを登録する場合には、サービス提供者端末400の表示部の表示画面に、図8および図9に示した表示画面例が表示される。
次に、Webサイト登録端末200は、品質評価サーバ500に登録したWebサイトについて評価する評価者を登録する(ステップS105)。
図10は、本実施形態に係るWebサイトを評価する評価者を登録する評価者登録画面を、Webサイト登録端末200の表示部201の表示画面に表示させた場合の一例を示した表示画面例である。
図10に示した評価者登録画面には、評価対象のWebサイトのURL、会社名、評価期間の項目が記載されているとともに、評価者の一覧が記載された評価者リストのファイルの選択フィールドが表示されている。なお、本実施形態では、評価者リストのファイル名として「評価者リストXYZ.CSV」が明記されており、業種として食品が記載され、会社名として株式会社XYZが記載されている。また、評価期間は、2013−11−11から2013−11−21(年−月−日)として指定されている。
評価者リストのファイルは、Webサイト登録端末200またはサービス提供者端末400の記憶領域にあらかじめ格納されており、ユーザは、図10の評価者登録において、評価者リストのファイルを選択し、確定ボタンを押下操作することにより、評価者リストをインポートして表示させることができる。
図11は、本実施形態に係るWebサイトの評価者に評価のためのアカウントを登録するアカウント送信画面を、Webサイト登録端末200の表示部201の表示画面に表示させた場合の一例を示した表示画面例である。
図11に示したアカウント送信画面には、四人の評価者の氏名、会社名、部署名、メールアドレス、ユーザID、パスワードがそれぞれ記載されている。本実施形態では、「A川B一」と、「A田B二」と、「A村B三」が、A会社に属しており、「A山B四」がB会社に属している。このように、評価依頼は、会社に関係なく、評価対象について評価依頼先を登録することができる。また、上述した別の会社の弁護士、デザイナーまたは制作ディレクターなどを評価者として登録してもよい。また、一般ユーザを対象としたニーズの収集を行う場合には、会社名や部署名の代わりに年齢、性別、属性(趣味や区分)などを登録してもよい。
ユーザが、図11に示したアカウント送信画面に表示されている完了ボタンを押下操作することにより、品質評価サーバ500は、評価者の登録を受け付けるとともに(ステップS105)、登録された評価者に、それぞれのユーザIDとパスワードを通知する。以上の操作により、完了ボタンが押下操作されると、品質評価サーバ500は評価準備処理手順を終了する。
なお、サービス提供者端末400を用いて評価者を登録する場合には、サービス提供者端末400の表示部の表示画面に、図10および図11に示した表示画面例が表示される。
次に、本実施形態に係るWebサイト評価システム700において、Webサイトを評価する評価処理手順について説明する。
図12は、本実施形態に係るWebサイト評価システム700において、Webサイトを評価するための評価処理手順を示したフローチャートである。
図12のフローチャートに示すように、評価担当者は、Webサイト作成端末100や評価担当者の端末であるA社の社内評価端末300、B社のサービス提供者端末400から、ネットワーク600を介して品質評価サーバ500にログインする。評価担当者が評価カテゴリを選択すると、品質評価サーバ500は、評価カテゴリの選択を受け付ける(ステップS201)。
なお、ここでは、A社の評価担当者が、社内評価端末300を用いてWebサイトを評価する場合について説明する。また、B社の評価担当者が、サービス提供者端末400を用いてWebサイトを評価する場合であっても、同様の処理手順となる。
図13は、本実施形態に係る評価カテゴリを選択する評価カテゴリ選択画面を表示画面に表示させた場合の一例を示した表示画面例である。
図13に示すように、社内評価端末300の表示部301の表示画面には、4つのユーザビリティ評価カテゴリが表示されている。ここでは、法令や規格の要求をユーザビリティ要求に包含させているが、法令や規格の要求をユーザビリティ要求とは別の評価カテゴリとして設けてもよい。具体的には、役立つ情報(適切さ、正確さ)、分かりやすい表現(文章・ビジュアル)、操作性の良さ(操作しやすい、リアクションが良いなど)、好感度の高さ(魅力的で好感が持て、ユーザ保護への配慮がある)が表示されている。社内評価端末300は、評価担当者からの評価依頼を受け付けて、複数の評価カテゴリを受け付ける。ここでは、社内評価端末300は、評価担当者から、操作性の良さ(操作しやすい、リアクションが良いなど)の評価のみを行う選択を受け付けたとする。
図14は、本実施形態に係る社内評価端末300が操作性の良さ(操作しやすい、リアクションが良いなど)の評価カテゴリを評価する場合の評価画面を、社内評価端末300の表示部301の表示画面に表示させた場合の一例を示した表示画面例である。
図14に示した評価画面では、Webサイトに対応づけられた評価項目が列挙されており、チェックリストを構成している。すなわち、図14に示した評価画面では、図8で示した評価項目がチェックリストとして表示されるようになっている。評価担当者は、評価項目の左端にある評価ボタンを押下操作すると、その項目を評価するチェックシートを開くことができる。
図15は、本実施形態に係る評価項目を評価する際に、適合割合RTと適合品質QCに基づいて評価する場合の一例を示した表示画面である。なお、図15では、評価カテゴリの規格が選択されている場合の表示画面例を示している。
図15に示すように、社内評価端末300の表示部301の表示画面では、その評価項目において、適合割合RTと適合品質QCのそれぞれについて、6段階で評価するようになっている。例えば、適合割合RTの場合には、その要求事項に適合している、一部適合している、ほぼ適合している、適合している、該当しない、またはわからない、の評価を入力することができる。一方、適合品質QCの場合には、その適合の品質が非常に良い、良い、普通、悪い、非常に悪い、または該当しない、の評価を入力することができる(ステップS203)。
ここで、適合割合RTとは、法令や規格の要求、ユーザビリティ要求を定量的に評価するものであり、適合品質QCとは、法令や規格の要求、ユーザビリティ要求に適合している場合に、その適合箇所の適合状態が良いか(分かりやすいか等)否かを定性的に評価するものである。なお、適合割合RTおよび適合品質QCのそれぞれには、分からないという評価を含んでいるため、5段階評価と判断することもできる。また、この区分けの数は、5段階や6段階に限定されるものでない。すなわち、ユーザの任意の段数で評価レンジを設定することができる。
また、図14に示した評価画面では、表示画面の右上に「評価対象Webサイト表示」という項目を有しており、この項目には、図7で設定したURLとリンクが張られている。これにより、ユーザがWebサイトを見たい場合には、この「評価対象Webサイト表示」のボタンを押下することにより、評価対象のWebサイトを閲覧することができる。
社内評価端末300は、各評価項目について適合割合RTと適合品質QCについて評価を行うと(ステップS203)、品質評価サーバ500は、すべて評価項目の評価が完了したかを判定するようになっており(ステップS205)、未評価の評価項目がある場合には(ステップS205のNo)、その未評価の評価項目を評価させるようになっている。そして、すべての評価項目の評価が完了した場合には(ステップS205のYes)、評価処理手順を終了する。
なお、評価処理手順の終了は、すべての評価項目の評価が完了した場合に限定されるものではなく、社内評価端末300の評価担当者が途中までの評価を行って、その評価の途中までの状態で保存し、適宜、終了するようにしてもよい。
また、本実施形態に係る品質評価サーバ500は、ステップS201で選択された評価カテゴリ役立つ情報(適切さ、正確さ)について評価が終了した場合、社内評価端末300に他の評価カテゴリ(例えば、分かりやすい表現(文章・ビジュアル))を続けて評価させるようにしてもよく、または評価が終了する度に、評価カテゴリ全体における評価の進捗状況を示すようにしてもよい。
本実施形態に係る品質評価サーバ500は、社内評価端末300やサービス提供者端末400から評価結果を集計するようになっており、集計した評価結果から評価レポートを生成する機能を有している。なお、生成された評価レポートの出力先は、評価担当者が有する評価端末に限定されず、Webサイト登録端末200や品質評価サーバ500の所定の記憶領域に格納するようにしてもよい。
また、評価レポートは、電子データとしてファイルに出力される場合に限定されるものではなく、例えば、品質評価サーバ500の表示画面上に表示されるようにしてもよい。次に、評価レポートによって出力することができる内容について説明する。
本実施形態に係る品質評価サーバ500は、集計した評価結果に基づいて、適合割合RTと適合品質QCの分布をリスクマップ(品質マップ)として出力することができる。これは、社内評価端末300やサービス提供者端末400によって評価項目ごとに評価された評価結果に基づいて、ユーザにWebサイトの品質評価結果の分布を視覚的に見せることができる。
図16は、本実施形態に係る品質評価サーバ500が、集計した評価結果に基づいて、適合割合RTと適合品質QCの分布を示したリスクマップの一例を示した説明図である。
図16に示したリスクマップでは、横軸に適合割合RTの適合度合いを取り、縦軸に適合品質QCの適合度合いを取っている。したがって、横軸に対して右方向にむほど、適合割合RTが不適合であることを示し、また、縦軸に対して上方向に進むほど、適合品質QCが悪いことを示している。すなわち、図16に示したリスクマップでは、右上に行くほどWebサイトの品質(適合割合RTと適合品質QC)が劣り、左下に行くほどWebサイトの品質(適合割合RTと適合品質QC)が優れてことを示している。
図24は、適合割合RTと適合品質QCの評価点との関係を示している。
適合割合RTでは、0以上1未満が「該当しない」、1以上167未満が「適合」、167以上500未満が「ほぼ適合」、500以上833未満が「一部適合」、833以上1001未満が「未適合」を示している。
また、適合品質QCでは、0以上1未満が「該当しない」、1以上125未満が「非常に良い」、125以上375未満が「良い」、375以上625未満が「普通」、625以上875未満が「悪い」、875以上1001未満が「非常に悪い」を示している。
なお、図24中、◎は必須L、○は必須S、△は推奨S、□は推奨D1、☆は推奨D2、●はその他を示す。これら記号は図示の都合上、誇大に表示しているが、これら記号の中心点が適合割合の度合いを示している。
また、図16に示したように、評価項目ごとにプロットを行うことにより、評価対象であったWebサイト品質の評価の傾向を視覚的に認識することができるようになっている。すなわち、社内評価端末300やサービス提供者端末400から得られる複数の評価者の評価のばらつきを、品質評価サーバ500は、客観的かつ視覚的に表示させることができる。特に、法令や規格の要求、ユーザビリティ要求への適合割合RTを定量的に把握させることができ、また適合箇所の適合品質QCとして、その文章表現や視覚表現の分かりやすさを定性的に認識させることができる。
このように、本実施形態に係るWebサイト評価システム700は、Webサイト登録端末200によって登録されたWebサイトを、適合割合RTと適合品質QCから構成される複数の評価結果に基づいて、Webサイトを客観的に評価したり分析することができるので、Webサイト作成者は、Webサイトを作成する際の品質評価・管理を容易に行うことができる。
図17は、本実施形態に係る品質評価サーバ500が集計した評価結果に基づいて、同一市場におけるWebサイト品質の平均値と、評価対象のWebサイトの品質とを比較してグラフ化した場合の一例を示した表示例である。
図17に示すように、本実施形態に係る品質評価サーバ500は、複数のWebサイトを登録することができ、同一市場におけるWebサイト品質の平均値を算出することができるので、同一市場におけるWebサイト品質の平均値と、評価対象のWebサイトとを相対的に比較して、グラフにより図示することができる。
図18は、本実施形態に係る品質評価サーバ500が集計した評価結果に基づいて、品質評価サーバ500に登録されている同一業種におけるWebサイト品質の平均値と、評価対象のWebサイトの品質とを比較してグラフ化した場合の一例を示した表示例である。
図18に示すように、本実施形態に係る品質評価サーバ500は、図17のグラフと同様に、複数のWebサイトを登録することができ、品質評価サーバ500に登録されている同一業種におけるWebサイト品質の平均値を算出することができるので、品質評価サーバ500に登録されている同一業種におけるWebサイト品質の平均値と、評価対象のWebサイトの品質とを相対的に比較して、グラフにより図示することができる。また、平均値の算出は、同一市場や同一業種に限定するものではなく、例えば、Webサイトの用途種別(情報開示のみを目的にしたWebサイトなのか、製品やサービスの販促を目的にしたWebサイトなのか)などの特定グループについても、同様に求めることが可能になる。ここでグラフ上の「法令A」、「規格A」、「規格B」、「マーケットニーズ」、「製作技術」、「ユーザビリティ要件」の評価項目カテゴリは、例えば、「ユーザビリティ要件」の評価項目カテゴリを細分化し、「役立つ情報」、「分かりやすい表現」、「操作性の良さ」、「好感度の高さ」・・・のカテゴリでグラフ化することも可能であり、各評価項目に指定されたカテゴリ属性に依存するため、カテゴリ項目を限定するものではなく、柔軟なグラフ化が可能になる。
このように、本実施形態に係るWebサイト評価システム700は、法令や規格の要求、ユーザビリティ要求の適合性状況やその他のWebサイトの品質を容易に比較することができ、評価対象のWebサイトの適合性やその品質における脆弱性を容易に判断することができる。
なお、図17および図18では、相対的に比較する項目として、法令や規格、ユーザビリティ要求などの要件によって比較を行っているが、本実施形態はこれに限らず、ユーザが品質評価サーバ500に設定を行うことにより、適宜、相対的な比較を行うことができる。
例えば、ユーザ要件に特化して、役立つ情報(適切さ、正確さ)、分かりやすい表現(文章・ビジュアル)、操作性の良さ(検索性、反応速度)、好感度の高さ(ユーザー保護・魅力)などの視点から、相対的に比較する項目を抽出して、グラフを作成するようにしてもよい。これにより、ユーザ視点からの評価を行うことができるので、ニーズの収集の際にも、客観的かつ視覚的に評価結果を分析することができる。
また、本実施形態では、品質評価サーバ500に登録されている市場別や業種別の平均値よりグラフを作成して、評価対象のWebサイトと相対的に比較しているが、Webサイトの種別ごとに市場別や業種別の平均値を算出してグラフを作成し、比較するようにしてもよい。
また、市場別や業種別ごとに、Webサイトの種別の平均値を算出してグラフを作成し、比較するようにしてもよい。
また、本実施形態に係る品質評価サーバ500は、図16に示したリスクマップを作成する際に、適合割合RTと適合品質QCを単純にプロットするのではなく、適合割合RTおよび適合品質QCのそれぞれに重み付けを行うことで、プロット点を分散させ、グラフ化する際の容易性の向上を図っている。
図19は、本実施形態に係る品質評価サーバ500が、リスクマップを作成する際に、重み付けをする場合の加重点数を示した説明図である。
図19に示す説明図では、適合割合RTおよび適合品質QCに対して、それぞれ評価の良くない最大の点数を1000点満点として、加重する点数を示している。具体的には、適合割合RTの評価レベルがdの場合には1点、c点の場合には12点、b点の場合には24点、a点の場合には36が加重される。また、適合品質QCの評価レベルが1の場合には1点、2の場合には9点、3の場合には18点、4の場合には27点、5の場合には36が加重されるようになっている。
なお、この例では、加重点数の最大値が36点としており、その評価の良くない範囲の中で評価対象のWebサイトが何点であるか(どのくらいの割合にあるか)を換算するようになっている。具体的には、次の数式(1)で表わすことができる。
[数1]
(評価の加重点数)÷(加重点数の最大値:36点)×1000 ……(1)
この計算方法で、評価者による評価点(換算値)を算出し、評価者ごとの適合割合RTと適合品質QCの評価点を算出して、総合評価の点数を算出する。この場合、例えば、単純平均を用いて、適合割合RTの評価点と適合品質QCの評価点の平均を算出するとともに、適合割合RTと適合品質QCの評価点を合算して評価者ごとの総合評価点を算出することができる。
次に、図19に示した加重点数の説明図を参照して、具体的な計算例を例示する。
図20は、5人の評価者が任意のWebサイトを評価して、各評価者の評価点を算出する算出方法の一例を示した説明図である。
図20に示すように、評価者Aから評価者Eまでの5人の評価者の評価欄が設けられており、上段には、各評価者による適合割合RTと適合品質QCの評価結果が記入されている。具体的には、適合割合RTについて、評価者Aは「c」と、評価者Bは「b」と、評価者Cは「c」と、評価者Dは「c」と、評価者Eは「b」と、評価したことが記入されている。また、適合品質QCについては、評価者Aは「1」と、評価者Bは「2」と、評価者Cは「1」と、評価者Dは「3」と、評価者Eは「2」と、評価したことが記入されている。
図20の中段には、図19で示した加重点数を評価結果に応じて加重したものである。すなわち、適合割合RTについて、評価者Aの評価結果は「12」に加重され、評価者Bの評価結果は「24」に加重され、評価者Cの評価結果は「12」に加重され、評価者Dの評価結果は「12」に加重され、評価者Eの評価結果は「24」に加重されている。また、適合品質QCについては、評価者Aの評価結果は「1」に加重され、評価者Bの評価結果は「9」に加重され、評価者Cの評価結果は「1」に加重され、評価者Dの評価結果は「18」に加重され、評価者Eの評価結果は「9」に加重されている。
図20の下段には、上述した式(1)を用いて換算した換算値(評価点)が記載されている。具体的には、適合割合RTについて、評価者Aは「333」であり、評価者Bは「667」であり、評価者Cは「333」であり、評価者Dは「333」であり、評価者Eは「667」であることが記入されている。また、適合品質QCについては、評価者Aは「28」であり、評価者Bは「250」であり、評価者Cは「28」であり、評価者Dは「500」であり、評価者Eは「250」であることが記入されている。なお、小数点以下は四捨五入するものとする。
したがって、評価者ごとに換算値(適合割合RTと適合品質QC)の平均を取り、この値を評価者ごとの総合評価点とすることができる。具体的には、評価者Aは「181」であり、評価者Bは「459」であり、評価者Cは「181」であり、評価者Dは「417」であり、評価者Eは「459」である。また、右端には、適合割合RTの換算値の評価点「467」、適合品質QCの換算値の評価点「211」と、各評価者の評価点「339」が単純平均により示されている。
このように、図16に示したリスクマップは、適合割合RTおよび適合品質QCのそれぞれに重み付けがされているので、リスクマップにプロットされた評価結果から評価を行ったWebサイトの特徴(傾向)を知ることができる。
また、本実施形態に係るWebサイト評価システム700は、リスクマップをWebサイト登録端末200や社内評価端末300などに出力することにより、Webサイトの作成者や評価者に、そのWebサイトを効率的に改訂させることができる。具体的には、図16に示したリスクマップの各プロット(評価点)は、評価項目ごとの評価点を示しているため、ある評価項目について複数人によるプロットが集中することにより、その評価対象であるWebサイトの改善すべき適合割合RTや適合品質QCを認識することができる。
したがって、例えば、Webサイトを作成したWebサイト作成者が、そのプロットが示す傾向に従ってWebサイトの改訂を行うことにより、複数人によってなされた評価の傾向を反映したWebサイトの改訂を行うことができる。すなわち、本実施形態に係るWebサイト評価システム700は、リスクマップの評価結果を反映してWebサイトの改訂作業を行うことにより、的確かつ確実にそのWebサイトの品質を改訂することができる。
また、本実施形態に係るWebサイト評価システム700は、Webサイトが改訂されると、改訂されたWebサイトについて再度の評価を行い、改訂後の評価結果を再び集計することができるようになっている。例えば、改訂後のWebサイトについて、最初の評価処理と同様の評価処理を複数人の評価担当者で行うことにより、実現することができる。
図21は、本実施形態に係る品質評価サーバ500が、リスクマップに基づいて、あるWebサイトの適合割合RTと適合品質QCが改善された改善の度合いを視覚的に示した説明図である。
図21に示すように、図16に示したリスクマップの各評価点は、図21上では左下方向に移動しており、適合割合RTでは法令や規格、ユーザビリティ要求などに適合している比率が高まり、また、適合品質QCでは文章が読みやすく、表現が分かりやすくなったことを示している。
また、本実施形態に係る品質評価サーバ500は、評価結果データベース580に改訂前の評価結果と改訂後の評価結果を格納することができるので、改訂前の評価結果と改訂後の評価結果を、同時にリスクマップや図17や図18と同様にグラフ化することにより、レーダーチャートとして表示させることができる。
このように、本実施形態に係る品質評価サーバ500は、改訂後の評価結果を改訂前の評価結果と同時に比較して見ることができるので、改訂により改善された改善の度合いや改善の適否を、視覚的かつ容易に認識することができる。
また、本実施形態に係る品質評価サーバ500は、評価結果に基づいてWebサイトごとに格付けを行い、各Webサイトのランキング表示を、絶対評価として行うことができる。
図22は、各Webサイトに対する対応優先度ランキングとして、法令、規格、ユーザビリティなどの評価カテゴリの基準を満たした比率に応じた評価の格付けをランキング表示で示した説明図である。
図22に示すように、評価されたWebサイトの品質は、評価カテゴリの評価項目ごとに適合割合と適合品質から算出される評価点に基づいて格付け評価されている。例えば、評価点が0〜62.5の場合は、すべての項目は「適合」レベルにあり、それらの品質は「非常に良い」と想定される。また、評価点が62.5〜83.5の場合は、すべての項目は「適合」レベルにあり、それらの品質は「非常に良い」または「良い」と想定される。
また、評価の欄には、評価点ごとに、Aaa(0〜62.5)、Aa(62.5〜83.5)、A(83.5〜187.5)、Baa(187.5〜250)、Ba(250〜312.5)、B(312.5〜416.5)、Caa(416.5〜437.5)、Ca(437.5〜)の8段階評価が記載される。
例えば、WebサイトXXXの評価は「Aa」であったり、WebサイトYYYの評価は「Ba」であったり、WebサイトZZZの評価は「Caa」である、などと、Webサイトが評価点による絶対評価に基づき、Webサイトの品質の格付け評価が行われる。
また、図23に、格付け表記の乗数部分の意味を示している。適合状況が、ほぼ適合の項目を含む場合は「−1」乗表記に、一部適合の項目の項目を含む場合は「−2」乗表記に、また、未適合の項目を含む場合は「−3」乗表記で示している。
Webサイト品質を表す評価項目は適合割合または適合品質の悪いものからランキングされ、このランキング表示は、総合評価レポートとしてファイルにて出力されるようになっている。また、適合割合のワーストランキングを例にとると、「未適合」、「一部適合」、「ほぼ適合」の順にランキングされ、さらに、同じ「未適合」に対しては、評価項目の重要度(対応優先度)が高いものからランキングされることになる。
また、この適合割合または適合品質のいずれかを優先させたワーストランキングは全要求項目のワーストランキングのほか、法令や規格ごと、ユーザビリティの要求カテゴリごと、または、重要度レベルごとにランキングされる。
このように、本実施形態に係る品質評価サーバ500は、Webサイトに対応優先度ランキングを付すことができるので、そのWebサイトの評価内容を即座かつ簡易的にユーザに認識させることができる。
さらに、図25に示した対応優先度ランキング(ワーストランキング)は、各カテゴリにおける要求レベルを細分化して、その細分化された要求レベルで個別に重要度を付すことができる。この場合、本実施形態に係る品質評価サーバ500は、評価結果と重要度の優先順位に基づいて、対応すべき優先順位の項目を抽出してその項目をランキング表示することができる。適合割合評価点が1000点の項目が12項目あり、そのうち、9項目は重要度レベルが規格の必須「shall」で、1項目が規格の推奨「should」レベルであり、2項目は規格の推奨「recommend」レベルであり、次の適合割合889点での重要度ランクが続いている。このように、適合割合の評価点の悪いものから順にランク付けされ、評価点が同得点の場合は、重要度のレベルで、さらにランク付けがされている。
具体的には、評価カテゴリが法令や規格の場合、使用されている助動詞(「must」、「shall/do/be」、「should/recommend」、「may/can」)を元に、要求レベルとして必須や推奨などの重要度を付すことができる。本実施形態に係る品質評価サーバ500は、その要求レベルの評価結果と重要度から、「適合している」、「一部適合している」、「ほぼ適合している」などの評価結果を重要度の高い順に並び替え、また、その中から評価結果のよくない要求レベルや評価項目を抽出してランキング表示する。
これにより、本実施形態に係る品質評価サーバ500は、要求レベルや評価項目に対応した重要度が高い順(すなわち優先順位が高い順)に、品質改善に対応すべき要求レベルや評価項目をランキング表示することができるので、品質管理を行うユーザに適切な適合評価の結果の通知と、無駄の無い品質改善作業を明示することができる。
また、本実施形態に係る品質評価サーバ500は、図22や図23で説明した評価点による絶対評価によるランキング表示だけでなく、Webサイト全体または各評価カテゴリ別に標準偏差を利用して偏差値を求めることにより、その偏差値を用いた相対評価によるWebサイトの品質表示をすることもできる。
この標準偏差や偏差値は、平均値を求める集合(母集団)の違いから、市場や業種で偏差値を求める場合や、Web種別ごとにで偏差値を求める場合、または特定の複数企業で群で偏差値を求める場合などの様々なバリエーションにより、相対的に比較することができる。
すなわち、本実施形態に係る品質評価サーバ500は、Webサイトを、絶対評価で評価するだけでなく、相対評価として評価・比較することができるので、この2つの指標を用いてWebサイトごとに適合性を評価・格付けすることができる。
また、本実施形態に係る品質評価サーバ500は、適合評価の要求を一元管理することができるとともに、この要求に対する品質管理も一元管理することができるので、評価要求と品質管理の両立を、作業の無駄なく容易に実現することができる。
また、本実施形態に係るWebサイト評価システム700は、品質評価サーバ500の評価項目データベース530(図3)が更新された場合に、社内評価端末300などですでに評価済みのWebサイトについて再度の評価を行わせることができるようになっている。すなわち、例えば、法令(法律)や規格の改訂やWebサイト情報の具体的内容が変更された場合に、その改正された法令(法律)や変更されたWebサイト情報等に対して、Webサイトがどの程度新しい要求事項に適合しているか、あるいは、変更されたWebサイト情報により、どの程度の不適合が発生したかを評価担当者に評価させることができる。
この場合、評価項目データベース530は、毎年市場や業種ごとの国内法令が最新の法令を適用されるように更新されていたり、または法令や規格の改正がある度に、最新の法令や規格に更新されるようにされていれば適用することができる。例えば、評価項目データベース530は、ネットワーク600を介して、法令の改定ごとに改正された評価項目を、最新の法令の評価項目を有しているサービス提供者の端末からダウンロードにより更新したり、評価担当者やWebサイト登録者が、評価項目を手入力で更新すればよい。
また、本実施形態に係る品質評価サーバ500は、評価結果表示部590に結果判定部を設けて、複数の評価結果に基づいてなされた評価が所定の評価の範囲に該当する場合には、その該当するWebサイトのリストを出力するようにしてもよい。この場合、適合割合RTと適合品質QCによって出力される所定の評価の範囲を設定してもよく、また、対応必要度ランキング(対応優先度ランキング)によって出力される所定の範囲を設定するようにしてもよい。
具体的には、本実施形態に係るWebサイト評価システム700は、適合していない評価項目が、一定評価点以上に該当する項目を有するWebサイトを抽出したり、Webサイトの格付けが、「C」や「Ca」のWebサイトを抽出することもできる。
(第2の実施形態)
上述した第1の実施形態に加えて、第2の実施形態では、2回目以降の評価を行う際に、1回目の評価において評価方法の具体的方針が不明だったところや解釈に疑義の生じるところにガイド情報を設け、その不明な評価の方法が明確になるように、評価のコントロールを行うこと(コントロール情報の提供)ができる。
例えば、図9に示した評価項目を表示した詳細表示画面に、評価のコントロールを入力する項目(コントロールの入力)を設け、具体的に評価をする際の判断の指針を入力することができる。図9の例では、「入力欄の項目にマウスオーバーすると、ポップアップで入力する内容の説明が表示され、また、入力例も示されている。
」と記載されている。
また、図15に示した評価項目を評価する画面のように、評価の判断方法を具体的に分かりやすくするため、評価内容の項目を設け、評価の方法の指針を入力することができる。このように、評価項目や評価方法において、評価者が評価の際に不明な評価方法を確認することができるガイド情報を設けることにより、評価者の評価のばらつきを押さえ、評価の均一性を担保することができる。
なお、このガイド情報は、あらかじめ設けられていてもよく、または1回目の評価時に評価に支障があった評価項目について、ガイド情報を追加したり、ガイド情報の内容を変更するようにしてもよい。また、実際の評価については、全項目の評価を実施することなく、該当しない/分からない/要確認などの項目のみを抽出して評価を実施し、評価レポートを作成させるようにしてもよい。
(第3の実施形態)
上述した第1および第2の実施形態に加えて、第3の実施形態では、評価担当者やWebサイト登録者がWebサイトの内容を改訂したり更新したりすると、その改訂や更新によって更新されたWebサイト品質の変化率を数値化し、そのWebサイトの品質の変化率を視覚的に把握するようにすることができる。
例えば、図21に示したリスクマップを元に、Webサイト内容の変更の前後で評価点の推移を算出する。具体的には、本実施形態に係る品質評価サーバ500は、図19および図20に記載した加重点数によりWebサイトを2回以上評価して、Webサイト品質の変更の前後で総合評価点(図20)の改善率を算出する。
ここで、Webサイトの変更後の総合評価点が増えた場合、そのWebは、変更に伴い適合性が悪化したか、またはWebサイトの品質が低下した、と変更後の評価項目から判断することができる。また、例えば、図20で示した変更後の総合評価の平均点が減少した場合、Webサイトの品質や適合性が向上(改善)したと判断することができる。
なお、これらの変化率に伴うWebサイトの改訂(変更)の判断は、その評価項目の特性から、例えば、適合性が悪化、Webサイトの品質劣化、適合性に変化なし、Webサイトの品質に変化なし、適合性が改善、Webサイトの品質が向上、などに分類して、変化率ごとに対応させることができる。
このように、本実施形態に係るWebサイト評価システム700は、法令や規格、ユーザビリティなどの改訂に伴う要求事項への適合状況の変化や品質改善を目的としたWebサイトの改訂作業に伴うWebサイトの品質の変化を変化率として数値化し、悪化した項目と改善された項目とを容易に視覚的に把握することができる。
なお、第1から第3の実施形態では、社内評価端末300とサービス提供者端末400とを区別して実施形態を説明したが、本実施形態ではこれに限定されるものではなく、複数人による評価結果を取得することができればよい。すなわち、一台の評価端末(例えば、社内評価端末300)において、複数人がそれぞれのユーザIDを用いることにより、品質評価サーバ500が複数人の評価結果を取得する実施形態であってもよい。
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 Webサイト作成端末
200 Webサイト登録端末(Webサイト登録装置)
201 表示部
300 社内評価端末(評価入力端末)
301 表示部
400 サービス提供者端末
500 品質評価サーバ
504 ネットワークインターフェース部
505 表示部
506 記憶部
510 登録受付部(登録受付手段)
520 Webサイト情報格納データベース
530 評価項目データベース
535 評価項目登録受付部
540 評価対象管理部(評価対象管理手段)
550 評価対象蓄積データベース
560 評価対象通知部(評価対象通知手段)
570 評価結果取得部(評価結果取得手段)
580 評価結果データベース
590 評価レポート生成部(評価レポート生成手段)
600 ネットワーク
700 Webサイト評価システム
QC 適合品質
RT 適合割合

Claims (13)

  1. 会社名やURL等のWebサイトを特定するためのWebサイト情報をWebサイト情報データベースに登録するWebサイト登録装置と、
    前記Webサイト情報データベースに登録されたWebサイト情報により特定されるWebサイトを評価するための評価項目に基づいて評価した評価結果を、評価情報として入力する評価入力端末と、
    前記入力された評価情報を集計して管理する品質評価サーバとを備え、
    前記品質評価サーバは、
    Webサイトを評価するための所定の評価項目を蓄積した評価項目データベースと、
    前記Webサイト登録装置により、前記Webサイト情報データベースに前記Webサイト情報を登録するために受け付ける登録受付手段と、
    前記登録受付手段で受け付けたWebサイト情報を格納する評価対象蓄積データベースと、
    前記評価対象蓄積データベースに格納されたWebサイト情報と、前記評価項目データベースに蓄積された所定の評価項目とを関連付けて管理する評価対象管理手段と、
    前記評価対象蓄積データベースに格納されたWebサイト情報と、前記関連付けられた所定の評価項目とに基づいて、前記評価入力端末に評価対象を通知する評価対象通知手段と、
    前記所定の評価項目について前記評価入力端末により入力された前記評価情報を、評価結果として取得する評価結果取得手段と、
    前記評価結果取得手段で取得した評価結果を集計し、当該集計された評価結果から評価レポートを生成する評価レポート生成手段と、
    を具備したことを特徴とするWebサイト評価システム。
  2. 前記評価項目データベースに蓄積された所定の評価項目は、
    前記Webサイトの市場別や業種別、用途別であって法令や規格の要求、ユーザビリティ要求、アクセシビリティ要求等のWebサイト品質を評価する項目の少なくともいずれかを含む
    ことを特徴とする請求項1に記載のWebサイト評価システム。
  3. 前記評価レポート生成手段は、
    前記取得した評価結果について、法令や規格の要求やユーザビリティ要求への適合の割合を定量的に示した適合割合と、適合箇所の適合の品質の評価を定性的に示した適合品質とに基づき、適合性として前記評価レポートを生成する
    ことを特徴とする請求項1または2に記載のWebサイト評価システム。
  4. 前記評価レポート生成手段は、
    前記所定の評価項目において、助動詞に重要度を付して評価し、その評価結果に基づいて、品質改善すべき優先順位の高い評価項目を抽出して前記評価レポートを生成する
    ことを特徴とする請求項1から3のいずれか1項に記載のWebサイト評価システム。
  5. 前記評価レポート生成手段は、
    前記適合割合と前記適合品質に重み付けを行い、前記評価レポートを生成する
    ことを特徴とする請求項1から4のいずれか1項に記載のWebサイト評価システム。
  6. 複数の前記評価入力端末を備え、
    前記品質評価サーバは、
    前記複数の評価入力端末により入力された評価情報を集計し、当該集計された評価情報に基づいて、前記評価レポートを生成する
    ことを特徴とする請求項1から5のいずれか1項に記載のWebサイト評価システム。
  7. 前記評価項目蓄積データベースは、
    準拠すべき法令、規格の遵守事項の改正または前記Webサイト情報の変更に伴って更新される
    ことを特徴とする請求項1から6のいずれか1項に記載のWebサイト評価システム。
  8. 前記評価レポート生成手段は、
    前記Webサイト情報の適合性について、評価対象であるWebサイトの評価カテゴリ別の平均値を、市場や業種ごと、または用途が異なるWebサイト種別ごとの平均値と比較して、当該差異を出力する
    ことを特徴とする請求項1から7のいずれか1項に記載のWebサイト評価システム。
  9. 前記評価レポート生成手段は、
    前記Webサイト情報の適合性について、評価対象であるWebサイトの評価カテゴリ別の平均値を、市場や業種の中でのWebサイトの平均値または用途別Webサイト種別のWebサイトの平均値と比較して、当該差異を出力する
    ことを特徴とする請求項1から7のいずれか1項に記載のWebサイト評価システム。
  10. 前記評価レポート生成手段は、
    前記Webサイト情報の適合性について、評価対象として同一のWebサイト情報であって、当該Webサイト情報の改定により当該Webサイト情報の変更の前後で当該Webサイト情報の適合性に変化があった場合には、当該変化を出力する
    ことを特徴とする請求項1から9のいずれか1項に記載のWebサイト評価システム。
  11. 前記評価レポート生成手段は、
    前記Webサイト情報の適合性について、評価カテゴリごとに標準偏差による偏差値により相対的な評価を行う
    ことを特徴とする請求項1から10のいずれか1項に記載のWebサイト評価システム。
  12. 会社名やURL等のWebサイトを特定するためのWebサイト情報をWebサイト情報データベースに登録するWebサイト登録装置と、
    前記Webサイト情報データベースに登録されたWebサイト情報により特定されるWebサイトを評価するための評価項目に基づいて評価した評価結果を、評価情報として入力する評価入力端末と、
    前記入力された評価情報を集計して管理する品質評価サーバとを備え
    前記品質評価サーバは、
    Webサイトを評価するための所定の評価項目を蓄積した評価項目データベースと、
    前記Webサイト登録装置により、前記Webサイト情報を格納する前記Webサイト情報格納データベースとを備えたWebサイト評価システムにおけるWebサイト評価方法であって、
    前記Webサイト登録装置に登録された、前記Webサイト情報を受け付ける登録受付ステップと、
    前記Webサイト情報格納データベースに格納されたWebサイト情報と、前記評価項目データベースに蓄積された所定の評価項目とを関連付けて管理する評価対象管理ステップと、
    前記評価情報として格納されたWebサイト情報と、前記関連付けられた所定の評価項目とに基づいて、前記評価入力端末に評価対象を通知する評価対象通知ステップと、
    前記所定の評価項目について前記評価入力端末により入力された前記評価情報を、評価結果として取得する評価結果取得ステップと、
    前記評価結果取得ステップで取得した評価結果を集計し、当該集計された評価結果から評価レポートを生成する評価レポート生成ステップと、
    を含むことを特徴とするWebサイト評価方法。
  13. Webサイト情報を評価するための所定の評価項目を蓄積した評価項目データベースと、
    外部装置により、前記Webサイト情報データベースに前記Webサイト情報の登録を受け付ける登録受付手段と、
    前記登録受付手段で受け付けたWebサイト情報を格納するWebサイト情報格納データベースと、
    前記Webサイト情報格納データベースに格納されたWebサイト情報と、前記評価項目データベースに蓄積された所定の評価項目とを関連付けて管理する評価対象管理手段と、
    前記格納されたWebサイト情報と、前記関連付けられた所定の評価項目とに基づいて、評価端末に評価対象を通知する評価対象通知手段と、
    前記所定の評価項目について前記評価端末により入力された前記評価情報を評価結果として取得する評価結果取得手段と、
    前記評価結果取得手段で取得した評価結果を集計し、当該集計された評価結果から評価レポートを生成する評価レポート生成手段と、
    を具備したことを特徴とする品質評価サーバ。
JP2013248265A 2013-11-29 2013-11-29 Webサイト評価システム、その評価方法および品質評価サーバ Pending JP2015106295A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013248265A JP2015106295A (ja) 2013-11-29 2013-11-29 Webサイト評価システム、その評価方法および品質評価サーバ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013248265A JP2015106295A (ja) 2013-11-29 2013-11-29 Webサイト評価システム、その評価方法および品質評価サーバ

Publications (1)

Publication Number Publication Date
JP2015106295A true JP2015106295A (ja) 2015-06-08

Family

ID=53436352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013248265A Pending JP2015106295A (ja) 2013-11-29 2013-11-29 Webサイト評価システム、その評価方法および品質評価サーバ

Country Status (1)

Country Link
JP (1) JP2015106295A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101722161B1 (ko) * 2016-01-06 2017-04-03 (주)포그리트 웹 사이트의 사용성 분석 장치 및 이를 이용한 웹 사이트의 사용성 분석 방법
CN108121741A (zh) * 2016-11-30 2018-06-05 百度在线网络技术(北京)有限公司 网站质量评估方法及装置
JP2020061198A (ja) * 2020-01-27 2020-04-16 株式会社すなおネット 商品情報管理システム及びサービス情報管理システム
JP2020191138A (ja) * 2020-01-27 2020-11-26 株式会社すなおネット 商品情報管理システム及びサービス情報管理システム
JP7235360B1 (ja) 2022-03-31 2023-03-08 株式会社mov 情報処理システム
WO2023113007A1 (ja) * 2021-12-17 2023-06-22 日本電気通信システム株式会社 評価装置、システム、方法、及びプログラム
WO2023113008A1 (ja) * 2021-12-17 2023-06-22 日本電気通信システム株式会社 情報管理装置、システム、方法、及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101722161B1 (ko) * 2016-01-06 2017-04-03 (주)포그리트 웹 사이트의 사용성 분석 장치 및 이를 이용한 웹 사이트의 사용성 분석 방법
CN108121741A (zh) * 2016-11-30 2018-06-05 百度在线网络技术(北京)有限公司 网站质量评估方法及装置
JP2020061198A (ja) * 2020-01-27 2020-04-16 株式会社すなおネット 商品情報管理システム及びサービス情報管理システム
JP2020191138A (ja) * 2020-01-27 2020-11-26 株式会社すなおネット 商品情報管理システム及びサービス情報管理システム
WO2023113007A1 (ja) * 2021-12-17 2023-06-22 日本電気通信システム株式会社 評価装置、システム、方法、及びプログラム
WO2023113008A1 (ja) * 2021-12-17 2023-06-22 日本電気通信システム株式会社 情報管理装置、システム、方法、及びプログラム
JP7235360B1 (ja) 2022-03-31 2023-03-08 株式会社mov 情報処理システム
JP7359495B1 (ja) 2022-03-31 2023-10-11 株式会社mov 情報処理システム
JP2023149488A (ja) * 2022-03-31 2023-10-13 株式会社mov 情報処理システム
JP2023154395A (ja) * 2022-03-31 2023-10-19 株式会社mov 情報処理システム

Similar Documents

Publication Publication Date Title
JP2015106295A (ja) Webサイト評価システム、その評価方法および品質評価サーバ
US9305278B2 (en) System and method for compiling intellectual property asset data
EP2642444A1 (en) User experience maturity level assessment
US10614495B2 (en) Adaptive and tunable risk processing system and method
EP2273448A1 (en) Apparatus and method for supporting cause analysis
US20110029341A1 (en) System and method for gathering and utilizing building energy information
Cao et al. Customer demand prediction of service-oriented manufacturing incorporating customer satisfaction
Ayeh et al. Towards an understanding of online travellers’ acceptance of consumer-generated media for travel planning: Integrating technology acceptance and source credibility factors
US20120290330A1 (en) System and method for web-based industrial classification
US10621618B2 (en) System and method to connect a user of a product to contacts of the user who are promoters
US11921737B2 (en) ETL workflow recommendation device, ETL workflow recommendation method and ETL workflow recommendation system
US20170032322A1 (en) Member to job posting score calculation
US20160125083A1 (en) Information sensors for sensing web dynamics
US20170032324A1 (en) Optimal course selection
Kläs et al. Quality evaluation for big data: a scalable assessment approach and first evaluation results
Saleem et al. Personalized decision-strategy based web service selection using a learning-to-rank algorithm
Li et al. Determining importance ratings of patients’ requirements with multi-granular linguistic evaluation information
JP2006053616A (ja) サーバ装置、webサイト推奨方法およびプログラム
Rusli et al. Usability analysis of students information system in a public university
JP6285284B2 (ja) 意見活用支援装置、及び意見活用支援方法
US20070271157A1 (en) Method and system for providing a transaction browser
Kotian et al. A framework for quality management of e-commerce websites
JP5271952B2 (ja) サーバ装置、評価方法、及び評価プログラム
Venkata Rao An improved compromise ranking method for evaluation of environmentally conscious manufacturing programs
KR102431410B1 (ko) 활동 증명서 발급 방법 및 장치