JP2008282303A

JP2008282303A - 広告付き帳票処理装置

Info

Publication number: JP2008282303A
Application number: JP2007127672A
Authority: JP
Inventors: Masashi Kuzugami; 昌司葛上; Nagaaki Kamata; 長明鎌田
Original assignee: JOHO KIBAN KAIHATSU KK
Current assignee: JOHO KIBAN KAIHATSU KK
Priority date: 2007-05-14
Filing date: 2007-05-14
Publication date: 2008-11-20
Anticipated expiration: 2027-05-14
Also published as: JP4598799B2

Abstract

【課題】帳票に掲載すべき広告が掲載されて印刷され、記入者に配布されたことを確認する。
【解決手段】広告付き帳票処理装置Ｄは、回収した複数枚の広告付き帳票Ｑ’を変換した紙面画像群Ｒを帳票Ｑ’の画像毎に画像解析して広告が帳票Ｑ’に掲載されていたか否かを検出する。そして、帳票Ｑ’に掲載されていた広告が、掲載するよう指定した広告と一致するか否かを、帳票Ｑ’から切り出した広告画像と指定した広告の広告画像との相関をとることにより検出する。
【選択図】図１

Description

本発明は、アンケート等の用紙に広告を掲載した帳票を処理する広告付き帳票処理装置に関するものである。

アンケート用紙やテスト用紙等の帳票は記入者に配布され、記入者により質問に対する回答が手書き等の方法で書き込まれて回収される。この場合、帳票に広告を載せておくと、アンケート用紙やテスト用紙等の帳票は記入者が全紙面を見ることになるから広告も見ることになり、広告の効果が高いものとなる。また、アンケートやテストを実施するクライアントと広告を載せるクライアントとを異ならせることができ、広告を載せるクライアントが広告料を負担することから、アンケートやテストを実施するクライアントの負担を減らすことができるようになる。

この場合、アンケート用紙やテスト用紙等の帳票を印刷する際に、アンケートやテストを実施するクライアントに広告のデータを提供して広告を載せた広告付き帳票を印刷させることが考えられる。しかし、帳票に広告が載せられて印刷されない場合や、掲載するよう指定された広告とは別の広告が載せられて印刷されてしまう場合があるという問題点があった。
そこで、本発明は、帳票に指定された広告が掲載されて印刷され、記入者に配布されたことを確認することができる広告付き帳票処理装置を提供することを目的としている。

前記目的を達成するために、本発明は、回収した複数枚の帳票を変換した画像データを解析して広告が帳票の用紙に掲載されていたか否かを検出し、掲載されていると検出された場合に、帳票の用紙に掲載されていた広告の広告画像が、掲載するよう指定した広告画像と一致するか否かを検出する処理を行うようにしたことを最も主要な特徴としている。

本発明は、回収した複数枚の帳票を変換した画像データを解析して広告が帳票の用紙に掲載されていたか否かを検出し、掲載されていると検出された場合に、帳票の用紙に掲載されていた広告の広告画像が、掲載するよう指定した広告画像と一致するか否かを検出する処理を行うようにしたことから、帳票の用紙に指定された広告が掲載されて印刷され、記入者に配布されたことを確認することができるようになる。

本発明の実施例の広告付き帳票処理装置を備える広告付き帳票処理システムの構成を示すブロック図を図１に示す。
図１に示す広告付き帳票処理システム１において、アンケートを実施するクライアントがＡとされ、クライアントＡはワードプロセッサＸとプリンタＶを有しワードプロセッサＸには広告付き帳票処理用のプログラムＹがインストールされている。帳票処理システム１のサービス上でのクライアントＡの識別情報（ＩＤ）がＡ１とされている。アンケートに答える記入者はＢとされ、記入者Ｂに対する広告を掲載する広告クライアントがＣとされる。広告クライアントＣは、例えば、縦１０ｃｍ×横２ｃｍの枠内に収まる広告原稿を作成し、広告原稿の広告画像Ｕの画像データと広告画像Ｕ上に記入欄が配置されている場合は、その記入用の入力用フォームＵＦのデータおよび入力用フォームＵＦを読み取るための広告画像Ｕ上の位置情報ＵＦ１を広告付き帳票処理装置Ｄに予め提供する。広告付き帳票処理システム１における広告付き帳票処理を実行するのが本発明にかかる広告付き帳票処理装置Ｄである。広告付き帳票処理装置Ｄでは、データベースＺ１を備えるサーバＺを有しており、１以上の広告クライアントＣから提供された広告画像Ｕおよび広告画像Ｕ上に配置された入力用フォームＵＦを読取るための位置情報ＵＦ１をサーバＺに登録している。広告付き帳票処理装置Ｄは、クライアントＡが作成した異なる内容毎の帳票を一意に識別する帳票の識別記号Ｄ１を生成することができ、クライアントＡからの要請に応じて生成した識別記号Ｄ１を発行することができる。

ここで、クライアントＡは、広告付き帳票処理装置Ｄから提供されたプログラムＹがインストールされているワードプロセッサＸにより、アンケートを作成する。アンケートには、例えば画像解析処理により読み取り可能なチェックボックスが配置される。このチェックボックスを塗り潰す等によりチェックすることで、アンケートの質問に対する回答がなされる。アンケートの作成が終了して、アンケートをプリンタＶにより印刷するようワードプロセッサＸが操作されると、プログラムＹが起動しワードプロセッサＸはインターネット等の通信ネットワークを介してサーバＺにリクエストを送る。このリクエストは、作成したアンケートにおける質問内容のプロパティ情報を含み、リクエストを受けたサーバＺはプロパティ情報に適した広告を、データベースＺ１に登録されている広告の中から検索して、検索された広告における広告画像Ｕを指定してその画像データおよびその識別情報Ｕ１をワードプロセッサＸに送る。アンケートにおける質問内容のプロパティ情報は、クライアントＡが入力しても良いし、プログラムＹがアンケートにおける質問文や回答文の単語や文章を解析して作成しても良い。ワードプロセッサＸが広告画像Ｕの画像データおよび識別情報Ｕ１を受け取ると、プログラムＹは、クライアントＡが作成したアンケートの仮想紙面の下部の空白部分に強制的に広告画像ＵをワードプロセッサＸの機能を利用して貼り付ける。この場合、広告画像Ｕの貼付位置が印刷に不適切であれば、印刷ルーチンを中断しクライアントＡは仮想紙面上の別の位置に広告画像Ｕを配置することもできる。ただし、広告画像Ｕが必ず仮想紙面上の閲覧可能な場所に配置されているかについてプログラムＹがチェックを行う。

同時に、ワードプロセッサＸはプログラムＹの仲介により通信ネットワークを介してサーバＺから基準点画像Ｓを取得すると共に、広告付き帳票処理装置Ｄに識別記号Ｄ１の生成を要請する。この要請を受けた広告付き帳票処理装置Ｄは作成された帳票の識別記号Ｄ１を生成してワードプロセッサＸに送る。ワードプロセッサＸは、サーバＺから取得した基準点画像Ｓを仮想紙面の所定位置とされる少なくとも１以上の空白部分に貼り付ける処理をワードプロセッサＸに対して行い、仮想紙面における基準位置を設けるようにする。この基準点画像Ｓは画像認識によって位置を正確に特定しやすい形状とされている。さらに、プログラムＹは、取得した広告付き帳票処理装置Ｄにより生成された識別記号Ｄ１を仮想紙面の空白部分に貼り付ける。帳票の識別記号Ｄ１は、文字列ＨやバーコードＴの態様で仮想紙面上に貼り付けられる。この場合、識別記号Ｄ１を文字列Ｈで表示するかバーコードＴで表示するかをクライアントＡが選択することができる。
このようにして作成されたアンケートの仮想紙面において、プログラムＹは広告画像Ｕの識別情報Ｕ１と、仮想紙面上の基準点位置情報Ｓ１を基準にした広告画像Ｕの位置情報Ｕ２、付与された帳票の識別記号Ｄ１をサーバＺに通信ネットワークを介して送信する。これらの情報を受け取ったサーバＺはデータベースＺ１に、識別情報Ｕ１，位置情報Ｕ２，帳票の識別記号Ｄ１およびクライアントＡの識別情報Ａ１を広告画像Ｕおよび位置情報ＵＦ１に関連付けて保存する。

上記したように、クライアントＡのワードプロセッサＸにおいてプログラムＹにより作成されたアンケートには広告画像Ｕ等が貼り付けられた広告付き帳票Ｑとされて、プリンタＶにより印刷される。この広告付き帳票Ｑの例を図２に示す。
図２に示す広告付き帳票Ｑにおいて、４隅には２重丸とされた基準点画像Ｓがそれぞれ印刷されており、紙面の下部を除く領域がアンケートの質問とそれに対する回答を記入するアンケート領域Ｅとされている。質問に対する回答は、複数の回答における各項目の先頭に設けたチェックボックスを塗り潰すことで回答する方法とされており、チェックボックスは白抜きの楕円の形状とされている。帳票Ｑの下部は広告を掲載する広告領域Ｆとされ、広告領域Ｆには広告画像Ｕを貼り付けた広告Ｕ’が印刷されており、広告Ｕ’内には広告Ｕ’を閲覧した記入者Ｂが記入する入力用フォームＵＦが印刷されている。図示する例では、広告Ｕ’内に印刷された質問に対する回答を、回答の先頭に付された楕円のチェックボックスを塗り潰すことで選択する入力用フォームＵＦとされている。また、広告Ｕ’の右側には帳票の識別記号Ｄ１を表す文字列ＨおよびバーコードＴが印刷されているが、文字列ＨあるいはバーコードＴのいずれかが印刷されていればよい。なお、図示するように文字列ＨおよびバーコードＴの両方が印刷されている場合は、いずれかが汚れ等により読み取れない場合でも帳票の識別記号Ｄ１を認識することができる。

このようなアンケートの帳票Ｑは複数枚印刷されたりコピーされたりして記入者Ｂに配布される。複数の記入者Ｂはアンケート領域Ｅにおいて質問に対する回答をチェックボックスを塗り潰すことで回答すると共に、広告領域Ｆにおける広告Ｕ’にチェックボックスの入力用フォームＵＦがある場合は、そのチェックボックスも塗り潰すことで回答する場合がある。記入者Ｂは記入した帳票Ｑ’をクライアントＡに返却する。クライアントＡは、回収された複数の帳票Ｑ’を一枚毎にイメージの画像データに変換する。この場合、プログラムＹがインストールされたパーソナルコンピュータ（以下、「パソコン」という）ＰＣを使用してスキャナＷにより帳票Ｑ’を画像データに変換する。この場合、パソコンＰＣがワードプロセッサＸを兼ねるようにしても良い。変換された複数の画像ｒのデータからなる紙面画像群Ｒは、プログラムＹによりクライアントＡから広告付き帳票処理装置ＤのサーバＺに通信ネットワークを介して送信される。なお、記入者Ｂが記入した帳票Ｑ’を画像データに変換してサーバＺに送るようにしても良い。

紙面画像群Ｒを受信した広告付き帳票処理装置ＤにおけるサーバＺは紙面画像群Ｒの一枚ずつの画像ｒのデータを画像認識することによって、画像ｒ上での基準点画像Ｓの位置情報Ｓ２を求める。また画像ｒから、文字列ＨあるいはバーコードＴを抽出し、抽出された文字列ＨあるいはバーコードＴから帳票の識別記号Ｄ１を認識する。サーバＺは、認識した識別記号Ｄ１をキーにしてデータベースＺ１を検索し、広告画像Ｕの識別情報Ｕ１および広告画像Ｕの位置情報Ｕ２、もしあれば入力用フォームＵＦを読取るための位置情報ＵＦ１を取得する。さらにサーバＺは、広告画像Ｕの識別情報Ｕ１をキーにしてデータベースＺ１を検索し、広告画像Ｕの画像データを取得する。この時、同じ識別情報Ｕ１ごとに広告画像Ｕが掲載された帳票Ｑが回収された回数をデータベースＺ１に記録して計数することで、識別情報Ｕ１に対応する広告画像Ｕの粗広告発行数を計量することができる。
そして、サーバＺは画像ｒ上での基準点画像Ｓの位置情報Ｓ２と広告付き帳票Ｑの仮想紙面上における基準点位置情報Ｓ１とを対比することにより、画像ｒと広告付き帳票Ｑの仮想紙面上における座標との変換パラメータを定める。次いで、広告付き帳票Ｑの仮想紙面上における基準点位置情報Ｓ１に基づいて広告画像Ｕの位置情報Ｕ２を変換パラメータにより変換して、広告付き帳票Ｑにおける仮想紙面上の広告画像Ｕと画像ｒに掲載されている広告Ｕ’が同一であるか比較するための候補とされる候補広告画像Ｕ３を画像ｒから切り出す。

また、入力用フォームＵＦを読取るための位置情報ＵＦ１が存在する場合は、入力用フォームＵＦを読取るための位置情報ＵＦ１を用いて切り出された候補広告画像Ｕ３を画像解析し、入力用フォームＵＦから情報ＵＦ２を取得する。この場合、例えば、広告画像Ｕの入力用フォームＵＦがチェックボックスの入力フォームとされていた場合は、入力用フォームを読み取るための位置情報ＵＦ１はチェックボックスの広告画像Ｕ上での座標位置となり、入力用フォームＵＦを読み取るための位置情報ＵＦ１を用いて候補広告画像Ｕ３からチェックボックス部分を抽出し、チェックボックスが塗り潰されているか否かを判別する。この結果、入力フォームから得られた情報ＵＦ２はチェックボックスが塗り潰されているか否かの情報となる。このようにして取得された情報ＵＦ２は、サーバＺにより広告付き帳票処理装置Ｄが生成して発行した帳票の識別記号Ｄ１と結びつけられてデータベースＺ１に記録される。

そして、広告付き帳票処理装置ＤのサーバＺからクライアントＡに送った広告画像Ｕが正しく広告付き帳票Ｑに広告Ｕ’として掲載されているか否かを検出するために、サーバＺは、広告画像Ｕと画像ｒから切り出した候補広告画像Ｕ３の類似度Ｕ４を算出する。算出された類似度Ｕ４が所定の閾値を満足する場合は、広告画像Ｕが正しく広告付き帳票Ｑの紙面上に印刷され、画像ｒの取得時まで保存されているとみなすことができる。
類似度Ｕ４の算出は、例えば、広告画像Ｕと候補広告画像Ｕ３との対応する画素同士の輝度値の相関を全画素についてみることで両画像間の相関係数を算出する方法がある。簡単のため、グレースケール画像にて説明するが、カラー画像についてもグレースケール画像に変換するか、３つのカラー構成値ごとに以下の検定法をあてはめて類似度を確認することができる。相関係数を算出するに当たっては、入力用フォームＵＦに該当する部分については、その領域の画素は除外する。ここで、広告画像Ｕの画素数をＭ×Ｎとし、各画素のグレースケール輝度値を座標値の関数としてＦ（ｉ，ｊ）と表す。また、候補広告画像Ｕ３の画素数は広告画像Ｕの画素数と異なっている可能性があることから、例えば双三次補完法（必要ならば、高木幹雄・下田陽久著「新編画像解析ハンドブック」東京大学出版会２００４年ｐ．１３６６−１３７０を参照されたい。）によって、候補広告画像Ｕ３の画素数をＭ×Ｎにまで拡縮を行う。拡縮された候補広告画像Ｕ３の各画素のグレースケール輝度値を座標値の関数としてＧ（ｉ，ｊ）と表す。このとき、広告画像Ｕと候補広告画像Ｕ３の相関係数の絶対値｜Ｒｃ｜は以下の（１）式で表される。

（１）式で表される相関係数の絶対値｜Ｒｃ｜が、最大値の「１」に近づくほど広告画像Ｕと候補広告画像Ｕ３とが類似する度合いが高くなる画像であることが示され、最小値の「０」に近づくほど類似する度合いが低くなることが示される（必要ならば、高木幹雄・下田陽久著「新編画像解析ハンドブック」東京大学出版会２００４年ｐ．１５８７，ｐ．１６７１を参照されたい。）。このことから、相関係数の絶対値｜Ｒｃ｜を類似度Ｕ４とおくことができる。また、（１）式における関数θ（ｐ，α，ｑ，β）は次に示す（２）式で表され、θ（ｐ，α，ｑ，β）はα周りのＦに関するｐ次，βまわりのＧに関するｑ次の統計モーメントの輝度値数に関する平均値であることを表している。特に、θ（１，０，０，０），θ（０，０，１，０）は、それぞれ、輝度値Ｆ（ｉ，ｊ）、輝度値Ｇ（ｉ，ｊ）の平均値となる。

算出された類似度Ｕ４が、所定の閾値を満す場合は広告画像Ｕが正しく広告付き帳票Ｑに掲載され、回収されたと見做すことができる。逆に、類似度Ｕ４が所定の閾値を満さない場合は広告画像Ｕは正しく広告付き帳票Ｑに掲載されなかったと見做される。サーバＺは、画像ｒを解析する毎に取得される類似度Ｕ４が所定の閾値を満たすか否かをみることにより、広告画像Ｕが正しく広告付き帳票Ｑに掲載された回数または正しく掲載されなかった回数をデータベースＺ１に記録する。ここでいう所定の閾値とは、例えば、予め広告画像Ｕを印刷した広告付き帳票Ｑを紙面の汚れ等の様々な条件の下でイメージの画像データに変換した画像ｒを解析するテストを行い、正常に印刷されているとすれば、ほとんど下回ることがないであろう値とされる。算出された類似度Ｕ４は、広告付き帳票処理装置Ｄが生成して発行した帳票の識別記号Ｄ１やクライアントＡの識別情報Ａ１と結びつけて、データベースＺ１に記録される。

サーバＺは、それまでに得られてデータベースＺ１に記録されているクライアントＡに関係する複数の類似度Ｕ４の統計値Ｕ５を演算して取得する。統計値Ｕ５はクライアントＡの広告掲載者としての信頼性を表わす値となる。そして、取得された統計値Ｕ５が所定の閾値を満す場合はクライアントＡは信頼性が高いとして紙面画像群Ｒを解析する処理作業は続行される。逆に、統計値Ｕ５が所定の閾値を満たさない場合はクライアントＡは信頼性が低いとして紙面画像群Ｒを解析する処理作業は中止される。ただし、統計値Ｕ５を取得するには一定の量の類似度Ｕ４の情報が必要とされることから、一定量の類似度Ｕ４の情報が集るまでは有意な結果が出ない場合がある。このため、一定の量の類似度Ｕ４の情報が集るまでは処理の判定を行わないことが好適とされる。なお、ここで算出される統計値Ｕ５には、例えばクライアントＡに関係する類似度Ｕ４の平均値や中央値が利用される。また、複数の統計値を用いて紙面画像群Ｒを解析する処理作業の続行を判断するようにしてもよい。

そして、サーバＺの演算結果から広告付き帳票処理装置Ｄにおいて紙面画像群Ｒを解析する処理作業の続行が決定された場合は、サーバＺにより画像ｒのアンケート領域Ｅにおけるチェックボックスの領域を画像処理によって読み取り、アンケートの結果をサーバＺにより集計する。アンケートの集計が終了すると、広告付き帳票処理装置ＤからクライアントＡに対してアンケートの集計が終了した旨のメールが広告付き帳票処理装置Ｄから通知される。クライアントＡはアンケートの集計結果を広告付き帳票処理装置ＤのサーバＺにアクセスして取得することができる。さらに、広告付き帳票処理装置Ｄは、データベースＺ１から、識別情報Ｕ１の広告画像Ｕが広告付き帳票Ｑに何回掲載されたかを取得し、その回数に応じて、広告クライアントＣに対して広告料の請求を行う。また、広告付き帳票Ｑにおける広告領域Ｆの入力用フォームＵＦから得られた情報ＵＦ２がある場合は、情報ＵＦ２を広告クライアントＣに引き渡す。
なお、広告付き帳票処理装置Ｄにおいて紙面画像群Ｒを解析する処理作業の続行を中止すると決定された場合は、広告付き帳票処理装置ＤはクライアントＡに対して、続行を中止した旨のメールを通知する。クライアントＡは、このメールを受けてアンケートの解析処理料を別途支払うことで広告付き帳票処理装置Ｄに対してアンケートの集計処理を続行させることができる。

次に、広告付き帳票処理装置Ｄが備えるサーバＺの構成を図３に示す。
図３に示すサーバＺにおいて、ＣＰＵ１０は、サーバＺの全体の動作を制御する中央処理装置（Central Processing Unit）である。ＲＯＭ１１は、ＣＰＵ１０が実行する本発明にかかる広告付き帳票処理に関するプログラム等の動作プログラムや、各種データが格納されているＲＯＭ（Read Only Memory）であり、ＲＡＭ１２は、ＲＯＭ１１や記憶装置１３等から読み出された帳票データ等の各種データを一時的に格納する格納エリアや、ＣＰＵ１０のワークエリア等が設定されるＲＡＭ（Random Access Memory）である。記憶装置１３は、各種アプリケーションプログラムやデータベースＺ１の記憶領域を有する大容量の記憶手段であり、ＨＤＤ（Hard Disk Drive）、ＦＤＤ（Floppy（登録商標）Disk Drive）、ＣＤ（Compact Disk）−ＲＯＭ、ＭＯ（Magneto Optical Disk）、ＤＶＤ（Digital Versatile Disk）等により構成することができる。

Ｉ／Ｆ１４は、外部に設けられているスキャナやプリンタ等の周辺機器１５との間でデータの受け渡しを行うインターフェースである。通信インターフェース１６は、イーサネット（登録商標）等のＬＡＮ（Local Area Network）やインターネット、電話回線等の通信ネットワーク１７を介して他のコンピュータに接続するための通信インターフェースであり、通信ネットワーク１７を介してクライアントＡのワードプロセッサＸやパソコンＰＣとの間でデータの授受を行うことができる。操作子２０は、キーボードやポインティングデバイス等の操作子であり、操作子２０を操作した際の操作子情報は検出回路１９により検出されてバス２３へ送出される。ディスプレイ２２は、広告画像Ｕや広告付き帳票Ｑの仮想紙面の画像等が表示される液晶表示器等の表示装置であり、ディスプレイ２２は表示回路２１により駆動されて所望の画面が表示される。
前記したサーバＺのハードウェア構成は、パソコンＰＣと同様の構成とされており、ワードプロセッサＸを同様のハードウェア構成として、ワードプロセッサ用のプログラムをインストールすることによりワードプロセッサＸとした場合には、パソコンＰＣによりワードプロセッサＸを兼用することができる。

次に、本発明にかかる広告付き帳票処理システム１において実行される広告付き帳票処理のフローチャートを図４に示す。
図４に示す広告付き帳票処理においては、広告クライアントＣが広告付き帳票処理装置Ｄに掲載したい広告画像ＵをステップＳ１０にて登録する。広告付き帳票処理装置Ｄは、帳票を一意に識別する識別記号Ｄ１と結びつけて、広告画像Ｕの識別情報Ｕ１および広告画像Ｕの画像データおよび入力用フォームＵＦを読取るための位置情報ＵＦ１をデータベースＺ１に保存する。次いで、ステップＳ１１にてクライアントＡがワードプロセッサＸを用いてアンケートを作成する。この際に、クライアントＡに広告付き帳票処理装置Ｄはアンケートのプロパティ情報に適した広告画像Ｕを指定しその識別情報Ｕ１、基準点画像Ｓと帳票の識別記号Ｄ１が広告付き帳票処理装置Ｄから提供される。これにより、広告が掲載されたアンケートとされる広告付き帳票Ｑの仮想紙面が作成される。広告付き帳票Ｑには、帳票を一意に認識できる識別記号Ｄ１を表す文字列ＨあるいはバーコードＴも貼り付けられている。

次いで、作成された広告付き帳票ＱにつきステップＳ１２にて識別情報Ｕ１、広告画像Ｕの位置情報Ｕ２、識別記号Ｄ１を広告付き帳票処理装置ＤのサーバＺに登録すると共に、広告付き帳票ＱをプリンタＶにより印刷する。印刷された広告付き帳票Ｑは、ステップＳ１３にて記入者Ｂに配布されてアンケートへの記入が行われる。記入者Ｂが記入した広告付き帳票Ｑ’は回収されてステップＳ１４にてスキャナＷにより画像データに変換される。変換された各帳票Ｑ’の画像ｒからなる紙面画像群Ｒは、広告付き帳票処理装置Ｄに送信される。紙面画像群Ｒを受信した広告付き帳票処理装置ＤのサーバＺは、各画像ｒの画像解析を行い、広告付き帳票処理装置ＤからクライアントＡに掲載するよう指定した広告画像Ｕが正しく広告付き帳票Ｑに広告Ｕ’として掲載されていたか否かを検出する。次いで、広告付き帳票処理装置ＤはステップＳ１６にて画像ｒのアンケート領域Ｅにおけるチェックボックスの領域を画像処理によって読み取り、アンケートの結果を集計して、集計した旨をクライアントＡに通知する。さらに、ステップＳ１７にて広告付き帳票処理装置Ｄは、識別情報Ｕ１の広告画像Ｕが広告付き帳票Ｑに何回掲載されたかを取得し、その回数に応じて、広告クライアントＣに対して広告料の請求を行うと共に、広告領域Ｆの入力用フォームＵＦから読み取った情報ＵＦ２がある場合は、その情報ＵＦ２を広告クライアントＣに引き渡す。これにより、広告付き帳票処理は終了する。

次に、広告付き帳票処理のステップＳ１５にて実行される画像解析処理のフローチャートを図５に示す。
画像解析処理は広告付き帳票処理装置Ｄにより実行され、画像解析処理が開始されると、ステップＳ２０にて紙面画像群Ｒの全ての画像ｒを処理したか判断される。画像解析処理がスタートされた直後においては画像ｒは処理されていないことから、ここではＮｏと判断されてステップＳ２１に進み紙面画像群Ｒから１個の画像ｒが取得される。次いで、取得された画像ｒから画像認識によって画像ｒ上での基準点画像Ｓの位置情報Ｓ２と、帳票の識別記号Ｄ１を表す文字列ＨあるいはバーコードＴをステップＳ２２にて認識する。そして、認識された識別記号Ｄ１に基づいてデータベースＺ１を検索して広告画像Ｕの識別情報Ｕ１と紙面上の位置情報Ｕ２をステップＳ２３にて取得すると共に、識別情報Ｕ１から広告画像Ｕの画像データをデータベースＺ１から取得する。さらに、識別情報Ｕ１に対応する広告画像Ｕが処理中の画像ｒ、すなわち広告付き帳票Ｑに掲載されたことがステップＳ２４にてデータベースＺ１に記録される。

次いで、ステップＳ２３における広告情報の取り出し処理において、広告画像Ｕにおける入力用フォームＵＦを読取るための位置情報ＵＦ１も取得された場合は、ステップＳ２５にて「ある」と判断されステップＳ２６に進む。ステップＳ２６ではステップＳ２２にて認識された基準点画像Ｓの位置情報Ｓ２と、識別記号Ｄ１に基づいて求められた広告付き帳票Ｑの仮想紙面上における基準点位置情報Ｓ１とが対比されて、対比の結果に応じて変換された位置情報Ｕ２に基づいて広告が掲載されている候補広告画像Ｕ３の領域が画像ｒから切り出される。次いで、ステップＳ２７にて広告画像Ｕ上に配置された入力用フォームＵＦを位置情報ＵＦ１に基づいて読み取り（画像認識）、読み取った情報ＵＦ２を識別記号Ｄ１と結びつけてデータベースＺ１に記録する。ここで、ステップＳ２８にて類似度Ｕ４をチェックする必要があるか否かが判断され、チェックする必要があると判断された場合はステップＳ３０に進み、広告画像Ｕと候補広告画像Ｕ３との類似度Ｕ４が、例えば前記したように対応する画素同士の輝度値の相関を全画素についてみることで両画像間の相関係数を算出する方法等で検出され、検出結果が識別記号Ｄ１と結びつけられてデータベースＺ１にステップＳ３０にて記録される。

次いで、ステップＳ３１にて類似度Ｕ４の今までの統計値が予め定められている所定の閾値を満たすか否かが判断される。ここでは、画像ｒを解析する毎に得られた類似度Ｕ４の統計値Ｕ５を演算して統計値を取得し、この場合、取得された統計値Ｕ５が所定の閾値を満すと判断された場合はステップＳ３２へ進み、画像ｒにおけるアンケート領域の画像認識が行われてアンケートの結果を集計する処理が行われる。また、取得された統計値Ｕ５が所定の閾値を満さないと判断された場合はステップＳ３３へ分岐して、画像解析処理が中止されたことがクライアントＡにメールで通知され、画像解析処理は終了する。また、ステップＳ２５にて位置情報ＵＦ１が存在しないと判断された場合、および、ステップＳ２９にて類似度チェックの必要がないと判断された場合は、ステップＳ３２へジャンプし上記したアンケート集計処理が行われる。なお、ステップＳ２９にて類似度チェックの必要がないと判断される場合は、例えば信頼性が非常に高いと判断されたクライアントＡが作成した広告付き帳票Ｑの画像解析を行う場合等とされる。ステップＳ３２のアンケート集計処理が終了すると、ステップＳ２０へ戻り上記したステップＳ２０ないしステップＳ３３の処理が繰り返し行われて、紙面画像群Ｒの画像ｒが順次処理されていく。そして、紙面画像群Ｒの画像ｒの全ての画像解析処理が終了すると、ステップＳ２０にてＹＥＳと判断されて画像解析処理は終了する。

以上説明した広告付き帳票処理装置では、アンケートに広告を掲載した広告付き帳票としたが、本発明はこれに限ることはなくテスト等に広告を掲載した広告付き帳票としても良い。
なお、広告画像Ｕと候補広告画像Ｕ３の類似度Ｕ４の算出に関して、以上の説明では広告画像Ｕと候補広告画像Ｕ３の相関係数から求めるようにしたが、本発明はこれに限ることはなく、Spearmanの順位相関係数やKendallのタウ（必要ならば、Numerical Recipes in C 日本語版１９９３技術評論社ｐ．４７４−４８０を参照されたい。）、あるいは、両画像輝度値のセントラルモーメントベクトルの距離や特徴点の一致（必要ならば、新編画像解析ハンドブック２００４東京大学出版会高木・下田ｐ．１７２３，ｐ．１６８６−１６９４を参照されたい。）等の種々のパターンマッチングの手法に基づいて類似度Ｕ４を算出するようにしてもよい。
また、帳票の識別記号Ｄ１を広告付き帳票Ｑの一枚ごとに発行するようにすると、記入者Ｂを特定することができアンケートの回答内容から記入者毎に適したサービスを提供することもできる。

本発明の実施例の広告付き帳票処理装置を備える広告付き帳票処理システムの構成を示すブロック図である。本発明の広告付き帳票処理装置が処理する広告付き帳票の例を示す図である。本発明の広告付き帳票処理装置が備えるサーバの構成を示す図である。本発明の広告付き帳票処理システムにおいて実行される広告付き帳票処理のフローチャートである。本発明の広告付き帳票処理システムが実行する広告付き帳票処理において実行される画像解析処理のフローチャートである。

符号の説明

１広告付き帳票処理システム、１０ＣＰＵ、１１ＲＯＭ、１２ＲＡＭ、１３記憶装置、１４Ｉ／Ｆ、１５周辺機器、１６通信インターフェース、１７通信ネットワーク、１９検出回路、２０操作子、２１表示回路、２２ディスプレイ、２３バス、Ａクライアント、Ａ１識別情報、Ｂ記入者、Ｃ広告クライアント、Ｄ広告付き帳票処理装置、Ｄ１識別記号、Ｄｃ相関係数、Ｅアンケート領域、Ｆ広告領域、Ｈ文字列、ＰＣパソコン、Ｑ広告付き帳票、Ｒ紙面画像群、Ｓ基準点画像、Ｓ１基準点位置情報、Ｓ２位置情報、Ｔバーコード、Ｕ’ 広告、Ｕ広告画像、Ｕ１識別情報、Ｕ２位置情報、Ｕ３候補広告画像、Ｕ４類似度、Ｕ５統計値、ＵＦ入力用フォーム、ＵＦ１位置情報、ＵＦ２情報、Ｖプリンタ、Ｗスキャナ、Ｘワードプロセッサ、Ｙプログラム、Ｚサーバ、Ｚ１データベース、ｒ画像

Claims

記入者に配布され、記入者から回収された複数枚の広告付き帳票の用紙を変換した画像データを処理する広告付き帳票処理装置であって、
質問に対する回答を前記記入者が記入する記入領域と、前記質問の内容のプロパティ情報に対応する広告が載せられている広告領域とを有している前記広告付き帳票の前記画像データを前記領域毎に画像処理する処理手段と、
前記広告領域に掲載する候補となる複数種類の広告画像を、該広告画像の識別情報と共に少なくとも保存するデータベースとを備え、
前記処理手段は、前記広告付き帳票における前記記入領域に対応する前記画像データを解析することにより、記入者が記入した記入情報を取得して前記質問に対する回答の集計処理を行うと共に、前記広告付き帳票における前記広告領域に対応する前記画像データを解析することにより前記広告付き帳票の用紙に広告が掲載されているか否かを検出し、掲載されていると検出された場合に、前記帳票の用紙に掲載されていた前記広告の広告画像が、前記データベースに保存されている広告画像の内の掲載するよう指定した広告画像と一致するか否かを検出する処理を行うようにしたことを特徴とする広告付き帳票処理装置。
前記質問の内容のプロパティ情報に適した広告を前記データベースから検索して、検索された当該広告を前記広告付き帳票に掲載する広告として指定したことを特徴とする請求項１記載の広告付き帳票処理装置。
前記広告付き帳票における前記広告領域内に、前記広告に関する質問に対する回答を前記記入者が記入する第２の記入領域がある場合は、前記処理手段は前記第２の記入領域に対応する前記画像データの解析を行うことにより、記入者が記入した第２の記入情報を取得するようにしたことを特徴とする請求項１記載の広告付き帳票処理装置。
前記処理手段は、掲載するよう指定した広告画像と掲載されていた広告画像とが一致しているか否かを検出する処理を、掲載するよう指定した広告画像と掲載されていた広告画像との類似度を検出し、検出された類似度が所定の閾値内にあるときに掲載するよう指定した広告画像と掲載されていた広告画像とが一致していると検出するようにしたことを特徴とする請求項１記載の広告付き帳票処理装置。
前記広告付き帳票の用紙を変換した画像データを処理する毎に得られる前記類似度の情報と、前記広告付き帳票のクライアントの識別情報とが関連付けて前記データベースに記録されており、前記処理手段は、前記データベースに記録されている複数の類似度の情報における前記クライアントに関連付けされた類似度の統計値を演算して取得し、取得された該統計値を前記クライアントの属性情報とすることを特徴とする請求項４記載の広告付き帳票処理装置。