JP2017084087A - 画面特定システム、画面特定装置及び画面特定方法 - Google Patents

Abstract

【課題】端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面に表示された画像の状態を特定する。
【解決手段】携帯端末１は、画面に表示された画面データを取得する取得部１５１と、画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部１５２と、端末ハッシュ情報を画面特定装置２に送信する通信部１２と、を有し、画面特定装置２は、端末ハッシュ情報を受信する通信部２１と、画面に表示される複数の画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部２２と、通信部２１から受信した端末ハッシュ情報と同一又は類似の基準ハッシュ情報に対応する基準画面データを特定する画面データ特定部２３１と、を有する。
【選択図】図１

Description

本発明は、端末に表示された画面の内容を特定する画面特定システム、画面特定装置及び画面特定方法に関する。

従来、他の端末に表示されている動画の内容を再現する方法が知られている。特許文献１においては、他の端末に表示されている動画に含まれる画像フレームの番号、及び他の端末における操作内容を示す操作コードを含むログ情報を取得し、取得したログ情報に基づいて動画の内容を再現する方法が記載されている。また、特許文献２においては、携帯電話機における操作画面の履歴情報に基づいて、操作画面を特定する方法が記載されている。

特開２００９−２４７５６３号公報 特開２０１１−１７５４４３号公報

スマートフォン及びタブレット等の端末で実行されるアプリケーションの仕様を改善したり、アプリケーションの使用方法をユーザにアドバイスしたりするために、端末に表示されている画面の状態を把握する必要が高まっている。しかしながら、従来のようにログ情報又は履歴情報に基づいて画面の状態を把握できるようにするためには、端末のアプリケーションを設計する時点で、ログ情報又は履歴情報を生成する機能を実装しておく必要があった。したがって、アプリケーションの設計工数が増加してしまうという問題があった。また、ログ情報又は履歴情報を生成する機能が実装されていないアプリケーションにより表示される画面の状態を把握することは困難であり、他の端末に表示された内容を特定できる画面の種類が、限定的であるという問題もあった。

そこで、本発明はこれらの点に鑑みてなされたものであり、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面に表示された画像の状態を特定するための画面特定システム、画面特定装置及び画面特定方法を提供することを目的とする。

本発明の第１の態様においては、画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの種別を特定する画面特定装置と、を備え、前記端末は、前記画面に表示された画面データを取得する取得部と、前記画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部と、前記端末ハッシュ情報を前記画面特定装置に送信する送信部と、を有し、前記画面特定装置は、前記端末ハッシュ情報を受信する受信部と、前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの前記基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部と、前記送信部から受信した前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定する画面データ特定部と、を有する、画面特定システムを提供する。

前記取得部は、前記端末に前記画面データを表示しているアプリケーションが所定のアプリケーションであることを条件に、前記画面データを取得してもよい。

前記情報生成部は、例えば、前記画面データを複数の分割領域に分割する分割部と、前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化値を決定して前記端末ハッシュ情報を生成する生成部と、を有する。

前記生成部は、例えば、前記画面データに含まれる画素の輝度又は色度の平均値である全体平均値を前記所定の閾値として用いて、前記端末ハッシュ情報を生成する。また、前記分割部は、例えば、前記画面データにおける位置に応じてサイズが異なる前記複数の分割領域に前記画面データを分割する。

前記画面データ特定部は、前記端末ハッシュ情報と前記基準ハッシュ情報との間のハミング距離に基づいて前記基準画面データを特定してもよい。前記画面データ特定部は、前記複数の分割領域それぞれの前記画面における位置に基づいて重み付けすることにより、前記ハミング距離を算出してもよい。

前記画面データ特定部は、前記基準画面データに応じて、前記ハミング距離の算出に用いる領域を選択してもよい。また、前記画面データ特定部は、前記端末ハッシュ情報との間の前記ハミング距離が同一の前記基準ハッシュ情報が複数ある場合、前記端末ハッシュ情報及び前記基準ハッシュ情報に含まれる所定のデータ間のハミング距離に基づいて、前記基準ハッシュ情報に対応する前記基準画面データを特定してもよい。

また、前記画面データ特定部は、特定した前記基準画面データと、当該基準画面データに対応する前記端末ハッシュ情報に関連付けられた時刻とに基づいて、前記端末における画面遷移内容を特定してもよい。

また、上記の画面特定装置は、前記端末に表示される前記複数の画面データのうち、類似する複数の画面データの特徴を有する前記基準ハッシュ情報を生成する基準ハッシュ情報生成部をさらに有してもよい。

また、前記画面特定装置は、前記画面データ特定部が特定した前記基準画面データに関連付けられた表示情報を前記端末に送信する情報送信部をさらに有し、前記端末は、前記表示情報を表示部に表示させる表示制御部をさらに有してもよい。

本発明の第２の態様においては、画面に表示された画面データを取得する取得部と、前記画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部と、前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの前記基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部と、前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定する画面データ特定部と、を有する画面特定装置を提供する。

本発明の第３の態様においては、画面データを表示する画面を有する端末に表示された画面の内容を特定する方法であって、前記画面に表示された画面データを取得するステップと、前記画面データの特徴に対応する端末ハッシュ情報を生成するステップと、前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて記憶部に記憶された、それぞれの前記基準画面データの特徴に対応する複数の基準ハッシュ情報のうち、前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定するステップと、を有する、画面特定方法を提供する。

本発明によれば、端末の画面に画像を表示するアプリケーションに追加機能を実装することなく、画面に表示された画像の状態を特定することができるという効果を奏する。

本実施形態に係る画面特定システムＳの概要を説明するための図である。 携帯端末１に表示される画面の例を示す図である。 携帯端末１の構成を示す図である。 複数の分割領域の例を示す図である。 画面特定装置２の構成を示す図である。 類似画面の判定方法について説明するための図である。 類似画面の判定方法について説明するための図である。 画面データ特定部２３１が画面の種類を特定する際に、分割領域の位置による重み付けをする方法について説明するための図である。 携帯端末１及び画面特定装置２における処理の流れを示すフローチャートである。

［本実施形態の概要］
図１は、本実施形態に係る画面特定システムＳの概要を説明するための図である。画面特定システムＳは、携帯端末１と、画面特定装置２とを備える。
携帯端末１は、スマートフォン及びタブレットのように、テキスト及び画像を表示することができるディスプレイを有する端末である。図１に示す携帯端末１は、無線通信回線を介して携帯電話網の基地局Ｎ１に接続され、インターネット等のネットワークＮ２を介して画面特定装置２と通信することができる。携帯端末１は、無線端末に限られず、有線ケーブルを介してネットワークＮ２に接続されるコンピュータ又は家電機器等であってもよい。

画面特定装置２は、ネットワークＮ２に接続されているサーバである。画面特定装置２は、携帯端末１から受信した情報に基づいて、携帯端末１に表示されている画面の内容を特定する。画面特定装置２は、特定した画面の内容に基づいて、携帯端末１に対して適切な情報を提供したり、携帯端末１のユーザがアプリケーションソフトウェア（以下、アプリケーションという）をどのように使用しているかに関する情報を収集したりすることができる。

携帯端末１及び画面特定装置２は、以下のように動作することにより、携帯端末１に表示された画面を画面特定装置２が特定することができる。
まず、携帯端末１は、実行中のアプリケーションの種別を特定し、特定した種別に基づいて、画面の内容を特定する一連の処理を実行するか否かを決定する（図１における（１））。携帯端末１は、画面の内容を特定する処理を実行すると決定した場合、表示した画面の内容の特徴を示す情報であるハッシュ情報を生成し、生成したハッシュ情報を送信する（図１における（２））。ハッシュ情報は、画面の特徴に基づいて生成された情報であり、画面データ自体に比べて、大幅に容量が小さい。したがって、携帯端末１は、通信回線に大きな負荷をかけることなく、短時間でハッシュ情報を画面特定装置２に送信することができる。ハッシュ情報の詳細については、後述する。

携帯端末１においては、画面を表示している第１のアプリケーションと異なる第２のアプリケーションが、第１のアプリケーションが表示している画面の内容を解析してハッシュ情報を生成する。このようにすることで、既存のアプリケーションを改造することなく、携帯端末１がハッシュ情報を生成することができる。

携帯端末１が送信したハッシュ情報は、基地局Ｎ１及びネットワークＮ２を介して画面特定装置２へと送られる（図１における（３））。画面特定装置２は、受信したハッシュ情報と、予め作成しておいた、携帯端末１において表示され得る画面の種類に関連付けられた基準ハッシュ情報とを比較し、受信したハッシュ情報に類似する基準ハッシュ情報を特定する。画面特定装置２は、特定した基準ハッシュ情報に対応する画面を特定することにより、画面ログ情報を生成する（図１における（４））。

画面ログ情報には、画面状態の変化が記録されるので、画面特定装置２は、生成した画面ログ情報に基づいて、遷移内容を特定することもできる。例えば、画面特定装置２は、受信したハッシュ情報に対応する複数の基準ハッシュ情報に基づいて、携帯端末１の画面が、画面Ａ→Ｂ→Ａ→Ｃ→・・・と遷移していることを特定することができる。その結果、画面特定装置２は、特定の画面Ａにおける滞在時間の平均値、画面Ａから画面Ｂへの遷移割合を特定することができる。これらの情報を特定することにより、ユーザによる第１のアプリケーションの使用実態を把握することが可能になる。

また、画面特定装置２は、特定した画面の内容及び画面遷移に基づいて、携帯端末１に表示させる情報（以下、表示情報という）を選択して送信してもよい（図１における（５））。表示情報は、例えば、携帯端末１に表示されている画面において、使用方法又は注意点等をユーザに助言するための情報である。表示情報は、ネットワークＮ２及び基地局Ｎ１を介して携帯端末１に送信される（図１における（６））。携帯端末１は、受信した表示情報を、第１アプリケーションが表示している画面に重ねて表示させる。

図２は、携帯端末１に表示される画面の例を示す図である。図２（ａ）は、携帯端末１においてメールを送信する画面が開かれた状態を示している。領域１０１は、画面の機能名を表示する領域であり、領域１０２は、送信先アドレス及びタイトルを入力する領域であり、領域１０３は、メール本文を入力する領域であり、領域１０４は、操作を入力する領域である。携帯端末１は、表示した画面の輝度又は色度に基づいて画面の内容を量子化することにより、ハッシュ情報を生成する。

図２（ｂ）は、画面特定装置２が携帯端末１に送信した表示情報を示す図である。図２（ｂ）においては、送信先アドレスの付近に、宛先が間違っていないことを確認させるためのテキスト及び画像から構成される画像が表示されている。このように、画面特定システムＳにおいては、任意のアプリケーションによって携帯端末１に表示された画面上に、画面の内容に応じた表示情報を表示させることができるので、アプリケーションをリリースした後に、アプリケーションの使用方法又は注意点等の案内情報をユーザに通知する必要がある場合に好適である。

［携帯端末１及び画面特定装置２の構成］
以下、携帯端末１及び画面特定装置２の構成及び動作について詳細に説明する。
図３は、携帯端末１の構成を示す図である。携帯端末１は、操作部１１と、通信部１２と、表示部１３と、記憶部１４と、制御部１５とを有する。

操作部１１は、ユーザが操作を入力するためのデバイスであり、例えば、タッチパネルである。通信部１２は、基地局Ｎ１と通信するための無線ユニットである。表示部１３は、画面を表示するディスプレイである。

記憶部１４は、ＲＯＭ及びＲＡＭを含んでいる。ＲＯＭは、制御部１５が実行するプログラムを記憶している。ＲＯＭは、例えば、メール用のアプリケーション、ゲーム用のアプリケーション等の各種の第１のアプリケーションと、ハッシュ情報を生成し、画面特定装置２から受信した表示情報を表示するための第２のアプリケーションとを記憶している。ＲＡＭは、制御部１５が各種の処理を実行する際のワークメモリとして使用される。

制御部１５は、例えばＣＰＵを含んでいる。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、取得部１５１、情報生成部１５２及び表示制御部１５５として機能する。情報生成部１５２は、分割部１５３及び生成部１５４を有しており、画面データの特徴に対応する端末ハッシュ情報を生成する。

取得部１５１は、表示部１３の画面に表示された画面データを取得する。取得部１５１は、例えば、携帯端末１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を介して、携帯端末１に表示されている画面を定期的にキャプチャすることにより、画面データを取得する。取得部１５１は、画面データの取得に先立ち、携帯端末１において実行されているアプリケーション（第１のアプリケーション）を特定する。取得部１５１は、特定したアプリケーションが、記憶部１４に記憶されている、画面ログ情報を取得する対象として予め登録されているアプリケーション一覧に含まれているか否かを判定する。取得部１５１は、特定したアプリケーションが、アプリケーション一覧に登録されている場合、画面データを取得することに決定する。

分割部１５３は、画面データを複数の分割領域に分割する。分割部１５３は、例えば、携帯端末１の機種名に基づいて、各分割領域のサイズ及び位置を決定する。分割部１５３は、画面を表示している第１のアプリケーションの種別に応じて、各分割領域のサイズ及び位置を決定してもよい。

図４は、複数の分割領域の例を示す図である。図４（ａ）においては、表示部１３が、８×１３＝１０４個の分割領域に分けられている。分割領域は、（行番号、列番号）により表される座標により特定することができる。例えば、左上の分割領域の座標は（１，１）、右上の分割領域の座標は（１，８）、左下の分割領域の座標は（１３，１）、右下の分割領域の座標は（１３，８）である。

生成部１５４は、例えば、複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化して得られる量子化値を含む端末ハッシュ情報（Ａｖｅｒａｇｅ Ｈａｓｈ）を生成する。生成部１５４は、例えば、表示されている画面全体の画面データに含まれる画素の輝度又は色度の平均値を上記の所定の閾値として用いることができる。

生成部１５４は、複数の分割領域のそれぞれに含まれる全ての画素の輝度又は色度を平均することにより、平均値を算出する。そして、生成部１５４は、算出した平均値が所定の閾値以上である場合に、対応する分割領域における量子化値を「１」とし、算出した平均値が所定の閾値より小さい場合に、量子化値を「０」とする。生成部１５４は、全ての分割領域に対応する量子化値を算出し、全ての分割領域の量子化値を所定の順序で並べることにより、表示されている画面データの端末ハッシュ情報を生成する。なお、生成部１５４は、離散コサイン変換処理により低周波成分を抽出し、低周波成分の有無により量子化値を生成することにより端末ハッシュ情報（ｐＨａｓｈ）を生成してもよい。

図４（ｂ）は、端末ハッシュ情報を生成する方法を説明するための図である。図４（ｂ）は、図２（ａ）に示したメール送信画面に対応する量子化値を示している。図４（ｂ）における黒い分割領域は、分割領域における輝度の平均値が所定値よりも小さい領域であり、白い分割領域は、分割領域における輝度の平均値が所定値以上の領域である。生成部１５４は、図４（ｂ）に示す例において、座標（１，１）、座標（１，２）・・・座標（１，８）、座標（２，１）・・・座標（１３，８）の順番に量子化値を並べることにより、「１１１１１１１１００００００００００１１１１１１００１１１１１１・・・・１１１１１１１１０１０００１０００１０００１００」という、分割領域の数に等しいビット数の端末ハッシュ情報を生成する。

表示制御部１５５は、各種のデータを表示部１３に表示させる。表示制御部１５５は、例えば、第１のアプリケーションが生成した画面データを表示部１３に表示させる。また、表示制御部１５５は、画面特定装置２から受信した表示情報を、第２のアプリケーションを用いて表示部１３に表示させる。

図５は、画面特定装置２の構成を示す図である。画面特定装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。通信部２１は、携帯端末１から端末ハッシュ情報を受信する受信部、及び携帯端末１に表示情報を送信する送信部として機能する。

記憶部２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部２２は、ＲＯＭ又はハードディスクに、制御部２３が実行するプログラムを記憶している。また、記憶部２２は、携帯端末１の画面に表示される可能性がある複数の画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの基準画面データの特徴に対応する基準ハッシュ情報を記憶している。記憶部２２は、例えば、図２（ａ）に示したメール送信用の画面の識別情報に関連付けて、図４（ｂ）に示したパターンに対応するハッシュ情報を基準ハッシュ情報として記憶している。

また、記憶部２２は、基準ハッシュ情報に関連付けて、携帯端末１に表示させる表示情報を記憶している。記憶部２２は、例えば図２（ｂ）に示した、ユーザに通知すべき情報を含むテキスト情報又は画像情報を記憶している。なお、表示情報は、携帯端末１に表示する画像データ（例えば、ビットマップデータ）であってもよく、携帯端末１で画像データを生成するために必要な情報（例えば、ベクターデータ）であってもよい。

制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、画面データ特定部２３１、情報送信部２３２及び基準データ生成部２３３として機能する。
画面データ特定部２３１は、通信部２１が携帯端末１から受信した端末ハッシュ情報と同一又は類似の基準ハッシュ情報に対応する基準画面データを特定することにより、端末ハッシュ情報をクラスタリングする。クラスタリングとは、端末ハッシュ情報を複数のグループ（以下、クラスタという）に分類することである。

画面データ特定部２３１は、受信した端末ハッシュ情報と、記憶部２２に記憶されている複数の基準ハッシュ情報それぞれとの間のハミング距離を算出する。例えば、画面データ特定部２３１は、端末ハッシュ情報のあるビットと基準ハッシュ情報の対応するビットとが一致している場合、ビット間距離を０とし、端末ハッシュ情報のあるビットが０で、基準ハッシュ情報の対応するビットが１の場合に、ビット間距離を１とし、端末ハッシュ情報のあるビットが１で、基準ハッシュ情報の対応するビットが０の場合に、ビット間距離を‐１とする。画面データ特定部２３１は、全てのビット間距離を加算することにより、端末ハッシュ情報と基準ハッシュ情報との間のハミング距離を算出する。

画面データ特定部２３１は、例えばｋ−ｍｅａｎｓ法を用いて、通信部２１が受信した端末ハッシュ情報が、ハミング距離が最も小さい基準ハッシュ情報に類似していると判定する。画面データ特定部２３１は、携帯端末１から受信した複数の端末ハッシュ情報のそれぞれとの間のハミング距離が最も小さい基準ハッシュ情報を特定することにより、複数の端末ハッシュ情報のそれぞれが、どのクラスタに属するかを特定する。画面データ特定部２３１は、端末ハッシュ情報との間のハミング距離が同一の基準ハッシュ情報が複数ある場合、端末ハッシュ情報に含まれる所定の位置のデータと、基準ハッシュ情報に含まれる所定の位置のデータとの間のハミング距離が最も小さい基準ハッシュ情報に対応する基準画面データに、携帯端末１に表示されている画面が類似すると判定してもよい。

画面データ特定部２３１は、携帯端末１に表示されている画面が類似すると判定した基準画面データの識別情報を、記憶部２２に画面ログ情報として記憶させる。画面データ特定部２３１は、画面ログ情報に基づいて画面の遷移内容を特定し、特定した遷移内容を出力してもよい。例えば、画面データ特定部２３１は、受信したハッシュ情報に対応する複数の基準ハッシュ情報に基づいて、携帯端末１の画面が、画面Ａ→Ｂ→Ａ→Ｃ→・・・と遷移していることを特定し、特定した遷移内容を外部のコンピュータに送信したり、ディスプレイに表示させたりすることができる。画面データ特定部２３１は、特定の画面Ａにおける滞在時間の平均値、画面Ａから画面Ｂへの遷移割合を特定してもよい。画面データ特定部２３１が、これらの情報を出力することにより、画面特定装置２を利用する人が、第１のアプリケーションの使用実態を把握することが可能になる。

画面データ特定部２３１は、記憶部２２が複数の基準ハッシュ情報に関連付けて記憶している複数の表示情報のうち、端末ハッシュ情報に類似していると判定した基準ハッシュ情報に関連付けられた表示情報を選択する。
情報送信部２３２は、通信部２１を介して、画面データ特定部２３１が選択した表示情報を携帯端末１に送信する。

基準データ生成部２３３は、端末に表示される複数の画面データのうち、類似する複数の画面データの特徴を有するクラスタに対応する基準画面データを生成する。そして、基準データ生成部２３３は、基準画面データに基づいて、基準ハッシュ情報を生成する。基準データ生成部２３３は、生成した基準ハッシュ情報を記憶部２２に記憶させる。

基準データ生成部２３３は、携帯端末１又は携帯端末１と同等の他の端末から、多数の画面データを取得し、各画面データ間の相関値を算出することにより、類似する画面データを特定する。そして、基準データ生成部２３３は、類似する画面データに共通する特徴に基づいて基準画面データを決定し、決定した基準画面データに基づいて基準ハッシュ情報を生成する。基準データ生成部２３３は、例えば、情報生成部１５２が端末ハッシュ情報を生成する手順と同一の手順により基準ハッシュ情報を生成する。

なお、基準データ生成部２３３が基準画面データを決定する方法は任意であり、基準データ生成部２３３は、例えば、類似する画面データの各画素の輝度及び色度を平均することにより、基準画像データを生成することができる。また、基準データ生成部２３３は、類似する画面データにおいて共通する領域のみを抜き出して、それ以外の領域を白色の画素で置換することにより基準画像データを生成してもよい。

［類似画面の判定方法の例］
図６及び図７は、類似画面の判定方法について説明するための図である。図６（ａ）は、図２（ａ）に示した送信メール作成画面の領域１０３にメール本文が追記された状態の画面を示している。情報生成部１５２が端末ハッシュ情報の生成に用いる閾値が、輝度の最大値と最小値の中間値である場合、図６（ａ）における領域１０３内の各分割領域の輝度は、閾値よりも低い。したがって、量子化値は、図６（ｂ）に示すように、図４（ｂ）と同一の値になっている。したがって、画面データ特定部２３１は、図６（ａ）の画面が、図２（ａ）の画面に類似する画面であると判定する。

これに対して、情報生成部１５２は、画面内の所定内の領域の閾値を他の領域の閾値と異なる値にしてもよく、例えばメール本文が入力される領域１０３の閾値を、輝度の最大値に近い値に設定してもよい。情報生成部１５２がこのような閾値を用いた場合、情報生成部１５２は、図６（ｃ）に示すように、メール本文が入力された領域の量子化値が０に設定された端末ハッシュ情報を生成することになる。

画面データ特定部２３１は、図６（ｃ）に対応する端末ハッシュ情報を取得すると、図２（ａ）に対応する端末ハッシュ情報から変化したことを認識し、図２（ａ）の画面の状態で携帯端末１に表示させていた表示情報を表示させないように制御することができる。このような構成は、ユーザの操作状態に応じて表示情報を変化させる必要がある場合に好適である。

図７（ａ）は、図４（ａ）と異なる種類の画面であり、受信メールを表示する画面を示している。受信メールを表示する画面においては、図４（ａ）における領域１０４に操作用の画像が表示されていない。したがって、情報生成部１５２が生成する量子化値は図７（ｂ）のようになり、図４（ｂ）の量子化値と異なる。画面データ特定部２３１は、図７（ｂ）に対応する端末ハッシュ情報を受信すると、受信した端末ハッシュ情報とハミング距離が近い基準ハッシュ情報を探索することにより、携帯端末１に表示されている画面が受信メールを表示する画面であると特定する。

［分割領域の位置による重み付け］
図８は、画面データ特定部２３１が画面の種類を特定する際に、分割領域の位置による重み付けをする方法について説明するための図である。画面データ特定部２３１は、端末ハッシュ情報と基準ハッシュ情報との間のハミング距離を算出する際に、特定の領域におけるハミング距離に対して、他の領域におけるハミング距離よりも大きく重み付けをしてもよい。

例えば、画面データ特定部２３１は、図８（ａ）において斜線で示す画面の中央（領域Ａ）の分割領域に対応するビットの重み係数を２として、画面の端（領域Ｂ）の分割領域に対応するビットの重み係数を１としてハミング距離を算出する。この場合、画面データ特定部２３１は、端末ハッシュ情報における領域Ａ内のビットが０で、基準ハッシュ情報における領域Ａに対応するビットが１である場合に、ビット間距離を２とする。また、画面データ特定部２３１は、端末ハッシュ情報における領域Ｂ内のビットが０で、基準ハッシュ情報における領域Ｂに対応するビットが１である場合に、ビット間距離を１とする。このようにして決定した各ビットの距離を加算することにより、画面データ特定部２３１は、領域Ａにおける端末ハッシュ情報と基準ハッシュ情報との間の類似度の影響を、領域Ｂにおける影響よりも大きくすることができる。

画面データ特定部２３１は、アプリケーションにおいて画面の種類を特定するために重要な画像が表示される領域の重み係数を大きくしてもよい。例えば、画面データ特定部２３１は、画面データに応じて定められた各領域の重み係数を用いてハミング距離を算出する。具体的には、画面データ特定部２３１は、図８（ｂ）に示すように、図８における領域Ｃに、画面の種別の判定において重要な画像が表示され、領域Ｄに、さらに重要な画像が表示される場合、図８の白い領域の重み係数を１、領域Ｃの重み係数を２、領域Ｄの重み係数を３とする。

画面データ特定部２３１は、端末ハッシュ情報と比較する基準ハッシュ情報に対応する基準画面データの種別に応じて、ハミング距離の計算に用いる領域を選択してもよい。例えば、画面データ特定部２３１は、画面の類似度を判定する際に不要な領域の重み係数を０として、不要な領域に対応するビットを、ハミング距離の計算に用いないようにしてもよい。

［携帯端末１における操作内容の推定］
画面データ特定部２３１は、特定した画面データの遷移状態に基づいて、携帯端末１における操作内容を推定することもできる。例えば、画面データ特定部２３１は、特定した基準画面データと、当該基準画面データに対応する端末ハッシュ情報に関連付けられた時刻とに基づいて、携帯端末１における画面遷移内容を推定する。端末ハッシュ情報に関連付けられた時刻は、例えば、端末ハッシュ情報が生成された時刻、又は通信部２１が端末ハッシュ情報を受信した時刻である。

画面データ特定部２３１は、端末ハッシュ情報に関連付けられた時刻に基づいて、複数の端末ハッシュ情報に対応する複数の基準画面データを並べることにより、携帯端末１における画面遷移を再現し、携帯端末１において、どのように画面が遷移したかを推定することができる。例えば、画面データ特定部２３１は、時刻ｔから時刻ｔ＋ａの間、所定のクラスタＡに属するハッシュ値ｈａｓｈ（Ａ）のログがあった場合、（ｈａｓｈ（Ａ），ｔ，ｔ＋ａ）という形式で時系列情報を生成し、生成した時系列情報に基づいて、画面遷移パターンを再現する。

画面データ特定部２３１は、多数の携帯端末１から送信される、同一のアプリケーションの画面遷移パターンの平均値又は分散等の統計値を算出してもよい。画面データ特定部２３１は、画面遷移の内容及び統計値を表示したり、他のコンピュータに送信したりしてもよい。なお、画面データ特定部２３１は、多数の携帯端末１から送信される端末ハッシュ情報に基づいて画面遷移パターンの統計値を算出する際に、所定の数より少ない携帯端末１からしか送信されなかった端末ハッシュ情報を、画面遷移パターンの統計値の算出に使用しないものとしてもよい。

画面特定装置２が、端末ハッシュ情報に基づいて携帯端末１の画面遷移パターンを推定することで、携帯端末１に画面を表示するアプリケーションの設計者が、ユーザがどのようにアプリケーションを使用しているかを把握し、アプリケーションを改良する際に役立つ。また、携帯端末１のユーザにとってみれば、操作画面自体が送信されるのではなく、操作画面に対応する端末ハッシュ情報が送信されるのみであるので、プライバシーが保護され、画面遷移内容を解析されることに対する抵抗感が小さいというメリットがある。

［携帯端末１及び画面特定装置２における処理の流れ］
図９は、携帯端末１及び画面特定装置２における処理の流れを示すフローチャートである。図９に示す処理は、主に携帯端末１における制御部１５及び画面特定装置２における制御部２３によって行われる。

まず、制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションであるか否かを判定する（Ｓ１１）。制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションでないと判定した場合（Ｓ１１においてＮＯ）、画面データを取得する対象のアプリケーションが実行中になるまでＳ１１の処理を繰り返す。制御部１５は、表示部１３に画面を表示している第１のアプリケーションが、画面データを取得する対象のアプリケーションであると判定した場合（Ｓ１１においてＹＥＳ）、Ｓ１２に処理を進める。

Ｓ１２において、制御部１５は、表示部１３に表示されている画面データを取得する。続いて、制御部１５は、画面データを所定の分割領域に分割し（Ｓ１３）、分割領域ごとに、輝度の平均値を算出する（Ｓ１４）。続いて、制御部１５は、輝度の平均値を閾値と比較することにより、分割領域ごとに量子化値を算出し（Ｓ１５）、算出した量子化値を並べることにより、端末ハッシュ情報を生成する（Ｓ１６）。そして、制御部１５は、生成した端末ハッシュ情報を、通信部１２を介して画面特定装置２に送信する（Ｓ１７）。

画面特定装置２においては、制御部２３は、端末ハッシュ情報を受信すると（Ｓ２１）、受信した端末ハッシュ情報と複数の基準ハッシュ情報とを比較する（Ｓ２２）。そして、制御部２３は、端末ハッシュ情報と複数の基準ハッシュ情報それぞれとの間のハミング距離を算出し、ハミング距離が所定の値よりも小さい基準ハッシュ情報に対応する基準画面データを特定する（Ｓ２３）。続いて、制御部２３は、特定した基準画面データに基づいて、画面ログ情報を生成する（Ｓ２４）。以上の手順により、画面特定装置２は、携帯端末１の画面の状態及び画面遷移を特定することができる。

（変形例）
上記の説明においては、携帯端末１が画面特定装置２に対して端末ハッシュ情報を送信し、画面特定装置２が端末ハッシュ情報に基づいて表示されている画面を特定する例について説明したが、これに限らず、携帯端末１が画面特定装置として機能してもよい。例えば、携帯端末１が、基準ハッシュ情報及び基準画面データを記憶部１４に記憶しており、携帯端末１の制御部１５が画面データ特定部として機能し、第１のアプリケーションが表示している画面に基づいて生成した端末ハッシュ情報と基準ハッシュ情報とを比較することにより、表示されている画面に対応する基準画面データを特定し、表示制御部１５５が、ユーザに通知する情報を表示部１３に表示させてもよい。

また、上記の説明においては、端末ハッシュ情報が、各分割領域の量子化値により構成される例について説明したが、端末ハッシュ情報は、一部の分割領域の量子化値とともに、他の領域の各画素の画素値を含む情報であってもよい。また、分割部１５３は、画面データにおける位置に応じてサイズが異なる複数の分割領域に画面データを分割してもよい。このようにすることで、表示されている画面における小さな違いに基づいて画面の種別を判定する必要がある場合であっても、画面データ特定部２３１が高い精度で画面データの種別を特定することができる。

また、上記の説明においては、量子化値が２値データである例について説明したが、量子化値はこれに限らない。例えば、情報生成部１５２は、複数の閾値を用いることにより、多値の量子化値に基づく端末ハッシュ情報を生成してもよい。

［本実施形態における効果］
以上説明したように、本実施形態においては、携帯端末１が、表示している画面データの特徴を示す端末ハッシュ情報を生成し、画面特定装置２が、受信した端末ハッシュ情報に類似する基準ハッシュ情報に対応する基準画面データを特定する。このようにすることで、画面特定装置２は、任意のアプリケーションによって携帯端末１に表示されている画面の内容に応じて、ユーザに適切な情報を提供することができる。また、画面特定装置２は、受信した端末ハッシュ情報に基づいて画面遷移パターンを再現することにより、ユーザによるアプリケーションの利用傾向を特定することもできる。

また、携帯端末１は、分割領域の輝度又は色度の平均値に基づいて分割領域ごとに量子化値を算出することにより端末ハッシュ情報を生成する。このようにすることで、携帯端末１が、データ量が大きな画面データ自体を送信することなく、画面特定装置２が、携帯端末１に表示された画面の種別を特定することができるので、画面データの保存領域、及び通信量を削減することが可能になる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１ 携帯端末
２ 画面特定装置
１１ 操作部
１２ 通信部
１３ 表示部
１４ 記憶部
１５ 制御部
２１ 通信部
２２ 記憶部
２３ 制御部
１５１ 取得部
１５２ 情報生成部
１５３ 分割部
１５４ 生成部
１５５ 表示制御部
２３１ 画面データ特定部
２３２ 情報送信部
２３３ 基準データ生成部

Claims (14)

1. 画面データを表示する画面を有する端末と、前記端末に表示された前記画面データの種別を特定する画面特定装置と、を備え、
   前記端末は、
   前記画面に表示された画面データを取得する取得部と、
   前記画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部と、
   前記端末ハッシュ情報を前記画面特定装置に送信する送信部と、
   を有し、
   前記画面特定装置は、
   前記端末ハッシュ情報を受信する受信部と、
   前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの前記基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部と、
   前記送信部から受信した前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定する画面データ特定部と、
   を有する、画面特定システム。
2. 前記取得部は、前記端末に前記画面データを表示しているアプリケーションが所定のアプリケーションであることを条件に、前記画面データを取得する、
   請求項１に記載の画面特定システム。
3. 前記情報生成部は、
   前記画面データを複数の分割領域に分割する分割部と、
   前記複数の分割領域それぞれの輝度又は色度の平均値を所定の閾値と比較することにより量子化値を決定して前記端末ハッシュ情報を生成する生成部と、
   を有する、
   請求項１又は２に記載の画面特定システム。
4. 前記生成部は、前記画面データに含まれる画素の輝度又は色度の平均値である全体平均値を前記所定の閾値として用いて、前記端末ハッシュ情報を生成する、
   請求項３に記載の画面特定システム。
5. 前記分割部は、前記画面データにおける位置に応じてサイズが異なる前記複数の分割領域に前記画面データを分割する、
   請求項３又は４に記載の画面特定システム。
6. 前記画面データ特定部は、前記端末ハッシュ情報と前記基準ハッシュ情報との間のハミング距離に基づいて前記基準画面データを特定する、
   請求項１から５のいずれか１項に記載の画面特定システム。
7. 前記画面データ特定部は、前記複数の分割領域それぞれの前記画面における位置に基づいて重み付けすることにより、前記ハミング距離を算出する、
   請求項６に記載の画面特定システム。
8. 前記画面データ特定部は、前記基準画面データに応じて、前記ハミング距離の算出に用いる領域を選択する、
   請求項６又は７に記載の画面特定システム。
9. 前記画面データ特定部は、前記端末ハッシュ情報との間の前記ハミング距離が同一の前記基準ハッシュ情報が複数ある場合、前記端末ハッシュ情報及び前記基準ハッシュ情報に含まれる所定のデータ間のハミング距離に基づいて、前記基準ハッシュ情報に対応する前記基準画面データを特定する、
   請求項６から８のいずれか１項に記載の画面特定システム。
10. 前記画面データ特定部は、特定した前記基準画面データと、当該基準画面データに対応する前記端末ハッシュ情報に関連付けられた時刻とに基づいて、前記端末における画面遷移内容を特定する、
    請求項１から９のいずれか１項に記載の画面特定システム。
11. 前記画面特定装置は、前記端末に表示される前記複数の画面データのうち、類似する複数の画面データの特徴を有する前記基準ハッシュ情報を生成する基準ハッシュ情報生成部をさらに有する、
    請求項１から１０のいずれか１項に記載の画面特定システム。
12. 前記画面特定装置は、前記画面データ特定部が特定した前記基準画面データに関連付けられた表示情報を前記端末に送信する情報送信部をさらに有し、
    前記端末は、前記表示情報を表示部に表示させる表示制御部をさらに有する、
    請求項１から１１のいずれか１項に記載の画面特定システム。
13. 画面に表示された画面データを取得する取得部と、
    前記画面データの特徴に対応する端末ハッシュ情報を生成する情報生成部と、
    前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて、それぞれの前記基準画面データの特徴に対応する基準ハッシュ情報を記憶する記憶部と、
    前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定する画面データ特定部と、
    を有する、画面特定装置。
14. 画面データを表示する画面を有する端末に表示された画面の内容を特定する方法であって、
    前記画面に表示された画面データを取得するステップと、
    前記画面データの特徴に対応する端末ハッシュ情報を生成するステップと、
    前記画面に表示される複数の前記画面データの少なくとも一部の画面データと同一又は類似の複数の基準画面データに関連付けて記憶部に記憶された、それぞれの前記基準画面データの特徴に対応する複数の基準ハッシュ情報のうち、前記端末ハッシュ情報と同一又は類似の前記基準ハッシュ情報に対応する前記基準画面データを特定するステップと、
    を有する、画面特定方法。