JP2004240760A

JP2004240760A - 操作対象を特定する方法、プログラム及び該プログラムを記録した記録媒体

Info

Publication number: JP2004240760A
Application number: JP2003029766A
Authority: JP
Inventors: Masaru Miyamoto; 勝宮本; Teruo Hamano; 輝夫浜野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-02-06
Filing date: 2003-02-06
Publication date: 2004-08-26

Abstract

【課題】ＯＳ等のプラットフォームに依存せず、操作対象を適切に特定可能な方法等を提供する。
【解決手段】操作手段における操作事象を監視し、操作事象が発生した際に、操作事象直前の画面画像と、操作事象直後の画面画像との差分画像を、操作対象として抽出し、操作事象直後の画面画像を、次の操作事象直前の画面画像とする。特に、操作対象種別データベースを用いて、抽出された差分画像における形状の特徴量に対応する操作対象種別を特定し、該操作対象種別に対応する名前表示領域を特定し、文字認識手段を用いて、名前表示領域に相当する差分画像の領域における文字列を特定し、該文字列を操作対象の名前として抽出する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、操作対象を特定する方法、プログラム及び該プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、操作履歴を収集分析し、得られた傾向を元にして、情報の推薦又はマーケティングに役立てる研究が多くなされている。これらの分析結果は、入力である操作履歴の性質によって大きく変わってくる。できるだけ詳細な操作履歴を把握することができれば、利用者の真の二一ズにマッチした分析結果が得られる可能性がある。
【０００３】
１つのアプローチとしては、ＧＵＩによる操作画面における対話部品を取得するために、ＯＳに格納されているボタンやメニューなどの対話部品の属性情報データベースを参照するものがある（例えば非特許文献１参照）。これは、ＯＳの対話部品属性情報データベースの部品間の階層関係又は対応関係を記述可能にすることで、より的確で、効率の良い対話部品の属性情報データベースを参照を実現している。
【０００４】
【非特許文献１】
山中克弘、岡田世志彦、上窪真一、兼吉昭雄、井関治「ＧＵＩ対応スクリーンリーダのためのオフスクリーンモデル」情報処理学会第５２回（平成８年前期）全国大会講演論文集、ｖｏｌ．５、４Ｓ−６、５−１８９、ｐｐ．１８９−１９０
【０００５】
【発明が解決しようとする課題】
しかしながら、対話部品の属性情報データベースは、ＯＳごとに異なるため、ＯＳなどのプラットフォームが変わると、システムの構成を変える必要がある。また、対話部品の属性情報データベース自身にアクセスできない場合には、利用できない。
【０００６】
本発明は、上記の問題を鑑みてなされたものであり、利用者の操作の結果が画面に反映されるシステムにおいて、ＯＳ等のプラットフォームに依存せず、操作対象を適切に特定可能な方法を実現することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、利用者によって操作される操作手段と、その操作結果を表示する表示手段とを有するユーザインタフェース装置を用いて、処理装置によって該利用者の操作対象を特定する方法、プログラム及び該プログラムを記録した記録媒体に関する。
【０００８】
本発明の方法によれば、操作手段における操作事象を監視する第１のステップと、操作事象が発生した際に、操作事象直前の画面画像と、操作事象直後の画面画像との差分画像を、操作対象として抽出する第２のステップと、操作事象直後の画面画像を、次の操作事象直前の画面画像とする第３のステップとを有することを特徴とする。これにより、ＯＳ等のプラットフォームに依存せず、操作対象を適切に特定することが可能となる。
【０００９】
本発明の方法の他の実施形態によれば、
複数種類の操作対象画像について、該操作対象画像の形状の特徴量に対する操作対象種別との対応関係と、該操作対象種別に対する名前表示領域との対応関係とを予め蓄積した操作対象種別データベースと、画像から文字を認識する文字認識手段とを更に有しており、
第２のステップは、操作対象種別データベースを用いて、第２のステップによって抽出された差分画像における形状の特徴量に対応する操作対象種別を特定し、該操作対象種別に対応する名前表示領域を特定するステップと、文字認識手段を用いて、名前表示領域に相当する差分画像の領域における文字列を特定し、該文字列を操作対象の名前として抽出するステップとを有することも好ましい。これにより、操作対象中に複数の文字列が存在する場合でも、操作対象の名前を特定することが可能となる。
【００１０】
また、本発明のプログラムによれば、操作手段における操作事象を監視する第１のステップと、操作事象が発生した際に、操作事象直前の画面画像と、操作事象直後の画面画像との差分画像を、操作対象として抽出する第２のステップと、操作事象直後の画面画像を、次の操作事象直前の画面画像とする第３のステップとしてコンピュータを実行させることを特徴とする。
【００１１】
本発明のプログラムの他の実施形態によれば、
複数種類の操作対象画像について、該操作対象画像の形状の特徴量に対する操作対象種別との対応関係と、該操作対象種別に対する名前表示領域との対応関係とを予め蓄積した操作対象種別蓄積プログラムと、画像から文字を認識する文字認識プログラムとを更に有しており、
第２のステップは、操作対象種別プログラムを用いて、第２のステップによって抽出された差分画像における形状の特徴量に対応する操作対象種別を特定し、該操作対象種別に対応する名前表示領域を特定するステップと、
文字認識プログラムを用いて、名前表示領域に相当する差分画像の領域における文字列を特定し、該文字列を操作対象の名前として抽出するステップと
してコンピュータを実行させることも好ましい。
【００１２】
更に、本発明は、前述したプログラムを記録した記録媒体であってもよい。
【００１３】
【発明の実施の形態】
以下では、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明による第１の実施形態のシステム構成図である。図１は、特に請求項１及び３に係る発明におけるシステム構成を表す。また、図２は、本発明により抽出された差分画像の一例である。
【００１５】
図１によれば、マウス及びキーボードとディスプレイとに接続された処理装置は、操作監視部１と、画面管理部２と、差分抽出部３とから構成される。
【００１６】
操作監視部１は、操作対象に対する利用者の操作を監視する。特に、操作監視部１は、利用者によるインタフェース装置の操作結果が表示画面に反映されたときを検知する。このとき、操作監視部１は、画面管理部２へ、操作事象直後の画面画像の取り込み要求を出力する。
【００１７】
画面管理部２は、画面取り込み部２−１と、操作直前画面バッファ２−２と、操作直後画面バッファ２−３とから構成される。画面管理部２は、操作監視部１からの画像取り込み要求の通知を受けた際に機能する。
【００１８】
画面取り込み部２−１は、画像取り込み要求の通知の際に、その時点で表示されている操作直後画像の全体を取り込む。図２によれば、「表示」ボタンがクリックされた際に、その下位に相当するメニューが一覧表示されており、その画像全体が取り込まれる。
【００１９】
操作直前画面バッファ２−２は、当該画像取り込み要求の通知以前に、画面取り込み部２−１によって取り込まれた操作直前画像を、一時的に蓄積したものである。従って、差分画像を特定する一連のシーケンスが終了した後で、操作直後画面バッファ２−３に蓄積された画像が、操作直前画面バッファ２−２に蓄積される。
【００２０】
操作直後画面バッファ２−３は、当該画像取り込み要求の通知の際に、画像取り込み部２−１によって取り込まれた操作直後画面を、一時的に蓄積したものである。
【００２１】
差分抽出部３は、操作直前画面バッファ２−２に蓄積された操作直前画面と、操作直後画面バッファ２−３に蓄積された操作直後画面とを比較し、差分画像を抽出し、これを操作対象の画像として特定する。図２によれば、上部に表された操作直前画像と操作直後画像とを比較し、差分である「表示」ボタンのメニュー部分の画像が抽出される。
【００２２】
図３は、図１に基づく操作対象を特定する方法のフローチャートである。
【００２３】
（Ｓ１）初期画面の画像を、画面取り込み部２−１が取り込み、操作直前画面バッファに代入し、Ｓ２に進む。
（Ｓ２）操作監視部１が操作事象を監視しており、操作事象が発生したらＳ３へ進む。発生していなかったら、Ｓ２自身に戻って、引き続き操作事象を監視する。
（Ｓ３）操作直後の画面の画像を、画面取り込み部２−１が取り込み、操作直後画面バッファに代入し、Ｓ４に進む。
（Ｓ４）差分抽出部３が、操作直前画面バッファ２−２と操作直後画面バッファ２−３の画像を比較し、差分画像を抽出し、これを操作対象の画像として特定し、Ｓ５へ進む。
（Ｓ５）差分抽出部３が、次回の差分抽出のために、操作直後画面バッファ２−３に蓄積されている画像のデータを、操作直前画面バッファ２−２に代入し、Ｓ２へ戻る。
【００２４】
図４は、本発明による第２の実施形態のシステム構成図である。図４は、特に請求項２及び４に係る発明におけるシステム構成を表す。図４は、図１と比較して、名前特定部４以外の部分は、図１と全く同様であるので、その部分の説明は省略する。また、図５は、差分画像の一例である。
【００２５】
図４の構成は、操作対象中に複数の文字列が存在する揚合でも、操作対象の名前を特定することが可能なものである。
【００２６】
名前特定部４は、操作対象種別判定部４−１と、操作対象種別データベース４−２と、文字認識部４−３とから構成される。名前特定部４は、差分抽出部３によって抽出された差分画像を入力とする。例えば、図５に表された差分画像を入力とする。
【００２７】
操作対象種別判定部４−１は、操作対象種別データベース４−２を用いて、差分抽出部３によって抽出された差分画像における形状の特徴量に対応する操作対象種別を特定し、該操作対象種別に対応する名前表示領域を特定する。特に、蓄積登録されている操作種別のうち、画像の特徴量が最も近いものを、操作対象種別として取得する。
【００２８】
操作対象種別データベース４−２は、複数種類の操作対象画像について、該操作対象画像の形状の特徴量に対する操作対象種別との対応関係と、該操作対象種別に対する名前表示領域との対応関係とを予め蓄積したものである。
【００２９】
表１は、操作対象種別データベース４−２によって登録蓄積されている操作種別を表す。表１によれば、形状の特徴量及び名前表示領域が、言葉で表現されているけれども、画像の大きさ又は位置を表現した数値や、色を表現した数値などを利用しても構わない。
【００３０】
【表１】

【００３１】
文字認識部４−３は、操作対象種別判定部４−１が特定した操作種別に対応する名前表示領域を、操作対象種別データベース４−２から取得する。差分画像において、取得した名前表示領域に相当する部分を特定し、当該部分の画像における文字を認識する。認識された文字列を、操作対象の名前として特定する。
【００３２】
例えば、図５（ａ）によれば、形状の特徴量は「長方形で、文字列が箇条書き」であって、操作対象種別は「メニュー（反転なし）」であるので、名前表示領域は「最上部」である「表示（Ｖ）」が操作対象として特定される。
【００３３】
また、図５（ｂ）によれば、形状の特徴量は「長方形で、文字列が箇条書き、反転された文字列が存在」であって、操作対象種別は「メニュー（反転あり）」であるので、名前表示領域は「反転している領域」である「検索（Ｆ）」が操作対象として特定される。
【００３４】
図６は、図４に基づく操作対象を特定する方法のフローチャートである。尚、Ｓ２−１からＳ２−３以外は、図３と同様であるので説明を省略する。
【００３５】
（Ｓ２−１）操作対象種別判定部４−１が、差分抽出部３が操作対象として抽出した差分画像を入力として、操作対象種別データベース４−２に登録されている操作種別のうち、画像の特徴量が最も近いものを、操作対象種別として特定し、Ｓ２−２に進む。
（Ｓ２−２）文字認識部４−３が、操作対象種別判定部４−１が特定した操作種別に対応する名前表示領域を、操作対象種別データベース４−２から取得し、Ｓ２−３へ進む。
（Ｓ２−３）文字認識部４−３が、差分画像のおいて、取得した名前表示領域に対応する部分を特定し、当該部分の画像に対して、文字認識を行う。認識された文字列を、操作対象の名前として特定し、Ｓ５へ進む。
【００３６】
【発明の効果】
上述のように、本発明によれば、利用者の操作の結果が画面に反映されるシステムにおいて、操作直前画面と操作直後画面との差分画像を用いて操作対象を特定することにより、ＯＳ等のプラットフォームに依存せずに、操作対象を適切に特定することが可能となる。また、画像から文字列を認識する手段を用いることにより、操作対象中に複数の文字列が存在する場合でも、操作対象の名前を特定することが可能となる。
【図面の簡単な説明】
【図１】本発明による第１の実施形態のシステム構成図である。
【図２】ディスプレイに表示された表示情報の一例である。
【図３】図１に基づく操作対象を特定する方法のフローチャートである。
【図４】本発明による第２の実施形態のシステム構成図である。
【図５】差分画像の一例である。
【図６】図４に基づく操作対象を特定する方法のフローチャートである。
【符号の説明】
１操作監視部
２画面管理部
２−１画面取り込み部
２−２操作直前画面バッファ
２−３操作直後画面バッファ
３差分抽出部
４名前特定部
４−１操作対象種別判定部
４−２操作対象種別データベース（ＤＢ）
４−３文字認識部

Claims

利用者によって操作される操作手段と、その操作結果を表示する表示手段とを有するユーザインタフェース装置を用いて、処理装置によって該利用者の操作対象を特定する方法であって、
前記操作手段における操作事象を監視する第１のステップと、
前記操作事象が発生した際に、操作事象直前の画面画像と、操作事象直後の画面画像との差分画像を、前記操作対象として抽出する第２のステップと、
前記操作事象直後の画面画像を、次の前記操作事象直前の画面画像とする第３のステップと
を有することを特徴とする操作対象を特定する方法。
複数種類の操作対象画像について、該操作対象画像の形状の特徴量に対する操作対象種別との対応関係と、該操作対象種別に対する名前表示領域との対応関係とを予め蓄積した操作対象種別データベースと、
画像から文字を認識する文字認識手段とを更に有しており、
前記第２のステップは、
前記操作対象種別データベースを用いて、前記第２のステップによって抽出された前記差分画像における形状の特徴量に対応する前記操作対象種別を特定し、該操作対象種別に対応する名前表示領域を特定するステップと、
前記文字認識手段を用いて、前記名前表示領域に相当する前記差分画像の領域における文字列を特定し、該文字列を操作対象の名前として抽出するステップとを有することを特徴とする請求項１における操作対象を特定する方法。
利用者によって操作される操作手段と、その操作結果を表示する表示手段とを有するユーザインタフェース装置を用いて、該利用者の操作対象を特定するプログラムであって、
前記操作手段における操作事象を監視する第１のステップと、
前記操作事象が発生した際に、操作事象直前の画面画像と、操作事象直後の画面画像との差分画像を、前記操作対象として抽出する第２のステップと、
前記操作事象直後の画面画像を、次の前記操作事象直前の画面画像とする第３のステップと
してコンピュータを実行させることを特徴とする操作対象を特定するプログラム。
複数種類の操作対象画像について、該操作対象画像の形状の特徴量に対する操作対象種別との対応関係と、該操作対象種別に対する名前表示領域との対応関係とを予め蓄積した操作対象種別蓄積プログラムと、
画像から文字を認識する文字認識プログラムとを更に有しており、
前記第２のステップは、
前記操作対象種別プログラムを用いて、前記第２のステップによって抽出された前記差分画像における形状の特徴量に対応する前記操作対象種別を特定し、該操作対象種別に対応する名前表示領域を特定するステップと、
前記文字認識プログラムを用いて、前記名前表示領域に相当する前記差分画像の領域における文字列を特定し、該文字列を操作対象の名前として抽出するステップと
してコンピュータを実行させることを特徴とする請求項３における操作対象を特定するプログラム。
請求項３又は４に記載のプログラムを記録した記録媒体。