JP2021124968A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】画面に表示中の動画像を解析して比較的精度よく目的の表示要素を検出することのできる情報処理装置を提供する。
【解決手段】画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得し、取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行する情報処理装置であって、当該複数のフレーム画像に対するマッチング処理の実行結果に基づいて、画面内において表示要素が表示されている領域が特定される情報処理装置である。
【選択図】図２

Description

本発明は、画面に表示中の表示画像を解析する情報処理装置、情報処理方法、及びプログラムに関する。

情報処理装置が表示装置の画面に表示する表示画像を解析し、特定の表示要素を検出したいことがある。例えば、アプリケーションプログラムに対する操作をユーザーの代わりに自動的に実行したいときなどには、アプリケーションプログラムによって画面上に表示される表示画像の中から、ユーザーによる操作の対象となる特定のボタンやアイコンなどの表示要素を検出し、その表示要素が表示されている位置に対して何らかのイベント（クリック操作など）を発生させる必要がある。

上述したような状況において、画面に表示されている表示画像に変化がなければ、単純に表示画像の中から目的とする表示要素と一致する領域を特定すればよい。しかしながら、例えば検出したいアイコンが点滅している場合など、画面に表示されている表示画像が時間とともに変化する場合、単純なマッチング処理で目的の表示要素を検出することは難しいことがある。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、画面に表示中の動画像を解析して比較的精度よく目的の表示要素を検出することのできる情報処理装置、情報処理方法、及びプログラムを提供することにある。

本発明の一態様に係る情報処理装置は、画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得するフレーム画像取得部と、前記取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行するマッチング処理部と、を含み、前記複数のフレーム画像に対する前記マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定されることを特徴とする。

本発明の一態様に係る情報処理方法は、画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得するステップと、前記取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行するステップと、を含み、前記複数のフレーム画像に対する前記マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定されることを特徴とする。

本発明の一態様に係るプログラムは、画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得するステップと、前記取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行するステップと、を含み、前記複数のフレーム画像に対する前記マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定されることを特徴とするプログラムである。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置の構成を示す構成ブロック図である。 本発明の実施の形態に係る情報処理装置の機能を示す機能ブロック図である。 操作定義データの内容の一例を示す図である。 本発明の実施の形態に係る情報処理装置が実行する処理の流れの一例を示すフロー図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置１の構成を示す構成ブロック図である。情報処理装置１は、例えば家庭用ゲーム機やパーソナルコンピュータ、スマートフォン等であって、同図に示されるように、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成されている。また、情報処理装置１は表示装置１４及び操作デバイス１５と接続されている。

制御部１１は、ＣＰＵ等のプロセッサを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

インタフェース部１３は、表示装置１４、及び操作デバイス１５との間のデータ通信のためのインタフェースである。情報処理装置１は、インタフェース部１３を介して有線又は無線のいずれかで表示装置１４、及び操作デバイス１５のそれぞれと接続される。具体的にインタフェース部１３は、情報処理装置１が供給する映像データを表示装置１４に送信するためのマルチメディアインタフェースを含むこととする。また、操作デバイス１５に対してユーザーが行った操作内容を示す信号を受信するために、ＵＳＢ（Universal Serial Bus）等のデータ通信インタフェースを含んでいる。

表示装置１４は、液晶ディスプレイや有機ＥＬディスプレイ等であって、情報処理装置１から供給される映像信号に応じた画像を画面上に表示する。操作デバイス１５は、例えばキーボードやマウス、家庭用ゲーム機のコントローラなどであって、ユーザーからの操作入力を受け付ける。なお、表示装置１４、及び操作デバイス１５は、いずれも情報処理装置１の筐体内に内蔵されてもよいし、情報処理装置１と有線又は無線により接続される別個の装置であってもよい。操作デバイス１５は、情報処理装置１の筐体表面に配置された押しボタンやタッチパネルを含んでもよい。

以下、情報処理装置１が実現する機能について、図２を用いて説明する。図２に示すように、情報処理装置１は機能的に、対象プログラム実行部２１と、自動操作実行部２２と、対象領域特定部２３と、を含んで構成される。これらの機能のそれぞれは、制御部１１が記憶部１２に記憶されたプログラムに従って動作することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。また、対象領域特定部２３は、フレーム画像取得部２３ａと、簡略化画像生成部２３ｂと、第１マッチング処理部２３ｃと、第２マッチング処理部２３ｄと、を含んで構成されている。

対象プログラム実行部２１は、制御部１１が所与のアプリケーションプログラムを実行することによって実現される。以下では、対象プログラム実行部２１が実行対象とするプログラムを対象プログラムという。この対象プログラムは、自動操作実行部２２による自動操作の対象となるプログラムである。対象プログラム実行部２１は、所定時間おきに対象プログラムの処理結果を示すフレーム画像を描画し、表示装置１４の画面に表示させる。これにより、対象プログラムの処理結果は時間とともに変化する動画像として表示装置１４の画面に表示される。

なお、対象プログラムはウェブアプリであってもよい。この場合、その処理結果を示す表示画像は、ウェブブラウザプログラムによって描画され、表示装置１４の画面に表示される。

自動操作実行部２２は、対象プログラムとは独立した自動操作プログラムを制御部１１が実行することによって実現される。この自動操作プログラムは、対象プログラムに対して予め定められた操作（以下、自動操作という）をユーザーの代わりに自動的に実行する。自動操作プログラムは、対象プログラムのテスト（動作検証）を実行するためのプログラムであってよい。その場合、自動操作プログラムは、対象プログラムに対する自動操作を実行し、その結果対象プログラムによって出力される内容を検証することによって、対象プログラムが想定通りに動作するか否かを検証する。

具体的に自動操作実行部２２は、予め定義された操作定義データに従って対象プログラムに対する自動操作を実行する。操作定義データは、どのような条件下でどのような自動操作を実行すべきかを定義したものであって、クリック操作やタップ操作、キー入力などの自動操作の内容や、自動操作の対象を特定する情報を含んでいる。操作定義データは、予めユーザーによって準備され、記憶部１２内に格納されてよい。

特に本実施形態において、操作定義データは、対象プログラムによって表示装置１４の画面に表示されると想定される所定の表示要素Ｄに対して、所定の操作入力を行う自動操作の定義を含んでいる。この場合における自動操作は、クリック操作やタップ操作など、画面内の位置を指定する操作であって、表示要素Ｄは、操作ボタンやアイコンなど、操作の対象となるオブジェクトを含んでいる。なお、表示要素Ｄは、操作の対象となるオブジェクトだけでなく、その周囲に配置されるラベルなど、後述する対象領域特定部２３が検出対象とすべき各種の要素を含んでよい。さらに操作定義データは、自動操作の対象を特定する情報として、表示要素Ｄの外観を示すテンプレート画像ＴＩを含むものとする。図３は、このようなテンプレート画像ＴＩを含む操作定義データの一例を示している。

ここで、表示要素Ｄが画面内のどこに表示されるかは、対象プログラムが表示対象とするデータ項目やフォントサイズなどの表示設定により変わる可能性がある。また、画面内に表示されている情報をスクロールさせることが可能な場合など、ユーザーの操作によっても表示要素Ｄの表示位置は変化する可能性がある。そこで本実施形態では、自動操作実行部２２からの要求に応じて、対象領域特定部２３が自動操作の対象とすべき領域（対象領域）を特定する。この対象領域は、表示要素Ｄが表示されていると判定される領域である。自動操作実行部２２は、対象領域特定部２３が特定した対象領域を指定して、操作定義データによって定義されたクリック操作などの自動動作を実行する。これにより自動操作実行部２２は、画面上に表示される特定の操作ボタンを押下したり、特定のメニュー項目を選択したりといった操作を自動的に実行することができる。

さらに、表示要素Ｄの外観は、時間とともに変化する場合もある。例えば表示要素Ｄの全体や一部が点滅したり、回転したり、エフェクトが重ねて表示されるなどのアニメーションが表示されることがある。このような場合、静止画像であるテンプレート画像ＴＩとある瞬間に対象プログラムが表示する表示画像に含まれる表示要素Ｄの外観とは、一致しない可能性がある。そこで本実施形態において対象領域特定部２３は、後述するように、時間的に連続して表示される複数のフレーム画像ＦＩのそれぞれを対象として、テンプレート画像ＴＩを用いたマッチング処理を実行して、対象領域を検出する。

なお、対象領域特定部２３は、対象プログラムとは独立したプログラムによって実現される。このプログラムは、自動操作実行部２２を実現する自動操作プログラムの一部であってもよいし、これとは独立したプログラムであってもよい。いずれにせよ、自動操作実行部２２、及び対象領域特定部２３が対象プログラムとは独立したプログラムによって実現され、対象プログラムによって表示装置１４の画面に表示される表示画像を解析して自動操作を実行する。これにより、対象プログラム自体は自動操作に必要な機能を備える必要がなく、通常のユーザーの操作によって動作することを想定した対象プログラムを改変せずに自動操作を実行することができる。

以下、対象領域特定部２３が自動操作の対象となる対象領域を特定する処理の内容について、詳細に説明する。

フレーム画像取得部２３ａは、対象プログラムによって表示装置１４の画面内に表示される表示画像の画像データを取得する。対象プログラムによって表示される表示画像は、前述したように所定のフレームレートで更新される動画像となる。そこでフレーム画像取得部２３ａは、この動画像を構成する、時間的に連続する複数のフレーム画像ＦＩを順に取得する。

なお、フレーム画像取得部２３ａは、後述する対象領域の特定が完了するまで、フレーム画像ＦＩの取得を継続してもよい。あるいは、予め定められた数のフレーム画像ＦＩを取得することとし、予め定められた数のフレーム画像ＦＩを取得し終えた後は対象領域の特定処理を終了することとしてもよい。

対象領域特定部２３は、フレーム画像取得部２３ａによって取得された複数のフレーム画像ＦＩのそれぞれに対して、テンプレート画像ＴＩとマッチする領域を検出するマッチング処理を実行する。そして、複数のフレーム画像ＦＩのいずれかからテンプレート画像ＴＩとマッチする領域が検出された場合、その領域を表示要素Ｄが含まれる対象領域として特定する。ここでのマッチング処理は、テンプレート画像ＴＩと所与の基準以上で類似する領域を対象領域として特定する処理であって、対象領域内の画像はテンプレート画像ＴＩと完全に一致する必要はない。

このマッチング処理は、簡略化画像生成部２３ｂ、第１マッチング処理部２３ｃ、及び第２マッチング処理部２３ｄによって実現される。このように複数のフレーム画像ＦＩのそれぞれを対象としてマッチング処理を行うことで、対象領域特定部２３は、対象プログラムが表示する動画像の中から、時間的に変化する表示要素Ｄが表示されている領域を特定することができる。

簡略化画像生成部２３ｂは、フレーム画像取得部２３ａが取得した複数のフレーム画像ＦＩのそれぞれを元画像として、当該元画像を簡略化した簡略化画像ＲＩを生成する。簡略化画像ＲＩは、元画像を縮小して得られる縮小画像であってよい。また、元画像をグレースケール化するなど、色情報を低減させた画像であってもよい。さらに、縮小及び色情報の低減の双方を実施した画像であってもよい。いずれの場合にも、簡略化画像ＲＩは元画像よりもデータ量の少ない画像となり、元画像と比較して後述するマッチング処理を高速に実行可能な画像となる。なお、簡略化画像生成部２３ｂは、自動操作実行部２２から提供されるテンプレート画像ＴＩについても、元画像を簡略化画像ＲＩに変換するのと同様の画像処理を実行し、簡略化テンプレート画像ＲＴを生成する。

第１マッチング処理部２３ｃは、簡略化画像生成部２３ｂが生成した簡略化画像ＲＩに対して第１マッチング処理を実行する。この第１マッチング処理は、簡略化画像ＲＩの中から、テンプレート画像ＴＩとマッチする領域を検出する処理である。第１マッチング処理部２３ｃは、前述した簡略化テンプレート画像ＲＴを用いて簡略化画像ＲＩとのマッチング処理を実行する。簡略化画像ＲＩはデータ量が少なくなっているので、元画像に対してマッチング処理を実行する場合よりも高速に第１マッチング処理を実行することができる。

第１マッチング処理部２３ｃは、公知のアルゴリズムを用いてマッチング処理を実行してよい。具体的に第１マッチング処理部２３ｃは、簡略化画像ＲＩ内の一部の検査領域を対象として、その検査領域内の部分画像と簡略化テンプレート画像ＲＴとの一致度を評価する処理を、検査領域を移動させながら繰り返す。そして、簡略化テンプレート画像ＲＴとの一致度が所定の閾値以上となる部分領域を、対象領域の候補となる候補領域として特定する。なお、第１マッチング処理部２３ｃは一つの簡略化画像ＲＩの中から複数の部分領域を候補領域として特定してもよい。

第２マッチング処理部２３ｄは、第１マッチング処理部２３ｃによって検出された候補領域と対応する元画像内の領域に対して、テンプレート画像ＴＩとの一致度を評価する第２マッチング処理を実行する。この第２マッチング処理は、候補領域が本当にテンプレート画像ＴＩと一致するかを評価する処理であって、簡略化されていないフレーム画像ＦＩ（元画像）とテンプレート画像ＴＩを用いてマッチングを行うことで、第１マッチング処理と比較して高い精度で一致度を評価することができる。また、第２マッチング処理は候補領域のみを対象として実行されるので、フレーム画像ＦＩ全体について同様のマッチング処理を行う場合と比較して、所要時間を短縮できる。

この第２マッチング処理の実行結果に基づいて、第２マッチング処理部２３ｄは表示要素Ｄが表示されている対象領域を特定し、特定された対象領域のフレームが像内における位置の情報を自動操作実行部２２に対して通知する。例えば第２マッチング処理部２３ｄは、所定の閾値以上の一致度でテンプレート画像ＴＩと一致すると評価された候補領域を、対象領域として特定する。

なお、第２マッチング処理部２３ｄは、複数のフレーム画像ＦＩの全てについて対象領域を特定する必要はなく、少なくとも一つのフレーム画像ＦＩの中から対象領域を特定できれば、その対象領域の位置に表示要素Ｄが表示されていると判定してよい。前述したように表示要素Ｄの外観が時間とともに変化している場合、フレーム画像取得部２３ａが取得する複数のフレーム画像ＦＩのうち、一部のフレーム画像ＦＩのみにテンプレート画像ＴＩとマッチする領域が含まれ、その他のフレーム画像ＦＩにはテンプレート画像ＴＩとマッチする領域が存在しないことがあり得る。そこで第２マッチング処理部２３ｄは、一つのフレーム画像ＦＩから所定の閾値以上の一致度でテンプレート画像ＴＩと一致する領域が見つかれば、その領域を対象領域として特定してもよい。あるいは、複数のフレーム画像ＦＩのうち、同じ位置に対象領域が存在すると判定されたフレーム画像ＦＩが所定数、あるいは所定割合以上になった場合に、その位置を表示要素Ｄが含まれる対象領域として特定し、自動操作実行部２２に通知することとしてもよい。

このように連続する複数のフレーム画像ＦＩをマッチング処理の対象とし、そのうちの一部のフレーム画像ＦＩのみテンプレート画像ＴＩとマッチする領域が特定されればその領域を表示要素Ｄが含まれる対象領域として特定することで、マッチング処理における一致度の評価基準として高い基準を要求することができ、誤検出のおそれを低減することができる。

なお、フレーム画像取得部２３ａは、対象領域を特定するために取得するフレーム画像ＦＩの数を、検出対象とする表示要素Ｄの種類に応じて変化させてもよい。例えば検出対象の表示要素Ｄの外観が所定のサイクル（繰り返し周期）で繰り返し変化する場合、１回のサイクルに相当する数のフレーム画像ＦＩをマッチング処理の対象とすれば、その中に一つ以上テンプレート画像ＴＩと高い一致度で一致する領域を含むフレーム画像ＦＩが存在することを期待できる。そのためフレーム画像取得部２３ａは、繰り返し周期に応じて決定される数のフレーム画像ＦＩを取得すればよい。

具体的にフレーム画像取得部２３ａが取得するフレーム画像の数は、自動操作実行部２２によって指定されてもよい。図３の例では、自動操作の内容、及びテンプレート画像ＴＩに対応付けて、取得対象とするフレーム画像の数が指定されている。ここでは、６０ｆｐｓのフレームレートで表示装置１４の画面が更新されることとし、表示要素Ｄが１秒サイクルで繰り返しアニメーションすると仮定している。そのため、この自動操作には取得対象とするフレーム画像の数として１秒間のフレーム画像数６０が対応付けられている。例えば別の表示要素Ｄが１．５秒サイクルで繰り返し変化する場合、操作定義データ内においてその表示要素Ｄにはフレーム画像数９０が対応付けられることとなる。

なお、ここでは検出対象とされる複数種類の表示要素Ｄのそれぞれに対応付けて取得対象のフレーム画像数が対応付けられることとしたが、検出対象の表示要素Ｄにはその表示要素Ｄの繰り返し周期が対応付けられて記憶されることとしてもよい。この場合、フレーム画像取得部２３ａが、検出対象となる表示要素Ｄに対応付けられた繰り返し周期の長さと、フレームレートとを用いて取得対象のフレーム画像数を算出する。

また、自動操作実行部２２が複数種類の対象プログラムを自動操作の対象とする場合、取得対象のフレーム画像数は、検出対象の表示要素Ｄごとではなく、対象プログラムの種類ごとに予め定められることとしてもよい。この場合、自動操作実行部２２は、自動操作の対象としている対象プログラムの種類に応じて、取得対象のフレーム画像数を対象領域特定部２３に指定すればよい。

以下、本実施形態において対象領域特定部２３が実行する処理の流れの一例について、図４のフロー図を用いて説明する。

対象プログラムの実行中に自動操作を実行すべきタイミングが到来した場合、自動操作実行部２２は、実行すべき自動操作の対象となる表示要素Ｄの外観を示すテンプレート画像ＴＩ、及び取得対象となるフレーム画像数を操作定義データから読み出して、対象領域特定部２３に対して対象領域の特定を要求する。対象領域特定部２３は、この対象領域の特定要求を受け付けると（Ｓ１）、まずＳ１で指定されたテンプレート画像ＴＩに基づいて簡略化テンプレート画像ＲＴを生成する（Ｓ２）。

その後、フレーム画像取得部２３ａがその時点で表示装置１４に表示中のフレーム画像ＦＩを取得する（Ｓ３）。フレーム画像ＦＩをフレーム画像取得部２３ａが取得すると、簡略化画像生成部２３ｂがＳ３で取得したフレーム画像ＦＩを縮小するなどして簡略化画像ＲＩを生成する（Ｓ４）。

次に第１マッチング処理部２３ｃが、Ｓ４で生成された簡略化画像ＲＩとＳ２で生成された簡略化テンプレート画像ＲＴを用いて、第１マッチング処理を実行する（Ｓ５）。続いて第２マッチング処理部２３ｄが、Ｓ５で特定された候補領域について、Ｓ３で取得されたフレーム画像ＦＩ内の候補領域の画像とＳ１で指定されたテンプレート画像ＴＩの一致度を評価する第２マッチング処理を実行する（Ｓ６）。

Ｓ６の第２マッチング処理を終えると対象領域特定部２３は、この第２マッチング処理によって対象領域を特定できたか否かを判定する（Ｓ７）。具体的に、第２マッチング処理によって所定の閾値以上の高い一致度でテンプレート画像ＴＩと一致すると評価される候補領域が見つかった場合、対象領域特定部２３はその時点で見つかった候補領域を対象領域として特定する。この場合対象領域特定部２３は、特定された対象領域の位置を示す情報を自動操作実行部２２に通知する（Ｓ８）。これにより対象領域特定部２３によるマッチング処理は終了し、自動操作実行部２２は通知された位置を対象として予め定められた自動操作（クリック操作等）を実行する。

一方、Ｓ７で対象領域を特定できなかったと判定された場合、対象領域特定部２３はＳ１で指定された数のフレーム画像ＦＩについてマッチング処理を実行したか判定する（Ｓ９）。もし指定された数のフレーム画像ＦＩがフレーム画像取得部２３ａによって取得され、その全てについてマッチング処理を実行し終えている場合、対象領域特定部２３は指定された表示要素Ｄを含む対象領域の特定に失敗したと判断し、その旨を自動操作実行部２２に通知して処理を終了する（Ｓ１０）。対象領域の特定に失敗した旨の通知を受けた自動操作実行部２２は、例えば所定のエラーメッセージを出力して自動操作を中断したり、別の自動操作を試行したりするなど、予め定められたエラー処理を実行することになる。

Ｓ９でまだ指定された数のフレーム画像ＦＩについてマッチング処理を完了していないと判定された場合、対象領域特定部２３はＳ３に戻って次に表示装置１４の画面に表示される新たなフレーム画像ＦＩを対象として、これまで説明したマッチング処理を実行する。これにより対象領域特定部２３は、表示要素Ｄを含む対象領域が特定されるか、又は指定された数のフレーム画像ＦＩについてマッチング処理を実行し終えるまで、順次表示されるフレーム画像ＦＩを対象にマッチング処理を繰り返すことになる。そのため、指定された数のフレーム画像ＦＩが表示される時間の間に変化する動画像の中から、検出対象の表示要素Ｄが表示される対象領域を特定することができる。

以上説明したように、本実施形態に係る情報処理装置１によれば、対象プログラムによって表示される表示画像の中から、時間とともに変化する表示要素Ｄを精度よく検出することができる。これにより、対象プログラムを改変することなく対象プログラムに対する自動操作を実行したりすることができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明におけるマッチング処理の流れは一例に過ぎず、これとは異なる手順で複数のフレーム画像ＦＩの中から対象領域を特定してもよい。

また、以上の説明では検出対象となる表示要素Ｄの外観を示すテンプレート画像ＴＩ、及び当該表示要素Ｄを検出するために取得対象とするフレーム画像の数が操作定義データに予め記録されることとした。これに限らず操作定義データには、簡略化テンプレート画像ＲＴがテンプレート画像ＴＩとともに予め記録されてもよい。また、操作定義データにはマッチング処理の対象とするフレーム画像ＦＩ内の領域を指定する情報が含まれてもよい。例えば検出対象の表示要素Ｄがフレーム画像ＦＩ内の一部の領域のみに表示されることが想定される場合、その一部の領域のみをマッチング処理の対象とすることで、処理負荷を軽減し、マッチング処理に要する時間を短縮することができる。そこで検出対象とする複数種類の表示要素Ｄのそれぞれに対して、その表示要素Ｄが表示されると想定される領域を指定する情報が予め定義され、対象領域の特定時に対象領域特定部２３に対して指定されてもよい。

１ 情報処理装置、１１ 制御部、１２ 記憶部、１３ インタフェース部、１４ 表示装置、１５ 操作デバイス、２１ 対象プログラム実行部、２２ 自動操作実行部、２３ 対象領域特定部、２３ａ フレーム画像取得部、２３ｂ 簡略化画像生成部、２３ｃ 第１マッチング処理部、２３ｄ 第２マッチング処理部。

Claims (5)

1. 画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得するフレーム画像取得部と、
   前記取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行するマッチング処理部と、
   を含み、
   前記複数のフレーム画像に対する前記マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定される
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記マッチング処理部は、
   前記取得された複数のフレーム画像のそれぞれを元画像として、当該元画像を簡略化した簡略化画像を生成する簡略化画像生成部と、
   前記生成された簡略化画像の中から、前記テンプレート画像とマッチする領域を検出する第１マッチング処理を実行する第１マッチング処理部と、
   前記第１マッチング処理によって検出された前記簡略化画像内の領域と対応する前記元画像内の領域に対して、前記テンプレート画像との一致度を評価する第２マッチング処理を実行する第２マッチング処理部と、
   をさらに含み、
   前記第２マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定される
   ことを特徴とする情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記マッチング処理部は、複数種類の表示要素のいずれかを検出対象とし、
   前記フレーム画像取得部は、前記複数種類の表示要素のうち検出対象となる表示要素に応じて定められる数の連続するフレーム画像を、当該検出対象となる表示要素を検出する前記マッチング処理のために取得する
   ことを特徴とする情報処理装置。
4. 画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得するステップと、
   前記取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行するステップと、
   を含み、
   前記複数のフレーム画像に対する前記マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定される
   ことを特徴とする情報処理方法。
5. 画面内に表示される動画像を構成する、連続する複数のフレーム画像を取得するステップと、
   前記取得された複数のフレーム画像のそれぞれに対して、検出対象となる表示要素の外観を示すテンプレート画像とマッチする領域を検出するマッチング処理を実行するステップと、
   を含み、
   前記複数のフレーム画像に対する前記マッチング処理の実行結果に基づいて、前記画面内において前記表示要素が表示されている領域が特定される
   ことを特徴とするプログラム。

Images