JP2020173680A - 電子機器及び画像判断プログラム - Google Patents

Abstract

【課題】電子機器が不具合の無い画像を表示する。【解決手段】制御回路は、画像表示プログラムを実行することにより、入力装置に対してユーザーから入力された第１の入力情報に応じて作成した画像である第１の画像を作成して表示装置に表示し、記憶装置は、複数組の、制御回路が画像表示プログラムを過去に実行したことにより検出した入力情報である第２の入力情報と、第２の入力情報に応じて作成した画像である第２の画像とを、互いに関連付けて記憶し、制御回路は、画像判断プログラムを実行することにより、第１の入力情報及び第１の画像を取得し、記憶装置から、第１の入力情報と同じ第２の入力情報を検出し、第１の入力情報に応じて作成された第１の画像と、記憶装置から検出した第２の入力情報に関連付けられた第２の画像との類似度を判断し、第１の画像と第２の画像との類似度が閾値未満である場合、類似度が閾値未満であることを示す結果を出力する。【選択図】図４

Description

本発明は、入力情報に応じて画像を表示する画像表示プログラムを実行する電子機器に関する。本発明は、さらに、電子機器が実行する画像判断プログラムに関する。

入力情報に応じて画像を表示する画像表示プログラムを実行する電子機器（例えば、画像形成装置）が知られている。

特開２０１３−２０５８４７号公報

電子機器が不具合の無い画像（所謂、画面崩れの無い画像）を表示することが望ましい。

本発明の一形態に係る電子機器は、
制御回路と、
記憶装置と
を具備し、
前記制御回路は、画像表示プログラムを実行することにより、
入力装置に対してユーザーから入力された情報である第１の入力情報を検出し、
前記第１の入力情報に応じて作成した画像である第１の画像を作成して表示装置に表示し、
前記記憶装置は、
複数組の、前記制御回路が前記画像表示プログラムを過去に実行したことにより検出した入力情報である第２の入力情報と、前記第２の入力情報に応じて作成した画像である第２の画像とを、互いに関連付けて記憶し、
前記制御回路は、画像判断プログラムを実行することにより、
前記第１の入力情報及び前記第１の画像を取得し、
前記記憶装置から、前記第１の入力情報と同じ第２の入力情報を検出し、
前記第１の入力情報に応じて作成された前記第１の画像と、前記記憶装置から検出した前記第２の入力情報に関連付けられた第２の画像との類似度を判断し、
前記第１の画像と前記第２の画像との前記類似度が閾値未満である場合、前記類似度が前記閾値未満であることを示す結果を出力する。

（１）本実施形態によれば、電子機器は、類似度が閾値未満であることを判断することで、共通の入力情報（第１の入力情報、第２の入力情報）に応じて作成及び表示されたにも拘らず、第１の画像と第２の画像との差異が大きいことを判断できる。これにより、電子機器は、第１の画像と第２の画像との少なくともいずれか一方が、期待される画像でない（画像表示プログラムに従って本来表示されることが期待される画像との差異が許容範囲外である）ことを判断できる。

前記制御回路は、前記画像判断プログラムを実行することにより、
前記記憶装置から、前記第１の入力情報と同じ前記第２の入力情報を検出し、
前記第１の画像と前記第２の画像との前記類似度が前記閾値以上である場合、前記第１の入力情報と前記第１の画像とを互いに関連付けて前記記憶装置に記憶する。

（２）本実施形態によれば、電子機器は、類似度が閾値以上であることを判断することで、共通の入力情報（第１の入力情報、第２の入力情報）に応じて作成及び表示された第１の画像と第２の画像との差異が無い又は小さいことを判断できる。これにより、電子機器は、第１の画像と第２の画像との両方が、期待される画像である可能性が高いことを判断できる。

前記制御回路は、前記画像判断プログラムを実行することにより、
前記記憶装置から、前記第１の入力情報と同じ第２の入力情報を検出しない場合、前記第１の入力情報と前記第１の画像とを互いに関連付けて前記記憶装置に記憶する。

（３）本実施形態によれば、電子機器に初めて入力された第１の入力情報と、第１の入力情報に応じて作成及び表示された第１の画像との組が、ログデータとして記憶装置に蓄積される。

前記制御回路は、前記画像判断プログラムを実行することにより、
前記記憶装置から、前記第１の入力情報と同じ前記第２の入力情報を検出し、
前記第１の画像と前記第２の画像との前記類似度が前記閾値以上であり、
前記記憶装置から、前記第１の入力情報に連続して入力された別の第１の入力情報と同じ第２の入力情報を検出しない場合、前記別の第１の入力情報と、前記別の第１の入力情報に応じて作成した画像である別の第１の画像とを互いに関連付けて前記記憶装置に記憶する。

（４）本実施形態によれば、電子機器に初めて入力された部分である別の第１の入力情報と、別の第１の入力情報に応じて作成及び表示された第１の画像との組が、ログデータとして記憶装置に蓄積される。

前記画像表示プログラムは、拡張アプリケーションプログラムである。。

（５）本実施形態によれば、同一の入力情報に応じて作成される画像の類似度を判断することにより、エラーと定義されていない画面崩れを判断できる。

本発明の一形態に係る画像判断プログラムは、
画像表示プログラムを実行することにより、
入力装置に対してユーザーから入力された情報である第１の入力情報を検出し、
前記第１の入力情報に応じて作成した画像である第１の画像を作成して表示装置に表示する
制御回路
を有する電子機器の前記制御回路を、
前記第１の入力情報及び前記第１の画像を取得し、
複数組の、前記制御回路が前記画像表示プログラムを過去に実行したことにより検出した入力情報である第２の入力情報と、前記第２の入力情報に応じて作成した画像である第２の画像とを、互いに関連付けて記憶する記憶装置から、前記第１の入力情報と同じ第２の入力情報を検出し、
前記第１の入力情報に応じて作成された前記第１の画像と、前記記憶装置から検出した前記第２の入力情報に関連付けられた第２の画像との類似度を判断し、
前記第１の画像と前記第２の画像との前記類似度が閾値未満である場合、前記類似度が前記閾値未満であることを示す結果を出力する
よう動作させる。

本発明によれば、電子機器が不具合の無い画像（所謂、画面崩れの無い画像）を表示することを図ることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本発明中に記載されたいずれかの効果であってもよい。

本発明の一実施形態に係る電子機器のハードウェア構成を示す。 電子機器の機能的構成を示す。 電子機器が画像表示プログラムを実行するときの動作フローを示す。 電子機器が画像判断プログラムを実行するときの動作フローを示す。

以下、図面を参照しながら、本発明の実施形態を説明する。

１．電子機器のハードウェア構成

図１は、本発明の一実施形態に係る電子機器のハードウェア構成を示す。

本実施形態では、電子機器１０として画像形成装置（Multifunction Peripheral）を例に説明する。電子機器１０は、制御回路１００を備える。制御回路１００は、プロセッサーであるＣＰＵ１１ａ（Central Processing Unit）、ＲＡＭ１１ｂ（Random Access Memory）、メモリーであるＲＯＭ１１ｃ（Read Only Memory）及び専用のハードウェア回路等から構成され、画像形成装置１０の全体的な動作制御を司る。ＣＰＵ１１ａは、ＲＯＭ１１ｃが記憶する情報処理プログラムをＲＡＭ１１ｂにロードして実行する。ＲＯＭ１１ｃは、ＣＰＵ１１ａが実行するプログラムやデータなどを固定的に記憶する。ＲＯＭ１１ｃは、非一過性のコンピューター読み取り可能な記録媒体の一例である。

制御回路１００は、画像読取部１２（イメージスキャナー）、画像処理部１４（ＧＰＵ（Graphics Processing Unit）を含む）、画像メモリー１５、画像形成部１６（プリンター）、表示部１７ａを備える操作部１７（タッチパネル）、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量の不揮発性の記憶装置１８、ファクシミリ通信部１９及びネットワーク通信インターフェース１３等と接続されている。制御回路１００は、接続されている上記各部の動作制御や、各部との間での信号又はデータの送受信を行う。

２．電子機器の機能的構成

図２は、電子機器の機能的構成を示す。

電子機器１０の制御回路１００において、ＣＰＵ１１ａは、ＲＯＭ１１ｃが記憶する情報処理プログラム（画像表示プログラム１１０、画像判断プログラム１２０）をＲＡＭ１１ｂにロードして実行する。

画像表示プログラム１１０は、典型的には、所謂、拡張アプリケーションプログラムである。画像表示プログラム１１０は、例えば、電子機器１０のベンダーとは異なるサードベンダーにより提供され、電子機器１０の出荷後にエンドユーザーの任意でダウンロードされる。しかしながら、画像表示プログラム１１０は、操作部１７（入力装置）に対してユーザーから入力された情報に応じて画像を作成して表示部１７ａ（表示装置）に表示するなら、如何なる情報処理プログラムでもよい。

電子機器１０の制御回路１００において、ＣＰＵ１１ａは、画像表示プログラム１１０を実行することにより、操作検出部１１１及び画像表示部１１２として動作する。

電子機器１０の制御回路１００において、ＣＰＵ１１ａは、画像判断プログラム１２０を実行することにより、ログデータ保存部１２１、ログデータ比較部１２２及びエラー処理部１２３として動作する。

記憶装置１８は、複数組の、第２の入力情報２０１及び第２の画像２０２を、互いに関連付けて記憶する。

第２の入力情報２０１は、制御回路１００が画像表示プログラム１１０を過去に実行したことにより検出した入力情報である。入力情報は、操作部１７（入力装置）に対してユーザーから入力された情報である。要するに、第２の入力情報２０１は、過去の操作ログデータである。

第２の画像２０２は、制御回路１００が画像表示プログラム１１０を過去に実行したことにより、それぞれの第２の入力情報２０１に応じて作成され表示部１７ａ（表示装置）に表示された画像である。

要するに、記憶装置１８は、制御回路１００が画像表示プログラム１１０を過去に実行したことにより、ユーザーから入力された第２の入力情報２０１と、この第２の入力情報２０１に応じて作成及び表示された第２の画像２０２とを、互いに関連付けて複数組記憶する。

場合によっては、制御回路１００が画像表示プログラム１１０を実行することにより、一連の（連続する）複数の第２の入力情報２０１が入力され、この一連の（連続する）複数の第２の入力情報２０１に応じて一連の（連続する）複数の第２の画像２０２が作成及び表示される。この場合、記憶装置１８は、一連の、複数組の第２の入力情報２０１及び第２の画像２０２を、一連のログデータ２１０として記憶する。すなわち、記憶装置１８は、複数の一連のログデータ２１０を蓄積する。

３．電子機器が画像表示プログラムを実行するときの動作フロー

図３は、電子機器が画像表示プログラムを実行するときの動作フローを示す。

操作検出部１１１は、操作部１７（入力装置）に対してユーザーから入力された情報（第１の入力情報）を検出する。操作検出部１１１は、画像表示部１１２に、検出した第１の入力情報を供給する（ステップＳ１０１）。

画像表示部１１２は、第１の入力情報に応じて画像（第１の画像）を作成し、表示部１７ａ（表示装置）に表示する（ステップＳ１０２）。

操作検出部１１１は、所定時間内に（タイムアウトになる前に）、第１の入力情報（ステップＳ１０１）に連続して入力された別の第１の入力情報を検出すると、画像表示部１１２に、検出した別の第１の入力情報を供給する（ステップＳ１０３、ＹＥＳ）。画像表示部１１２は、別の第１の入力情報に応じて別の第１の画像を作成し、表示部１７ａに表示する（ステップＳ１０２）。制御回路１００は、画像表示プログラム１１０を実行することにより、入力情報の検出と、画像の作成及び表示とを、タイムアウトになるまで繰り返す（ステップＳ１０３、ＮＯ）。

４．電子機器が画像判断プログラムを実行するときの動作フロー

図４は、電子機器が画像判断プログラムを実行するときの動作フローを示す。

ログデータ保存部１２１は、操作検出部１１１が検出した第１の入力情報（ステップＳ１０１）を取得する（ステップＳ２０１）。ログデータ保存部１２１は、画像表示部１１２が作成及び表示した第１の画像（ステップＳ１０２）を取得する（ステップＳ２０２）。ログデータ保存部１２１は、取得した第１の入力情報１０１及び第１の画像１０２を、互いに関連付けてＲＡＭ１１ｂに書き込む（ステップＳ２０３）。

ログデータ比較部１２２は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出（検索）する（ステップＳ２０４）。以下、（１）第１の入力情報１０１と同じ第２の入力情報２０１が検出されないケース（ステップＳ２０５、ＮＯ）と、（２）第１の入力情報１０１と同じ第２の入力情報２０１が検出されるケース（ステップＳ２０５、ＹＥＳ）とに場合分けして説明する。

（１）第１の入力情報１０１と同じ第２の入力情報２０１が検出されないケース（ステップＳ２０５、ＮＯ）

ログデータ比較部１２２は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出しない（ステップＳ２０５、ＮＯ）。言い換えれば、今回の第１の入力情報１０１は、記憶装置１８に記憶されておらず、電子機器１０に初めて入力された入力情報である。

この場合、ログデータ保存部１２１は、第１の入力情報（ステップＳ１０１）に連続して入力される別の第１の入力情報の有無を判断する（ステップＳ２０６）。ログデータ保存部１２１は、別の第１の入力情報を所定時間内に取得しなければ（タイムアウト）（ステップＳ２０７、ＮＯ）、ＲＡＭ１１ｂに書き込んだ第１の入力情報１０１及び第１の画像１０２を（ステップＳ２０３）、互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、電子機器１０に初めて入力された第１の入力情報１０１と、第１の入力情報に応じて作成及び表示された第１の画像１０２との組が、ログデータとして記憶装置１８に蓄積される。

一方、ログデータ保存部１２１は、第１の入力情報１０１（ステップＳ１０１）に連続して入力された別の第１の入力情報１０１Ａを取得する（ステップＳ２０７、ＹＥＳ）。ログデータ保存部１２１は、この別の第１の入力情報１０１Ａに応じて作成された別の第１の画像１０２Ａを取得する（ステップＳ２０２）。ログデータ保存部１２１は、取得した別の第１の入力情報１０１Ａ及び別の第１の画像１０２Ａを、互いに関連付けてＲＡＭ１１ｂに書き込む（ステップＳ２０３）。

ログデータ比較部１２２は、先に、第１の入力情報１０１と同じ第２の入力情報２０１を検出しなかったため（ステップＳ２０５、ＮＯ）、第１の入力情報１０１に連続して入力された別の第１の入力情報１０１Ａと同じ第２の入力情報２０１を検出することは無い（ステップＳ２０５、ＮＯ）。言い換えれば、ログデータ比較部１２２は、連続する第１の入力情報１０１、１０１Ａをこの順で記憶する一連のログデータ２１０を検出する。従って、第１の入力情報１０１が、一度でも、一連のログデータ２１０に含まれる第２の入力情報２０１と異なれば、その後全て、ログデータ比較部１２２は、同じ第２の入力情報２０１を検出しない（ステップＳ２０５、ＮＯ）

この場合、ログデータ保存部１２１は、タイムアウト（ステップＳ２０７、ＮＯ）までにＲＡＭ１１ｂに書き込んだ一連の第１の入力情報１０１、１０１Ａ及び一連の第１の画像１０２、１０２Ａを（ステップＳ２０３）、互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、電子機器１０に初めて入力された一連の第１の入力情報１０１、１０１Ａと、一連の第１の入力情報１０１、１０１Ａに応じて作成及び表示された一連の第１の画像１０２、１０２Ａとの組が、一連のログデータ２１０として記憶装置１８に蓄積される。

（２）第１の入力情報１０１と同じ第２の入力情報２０１が検出されるケース（ステップＳ２０５、ＹＥＳ）

ログデータ比較部１２２は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出する（ステップＳ２０５、ＹＥＳ）。言い換えれば、今回の第１の入力情報１０１は、記憶装置１８に記憶されており、過去にも電子機器１０に入力されたことのある入力情報である。

この場合、ログデータ比較部１２２は、検出した第２の入力情報２０１（ステップＳ２０５、ＹＥＳ）に関連付けられた第２の画像２０２を、記憶装置１８から読み出す。ログデータ比較部１２２は、第１の入力情報１０１に応じて作成された第１の画像１０２と、読み出した第２の画像２０２とをマッチングする。具体的には、ログデータ比較部１２２は、第１の画像１０２と第２の画像２０２との類似度が閾値以上であるか否かを判断する（ステップＳ２０９）。類似度は、画像中の一致量を示す値である。閾値は、例えば、画像表示プログラム１１０に従って本来表示されることが期待される画像と異なっても許容される（不具合があるとは言えない）限界値でよい。許容される限界値の一例は、例えば、文字の可読性に問題が無い限界値、ボタンとして操作されるＧＵＩの操作性に問題が無い限界値、等でよい。閾値は、具体的には、５０〜８０％程度でよい。

ログデータ比較部１２２は、第１の画像１０２と第２の画像２０２との類似度が閾値未満と判断する（ステップＳ２１０、ＮＯ）。類似度が閾値未満とは、共通の入力情報（第１の入力情報１０１、第２の入力情報２０１）に応じて作成及び表示されたにも拘らず、第１の画像１０２と第２の画像２０２との差異が大きいことを意味する。この状態は、第１の画像１０２と第２の画像２０２との少なくともいずれか一方が、期待される画像でない（画像表示プログラム１１０に従って本来表示されることが期待される画像との差異が許容範囲外である不具合状態）ことを意味する。

エラー処理部１２３は、第１の画像１０２と第２の画像２０２との類似度が閾値未満の場合（ステップＳ２１０、ＮＯ）、連続して入力される入力情報の有無（ステップＳ２０７）に拘わらず、直ちに、エラー処理を行う（ステップＳ２１１）。例えば、エラー処理部１２３は、第１の画像１０２と第２の画像２０２との類似度が閾値未満であることを示す結果を出力する。具体的には、エラー処理部１２３は、この結果を、電子機器１０のベンダー側の開発者が使用するパーソナルコンピューター（図示せず）に通知すればよい。これにより、電子機器１０のベンダー側の開発者は、電子機器１０が画像表示プログラム１１０を実行するときに生じる画像の不具合（所謂、画面崩れ）を修正することができる。

一方、ログデータ比較部１２２は、第１の画像１０２と第２の画像２０２との類似度が閾値以上と判断する（ステップＳ２１０、ＹＥＳ）。類似度が閾値以上とは、共通の入力情報（第１の入力情報１０１、第２の入力情報２０１）に応じて作成及び表示された第１の画像１０２と第２の画像２０２との差異が無い又は小さいことを意味する。この状態は、第１の画像１０２と第２の画像２０２との両方が、期待される（不具合があるとは言えない）画像である可能性が高いことを意味する。

この場合、ログデータ保存部１２１は、第１の入力情報（ステップＳ１０１）に連続して入力される別の第１の入力情報を取得しなければ（ステップＳ２０７、ＮＯ）、ＲＡＭ１１ｂに書き込んだ第１の入力情報１０１及び第１の画像１０２を（ステップＳ２０３）、互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、第１の入力情報１０１と、第１の入力情報に応じて作成及び表示された第１の画像１０２との組が、ログデータとして記憶装置１８に蓄積される。第１の画像１０２は、期待される（不具合があるとは言えない）画像である可能性が高い。期待される画像である可能性が高い第１の画像１０２を蓄積しておき、期待される画像である可能性が高い第１の画像１０２を機械学習することで、将来的に、ログデータ比較部１２２のマッチングの正確性の向上を図れる。

一方、ログデータ比較部１２２が、第１の入力情報１０１に応じて施区政及び表示された第１の画像１０２と第２の画像２０２との類似度が閾値以上と判断し（ステップＳ２１０、ＹＥＳ）、その後、第１の入力情報１０１に連続して入力された別の第１の入力情報１０１Ａと同じ第２の入力情報２０１を検出しないとする（ステップＳ２０５、ＮＯ）。この場合、ログデータ保存部１２１は、別の第１の入力情報１０１Ａに応じて作成及び表示されたた別の第１の画像１０２Ａとを互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、電子機器１０に初めて入力された部分である別の第１の入力情報１０１Ａと、別の第１の入力情報１０１Ａに応じて作成及び表示された第１の画像１０２Ａとの組が、ログデータとして記憶装置１８に蓄積される。

５．変形例

本実施形態では、電子機器１０が、画像表示プログラム１１０及び画像判断プログラム１２０を実行し、ローカルの記憶装置１８に一連のログデータ２１０を記憶する。これに代えて、通信可能に接続された２個の電子機器が、それぞれ、画像表示プログラム１１０と、画像判断プログラム１２０とを実行してもよい。一連のログデータ２１０を記憶する記憶装置は、画像判断プログラム１２０を実行する電子機器と通信可能に接続された記憶装置でよい。

６．結語

電子機器が画像表示プログラムを実行して画像を表示するとき、本来表示されることが期待される画像との差異が許容範囲外である画像（所謂、画面崩れ）が表示される可能性がある。その原因は、例えば、ネットワーク環境が悪いため電子機器がサーバー装置から完全なデータを受信できないことや、電子機器にインストールされた複数のアプリケーションプログラムが相互に影響し合うこと等である。

そのような画像表示プログラムは、例えば、拡張アプリケーションプログラムである場合もある。拡張アプリケーションプログラムは、例えば、電子機器のベンダーとは異なるサードベンダーにより提供され、電子機器の出荷後にエンドユーザーの任意でダウンロードされる。

このような、エンドユーザーの任意でダウンロードされた拡張アプリケーションプログラム（画像表示プログラム）で画面崩れが発生する可能性は十分考えられる。しかしながら、電子機器を出荷前の、電子機器のソフトウェアの開発段階で、将来的にダウンロードされる拡張アプリケーションプログラム（画像表示プログラム）で発生し得る画面崩れをエラーとして定義することは困難である。画面崩れをエラーとして定義することは困難であるため、結果的に、画面崩れを検出するソフトウェアを開発することもまた困難である。

（１）以上のような事情に鑑み、本実施形態によれば、電子機器１０は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出し（ステップＳ２０５、ＹＥＳ）、第１の入力情報１０１に応じて作成された第１の画像１０２と、記憶装置１８から検出した第２の入力情報２０１に関連付けられた第２の画像２０２との類似度が閾値未満である場合（ステップＳ２１０、ＮＯ）、類似度が閾値未満であることを示す結果を出力する（ステップＳ２１１）。これにより、電子機器１０は、類似度が閾値未満であることを判断することで、共通の入力情報（第１の入力情報１０１、第２の入力情報２０１）に応じて作成及び表示されたにも拘らず、第１の画像１０２と第２の画像２０２との差異が大きいことを判断できる。言い換えれば、電子機器１０は、第１の画像１０２と第２の画像２０２との少なくともいずれか一方が、期待される画像でない（画像表示プログラム１１０に従って本来表示されることが期待される画像との差異が許容範囲外である）ことを判断できる。これにより、電子機器１０のベンダー側の開発者は、電子機器１０が画像表示プログラム１１０を実行するときに生じる画像の不具合（所謂、画面崩れ）を修正することができる。

（２）本実施形態によれば、電子機器１０は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出し（ステップＳ２０５、ＹＥＳ）、第１の画像１０２と第２の画像２０２との類似度が閾値以上である場合（ステップＳ２１０、ＹＥＳ）、第１の入力情報１０１と第１の画像１０２とを互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、電子機器１０は、類似度が閾値以上であることを判断することで、共通の入力情報（第１の入力情報１０１、第２の入力情報２０１）に応じて作成及び表示された第１の画像１０２と第２の画像２０２との差異が無い又は小さいことを判断できる。言い換えれば、電子機器１０は、第１の画像１０２と第２の画像２０２との両方が、期待される画像である可能性が高いことを判断できる。本実施形態によれば、期待される画像である可能性が高い第１の画像１０２を蓄積しておき、期待される画像である可能性が高い第１の画像１０２を機械学習することで、将来的に、ログデータ比較部１２２のマッチングの正確性の向上を図れる。

（３）本実施形態によれば、電子機器１０は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出しない場合（ステップＳ２０５、ＮＯ）、第１の入力情報１０１と第１の画像１０２とを互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、電子機器１０に初めて入力された第１の入力情報１０１と、第１の入力情報に応じて作成及び表示された第１の画像１０２との組が、ログデータとして記憶装置１８に蓄積される。

（４）本実施形態によれば、電子機器１０は、記憶装置１８から、第１の入力情報１０１と同じ第２の入力情報２０１を検出し（ステップＳ２０５、ＹＥＳ）、第１の画像１０２と第２の画像２０２との類似度が閾値以上であり（ステップＳ２１０、ＹＥＳ）、記憶装置１８から、第１の入力情報１０１に連続して入力された別の第１の入力情報１０１と同じ第２の入力情報２０１を検出しない場合（ステップＳ２０５、ＮＯ）、別の第１の入力情報１０１と、別の第１の入力情報１０１に応じて作成した画像である別の第１の画像１０２とを互いに関連付けて記憶装置１８に記憶する（ステップＳ２０８）。これにより、電子機器１０に初めて入力された部分である別の第１の入力情報１０１Ａと、別の第１の入力情報１０１Ａに応じて作成及び表示された第１の画像１０２Ａとの組が、ログデータとして記憶装置１８に蓄積される。

（５）本実施形態によれば、画像表示プログラム１１０は、拡張アプリケーションプログラムである。電子機器を出荷前の、電子機器のソフトウェアの開発段階で、将来的にダウンロードされる拡張アプリケーションプログラム（画像表示プログラム）で発生し得る画面崩れをエラーとして定義することは困難である。これに対して、本実施形態によれば、同一の入力情報に応じて作成される画像の類似度を判断することにより、エラーと定義されていない画面崩れを判断できる。これにより、迅速なエラー処理、電子機器１０の品質の向上、不具合の調査の効率化が図れる。

本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

電子機器１０
画像表示プログラム１１０
画像判断プログラム１２０
操作検出部１１１
画像表示部１１２
ログデータ保存部１２１
ログデータ比較部１２２
エラー処理部１２３

Claims (6)

1. 制御回路と、
   記憶装置と
   を具備し、
   前記制御回路は、画像表示プログラムを実行することにより、
   入力装置に対してユーザーから入力された情報である第１の入力情報を検出し、
   前記第１の入力情報に応じて作成した画像である第１の画像を作成して表示装置に表示し、
   前記記憶装置は、
   複数組の、前記制御回路が前記画像表示プログラムを過去に実行したことにより検出した入力情報である第２の入力情報と、前記第２の入力情報に応じて作成した画像である第２の画像とを、互いに関連付けて記憶し、
   前記制御回路は、画像判断プログラムを実行することにより、
   前記第１の入力情報及び前記第１の画像を取得し、
   前記記憶装置から、前記第１の入力情報と同じ第２の入力情報を検出し、
   前記第１の入力情報に応じて作成された前記第１の画像と、前記記憶装置から検出した前記第２の入力情報に関連付けられた第２の画像との類似度を判断し、
   前記第１の画像と前記第２の画像との前記類似度が閾値未満である場合、前記類似度が前記閾値未満であることを示す結果を出力する
   電子機器。
2. 請求項１に記載の電子機器であって、
   前記制御回路は、前記画像判断プログラムを実行することにより、
   前記記憶装置から、前記第１の入力情報と同じ前記第２の入力情報を検出し、
   前記第１の画像と前記第２の画像との前記類似度が前記閾値以上である場合、前記第１の入力情報と前記第１の画像とを互いに関連付けて前記記憶装置に記憶する
   電子機器。
3. 請求項１又は２に記載の電子機器であって、
   前記制御回路は、前記画像判断プログラムを実行することにより、
   前記記憶装置から、前記第１の入力情報と同じ第２の入力情報を検出しない場合、前記第１の入力情報と前記第１の画像とを互いに関連付けて前記記憶装置に記憶する
   電子機器。
4. 請求項１乃至３の何れか一項に記載の電子機器であって、
   前記制御回路は、前記画像判断プログラムを実行することにより、
   前記記憶装置から、前記第１の入力情報と同じ前記第２の入力情報を検出し、
   前記第１の画像と前記第２の画像との前記類似度が前記閾値以上であり、
   前記記憶装置から、前記第１の入力情報に連続して入力された別の第１の入力情報と同じ第２の入力情報を検出しない場合、前記別の第１の入力情報と、前記別の第１の入力情報に応じて作成した画像である別の第１の画像とを互いに関連付けて前記記憶装置に記憶する
   電子機器。
5. 請求項１乃至４の何れか一項に記載の電子機器であって、
   前記画像表示プログラムは、拡張アプリケーションプログラムである。
   電子機器。
6. 画像表示プログラムを実行することにより、
   入力装置に対してユーザーから入力された情報である第１の入力情報を検出し、
   前記第１の入力情報に応じて作成した画像である第１の画像を作成して表示装置に表示する
   制御回路
   を有する電子機器の前記制御回路を、
   前記第１の入力情報及び前記第１の画像を取得し、
   複数組の、前記制御回路が前記画像表示プログラムを過去に実行したことにより検出した入力情報である第２の入力情報と、前記第２の入力情報に応じて作成した画像である第２の画像とを、互いに関連付けて記憶する記憶装置から、前記第１の入力情報と同じ第２の入力情報を検出し、
   前記第１の入力情報に応じて作成された前記第１の画像と、前記記憶装置から検出した前記第２の入力情報に関連付けられた第２の画像との類似度を判断し、
   前記第１の画像と前記第２の画像との前記類似度が閾値未満である場合、前記類似度が前記閾値未満であることを示す結果を出力する
   よう動作させる
   画像判断プログラム。

Images