JP2011103609A

JP2011103609A - 機器、装置の機能チェック装置

Info

Publication number: JP2011103609A
Application number: JP2009258421A
Authority: JP
Inventors: Makoto Onzuka; 誠恩塚
Original assignee: Japan Novel Corp
Current assignee: Japan Novel Corp
Priority date: 2009-11-11
Filing date: 2009-11-11
Publication date: 2011-05-26

Abstract

【課題】組込み機器自動検査システム等で高速な画像認識や時系列に対する変化や性能の判定ができるソフトウェアを提供する。
【解決手段】主に静止画で扱っていたものを、動画のように長時間記録し、それを自動的に正誤判定する。動画を１ファイルとしてではなく、1コマずつ切り出した静止画の集合体として扱い、任意の位置から速やかに再生・表示して高速な画像認識を行える。取得したデータを動画として処理し、画面表示が「速い」、「遅い」といった時系列に対する変化や性能を判定できる。組込み機器自動検査システムでは組込み機器のロボットでの操作内容や時刻をデータベースに記録しているので、それと連携して稼動させ、画面表示とロボット操作内容を時刻で照合可能とし、画面上にエラー表示が起きた時点でロボットがどのような操作を行っていたかといった内容を一瞬にして確認可能とする。
【選択図】図５９

Description

本発明は、高速静止画判定ソフトウェア、同ソフトウェアを格納した記憶媒体、同ソフトウェアを利用して携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための機器、装置の機能チェック装置に関する。

外部からの入力に対応して外部に対して表出させる形態や動作が変化する、例えば携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の機器には周知のように多数の操作ボタン、有線・無線の入力端子が設けられており、使用者は目的に応じて適宜これら操作ボタンを操作したり、信号を入力する。また、これらの機器、装置においては、ＬＣＤ等のいわゆるパネルディスプレイ（液晶を用いたものには限定されない）を用いた表示部と操作ボタン等を備えた操作部とをヒンジで連結して折り畳み式にしたものや、面表示装置自体が操作ボタン、スイッチを兼ねる機能を有するものが増えている。

これらのような機器や装置、例えば携帯電話やＰＨＳでは、単に電話をかけるためのダイアリングや、文字入力に用いられるだけでなく、電話機やコンピュータとしての種々の設定のためにも用いられるようになっているが、その設定には、例えばオートロック、通話料金表示、使用時間表示、着信音設定、使用者情報設定、使用言語設定等のように、かなり多様かつ複雑なことが可能になっている。また、表示部にタッチパネルを用いているものでは、ハードウェアの操作ボタンだけでなく、表示部にソフトウェアで表示した操作ボタンによっても上述のような操作を可能としている。

なお以下では、特にことわらなければ、単に操作ボタン等の操作対象物を記載する場合には、ハードウェアによるものだけでなく、ソフトウェアで表示した操作可能な部位をも含む。

上述のように、携帯電話やディスプレイ利用機器の製造者は、出荷前にハードウェアによる操作であれ、ソフトウェアにより表示させたものを用いての走査であれ、これらの設定操作、動作を不具合がなく行えるか否かを検査、判定、確認しておくことが求められるようになってきている。

本願発明者は、従来手作業に近い状態で行われていた携帯電話等の機器におけるこの種の判定、確認作業を機械的にかつシステマティックに行える発明を提案した（特許文献１、２参照）。

特許第３７１４６６０号公報国際公開ＷＯ２００５／０７１９３０号公報

本発明は、上述した従来の発明をさらに改良させたてなしたもので、携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の検査対象機器又は検査対象装置の設定動作の可否をほぼ自動的にかつ多機能にわたって判定できるようにした機器、装置の機能チェック装置において、常時監視機能を強化したものである。

すなわち本願発明者は、携帯電話など向けに電子機器の自動検査システムの開発、販売を行っている関係上、各メーカーのＳ／Ｗ開発や品質保証部門から話を聞く機会が多いが、ＴＶなど画面表示機能を有する機器の画面変化をＳ／Ｗテストするために、多大な労力やコストがかかっていることを幾度となく耳にしていた。

一方、本願出願人が自社開発した製品、組込み機器自動検査システム『ＱｕａｌｉｔｙＣｏｍｍａｎｄｅｒ』（商標）では、組込み機器の画面データのうち、静止画を取得して精緻に自動正誤判定するという機能は有しているが、動画においては十分な性能を満たしておらず、これらのニーズに対応できないことが多々あった。

そこで本願発明者は、動画での画像取得から自動正誤判定に至る一連の処理に特化したテストシステムを開発した。ＴＶ画面やＰＣ画面の動画に対して前述の一連の処理ができるようになれば、電子機器メーカーはもとより、ＴＶ番組やＰＣアプリケーションを開発している企業などにも用途が拡がる可能性もあり、さらなる販路拡大も見込まれるものである。

本発明の静止画判定ソフトウェアは、上記目的を達成するために、これまで主に静止画で扱っていたものを、動画のように長時間記録し、それを自動的に正誤判定するソフトウェアであって、動画を１ファイルとして扱うのではなく、１コマずつ切り出した静止画の集合体として扱うことで、任意の位置から速やかに再生・表示を行い、高速な画像認識を行い、また取得したデータを動画として処理することで、画面表示が速い、遅いといった時系列に対する変化や性能を判定する機能も取り入れることを可能としてなることを特徴とする。

同請求項２に係るものは、ある操作をしてから特定の画面に遷移するまでの時間を測定すること及び／またはすぐに消えるような画面を判定するため、画像取得から判定までの処理を１０回／１秒〜３０回／１秒程度の速度で可能なソフトウェアであって、画像取得と判定を高速に繰り返すために、判定繰り返し中の画像を記憶しないことを特徴とする。

請求項３にかかるものは、請求項１または２に記載のソフトウェアを格納した記憶媒体である。

請求項４に係るものは、請求項１または２に記載のソフトウェアを利用して携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための機器、装置の機能チェック装置であって、外部からの入力に対応して外部に対して表出させる形態や動作が変化する出力手段を備えた一以上の検査対象機器又は検査対象装置をチェックするための機器、装置の機能チェック装置であり、前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態を擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックするための機器、装置の機能チェック装置において、前記外部からの入力に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加する擬似入力手段、該擬似入力手段による入力に応じて前記検査対象機器又は検査対象装置の前記出力手段が生じさせる前記チェック対象となる出力を検出するチェック対象出力検出手段、前記擬似入力手段による入力手順を指定可能な擬似入力手順設定手段、及び前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力と、前記擬似入力に対応する実際の入力による前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態の予想される期待値との整合性を確認する確認手段とを備えることを特徴とする機器、装置の機能チェック装置である。

請求項５に係るものは、請求項４の機器、装置の機能チェック装置において、前記搭載手段が、複数の移動可能なあるいは位置固定の支持部材で前記検査対象機器又は検査対象装置を保持するために、着脱可能な弾性部材備えることを特徴とする機器、装置の機能チェック装置である。

本発明では、ＴＶなど画面表示を伴う電子機器の画面変化をカメラで長時間撮影し、動画データをＰＣに記録する。それらの動画データを簡単に閲覧できるだけでなく、ある条件の画像が表示されていないか自動的に検出し正誤判定を行うことができる。例えば、ブラックアウト画面やエラーメッセージが表示されていないか、フリーズ状態になっていないかといった内容について、長時間撮影した動画データに対して自動的に正誤判定を行い、判定結果をビューアで簡単に確認することを可能にする。また、レコーダやＰＣなど信号線から画面情報が入力できる場合はカメラを使用せず、より簡易に長時間の撮影および動画の取得を行うことができ、画像判定においては精度が要求されるノイズ検出も可能である。これにより、多大なコストや労力をかけていたＴＶなどの電子機器のソフトウェア（以下「Ｓ／Ｗ」という）テストの自動化が可能となる。

本発明に係る機器、装置の機能チェック装置の実施例を概念的に示す斜視図検査対象機器を携帯電話とした場合に使用するアダプタユニットとレリーズに代わるプランジャーを多数備えたプランジャーユニットを示す斜視図携帯電話を保持するためのアダプタユニットの変形例を概念的に示す斜視図携帯電話を保持するためのアダプタユニットの変形例を概念的に示す斜視図カメラ等を装備するためのベースユニットの側面図レリーズの構造を示す側面図モニタにメイン画面として表示させる画面の内容を示す図メイン画面上でのキーボタンの範囲指定を示す図携帯電話情報設定画面を示す図ボタン情報設定画面を示す図ボタン情報一覧画面を示す図キーボタンの情報設定でのレリーズの番号入力例を示す図リセットボタンの設定画面を示す図機種ファイルの編集画面の図モニタに表示させるＬＣＤパネル画面の調整画面を示す図補正後画像の確認画面を示す図キャリブレーションシートを示す図歪み具合取得ウィザード画面の図シナリオ作成編集画面を示す図シナリオを複数呼び出した例を示す図期待値設定タブの内容を示す図ボタン対応表を示す図実行画面を示す図エラーレポートを示す図本発明に係る携帯電話の検査装置の画像判定処理動作を示すフローチャート同音声判定処理動作を示すフローチャート同静止画像判定処理動作中の閾値決定処理を示す図同静止画像判定処理動作中の明るさ補正処理を示す図同静止画像判定処理動作の一例を示す図同静止画像判定処理動作中の領域特定処理を示す図同静止画像判定処理動作を示すフローチャート同動画像判定処理動作を示すフローチャート同動画像判定処理動作の一例を示す図同動画像判定処理動作の一例を示す図同動画像判定処理動作の一例を示す図同動画像判定処理動作の一例を示す図同動画像判定処理動作の一例を示す図同ＤＴＭ音判定処理動作を示すフローチャート同ＢＴ／ＲＢＴ音判定処理動作を示すフローチャート同メロディ判定処理動作を示すフローチャートＤＴＭＦ番号に対応する周波数情報を示す図ＰＤＡに対する自動テストに用いるロボットと、そのロボットの動作を示す図示す図同テストの流れを示す図同テスト結果の判定を示す図評価対象機器をカーナビ、カーオーディオとした例を示す図車関連の検査として電源の制御例を示す図同ＣＡＮシミュレータとの連携例を示す図話し言葉の判定に用いた例を示す図タッチパネル等がＲＧＢ入力で出力する画像データを扱う例を示す図プログラマブル表示器との連携例を示す図ＯＣＲにより文字認識を行い、検出した文字の座標位置にロボットのアームやプランジャーを誘導する例を示す図赤外線リモコン操作を行えるデジタル家電機器を対象とした例を示す図図５２の例の変形例を示す図操作内容がそのままテストシナリオになる機能を有する赤外線リモコンの例を示す図Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの自動評価に使用する例を示す図Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの連携試験の流れを示す図１台の本発明装置で２台のロボットを制御する例を示す図組込みシステム向けの開発支援を行うＣＡＳＥツールとの連携例を示す図常時監視ツール画面イメージを示す図

以下本発明を実施するための最良の形態について図面に示す実施例を参照して説明する。なお以下では携帯電話やＰＤＡ等を検査対象機器とする例について説明するが、既述の機器、装置、及びその他類似の構成を有する機器、装置についても本発明を適用できることは明らかであるので、そのような機器についての説明は省略する。

以下本発明の実施例を説明する。なお、図示し、説明する実施例は、外部からの物品接触による入力事象として、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力事象を変化させる出力手段を備えた機器を検査対象とする。

また、以下では、擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックする手段、すなわち、外部入力に対応する出力を前記機器に対して発生する擬似入力手段として複数の操作ボタンの一つを押下可能な押下手段を有するボタン操作手段を例としているが、これは適宜の自由度（例えば、３軸、６軸）を有するロボットで、複数のボタンを順次押下するものでも、多数のボタン操作手段を有するものでもいずれであってもよい。また図示の例のロボットには限定されず、さらには平面的に配設されたボタンを操作するものだけでなく、特に多軸のロボットを使用して、立体的に配置されたボタンやつまみを的確に操作することができるようにしたものも含み、いずれにしても図示の例のものには限定されない。

さらに、検査のための擬似入力を検査対象機器又は検査対象装置に対して印加する擬似入力手段は、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力前記外部入力である場合には、これらに対応する出力をなすものとすればよい。

図１は、本発明に係る機器、装置の機能チェック装置の一実施例を概念的に示す斜視図である。本実施例装置は、判定、検査しようとする評価対象機（図示の例ではＰＤＡ）１を予め定めた状態にセットし、ＰＤＡ１の表示部であるＬＣＤパネル３を撮像し、ＬＣＤパネル３の画像を得るカメラ４、ＰＤＡ１のＬＣＤパネル３に表示される操作ボタン画像又はＰＤＡ１が備える機械的操作ボタン（以下では特に必要がないかぎりこれらを総称してキーボタンという。）５・・・の一つを、押し下げ可能なレリーズ６を押下手段として複数有するプランジャーユニット７により押し下げ、プランジャーユニット７の動作をコンピュータ８で制御するとともに、この動作制御に対応するＬＣＤパネル３の表示内容の可否を判断する等の制御を行う。図中９はモニタで、カメラ４で得たＬＣＤパネル３の画像やコンピュータ８からの信号に基づく画像の表示手段となる。なおコンピュータ８は、ハードウェアとしてはビデオキャプチャーボード、入出力用ボード、サウンドボード、イーサネット（登録商標）ボードあるいはこれらと同等構成品を備えるものとし、ソフトウェアとして、後述する携帯電話自動評価システムソフトならびにＯＳソフト、そして必要に応じてテキストエディタ、ワードプロセッサ、データベースソフト等を内蔵するものが好ましい。またキーボード、マウス、ネットワーク端子（端末対向テスト用）、プリンタ等をもシステム構成に含ませることができる。なお図中１０はプランジャーユニット７を駆動するためのロボットで、図示の例ではＸＹ軸移動タイプでレリーズ６も単一のものであるが、後述するように、レリーズ６に代わるプランジャーを多数備えたユニットも使用される。したがって、ロボット１０も図示のタイプのものに限定されず種々公知のロボットを採用できる。

図２は検査対象機器を携帯電話とした場合に使用するアダプタユニット２とレリーズ６に代わるプランジャーを多数備えたプランジャーユニット２０を示す斜視図である。携帯電話１は、図示の例では折り畳み型のもので、ＬＣＤパネル３を有する表示部１１と、キーボタン５を有する操作部１２とからなるが、検査対象となる携帯電話としてはこのタイプのものに限定されず、表示部１１と操作部１２に対してそれぞれ外側からアクセスできればストレートタイプのもの、フリップタイプのもの、等どのようなものでも対象とすることができる。なお本発明は、対象機器を携帯電話１に限るものではなく、ＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等の機器であり、いくつかの操作ボタンが設けられていて、これらを操作するようになっているものであれば種々の機器に適用できる。

またアダプタユニット２は背面カメラ２ａを備えており、この背面カメラ２ａによって折りたたみ式の携帯電話１の背面（折りたたんだ状態では正面）に位置することになる図示しない液晶ディスプレイのテストも自動で行えるようになっている。

このアダプタユニット２は、折り畳み型の携帯電話１のＬＣＤパネル３の表面をカメラ４の光軸に対して垂直面をなすようにセットするためのベース部２１と、その状態でカメラ４の光軸に対して所定の角度をなす携帯電話１の操作部１２をセットできる傾斜部２２と、図示は省略するが、傾斜板２２との間に携帯電話１の操作部１２を挟んだ状態で並行またはほぼ並行にセットするレリーズガイドパネル２３、これらを支持する一対の側板等からなる。なおストレートタイプやフリップタイプの携帯電話等においては、図示の例のようにベース板２１と傾斜板２２に角度を付けて構成する必要がないことが多いので、アダプタユニット２の構成は図示の例に限定されず、対象機器の形状、構造に合わせて形成すればよい。なおレリーズガイドパネル２３は、評価対象とする携帯電話１の操作部１２のキーボタン５の数等に合わせてレリーズ６を挿入する孔を有するとともにかつ対象機器に合わせて交換できるようになっている。またレリーズガイドパネル２３には、携帯電話１のマイク（図示せず）に対応させた位置に孔（図示せず）を設け、この孔の位置にスピーカを取り付けできるようにしてある。

なお、既に述べたプランジャーユニットや、ＸＹタイプのロボットは、評価対象機器としては最も多く利用されるものとなっているが、プランジャーユニットタイプのロボットを使用すると、同時押し、早押し、開閉、背面液晶のテストが行える。一方、ＸＹタイプのロボットを使うと評価機器が変わっても簡単に取り外し、固定ができ、機体のタイプの変更がある場合にもすぐに対応できる。またなお、携帯電話の開閉センサーを利用して、擬似的に携帯電話を閉じた状態を作り出すことで開閉テストを行うこともできる。さらに、基地局シミュレータと連携することで、発呼、着呼、割り込み着信、電波受信状態変化、海外端末の検査も行える。

図３、図４は、携帯電話を保持するためのアダプタユニット２の変形例を概念的に示す斜視図であり、図３は、複数の移動可能なあるいは位置固定の支持部材１０１で、蓋部１０２を開いた携帯電話１を保持し、着脱可能なゴムヒモなどの弾性部材１０３でホールド性を高め、携帯電話１を押さえた状態を示している。

複数の支持部材１０１は、位置固定の一対のガイド支持部材１０１ａ、１０１ａと、それらの軸線方向で位置を可変とするようにスライド可能に差し渡して取り付けた二つの親スライダ１０１ｂ、１０１ｂと、それぞれの親スライダ１０１ｂ上にそれらの軸線方向で、すなわち親スライダ１０１ｂのスライド方向とは直角に交叉する方向でスライド可能に取り付けた子スライダ１０１ｃと、親スライダ１０１ｂと平行でかつ位置固定にガイド支持部材１０１ａ、１０１ａ間に設けた保持用支持部材１０１ｄから構成してあり、親スライダ１０１ｂが携帯電話１の底面を支持し、子スライダ１０１ｃが携帯電話１の側面を支え、保持用支持部材１０１ｄが携帯電話１の保持性を向上させる支持部材として構成してある。

なお、図示の実施例では、子スライダ１０１ｃを載せ得る親スライダ１０１ｂが２つしか設けていないが、例えばこれを４つに増やし、そのうち一つで携帯電話下部の高さを可変に支え、もう一つで携帯電話１の本体１ａではなく蓋部１０２のＬＣＤパネル３部分側の側部を押さえるものとする。残りの２つは図示の実施例と同じ役目をはたす構成とするとよい。

また子スライダ１０１ｃのスライド部品を付け替え得るようにし、以下の３種類を必要に応じて交換可能とすることもできる。
（１）携帯電話１の高さ方向とサイド方向の両方を押さえるもの（図示の実施例）
（２）携帯電話１のＬＣＤパネル３部分のサイドを押さえるもの（様々な高さのＬＣＤパネル３部分が考えられるので、それらに対応できるように、例えば１０ｃｍ程の高さのあるものにするとよい）
（３）携帯電話１の高さ方向のみを支えるもの（図示の実施例と同じ高さで、携帯電話１の特に本体部分１ａの側面に設けられるサイドボタンやケーブルの邪魔にならないような形状とすることが好ましい）

また上述のようなサイドボタンを押しても先端部品がぶつからないように、子スライダ１０１ｃの高さを例えば１．５ｃｍ程高くしても良い。

また子スライダ１０１ｃは、例えばノギスと同様の構造のものとすることができるが、その構造の場合、歯車を使用しているため携帯電話１を挟んだときに少しガタがあり、片方を固定しても反対側ががたついてしまうことがあり得る。サイドボタンを押した場合は少しのガタがカメラ画像などに影響するので、しっかりと携帯電話１の両サイドを固定する必要がある。例えば子スライダ１０１ｃをネジ止めしてその位置を固定する構造とすることができるが、一つのネジでは上述のようなガタを無くすことが難しい場合は、ネジ止めを２箇所で行ってもよい。

上述のように、子スライダ１０１ｃをガイド支持部材１０１ａ、１０１ａ間のセンターに合わせるためのテンションをかけるために、また携帯電話１のＬＣＤパネル３側が上がらないように、上からゴムヒモなどの弾性部材１０３で押さえつけるように固定しているが、弾性部材１０３は、子スライダ１０１ｂを構成する部品１０１ｂａに穴を開け、ここに弾性部材１０３に設けた球状等の部材を嵌入させて引っ掛ける。全ての子スライダ１０１ｃの部品にこの穴１０１ｂｂを空けておき、弾性部材１０３をどこにでも取り付けられるようにするとよい。なお図示の実施例ではゴムヒモなどの弾性部材１０３を用いているが、これに代えてバネを採用することもできる。

子スライダ１０１ｃの開く横幅は、戴置する携帯電話１が大きいものでも固定できるようすると、近年続々と発売されているＰＤＡタイプのものや、ターンタイプと称されてＬＣＤパネル３を有する表示部１１が横向きに回転するタイプ等のような種々のタイプのものにも対応できるようになる。

なお、固定用のネジにはＰＣのケースに使われているような、ドライバーを使わなくても締結が可能なネジを採用することが好ましい。また子スライダ１０１ｃの位置を変える場合には、ネジが完全に外れなくても緩めるだけで移動できるようにすることが好ましい。また、親スライダ１０１ｂに目盛を振るなどして、子スライダ１０１ｃを所定の位置に再度固定できるようにすることが望ましい。

さらに、携帯電話１の本体１ａの端部を抑える固定の支持部材１０１ｅ、１０１ｅは、携帯電話１のタイプ、具体的には端部形状、端部構造の違いに対応できるように、ベースにネジ止めする構造等としておいて、交換できるようにすることが好ましい。

図５はカメラ４等を装備するためのベースユニット３０の側面図である。このベースユニット３０は、ベース板３１と、カメラ４やマイク３２を搭載するためのタワー部３３とからなり、ベース板３１上にはピン等（図示を省略する）を設けてアダプタユニット２を位置決め搭載可能とし、タワー部３３には、光軸が垂直下方を向くようにかつ上下動可能にカメラ４を取り付けるとともに、携帯電話１のスピーカ１３に対応させてマイク３５を設けてある。なお、カメラ４の光軸はもちろん垂直下方以外の方向へ向けても良く、それに合わせてアダプタユニット２等の取り付け、配置形態を変えればよい。なお、カメラ４の位置を可変させる機構も備えているが説明を省略する。

既述のように、プランジャーユニット７は、レリーズ６を複数本、詳細には評価対象とする携帯電話１のキーボタン５の個数以上の本数を有し、これらを選択的に駆動できる装置である。駆動装置そのものは公知であるので説明は省略する。またレリーズ６は、図６に示すように、チューブ６１とその中を通したピン６２からなるいわゆるレリーズワイヤタイプのものであるが、図示のように、レリーズガイドパネル２３の孔２５への着脱が容易に行えるように、チューブ６１先端に設ける金属管部６３のネジヤマ６４を全長にわたらずに基部近傍のみ設けてある。なお基部にはロックネジ６５と調節ネジ６６とが設けてあり、ピン６２の飛び出し長さを調節できるようにしてある。ただしこのタイプのレリーズでは、ピン６２の飛び出し長さが長いほど確実にキーボタン５に届くようになるが押す力が弱くなる。なお、各ユニット、カメラ等の配線、駆動系、信号伝達系等々についての図示及び説明は省略する。

本実施例装置を、アダプタユニット２に載置した携帯電話１のキーボタン５に対してプランジャーユニット７の所望のレリーズ６を駆動してキーボタン５を押し下げ、この押し下げによって変化するＬＣＤパネル３をカメラ４により撮影し、所望のキーボタン５の押し下げに伴って設計、製造時に設定した通りの画像がＬＣＤパネル３に表れるか否か等を判定するものとして以下説明する。

図７は、モニタ９にメイン画面として表示させる画面の内容を示す図である。この画面は、カメラ４により撮影したＬＣＤパネル３の画像３ａと、例えばデジタルカメラ等で撮像して予め得ておいた判定、検査対象となる携帯電話１の全体平面画像１ａとを合成して示している。なお、

次に本実施例装置における評価の流れを説明する。
評価は、
（１）機種ファイル作成（ボタン設定、ＬＣＤ画面調整）
（２）シナリオ作成（設計書や仕様書（期待値画像とテスト項目）を用意して、シナリオを作成する）とデバッグ
（３）１回目の評価（実行、手動判定、画像入れ替え）
（４）２回目以降の評価（実行・自動判定）
という手順になる。

以下、本実施例装置における評価の手順等について詳細に説明するが、まず機種ファイル作成について説明する。
評価の開始に当たっては、最初に機種ファイルの新規作成を行い、携帯電話１の情報を設定する。機種ファイルとは、携帯電話１の個別情報をまとめたファイルであり、画像の調整や携帯電話１のキーボタン５とレリーズ６の対応を設定する。

即ち、予め用意しておいた評価対象携帯電話の画像ファイルを用い、モニタ画面に携帯電話１の全体画像を、もちろん表示部１１と操作部１２とが見えるように表示させ、これに組み合わせるＬＣＤパネル３に相当する画面を作成する。なお画像ファイルとしては、例えばビットマップ形式で、メイン画面に収まるぐらいの大きさのものを用意する。そして、判定に必要なキーボタン５の設定とレリーズ６の割り当てを行う。キーボタン５は一つずつ設定する。即ち、図８に示すようにメイン画面上で携帯電話１のキーボタン５を囲んで範囲を指定し、キーボタン５の個数分だけ名称とプランジャーユニット７のレリーズ６の番号を指定する。図９は携帯電話情報設定画面、図１０はボタン情報設定画面、図１１はボタン情報一覧画面、図１２はキーボタン５の情報設定でのレリーズ６の番号入力例を示す図である。

キーボタン５に対応するレリーズ６が、メイン画面上に作成したキーボタン５をクリックしたときに動作するかは、実際にプランジャーユニット７を動作させて確認する。例えばメイン画面での操作により作成したキーボタン５をクリックすると、そのキーボタン範囲が青くなるようにして、対応するプランジャーユニットのレリーズが携帯電話のボタンを押すかどうかをチェックする。既述の機種ファイル編集画面で動作確認を行うようにすることもできる。

図１３は、特殊操作手順設定である携帯電話を待ち受け画面に戻す操作（リセット）、携帯電話に供給されている電源から切り電源を投入する操作（強制リセット）、折り畳み式携帯電話の開閉動作ボタンの設定を行う画面を示す。なお折り畳み開閉動作の機能が使用できるのは、携帯電話１が折り畳み式であり、それにアダプタユニットとプランジャーユニットが対応しており、レリーズ６で例えば磁石を用いた開閉機構の操作ボタンを押せる場合であり、これにより実際には携帯電話１を開閉せずに（図示の実施例では既に開いてしまった状態で）検査、評価することができる。

以上のように設定してきた機種ファイルは、適宜の名称でコンピュータ８が内蔵しまたは外部手段として有する記憶媒体に保存する。この保存した機種ファイル、即ち作成済みの機種ファイルは修正できることはもちろんである。図１４は、機種ファイルの編集画面の図である。

図１５はモニタ９に表示させるＬＣＤパネル３画面の調整画面である。画像の調整は、必要があれば歪み補正データの取得、補正データに基づいた画像補正、補正後画像の微調整、の順に行う。また必要ならばＬＣＤ画面の大きさも調整する。図１５には、ＬＣＤ枠の設定部分、ＬＣＤオフセットの設定部分も示す。ＬＣＤ画面の調整画面での調整が終了し、必要があれば画像の補正を行い、補正後画像の台形補正を行う。図１６は、補正後画像の確認画面である。画像の色調や明るさ補正も行える。また補正後画像の微調整として、画像の台形補正を行え、基準となる画像をもとにＬＣＤ画面の大きさ、傾きの微調整を行う。

台形補正は、図１７に示すキャリブレーションシート４０を基準にカメラ４の焦点距離、歪み具合などのパラメータを求め、それを補正データとして画像を補正するものである。補正値を取得するには、携帯電話１にキャリブレーションシート４０を乗せてカメラ４で撮影し、メイン画面に表示されているキャリブレーションシート４０の画像の黒い四角、点がはっきり見えるようにする。ついでキャリブレーションシート４０を取り除いて携帯電話１のＬＣＤパネル３の画面を撮影する。図１８は歪み具合取得ウィザード画面の図である。歪み具合を取得する前に、まず携帯電話１のＬＣＤパネル３画面の大きさとして縦、横サイズの測定値を入力し、歪み具合取得ボタンを押して歪み具合の取得を開始し、補正後画像として表示する。

次にシナリオ作成について説明する。

図１９は、シナリオ作成編集画面を示す図である。この画面は、シナリオ表示用のシナリオリストボックス５０と、コマンド設定タブ５１・・により切り替え可能な画面となっている情報設定部５２からなる。

シナリオ作成には、まずキーボタン５の操作コマンドをシナリオリストボックス５０に入力する。次いでキーボタン５の押下条件を情報設定部５２で設定する。ここでは、複数押し（同時に複数のキーボタン５を押下するコマンド）、押下時間（携帯電話のボタンを押下する時間の設定、押下間隔（１つのコマンドが終わってから次の処理に移るまでの間隔）を設定する。評価環境番号ラジオボタンは、評価環境の番号の設定するもので、対向試験を行う設定で使用する。また折り畳み部開閉は、折り畳み式携帯電話の開閉動作ボタンの押下間隔を設定する。もちろん、この機能が使用できるのは、折り畳み式携帯電話のアダプタユニットと折り畳み式携帯電話の開閉動作ができるプランジャーユニットを用意した場合のみである。さらに、再生、制御、単体シナリオ呼び出し、リモートシナリオ呼び出し（対向試験で対向先のコンピュータでシナリオを実行させるコマンド）、待ち、繰り返し、停止、判定の各コマンドを設定する。判定コマンドは、画像の期待値を取得し、その場で判定（即時判定）を行い、判定結果によってシナリオ実行を続けたり停止したりするためのものである。なお取得した実測値の判定は後述する確認画面で行うが、この判定コマンドを用いると、その場で判定し、判定の結果が期待した通りでなければシナリオの実行を中断することができる。また一つのシナリオ内で別のシナリオを入れ子状に呼び出すことを可能とするシナリオ呼び出しコマンドも設定できる。図２０は、その複数呼び出した例を示す図である。

図２１は、期待値設定タブの内容を示す図である。この画面では、携帯電話１の反応を記録するコマンドを入力できる。記録できるのはＬＣＤパネル３の画面の画像と、マイク３５で録音した音声である。なお図中５３は期待値画像表示スペースである。

画像取得コマンドは、期待値画像を設定し、実際の画像と比較することでテストを行うためのものである。期待値画像には、例えばｊｐｇ、ｂｍｐ、ｅｍｆ等の形式のファイルを設定する。また実測値を記録するタイミングとして、記録を開始するタイミングを指定するとともに、画像指定、判定範囲設定を行う。一方、音声取得コマンドは、マイク３５で集音した音声を録音するもので、キーボタン５を押下した時の音（ＤＴＭＦ音）を確認画面で判定することができるようにするものである。

なお図１９の入力支援部は、名前や電話番号などのひらがな、数字、アルファベット、記号を携帯電話１で入力するシナリオを自動生成するための部位である。またこの部位のキーボタン情報ボタンを操作すると、図２２に示すボタン対応表が表示されるようになっており、文字入力に使用する携帯電話１のキーボタン５と、機種ファイルで登録したキー名の対応を設定できる。

そして、作成したシナリオが正しく動作するか否かをデバッグを行うことでチェックする。なおデバッグ画面は、後述する実行画面（図２３）と同様である。チェックの結果は、例えば図２４に示すようなエラーレポートとして出力する。

次にシナリオの実行について説明する。

図２３は実行画面を示す図である。この画面は、シナリオリストボックス８０、実行時指定部８１、実行状況表示部８２からなり、実行状況表示部８２は、シナリオ一覧リストボックス８３、カレントシナリオボックス８４、期待値画像表示部８５、実行ＬＣＤ画像表示部８６からなる。シナリオリストボックス８０には、実行中のシナリオあるいはこれから実行するシナリオの名称を表示する。実行時指定部８１は、キーボタン５の押し時間に関する設定を表示する部位、期待値を記録するタイミングの設定を表示する部位、停止レベルを表示する部位を含む。またシナリオ一覧リストボックス８３は、選択しているシナリオとシナリオ集を表示し、カレントシナリオボックス８４は、シナリオ一覧リストボックス８３で選択しているシナリオを表示する。期待値画像表示部８５は、画像取得コマンド実行時、期待値として設定されている画像を表示し、実行ＬＣＤ画像表示部８６は同じく撮影した携帯電話１のＬＣＤパネル３の画面を表示する。なお図２４はエラーレポートを示す図である。

上述のような携帯電話自動評価システムを２セット使用して対向試験を行うことができる。対向試験では、相手方システムのコンピュータとＬＡＮで接続し、接続した側のシステムで同じシナリオを自動的に実行する。即ち、２台の携帯電話自動評価システムの、片方をサーバーとし、他方をクライアントとして、サーバーがクライアントを制御する試験となる。そして、サーバー側でシナリオ実行をすると、サーバーがクライアント側のプランジャーユニット７を操作することで２台の携帯電話１を操作できる。したがって、別の携帯電話１に電話をかけて、かけられた携帯電話機で電話をうけるというような検査を行うことができる。

なお対向試験であるか否かにかかわらず、シナリオを自動実行させ得るが、途中での手動による一時停止、停止、再開が可能であり、シナリオをステップごとに実行させるステップ実行、途中から自動実行に切り替える半自動実行も設定できる。

またなお、現在実行中のシナリオに、指定した周期ごとに別のシナリオを実行させる、いわゆる割り込み処理を可能とすることによって、携帯電話を操作中にメールを受信するといった実際の使用状況に近い試験を自動的に行える。

ある携帯電話について１回目のシナリオを実行した後、確認（手動判定と画像入れ替え）を行う。即ち例えば一度手動で判定を行い、判定結果が良ければ画像を入れ替える。まず、画像を確認し、期待値画像と実行画像が一致するかどうかについてシナリオの全ステップを判定する。複数のシナリオを実行するときは、全シナリオについて全ステップを判定する。そして期待値画像が直接画面を撮影した画像でない場合は、画像判定が行えないので期待値画像の入れ替えを行う。入れ替えを行うと、次に同じシナリオを実行したときには入れ替えられた画像が期待値としてデータベースに登録され、画像の自動判定を行うことができる。また用意した期待値画像のある一部分だけを自動判定に使用したいときは、判定範囲設定を行うことができる。

なお判定範囲にはデフォルト判定範囲と個別判定範囲を設定でき、前者ではすべての画像に同じ判定範囲を適用し、後者では画面上で範囲を設定された画像だけに適用する。判定範囲と除外範囲も設定でき、判定範囲と除外範囲を組み合わせることで、複雑な形の判定ができる。コンピュータを用いたシステムであるので、もちろん判定範囲の座標指定等も可能である。

そして２回目以降のシナリオ実行の結果は、期待値画像が入れ替えられていれば、自動判定ができる。自動判定機能は、用意された判定範囲に基づいて、期待値画像と実測画像が一致するかどうかを自動的に判定するものである。また、期待値ＤＴＭＦ音の周波数と実測ＤＴＭＦ音の周波数が一致するかどうかも自動的に判定できる。

なお、図示は省略するが、折り畳み型の携帯電話でかつキーボタン５を有する操作部１２の外面にもう一つの表示パネルを備えるものあるいは同様の構造のＰＤＡ等が近年開発、市販されている。これらを評価対象とする場合には、開いた状態でＬＣＤパネル３の表示を評価することと、閉じた状態で操作部１２外面の表示パネルを評価することを個別に行うこと、あるいはもう一つカメラを用意して、開いた状態とした携帯電話等の二画面を二つのカメラで同時にかつ個別に撮像して評価することのいずれでも可能である。

また上述してきた実施例の機能を総合し、人間の判断に近い曖昧さを兼ね備えた画像判定ができるようにすることができ、期待値画像と実測値画像の微妙な違いを許容して画像判定を行えるようになる。例えば、これによりカメラ４の再設置の際のセットアップ時間を大幅に短縮することができるようになる。また画像判定が難しかった４５インチ大画面ＴＶのような機器が検査対象であっても自動判定が可能になる。なお、ファジィ理論の画像計測への応用は種々の方法が提案されており、検査対象に応じて等種々の条件を勘案して適宜の方法を選択し、上述した画像処理に組み込めばよいので詳細な説明は省略する。

以下、画面の表示内容の評価方法について説明する。本例では、図２５に示すように、静止画、動画を評価する他、図２６に示すように携帯電話等の器具が発生する音声についても判定を行う。

まず画像の評価の概略を説明する。本例では、図２５に示すようにまずカメラ４からの画像のキャリブレーションを行う（Ｓ１０１）。このキャリブレーションは、システム全体で一回行えばよく、システムを構成する他の機器、装置の機能チェック装置のカメラが取得した画像に適用できる。

次に、各機器、装置の機能チェック装置において、検査対象携帯電話１の操作ボタン５を操作し（Ｓ１０２）、携帯電話１のＬＣＤパネル３に画像を表示させる。この画像を前記カメラ４で取得し静止画、動画別に画像判定を行う（Ｓ１０４）。

一方、音声判定においては、本例ではＤＴＭ音、ＢＴ／ＲＢＴ音、及びメロディについて判定を行う。この判定は、図２６に示すように、携帯電話１の操作ボタン５を操作し（Ｓ２０１）、発生した音声をマイク３５で取得し（Ｓ２０２）、音声信号を一端機器、装置の機能チェック装置に格納し、その格納した音声に対して判定を行う（Ｓ２０３）。まず、機器、装置の機能チェック装置の画像取得用の撮像装置のキャリブレーションについて詳しく説明する。

このキャリブレーションでは、図１７で示したキャリブレーション用シートの中央に表示されている７×７個の黒い点の座標を撮像画像から読み取る、そして、実際のキャリブレーション用シートと撮影した画像の点とを比較することによりカメラの撮影特性データを取得する。

まず、キャリブレーション用シートの画像を複数枚、例えば２０枚撮影する。これらの撮影に際しては、キャリブレーション用シートを様々な位置・角度に配置して撮影する。これにより、様々な条件下での、キャリブレーション用シート画像の点の位置座標を取得する。

次に、実際に検査する携帯電話の液晶画面と平行においたキャリブレーション用シートの画像を撮影する。すべてのキャリブレーション用シート画像から点の位置座標を取得し、これらのデータからカメラの焦点距離、放射状歪みの中心位置、歪み度合いを計算する。これは画像処理ライブラリによって計算される。画像処理ライブラリは市販のソフトウェア（例えばＭＶＴｅｃ製ＨＡＬＣＯＮ（商標））であり、前記各要素を計算するものである。そして、携帯電話画面に乗せて撮影した（最後の）キャリブレーション用シート画像の歪みがなくなるよう補正を行う。

本例では、キャリブレーション用シートから点の位置を検出するのに、当装置の被い内で撮影するため暗い画像になってしまう。画像処理ライブラリの中にはシートの矩形位置を取得する関数があり、指定した特定の色のラインで表示される矩形のみを取得することができる。

この関数には閾値を引数として渡すが、これが高すぎると暗い画像では検出することができない。逆に閾値が低いと誤った領域を取得してしまう。また、ライブラリの戻り値では矩形を取得できたかがわからない。失敗したまま続けていくと後からエラーとなることがあるので、ここで正確に矩形領域を取得する必要がある。

このため、暗いムラのある画像でもマークを検出することができるように、高い閾値から序々に閾値を下げながら、前記と同じ矩形を取得する関数を実行することとする。取得された領域が最も正方形に近い形になったところで止めるようにする。

次に、キャリブレーション用シートの画像からカメラの歪みを修正するためのパラメータを取得する。カメラの焦点距離、放射状歪みの中心位置、歪み具合、最後のキャリブレーション用シートの画像に合わせて変換したカメラ座標を画像処理ライブラリで計算する。

以上より求めたパラメータを用いて携帯電話の画像に変換をかける。前記の値を用いて、最後に取得したキャリブレーション用シートと、携帯電話のＬＣＤ画像に対して変換をかける。これでキャリブレーション用シートは歪みのない正方形で表示される。

さらに、中央に適度な大きさで表示されるよう変換をかける。最終的にはキャリブレーション用シートではなく、携帯電話のＬＣＤ画面が中央に歪みなく表示されるのが目的なので、適切なサイズで中央に表示されるよう変換パラメータを化させながら変換を繰り返す。

そして、他の機種の基準画像に合わせて他の機器、装置の機能チェック装置で画像が使用できるよう、補正をかける。ユーザーは基準となる画像を１枚選択し、自動補正ボタンをクリックするだけで、現在の画像が基準画像と同じサイズ・明るさになるよう補正される。

基準画像に合わせて自動補正をかける。即ち、位置、回転、拡大・縮小、縦横比が基準画像と一致するようアフィン変換をかける。カメラで撮影している画像から静止画を取得するときにこの補正をかけている。

次に、基準画像に合わせてカメラの明るさ・コントラストを調整する。静止画の明るさを後から変えると、元の画像は例えば０〜２５５のデータしか持っていないので、例えば明るすぎて白く飛んでいる場合は正確な色の値が分からない。よって、撮影後の画像に変換をかけるのではなく、カメラの設定値を直接変更する。カメラの明るさ・コントラストを変化させながら連続して撮影・比較することにより適切な明るさ・コントラストに合わせていく。

次に静止画の比較について説明する。

本発明に係る機器、装置の機能チェック装置の画像処理では、入力画像としてどのような画像が来るか予想がつかない。したがって、入ってきた画像によって最適な判定ロジックを選択し、ミスのない判定を行う必要がある。具体的には、画面の細かい画像、暗い画像が入ってきても判定しやすい明るさに補正し、ある程度の面積を持った領域の違いを判定する。

ＬＣＤの明るい領域を例えば以下のように取得する。

図２７に示すように、画像のヒストグラム（０〜２５５）を求め、それを大きく３つの山に分ける。そのうち暗い方から数えて１つ目の山と２つ目の山を分ける境目の値で閾値処理を行う。

また、山が偶数にしか分かれない場合は中心をとる。１つ目の山と２つ目の山を分ける間をとる理由は、本例では、画像を周りの黒い枠と明るいＬＣＤ部分に分けたいので、黒いところが除ければよい。しかし、中には光が漏れて灰色に明るくなってしまう場合もあるので、このような方法を採用する。

画像の明るさが大きく異なる場合に、それらを同じ程度の明るさに合わせるか、または明るさが違うためにＮＧと判断するかは、設定ファイルの値で決めることができ、ユーザーが変更することも可能である。

ここで設定した値より実際の画像の明るさが異なっていた場合は位置補正をしないまま画像比較し、一致しなかったという結果を出す。

基準画像から位置合わせのためのテンプレートを作成基準画像と実測画像のずれをなくすため、後工程で位置補正を行う。そのためのパターンマッチング用テンプレートを基準画像を元に作成する。（画像処理ライブラリで計算）テンプレート作成用の画像を選択する。

本例では、ＬＣＤ領域の淵（幅３ピクセル）の領域に画像を絞り込んだものを登録画像としている。これにより正確かつ速い位置補正が可能となる。

次に元画像のコントラストが低い場合はコントラストを上げるための補正を行うこれは、単にガンマ補正をかけるのではなく、図２８に示すように、色平均値より明るい部分はより明るく、暗い部分はより暗く補正する。画像平均値と最大値・最小値から明るさ強調の変換テーブルを計算して、コントラストの補正を行う。色合いの微妙な画像の判定に使用する。このようにコントラストを上げると、途中でここから上は明るくし、ここから下は暗くするといった変極点が生じる。

次に、基準画像に合わせて実測画像の色補正を行う。このとき、多少違う画像でも同じように色補正されるよう細かい画像やエッジ領域を除いた部分で調整する。基準画像と実測画像で色の平均値が閾値（ユーザが指定したパラメータ）だけ異なる場合は補正をかけないようにする。さらに、テンプレートを基準にパターンマッチングを行う。先に作成したテンプレートを基準にパターンマッチングを行う。これは、画像処理ライブラリで計算する。

なお、繰り返し判定するときに、２度目以降は１回目の位置情報を利用して速く判定する。１回目の基準画像の位置データをとっておき、２回目以降の判定ではそれを読み込んで画像マッチングすることで位置合わせを行う。

位置合わせを行った結果、大きくずれてしまった場合、またユーザーが指定したよりも移動してしまった場合は元の位置に戻して、そのまま重ねて判定する。

基準画像と実測画像をそのまま重ね合わせて判定を行う。色が大きく違う、位置が異なるなど何かしらＮＧであると思われる要素があった場合は、位置補正を行わないで単に画像差分をとった結果を出す。なおこの判定では、人間の判断に近い曖昧さを兼ね備えた画像判定とすることができる。いわゆるファジー制御を用いた判定機能により、期待値画像と実測値画像の微妙な違いを許容して画像判定を行えば、カメラ再設置の際のセットアップ時間を大幅に短縮することができる。

位置合わせで取得したデータに基づいて画像・判定範囲に変換をかける。位置合わせが成功した場合は、データに基づいてアフィン変換をかける。この処理は画像処理ライブラリで行う。そして、ユーザーが指定した判定対象範囲に基準画像、実測画像の絞り込み判定を行う。

次に、基準画像と実測画像の差分をとる。本例ではＲＧＢ画像とグレイ画像の４種類ごとに基準画像と実測画像で画像差分をとる。元画像のコントラストの低いものについては、差分を強調する処理をかけることが有効である。この処理は取得したＲＧＢ、Ｇｒａｙごとの差分画像を加算してよりはっきりさせるものである。

差分画像に閾値処理でＮＧと期待される領域を取得する閾値（７０くらい、ユーザからも設定できる）から２５５の間で閾値処理を行う。基準画像と実測画像で異なる部分が抽出される。

本例は、多数の画像をターゲットに、ロジックやパラメータを少しずつ変化させながら結果を比較していき、閾値として最も良かった結果のものを採用した。画像の明るさによって閾値を変えることが望ましい。基準の閾値は設定ファイルから読み込むが、画像が暗めの場合はそれに合わせて閾値を下げる。逆に明るい場合は上げるようにする。

次にノイズ処理を行う。閾値処理で求めたＮＧ領域（画像差分領域）からノイズを削除し、本当にＮＧである領域のみを残す処理である。まず、ＮＧ候補領域から大きくＮＧだとわかる部分だけを抽出する。単に閾値より明るい部分をＮＧ領域とするのではなく、明るい部分が含まれていてかつＮＧ候補となる白い部分の周辺面積が大きいものだけを最終的なＮＧ領域とする。

例えば、図２９に示す場合、左の領域は面積が広くても明るさの最大値が低いのでＮＧと判断されない。右の領域は中心の明るさが高くなっているので、この領域全体がＮＧとして検出される。

前記処理により、ＮＧと判断された領域の面積がゼロであればＯＫ、１以上の場合はＮＧと判断され、ＮＧ領域が表示される。なお図３０は本実施例に係る携帯電話の検査装置での静止画像判定処理動作中の領域特定処理を示す図である。

ノイズ処理に関しては、その他、比較対象画像を８方向に０．５ピクセルずつ動かし、位置合わせがほんの少しずれただけでノイズが増えるので、位置合わせを行った後さらに０．５ピクセルずつ移動させて、最もノイズの少なかった位置を最適とする方法や、ＮＧと判断された領域のうち、その領域のエッジの情報から「ずれ」と「違い」を判断する方法を採用することができる。

具体的には図３１に示すように、かつ上述してきたように、画像サイズの判定（Ｓ１１１）、ＬＣＤ領域の画像取得（Ｓ１１２）、明るさ判定（Ｓ１１３）、位置合わせ用テンプレート作成（Ｓ１１４）、コントラスト調整（Ｓ１１４）、色補正（Ｓ１１６）、テンプレートを基準にパターンマッチング（Ｓ１１７）、位置確認（Ｓ１１８）、画像判定範囲の変換（Ｓ１１９）又は基準画像と実画像を重ね合わせて判定（Ｓ１２０）、画像を判定範囲に絞り込む（Ｓ１２１）、基準画像と実測画像との差分抽出（Ｓ１２２）、差分画像に閾値処理で不良（ＮＧ）と期待される領域を取得（Ｓ１２３）、ノイズ処理（Ｓ１２４）、そして結果出力（Ｓ１２４）となる。

次に本発明に係る機器、装置の機能チェック装置の動画判定処理について図３２ないし図３７に基づいて説明する。図３２は、動画処理を示すフローチャートである。本例では、期待値、実測値はそれぞれａｖｉファイルとする。期待値と実測値は静止画に切り出したとき、同じサイズとする。ただし撮影時間は異なっても差し支えない。さらに、画像の周囲の枠が黒く表示されていることが望ましい。

まず、カメラで撮影され格納された動画ファイル（ＡＶＩファイル）から、動画の読み込みを行う（Ｓ１４１）。そして動画を１フレーム毎（３０ｆ／ｓ）に静止画（ビットマップ）に切り出す。これは画像を読み出した撮像装置の取得フレーム数である。

次に読み込んだ画像の平均化を行う。これは、図３５に示すように画像を１枚ずつ読み込み、２つ前の画像（図３３（ａ））と１つ前の画像（同（ｂ）と、着目した画像（同（ｃ）を合成し画像３枚の平均画像を取得するものである（Ｓ１４３）である。そして、３枚の画像の平均画像を１枚の画像（図３３（ｄ）として扱う。これにより期待値と実測値の切り出しのタイミングがずれていても平均化することによりなめらかな動きになる。

さらに後の工程で期待値と実測値の同期を合わせた後に比較を行うのに使用するデータを取得する（Ｓ１４４）。そして、平均化した画像をＲＧＢ、Ｇｒａｙの４色に分ける（Ｓ１４５）。平均化した各画像を、ＲＧＢとＧｒａｙ画像に分ける。Ｇｒａｙ画像は人間の目で見たのと近いように０．２９９＊ｒｅｄ＋０．５８７＊ｇｒｅｅｎ＋０．１４４＊ｂｌｕｅとする。そして、グレイ画像を半分のサイズ（面積で４分の１）にしてメモリ上にとっておく（Ｓ１４６）。取得したグレイ画像を半分の倍率に縮小し、メモリ上に確保しておく。この際面積では元のサイズの４分の１とする（Ｓ１４７）。ＲＧＢ、Ｇｒａｙごとに１つ前の画像と引き算で画像差分をとる。より明るくなった部分とより暗くなった部分を求め、そのトータルグレイ値（面積とグレイ値（０〜２５５）の積分値）を取得する（Ｓ１４８）。これは、以下の（１）〜（３）の処理による。
（１）ＲＧＢ、Ｇｒａｙ画像ごとに現在の画像から一つ前の画像を引いて、一つ前の画像より明るくなった部分を画像として取得する（図３４（ａ）、（ｂ）、（ｃ））。
（２）同様に一つ前の画像から現在の画像を引いて、より暗くなった部分を画像として取得する。
（３）取得した差分画像のトータルグレイ値（白く表示される部分の面積と明るさの積分値）をＲＧＢ、Ｇｒａｙごとに取得する。
これで、動画を静止画に切り出したときの１枚の画像あたり、８個のトータルグレイ値が取得できる。明るくなった画像と暗くなった画像がそれぞれＲＧＢ、Ｇｒａｙの４チャンネル分あることとなる。

次にＲＧＢ、Ｇｒａｙごとに取得した差分画像を合わせる。この画像に閾値処理をかけて差分のあった領域を取得する（Ｓ１４８）。これは、以下の（１）〜（２）の処理による。
（１）ＲＧＢ、Ｇｒａｙごとに取得した差分画像をＲＧＢ、Ｇｒａｙの４チャンネル分足す。
（２）この４チャンネル分足した差分画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザー側で指定できる）。
これで、カラー画像としてより明るくなった部分の領域とより暗くなった部分の領域が取得できる。

より明るくなった画像と暗くなった画像を合わせ、閾値処理をかけ前後の画像で差分のあった領域を取得する（Ｓ１４９）。この領域の重心を求める。これは以下の（１）〜（４）の処理による。
（１）（Ｓ１４８）で取得したより明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像を足して一つの画像にし、一つ前との差分画像を取得する。
（２）パラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する。（このパラメータはユーザー側で指定できる）この領域が一つ前の画像との差分領域になる。
（３）（２）で取得した領域の重心位置を求める。前の画像と差がなく、差分の領域面積がゼロの場合は画像の中心位置を代入する。
（４）より明るくなった部分を示す差分画像とより暗くなった部分を示す差分画像をそれぞれ半分のサイズに縮小し、メモリ上に確保しておく（面積では４分の１）。

動画のずれ時間を求め、実測値と期待値の撮影のタイミングを合わせる（Ｓ１５０）。ここで、期待値と実測値の撮影のタイミングが異なる場合や撮影時間が異なる場合でも判定できるよう、時間を合わせる必要がある。これは以下の（１）〜（４）の処理による。
（１）期待値と実測値を１枚ずつ、ずらしながら（Ｓ１４７）で取得したトータルグレイ値を比較していく。期待値と実測値の時間が重なっている間だけ、１コマごとにトータルグレイ値の差分をとり、その合計値を取得する。
（２）期待値と実測値のタイミングが合ったところではこの差分が極小値となるので、１つ前の値より小さく、１つ後の値より小さいところが候補となる。そして（ｆ（ｎ＋１）−ｆ（ｎ））＋（ｆ（ｎ−１）−ｆ（ｎ））が最も大きくなるｎを求める。この差分が最も大きかったところを求めるずれ時間とする。
（３）ＲＧＢ、Ｇｒａｙの４チャンネルで求められた時間が異なる場合は８個のデータの候補が多い順に選ぶ。
（４）ＲＧＢ、Ｇｒａｙごとに取得された時間の候補が一致しない場合はすべてのチャンネルにてデータを合計し、その合計値が最も高かった場所（最も前後との差があった時間）をずれ時間とする。

次に、実測値と期待値のずれを合わせた状態で、実測値と期待値のデータを比較する（Ｓ１５１）。即ち、ここでは、前の画像と比較して移動した部分の領域の重心位置を比較する（Ｓ１５２）。これは以下の（１）〜（３）の処理による。これは本例において、比較１となる。この比較１では、差分領域の重心位置を求め、場所の違いを求めるものである。
（１）期待値と実測値の同期を合わせてからＳ１５９で求めた期待値と実測値の各画像の重心位置を比較する。Ｘ座標、Ｙ座標ごとに差を求め、それぞれが画像の幅・高さに対
してどれだけの割合かを求める（１−Ｘの差分／判定範囲の幅、１−Ｙの差分／判定範囲の高さ）。
（２）前記（１）を、切り出した画像分求めて平均値をとる。この値が低いと一致率が低いということになる（１に近いほど差がないということになる）。
（３）ここで求めた値（０〜１．０）を比較結果としてｒｅｓｕｌｔ１とする。

図３５（ａ）、（ｂ）で示した画像は、異なる個所でアイコンが点滅している画像を示ししており、この比較１により違う画像であると判断することができる。

より明るくなった領域と暗くなった領域ごとに、期待値と実測値の移動領域を比較する（Ｓ１５３）。これは以下の（１）〜（５）の処理による。

これは本例中の比較２となる。この比較２では、移動領域の差分をとり、動きの違いを見る。
（１）期待値と実測値の同期を合わせてから（Ｓ１４８）で求めた期待値と実測値の領域の差分をとる。
（２）次に、「期待値または実測値で移動のあった領域」を取得する。期待値、実測値共に輝度の増えた画像と減った画像（計４種）をすべて足して合成する。これに閾値処理をかけ、明るく表示される部分を領域として取得する。この領域に膨張収縮処理をかけ、ある程度の面積を持つ領域に絞る。これを「動きのあった領域」とする。
（３）輝度の増えた画像、減った画像ごとに期待値と実測値の差分を取得する。期待値と実測値が同じように変化している場合はこれらの差分をとることで、相殺されて領域がなくなるが、移動個所の異なる場合は差分をとってもその領域が残る。
（４）前記（３）の画像にパラメータ（約５０）で閾値処理をかけ明るい部分を領域として取得する（このパラメータはユーザー側で指定できる）。輝度の増えた画像と減った画像の領域を足してひとつの移動差分領域として取得する。
（５）前記（２）で取得した「動きのあった領域」に対する（４）で取得した期待値と実測値の差分領域の割合を求める。次に、前記（２）で求めた「動きのあった領域」が画像の判定対象面積に対してどれだけの割合かを求める。この面積が小さい場合は（５）で取得した差分領域の割合よりさらに小さくする。処理が必要とされるのは、動きのあった面積が判定範囲の面積にたいして小さいというのは、動き自体が少ない動画となるからである。つまり、期待値と実測値の動画部分が異なったところで差は小さいということになるからである。以上より「動きのあった領域」に対する期待値と実測値の差分領域の割合（０〜１）を１から引くと、期待値と実測値が同じように動いた割合（一致率）を求めることができる。この値は大きいほど（１に近いほど）一致率が高くなる。
（６）前記（５）の値をすべての画像で求め、画像枚数で割ることにより画像１枚あたりの平均値を求める。ここで求めた値（０〜１．０）を比較結果ｒｅｓｕｌｔ２とする。

図３６（ａ）、（ｂ）で示した２枚の画像をこの比較２により違う画像であると判断することができる。

縮小した画像の画像差分をとることで比較し、背景も含めて画像全体がどれだけ異なるかを比較する（Ｓ１５４）。これは以下の（１）〜（２）の処理による。これは本例中の比較３となる。この比較３では、画像の絶対値で判定する、即ち本比較３では静止状態での違いを見るのである。
（１）期待値と実測値の同期を合わせ、合わせた時間同士でＳ１５６で取得した期待値と実測値の画像の差分をとる。まず期待値と実測値で位置合わせを行う。具体的には期待値を基準に実測値画像に対してパターンマッチングを行い、見つかった位置にアフィン変換で実測値を移動させる。期待値と実測値の時間が重なる場合はすべての画像において位置合わせを行う。位置合わせを行った後、期待値と実測値の画像差分をとる。
（２）前記（１）で取得した期待値と実測値の差分領域から、Ｓ１６３−（２）で取得した動きのあった領域を引く。これによって背景（静止画部分）のみの違いを取得することができる。差分画像に閾値処理をかけ、のこった面積が大きいほど一致率が低くなる。
（３）この面積は１００％異ならなくても人間の目では充分異なっていることが分かるので、結果（＜１）を２乗した値を答えとする。
（４）ここで求めた値（０〜１．０）をさらに２乗し、比較結果としてｒｅｓｕｌｔ３とする。なお、画像の絶対値比較は他の処理では行われない。他の処理はすべて相対位置での比較のため、画像全体の明るさが異なるときなどは比較しても同じと判断されてしまうからである。

図３７（ａ）、（ｂ）で示した２枚の画像をこの比較３により違う画像であると判断することができる。

そして、以上の比較要素を掛け算し、最終結果を得る（Ｓ１５５）。期待値と実測値の同期を合わせてから前記のｒｅｓｕｌｔ１、ｒｅｓｕｌｔ２、ｒｅｓｕｌｔ３の結果を取得し、これらの積をとる（値は、０〜１．０となる）。これに１００をかけて％に対応させた結果を返す。

そして、結果（０〜１００）を返す（Ｓ１５６）ことにより、この値が閾値以上である場合、合格とし、閾値未満である場合不合格とする。そして、次に本発明に係る機器、装置の機能チェック装置の音声判定を図３８ないし図４０に基づいて説明する。本例では、ＤＴＭＦ判定（図３８）、ＢＴ／ＲＢＴ判定（図３９）、メロディ判定（図４０）の３つの判定を行う。

まず、ＤＴＭＦ判定を、図３８に基づいて説明する。
ＤＴＭＦ（ＤｕａｌＴｏｎｅＭｕｌｔｉＦｒｅｑｕｅｎｃｙ）は、電話のボタン（０〜９、＊、＃）ごとに割り当てられている、２種類の周波数からなる音声信号である。ＤＴＭＦ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＤＴＭＦ番号（０〜９、＊、＃）と一致するかどうかを判定する。

ＤＴＭＦ音は、それぞれ予め定められた固有の周波数の組合せであるため期待値として利用するのは各ＤＴＭＦの周波数情報であり、期待値としての音データは保持しない。各番号に対応する周波数情報は、図４１に示す通りである。

以下に判定の手順を示す。
まず、押しボタンを操作し（Ｓ２１１）実測値の中で最大音量を記録している周波数を２点取得して（Ｓ２１２）、この値を期待値ＷＡＶＥファイルを読み込む。

次に、読み込んだＷＡＶＥデータをＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ：高速フーリエ変換）にかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２１３）。すると、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる。

次に取得した音量データを、ＤＴＭＦの周波数帯域が記録されていると思われる帯域を低域と高域の２つ（６５０Ｈｚ〜９７０Ｈｚ、１１５０Ｈｚ〜１５００Ｈｚ）に分ける（Ｓ２１４）。この２つに分けた帯域から、それぞれ最も大きい音量レベルが記録されているデータを１点取得する（Ｓ２１４）。この２つのデータをＤＴＭＦ音の実測値の周波数とする。

さらに、期待値として指定されているＤＴＭＦ番号の周波数（２点）と、実測値から割り出された周波数（２点）の低域同士と高域同士でそれぞれ比較し（Ｓ２１６）、固定の許容誤差範囲（±２０Ｈｚ）内であれば一致していると判定する（Ｓ２１７、Ｓ２１８）。この許容誤差外であるときは不良であると判定する（Ｓ２１９）。次に、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）判定を図３７に基づいて説明する。ここで、ＢＴ／ＲＢＴ（ビジートーン／リングバックトーン）とは、それぞれ以下の意味を持つ。即ち、ＢＴ（ビジートーン）は、電話の話中状態を表す音声信号（プーッ・プーッという音）（・は無音）であり、ＲＢＴ（リングバックトーン）は、電話の呼び出し状態を表す音声信号（プルルルル・プルルルルという音）である前記の「プーッ」、もしくは「プルルルル」の部分をＯＮデータと呼び、「・」の部分をＯＦＦデータと呼ぶ。

ＢＴ／ＲＢＴ判定では、マイクで収音した実測値を解析し、実測値に含まれる音声信号の種類が、期待値として指定されているＢＴ、もしくはＲＢＴと一致するかどうかを判定する。

ＲＢＴ、ＢＴにはそれぞれ特有の鳴動パターン（ＯＦＦデータとＯＮデータの間欠パターン）があるため、そのパターンを数値化したものを期待値として利用する。よってこの処理で利用する音データは実測値のみとなる。

以下に判定の具体的な手順を示す。
まず、押しボタンを操作して（Ｓ２２１）鳴動音を取得する（Ｓ２２２）し、期待値ＷＡＶＥファイルを読み込む。次に、読み込んだＷＡＶＥデータをＦＦＴにかけて、周波数毎の音量レベルを表す音量データ配列を取得する（Ｓ２２３）。この処理で、配列のインデックスが周波数帯域を表し、インデックス毎のデータが音量レベルとなる（Ｓ２２４）。

次に、音量データ配列の内容がＢＴ／ＲＢＴの周波数帯域（４００Ｈｚ±２０Ｈｚ）と一致するかどうか調べる（Ｓ２２５）。所定の許容誤差範囲内で一致する場合はＯＮデータであると判断し、そうでない場合はＯＦＦデータであると判断する。これを時間軸に沿って調べて、ＯＮデータとＯＦＦデータの数を算出した鳴動パターン配列を取得する。

次に、期待パターンと取得した鳴動パターンを比較する。これには、まず実測パターンの有効部分を認識する。このとき、実測値の最初にＯＦＦデータが含まれている場合はその部分を切り捨てて、ＯＮデータから始まる部分をデータの有効部分とみなす。

そして、期待パターンと実測パターンを、実測パターンの有効部分から時間軸に沿って比較する。それぞれの鳴動間隔ごとのＯＮ／ＯＦＦデータの要素数の差が指定の誤差範囲未満であれば、その位置は指定トーンのパターンの一部であるとみなす。

そして、期待パターンと同じパターンが一定範囲持続している場合に、一致していると判定し、そうでない場合は不一致とする。

次に、図３８に基づいて、メロディ判定の説明をする。本例でメロディとは、前述のＤＴＭＦ、ＢＴ／ＲＢＴ以外の、音階変化のある音データのことをいうものとする。

メロディ判定では、マイクで収音した実測値を解析し、実測値に含まれる。音データが、期待値として指定されている音データと内容がどれくらい一致しているかということを一致率で表す。

一致率を求める処理、及び一致率を求めるためのデータ生成には、一般に使用される音声ライブラリ（例えば、Ａｎｉｍｏ社のＶｏｉｃｅＢａｓｅＩＩライブラリ）を用いる。判定結果の合否は、システムの既定値またはユーザーの設定した一致率閾値を判定処理で取得した一致率の値が上回るかどうかで合否判定を行う。

この処理で利用する音データは期待値、及び実測値の２つとなる。まず、期待値と実測値とをもとに、それぞれの処理データを取得する。即ち、期待値、実測値のＷＡＶＥファイルを読み込む（Ｓ２３１）。次に、無音区間検出（音声ライブラリ使用）を行い、有効データの開始位置を取得する（Ｓ２３２）。このとき、期待値と実測値の有効データ長をもとに、処理データの単位（１フレーム）ごとのデータ量を決める。

次に、処理データを窓関数（音声ライブラリ）にかけ、ＦＦＴフィルタバンク分析（音声ライブラリ）を行い、マッチング処理用の処理データを取得する（Ｓ２３３）。次に、ＤＰ法（音声ライブラリ）による期待値と実測値の比較処理を行い、比較結果の距離データを取得する（Ｓ２３４）。そして、取得した距離データから一致率を算出する（Ｓ２３６）。

さらに、算出された一致率が、指定の一致率閾値よりも大きい場合に一致していると判定し、閾値未満の場合不一致と判定する（Ｓ２３６〜Ｓ２３８）。

これらの処理を予め定めたメロディについて行い音声判定処理は終了する。

次にＰＤＡ１に対する自動テストを図４２〜図４４を参照しつつ説明する。
上述した携帯電話の場合と同様に、まず環境設定として、ロボット１０のレリーズ６が押すタッチパネル（ＬＣＤパネル３）に表示されているボタン５やハードウェアとしてボタン５等の位置のティーチング、カメラから撮影する画面の設定、ボタン表示位置の設定を行う。評価機の設定を切り替えて複数の機種を扱うことが可能でる点も同様である。次にコンピュータ８付属のマウス８ａの操作でタッチパネルに表示されているボタン５やハードウェアとしてボタン５の擬似的操作を行う。すなわち、図４３に示すような擬似画面上をマウスクリックすると、ロボット１０のレリーズ６がその位置まで移動し、実際に検査対象機であるＰＤＡのタッチパネルを押下する。例えばロボットがアイコンを探して押下するので、ポップアップメニューのようにタッチパネル上のボタンの位置が毎回変わる場合でも大丈夫であり、押下位置を画像で登録することでボタンの表示位置が変わっても、それを認識してロボットが押すことができる。コンピュータ８は、上述のようなマウスクリックや擬似動作、実動作でシナリオ作成する。具体的には、これも上述のように、テスト手順をテストシナリオというスクリプトに記述する。高度な分岐・条件文もマウスクリックで簡単に記述することが可能である。すなわち、擬似画面上でボタンを操作すると自動でシナリオが書き込まれる。そして、シナリオに従ってロボット１０が評価機１を操作し、カメラ４で画像を撮影する。操作内容や画像は全てデータベースに登録される。

ついで画像の判定を行う。これは、静止画判定、ＯＣＲ判定、ＳＥＡＲＣＨ判定、動画判定、音声判定など自動で判定を行う。「と」、「ｉ」、「ｊ」など、微妙な違いも確実に判定できることが望ましい。そして結果確認を行い、テスト結果一覧からすぐに不具合箇所を見つけ、結果報告として、必要な情報を、テスト結果をＣＳＶファイル出力機能や印刷機能を利用して、簡単に出力すればよい。

なお、既に述べたプランジャーユニットや、ＸＹタイプのロボットは、評価対象機器としては最も多く利用されるものとなっているが、プランジャーユニットタイプのロボットを使用すると、同時押し、早押し、開閉、背面液晶のテストが行える。一方、ＸＹタイプのロボットを使うと評価機器が変わっても簡単に取り外し、固定ができ、機体のタイプの変更がある場合にもすぐに対応できる。

次に評価対象機器をカーナビ、カーオーディオとした例を図４４を参照して説明する。使用するロボットのタイプは、６軸ロボット２００（図４４Ａ）とプランジャーユニット２０（図４５Ｂ）が考えられるが、いずれを用いてもタッチパネル３の操作はもちろんのこと、ダイヤル２０２をつまんで回すこともできるので（プランジャーユニット２０については機構の図示を省略してあるが、簡単な構造のアダプタ２０４を用いることで可能となる）、ボリュームの調整も可能である。三次元操作で画面が傾いていても正面から画面を押すことが可能である。

また６軸ロボット２００を用いれば、ＣＤチェンジャー２０６の操作（図４４Ｃ）も可能である。評価対象機器のテストと併せてＣＤ２０８の出し入れを自動で行うことができる。テスト対象機器がカーナビ２１０の場合のＣＤ２０８やＤＶＤ２１２の出し入れを６軸ロボット２００が自動で行い、ＣＤチェンジャー２０６やカーナビ２１０自体もコンピュータ８から制御できる。

なお、車関連の検査としては、図４６に示すように電源の制御が行える。低電圧状態やイグニッションをＯＮにしたときの電圧状態など、ＱＣからプログラマブル電源を操作することにより、電圧状態を変えたテストができる。図示の例では、供給電圧９．５Ｖでディスプレイの表示に問題が無く、供給電圧７．５Ｖでディスプレイの一部の表示が消えた（図中矢印Ｘで示す部分）例を示す。

また、図４７に示すように、ＣＡＮシミュレータ３００との連携もなし得る。すなわち、ＣＡＮインターフェースを持つ車載機器の開発、検証時に広く使用されているＣＡＮシミュレータ（商品名：ＣＡＮｏｅ）との連携テストが行える。コンピュータ８側でＣＡＮシミュレータを制御することにより、ＣＡＮの環境を変更させながら実機を操作するといった連携試験を行える。

また話し言葉判定にも使用できる。すなわち、人の話し言葉を認識して自動判定を行い、これによって、カーナビの音声案内や、外国語対応した組込み機器のマルチランゲージ試験の自動化を実現可能とするのである。図４８の例では音声案内などをマイク３０２で録音し、録音した音あるいは音声が期待値の波形と同じものであるか否かを判定している。

なお、以上の説明で検査対象機器としてきたタッチパネル等がＲＧＢ入力で出力する画像データをそのまま取り込むことができる。歪みのない高い解像度の画像を取り込むことができるので、画像判定も高い精度で行うことができ、大きなディスプレイを搭載している機器にも対応可能となる（図４９参照）。またプログラマブル表示器ではタッチパネル３を操作するだけでなく、各種ＰＬＣ３ｂと連携稼動し、より実際の環境に近いテストを実行することもできる（図５０参照）。さらに、タッチパネル３の画面３ａ上に表示された文字をカメラ４で撮影した画像を基に、ＯＣＲにより文字認識を行い、見つけ出した文字の座標位置にロボットのアームやプランジャーを誘導することもできる（図５１参照）。図示の例では、実測画像（図５１Ａ）中の「証明書」という文字列を認識し、タッチパネル３の画面上で文字列に対応する位置において実際にロボットがアームやプランジャーを作動させるのである。

さらに本発明は、図５２に示すように、赤外線リモコン操作を行えるデジタル家電機器４００に対して本例装置が赤外線信号を制御するように構成できる。図中４０１はコントローラ、４０２は赤外線発信器である。すなわち、通常使用する赤外線リモコンに代わって本例装置が赤外線信号を制御する。学習リモコン機能を有するコントローラ４０１に赤外線信号を登録しておくことで、学習リモコンと同じ操作が可能となる。本例装置のモニタ９の画面上で学習リモコンと同じ操作を行うと、コントローラ４０１を介してそれに対応する赤外線信号が赤外線発信器４０２から出力される。そして、赤外線入力に応じて変化する画面の内容をカメラ又はＲＧＢ入力で取り込めば上述のような機器、装置の機能チェック用のシステムを構成できる。また図５２の例の変形例になるが、例えば図５３に示すように、物理的に操作するプランジャーユニット７とコントローラ４０１と赤外線発信器４０２による赤外線制御を合体させることで、ＤＶＤデッキのようなデジタル家電機器４００を赤外線信号で操作しつつ、実機についているボタンをプランジャーユニット７のレリーズ６で押すといった試験を自動化することができる。

図５４は操作内容がそのままテストシナリオになる機能を有する赤外線リモコン５００とそのディスプレイ内容の一例を示す。赤外線リモコン５００のボタン５０１を押すと、例えば「ボタンを押す」というコマンドがシナリオに記述されるようにして実現できる。

また本発明の装置は、Ｗｉｎｄｏｗｓ（登録商標）アプリケーションの自動評価に使用できる。図５５はそのような例を示す。このような構成とすることにより、例えばＷｉｎｄｏｗｓ（登録商標）をインストールしたパソコン６００のマウスやキーボード６０１のような入力機器からの入力を擬似的に自動操作することができ、また他のマニピュレーターと同時に使用することができるので、ＸＹロボット１０で携帯電話を操作しながらＰＣとの連携試験を行うといったことが可能となる。

図５５、図５６を用い、Ｗｉｎｄｏｗｓ（登録商標）をインストールしたパソコン（以下クライアントＰＣという）６００を用いて行うアプリケーションの連携試験の流れを説明する。
まず、本発明の実施例装置でクライアントＰＣ６００を操作する。本発明の実施例装置のモニタ９のディスプレイに、クライアントＰＣ６００のデスクトップ画面を擬似画面として表示させる。この擬似画面を本発明の実施例装置側のキーボード８ａやマウス８ｂで操作すると、同時にクライアントＰＣ６００が操作されます。操作内容は自動的にシナリオとして入力される（図５６Ａ）。

次にロボット１０とクライアントＰＣ６００の両方を操作する。図５６（Ｂ）に示すように、画面を切り替えることでロボット１０とクライアントＰＣ６００の両方の擬似画面を操作でき、ロボット１０の操作とクライアントＰＣ６００の操作を組み合わせることで、例えばクライアントＰＣ６００から携帯電話１を操作して音楽検索をするなど、クライアントＰＣ６００とテスト対象機器である携帯電話１を連動させたテストを行う。そして、図示は省略するが、テスト結果をデータベースに保存し、期待値と実測値を自動で比較・判定する。評価対象機器である例えば携帯電話１側とクライアントＰＣ６００側の両方の画像が判定される。判定結果は例えばデータベースに保存すればよい。

また本発明の実施例装置は、図５７（Ａ）に示すように、１台の本発明装置と１台のロボット１０を対応させて制御することも、図５７（Ｂ）に示すように、１台の本発明装置で２台のロボット１０、２０を制御することも可能である。２台のロボット１０の制御を予め作成した１本のシナリオで行えば、シナリオの維持管理の手間が軽減さ、また、制御に使用するコンピュータ８が１台で済むので、導入コストも低減できる。なお図示のように、ロボットは異なる機種でも、同一機種でも、いずれでもよい。

図５８に示すように、本発明では、携帯電話１等の検査対象機器又は検査対象装置に対して使用される組込みシステム向けの開発支援を行うＣＡＳＥツール（例えばＺＩＰＣ：商品名）で作成した状態が変化する事象に基づいて少なくとも擬似入力手段を協調動作させ、この協調動作に基づいて、検査対象である携帯電話１等に対する擬似入力の手順を作成する構成も可能である。

本発明は、以上説明してきたようなものであるが、外部からの物品接触による入力は、例えばボタンの押下、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声を含む外部出力を送出する出力手段を備えた機器を検査対象とすることができる。

また、適宜の自由度（例えば、３軸、６軸）を有するロボットを用いて複数のボタンを順次または同時に押下するようにすることができる。特に多軸のロボットを使用した場合には、立体的に配置されたボタン、つまみを的確に操作することができる。

さらに、擬似入力手段としては、検査対象機器が、つまみの回転、タッチパネルへの接触・描画入力、音声入力、カメラ等からの画像信号入力を含む外部入力、また、コネクタからの有線信号入力、電波、赤外線による無線入力前記外部入力である場合には、これらに対応する出力をなすことが簡単にできるようになる。

そして、検査対象機器が携帯電話やカーナビの場合の試験には、外部に接続されたプログマブル電源、電波発生器、シグナルジェネレータ、測定器などの機器やこれらのコントロールソフトと接続した環境でテストをする場合があるが、本発明では、外部機器制御の機能として、シナリオの中にこれら外部機器への制御用命令文を記述することにより、それぞれの機器の制御を行う外部制御モジュールソフトと交信を行い、連携した試験を行える。この場合、外部制御モジュールは、接続機器ごとに用意し、本システムときめられたプロトコルにより、通信を行って外部制御モジュールより外部機器を制御し、または値を得て本発明のシステムに渡すこととなる。

次に本発明に係るソフトウェアツールとして、常時監視ツールについて説明する。常時監視ツールは大きく分けて以下２つの機能で構成されている。
（１）カメラから動画を撮影し、各コマにおいて画像判定を行い、取得した画像を保存する機能（記録ツール）
（２）保存した動画の内容を確認する機能（ビューア）
図５９は、常時監視ツール画面イメージを示す図である。図５９（Ａ）は記録ツールから得られる画像の例を示し、図５９（Ｂ）は常時監視ツール画面のイメージ図である。本例では、常時監視ツール画面はいわゆるＰＣ用等で用いられているビューワソフトの外観を呈しており、図５９（Ｂ）の図中矢印Ａはファイル操作部分、矢印Ｂは画像ファイルを時系列で示す表示部分、矢印Ｃは監視対象画像をファイル名と時間データとともにサムネイル表示する部分、矢印Ｄは画像をサイズを変更するスライダである。

ここで常時監視の動作を説明すると、まず録画、記録を、
（１）カメラまたは画像信号出力可能な機器から画像データを取得し、任意のフレームレート（１〜２０ｆｐｓ程度）でＰＣに画像データを保存するとともに、カメラから取り込んでいる画像をリアルタイムに表示する（図５９（Ａ）参照）。
（２）なお対応可能な画像入力は、例えばＵＳＢカメラからのＵＳＢ端子経由の入力やＤＦＧ／ＳＶ１のＳ端子経由の入力が挙げられるが、これはもちろん拡張可能である。
（３）なお先に説明してきた自動検査システム側から常時監視ツールの制御（監視開始と停止）が可能であるが、本ツールは独立したソフトウェアとして単独でも使用できる。

次に画像の自動判定について説明する。
（１）動画を録画しながらコマごとに画像の自動判定を行うことができる。なお、自動判定を行うとその分撮影スピードは落ちてしまうので、どの判定を実行するか任意にユーザーが選択することができる。撮影した画像は指定のフォルダに保存され、ノイズ判定などＮＧ位置画像がある場合も任意の指定フォルダに保存される（図５９（Ｂ）参照）。

画像判定の形態としては、上述した自動検査システムにおける静止画判定（簡易化した判定も可）、フリーズの検出、ノイズの検出が挙げられる。もちろん判定形態も、種々の態様のものを可能にできる。

（２）指定した画像が表示されている箇所を検出できる。この場合、まず設定画面にて複数枚の静止画画像を登録する。動画を１コマずつ切り出し、登録した静止画と同じ画像が表示されている箇所を検出することで、自動的に正誤判定する。例えばブラックアウトの画面を登録することで、動画の中から一瞬だけ暗くなった箇所を「ＮＧ」として検出する。また、撮影したデータすべてに撮影時刻が紐付けられていることから、その「ＮＧ」画像が表示されるまでの時間を測定することもできる。

（３）フリーズ状態の検出は次のように行う。記録した動画において一定時間変化がない場所をフリーズ状態として検出する。フリーズ箇所が「ＮＧ」とは限らないが、長時間録画した動画から変化の無い箇所を表示することで、動画内容の確認を効率的に行うことができる。

（４）またノイズは、信号線から取得した動画データにおいて、一瞬表示されるような画像のぶれや異常表示を検出し、自動的に正誤判定する。通常人が見る動画像はゆっくりと変化していくが、ノイズはコマごとに小さな変化が起こるので、変化速度の違いをノイズとして検出することができる。

次に動画内容の表示について説明する。
（１）任意の区間において動画を複数枚の静止画に切り出し、サムネイル表示機能とあわせてすぐに目的の画像が表示されている部分を視認することができる。また、画像撮影の時刻も表示される。

（２）画像は時間別のフォルダに格納され、画面上の時間表示箇所で任意の時刻をマウスで選択すると、その時刻周辺の画像が選択され表示される。また、画像は時系列に沿って確認することができる。具体的には、一定時間間隔ごとに静止画を並べて表示し、その隣に帯状の色表示を行う。画像が撮影されている時間帯は例えば水色、画像がない時間帯は例えば灰色、現在表示している時間帯は例えば青色とする。このような色帯状部分をマウスクリックすると、その時間帯の画像が表示される。

（３）また記録した画像データを元の動画と同様に、任意の位置から連続的に再生ができる。カメラで撮影している状態と同じように連続的に動画として再生することができる。動画再生は任意の位置で開始・停止が可能である。

結果表示について説明する。
（１）判定結果も時系列に沿って確認することができる。一定時間間隔ごとに並べた静止画の隣に色帯が表示されるが、そこで判定結果も確認できる。例えば、「ＮＧ」のある箇所では帯表示の隣に文字で「ＮＧ」と表示され、画像判定の種類ごとに色がつけられる。ＮＧ表示をマウスクリックすると実際に「ＮＧ」結果が出た画像とその周辺画像がサムネイルに表示される。また、ノイズ検出の場合はどこがＮＧになったかという情報が別画像（ＮＧ位置画像）で保存されており、サムネイルの画像上で右クリックするとＮＧ位置画像表示を選択することができる。
（２）上述した自動検査システムソフトウェアがインストールされたＰＣ上で常時監視ツールの結果確認ができる場合は、上述した自動検査システムのテスト結果データベースと連携しているため、例えば上述した自動検査システムでＮＧ判定が出た瞬間、常時監視ツールでどのような画像が表示されていたかといったことを確認できる。

すなわち、
（１）本常時監視ツールは、これまで主に静止画で扱っていたものを、動画のように長時間記録し、それを自動的に正誤判定するものであり、動画を１ファイルとして扱うのではなく、１コマずつ切り出した静止画の集合体として扱うことで、任意の位置から速やかに再生・表示を行い、高速な画像認識を行うことができる。また取得したデータを動画として処理することで、画面表示が「速い」、「遅い」といった時系列に対する変化や性能を判定する機能も取り入れることができる。

また、
（２）組込み機器自動検査システムで用いる場合、組込み機器をロボットで操作し、その操作内容や時刻をすべてデータベースに記録しているので、そのデータと連携して本ツールを稼動させることにより、画面表示とロボット操作内容を時刻で照らし合わせることができる。これにより、例えば画面上にエラー表示が起きた時点でロボットがどのような操作を行っていたかといった内容を一瞬にして確認することができる。

次に、画像内容の高速判定ツールについて説明する。このツールは、
（１）ある操作をしてから特定の画面に遷移するまでの時間を測定するもので、例えば、携帯電話でブラウザボタンを押してからブラウザが表示されるまでの時間を測定したり、
（２）すぐに消えるような画面、例えばプログレスバー、１００ｍｓ単位のストップウォッチ、バックライトを判定する。

上記のような目的を達成するために、画像取得から判定までの処理を１０回／１秒〜３０回／１秒程度の速度で可能な機能（コマンド）を上述した自動検査システムに組み込む。この機能は、前記要求に対応するため、画像取得と判定を高速に繰り返すことができるコマンドとなる。また高速に繰り返す必要があるため繰り返し中の画像はデータベースに登録しない。

このツールの機能仕様については以下の通りである。
・機能：画像取得から判定までの一連の処理を指定された期待値が出るまで繰り返す。最大待ち時間になるまで指定された期待値が出なかった場合はＮＧを返す。
・引数１：期待値（遷移完了時画面の期待値／すぐ消える画像）
・引数２：最大待ち時間１ミリ秒〜３０秒（省略可）
・引数３：ＯＮ／ＯＦＦ（※ＰＩＣコマンドのＯＮ／ＯＦＦと同様）
・引数４：取得待ち時間（省略可）
・引数５：カメラ番号
・戻り値（＃）：結果（ＯＫ，ＮＧ，ＥＲＲ）
ＯＫ（文字列）：最大待ち時間内に期待された期待値になった場合
ＮＧ（文字列）：最大待ち時間期待された期待値にならなかった場合
ＥＲＲ（文字列）：上記に当てはまらない場合
・戻り値（＃ＥＬＡＰＳＥＤ＿ＴＩＭＥ）；ＯＫまたはＮＧになるまでの経過時間（ミリ秒）
判定ＯＫの場合：判定ＯＫになった画像を取得した時間−１枚目の画像を取得した時間（ただし取得待ち時間は含まれない）
判定ＮＧの場合：＃ＥＬＡＰＳＥＤ＿ＴＩＭＥ≒最大待ち時間（取得待ち時間も含まれる）
判定ＥＲＲの場合：判定開始からＥＲＲになった時点までの時間

この機能（コマンド）の使用例としては以下のようになる。コマンド名をＦＰＳＴＬとして、
ＦＰＳＴＬ（“期待値”，５ｓ，ＯＦＦ，，０）
ＳＥＴ（ＲＥＴ，＄＃）
ＳＥＴ（ＲＥＴ＿ＴＩＭＥ，＄＃ＥＬＡＰＳＥＤ＿ＴＩＭＥ）

以下の変数については例えば以下について実行時設定にて設定が可能である。
・取得待ち時間のデフォルト値
・最大待ち時間のデフォルト値（＠ＱＣＳＹＳＴＥＭ＿ＦＰ＿ＭＡＸ＿ＷＡＩＴ＿ＴＩＭＥ）
・判定精度（＠ＱＣＳＹＳＴＥＭ＿ＦＰ＿ＳＴＬ＿ＭＥＴＨＯＤ）
０．ＨＩＧＨ＿ＡＣＣＵＲＡＣＹ
判定が高精度（ただし、ＨＩＧＨ＿ＳＰＥＥＤに比べて判定速度が若干遅い）
１．ＨＩＧＨ＿ＳＰＥＥＤ
判定が高速（ただし、ＨＩＧＨ＿ＡＣＣＵＲＡＣＹに比べて判定精度が若干低い）
２．ＡＦＴＥＲ＿ＣＡＰＴＵＲＥ
最大待ち時間になるまで画像を取得し、その後に判定する（ＨＩＧＨ＿ＡＣＣＵＲＡＣＹと同精度）
・実測値保存フォルダ（＠ＱＣＳＹＳＴＥＭ＿ＦＰ＿ＡＣＱ＿ＰＡＴＨ）
・実測値を保存するか（＠ＱＣＳＹＳＴＥＭ＿ＦＰ＿ＡＣＱ＿ＷＲＩＴＥ＿ＩＭＡＧＥ）
・すべてのＮＧ画像を保存するか（＠ＱＣＳＹＳＴＥＭ＿ＦＰ＿ＮＧ＿ＷＲＩＴＥ＿ＩＭＡＧＥ）

結果表示、すなわち上述のコマンド名ＦＰＳＴＬの実行結果は、結果画面にて、判定結果、経過時間、期待値、最後の実測値、ＮＧの場合のＮＧ画像を参照することが可能である。また、途中経過の画像、判定結果画像は特定のフォルダにすべて格納され、エクスプローラにて参照することが可能である。

このコマンドＦＰＳＴＬの実現方法は以下の通りである。
上述の検査システムでは、マシンスペック、画像サイズによるが、画像取得、画像判定には１回／１秒程度の判定速度が限界だった。これは画像取得した画像を一旦ファイル化し、データベースに格納し、その後ファイル化した画像を読み込み判定し、結果をＤＢに格納していたため、主にファイル化とＤＢアクセスに時間がかかり、１回／１秒程度の判定速度となっていた。ファイル化していた一つの理由には、画像取得するプログラムと、判定するプログラムが別アプリで実現されていたためというものがある。

そのため、本機能（コマンド名ＦＰＳＴＬ）では以下のように実現することで極力ファイル化とデータベースへのアクセスの回数を減らし、１０回／１秒〜３０回／１秒程度の判定速度を実現する。
・画像取得と判定は同じアプリケーション（擬似画面）内で行い、画像の受け渡しはファイルではなくメモリで行う。
・判定をより高速に行うようにするため、判定で使用するモデル画像は事前に作成する。
・同一の期待値で、異なる実測値に対して判定を繰り返すため、変わらない値（判定範囲等）は始めの判定で生成し、繰り返し中の判定では作成済みのデータを使用する。
・判定ライブラリの関数や、判定ロジックで、より最適化できる部分を最適化する。
・実行側のアプリケーション（検査システム）と画像取得、判定アプリケーション（擬似画面）とで必要なデータの受け渡しは、異なるアプリケーションであることを意識しないよう、メモリマップドファイルで実現する。
・途中経過の画像保存は、データベースに格納せず、一旦すべてメモリに蓄え本機能（ＦＰＳＴＬコマンド）終了直前にファイル化を行う。
・本機能（ＦＰＳＴＬコマンド）終了時に結果参照に必要なデータのみＤＢに格納する。

なお、その他としては、画像処理ツールＨａｌｃｏｎ（商標）取り込みが可能なカメラ（現状ＤＦＧ、ＤＦＫ、ＵＦＧ）であれば、使用可能である。現行のＰＣスペックを有し、かつ８０万画素まであれば、カメラのフレームレートと同じ速度で判定が可能である。

本発明では、携帯電話やＰＨＳ、ＰＤＡ、ゲーム機、ノートブック型のパーソナルコンピュータ、カーナビゲーション装置、パネルディスプレイ装置等において適用できる。

１評価対象機（携帯電話、ＰＤＡ等）
２アダプタユニット
３ＬＣＤパネル
３ａＬＣＤパネルの画像
４カメラ
５操作ボタン（キーボタン）
６レリーズ
７プランジャーユニット
８コンピュータ
８ａキーボード
８ｂマウス
９モニタ
１０ロボット
１１表示部
１２操作部
プランジャーユニット２０
２１アダプタユニットのベース板
２２傾斜板
２３レリーズガイドパネル
２４側板
２５孔
２６スピーカ
３０ベースユニット
３１ベースユニットのベース板
３２マイク
３３タワー部
３５マイク
４０キャリブレーションシート
５０シナリオリストボックス
５１コマンド設定タブ
５２情報設定部
５３期待値画像表示スペース
６１レリーズのチューブ
６２ピン
６３金属管部
６４ネジヤマ
６５ロックネジ
６６調節ネジ
８０シナリオリストボックス
８１実行時指定部
８２実行状況表示部
８３シナリオ一覧リストボックス
８４カレントシナリオボックス
８５期待値画像表示部
８６実行ＬＣＤ画像表示部
１０１支持部材
１０１ａガイド支持部材
１０１ｂ親スライダ
１０１ｃ子スライダ
１０１ｄ保持用支持部材
１０２携帯電話の蓋部
１０３弾性部材
２００６軸ロボット
２０２ダイヤル
２０４アダプタ
２０６ＣＤチェンジャー
２０８ＣＤ
２１０カーナビ
２１２ＤＶＤ
３００ＣＡＮシミュレータ
３０２マイク
４００デジタル家電機器
４０１コントローラ
４０２赤外線発信器
５００赤外線リモコン
５０１ボタン
６００パソコン
６０１キーボード

Claims

これまで主に静止画で扱っていたものを、動画のように長時間記録し、それを自動的に正誤判定するソフトウェアであって、
動画を１ファイルとして扱うのではなく、１コマずつ切り出した静止画の集合体として扱うことで、任意の位置から速やかに再生・表示を行い、高速な画像認識を行い、
また取得したデータを動画として処理することで、画面表示が速い、遅いといった時系列に対する変化や性能を判定する機能も取り入れることを可能としてなることを特徴とする静止画判定ソフトウェア。
ある操作をしてから特定の画面に遷移するまでの時間を測定すること及び／またはすぐに消えるような画面を判定するため、画像取得から判定までの処理を１０回／１秒〜３０回／１秒程度の速度で可能なソフトウェアであって、
画像取得と判定を高速に繰り返すために、判定繰り返し中の画像を記憶しないことを特徴とする静止画判定ソフトウェア。
請求項１または２に記載のソフトウェアを格納した記憶媒体。
請求項１または２に記載のソフトウェアを利用して携帯電話等の機器の操作ボタンや蓋の開閉機構が設計通りに機能するかどうかを判定するための機器、装置の機能チェック装置であって、
外部からの入力に対応して外部に対して表出させる形態や動作が変化する出力手段を備えた一以上の検査対象機器又は検査対象装置をチェックするための機器、装置の機能チェック装置であり、
前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態を擬似的又は実際的に発生させて前記検査対象機器又は検査対象装置の機能をチェックするための機器、装置の機能チェック装置において、
前記外部からの入力に対応する擬似入力を前記検査対象機器又は検査対象装置に対して印加する擬似入力手段、
該擬似入力手段による入力に応じて前記検査対象機器又は検査対象装置の前記出力手段が生じさせる前記チェック対象となる出力を検出するチェック対象出力検出手段、
前記擬似入力手段による入力手順を指定可能な擬似入力手順設定手段、及び
前記擬似入力手順設定手段で指定した手順に応じて入力される擬似入力による前記チェック対象出力検出手段の動作又は出力と、前記擬似入力に対応する実際の入力による前記検査対象機器又は検査対象装置の前記外部表出形態、動作状態の予想される期待値との整合性を確認する確認手段、
とを備えることを特徴とする機器、装置の機能チェック装置。
請求項４の機器、装置の機能チェック装置において、
前記搭載手段が、複数の移動可能なあるいは位置固定の支持部材で前記検査対象機器又は検査対象装置を保持するために、着脱可能な弾性部材備えることを特徴とする機器、装置の機能チェック装置。