JP2010131311A

JP2010131311A - 計算機

Info

Publication number: JP2010131311A
Application number: JP2008312265A
Authority: JP
Inventors: Keiichi Hiroki; 桂一廣木; Hideo Kawaguchi; 英夫川口; Atsushi Maki; 敦牧; Hisashi Saito; 悠斉藤; Shoji Ikeda; 尚司池田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-12-08
Filing date: 2008-12-08
Publication date: 2010-06-17
Anticipated expiration: 2028-12-08
Also published as: JP5246496B2

Abstract

【課題】ストローク情報を用い、筆記作業中のブロッキングの発生を捕捉する。
【解決手段】作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成する。
【選択図】図８

Description

本発明は、計算機に関し、特に、作業者による作業の中断を検出する技術に関する。

作業者が作業をするとき、ふと集中力が途切れて、作業が中断する現象がある。この現象は、心理学分野では、ブロッキングといわれる。人間の集中力を調べるために多数の方法が提案されている。これらは、主に集中度の高さを観察する方法であり、集中力の散漫を捕捉する方法については存在しなかった。

例えば、内田・クレペリン検査が採用試験や性格検査に用いられており、検査の結果を効率的に評価する技術が提案されている。例えば、特許文献１には、画像処理によってクレペリン検査の判定を自動化する技術が開示されている。また、特許文献２には、細かい単位時間で処理能力の時間推移を判定する技術が開示されている。また、特許文献３には、刺激に対する反応時間を測定することによって、反応能力と作業能力を区別する技術が開示されている。

また、被験者の筆記履歴を取得する技術として、特許文献４には、デジタルペンによって取得された時間情報を利用して採点をする技術が開示されている。
特開２００２−１７５４９７号公報特開２００３−６５６６号公報特開２００１−１２０５２２号公報特開２００７−１０２８１７号公報

前述した内田・クレペリン検査について、検査中の被験者のブロッキングを適切に検出しないと、検査結果を適切に評価することが困難である。被験者は、検査時間中に集中力を継続することが求められる。

内田・クレペリン検査の結果の適切なパターンは広く知られている。このため、被験者が検査中に作業を中断して、適切なパターンに近づけることがある。このため、内田・クレペリン検査中の作業の中断（集中力の途切れ）を検出し、検査の結果を正確に判定することが求められている。しかし、前述した内田・クレペリン検査を効率的に解析する技術は、いずれも検査中の被験者のブロッキングを検出することを目的とするものではない。

本発明は、デジタルペンによって取得したストローク情報を用い、筆記作業中のブロッキングの発生を捕捉することを目的とする。

本発明の代表的な一例を示せば以下の通りである。すなわち、作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成する。

本発明の実施の形態によると、作業中のブロッキングの発生を捕捉することによって、被験者による意図的な作業の中断を発見することができる。

まず、本発明の実施の形態の概要について説明する。

本実施の形態の計算機は、用紙内のレイアウト及び用紙内に記入されたストロークの位置に基づいて記入時のペンの接触時間及び間隔時間を計算し、計算された時間を標準的な時間と比較することによって、ブロッキング状態を捕捉する。このため、本実施の形態の計算機は、デジタルペンからストロークデータを取得するデジタルペン接続装置、ストロークデータから記入された文字を認識する文字認識部、ブロッキングを判定する演算部を備える。

図１は、本発明の実施の形態の計算機の論理的な構成を示すブロック図である。

本実施の形態の計算機は、デジタルペン接続装置１０１、演算部１０２、文字認識部１０３、記憶装置１０４及び出力装置１０７を備え、これらは、図２に示すように、一つの物理計算機（クライアント計算機１１０）に実装される。

デジタルペン接続装置１０１は、デジタルペン接続装置１０１に接続されたデジタルペン１５０から情報を収集する。

演算部１０２は、プロセッサ及びメモリを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。

文字認識部１０３は、文字認識データベースを用いて、デジタルペン１５０によって取得されたストロークを文字として認識する。この文字認識には、既存の文字認識エンジンを用いることができる。

記憶装置１０４は、磁気ディスク装置等の不揮発性記憶装置によって構成され、出現頻度データ１０５、標準時間データベース１０６及び原稿用紙データ１０８を格納する。出現頻度データ１０５は、作業上出現しやすいストロークの情報を含む。具体的には、作業者によって記入される頻度が多い（又は、少ない）文字に関するデータ、作業の種類によって、を含む。例えば、内田・クレペリン検査では、被験者は数字を記入するので、作業上出現しやすいストロークは数字である。

標準時間データベース１０６は、文字を記入するために必要な時間の情報を含む。具体的には、文字毎に、１画のストロークの記入に必要な時間及びストローク間のペン先の移動に必要な時間のデータを含む。原稿用紙データ１０８は、利用者が作業する用紙の情報を含む。例えば、このシステムによって内田・クレペリン検査の結果を解析する場合、内田・クレペリン検査の問題用紙である。

出力装置１０７は、ディスプレイ、プリンタ等であって、本計算機による処理結果を出力する。なお、出力装置の代わりに記憶装置を設け、記憶装置に処理結果を格納してもよい。

図３は、本発明の実施の形態の計算機の別な構成を示すブロック図である。

図３に示す計算機は、図１に示した計算機と同様に、デジタルペン接続装置１０１、出力装置１０７を備える。また、本実施の形態の計算機は、クライアント計算機１２１、１２２及びサーバ１２３を含む計算機群によって構成される計算機システムである。クライアント計算機１２１は、デジタルペン接続装置１０１を備える。クライアント計算機１２２は、出力装置１０７を備える。サーバ１２３は、演算部１０２、文字認識部１０３及び記憶装置１０４を備える。

クライアント計算機１２１、１２２は、各々、プロセッサ、メモリ及びサーバ１２３と接続されるインターフェースを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。サーバ１２３は、プロセッサ、メモリ及びクライアント計算機１２１、１２２と接続されるインターフェースを備え、プロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。すなわち、図３に示す計算機システムでは、サーバ１２３は、クライアント計算機１２１と接続されるインターフェースを介して、デジタルペン１５０から情報を収集する。

デジタルペン接続装置１０１、演算部１０２、文字認識部１０３、記憶装置１０４及び出力装置１０７の構成は、図１を用いて説明した例と同じである。

クライアント計算機１２１は、デジタルペン接続装置１０１を備え、デジタルペン１５０から収集された情報をサーバ１２３に送る。サーバ１２３は、演算部１０２、文字認識部１０３及び記憶装置１０４を備え、演算部１０２のプロセッサがメモリに記憶されたプログラムを実行することによって、各種処理を行う。クライアント計算機１２２は、出力装置１０７を備え、サーバ１２３による処理結果を出力する。

ここで、デジタルペンに１５０によるストローク情報の取得の原理について説明する。

図４は、本発明の実施の形態のデジタルペン１５０による紙面上の座標取得の説明図である。

デジタルペン１５０は、ＣＰＵ、メモリ、通信インターフェース、カメラ１５１、電池及び筆圧センサを備える。また、デジタルペン１５０は、インク又は黒鉛によって紙面上に文字、記号等を筆記可能なペン先を備える。

デジタルペン１５０は、位置検出用のドット２０３が印刷された用紙２０と共に用いられる。ここで、用紙２０の一部２０１を拡大して、ドット２０３について説明する。用紙２０には、複数の小さなドット２０３が印刷されている。このドット２０３は、仮想的な格子線の交点（基準点）２０２から上下左右にずれた位置に印刷されている。

紙に文字、図形がデジタルペン１５０で記入されると、記入された文字等は紙に視認可能に残る。デジタルペン１５０は、筆圧センサによってペン先が紙に接したことを検出すると、カメラ１５１によって紙上に印刷されたドット２０３を撮影する。デジタルペン１５０は、例えば、６×６個のドット２０３を含む領域を撮影する。

デジタルペン１５０は、撮影したドットパターンのズレ量から、当該ドットパターンが存在する絶対座標を演算する。この絶対座標は、広大な平面領域における当該ドットパターンが存在する座標である。この広大な平面領域は、同じドットパターンが重複して存在しないように配置できる全領域である。

デジタルペン１５０は、演算された絶対座標を、デジタルペン接続装置１０１を介して、サーバ１２３（又は、クライアント計算機１１０）に送信する。サーバ１２３は、デジタルペン１５０によって演算された絶対座標を位置情報サーバ（図示省略）に送信する。位置情報サーバは、サーバ１２３から送信された絶対座標に基づいて、前記広大な平面領域中の該紙面の位置（ドットパーターンＩＤ）と、ある一枚の紙面における座標（相対座標）とを特定し、特定したドットパターンＩＤ及び相対座標をサーバ１２３に送信する。

このようにして、サーバ１２３は、デジタルペン１５０が撮影したドットパターンから、ドットパターンＩＤ及び相対座標を取得する。

デジタルペン１５０が、ペン先が接した位置の情報を周期的（例えば、一定時間毎）に取得することによって、ペン先の動きが分かる。そして、デジタルペン１５０は、撮影したドットパターンに対応する絶対座標、当該ドットパターンの撮影時刻及びペンＩＤをクライアント計算機１２１に送信する。

クライアント計算機１２１は、デジタルペン１５０によって演算された絶対座標に基づいて、位置情報サーバから相対座標を取得する。サーバ１２３は、取得した相対座標及びドットパターンが撮影された時刻から、ペン先の軌跡（ストローク情報）を生成する。

なお、位置情報サーバを別に設けることなく、サーバ１２３に含めてもよい。

また、デジタルペン１５０は、ドットパターンＩＤ及び相対座標を特定するために、位置情報サーバを用いなくてもよい。例えば、紙に印刷された識別番号、紙に印刷されたバーコード、又は、紙に埋め込まれたＩＣタグによって用紙を特定してもよい。さらに、タブレットを用いて用紙上の位置（相対座標）を特定することができる。なお、ＩＣタグ等を用いる用紙の特定又はタブレットを用いる用紙上の位置の特定のいずれかと、位置情報サーバによる絶対座標の特定を組み合わせてもよい。このようにすると、書類管理システムがドットパターンＩＤ及び相対座標を特定する処理を軽減できる。

図５は、本発明の実施の形態のストロークセット２６の一例を示す。

ストロークセット２６は、デジタルペン１５０によって記入された文字「東京」を示す。本実施の形態では、図に示すように、用紙の左上を原点とし、横方向をＸ軸とし、縦方向をＹ軸として、ストロークの位置が定められる。

前述したように、ストロークセットは、一纏まりの線（ストローク）の集合であり、線が記入された時間及び／又は線同士の位置関係に基づいて特定される。

図６は、本発明の実施の形態のストローク情報２３のうちストロークセット情報２４の構成図である。図６には、図５に示すストロークセット２６のストロークセット情報を示す。

ストロークセット情報２４は、ストロークセットＩＤ２４１、ペンＩＤ２４２、記入開始日時２４３、該当矩形座標２４４、ストローク数２４５及びストローク情報２４６を含む。

ストロークセットＩＤ２４１は、当該ストロークセットの一意な識別子である。ペンＩＤ２４２は、当該ストロークセットを記入したデジタルペン１５０の一意な識別子である。

記入開始日時２４３は、当該ストロークセットを記入し始めた日時である。該当矩形領域２４４は、当該ストロークセットを含む矩形の領域である。該当矩形領域２４４は、当該ストロークセットが記入された書類における座標（相対座標）であり、矩形領域の左上端の座標及び右下端の座標で表される。

ストローク数２４５は、当該ストロークセットに含まれる線（ストローク）の数である。ストローク数２４５と同数のストローク情報２４６が記録される。ストローク情報２４６は、標本点数２４６Ａ及びシリアル番号２４６Ｂを含む。

標本点数２４６Ａは、デジタルペン１５０によって取得され、当該ストロークを構成する相対座標の数である。シリアル番号２４６Ｂは、デジタルペン１５０によって取得され、当該ストロークを構成する相対座標の一意な識別子であり、ストローク座標情報２５（図７）へのリンクである。

図７は、本発明の実施の形態のストローク情報２３のうちストローク座標情報２５の構成図である。

ストローク座標情報２５は、シリアル番号２５１、Ｘ座標２５２、Ｙ座標２５３及び取得時刻２５４を含む。

シリアル番号２５１は、デジタルペン１５０によって取得された相対座標の一意な識別子である。Ｘ座標２５２は、図９に示すＸ軸方向の相対座標であり、例えば、ミリメートルを単位として表す。Ｙ座標２５３は、図５に示すＹ軸方向の相対座標であり、例えば、ミリメートルを単位として表す。取得時刻２５４は、デジタルペン１５０によって当該相対座標が取得された時刻を表す。なお、図７に示す例では、取得時刻２５４には、記入開始時刻２４３からの経過時間が記録されている。

図８は、本発明の実施の形態の計算機による処理の全体を示すフローチャートである。

まず、デジタルペン接続装置１０１は、デジタルペン接続装置１０１に接続されたデジタルペン１５０から、取得したペン情報（ストローク情報）を取得し（Ｓ２０１）、取得したストローク情報を演算部１０２に送る。

演算部１０２は、取得したストローク情報から、ペンイベント（ペンが紙面に接するペンダウン及びペンが紙面から離れるペンアップ）を抽出し、ペンイベントにおいてストローク情報を分割し、一つ一つのストロークを特定する（Ｓ２０２）。

また、演算部１０２は、取得したストローク情報から、利用者が記入したイメージ画像を作成し、作成されたイメージ画像を文字認識部１０３に送る。文字認識部１０３は、作成されたイメージ画像を文字認識をする（Ｓ２０３）。

その後、演算部１０２は、分割されたストロークと、文字として認識されたストロークとを比較する。そして、文字として認識されなかったストロークは、意味のない作業の結果なので、ノイズストロークであると判定する。判定されたノイズストロークを分割されたストロークから除去する（Ｓ２０４）。このノイズストロークの除去によって、意味のある作業によって記入されたストロークのみを抽出することができる。

また、出現頻度データ１０５を参照して、ノイズストロークであるかを特定する。例えば、後述する内田・クレペリン検査において記入されるべき文字は数字のみであることから、認識された文字のうち数字以外の文字はノイズと判定することができる。

その後、演算部１０２は、ノイズが除去された各ストロークの始点及び終点の時刻（記入開始時刻及び記入終了時刻）を特定して、各ストロークの継続時間及び間隔時間を算出する（Ｓ２０５）。具体的には、ストロークの記入終了時刻から記入開始時刻を減じてストロークの継続時間を求める。また、ストロークの記入開始時刻から前のストロークの記入終了時刻を減じてストロークの間隔時間を求める。

さらに、演算部１０２は、ノイズが除去された各ストロークの始点及び終点の位置（Ｘ座標及びＹ座標）を特定し、特定された座標間の移動時間を求める（Ｓ２０６）。

その後、演算部１０２は、標準ストローク時間を算出する（Ｓ２０７）。具体的には、文字認識結果を用いて、標準時間データベース１０６を参照して、ストロークの継続時間及びストローク間の間隔時間を抽出して、標準ストローク時間を定める。また、ステップＳ２０６において求めた文字間のストロークの間隔時間から、文字間の標準ストローク時間を算出する。

その後、ステップＳ２０５で計算された各ストロークの継続時間及び間隔時間と、ステップＳ２０７で計算された標準ストローク時間とを比較する（Ｓ２０８）。具体的には、文字の間のストロークの間隔時間、文字中の各ストロークの間隔時間、及び文字中の各ストロークの継続時間の各々を、算出された標準ストローク時間と比較する。そして、実際の継続時間及び間隔時間が、標準ストローク時間より大きい箇所をブロッキングと判定する。すなわち、下記の３状態がブロッキング状態と判定される。
（１）ストロークの継続時間が標準ストローク時間より長く、ペンが紙に長時間ついている状態。
（２）ストロークの間隔時間が標準ストローク時間より長く、ペンが紙から長時間離れている状態。
（３）ノイズストロークが検出されており、ペンが意味のない動作を続けている状態。

図９は、本発明の実施の形態の標準時間データベース１０６の構成を示す説明図である。

標準時間データベース１０６は、文字１０６１と、標準時間１０６２とを含む。

文字１０６１には、標準時間データベース１０６に登録される文字が記録されている。標準時間１０６２には、その文字を筆記するために必要な時間の標準値が記録されている。なお、文字が複数の画数によって構成されている場合、１画のストロークの標準時間と、ストローク間の標準時間が記録される。

例えば、文字「４」について、１画目を記入するための標準時間は「４（１）」に記録され、２画目を記入するための標準時間は「４（２）」に記録される。また、１画目と２画目との間隔の標準時間は「４（１−２）」に記録される。

図１０は、本発明の実施の形態の図３に示す計算機システムにおける処理を示すシーケンス図である。

デジタルペン１５０は、利用者（被験者）が試験用紙に記入した文字等のストロークデータを蓄積する（Ｓ５０１）。

デジタルペン１５０は、蓄積されたストロークデータを、デジタルペン接続装置１０１を介して、サーバ１２３に送信する（Ｓ５０２）。

サーバ１２３は、デジタルペン１５０から送信されたストローク情報を用いて、利用者が筆記したイメージ画像を作成し、作成されたイメージ画像を文字認識部１０３に送る（Ｓ５０３）。文字認識部１０３は、イメージ画像に表された文字を認識し、認識結果をサーバ１２３に返信する（Ｓ５０４）。

サーバ１２３は、文字認識結果を標準時間データベース１０６に送る（Ｓ５０５）。標準時間データベース１０６は、認識された文字の標準時間（継続時間及び間隔時間）を抽出し、抽出されたストローク毎の標準時間をサーバ１２３に送る（Ｓ５０６）。

サーバ１２３は、各ストロークの継続時間及び間隔時間と、実際のストロークの継続時間及び間隔時間とを比較して、ブロッキングを判定し、この判定結果をクライアント計算機１２２に送信する（Ｓ５０７）。

クライアント計算機１２２は、ブロッキングの判定結果を出力する。

図１１は、本発明の実施の形態のブロッキングを判定する処理のフローチャートである。

まず、イベントＩＤを２（初期値）に設定する初期設定を行う。その後、演算部１０２は、イベントと前のイベントとの間の時間差ｔと、標準時間ｔ₀とを比較する（Ｓ６０１）。このブロッキング判定処理におけるイベントとは、ペンが紙面に接するペンアップ及びペンが紙面から離れるペンダウンである。また、標準時間ｔ₀は、文字認識結果を用いて特定された標準ストローク時間である。

演算部１０２は、イベント間の時間差ｔがｋ×ｔ₀より大きい場合、ペンの動きが止まっている可能性があるので、ステップＳ６０４へ進む（Ｓ６０２）。なお、ｋは比較係数であり、１以上の数である。この比較係数ｋを小さくすると、ペンの停止がブロッキングと判定されやすい。一方、比較係数ｋを大きくすると、ペンの停止がブロッキングと判定されにくい。

イベント間の時間差ｔがｋ×ｔ₀以下である場合、演算部１０２は、このイベントではブロッキングが生じていないと判定し、次のイベントデータの処理をするため、Ｓ６０９に進む（Ｓ６０３）。

ステップＳ６０４では、演算部１０２は、イベント間の時間ｔにおいて、ペンが紙面から離れているか否かを判定する。すなわち、ペンアップからペンダウンまでの間はペンが紙面から離れており、ペンダウンからペンアップまでの間はペンが紙面に接している。その結果、このイベント間において、ペンが紙面から離れていない場合、演算部１０２は、ペンを紙に付けた状態で作業が停止しているブロッキングであると判定して、Ｓ６０９に進む（Ｓ６０５）。一方、このイベント間において、ペンが紙面から離れている場合、ステップＳ６０６に進む。

次に、演算部１０２は、イベント間の時間ｔにおいて、ノイズストロークが検出されているか否かを判定する（Ｓ６０６）。その結果、ノイズストロークが検出されていない場合、演算部１０２は、ペンを紙から離した状態で作業が停止しているブロッキングであると判定して、Ｓ６０９に進む（Ｓ６０７）。一方、ノイズストロークが検出されている場合、演算部１０２は、無意味な動作を伴って作業が停止しているブロッキングであると判定して、Ｓ６０９に進む（Ｓ６０８）。

その後、演算部１０２は、次のイベントがあるか否かを判定する（Ｓ６０９）。イベントＩＤがイベントの最大数未満である場合、次のイベントがあるので、イベントＩＤに１を加算して、ステップＳ６０１に戻る（Ｓ６１０）。一方、イベントＩＤがイベントの最大数以上である場合、次のイベントがないので、このブロッキング判定処理を終了する。

図１２は、本発明の実施の形態のストローク時間と標準時間との比較の説明図である。このストローク時間と標準時間との比較には、図１２に示すテーブル９００が用いられる。

図１２に示すテーブル９００は、ストロークＩＤ９０１、イベントＩＤ９０２、イベント種別９０３、文字認識結果９０４、座標９０５、時刻９０６、前のイベントとの時間差９０７、実時間差９０８、標準時間９０９及びブロッキング判定結果９１０を含む。

ストロークＩＤ９０１は、ストローク毎に定められる一意の識別子である。イベントＩＤ９０２は、所定のイベント（ペンアップ及びペンダウン）の一意の識別子である。イベント種別９０３は、このイベントが、ペンが紙面に接するペンアップ（Ｏｎ）であるか、ペンが紙面から離れるペンダウン（Ｏｆｆ）であるかを示す。

すなわち、一つのストロークには、一対のペンダウン及びペンアップのイベントが含まれ、ペンダウンがストロークの始点を表し、ペンアップがストロークの終点を表す。

文字認識結果９０４は、一つ以上のストロークから、文字認識エンジンによって認識された文字である。認識された文字が２画以上のストロークで構成される場合、画数のデータも含む。例えば、テーブル中、「４（１）」は、文字認識で「４」と判定された文字の第１画のデータであることを示し、「４（２）」は、第２画のデータであることを示す。また、このストロークが文字認識できなかった場合、意味のない記入をしていたと判断され、ノイズストロークであること（Ｎｏｉｓｅ）が記録される。

座標９０５は、このエントリのイベントが生じた紙面上の座標である。時刻９０６は、このエントリのイベントが生じた時刻である。

時間差９０７は、直前のイベントの発生時刻との差の時間である。すなわち、ペンダウンからペンアップまでの時間差は、このストロークを書くために使われた時間（継続時間）を表す。また、ペンアップからペンダウンまでの時間差は、前のストロークを書き終わってから、このストロークを書き始めるまでのペンの移動に使われた時間（間隔時間）を表す。実時間差９０８は、時間差９０７からノイズストロークの時間を減じた時間であり、実際の間隔時間（又は、継続時間）を表す。

標準時間９０９は、このストロークを筆記するために必要とされる標準的な時間であり、図１３に示す標準時間算出処理によって算出される。なお、図１２に示すテーブル９００では、既に比較係数を乗じた値を標準時間に記録したが、比較係数を乗じない値を標準時間に記録してもよい。なお、前述したように、比較係数を小さくすればブロッキングは厳しく判定され、比較係数を大きくすればブロッキングは緩く判定される。

ブロッキング判定結果９１０は、実時間差９０８と標準時間９０９とを比較した結果によって判定されたブロッキングの有無が記録される。すなわち、実時間差９０８が標準時間９０９より大きい場合、作業が停止している。この場合、ブロッキングであると判定され、ブロッキング状態であることが記録される。なお、図１２に示すテーブルでは、ブロッキングの種類（Ｏｆｆが長い、Ｏｎが長い、Ｎｏｉｓｅ）も記録される。

図１３は、本発明の実施の形態の標準時間算出処理のフローチャートであり、図８のステップＳ２０６及びＳ２０７に対応する。

まず、イベントＩＤを２（初期値）に設定する初期設定を行う。その後、演算部１０２は、イベントと前のイベントとの間の時間差ｔを算出する（Ｓ７０１）。

次に、演算部１０２は、このイベントがペンダウンか否かを判定する（Ｓ７０２）。具体的には、テーブル９００のイベント種別９０３がＯｎであるか、Ｏｆｆであるかによって、このイベントがペンダウンであルか、ペンアップであるかを判定する。

判定の結果、イベントがペンダウンである場合、このエントリのデータは記入されたストロークのデータなので、ステップＳ７０６に進む。一方、イベントがペンアップである場合、このエントリのデータはストローク間のデータなので、ステップＳ７０３に進む。

ステップＳ７０３では、演算部１０２は、このストローク間は一つの文字の中に含まれるか否かを判定する。具体的には、このエントリと次のエントリとの文字認識結果４０４が同じである場合、このエントリは同じ文字内のストローク間の間隔時間のデータなので、ステップＳ７０６に進む。一方、このエントリと次のエントリとの文字認識結果４０４が違う場合、このエントリは異なる文字間のストロークの間隔時間のデータなので、ステップＳ７０４に進む。

ステップＳ７０４では、演算部１０２は、文字認識結果を用いて、連続する文字の座標（ｘ₁，ｙ₁），（ｘ₂，ｙ₂）を求める（Ｓ７０４）。座標は、この文字の最後のストロークの終点の座標と、次の文字の最初のストロークの始点の座標とを用いることができる。また、文字認識に使用された文字（この文字及び次の文字）の認識枠の左上頂点の座標を用いてもよい。また、各認識枠の中心の座標や、各文字の重心の座標を用いることもできる。

その後、演算部１０２は、ステップＳ７０４で求めた座標間の標準ストローク時間を求める（Ｓ７０５）。この標準時間ｔ₀は、各座標間の距離（（ｘ₁−ｘ₂）²＋（ｙ₁−ｙ₂）²）^1/2に、距離１に対する標準移動時間ｔ₁を乗じた値である。

一方、ステップＳ７０６では、演算部１０２は、文字認識結果を用いて、標準時間データベース１０６を参照して、ストロークの継続時間及びストローク間の間隔時間を抽出して、基本標準時間ｔ_sを求める（Ｓ７０６）。

その後、演算部１０２は、文字の大きさによって基本標準時を補正して、標準ストローク時間ｔ₀を求める（Ｓ７０７）。具体的には、基本標準時間ｔ_sに、Ｓ₀／Ｓ_Sを乗じた値を標準ストローク時間ｔ₀とする。Ｓ₀は実際に記入された文字の大きさであり、Ｓ_Sは基本の文字の大きさである。文字の大きさには、文字認識時に使用した認識枠の大きさを文字認識部１０３から取得して用いるとよい。

以上説明したステップＳ７０２からＳ７０７までの処理について纏めると、このストロークデータが文字間のデータである場合ステップＳ７０４に進み、このストロークデータが文字内のデータである場合ステップＳ７０６に進むことになる。その結果、ステップＳ７０４からＳ７０５では文字間の間隔時間が計算され、ステップＳ７０６からＳ７０７では、文字内の継続時間及び間隔時間が求められる。

なお、ステップＳ７０３〜Ｓ７０５では、全ての文字の間について、ストローク間の標準時間を求めたが、改行があった場合（例えば、横書きで、Ｙ座標が大きく変化した場合）のみに文字の間隔を求めてもよい。

その後、演算部１０２は、次のイベントがあるか否かを判定する（Ｓ７０８）。イベントＩＤがイベントの最大数未満である場合、次のイベントがあるので、イベントＩＤに１を加算して、ステップＳ７０１に戻る（Ｓ７０９）。一方、イベントＩＤがイベントの最大数以上である場合、次のイベントがないので、この標準時間算出処理を終了する。

図１４は、本発明の実施の形態の、ブロッキング判定結果に基づいて意図的な操作を検出する処理のフローチャートであり、図８のステップＳ２０８の後に実行される。

演算部１０２は、ブロッキングの判定結果（図８のステップＳ２０８）から、ブロッキングが発生している座標を特定する（Ｓ８０１）。

次に、演算部１０２は、原稿用紙データ１０８を参照し、ステップＳ８０１で特定された座標から、ブロッキングが発生している問題を特定する（Ｓ８０２）。そして、演算部１０２は、問題ごとにブロッキングの発生率を計算する（Ｓ８０３）。ブロッキングの発生率とは、ブロッキングの発生回数を問題数で除したものである。

また、演算部１０２は、問題の内容によって問題を分類する（Ｓ８０４）。例えば、内田・クレペリン検査の場合、問題は４２種類に分類することができる。

その後、演算部１０２は、ステップＳ８０３によるブロッキング発生率と、ステップＳ８０４による問題の分類結果とに基づいて、問題の種類毎にブロッキング発生率を計算する。そして、演算部１０２は、計算された問題の種類毎のブロッキング発生率と予め定められた閾値とを比較して、特定の種類の問題でブロッキングが発生しているか否かを判定する（Ｓ８０５）。その結果、特定の種類の問題でブロッキングが発生している場合、作業者が特定の種類の問題が苦手であるために、作業の遅延が発生したと判定する。

次に、演算部１０２は、原稿用紙データ１０８（図１５）の難易度１０８３を参照し、難易度の高い問題を選別する（Ｓ８０６）、クレペリン検査の場合、繰り上がりのある問題は難度が高い問題である。そして、演算部１０２は、選別された問題のブロッキング発生率と予め定められた閾値とを比較して、難易度の高い問題でブロッキングが発生しているか否かを判定する（Ｓ８０７）。その結果、難易度の高い問題でブロッキングが発生している場合、作業者の実力が不足しているために、作業の遅延が発生したと判定する。

その後、内田・クレペリン検査の検査結果を解析する（Ｓ８０８）。具体的には、演算部１０２が、画像処理によって、検査結果が所定のパターン（例えば、定型パターン）であるかを判定することができる。この画像処理による検査結果の解析には、例えば、特開２００２−１７５４９７号公報に記載された技術を用いることができる。また、検査者による目視によって検査結果を解析してもよい。

その後、演算部１０２は、検査結果が定型パターンであり、かつ、ブロッキングが一定回数以上発生している行があるか否かによって、作業者が検査結果を操作した可能性があるかを判定する（Ｓ８０９）。そして、検査結果が定型パターンであり、かつ、ブロッキングが一定回数以上発生している行がある場合、作業者が、検査結果を定型パターンに近づけるための操作をした可能性があると判定する。一方、そうでない場合、通常のブロッキングであると判定する。この場合のブロッキングは、作業中の散漫に起因していると考えられ、診断材料として利用される。

図１５は、本発明の実施の形態の原稿用紙データ１０８の構成を示す説明図である。

原稿用紙データ１０８は、問題の識別子１０８１と、座標１０８２と、難易度１０８３と、内容１０８４とを含む。

問題の識別子１０８１は、この用紙に含まれる問題の一意の識別子である。内田・クレペリン検査においては、用紙の左上から右に向かって問題ＩＤを付与する。座標１０８２は、この問題が紙面上に配置された座標である。難易度１０８３は、この問題の難易度であり、難易度が高い問題には「高」が記録されている。内容１０８４は、この問題の内容である。

なお、原稿用紙データ１０８には、問題の種類の情報が含まれてもよい。

図１６は、本発明の実施の形態の書き足しを判定する処理のフローチャートである。

まず、演算部１０２は、ストロークＩＤを１に設定し、問題ＩＤ（Ｑ）を１に設定し、進行レジスタ（Ｑ’）を１に設定する初期設定を行う。その後、ストロークＩＤから、対応する問題ＩＤを求める（Ｓ５０１）。具体的には、ストロークＩＤが示すストロークの座標に最も近い座標の問題の識別子を、原稿用紙データ１０８から選択する。

その後、演算部１０２は、問題ＩＤ（Ｑ）と進行レジスタ（Ｑ’）とを比較する（Ｓ５０２）。比較の結果、問題ＩＤ（Ｑ）が進行レジスタ（Ｑ’）より小さい場合、以前の問題に戻っているので、「書き足し」であると判定し（Ｓ５０３）、ステップＳ５０６に進む。

一方、問題ＩＤ（Ｑ）が進行レジスタ（Ｑ’）以上である場合、作業者による問題の進行は正常であるので、「書き足し」ではないと判定し（Ｓ５０４）、問題ＩＤ（Ｑ）を進行レジスタ（Ｑ’）に設定し（Ｓ５０５）、ステップＳ５０６に進む。

前述したように、内田・クレペリン検査においては、用紙の左上から右に向かって問題ＩＤを付与する。このため、問題ＩＤの順と正常な解答順序とは一致することから、ストロークＩＤに対応する問題ＩＤの増減によって、書き足しの有無を判定することができる。

その後、演算部１０２は、次のストロークがあるか否かを判定する（Ｓ５０６）。ストロークＩＤがストロークの最大数未満である場合、次のストロークがあるので、ストロークＩＤに１を加算して、ステップＳ５０１に戻る（Ｓ５０７）。一方、ストロークＩＤがストロークの最大数以上である場合、次のストロークがないので、この書き足し判定処理を終了する。

図１７は、本発明の実施の形態のブロッキング判定結果を数値で表す場合の表示画面４５０の説明図である。

画面４５０には、被験者４５１毎に、ブロッキング回数４５２及びブロッキング頻度４５３が表示される。ブロッキング頻度４５３は、単位時間あたりのブロッキング回数（例えば、回／分）で表示される。

図１８は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の表示画面４６０を示す説明図である。

画面４６０には、作業単位毎に、時間あたりの作業量４６１及びブロッキングが発生した位置４６２が表示される。画面４６０によると、時間あたりの作業量とブロッキングが発生した位置との関係を知ることができる。

図１９は、内田・クレペリン検査の検査用紙にブロッキング判定結果を重畳させて表示した画面４９０の説明図である。

画面４９０には、被験者の回答結果４９１及びブロッキングが発生した位置４９２が表示される。画面４９０によると、１行ごとの作業量と、ブロッキングが発生した位置を知ることができる。

図２０は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面４７０の説明図である。

画面４７０には、作業単位毎に、時間あたりの作業量４７１及びブロッキングが発生した時間４７２が表示される。画面４７０によると、ブロッキング時間を除外した実作業時間を知ることができる。

図２１は、本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面４８０の説明図である。

画面４８０には、作業単位毎に、時間あたりの作業量４８１及びブロッキングが発生した時間４８２が表示される。画面４８０では、画面４７０（図２０）と異なり、ブロッキングが発生した時間４８２が時間あたりの作業量４８１の右端（基準線から遠い位置）に表示されている。このため、例えば、内田・クレペリン検査において、画面４８０を用いると、ブロッキング時間を除いた１行ごとの作業量のパターン（実線）を知ることができる。

本発明の実施の形態によると、作業中のブロッキングの発生を捕捉することによって、被験者による意図的な作業の中断を発見することができる。そして、ブロッキングの発生傾向によって、作業者の性格、適性及び能力を知る指標とすることができる。

以上、本発明の実施の形態について、クレペリン検査を用いて説明したが、これ以外の各種作業（例えば、運転手の適性検査、運転免許（特に、高齢者向け）、工場での安全指導、認知症の早期発見、ガイダンスや個性把握の際の資料、薬物効果の測定、及び、精神衛生管理）にも、本発明を適用することができる。

本発明の実施の形態の計算機の論理的な構成を示すブロック図である。本発明の実施の形態の計算機の構成を示すブロック図である。本発明の実施の形態の計算機の別な構成を示すブロック図である。本発明の実施の形態のデジタルペンによる紙面上の座標取得の説明図である。本発明の実施の形態のストロークセットの一例を示す。本発明の実施の形態のストロークセット情報の構成図である。本発明の実施の形態のストローク座標情報の構成図である。本発明の実施の形態の計算機による処理の全体を示すフローチャートである。本発明の実施の形態の標準時間データベースの構成を示す説明図である。本発明の実施の形態の図３に示す計算機システムにおける処理を示すシーケンス図である。本発明の実施の形態のブロッキングを判定する処理のフローチャートである。本発明の実施の形態のストローク時間と標準時間との比較の説明図である。本発明の実施の形態の標準時間算出処理のフローチャートである。本発明の実施の形態の、ブロッキング判定結果に基づいて意図的な操作を検出する処理のフローチャートである。本発明の実施の形態の原稿用紙データの構成を示す説明図である。本発明の実施の形態の書き足しを判定する処理のフローチャートである。本発明の実施の形態のブロッキング判定結果を数値で表す場合の表示画面の説明図である。本発明の実施の形態のブロッキング判定結果を分布で表す場合の表示画面を示す説明図である。本発明の実施の形態の内田・クレペリン検査の検査用紙にブロッキング判定結果を重畳させて表示した画面の説明図である。本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面の説明図である。本発明の実施の形態のブロッキング判定結果を分布で表す場合の別の表示画面の説明図である。

符号の説明

１０１デジタルペン接続装置
１０２演算部
１０３文字認識部
１０４記憶装置
１０７出力装置
１２１クライアント計算機
１２２クライアント計算機
１２３サーバ

Claims

作業者によって記入されたストロークを取得する座標取得装置に接続され、前記座標取得装置によって取得されたストロークを解析する計算機であって、
プログラムを実行するプロセッサと、前記プロセッサによって実行されるプログラムを格納するメモリと、前記ストロークの情報を前記座標取得装置から取得するインターフェースとを備え、
前記座標取得装置によって取得された複数のストロークに基づいて、前記作業者による作業が中断しているブロッキングを判定し、
前記作業者によって記入された結果と、前記ブロッキングの判定結果を重畳して表示するためのデータを生成することを特徴とする計算機。
前記ストロークを文字認識し、
前記認識された文字に含まれるストロークの記入時間の標準値と、前記ストロークの実際の記入時間とを比較し、前記認識された文字に含まれるストロークの間隔時間の標準値と、前記ストロークの実際の間隔時間とを比較し、
前記比較結果に基づいて、前記作業者による記入位置の移動に多くの時間がかかっている場合にブロッキングであると判定することを特徴とする請求項１に記載の計算機。
前記文字認識によって認識された文字の間の距離から文字間の間隔時間の標準値を算出し、
前記文字間の間隔時間の標準値と、文字間の実際の間隔時間とを比較し、
前記比較結果に基づいて、前記作業者による記入位置の移動に多くの時間がかかっている場合にブロッキングであると判定することを特徴とする請求項２に記載の計算機。
前記各ストローク間の座標の移動量及び移動方向の少なくとも一つを用いて、記入位置の行の変化を判定し、
前記行の変化が判定された場合、前記文字間の間隔時間の標準値と、文字間の実際の間隔時間とを比較することを特徴とする請求項３に記載の計算機。
前記認識された文字の大きさを用いて、前記実際の記入時間及び前記実際の間隔時間を補正することを特徴とする請求項２に記載の計算機。
前記文字認識できなかったストロークを除去した後に、前記ストロークの標準時間を実際の時間とを比較することを特徴とする請求項１に記載の計算機。
前記ストロークが取得された時刻に基づいて、前記作業者による作業順序が正しいか否かを判定することを特徴とする請求項１に記載の計算機。
前記ブロッキングであると判定された時間中に、前記文字認識ができなかったストロークがあるか否かを判定することを特徴とする請求項１に記載の計算機。
前記計算機は、１台の計算機、又は、物理的又は論理的な複数の計算機群によって構成されることを特徴とする請求項１に記載の計算機。
前記作業者による作業は内田・クレペリン検査であることを特徴とする請求項１に記載の計算機。
前記作業者による作業の結果が定型のパターンであるか否かを判定し、
前記作業結果が定型パターンであり、かつ、前記作業結果中に前記ブロッキングが判定された場合、警告を通知することを特徴とする請求項１０に記載の計算機。