JP2020194275A - 読取システム、移動体、読取方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】信頼性を向上できる、読取システム、移動体、読取方法、プログラム、及び記憶媒体を提供する。【解決手段】実施形態に係る読取システムは、第１抽出部１２と、読取部１５と、を備える。第１抽出部１２は、計器を写した画像から、第１輪郭で囲まれた第１領域と、第１輪郭よりも外側に位置する第２輪郭で囲まれた第２領域と、を抽出する。読取部１５は、第１領域に基づいて第１示度を算出し、第２領域に基づいて第２示度を算出するとともに、第１領域に基づいて第１示度に関する第１スコアを算出し、第２領域に基づいて第２示度に関する第２スコアを算出する。【選択図】図１

Description

本発明の実施形態は、読取システム、移動体、読取方法、プログラム、及び記憶媒体に関する。

計器で示された値（示度）を読み取るシステムがある。この読取システムについて、読み取られた示度の信頼性の向上が求められている。

特許第３７９９４０８号公報

本発明が解決しようとする課題は、信頼性を向上できる、読取システム、移動体、読取方法、プログラム、及び記憶媒体を提供することである。

実施形態に係る読取システムは、第１抽出部と、読取部と、を備える。前記第１抽出部は、計器を写した画像から、第１輪郭で囲まれた第１領域と、前記第１輪郭よりも外側に位置する第２輪郭で囲まれた第２領域と、を抽出する。前記読取部は、前記第１領域に基づいて第１示度を算出し、前記第２領域に基づいて第２示度を算出するとともに、前記第１領域に基づいて前記第１示度に関する第１スコアを算出し、前記第２領域に基づいて前記第２示度に関する第２スコアを算出する。

第１実施形態に係る読取システムの構成を表すブロック図である。 計器を例示する模式図である。 第１実施形態に係る読取システムによる処理を説明するための図である。 第１実施形態に係る読取システムによる処理を説明するための図である。 第１実施形態に係る読取システムによる処理を説明するための図である。 第１実施形態に係る読取システムによる処理を説明するための図である。 第１実施形態に係る読取システムによる処理を説明するための図である。 第１実施形態に係る読取システムによる処理を表すフローチャートである。 第２実施形態に係る読取システムの構成を表すブロック図である。 第３実施形態に係る読取システムの構成を表すブロック図である。 第３実施形態に係る読取システムの動作を説明する模式図である。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１実施形態）
図１は、第１実施形態に係る読取システムの機能構成を表すブロック図である。
図２（ａ）〜図２（ｄ）は、計器を例示する模式図である。
図３（ａ）、図３（ｂ）、図４（ａ）〜図４（ｃ）、図５（ａ）、図５（ｂ）、図６、及び図７（ａ）〜図７（ｄ）は、第１実施形態に係る読取システムによる処理を説明するための図である。

読取システム１は、計器を含む画像から、計器によって示された値（示度）を読み取る際に用いられる。対象の計器の種類は、任意である。例えば、読取システム１は、図２（ａ）及び図２（ｂ）に表したような丸型計器Ｍ１及びＭ２の示度の読み取りに用いられる。丸型計器は、ある点を中心に回転する指針Ｉｎと、その中心点の周りに記された複数の目盛Ｓｃと、複数の目盛Ｓｃの少なくとも一部に対応して記された数字Ｎｕと、を含む。目盛Ｓｃは、円状又は円弧状に配列されている。丸型計器では、指針Ｉｎ又は目盛Ｓｃのいずれかが目盛Ｓｃの配列方向に沿って回転し、指針Ｉｎが特定の目盛Ｓｃを指すことで、値が示される。

読取システム１は、図２（ｃ）に表したような縦型計器Ｍ３、又は図２（ｄ）に表したような横型計器Ｍ４における示度の読み取りに用いることもできる。縦型計器及び横型計器は、指針Ｉｎと、一方向に配列された複数の目盛Ｓｃと、複数の目盛Ｓｃの少なくとも一部に対応して記された数字Ｎｕと、を含む。縦型計器及び横型計器では、指針Ｉｎ又は目盛Ｓｃのいずれかが目盛Ｓｃの配列方向に沿って移動し、指針Ｉｎが特定の目盛Ｓｃを指すことで、値が示される。

図１に表したように、第１実施形態に係る読取システム１は、処理装置１０を備える。処理装置１０は、受付部１１、第１抽出部１２、補正部１３、第２抽出部１４、読取部１５、及び出力部１６を含む。

例えば、外部の撮像装置が、計器を撮影し、静止した画像を取得する。撮像装置は、計器を写した画像を処理装置１０へ送信する。又は、撮像装置は、記憶装置２０に画像を記憶しても良い。処理装置１０は、記憶装置２０にアクセスし、画像を取得する。撮像装置により動画が撮影されても良い。例えば、撮像装置は、その動画から静止画像を切り出して処理装置１０又は記憶装置２０へ送信する。撮影される画像には、計器以外のものが写っていても良い。

受付部１１は、処理装置１０に入力された画像を受け付ける。受付部１１は、その画像を第１抽出部１２へ出力する。図３（ａ）は、処理装置１０に入力された画像の一例である。

第１抽出部１２は、入力された画像から、計器の目盛、数字、及び指針を含む領域を抽出する。具体的な一例として、第１抽出部１２は、輪郭抽出部１２ａ、輪郭選定部１２ｂ、及び判定部１２ｃを有する。

輪郭抽出部１２ａは、例えば、入力画像における明度差又は輝度差に基づき、入力画像に含まれる輪郭（エッジ）を抽出する。輪郭を抽出する際に、輪郭抽出部１２ａは、入力画像に適宜処理を加えても良い。例えば、輪郭抽出部１２ａは、入力画像をグレイスケールに変換した後に二値化し、この二値画像から輪郭を抽出する。

輪郭選定部１２ｂは、抽出された複数の輪郭から、一部の輪郭を選定する。例えば、輪郭選定部１２ｂは、各輪郭に囲まれた領域について、ある一方向の最大長さと面積を、それぞれ予め設定された閾値と比較する。輪郭選定部１２ｂは、最大長さ及び面積がそれぞれ閾値を超えた領域を選定する。これにより、面積が小さすぎる領域や、計器と形が大きく異なる領域などが除外される。例えば、図３（ａ）に表した入力画像から複数の輪郭が抽出され、その複数の輪郭から図３（ｂ）に表した輪郭ｅ１及びｅ２が選定される。

判定部１２ｃは、選定された領域の輪郭が、計器のどの輪郭に対応するか判定する。例えば、図２（ａ）〜図２（ｄ）に表した計器には、表示盤を囲む内側の輪郭Ｅ１と、輪郭Ｅ１よりも外側にある輪郭Ｅ２と、が存在する。判定部１２ｃは、選定された輪郭から、輪郭Ｅ１に対応する第１輪郭と、輪郭Ｅ２に対応する第２輪郭と、を判定する。

例えば図４（ａ）に表したように、判定部１２ｃは、選定された各輪郭ｅに、２つの領域ｒ１及びｒ２を設定する。領域ｒ１は、輪郭ｅの内側に位置する。領域ｒ２は、輪郭ｅの外側に位置する。領域ｒ１及びｒ２の形状は、読み取り対象の計器に応じて適宜変更できる。一例として、領域ｒ１及び領域ｒ２は、輪郭ｅに沿って設定される。各領域の幅ｗ１及びｗ２は、輪郭ｅの大きさに応じて決定される。例えば、輪郭ｅの大きさに対する幅ｗ１の割合と、輪郭ｅの大きさに対する幅ｗ２の割合と、は記憶装置２０に予め記憶される。

判定部１２ｃは、各輪郭ｅについて、領域ｒ１の輝度と領域ｒ２の輝度との関係を判定する。例えば、判定部１２ｃは、領域ｒ１における輝度の平均値と、領域ｒ２の輝度の平均値と、のどちらが大きいか判定する。領域ｒ１と領域ｒ２の面積が等しいとき、判定部１２ｃは、領域ｒ１における輝度の合計値と、領域ｒ２の輝度の合計値と、のどちらが大きいかを判定しても良い。

記憶装置２０には、読み取り対象の計器について、輪郭Ｅ１の内側に位置する領域の輝度と、輪郭Ｅ１の外側に位置する領域の輝度と、の第１関係が記憶されている。また、記憶装置２０には、輪郭Ｅ２の内側に位置する領域の輝度と、輪郭Ｅ２の外側に位置する領域の輝度と、の第２関係が記憶されている。判定部１２ｃは、各輪郭ｅについての輝度の関係を、記憶装置２０に記憶された輝度の関係と比較する。判定部１２ｃは、輝度の関係が第１関係と一致する輪郭ｅを、第１輪郭と判定する。判定部１２ｃは、輝度の関係が第２関係と一致する別の輪郭ｅを、第２輪郭と判定する。

典型的には、計器の表示盤の背景は、明るい色（例えば、白色）である。計器の外縁は、表示盤よりも暗い色である。計器が取り付けられた壁等は、計器の外縁よりも明るい色である。この場合、第１関係は、図４（ｂ）に表したように、輪郭Ｅ１の内側に位置する領域Ｒ１の輝度が輪郭Ｅ１の外側に位置する領域Ｒ２の輝度よりも高い、と設定される。第２関係は、図４（ｃ）に表したように、輪郭Ｅ２の内側に位置する領域Ｒ３の輝度が輪郭Ｅ２の外側に位置する領域Ｒ４の輝度よりも低い、と設定される。

なお、輪郭Ｅ１及びＥ２は、表示盤の輪郭及び計器の輪郭以外であっても良い。例えば、計器の各部の色、形、又は反射率の違いによって、画像処理の結果、表示盤及び計器以外の輪郭が抽出される可能性がある。この抽出された輪郭を、計器に対応する輪郭として用いても良い。この場合、記憶装置２０には、その輪郭の内側に位置する領域の輝度とその輪郭の外側に位置する領域の輝度との関係が記憶される。

例えば図３（ａ）に表した計器には、表示盤の輪郭Ｅ１と計器の輪郭Ｅ２が存在する。一方、画像処理による輪郭抽出の結果、図３（ｂ）に表したように、輪郭Ｅ１に対応する輪郭ｅ０と、輪郭Ｅ２に対応する輪郭ｅ２と、の間に、輪郭ｅ１が抽出されている。この輪郭ｅ１は、計器の外縁における形状に起因して抽出される。図３（ａ）に表した計器の外縁ＯＰは、丸みを帯びており、外縁の内側と外縁の外側で光の反射量が異なる。この結果、外縁ＯＰの略中心で輪郭ｅ１が抽出される。輪郭ｅ１を、計器に対応する第１輪郭として用いて以下の処理が実行されても良い。

判定部１２ｃは、第１関係を満たす第１輪郭に囲まれた第１領域と、第２関係を満たす第２輪郭に囲まれた第２領域と、を入力画像から抽出する。一例として、第１領域は、計器の表示盤を含む。第２領域は、計器の表示盤及び外縁を含む。

補正部１３は、第１領域及び第２領域のそれぞれを適宜射影変換する。典型的には、計器の輪郭又は計器の表示盤の輪郭は、円形又は四角形である。第１輪郭又は第２輪郭が台形又は平行四辺形などのとき、補正部１３は、第１輪郭又は第２輪郭が長方形となるように、第１領域又は第２領域を射影変換する。第１輪郭又は第２輪郭が楕円形又はオーバルのとき、補正部１３は、第１輪郭又は第２輪郭が円形となるように、第１領域又は第２領域を射影変換する。射影変換により、第１領域又は第２領域の歪みが補正される。補正部１３は、補正した第１領域及び第２領域を第２抽出部１４へ出力する。

第２抽出部１４は、第１領域から、第１目盛領域及び第１数字領域を抽出する。また、第２抽出部１４は、第２領域から、第２目盛領域及び第２数字領域を抽出する。例えば、第１目盛領域及び第１数字領域のそれぞれの位置及び大きさは、第１領域に基づいて決定される。第２目盛領域及び第２数字領域のそれぞれの位置及び大きさは、第２領域に基づいて決定される。第１領域に対する第１目盛領域及び第１数字領域の関係と、第２領域に対する第２目盛領域及び第２数字領域の関係と、は予め記憶装置２０に記憶される。第２抽出部１４は、第１目盛領域、第１数字領域、第２目盛領域、及び第２数字領域を読取部１５へ出力する。

読取部１５は、第１領域に基づいて第１示度を算出し、第２領域に基づいて第２示度を算出する。さらに、読取部１５は、第１領域に基づいて第１示度に関する第１スコアを算出し、第２領域に基づいて第２示度に関する第２スコアを算出する。

具体的には、読取部１５は、認識部１５ａ、目盛接合部１５ｂ、示度算出部１５ｃ、スコア算出部１５ｄ、及び示度選定部１５ｅを含む。

認識部１５ａは、目盛領域における輝度差から、表示盤に記載された複数の目盛を認識する。認識部１５ａは、数字領域において、表示盤に記載された複数の数字を認識する。例えば、認識部１５ａは、表示盤から数字を１つずつ切り出し、切り出した数字と予め登録された数字を照合し、数字を特定する。また、認識部１５ａは、数字領域における輝度の分布から、指針の位置及び角度を認識する。認識部１５ａは、数字領域及び目盛領域における輝度の分布から指針の位置及び角度を認識しても良い。認識部１５ａは、さらに、指針の形状を認識しても良い。

読取対象の計器が丸型であるとき、認識部１５ａは、目盛領域及び数字領域を極座標変換しても良い。例えば、認識部１５ａは、極座標変換された目盛領域及び数字領域から目盛及び指針を認識し、極座標変換されていない数字領域から数字を認識する。

図５（ａ）は、第１輪郭ｅ１に基づいて設定された第１目盛領域Ｓｒ１及び第１数字領域Ｎｒ１を表している。例えば図５（ａ）に表したように、第１目盛領域Ｓｒ１及び第１数字領域Ｎｒ１に基づいて、複数の目盛Ｓｃ１（第１目盛群）及び指針Ｉｎ１（第１指針）が認識される。さらに、第１数字領域Ｎｒ１に基づいて、複数の数字（第１数字群）が認識される。

図５（ｂ）は、第２輪郭ｅ２に基づいて設定された第２目盛領域Ｓｒ２及び第２数字領域Ｎｒ２を表している。例えば図５（ｂ）に表したように、第２目盛領域Ｓｒ２及び第２数字領域Ｎｒ２に基づいて、複数の目盛Ｓｃ２（第２目盛群）及び指針Ｉｎ２（第２指針）が認識される。さらに、第２数字領域Ｎｒ２に基づいて、複数の数字（第２数字群）が認識される。

この例では、各目盛領域及び各数字領域の位置及び大きさは、抽出された輪郭に基づいて設定されている。このため、図５（ｂ）に表したように、１つの輪郭に基づいて設定された目盛領域及び数字領域が、実際に目盛及び数字が記載された領域からずれることもある。また、その結果、図５（ｂ）に表したように、指針の位置又は角度が実際の指針の位置又は角度と異なって認識されることもある。ただし、この場合でも、後述するように、別の輪郭に基づいて設定された目盛領域及び数字領域に基づいて、より正確な示度を読み取ることが可能である。

認識部１５ａは、第１領域及び第２領域のそれぞれに基づいて認識した目盛群、数字群、及び指針を目盛接合部１５ｂへ出力する。

目盛接合部１５ｂは、図６に表したように、各目盛りＳｃを延長した直線ＳＬと、基準線Ｇと、の間の角度を、各目盛りの位置情報として保持する。目盛接合部１５ｂは、認識された数字に対応する目盛Ｓｃを決定する。

示度算出部１５ｃは、第１領域及び第２領域のそれぞれについて、各目盛の角度、目盛と数字の対応情報、及び指針の角度に基づき、計器の示度を算出する。これにより、第１領域に基づく第１示度と、第２領域に基づく第２示度と、が算出される。

スコア算出部１５ｄは、第１示度に関する第１スコア及び第２示度に関する第２スコアを算出する。第１スコア及び第２スコアは、それぞれ第１示度及び第２示度がどの程度確からしいかを示す。例えば、スコア算出部１５ｄは、第１目盛群、第１数字群、又は第１指針を用いて第１スコアを算出する。スコア算出部１５ｄは、第２目盛群、第２数字群、又は第２指針を用いて第２スコアを算出する。

以下では、画像が良好であり、示度が正しく読み取られる可能性が高いほど、スコアが高く算出される例を説明する。スコアが高いほど、読み取られた示度の信頼性が高いことを示す。画像が良好とは、例えば、画像の解像度が十分に高い、計器への付着物が少ない、計器での光の反射が少ない、などにより輪郭が鮮明である状態を指す。この例に限らず、文字画像が良好であるほど、スコアは低く算出されても良い。この場合、スコアが低いほど、読み取られた示度の信頼性が高いことを示す。

目盛群を用いたスコアの算出方法は、以下の通りである。
図７（ａ）は、目盛領域Ｓｒと、認識された目盛Ｓｃと、を表す。この例では、複数の目盛Ｓｃが第１方向Ｄ１に配列され、各目盛Ｓｃが第２方向Ｄ２に沿う。図７（ａ）に表した画像は、極座標変換により得られた画像であっても良い。その場合、第１方向Ｄ１は周方向に対応し、第２方向Ｄ２は径方向に対応する。
スコア算出部１５ｄは、目盛Ｓｃ同士の間隔のばらつき又は目盛Ｓｃの第２方向Ｄ２における長さのばらつきを計算する。スコア算出部１５ｄは、ばらつきが小さいほど、スコアをより高く算出する。
実際の計器に記載された目盛の数が記憶装置２０に予め記憶されていても良い。スコア算出部１５ｄは、目盛領域Ｓｒにおいて認識された目盛Ｓｃの数を、記憶装置２０に記憶された目盛の数と比較する。スコア算出部１５ｄは、認識された目盛Ｓｃの数と、記憶された目盛の数と、の差が小さいほど、スコアをより高く算出する。
実際の計器の目盛に対応した画像が記憶装置２０に予め記憶されても良い。図７（ｂ）は、記憶装置２０に記憶された画像の一例である。スコア算出部１５ｄは、目盛の認識結果と画像との間のパターンマッチングを実行する。スコア算出部１５ｄは、マッチング率が高いほど、スコアをより高く算出する。
スコア算出部１５ｄは、これらの目盛群に基づくスコアの算出方法の２つ以上を組み合わせてスコアを算出しても良い。

数字群を用いたスコアの算出方法は、以下の通りである。
スコア算出部１５ｄは、認識部１５ａにより数字を認識した際の照合率を参照する。スコア算出部１５ｄは、照合率に基づいてスコアを算出する。例えば、スコア算出部１５ｄは、表示盤に記載された複数の数字のそれぞれの照合率を平均化し、その平均値をスコアとする。

指針を用いたスコアの算出方法は、以下の通りである。
実際の指針の形状を表す画像が記憶装置２０に予め記憶される。例えば、図７（ｃ）は、認識された指針Ｉｎの形状を表す。スコア算出部１５ｄは、認識された指針Ｉｎと、記憶装置２０に記憶された画像との間のパターンマッチングを実行する。スコア算出部１５ｄは、マッチング率が高いほど、スコアをより高く算出する。
又は、スコア算出部１５ｄは、認識された指針Ｉｎを中心として、図７（ｄ）に表したように、２つの領域Ｒａ及びＲｂを設定する。領域Ｒａ及びＲｂは、指針Ｉｎが延びる方向に対して垂直な方向に並んでいる。スコア算出部１５ｄは、領域Ｒａにおける輝度と領域Ｒｂにおける輝度を比較する。認識された指針Ｉｎの角度が画像に示された実際の計器の角度と一致しているとき、領域Ｒａにおける輝度と領域Ｒｂにおける輝度との差は、小さい。スコア算出部１５ｄは、差が小さいほど、スコアをより高く算出する。
スコア算出部１５ｄは、上述した指針に基づく２つの算出方法を組み合わせてスコアを算出しても良い。

以上の方法により、スコア算出部１５ｄは、第１スコア及び第２スコアを算出する。スコア算出部１５ｄは、目盛群、数字群、及び指針の２つ以上を用いてスコアを算出しても良い。例えば、スコア算出部１５ｄは、目盛群に基づく算出方法と、数字群に基づく算出方法と、指針に基づく算出方法と、の２つ以上を組み合わせてスコアを算出しても良い。これにより、スコアの信頼性を高めることができる。

示度選定部１５ｅは、第１スコア及び第２スコアに基づき、第１示度及び第２示度の一方を選定する。例えば、目盛群、数字群、又は指針が精度良く認識されているとき、スコアは高く算出される。この場合、示度選定部１５ｅは、第１スコア及び第２スコアの高い方を選定する。示度選定部１５ｅは、選定されたスコアに対応する示度を、計器の示度として選定する。

又は、第１スコア及び第２スコアに関して、条件が予め記憶装置２０に記憶されても良い。示度選定部１５ｅは、第１スコア又は第２スコアを、条件と比較する。例えば、条件は、閾値を含む。閾値は、予めユーザにより設定されても良いし、過去のスコアの算出結果に基づいて設定されても良い。認識精度が高いときにスコアが高く算出されるとき、示度選定部１５ｅは、第１スコア及び第２スコアの高い方を閾値と比較する。より高いスコアが閾値以下のとき、補正部１３による処理が再度実行されても良い。

補正部１３は、第１領域及び第２領域のそれぞれを、前回の射影変換と異なる条件で、再度射影変換する。その後は、再度射影変換された第１領域及び第２領域に基づいて、第１示度、第２示度、第１スコア、及び第２スコアが算出される。これにより、計器の示度をより高精度に読み取ることができる。

例えば、補正部１３による処理は、第１スコア又は第２スコアが条件を満たすまで繰り返される。又は、補正部１３による処理が規定回数繰り返され、最もスコアが高かった示度が、計器の示度として選定されても良い。

又は、補正部１３による処理に代えて、輪郭抽出部１２ａによる輪郭の抽出、輪郭選定部１２ｂによる輪郭の選定、又は第２抽出部１４による極座標変換などが、それまでと異なる条件で再度実行されても良い。又は、これらの処理の少なくともいずれかに加えて、補正部１３による処理が、それまでと異なる条件で再度実行されても良い。

読取部１５は、計器の示度を出力部１６へ送る。出力部１６は、例えば、示度に基づく情報を、外部の出力装置へ出力する。例えば、情報は、読み取られた示度を含む。情報は、読み取った示度に基づいて算出された結果を含んでも良い。出力部１６は、読み取った複数の示度を基に、別の値を算出し、その算出結果を出力しても良い。情報は、読み取ったときの時刻などをさらに含んでも良い。又は、出力部１６は、読み取った示度及び読み取った時刻などの情報を含むファイルを、ＣＳＶなどの所定の形式で出力しても良い。出力部１６は、ＦＴＰ（File Transfer Protocol）などを用いて外部のサーバへデータを送信しても良い。又は、出力部１６は、データベース通信を行い、ＯＤＢＣ（Open Database Connectivity）などを用いて外部のデータベースサーバへデータを挿入してもよい。

処理装置１０は、例えば、中央演算処理装置からなる処理回路を含む。処理装置１０により、受付部１１、第１抽出部１２、補正部１３、第２抽出部１４、読取部１５、及び出力部１６の各機能が実現される。これらの機能は、複数の処理装置により実現されても良い。記憶装置２０は、例えば、ハードディスクドライブ（ＨＤＤ）、ネットワーク接続ハードディスク（ＮＡＳ）、組み込み用マルチメディアカード（ｅＭＭＣ）、ソリッドステートドライブ（ＳＳＤ）、及びソリッドステートハイブリッドドライブ（ＳＳＨＤ）の少なくともいずれかを備える。処理装置１０と記憶装置２０は、有線又は無線で接続される。又は、処理装置１０と記憶装置２０は、ネットワークを介して相互に接続されていても良い。

図８は、第１実施形態に係る読取システムによる処理を表すフローチャートである。
図８に表したように、受付部１１は、入力された画像を受け付ける（ステップＳ１１）。輪郭抽出部１２ａは、入力画像から輪郭を抽出する（ステップＳ１２ａ）。輪郭選定部１２ｂは、抽出された複数の輪郭から、条件を満たす一部の輪郭を選定する（ステップＳ１２ｂ）。判定部１２ｃは、選定された輪郭から第１輪郭及び第２輪郭を判定する（ステップＳ１２ｃ）。補正部１３は、第１輪郭で囲まれた第１領域と第２輪郭で囲まれた第２領域をそれぞれ射影変換し、補正する。（ステップＳ１３）。第２抽出部１４は、第１領域から第１目盛領域及び第１数字領域を抽出し、第２領域から第２目盛領域及び第２数字領域を抽出する（ステップＳ１４）。

認識部１５ａは、第１目盛領域及び第１数字領域から、第１目盛群、第１数字群、及び第１指針を認識する。認識部１５ａは、第２目盛領域及び第２数字領域から、第２目盛群、第２数字群、及び第２指針を認識する（ステップＳ１５ａ）。目盛接合部１５ｂは、第１目盛群に含まれる複数の目盛と第１数字群に含まれる複数の数字とを対応させる。目盛接合部１５ｂは、第２目盛群に含まれる複数の目盛と第２数字群に含まれる複数の数字とを対応させる（ステップＳ１５ｂ）。示度算出部１５ｃは、第１領域に基づく第１示度と第２領域に基づく第２示度を算出する（ステップＳ１５ｃ）。スコア算出部１５ｄは、第１目盛群、第１数字群、又は第１指針を用いて第１スコアを算出する。スコア算出部１５ｄは、第２目盛群、第２数字群、又は第２指針を用いて第２スコアを算出する（ステップＳ１５ｄ）。示度選定部１５ｅは、第１スコア及び第２スコアに基づいて、第１示度及び第２示度の一方を選定する。出力部１６は、選定された第１示度及び第２示度の一方を出力する（ステップＳ１６）。

第１実施形態の効果を説明する。
計器の示度を読み取る際に、計器が有する特定の輪郭に基づいて目盛領域及び数字領域を抽出する方法が考えられる。その特定の輪郭を精度良く検出できれば、この方法を用いて計器の示度を精度良く読み取れる。しかし、計器に他の部品が取り付けられている、又は画像の解像度が低いと、その特定の輪郭を正しく抽出できない可能性がある。この他には、計器で光が反射していたり、計器に汚れ等が付着していると、特定の輪郭を正しく抽出できない可能性がある。例えば、図３（ａ）及び図３（ｂ）に表した例では、計器にケーブルが接続されており、このケーブルの影響で計器の外側の輪郭が正しく抽出されていない。
この課題について、第１実施形態に係る読取システム１では、１つの計器に含まれる複数の輪郭が抽出される。そして、抽出された複数の輪郭のそれぞれに基づいて示度及びスコアが算出される。例えば、算出されたスコアに基づいていずれかの示度が選定されることで、計器の示度の読み取り精度を向上させることができる。これにより、読取システム１の信頼性を向上させることができる。

又は、出力部１６は、選定された第１示度及び第２示度の一方と、第１示度及び第２示度の前記一方に関する第１スコア及び第２スコアの一方と、を出力しても良い。これにより、ユーザは、選定された示度がどの程度確からしいか把握できる。例えば、通常と異なる異常な示度が出力されたときでも、ユーザは、スコアを参照することで、その示度の確からしさを確認できる。

出力部１６は、第１示度及び第２示度の少なくとも一方と、第１領域及び第２領域の少なくとも一方、を出力しても良い。例えば、出力部１６は、選定された第１示度及び第２示度の一方と、第１示度及び第２示度の前記一方が得られた第１領域及び第２領域の一方と、を出力する。選定された示度の根拠となる画像が出力されることで、ユーザは、示度が正しいか容易に把握できる。

また、上述した例では、示度選定部１５ｅにより、第１示度及び第２示度の一方が選定された。この例に限らず、第１実施形態に係る読取システム１は、第１示度、第２示度、第１スコア、及び第２スコアを出力しても良い。例えば、第１示度及び第２示度のどちらを採用するか、ユーザが第１スコア及び第２スコアを参照して決める。第１スコア及び第２スコアが出力されることで、それぞれの示度がどの程度確からしいか、ユーザが把握できる。又は、ユーザは、第１スコア及び第２スコアを参照し、読み取りに用いている画像が適切か確認することもできる。例えば、第１スコア及び第２スコアの両方が低いときには、ユーザは、より適切な画像が得られるように、計器の配置、構成、撮像装置による撮影条件などを変更しても良い。

また、第１実施形態に係る読取システム１によれば、輪郭選定部１２ｂによって輪郭が１つしか選定されなかったときでも、その輪郭が計器のどの輪郭に対応するか判定できる。このため、選定された輪郭に囲まれた領域に対して、より適切に、目盛領域及び数字領域を設定できる。この結果、計器の示度をより高精度に読み取ることができる。

以上で説明した例では、読取システム１が２つの示度（第１及び第２示度）を算出する例を説明した。この例に限らず、読取システム１は、計器の３つ以上の輪郭に基づいて、３つ以上の示度を算出しても良い。この場合、読取システム１は、３つ以上の示度にそれぞれ関する３つ以上のスコアを算出する。

（実施例）
スコアの算出方法の一実施例について説明する。
スコア算出部１５ｄは、認識部１５ａにより認識された目盛領域と、予め記憶された目盛領域の画像と、をパターンマッチングする。例えば、認識された目盛領域及び目盛領域の画像は、二値で表される。二値画像において、目盛は白色で表され、背景は黒色で表される。スコア算出部１５ｄは、目盛領域の画像に含まれる白色画素の数に対する、認識された目盛領域に含まれる白色画素の数の割合を、マッチング率とする。スコア算出部１５ｄは、マッチング率を、目盛群に基づくスコアとする。
また、スコア算出部１５ｄは、認識部１５ａによる各数字の認識時の照合率を平均化し、その平均値を数字群に基づくスコアとする。
スコア算出部１５ｄは、認識部１５ａにより認識された指針と、予め記憶された指針の画像と、をパターンマッチングする。スコア算出部１５ｄは、マッチング率を、指針に基づくスコアとする。

スコア算出部１５ｄは、以下の計算を実行する。
Ｓ＝Ｓ_１×Ｗ_１＋Ｓ_２×Ｗ_２＋Ｓ_３×Ｗ_３
Ｓ_１は、目盛群に基づいて算出されたスコアである。Ｗ_１は、スコアＳ_１に対する重みである。Ｓ_２は、数字群に基づいて算出されたスコアである。Ｗ_２は、スコアＳ_２に対する重みである。Ｓ_３は、指針に基づいて算出されたスコアである。Ｗ_３は、スコアＳ_３に対する重みである。

スコア算出部１５ｄは、第１領域及び第２領域のそれぞれに基づいて上述したスコアＳを算出し、第１スコア及び第２スコアとする。一例として、重みＷ_１は、０．７に設定される。重みＷ_２は、０．５に設定される。重みＷ_３は、０．２に設定される。図５（ａ）に表した第１輪郭ｅ１で囲まれた第１領域に基づく第１スコアは、０．８３であった。図５（ｂ）に表した第２輪郭ｅ２で囲まれた第２領域に基づく第２スコアは、０．５８であった。この結果、例えば示度選定部１５ｅは、より高い第１スコアに対応する第１示度を選定する。

（第２実施形態）
図９は、第２実施形態に係る読取システムの構成を表すブロック図である。
第２実施形態に係る読取システム１は、撮像装置３０をさらに備える。撮像装置３０は、計器を撮影し、画像を生成する。撮像装置３０は、生成した画像を処理装置１０へ送信する。又は、撮像装置３０は、画像を記憶装置２０に記憶しても良い。処理装置１０は、記憶装置２０にアクセスし、記憶された画像を参照する。撮像装置３０が動画を取得する場合、撮像装置３０は、その動画から静止画像を取り出して処理装置１０に送信する。撮像装置３０は、例えばカメラを含む。

処理装置１０は、撮影された画像から読み取った数字に基づく情報を出力装置４０へ送信する。出力装置４０は、処理装置１０から受信した情報を、ユーザが認識できるように出力する。出力装置４０は、例えば、モニタ、プリンタ、プロジェクタ、及びスピーカの少なくともいずれかを含む。

処理装置１０、記憶装置２０、撮像装置３０、及び出力装置４０は、例えば、有線又は無線で相互に接続される。又は、これらはネットワークを介して相互に接続されていても良い。又は、処理装置１０、記憶装置２０、撮像装置３０、及び出力装置４０の少なくとも２つ以上が、１つの装置に組み込まれていても良い。例えば、処理装置１０が、撮像装置３０の画像処理部などと一体に組み込まれていても良い。

（第３実施形態）
図１０は、第３実施形態に係る別の読取システムの構成を表すブロック図である。
第３実施形態に係る読取システム３は、移動体５０をさらに備える。移動体５０は、所定のエリア内を移動する。移動体５０が移動するエリア内には、計器が設けられている。移動体５０は、例えば、無人搬送車（ＡＧＶ）である。移動体５０は、ドローンなどの飛翔体であっても良い。移動体５０は、自立歩行するロボットであっても良い。移動体５０は、無人で所定の作業を行うフォークリフトやクレーンなどであっても良い。

例えば、処理装置１０及び撮像装置３０は、移動体５０に搭載される。処理装置１０は、移動体５０とは別に設けられ、移動体５０とネットワークを介して接続されても良い。移動体５０が計器を撮影可能な位置に移動したとき、撮像装置３０は、計器を撮影し、画像を生成する。

処理装置１０の処理において、第１スコア又は第２スコアが予め設定された条件を満たしていないと判定されたとき、撮像装置３０によって計器が再度撮影されても良い。撮像装置３０は、前回の撮影時と異なる条件で計器を再度撮影する。例えば、撮像装置３０は、露光時間、絞り値、又はＩＳＯ感度を変更して、計器を再度撮影する。撮影の条件には、移動体５０の位置が含まれても良い。すなわち、移動体５０が動作し、前回の撮影時と異なる位置で撮像装置３０が計器を撮影しても良い。

図１０に表したように、読取システム３は、取得装置６０をさらに備えても良い。取得装置６０は、移動体５０に搭載される。例えば、計器に対応して、固有の識別情報を有する識別体が設けられる。取得装置６０は、識別体が有する識別情報を取得する。

図１０に表したように、読取システム３は、制御装置７０をさらに備えても良い。制御装置７０は、移動体５０を制御する。移動体５０は、制御装置７０から送信される指令に基づいて、所定のエリア内を移動する。制御装置７０は、移動体５０に搭載されても良いし、移動体５０とは別に設けられても良い。制御装置７０は、例えば、中央演算処理装置からなる処理回路を含む。１つの処理回路が、処理装置１０及び制御装置７０の両方として機能しても良い。

例えば、識別体は、ＩＤ情報を有するradio frequency（ＲＦ）タグである。識別体は、ＩＤ情報を含む電磁界又は電波を発する。取得装置６０は、識別体から発せられた電磁界又は電波を受信し、ＩＤ情報を取得する。

又は、識別体は、１次元又は２次元のバーコードであっても良い。取得装置６０は、バーコードリーダである。取得装置６０は、バーコードを読み取ることで、そのバーコードが有する識別情報を取得する。

図１０に表したように、処理装置１０は、紐付部１７をさらに含んでも良い。例えば、取得装置６０は、識別情報を取得すると、処理装置１０に送信する。紐付部１７は、送信された識別情報と、読み取った文字と、を紐付ける。紐付けた情報は、記憶装置２０に記憶される。

図１１は、第３実施形態に係る読取システムの動作を説明する模式図である。
例えば、移動体５０は、所定の軌道Ｔに沿って移動する移動体である。移動体５０には、撮像装置３０及び取得装置６０が搭載されている。処理装置１０は、移動体５０に搭載されても良いし、移動体５０とは別に設けられても良い。軌道Ｔは、移動体５０が、計器Ｍ１１及びＭ１２の前を通過するように設けられている。

例えば、移動体５０は、軌道Ｔに沿って移動し、撮像装置３０により計器Ｍ１１又はＭ１２を撮影可能な位置に着くと、減速又は停止する。例えば、移動体５０は、減速又は停止すると、撮像装置３０に撮像の指令を送信する。又は、制御装置７０から撮像装置３０へ撮像の指令が送信されても良い。撮像装置３０は、指令を受信すると、移動体５０が減速又は停止している間に、計器Ｍ１１又はＭ１２を撮影する。

又は、移動体５０は、撮像装置３０が計器Ｍ１１又はＭ１２をぶれずに撮影できる程度の速度で軌道Ｔに沿って移動する。撮像装置３０により計器Ｍ１１又はＭ１２を撮影可能な位置に着くと、移動体５０又は上記制御装置から撮像の指令が送信される。撮像装置３０は、指令を受信すると、計器Ｍ１１又はＭ１２を撮影する。撮像装置３０は、撮影して画像を生成すると、移動体５０に搭載された又は移動体５０とは別に設けられた処理装置１０へ、画像を送信する。

計器Ｍ１１近傍には、識別体ＩＤ１が設けられている。計器Ｍ１２近傍には、識別体ＩＤ２が設けられている。例えば、取得装置６０は、移動体５０が減速又は停止している間に、識別体ＩＤ１又はＩＤ２の識別情報を取得する。

例えば、移動体５０が計器Ｍ１１の前に移動する。撮像装置３０は、計器Ｍ１１を撮影し、画像を生成する。読取システム１は、この画像から、計器Ｍ１１の示度を読み取る。また、取得装置６０は、計器Ｍ１１に対応する識別体ＩＤ１の識別情報を取得する。読取システム１は、計器の示度と、識別情報と、を紐付ける。

以上で説明した実施形態に係る読取システム、移動体、及び読取方法を用いることで、計器から読み取られる示度の信頼性を向上できる。同様に、コンピュータ（処理装置）を、受付部１１、第１抽出部１２、補正部１３、第２抽出部１４、読取部１５、出力部１６などとして動作させるためのプログラムを用いることで、計器から読み取られる示度の信頼性を向上できる。

上記の種々のデータの処理は、例えば、プログラム（ソフトウェア）に基づいて実行される。例えば、コンピュータが、このプログラムを記憶し、このプログラムを読み出すことにより、上記の種々の情報の処理が行われる。

上記の種々の情報の処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク及びハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、または、他の記録媒体に記録されても良い。

例えば、記録媒体に記録された情報は、コンピュータ（または組み込みシステム）により読み出されることが可能である。記録媒体において、記録形式（記憶形式）は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させる。コンピュータにおいて、プログラムの取得（または読み出し）は、ネットワークを通じて行われても良い。

実施形態に係る処理装置及び制御装置は、１つまたは複数の装置（例えばパーソナルコンピュータなど）を含む。実施形態に係る処理装置及び制御装置は、ネットワークにより接続された複数の装置を含んでも良い。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１〜３ 読取システム、 １０ 処理装置、 １１ 受付部、 １２ 第１抽出部、 １２ａ 輪郭抽出部、 １２ｂ 輪郭選定部、 １２ｃ 判定部、 １３ 補正部、 １４ 第２抽出部、 １５ 読取部、 １５ａ 認識部、 １５ｂ 目盛接合部、 １５ｃ 示度算出部、 １５ｄ スコア算出部、 １５ｅ 示度選定部、 １６ 出力部、 １７ 紐付部、 ２０ 記憶装置、 ３０ 撮像装置、 ４０ 出力装置、 ５０ 移動体、 ６０ 取得装置、 ７０ 制御装置、 Ｅ１、Ｅ２ 輪郭、 Ｇ 基準線、 ＩＤ１、ＩＤ２ 識別体、 Ｉｎ、Ｉｎ１、Ｉｎ２ 指針、 Ｍ１、Ｍ２ 丸型計器、 Ｍ１１、Ｍ１２ 計器、 Ｍ３ 縦型計器、 Ｍ４ 横型計器、 Ｎｒ１、Ｎｒ２ 数字領域、 Ｎｕ 数字、 ＯＰ 外縁、 Ｒ１〜Ｒ４、Ｒａ、Ｒｂ 領域、 Ｓｃ、Ｓｃ１、Ｓｃ２ 目盛、 Ｓｒ 目盛領域、 Ｓｒ１ 第１目盛領域、 Ｓｒ２ 第２目盛領域、 Ｔ 軌道、 ｅ、ｅ０〜ｅ２ 輪郭、 ｒ１、ｒ２ 領域、 ｗ１、ｗ２ 幅

図８は、第１実施形態に係る読取システムによる処理を表すフローチャートである。
図８に表したように、受付部１１は、入力された画像を受け付ける（ステップＳ１１）。輪郭抽出部１２ａは、入力画像から輪郭を抽出する（ステップＳ１２ａ）。輪郭選定部１２ｂは、抽出された複数の輪郭から、条件を満たす一部の輪郭を選定する（ステップＳ１２ｂ）。判定部１２ｃは、選定された輪郭から第１輪郭及び第２輪郭を判定する（ステップＳ１２ｃ）。補正部１３は、第１輪郭で囲まれた第１領域と第２輪郭で囲まれた第２領域をそれぞれ射影変換し、補正する（ステップＳ１３）。第２抽出部１４は、第１領域から第１目盛領域及び第１数字領域を抽出し、第２領域から第２目盛領域及び第２数字領域を抽出する（ステップＳ１４）。

（第２実施形態）
図９は、第２実施形態に係る読取システムの構成を表すブロック図である。
第２実施形態に係る読取システム２は、撮像装置３０をさらに備える。撮像装置３０は、計器を撮影し、画像を生成する。撮像装置３０は、生成した画像を処理装置１０へ送信する。又は、撮像装置３０は、画像を記憶装置２０に記憶しても良い。処理装置１０は、記憶装置２０にアクセスし、記憶された画像を参照する。撮像装置３０が動画を取得する場合、撮像装置３０は、その動画から静止画像を取り出して処理装置１０に送信する。撮像装置３０は、例えばカメラを含む。

Claims (21)

1. 計器を写した画像から、第１輪郭で囲まれた第１領域と、前記第１輪郭よりも外側に位置する第２輪郭で囲まれた第２領域と、を抽出する第１抽出部と、
   前記第１領域に基づいて第１示度を算出し、前記第２領域に基づいて第２示度を算出するとともに、前記第１領域に基づいて前記第１示度に関する第１スコアを算出し、前記第２領域に基づいて前記第２示度に関する第２スコアを算出する読取部と、
   を備えた読取システム。
2. 前記読取部は、前記第１スコア及び前記第２スコアに基づいて、前記第１示度及び前記第２示度の一方を、前記計器の示度として選定する請求項１記載の読取システム。
3. 前記第１示度及び前記第２示度の前記一方と、前記第１示度及び前記第２示度の前記一方に関する前記第１スコア及び前記第２スコアの一方と、を出力する出力部をさらに備えた請求項２記載の読取システム。
4. 前記出力部は、前記画像、前記第１領域、又は前記第２領域をさらに出力する請求項３記載の読取システム。
5. 前記処理装置は、第２抽出部をさらに含み、
   前記第２抽出部は、前記第１領域から第１目盛領域及び第１数字領域を抽出し、前記第２領域から第２目盛領域及び第２数字領域を抽出し、
   前記読取部は、前記第１目盛領域及び前記第１数字領域から認識される第１目盛群、第１数字群、及び第１指針に基づいて前記第１示度を算出し、前記第２目盛領域及び前記第２数字領域から認識される第２目盛群、第２数字群、及び第２指針に基づいて前記第２示度を算出する請求項１〜４のいずれか１つに記載の読取システム。
6. 前記読取部は、前記第１目盛群、前記第１数字群、及び前記第１指針の少なくともいずれかに基づいて前記第１スコアを算出し、前記第２目盛群、前記第２数字群、及び前記第２指針の少なくともいずれかに基づいて前記第２スコアを算出する請求項５記載の読取システム。
7. 前記第１抽出部は、
   前記画像から複数の輪郭を検出し、
   前記複数の輪郭のそれぞれについて、前記輪郭よりも内側に位置する領域の輝度と、前記輪郭よりも外側に位置する領域の輝度と、の関係を判定し、
   前記関係が予め設定された第１関係にある前記複数の輪郭の１つを前記第１輪郭と判定し、前記関係が予め設定された第２関係にある前記複数の輪郭の別の１つを前記第２輪郭と判定する、
   請求項１〜６のいずれか１つに記載の読取システム。
8. 前記第１領域及び前記第２領域のそれぞれを射影変換する補正部をさらに備え、
   前記第１スコア又は前記第２スコアが予め設定された条件を満たさないとき、前記補正部は、前記第１領域及び前記第２領域のそれぞれを前回の射影変換と異なる条件で再度射影変換し、
   前記読取部は、再度射影変換された前記第１領域及び前記第２領域に基づいて、前記第１示度、前記第２示度、前記第１スコア、及び前記第２スコアを算出する請求項７記載の読取システム。
9. 前記計器を撮影し、前記画像を取得する撮像装置をさらに備えた請求項１〜８のいずれか１つに記載の読取システム。
10. 前記撮像装置が搭載された移動体をさらに備えた請求項９記載の読取システム。
11. 前記第１スコア又は前記第２スコアが予め設定された条件を満たさないとき、前記撮像装置は、前回の撮影時と異なる条件で前記計器を撮影し、前記計器の画像を再度取得し、
    前記読取部は、再度取得された前記画像を用いて、前記第１示度、前記第２示度、前記第１スコア、及び前記第２スコアを算出する請求項９又は１０に記載の読取システム。
12. 計器を撮影し、画像を取得する撮像装置と、
    前記画像から、第１輪郭で囲まれた第１領域と、前記第１輪郭よりも外側に位置する第２輪郭で囲まれた第２領域と、を抽出する第１抽出部と、
    前記第１領域に基づいて第１示度を算出し、前記第２領域に基づいて第２示度を算出するとともに、前記第１領域に基づいて前記第１示度に関する第１スコアを算出し、前記第２領域に基づいて前記第２示度に関する第２スコアを算出する読取部と、
    を備えた移動体。
13. 計器を写した画像から、第１輪郭で囲まれた第１領域と、前記第１輪郭よりも外側に位置する第２輪郭で囲まれた第２領域と、を抽出し、
    前記第１領域に基づいて第１示度を算出し、前記第２領域に基づいて第２示度を算出するとともに、前記第１領域に基づいて前記第１示度に関する第１スコアを算出し、前記第２領域に基づいて前記第２示度に関する第２スコアを算出する、読取方法。
14. 前記第１スコア及び前記第２スコアに基づいて、前記第１示度及び前記第２示度の一方を、前記計器の示度として選定する請求項１３記載の読取方法。
15. 前記第１領域から第１目盛領域及び第１数字領域を抽出し、
    前記第２領域から第２目盛領域及び第２数字領域を抽出し、
    前記第１目盛領域及び前記第１数字領域から認識される第１目盛群、第１数字群、及び第１指針に基づいて前記第１示度を算出し、
    前記第２目盛領域及び前記第２数字領域から認識される第２目盛群、第２数字群、及び第２指針に基づいて前記第２示度を算出する、請求項１３又は１４に記載の読取方法。
16. 前記第１目盛群、前記第１数字群、及び前記第１指針の少なくともいずれかに基づいて前記第１スコアを算出し、
    前記第２目盛群、前記第２数字群、及び前記第２指針の少なくともいずれかに基づいて前記第２スコアを算出する、請求項１５記載の読取方法。
17. 処理装置に、
    計器を写した画像から、第１輪郭で囲まれた第１領域と、前記第１輪郭よりも外側に位置する第２輪郭で囲まれた第２領域と、を抽出させ、
    前記第１領域に基づいて第１示度を算出させ、前記第２領域に基づいて第２示度を算出させるとともに、前記第１領域に基づいて前記第１示度に関する第１スコアを算出させ、前記第２領域に基づいて前記第２示度に関する第２スコアを算出させる、
    プログラム。
18. 前記処理装置に、前記第１スコア及び前記第２スコアに基づいて、前記第１示度及び前記第２示度の一方を前記計器の示度として選定させる請求項１７記載のプログラム。
19. 前記処理装置に、
    前記第１領域から第１目盛領域及び第１数字領域を抽出させ、
    前記第２領域から第２目盛領域及び第２数字領域を抽出させ、
    前記第１目盛領域及び前記第１数字領域から認識される第１目盛群、第１数字群、及び第１指針に基づいて前記第１示度を算出させ、
    前記第２目盛領域及び前記第２数字領域から認識される第２目盛群、第２数字群、及び第２指針に基づいて前記第２示度を算出させる、
    請求項１７又は１８に記載のプログラム。
20. 前記処理装置に、
    前記第１目盛群、前記第１数字群、及び前記第１指針の少なくともいずれかに基づいて前記第１スコアを算出させ、
    前記第２目盛群、前記第２数字群、及び前記第２指針の少なくともいずれかに基づいて前記第２スコアを算出させる、
    請求項１９記載のプログラム。
21. 請求項１７〜２０のいずれか１つに記載のプログラムを記憶した記憶媒体。