JP2021108022A - 画像処理装置およびその制御方法、プログラムならびに画像処理システム - Google Patents

Abstract

【課題】表示器の表示の変化により誤った文字を認識する場合があっても、最終的に正確な認識結果を出力することが可能な画像処理装置を提供する。【解決手段】実施形態に係る画像処理装置は、１つの文字が複数のセグメントで構成される文字を時系列順に撮影した複数の撮影画像を取得して、複数の撮影画像のそれぞれについて、撮影された文字を認識する認識手段と、複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する決定手段と、を有し、決定手段は、複数の撮影画像のそれぞれから認識した文字の時系列順の変化態様に応じて、複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する。【選択図】図６

Description

本発明は、画像処理装置およびその制御方法、プログラムならびに画像処理システムに関する。

従来、温度をはじめ、圧力や回転数、距離などの物理量を所定のセンサで測定し、当該センサによって測定された測定結果を７セグメント表示器などの表示器に表示させる技術が知られている。

また、そのような表示器は、測定結果を表示する機能に特化している場合があり、当該表示器を用いる場合には、測定結果の記録や保存を、別途備えられた撮像装置を用いて行う場合がある。すなわち、撮像装置により表示器の表示を撮影したうえで、撮影画像に対して文字認識処理を行って測定結果を出力したり記録したりする技術が知られている（特許文献１）。

特開２０１５−１９７８５１号公報

ところで、複数のセグメントで表示する文字を撮像装置で撮影する場合、露光中に表示器の表示が変化すると表示前後の表示同士が重なり合って撮影される場合がある。例えば、露光中に数字の表示が「４」から「５」に切り替わり、これらの表示同士が重なり合う場合、存在しない数字であればまだしも、別の数字（例えば「９」）の表示のように撮影される場合がある。

特許文献１で提案される技術では、撮像装置の露光中に、表示器の表示が更新されて重なり合った画像が撮影される場合、撮影された画像から誤った文字を測定結果として出力する場合がある。

本発明は、上記課題に鑑みてなされ、その目的は、表示器の表示の変化により誤った文字を認識する場合があっても、最終的に正確な認識結果を出力することが可能な技術を実現することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、１つの文字が複数のセグメントで構成される文字を時系列順に撮影した複数の撮影画像を取得して、前記複数の撮影画像のそれぞれについて、撮影された前記文字を認識する認識手段と、前記複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する決定手段と、を有し、前記決定手段は、前記複数の撮影画像のそれぞれから認識した文字の時系列順の変化態様に応じて、前記複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する、ことを特徴とする。

本発明によれば、表示器の表示の変化により誤った文字を認識する場合があっても、最終的に正確な認識結果を出力することが可能になる。

実施形態１に係る画像処理システムの全体構成及び画像処理装置の機能構成例の一例を示すブロック図 実施形態１に係るセグメント表示器の表示を説明するための図 実施形態１に係るセグメント表示器の一桁を表示する構成を示す図 実施形態１に係るセグメント表示器の点灯、消灯パターンにおける数字認識のためのテーブルを説明する図 実施形態１に係るセグメント表示器の変化と、撮像装置によって撮像される撮影画像との関係について説明するための図 実施形態１に係る画像処理装置における出力決定処理の一連の動作を示すフローチャート 実施形態１に係るセグメント表示器の数字の変化に対する撮影結果を示す図 実施形態２に係る画像処理装置における出力決定処理の一連の動作を示すフローチャート

（実施形態１）
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下の説明では、複数のセグメントを用いて表示された数字を認識する処理を例に説明するが、複数のセグメントを用いて表示される他の文字を認識する文字認識処理にも適用可能である。また、以下の説明では、画像処理装置の一例として、数字認識処理（文字認識処理）の可能なコンピュータとしての情報処理サーバを用いる例を説明する。しかし、本実施形態は、コンピュータとしての情報処理サーバに限らず、数字認識処理（文字認識処理）を行うことが可能な他の機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、デジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、監視カメラシステムなどが含まれてよい。

図１は、本実施形態に係る画像処理装置１００を含む画像処理システムの構成例を示している。図１に示す画像処理システムは、大まかに、画像処理装置１００と、撮像装置１１２、ＰＬＣ１１５及びデータベース１１６、ネットワーク１１１とを含む。この画像処理システムでは、撮像装置１１２が表示器１１４の表示を撮影した画像を生成し、画像処理装置１００が撮影された画像に対して、後述する数字認識処理や出力決定処理等の処理を施す。

画像処理装置１００は、制御部１０１、表示装置１０４、記録装置１０５、入力装置１０６などの以下に説明する各構成を含む。制御部１０１は、例えばＣＰＵなどの１つ以上のプロセッサ、不揮発性メモリであるＲＯＭ及び揮発性メモリであるＲＡＭを含む。制御部１０１は、ＲＯＭに記憶されたプログラムをＲＡＭに展開、実行することにより、画像処理装置１００全体を制御する。プログラムは、制御部１０１の動作処理手順（例えばコンピュータの立ち上げ処理や基本入出力処理等のプログラム）、後述する数字認識処理や出力決定処理のためのプログラムを含んでよい。ＲＡＭは、プロセッサのメインメモリとして機能し、ＣＰＵが各種処理を実行する際のワークエリアを提供する。

表示装置１０４は、例えば液晶又は有機ＥＬのパネルを含み、制御部１０１の制御下で実行されているアプリケーションの表示、すなわちアプリケーションの実行状況やデジタルカメラからの画像などを表示する。記録装置１０５は、例えばハードディスクドライブ（以下ＨＤＤ）やソリッドステートドライブ（以下ＳＳＤ）等を含み、アプリケーションプログラムやデータ、ライブラリ等を保存する。入力装置１０６は、例えばポインティングデバイスやキーボード等を含み、画像処理装置１００のユーザからの操作指示を受け付ける。

メディアドライブ１０７は、例えば記憶媒体装着ユニット（メディアドライブ）を含み、着脱可能な記憶媒体（不揮発性メモリデバイス）が装着されると、外部の撮像装置１１２で撮影された画像のデータの読み出しが可能となる。

ネットワークインタフェース１０８（単にＩ／Ｆ１０８ともいう）は、通信回線１０３及びネットワーク１１１を介して、撮像装置１１２など通信可能な機器との間でデータを送受信する。例えば、制御部１０１は、ネットワークインタフェース１０８を通じて、撮像装置１１２へ撮影指示の情報を送信し、また、撮像装置１１２から撮影画像を受信する。

システムバス１０２は、上述した画像処理装置１００の各ユニット間を接続するアドレスバス、データバスおよび制御バスから構成される。

撮像装置１１２は、例えばデジタルカメラを含み、通信路１１３を介してネットワーク１１１と接続される。撮像装置１１２は、後述する表示器１１４を定期的に撮影して、例えばグレースケールの画像データを生成する。そして、当該画像データを、ネットワーク１１１を介して画像処理装置１００へ送信する。画像処理装置１００によって受信された画像データは、処理対象の画像データとして、記録装置１０５に保存される。

表示器１１４は、計測対象としてのセグメント表示器を含み、複数のセグメントの点灯を制御することにより所定の文字を表示させる。例えば、本実施形態では、不図示の計測装置によって計測された温度、圧力、回転数又は距離などの物理量を、７つのセグメントの点灯消灯を切り替えて数字として表示するセグメント表示器を例に説明する。

ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）１１５は、画像処理装置１００以外の外部装置と画像処理装置１００の動作を連動させるために用いられる制御装置である。外部装置と連動して画像処理装置１００のアプリケーションを実行させる場合、ＰＬＣ１１５は、実行指示の情報を画像処理装置１００へ送信する。また、ＰＬＣ１１５は、画像処理装置１００のアプリケーション実行結果をＰＬＣ１１５のレジスタ内に格納し、他の外部装置との連動に用いることができる。

一方、画像処理装置１００の制御部１０１は、画像処理装置１００のアプリケーションの実行結果をＰＬＣ１１５やデータベース１１６に保存させることができる。この場合、制御部１０１は、当該実行結果を、ネットワークインタフェース１０８からネットワーク１１１経由でＰＬＣ１１５やデータベース１１６に送信する。

データベース１１６は、ネットワークを介してデータの検索や登録が可能であり、例えば、画像処理装置１００のアプリケーション実行結果を受信してデータベースに保存することができる。

なお、本実施形態では、表示器１１４の表示（例えば数字）の切り替わりに要する時間は、撮像装置１１２の露光時間より十分短い。このため、当該表示が切り替わる時間が２枚分の撮影の露光時間に跨ってしまったとしても撮影画像への影響は極めて低く、数字認識処理に影響しない。また、本実施形態における計測装置のサンプリング周期は、撮像装置１１２のフレームレートより十分長く、本実施形態における３枚の撮像中に計測装置の計測は２回以上行われないものとして説明する。

（表示器における表示態様）
次に、図２を参照して、表示器１１４（セグメント表示器）の表示態様について説明する。表示器１１４に表示される文字（ここでは数字）は、撮影画像を用いて画像処理装置１００によって認識される。

表示部２００は、ＬＥＤ若しくは液晶で構成されたセグメントを含み、上述した温度や圧力などの物理量を計測する計測装置の計測値を数字として表示する。表示部２００では、例えば、７か所のＬＥＤ若しくは液晶のセグメントを一組としてこれらの１組のセグメントが点灯、消灯するパターンによって１つの文字（ここでは数字）が形成される。図２に示す例では、セグメント２０１は消灯部であり、セグメント２０２は点灯部である。図２に示す表示部２００の例では、４組のセグメントを用いて計測値「１２３．４」を表示する例を示している。

なお、表示器１１４の表示は、この例に限らず、例えば、表示部２００が液晶パネル等の表示パネルで構成されてもよい。この場合、表示部２００の表示パネルに、１組のセグメントで表示する文字（ここでは数字）を表現した画像を表示してもよい。

表示部２００の各セグメントがＬＥＤで構成される場合、１組のセグメントのうちの点灯部（点灯するセグメント）は、背景や消灯部（すなわち点灯しないセグメント）より明るく表示される。また、表示部２００の各セグメントが液晶で構成される場合、１組のセグメントのうちの点灯部は、背景や消灯部より暗く表示される。

表示部２００には、小数点を表す小数点表示部２０３を含んでよい。小数点を表示可能な表示器の場合、数値を表示する表示部の右下に小数点表示部を配置する。図２に例示する小数点表示部２０３は、小数点表示部が消灯している例を示しており、小数点表示部２０４は小数点表示部が点灯している例を示している。このように、表示する計測値が小数点を有する場合には、表示部２００では、適切な位置の小数点表示部の点灯と消灯とを切り替えることにより小数点を有する計測値を表現する。

（数字認識処理）
次に、図３及び図４を参照して、画像処理装置１００において実行される、表示器１１４に表示される文字を認識する処理（単に、数字認識処理ともいう）について説明する。

本数字認識処理では、画像処理装置１００は、まず、表示器１１４を撮影した撮影画像の中から表示部２００が表示される領域を抽出する。そして、抽出した表示部２００の領域からさらに、一桁ずつの領域（１文字分の領域という）に分割し、分割された１文字分の領域において数字認識処理を実行する。図３は、撮影画像のうちの１文字分の領域の画像データの一例を示している。

図３において、３０１〜３０７は、１文字分の領域に含まれる７つのセグメントである。以降、３０１〜３０７のセグメントを、それぞれｓｅｇＮｏ．１〜ｓｅｇＮｏ．７とも呼ぶ。

点３０８は、１文字分の領域の画像データを構成する上辺を二等分に分割する点である。また、点３０９と点３１０は、１文字分の領域の画像データを構成する右辺を三等分に分割する点である。例えば、上側の点を点３０９、下側の点を点３１０とする。点３１１は、１文字分の領域の画像データを構成する下辺を二等分に分割する点である。更に、点３１２と点３１３は、１文字分の領域の画像データを構成する左辺を三等分に分割する点である。上側の点を点３１３、下側の点を点３１２とする。

交点３１４は、点３０８と点３１１とを結ぶ直線と、点３１３と点３０９とを結ぶ直線との交点である。また、交点３１５は、点３０８と点３１１とを結ぶ直線と、点３１２と点３１０とを結ぶ直線との交点である。

ｓｅｇＮｏ．１（セグメント３０１）が点灯しているか消灯しているかを判別する場合、制御部１０１は点３０９から交点３１４へと画素の値を順次読み込み、一定値以上の輝度値の画素があるかどうかを判別する。制御部１０１は、一定値以上の輝度値の画素があると判別した場合には、ｓｅｇＮｏ．１が点灯しているものとして、当該セグメントの点灯状態に係る判別結果をｓｅｇＮｏ．１と関連付けてＲＡＭに記憶する。一方、制御部１０１は、一定値以上の輝度値の画素がないと判別した場合には、ｓｅｇＮｏ．１が消灯しているものとして、判別結果をｓｅｇＮｏ．１と関連付けてＲＡＭに記憶する。

なお、上述の点灯判別方法は、表示器１１４が例えばＬＥＤのように、消灯している状態より点灯している状態の方が輝度値が高いセグメントである場合に適用可能な判別方法である。一方、表示器１１４が例えば液晶で構成される場合には、セグメントが点灯しているか消灯しているかを判別する方法は、異なる方法を用いてよい。例えば、制御部１０１は、点３０９から交点３１４へと画素の値を順次読み込み、一定値以下の輝度値の画素があるかどうかを判別する。そして、一定値以下の輝度値の画素があると判別した場合には、制御部１０１は、ｓｅｇＮｏ．１（セグメント３０１）が点灯しているものとして、判別結果をｓｅｇＮｏ．１と関連付けてＲＡＭに記憶する。

同様に、ｓｅｇＮｏ．２（セグメント３０２）については、制御部１０１は、交点３１４から交点３１５へ画素の値を順次読み込み、上述の方法で、点灯しているか否かを判別する。そして、判別結果をｓｅｇＮｏ．と関連付けてＲＡＭに記憶する。同様に、制御部１０１は、ｓｅｇＮｏ．３については点３１０から交点３１５へ、ｓｅｇＮｏ．４については点３１１から交点３１５へ、画素の値を順次読込んで同様の処理を行う。更に、制御部１０１は、ｓｅｇＮｏ．５については点３１２から交点３１５へ、ｓｅｇＮｏ．６については点３１３から交点３１４へ、ｓｅｇＮｏ．７については点３０８から交点３１４へ、画素の値を順次読込んで同様の処理を行う。

図４は、各セグメントの点灯状態に係る判別結果と、表示している数字の関係を表している。

管理番号列４０１は、テーブルのデータを一意に特定するための管理番号が記載される列である。点灯パターン４０２は、点灯状態のパターンを示す列である。列４０３から列４０９は、それぞれ対応するｓｅｇＮｏ．１〜ｓｅｇＮｏ．７の点灯条件を示す列である。列４１０は、判別されるべき出力値を表す列である。

また、具体的な管理番号に対応する行４１１から行４２６は、それぞれの出力値（数値）と対応するセグメントの点灯条件とが関連付けらている。例えば、ｓｅｇＮｏ．１からｓｅｇＮｏ．７まですべてＯＮである場合、この点灯状態は、行４２２に示すパターンと一致する。このため、当該点灯状態では、出力されるべき出力値は８となる。また、例えば、ｓｅｇＮｏ．２のみがＯＮであり、他のセグメントが全てＯＦＦの場合、この点灯状態は行４２４と一致する。このため、当該点灯状態では、出力されるべき出力値は、−（マイナス）となる。

このように、制御部１０１は、図３に示した判別方法を用いて各セグメントの点灯状態の判別結果をＲＡＭに保持する。そして、制御部１０１は、点灯状態の判別結果と一致する点灯状態を示す行を図４のテーブルを用いて探索する。このとき、点灯状態の判別結果と一致する行があった場合には、当該一致する行の列４１０の値（出力値）を数字認識結果としてＲＡＭに保持する。一方、制御部１０１は、当該判別結果と一致する見つからなかった場合には、認識失敗として、ＲＡＭに保持する。制御部１０１は、同様の処理を表示器１１４に表示されている数字のそれぞれに対して行って、認識した数字をＲＡＭに保持する。

（表示器の表示の変化と撮影タイミングの関係）
次に、図５を参照して、表示器１１４の表示の変化と、撮像装置１１２による撮影タイミングの関係を説明する。

上述したように、表示器１１４に表示される計測値は、計測器がサンプリング周期ごとに計測を行った計測結果である。図５に示す例では、表示器１１４に表示される計測値が「２」から「５」に変化するタイミングに係る時間変化を示している。

時間軸５００は、時間変化を表しており、ｔ１〜ｔ６はそれぞれ撮像装置１１２が露光を開始するタイミングを示している。表示５０１は、表示器１１４に表示されている計測値を表している。図５に示す例では、ｔ１〜ｔ４の時刻では表示されている計測値が「２」（表示５０１ａ）であることを示している。また、ｔ５〜ｔ６の時刻では、表示されている計測値が「５」（５０１ｂ）であることを示している。このとき、表示される計測値は、ｔ４とｔ５の間に「２」（表示５０１ａ）から「５」（５０１ｂ）に変化している。

撮影画像５０２は、ｔ１〜ｔ６のそれぞれのタイミングにおいて、撮像装置１１２が露光を開始して表示器１１４を撮影した画像を示す。本実施形態では、撮影される画像はグレースケールの画像であり、その画像は大まかに以下の３種類の領域に分類される。１つ目は、表示器１１４のセグメントの状態が消灯状態の領域（領域５０３）である。２つ目は、点灯状態である領域（領域５０４）である。そして、３つ目は、露光中にセグメントの状態が変化し、点灯状態と消灯状態の中間的な状態の輝度値を有する領域（領域５０５）である。

ｔ１〜ｔ３のタイミングに露光を開始した場合、計測値「２」を表示器１１４が表示している撮影画像５０２ａが得られる。ｔ５〜ｔ６のタイミングに露光を開始した場合、計測値「５」を表示器１１４が表示している撮影画像５０２ｂが得られる。一方、ｔ４のタイミングに露光を開始した場合、撮像装置１１２が露光しているときに計測値が「２」から「５」に変化している。このため、撮影画像５０２ｃは、変化したセグメントが、輝度値が点灯状態の領域と消灯状態の中間的な状態の輝度値を含む画像となる。

撮影画像が５０２ａまたは５０２ｂであった場合、制御部１０１は、図３に示した点灯状態の判別方法に従って、図４に示したテーブルと照合した場合、５０２ａの画像では計測値「２」を検出することができる。一方、５０２ｂの画像では計測値「５」得ることができる。これに対し、撮影画像がｔ４のタイミングで撮像された撮影画像が５０２ｃである場合、点灯状態を正確に得られることができない。この場合、図４に示した行４２６のようなテーブルに当てはまらない数字認識結果を出力したり、表示器１１４に表示されている計測値とは異なる「８」という数字認識結果を出力する可能性がある。以下の説明では、撮影画像５０２ｃのような撮影画像を含む場合であっても、適切な数字（文字）を出力値として出力することが可能な処理（出力決定処理）について述べる。

（時系列の画像を用いた出力決定処理に係る一連の動作）
次に、図６を参照して、本実施形態に係る、時系列の画像を用いた出力決定処理の一連の動作について説明する。出力決定処理は、時系列の撮影画像のそれぞれにおける認識結果（この例では数字）を用いて、複数の認識結果のうちどの認識結果（数字）を出力するかを決定する処理である。出力決定処理に係る一連の動作は、制御部１０１がＲＯＭに格納された数字認識用のアプリケーションをＲＡＭに展開、実行することにより、実現される。また、画像処理装置１００は、起動後に初期設定が完了し、本処理の実行待機状態であり、入力装置１０６から又はネットワークを介して開始用の操作を受け付けることで開始される。初期設定は、表示器１１４を視野内に収めるように撮像装置１１２のＰＴＺ（パン・チルト・ズーム）が設定されることを含む。また、初期設定は、数字認識用のアプリケーションの数字認識処理パラメータ、例えば図３で説明したセグメントの点灯状態を判別するための輝度値閾値などが適切に設定されることを含む。

ステップＳ６０１では、制御部１０１は、カメラ撮像のループカウンタ用の変数ｉの値を０に初期化する。

ステップＳ６０２では、制御部１０１は、数字認識用のアプリケーションを実行することにより、ネットワークインタフェース１０８を介して、撮像装置１１２へ撮像開始指令を送信する。これにより、撮像装置１１２は表示器１１４の撮像を開始し、得られた撮影画像をネットワーク１１１を介して画像処理装置１００に送信する。

画像処理装置１００の数字認識用アプリケーションは、ネットワークインタフェース１０８で受信した撮影画像をループカウンタｉの値と紐づけてＲＡＭに格納する。

ステップＳ６０３では、制御部１０１は、Ｓ６０２で格納された撮影画像から表示器１１４に表示されている数字を認識するために、数値認識処理を実行する。具体的には、制御部１０１は、図３を参照して説明した方法を用いる。
制御部１０１は、数字認識処理によって得られた表示器１１４の数字情報を、ループカウンタｉの値と紐づけてＲＡＭに格納する。

ステップＳ６０４では、制御部１０１は、ＲＡＭに格納されているループカウンタｉのループ数を判定する。ここで、Ｎは最大ループ数の定数であり、ループ数は本実施形態では例えば、３とする。ループカウンタｉが定数Ｎ未満である場合、制御部１０１は処理をＳ６０２に戻して、数字認識処理を繰り返す。ループカウンタｉが定数Ｎ以上であった場合、ループを抜けて認識した数字の決定処理ステップへ移行する。

ステップＳ６０５では、制御部１０１は、ＲＡＭに格納されているループカウンタｉの値をインクリメントする。ループカウンタｉの値を変更することでステップＳ６０２で取得した撮影画像やステップＳ６０３で認識した数字の重複を回避する。

決定処理のステップＳ６０６〜Ｓ６１０は、Ｓ６０２で撮影した３枚の画像を用いて表示器１１４の表示として出力する数字を決定する（すなわち、３枚の認識結果のうちどの数字を出力するかを決定する）処理である。ここで、図７には、表示器１１４の数字の変化に対する撮影結果の画像を示している。すなわち、ステップＳ６０４におけるＮが３であるため、ステップＳ６０２で撮影される撮影画像は３枚である。

図７（Ａ）は、図５に示したｔ１〜ｔ３のタイミングで撮影された３枚の撮影画像を示している。ｔ１〜ｔ３の時間では、表示器１１４に表示される計測値の数字は変化しない。このためすべて同じ数字の画像が撮影される。

図７（Ｂ）は、図５に示したｔ２〜ｔ４のタイミングで撮影された３枚の撮影画像を示している。ｔ４のタイミングに露光した画像では、露光中に表示器１１４に表示される計測値の数字が変化する。このため、３枚の画像のうち２枚は表示器１１４に表示されている計測値の数字が撮影されているが、最後の１枚は、露光中に表示器１１４が変化し、正確な計測値が撮影されていない画像となる。

図７（Ｃ）は、図５のｔ３〜ｔ５のタイミングで撮影された３枚の撮影画像を示している。ｔ４のタイミングに露光した画像では露光中に表示器１１４に表示される計測値の数字が変化する。このため、３枚の画像のうち１枚目は表示器１１４に表示されている計測値の数字が変化する前の数字を撮影した撮影画像である。２枚目は、露光中に表示器１１４が変化し、正確な計測値が撮像されていない撮影画像となり、３枚目は、表示器１１４に表示されている計測値の数字が変化した後の数字を撮影した撮影画像となる。

図７（Ｄ）は、図５のｔ４〜ｔ６のタイミングで撮影された３枚の画像を示している。ｔ４のタイミングに露光した画像は、露光中に表示器１１４に表示される計測値の数字が変化したため、１枚目は、正確な計測値が撮影されていない撮影画像である。その後の２枚（２枚目と３枚目）は、表示器１１４に表示されている計測値の数字が撮影された撮影画像である。ここで、図１の説明で上述したように、本実施形態における表示器１１４の数字切り替わりの時間は撮像装置１１２の露光時間より十分短い。このため、撮像装置１１２が撮像した３枚の画像は図７の（Ａ）〜（Ｄ）の４パターンのいずれかに当てはまる。
そこで、Ｓ６０６〜Ｓ６１０の決定処理では、制御部１０１は、時系列順に撮影した３枚の画像が、パターン（Ａ）〜（Ｄ）のいずれに当てはまるのかを判別することで、表示器１１４の表示として出力する計測値を決定する。

ステップＳ６０６では、制御部１０１は、ステップＳ６０３で認識した数字の結果がすべて同じであるかを判定する。制御部１０１は、認識した数字がすべて同じ数字である場合、ステップＳ６０７へ遷移する。この場合は、図７（Ａ）に示したパターンに相当し、３枚の画像の数字認識結果がすべて同じである。このため、ステップＳ６０７では、制御部１０１は、撮像装置１１２の露光中に表示器１１４は変化していないと判定し、３枚の画像のうち任意の認識結果（或いは固定的に最後の認識結果）をＲＡＭに保持する。一方、制御部１０１は、ステップＳ６０６において認識結果がすべて同じ数字でないと判定した場合、ステップＳ６０８へ遷移する。

ステップＳ６０８では、制御部１０１は、Ｓ６０３で認識した数字が２種類であるかを判定する。制御部１０１は、認識した数字が２種類である場合、ステップＳ６０９へ遷移する。この場合、図７（Ｂ）或いは図７（Ｄ）に示したパターンに相当する。すなわち、数字認識結果は２種類であるため、１枚の数字認識結果は、表示器１１４の変化中に露光した際の数字認識結果であると判定することができる。一方、同一の数字認識結果である２枚の画像が変化中でない数字認識結果と判定できる。そこで、ステップＳ６０９では、制御部１０１は、最も多くの画像（この場合２枚）から認識された数字をＲＡＭに保持する。

一方、制御部１０１は、ステップＳ６０８においてＳ６０３で数字の認識結果が２種類でない（すなわち３種類である）と判定した場合、ステップＳ６１０に遷移する。この場合は、図７（Ｃ）に相当する。数字認識結果は３種類であるため、制御部１０１は、２枚目の数字認識結果が表示器１１４の変化中に露光した際の数字認識結果であると判定することができる。また、１枚目は、表示器１１４が変化する前の数字認識結果であり、３枚目は、変化後の数字認識結果と判定することができる。ステップＳ６１０では、制御部１０１は、最後に認識した数字を保持する。なお、ステップＳ６１０では、制御部１０１は、最初に認識した数字を保持するのでも構わない。

ステップＳ６１１では、制御部１０１は、直前のステップ（すなわちＳ６０７、Ｓ６０９、Ｓ６１０）でＲＡＭに保持した数字認識結果を、画像処理装置１００の決定した出力として外部システムに出力する。制御部１０１は、決定した出力を数字データのバイナリ、もしくはテキストデータとして画像処理装置１００内の記録装置１０５などに保存してもよい。また、制御部１０１は、、メディアドライブ１０７内の記録媒体に保存したり、ネットワーク１１１に接続されている外部の記録媒体（データベースなど）に記録したりしてもよい。制御部１０１は、その後、出力決定処理に係る一連の動作を終了する。

以上説明したように本実施形態では、１つの文字（数字）を時系列順に撮影した３つの撮影画像から認識した数字の、時系列の変化態様に基づいて、出力する文字（数字）を決定するようにした。このとき、撮影画像に表示器１１４の変化中に露光した撮影画像が含まれることを想定して、数字認識結果が３つ存在する場合には１つの誤った数字が認識されていることを考慮するようにしている。数字認識結果として２種類の数字が認識されている場合、１枚の画像から認識された数字を除いた、複数の画像から認識された同一の数字を採用する。一方、数字認識結果として数字が３つ認識されている場合には、変化途中の誤った数字が真ん中の画像に現れることを利用して、最後（又は最初）に撮影された画像の数値を採用するようにした。このようにすることで、表示器の表示の変化により誤った文字を認識する場合があっても、最終的に正確な認識結果を出力することが可能になる。

なお、上述の本実施形態では、セグメント数が７つである、７セグメント表示器を例に説明した。しかし、セグメント数が１４個である、１４セグメント表示器や、セグメント数が１６個である、１６セグメント表示器の場合にも適用可能である。その場合、各セグメントの点灯状態の判別処理やテーブルデータはそれぞれのセグメント数に合わせて変更すればよい。

また、上述の本実施形態では、表示器１１４に表示されている文字が数字である場合を例に説明した。しかし、上述した処理は、アルファベットや、記号などの文字に適用することができる。

更に、上述の本実施形態では、ステップＳ６０４におけるＮ（すなわち時系列に撮影される画像の枚数）が３である場合を例に説明した。しかし、Ｎを４以上（撮像される画像の枚数を４以上）として図６に示した出力決定処理を行ってもよい。但し、本実施形態におけるＮ枚の撮像中に計測装置の計測を２回以上行わないものとする。

更に、上述の実施形態では、表示器１１４の数字を一桁ずつ分け、それぞれで数字認識処理を実行する場合を例に説明した。しかし、数字認識処理を桁ごとに行うのではなく、画像内の表示器に表示されている数字を一度に認識する数字認識処理方法でも構わない。

また、上述の実施形態では、セグメントの点灯状態及び消灯状態を図４に記載のパターンに当てはめる、いわゆるルールベースのアルゴリズムに基づいて数字を認識する方法を例に説明した。しかし、数字認識処理は、必ずしもルールベースのアルゴリズムによって認識されなくてもよい。例えば、表示器１１４の画像を事前に機械学習を用いて学習しておき、撮影した表示器１１４の画像から表示されている数字（文字）を認識する方法を用いてもよい。機械学習を用いる方法として、例えば、畳み込み層を有するディープニューラルネットワーク（例えば、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて数字（文字）を認識する方法を用いてもよい。このようにすれば、特徴量やアルゴリズムを手作業で事前に与えることなく、セグメントの点灯状態及び消灯状態のパターンに基づいて数字（文字）を認識することができる。

上述の例では、３つの撮影画像から最大３つの数字を認識する場合を例に説明した。しかし、数字を認識不可能である結果を得た場合も同様の処理を適用することができる。すなわち、数字を認識不可能との認識結果が出たときは、当該結果を１種類の文字を認識したものと同等に扱えばよい。

（実施形態２）
次に実施形態２について説明する。実施形態２では、実施形態１と数字決定処理の動作の一部が異なるが、他の構成或いは処理は実施形態１と同様である。すなわち、画像処理システムの構成や、表示器１１４の表示に対する数字認識処理は、実施形態１と同様である。このため、同一又は実質的に同一の構成については同一の参照符号を付して説明を省略し、異なる構成について重点的に説明する。

（時系列の画像を用いた出力決定処理に係る一連の動作）
図８を参照して、本実施形態に係る、時系列の画像を用いた出力決定処理に係る一連の動作について説明する。

ステップＳ８０１では、制御部１０１は、上述したステップＳ６０２と同様に、撮像装置１１２へ撮像開始指令を送信する。これに対し、撮像装置１１２は、表示器１１４の表示を撮像して、その得られた画像データをネットワーク１１１を介して画像処理装置１００に送信する。制御部１０１は、撮像装置１１２から受信した画像データをＲＡＭに格納する。

ステップＳ８０２では、制御部１０１は、Ｓ８０１で格納された画像データから表示器１１４に表示されている数字を認識するための数字認識処理を実行する。このとき、制御部１０１は、実施形態１で上述した数字認識処理を実行する。そして、ステップＳ８０３では、制御部１０１は、Ｓ８０２で認識した数字をＲＡＭに確保されている変数Ｒ１に保持する。

次に、ステップＳ８０４では、制御部１０１は、Ｓ８０１と同様に撮像装置１１２で撮像した画像データを格納し、更に、ステップＳ８０５では、制御部１０１は、Ｓ８０２と同様に格納されている画像データに対して数字認識処理を実行する。そして、ステップＳ８０６では、制御部１０１は、Ｓ８０５で認識した数字をＲＡＭに確保されている変数Ｒ２に保持する。

すなわち、ステップＳ８０１〜Ｓ８０６では、連続する時系列の画像のうちの前の画像に数字認識処理を行った結果と、後の画像に数字認識処理を行った結果とを、それぞれ変数Ｒ１及びＲ２に保持する処理を行っている。

ステップＳ８０７では、制御部１０１は、Ｓ８０３及びＳ８０６で保持した数字認識結果であるＲ１とＲ２を照合する判定処理を実行する。制御部１０１は、Ｒ１とＲ２が一致しないと判定した場合、表示器１１４の表示が数字認識処理実行中に変化したと判定して、処理をステップＳ８０８へ遷移させる。ステップＳ８０８では、制御部１０１は、後に認識した結果であるＲ２をＲ１の変数へ代入する。制御部１０１は、ステップＳ８０８の処理の完了後はＳ８０４へ遷移して、Ｓ８０７の判定において認識結果が一致するまで処理を繰り返し実行する。このようにすることで、時系列順の複数の撮影画像の数を動的に変化させながら、同一の認識結果が連続したところで正しい数字を出力して決定することができる。

一方、制御部１０１は、ステップＳ８０７においてＲ１とＲ２が一致すると判定した場合、ステップＳ８０９に処理を遷移させる。ステップＳ８０９では、制御部１０１は、認識結果Ｒ１が表示器１１４に表示されている数字であると決定して認識結果Ｒ１を外部システムに出力する。勿論、出力する結果はＲ２に保持されている結果でも構わない。

なお、制御部１０１が判定結果を数字データのバイナリ、もしくはテキストデータとして画像処理装置１００内の記録装置１０５などに保存してもよい。また、メディアドライブ１０７内の記録媒体に保存してもよいし、ネットワーク１１１に接続されている外部の記録媒体（データベースなど）に記録してもよい。

以上説明したように本実施形態によっても、１つの文字（数字）を時系列順に撮影した連続する撮影画像に基づいて、表示された文字（数字）を判定するようにした。このとき、撮影画像に表示器１１４の変化中に露光した撮影画像が含まれることを想定して、連続する数字認識結果が一致しない場合には誤った数字が認識されていることを考慮するようにしている。反対に、連続する数字認識結果が一致する場合には、誤認識された数字を含まない正しい数字認識結果を含むと判定して、当該数字認識結果を出力として採用する。このようにすることで、表示器の表示の変化により誤った文字を認識する場合があっても、最終的に正確な認識結果を出力することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…画像処理装置、１０１…制御部、１１２…撮像装置、１１４…表示器

Claims (11)

1. １つの文字が複数のセグメントで構成される文字を時系列順に撮影した複数の撮影画像を取得して、前記複数の撮影画像のそれぞれについて、撮影された前記文字を認識する認識手段と、
   前記複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する決定手段と、を有し、
   前記決定手段は、前記複数の撮影画像のそれぞれから認識した文字の時系列順の変化態様に応じて、前記複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する、ことを特徴とする画像処理装置。
2. 前記決定手段は、前記複数の撮影画像のそれぞれから認識した文字がそれぞれ異なる文字である場合、前記複数の撮影画像のそれぞれから認識した文字のうち最後に撮影された画像から認識された文字を、出力する文字として決定する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の撮影画像のそれぞれから認識した文字が２種類の文字である場合、前記複数の撮影画像のそれぞれから認識した文字のうち最も多くの画像から認識された文字を、出力する文字として決定する、ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記複数の撮影画像のそれぞれから認識した文字が同一の文字である場合、当該認識された文字を、出力する文字として決定する、ことを特徴とする請求項１に記載の画像処理装置。
5. 前記決定手段は、前記時系列順に撮影した連続する撮影画像のうちの前の撮影画像から認識された文字と、後の撮影画像から認識された文字とが一致する場合に、当該認識された文字を出力する文字として決定する、ことを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記前の撮影画像から認識された文字と、前記後の撮影画像から認識された文字とが一致しない場合、前記連続する撮影画像より後の更なる撮影画像を取得し、前記後の撮影画像から認識された文字と、前記更なる撮影画像から認識された文字とが一致するかを更に判定する、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記１つの文字は、７つ、１４個、又は１６個のいずれかのセグメントで構成されて表示器に表示されている、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記認識手段は、前記複数のセグメントの点灯状態及び消灯状態のパターンに応じて前記１つの文字を認識する、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. １つの文字が複数のセグメントで構成される文字を時系列順に撮影した複数の撮影画像を生成する撮像手段と、
   請求項１から８のいずれか１項に記載の画像処理装置と、を有することを特徴とする画像処理システム。
10. １つの文字が複数のセグメントで構成される文字を時系列順に撮影した複数の撮影画像を取得して、前記複数の撮影画像のそれぞれについて、撮影された前記文字を認識する認識工程と、
    前記複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する決定工程と、を有し、
    前記決定工程では、前記複数の撮影画像のそれぞれから認識した文字の時系列順の変化態様に応じて、前記複数の撮影画像のそれぞれから認識した文字のうちのいずれの文字を出力するかを決定する、ことを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images