JP2020160527A - 文字認識装置 - Google Patents

文字認識装置 Download PDF

Info

Publication number
JP2020160527A
JP2020160527A JP2019056296A JP2019056296A JP2020160527A JP 2020160527 A JP2020160527 A JP 2020160527A JP 2019056296 A JP2019056296 A JP 2019056296A JP 2019056296 A JP2019056296 A JP 2019056296A JP 2020160527 A JP2020160527 A JP 2020160527A
Authority
JP
Japan
Prior art keywords
character recognition
image
control unit
cables
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019056296A
Other languages
English (en)
Inventor
祐太郎 石橋
Yutaro Ishibashi
祐太郎 石橋
孝 上大田
Takashi KAMIOTA
孝 上大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019056296A priority Critical patent/JP2020160527A/ja
Publication of JP2020160527A publication Critical patent/JP2020160527A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

【課題】2次元コードなどを用いなくても文字認識の精度を向上させることが可能な技術を提供することを目的とする。【解決手段】文字認識装置は、撮影部と、制御部とを備える。撮影部は、1以上のケーブルに記された1以上の文字を含む画像を撮影する。制御部は、複数の地点にて撮影部で撮影された複数の画像に文字認識を行うことによって、複数の認識文字をそれぞれ取得し、複数の認識文字の一致数に基づいて複数の認識文字の中から、ケーブルに記された文字を決定する。【選択図】図3

Description

本発明は、ケーブルに記された文字を認識する文字認識装置に関する。
配電盤や分電盤等の盤筐体の製造、据え付け及び保守では、電気設備間を結線するケーブルの結線箇所について正誤の確認が行われる。ケーブルの数は一つの盤筐体あたり数百から千程度あり、作業者は、それらを一つ一つ手作業で図面と照合しながら確認するため、その作業に膨大な時間を要するという問題がある。
そのような問題に対して特許文献1の技術では、配電盤内の端子台に結線されるケーブルの識別表示用のタグ表面などに2次元コードを予め印字しておく。そして、広角機能を持つレンズ有し、光を均一化する機能を持つ遮蔽体を取り付けたデジタル撮影装置で2次元コードを撮影し、撮影で得られたデジタル画像に画像処理を行うことによってケーブル結線の正誤を判断している。
特開2014−93870号公報
特許文献1の技術では、全てのケーブル及び盤筐体のケーブル取り付け部に対して2次元コードを付与する必要がある。しかしながら、スペースの問題や客先要求などの製品仕様上の制約によって、ケーブル及び盤筐体のケーブル取り付け部に2次元コードを付与することが困難である場合がある。
そこで、本発明は、上記のような問題点を鑑みてなされたものであり、2次元コードなどを用いなくても文字認識の精度を向上可能な技術を提供することを目的とする。
本発明に係る文字認識装置は、1以上のケーブルに記された1以上の文字を含む画像を撮影する撮影部と、複数の地点にて前記撮影部で撮影された複数の画像に文字認識を行うことによって、複数の認識文字をそれぞれ取得し、前記複数の認識文字の一致数に基づいて前記複数の認識文字の中から前記文字を決定する制御部とを備える。
本発明によれば、複数の認識文字の一致数に基づいて複数の認識文字の中から文字を決定するので、2次元コードなどを用いなくても文字認識の精度を向上させることができる。
盤筐体の一例を示す図である。 実施の形態1に係る線番号読取装置の外観を示す図である。 実施の形態1に係る線番号読取装置の構成を示すブロック図である。 実施の形態1に係る線番号読取装置の処理の概要を示すフローチャートである。 実施の形態1に係る線番号読取装置の表示例を示す図である。 実施の形態1に係る線番号読取装置の構成を示すブロック図である。 実施の形態1に係る線番号読取装置の処理を示すフローチャートである。 実施の形態1に係る線番号読取装置の処理を示すフローチャートである。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 実施の形態1に係る線番号読取装置の処理を示すフローチャートである。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 実施の形態1に係る線番号読取装置の処理を説明するための図である。 文字認識結果の一例を示す図である。 文字認識結果の一例を示す図である。 実施の形態2に係る線番号読取装置の外観を示す図である。 実施の形態2に係る線番号読取装置の撮影部の構成を示す図である。 実施の形態2に係る線番号読取装置の文字認識結果の一例を示す図である。 盤筐体の一例を示す図である。 実施の形態3に係る線番号読取装置の処理の概要を示すフローチャートである。 実施の形態3に係る線番号読取装置の処理を示すフローチャートである。 実施の形態3に係る線番号読取装置の処理を説明するための図である。 盤筐体の一例を示す図である。 実施の形態4に係る線番号読取装置の処理を示すフローチャートである。 実施の形態4に係る線番号読取装置の処理を説明するための図である。 実施の形態4に係る線番号読取装置の処理を説明するための図である。 実施の形態4に係る線番号読取装置の処理を説明するための図である。 実施の形態6に係る線番号読取装置の処理を示すフローチャートである。 実施の形態6に係る線番号読取装置の処理を説明するための図である。
図1は、本発明の実施の形態に係る文字認識装置が文字認識の対象とする盤筐体81の例を示す図である。盤筐体81には1以上のケーブルである数十から千程度のケーブル82が接続されており、それぞれのケーブル82には、1以上の英数字や記号などの文字からなる文字列である線番号83が記されている。盤筐体81内のどの位置にどの線番号83のケーブル82を接続するかは、図面や指示書で予め規定されており、作業者はこの図面や指示書に従い結線作業及び点検作業を行う。
以下、線番号83は左右方向に配列された文字列である例について説明するが、縦方向やその他の方向に配列されてもよい。また、以下では、線番号83は、例えば枠やタグなどの線番号部84に記されるものとして説明するが、ケーブル82に直接記されてもよい。
また以下では、複数のケーブル82は上下方向に並列に配列され、複数のケーブル82に記された文字は、複数のケーブル82の上下方向(配列方向)に配列されている例について説明するが、これらの配列は上下方向に限ったものではない。また、以下の実施の形態に係る構成要素のうち、同じまたは類似する構成要素については同じまたは類似する参照符号を付し、重複する説明については省略する。
<実施の形態1>
図2は、本発明の実施の形態1に係る文字認識装置である線番号読取装置1の外観を示す図であり、図3は、線番号読取装置1の構成を示すブロック図である。線番号読取装置1は、撮影部11と、記憶部12と、制御部13と、映像表示部14とを備える。ここでは、線番号読取装置1の構成要素の概要について説明し、詳細については後述する。
撮影部11は、例えばカメラであり、1以上のケーブル82に記された線番号83を含む画像を撮影する。撮影部11が撮影を繰り返し行っている間に、作業者は、線番号読取装置1を読み取り対象のケーブル列に向けて上から下、または下から上の一方向に動かす。例えば図1では、線番号「ABC123」から「JKL123」に向かう方向、または線番号「JKL123」から「ABC123」に向かう方向に動かして、配列された複数のケーブル82を撮影する。これにより、撮影部11は、ケーブル82の配列方向である上下方向に沿った複数の地点において複数の画像をそれぞれ撮影する。
記憶部12は、撮影部11で撮影された画像(以下「撮影画像」と記すこともある)、制御部13で加工された画像、制御部13で決定された線番号83などを記憶する。
制御部13は、例えばCPU(Central Processing Unit)である。制御部13は、上下方向に沿った複数の地点にて撮影部11で撮影された複数の画像に文字認識を行う。本実施の形態1では、制御部13の文字認識は、(1)撮影部11で撮影された画像から線番号83を含む部分画像である切出領域をトリミングすること、(2)切出領域を二値化して二値化画像を作成すること、(3)二値化画像のうち面積が最も大きい領域を抽出してマスク画像を作成すること、(4)二値化画像とマスク画像とに基づいて認識文字である認識線番号を取得することを含む。この詳細については、後で図14及び図15を用いて説明する。なお、制御部13が行う文字認識は、これに限ったものではない。
文字認識によって、複数の地点にて撮影部11で撮影された複数の画像から、複数の認識線番号がそれぞれ取得される。制御部13は、複数の認識線番号の一致数に基づいて、複数の認識線番号の中からケーブル82に記された線番号83を決定する。なお、複数の認識線番号の一致数とは、複数の認識線番号の間で一致している認識線番号の個数である。本実施の形態1では、制御部13は、一致数が予め定められた閾値以上である認識線番号を、ケーブル82に記された線番号83として決定する。
映像表示部14は、撮影部11で撮影された画像のうち、制御部13によって文字認識が行われる線番号83を文字認識が行われていない線番号83と識別可能に表示したり、制御部13で決定された線番号83を表示したりする。
図4は、本実施の形態1に係る線番号読取装置1の処理の概要を示すフローチャートである。なお、この処理は、例えば、結線の確認を行う作業者が、線番号読取装置1に、線番号読取プログラムを実行させることによって行われる。
ステップS1にて、これから読み取りが行われる盤筐体81の固有情報が作業者によって選択され、撮影条件が設定される。その後、線番号読取装置1は、読み取り対象のケーブル82の上下方向に沿って作業者により移動される。なお、以下で説明するステップS2及びステップS3は、撮影部11が撮影している間に繰り返し行われる。
ステップS2にて、制御部13は、撮影部11で撮影された画像から、文字認識が行われる線番号83及び線番号部84を含む領域を、切出領域として切り出す。このステップS2にて、映像表示部14は、文字認識が行われる切出領域を識別可能に表示し、制御部13は、撮影した画像と、切出領域の情報(例えば座標)とを記憶部12に記憶する。
図5は、ステップS2の映像表示部14の表示例を示す図である。図5では、線番号「DEF456」及び線番号「GHI789」に対して文字認識が行われる。このように、映像表示部14は、画像処理を行うことによって、文字認識が行われる線番号83を含む切出領域を識別可能にする枠線21を、撮影している画像に付加する。これにより、作業者は、切り出しが行われている領域を確認しながら撮影できるので、効率よく撮影作業を行うことができる。なお、図5では、切出領域は、線番号部84と一致しているが、一致するとは限らない。
ステップS3にて、制御部13は、切出領域に含まれる文字列に対して文字認識を行うことによって、当該文字列を認識線番号として取得する。そして、制御部13は、切出領域の情報に対応付けて認識線番号を記憶部12に記憶する。このような処理が、ケーブル82の配列方向に沿った線番号読取装置1の移動中に繰り返し行われるため、任意の同一のケーブル82について、線番号83が複数回撮影され、複数の認識線番号が取得される。
撮影が処理終了すると、ステップS4の処理が行われる。ステップS4にて、制御部13は、複数の認識線番号の一致数、つまり、複数の認識線番号の間で一致している個数を集計する。そして、制御部13は、複数の認識線番号の一致数の大小に基づいて、複数の認識線番号の中から線番号83を決定するフィルタリングを行う。このようなフィルタリングにより、ケーブル82に記された線番号83について文字認識の精度を高めることができる。制御部13は、切出領域の情報に対応付けて、決定した線番号83を記憶部12に記憶する。その後、図4の処理が終了する。
なお、画像処理と文字認識とを行う記憶部12及び制御部13には、装置と接続された汎用のパーソナルコンピュータが用いられてもよいし、装置に取り付けられた小型のパーソナルコンピュータが用いられてもよい。また、線番号読取装置1の構成は、図3の構成に限ったものではなく、例えば図6の構成であってもよい。図6の構成では、撮影及び記憶を一次記憶部12−1及び一次制御部13−1で行い、撮影された画像を二次記憶部12−2及び二次制御部13−2からなるサーバに無線通信で送信し、比較的高い処理負荷を要する文字認識を二次記憶部12−2及び二次制御部13−2で行う。図6のような構成によれば、撮影部11、一次記憶部12−1、一次制御部13−1、及び、映像表示部14を含む無線通信機能付き小型のパーソナルコンピュータによって、ワイヤレスの撮影可能な手持ち端末を実現することができる。
次に、図4の処理を複数に分けて詳細に説明する。
図7は、ケーブル82の撮影処理(図4のステップS1〜ステップS3の処理)を示すフローチャートである。
まずステップS11にて、プログラムが実行されると設定画面が表示され、これから読み取りが行われる盤筐体81の固有情報が作業者によって選択される。この選択により、撮影条件が設定され、図示しない読み取り開始ボタンが押されると、撮影部11が撮影可能状態となる。
ステップS12にて、制御部13は、撮影部11で撮影された画像から、文字認識が行われる線番号83及び線番号部84を含む領域を、切出領域として切り出す。ステップS13にて、制御部13は、切出領域を識別可能に示す枠線21を映像表示部14に表示させる。なお、ステップS12及びステップS13の処理については、後で図8を用いて詳細に説明する。
ステップS14にて、制御部13は、逐次的に撮影した画像と、切出領域の情報とを記憶部12に逐次的に記憶する。
ステップS15にて、制御部13は、切出領域に文字認識を行うことによって、切り出し領域の文字列を認識線番号として取得する。なお、ステップS15の処理については、後で図14を用いて説明する。
ステップS16にて、制御部13は、切出領域の情報に対応付けて認識線番号を記憶部12に記憶する。
ステップS17にて、制御部13は、撮影が終了されたか否かを判定する。撮影が終了されたと判定された場合には図7の処理が終了し、そうでない場合にはステップS12に処理が戻る。
図8は、撮影画像からの切出領域の切り出し及び表示の処理(図7のステップS12及びステップS13の処理)を詳細に示すフローチャートである。まず撮影部11で撮影された画像が、画像処理機能を有する制御部13の図示しない情報処理装置に読み込まれる。
ステップS21にて、読み込まれた画像が、赤、緑、青(RGB)から成る3層の情報を有している場合、情報処理装置は、当該画像から明度を表す1層の情報に変換する。
ステップS22にて、情報処理装置は、1層の情報に対して閾値を設定し、図9に示すような、白と黒から成る二値化情報に変換する。
ステップS23にて、情報処理装置は、元の画像または二値化画像に対してエッジ検知処理を行い、図10に示すような周辺の画素情報の勾配が大きな部分のみを抽出したエッジ検知画像を作成する。
ここで、線番号部84を他の領域から区別する際、ケーブル82そのものやその周辺に線番号部84と似た明度を有しているものがあると、二値化処理やエッジ検知によって線番号部84を区別することが困難な場合がある。そのような区別を適切行うため、ステップS24にて、本実施の形態1に係る情報処理装置は、RGB画像を色相、彩度、明度から成るHSV画像に変換する。
ステップS25にて、情報処理装置は彩度のフィルタを作成する。ステップS26にて、情報処理装置は、ステップS24で作成した画像に、彩度のフィルタを用いてノイズを除去することによって、彩度を二値化した二値化画像を作成する。これにより、図11に示すような画像が作成される。図9及び図10に示すような画像では、ケーブル82と線番号部84とを明度で区別することができないが、図11に示すような、高彩度部を二値化した画像では、ケーブル82のみを抽出することが可能となる。
ステップS27にて、情報処理装置は、ステップS23で作成したエッジ検知画像と、ステップS26で作成した二値化画像とを合成する。高彩度部を除去する合成により、図12に示すように、線番号部84が区別された画像が得られる。
以上のように、ステップS22の明度(図9)によって線番号部84の区別できない領域は、ステップS23のエッジ検知(図10)によって線番号部84の区別が可能となる。エッジ検知でも線番号部84の区別ができない場合は、ステップS26の高彩度部(図11)の抽出によって、線番号部84の区別が可能となる(図12)。なお以上の説明では、ステップS25及びステップS26において彩度のフィルタを用いたが、色相のフィルタ、または、彩度及び色相のフィルタが用いられてもよい。
ステップS28にて、情報処理装置は、ステップS27で得られた画像から、連続した複数の画素を囲う輪郭を検知する処理を行い、各輪郭の横方向(x方向)及び高さ方向(y方向)のそれぞれの最大座標及び最小座標を取得する。なお、以下の説明において座標の原点は画像の左上側に設定されているものとする。図13に示すように、情報処理装置は、元の画像に最大座標及び最小座標から成る枠線21を付加した画像を作成し、映像表示部14は、作成された画像を表示する。その後、図8の処理が終了する。
作業者が撮影している線番号読取装置1の映像表示部14が、図13のような画像を逐次的に表示することで、作業者は線番号部84を抽出できていることを確認しながら撮影することができる。なお、以上に説明した図8の処理フローは一例であり、対象の画像に応じて一部の処理を省略したり、処理の順序を入れ替えたりすることができる。
作業者は、図13のような画像を見ながら、盤筐体81内のケーブル82の配列方向、つまり上から下への方向、または、下から上への方向のように、一方向に撮影部11を動かし、撮影を行う。これにより、線番号読取装置1は、撮影された画像及び切出領域のx方向及びy方向の最大座標及び最小座標を記憶部12に逐次記憶していく。
図14は、文字認識処理(図7のステップS15の処理)を詳細に示すフローチャートである。
ステップS31にて、制御部13は、図8のステップS28で取得された切出領域の1つについて、その輪郭の座標(切出領域のx方向及びy方向の最大座標及び最小座標)を読み込む。
ステップS32にて、制御部13は、読み込んだ切出領域の輪郭の座標から輪郭内の画素の合計値を算出し、当該合計値が、予め設定された範囲内に含まれているか否かを判定する。合計値が当該範囲に含まれていると判定された場合にはステップS33に処理が進み、そうでない場合にはステップS40に処理が進む。これにより、小さすぎたり大きすぎたりする、明らかに線番号部84とは異なる切出領域を、文字認識の対象から外すことができることから、処理負荷を低減することできる。
ステップS33にて、制御部13は、切出領域の最大座標及び最小座標をもとに、元の画像から、線番号83及び線番号部84を含む切出領域(図15のステップS33)をトリミングする。
ステップS34にて、制御部13は、切出領域に対して、グレースケール化と二値化処理とを行うことによって、二値化画像(図15のステップS34)を作成する。この時点で文字列及び背景だけの情報が得られているが、背景の情報が文字列の一部として認識されてしまう可能性があり、文字認識の精度が悪化する恐れがある。精度よく文字認識を行うには、画像に含まれる情報が文字列だけであることが望ましい。
そこで二値化処理によって文字列と背景とが明瞭に区別できない場合には、ステップS35にて、制御部13は、二値化画像に輪郭検知を行うことによって、最も面積の大きい領域だけを抽出する。そして、ステップS36にて、制御部13は、抽出された領域を塗りつぶしたマスク画像(図15のステップS36)を作成する。
ステップS37にて、制御部13は、二値化画像とマスク画像とを合成することによって、二値化画像から背景部を除去し、文字列だけが抽出された画像(図15のステップS37)を作成する。なお、ケーブル82の接続条件や撮影条件によって、撮影画像の左右方向に対して文字列が水平で無く、傾いている場合があり、このような文字列の傾きは文字認識精度の低下を招く恐れがある。
そこでステップS38にて、制御部13は、ステップS36で作成したマスク画像に基づいて線番号部84の傾き、ひいては文字列の傾きが、予め定められた閾値以上であるか否かを判定する。傾き閾値以上であると判定された場合には処理がステップS39に進み、そうでない場合には処理がステップS40に進む。
ステップS39にて、制御部13は、文字列の傾斜角度を求め、ステップS37で作成した合成画像に対して当該傾斜角度だけ角度を補正する。これにより、角度が補正された文字列(図15のステップS39)が得られる。このように、切出領域から文字列ではない情報を削除し、角度を補正した画像に対して文字認識を行うことで、文字認識の精度を高めることができる。
ステップS40にて、制御部13は、撮影した画像の全ての切出領域についてステップS32〜ステップS39の処理が行われたか否かを判定する。全ての切出領域についてステップS32〜ステップS39の処理が行われたと判定された場合には図14の処理が終了し、そうでない場合にはステップS31に処理が戻る。
さて、上から下への撮影が行われた場合、一番上から順に文字認識によって文字列の情報、つまり認識線番号の情報が得られる。このとき、ケーブル82に対して線番号読取装置1をスライド(シフト)しながら撮影を行うため、同一のケーブル82及び同一の線番号83が、少しずつ異なる角度から複数回撮影されることになる。これにより、線番号83が記されているケーブル82やチューブが多少回転していても、いずれかの角度で認識線番号を取得することができる。
また、同一の線番号83に対して複数の文字認識を行うことによって、同一の認識線番号が複数取得されることが予測される。そこで、図4のステップS4にて、制御部13は、同一の認識線番号の一致数(出現回数)が、予め定められた閾値(例えば4回)以上である場合に、当該認識線番号をケーブル82に記された線番号83として決定する。例えば、図16に示される例では、認識線番号「1W5S1A1」が、ケーブル82に記された線番号83として決定される。なお、制御部13は、同一のケーブル82に対して得られた複数の認識線番号のうち一致数が最も大きい認識線番号を、当該ケーブル82に記された線番号83として決定してもよい。制御部13は、以上のような線番号83の決定を全ての切出領域について行い、切出領域と決定された線番号83とを対応付ける対応関係の表を記憶部12に記憶する。
以上のように構成された本実施の形態1に係る線番号読取装置1によれば、2次元コードやRFID(radio frequency identifier)を用いなくても文字認識の精度を高めることができる。この結果、線番号83の一覧表を作成することが可能となり、図面や指示書と自動的に照合することも可能となることから、作業者の作業時間を削減することができる。
<実施の形態2>
ケーブル82に付与された線番号83を撮影する際、線番号83が円形のチューブに記されていることがある。このとき、盤筐体81が置かれている天井照明の影響で線番号部84内に大きな明度差が生じることがある。また、盤筐体81の据え付け場所が暗く、盤筐体81の奥側にケーブル82が存在する場合、画面全体が暗くなってしまい、線番号83とそれ以外の部分との間の明度差がほとんどなくなってしまう可能性がある。これらの結果、図17及び図18に示されるように、撮影画像のうち認識線番号となる文字列の一部が消失してしまうことがある。線番号83とそれ以外の部分との間の明度の峻別が文字認識精度を左右するため、いかなる撮影環境でも光量や光の当たり方を一定にすることが望ましい。そこで、以下に説明する本発明の実施の形態2に係る線番号読取装置1では、周辺環境の光源によらず光量を安定させることにより、均一な条件で画像を撮影することが可能となっている。
図19は、本実施の形態2に係る線番号読取装置1の外観を示す図であり、図20は、撮影部11の構成を示す図である。図19及び図20に示すように、撮影部11は、レンズ11aと、フード11bと、光源部11cとを含む。フード11bは、撮影部11のレンズ11aの周囲を囲うことによって、被写体である線番号83や線番号部84における外部光の反射を抑制する。光源部11cは、フード11bの左右方向の内壁に配設されており、フード11b内から線番号部84に対して安定した光量を提供する。
このような構成によれば、フード11bを線番号83に近接させると、線番号83における外部光の反射を抑制できるので、撮影画像における文字列の消失を抑制できる。また、フード11b内の光源部11cから光を照射することで、常に安定した明るさで線番号83を照らす。このとき、光源部11cがフード11bの上下方向の内壁に配設されていると、光源部11cからの反射でケーブル82の一部が白飛びしてしまう可能性がある。これに対して本実施の形態2では、光源部11cは、フード11bの左右方向の内壁に配設されているため、当該反射を抑制でき、撮影画像における文字列の消失を抑制することができる。図21に、本実施の形態2に係る線番号読取装置1の撮影画像を示す。
なお、光源部11cは線番号部84を直接的に照らす必要は無く、拡散フィルタ等を配して線番号部84を間接的に照らしてもよい。また、フード11bの開口の幅は、奥まったケーブル82を撮影することを想定して線番号83の幅と同程度であることが望ましいが、これに限ったものではない。また、フード11bの形状は、四角柱形状に限ったものではなく、円筒形状や円錐形状であってもよい。
<実施の形態3>
実際の盤筐体81では、図22に示すように、意図的にケーブル82を結線しない、あるいは作業ミスで結線されていない等の理由により、未結線85が存在する場合がある。このため、複数のケーブル82の位置を検出できれば、作業者は検出された位置において、未結線85があるかを確認することができたり、線番号83が隠れて制御部13が文字認識できなかったかを確認することができたりする。そこで、以下に説明する本発明の実施の形態3に係る線番号読取装置1では、文字認識が行われた複数のケーブル82の位置を検出することが可能となっている。
図23は、本実施の形態3に係る線番号読取装置1の処理の概要を示すフローチャートである。図23の処理は、実施の形態1の図4の処理においてステップS3とステップS4との間にステップS5が追加されている。
詳細については後述するが、ステップS5にて、制御部13は、撮影部11で撮影された複数の画像に基づいて、上下方向において隣接する画像同士間のシフト量と、文字認識によって認識線番号が取得されたケーブル82の位置とを取得する。そして、制御部13は、当該シフト量と当該ケーブル82の位置とに基づいて、複数のケーブル82の位置を決定する。そして、制御部13は、複数のケーブル82について取得された認識線番号と、決定された複数のケーブル82の位置とを対応付ける対応関係の表を作成し、当該表を記憶部12に記憶する。
図24は、複数のケーブル82の位置を決定する処理(図23のステップS5の処理)を示すフローチャートである。なお、図23のステップS4(図7のステップS16)にて、制御部13は、文字認識の結果である認識線番号と、切出領域の高さ方向(y方向)の最大座標及び最小座標とを、切出領域ごとに対応付けて記憶しているものとする。
図24の処理の詳細について説明する前に、図25を用いて図24の処理の概要について説明する。図25は、i番目の画像IMと、その直前に撮影された(i−1)番目の画像IM(i−1)と、算出に用いるパラメータとの関係を示す図である。ここでいう画像IMは撮影画像であってもよいし、切出領域であってもよいし、サイズがそれらの間の画像であってもよい。
線番号読取装置1が上下方向にシフトしながら撮影部11が撮影しているため、画像IMの上端と画像IM(i−1)の上端との間には、当該シフトに対応するシフト量Δyのずれが生じている。なお、線番号読取装置1のシフトの速度は一定であるものとする。この場合、シフト量Δyはiの値に関わらず概ね一定となる。
図25に示されるytotal(i)は、i番目の画像IMまでのシフト量Δyの累計であり、次式(1)のように表される。
図25に示されるynabs(i)は、基準線26の位置から線番号部84の上端の位置までの距離であり、次式(2)のように表される。なお、yn(i)は、i番目の画像IMの上端と線番号部84の上端との間の距離である。基準線26には、例えば初めに認識線番号が取得された線番号部84の上端の位置が用いられる。
ここで、式(2)の右辺の第1項であるyn(i)は、認識線番号が取得されたケーブル82の位置に対応する。式(2)の右辺の第2項であるytotal(i−1)は、式(1)から、上下方向に隣接する画像同士間のシフト量に対応する。式(2)の右辺の第3項であるΔyは当該シフト量そのものである。したがって、制御部13は、式(1)及び式(2)の演算行うことにより、シフト量と、認識線番号が取得されたケーブル82の位置とに基づいて、ケーブル82の基準線26に対する位置ynabs(i)を決定するように構成されている。このような位置の決定を、文字認識によって認識線番号が取得された複数のケーブル82に対して行うことによって、複数のケーブル82の位置を求めることができる。
なお、シフト量Δyは、画像IM及び画像IM(i−1)に同一の線番号83が存在する場合に算出することが可能となる。そこで、制御部13は、画像IM及び画像IM(i−1)に同一の線番号83が存在する場合に、次式(3)で表される平均を行うことによってシフト量Δyを適宜求める。なお、nは、画像IM及び画像IM(i−1)において同一である線番号83の個数に対応する。本実施の形態3では、線番号読取装置1のシフトの速度は一定であるため、次式(3)から得られるシフト量Δyは概ね適切な値となる。
次に、図24の処理の詳細について説明する。まずステップS51にて、制御部13はi番目の表を作成する。ステップS52にて、制御部13は、i番目の表のyの値にytotal(i−1)を加算する。
ステップS53にて、制御部13は、i番目の画像と(i−1)番目の画像とに同じ認識線番号があるか否かを判定する。同じ認識線番号があると判定された場合にはステップS54に処理が進み、そうでない場合にはステップS57に処理が進む。
ステップS54にて、制御部13は、i番目の画像と(i−1)番目の画像とのシフト量Δyを算出する。ステップS55にて、制御部13は、算出したシフト量Δyを一覧に格納する。ステップS56にて、制御部13は、格納された1以上のシフト量Δyに式(3)を用いて平均値を算出する。これにより、前後の画像に共通する認識線番号が検出できなかった場合であっても、これまでのシフト量Δyの平均値を、認識線番号が検出できなかった画像のシフト量とすることができる。
ステップS57にて、i番目の表のyの値にステップS56で算出されたシフト量Δyを加算する。ステップS52の処理とステップS57との処理により、式(1)の右辺の算出が行わされることになり、i番目の表のyの値はytotal(i)となる。ステップS58にて、制御部13は、式(2)の右辺の算出を行うことによりynabs(i)を求め、ytotal(i)及びynabs(i)をまとめの表に格納する。
ステップS59にて、制御部13は、iをインクリメントすることによって、表を更新するとともに、処理対象の画像を次の画像に変更する。ステップS60にて、制御部13は、全ての画像についてステップS51〜ステップS58の処理が行われたか否かを判定する。全ての画像についてステップS51〜ステップS58の処理が行われたと判定された場合には図24の処理が終了し、そうでない場合にはステップS51に処理が戻る。
なお、以上の説明では、ステップS53にて、制御部13は、i番目の画像と(i−1)番目の画像とに同じ認識線番号があるか否かを判定したが、これに限ったものではない。例えば、制御部13は、(i−2)番目の画像と(i−3)番目の画像とに同じ認識線番号があるか否かを判定してもよいし、任意の単一または複数の画像について判定を行ってもよい。
また以上の説明では、制御部13は、ステップS53でi番目の画像と(i−1)番目の画像とに同じ認識線番号があると判定した場合に、ステップS56で算出されたシフト量ΔyをステップS57でi番目の表のyの値に加算したが、これに限ったものではない。例えば、制御部13は、ステップS53でi番目の画像と(i−1)番目の画像とに同じ認識線番号があると判定した場合には、ステップS54で算出されたシフト量ΔyをステップS57でi番目の表のyの値に加算してもよい。
以上のような本実施の形態3に係る線番号読取装置1によれば、文字認識が行われた複数のケーブル82について、基準線26を基準とした位置を検出することできる。これにより、例えば、作業者は、ケーブル82の間隔が広い箇所を、未結線部分、または、文字認識ができなかった部分であると判断して効率よく確認作業を行うことができる。なお、ケーブル82の向きが180度反転している場合は、全ての画像を180度回転させ、最後に撮影した画像から順に遡って処理を行うことで、上記と同様の結果が得られる。
<実施の形態4>
図26に示すように、実際の盤筐体81では、同一の取り付け台に、ジャンパ線などの同一の線番号83(図26では「ABC123」)を有するケーブル82を接続する場合がある。この場合、実施の形態1で説明した構成では、同一の線番号83を有するが別々のケーブル82を、同じケーブル82とみなしてしまうことがある。そこで、以下に説明する本発明の実施の形態4に係る線番号読取装置1では、実施の形態3で説明したケーブル82ごとの絶対座標(位置情報)、ひいては線番号83ごとの絶対座標(位置情報)を用いる。これにより、同一の取り付け台に同一の線番号83を有する複数のケーブル82が接続されているときに、同一のケーブル82を複数回撮影しているのか、同一の線番号83を有するが別々のケーブル82を撮影しているかを区別することが可能となっている。
なお、本実施の形態4に係る線番号読取装置1の処理の概要を示すフローチャートは、実施の形態3で説明した図23のフローチャートと同じである。本実施の形態4では、図23のステップS4の処理が異なっている。
詳細については後述するが、ステップS4にて、制御部13は、図23のステップS5で求めた表、つまり複数のケーブル82について取得された認識線番号と、決定された複数のケーブル82の位置とを対応付ける対応関係の表を読み込む。そして、制御部13は、決定された複数のケーブル82の位置に基づいて一意に識別可能な複数のエリア番号を取得し、複数のエリア番号と読み込んだ対応関係とに基づいて、複数のエリア番号と、複数のケーブルについて取得された認識線番号とを対応付ける。また、制御部13は、エリア番号ごとの複数の認識線番号の一致数に基づいて、エリア番号ごとの複数の認識線番号の中から線番号83を決定する。
図27は、本実施の形態4に係る線番号読取装置1の線番号決定処理(図23のステップS4の処理)を示すフローチャートである。図28は、画像と、算出に用いるパラメータとの関係を示す図である。
まずステップS71にて、制御部13は、図23のステップS5で求めた表、つまり複数のケーブル82について取得された認識線番号と、決定された複数のケーブル82の位置とを対応付ける対応関係の表を読み込む。
ステップS72にて、制御部13は、読み込んだ表から、図28に示される複数のパラメータを求める。複数のパラメータは、中心位置CPと、線間隔dと、複数のケーブル82の全区間の最上端の位置である最小位置ymin(1)及び最下端の位置である最大位置ymax(n)とを含む。
中心位置CPは、各ケーブル82のy方向の中心位置である。中心位置CPは、例えば、実施の形態3で求めた位置に、予め定められた値(例えばケーブル82の既知の太さの半分)を加算した値であってもよい。または、中心位置CPは、例えば、実施の形態3で各ケーブル82の上端の位置を求めた処理と同様の処理を行うことで各ケーブル82の下端の位置を求め、各ケーブル82の上端の位置と下端の位置の平均値であってもよい。
線間隔dは、隣接するケーブル82の間隔であり、例えば、実施の形態3で求めた各ケーブル82の位置の差であってもよい。最小位置ymin(1)は実施の形態3ですでに求められている。
最大位置ymax(n)は、例えば、実施の形態3で求めた位置に、予め定められた値(例えばケーブル82の既知の太さ)を加算した値であってもよい。または、最大位置ymax(n)は、例えば、実施の形態3で各ケーブル82の上端の位置を求めた処理と同様の処理を行うことで求められた各ケーブル82の下端の位置であってもよい。説明の便宜上、以下では、最小位置ymin(1)を最小位置yminと記し、最大位置ymax(n)を最大位置ymaxと記す。
このステップS72にて、制御部13は、複数の線間隔dの中央値dを求め、次式(4)の算出を行うことにより、複数のケーブル82の配列において想定されるケーブル82の本数を算出する。なお、この本数には、ケーブル82の本数だけでなく、未結線部分の本数も含まれる。
なお、式(4)には線間隔dの中央値dではなく平均値を用いることもできるが、未結線部分の線間隔dが数本分に及ぶ場合、線間隔dの平均値は実際の線間隔より大きくなる。このような場合には、線間隔dの中央値dは、線間隔dの平均値よりも実際の線間隔に近くなると期待できる。
ステップS73にて、制御部13は、複数のケーブル82の全区間(ymax−ymin)を複数のエリアに分割する。このエリアには、一意に識別可能なエリア番号jが付与される。制御部13は、エリア番号jのエリアの上端の位置LL及び下端の位置ULを次式(5)及び次式(6)によって算出する。
ステップS74にて、制御部13は、複数のエリアの上端及び下端の位置と、複数のケーブル82の中心位置CPとに基づいて、複数のエリアと複数のケーブル82の認識線番号とを対応付ける。
図29は、このステップS74の処理を説明するための図である。制御部13は、任意のケーブル82の中心位置CPが、LL<CP<ULを満たす場合に、そのケーブル82の認識線番号とエリア番号jとを対応付ける。一方、制御部13は、LL<CP<ULを満たす中心位置CPが存在しないとき、エリア番号jのエリアは未結線部分であると判定する。図29の例の場合には、中心位置CP1,CP2,CP3,CP4を有するケーブル82の認識線番号と、エリア番号1,2,3,5とが対応付けられ、エリア番号4には未決線部分という判定が対応付けられる。
図30は、ステップS74の処理の結果の一例を示す図である。図30の固有識別番号は、認識線番号とエリア番号とを組み合わせた番号である。以上の処理により、全ての認識線番号に対して、それぞれが所属するエリアが一意に決まることになる。同一のケーブル82については複数回撮影によって、概ね同一の複数の認識線番号(文字認識結果)が存在するが、これらは高さ方向(y方向)の絶対座標が殆ど同一なので、同じエリアに所属する。一方で、同一の線番号83を有するが別々のケーブル82は、高さが異なっているため、それぞれ別のエリアに属することになり、異なる固有識別番号が付与されることになる。
ここで、同一エリア内に異なる複数の認識線番号が存在していても、正しい認識線番号の個数が最も多くなると考えられる。このことに鑑みて、図28のステップS75にて、制御部13は、同一エリア内に属する認識線番号の個数を文字列ごとに集計し、最も個数が文字列を、そのエリア内の正しい線番号83と判断して採用する。つまり、制御部13は、エリア番号ごとの複数の認識線番号の一致数に基づいて、複数の認識線番号の中から線番号83を決定する。例えば図30のように、エリア番号が2であるエリアの認識線番号が、3つの「DEF456」及び1つの「DEF4S6」である場合には、制御部13は、当該エリアに位置するケーブル82の線番号83を「DEF456」として決定する。
ステップS76にて、制御部13は、エリア番号と、決定した線番号83とを出力する。本実施の形態4では、制御部13は、この出力として、エリア番号と、決定した線番号83とを撮影画像に対応付けて記憶部12に適宜記憶したり、エリア番号と、決定した線番号83とを映像表示部14に適宜表示させたりする。その後、図27の処理が終了する。
以上のような本実施の形態4に係る線番号読取装置1によれば、同一の線番号83を有するが別々のケーブル82が存在する場合に、それらを区別して線番号83を決定することができる。
<実施の形態5>
本発明の実施の形態5の構成及び処理は、実施の形態4と概ね同じである。本実施の形態5では、制御部13は、エリア番号ごとの複数の認識線番号の一致数に基づいて、複数の認識線番号の中から線番号83の決定結果の精度を定量化する。
本実施の形態5に係る制御部13は、実施の形態4で得られた図30に示すような結果を利用する。そして、制御部13は、ステップS76で決定した線番号83の個数と、当該線番号83のエリアで取得された認識線番号の合計数との比を、線番号83の決定結果の精度として算出する。例えば、図30のように、エリア番号が2であるエリアの認識線番号が、3つの「DEF456」及び1つの「DEF4S6」である場合には、制御部13は、0.75(=3/4)を「DEF456」の決定結果の精度として算出する。
また図示しないが、例えば、着目しているエリアに属する認識線番号の個数が10個であり、そのうち同一である認識線番号の最大個数が9個であれば、制御部13は、その認識線番号を線番号83として決定し、0.9(=9/10)を当該線番号83の決定結果の精度として算出する。また例えば、着目しているエリアに属する認識線番号の個数が10個であり、そのうち同一である認識線番号の最大個数が3個であれば、制御部13は、その認識線番号を線番号83として決定し、0.3(=3/10)を当該線番号83の決定結果の精度として算出する。
以上のような本実施の形態5に係る線番号読取装置1によれば、作業者は、0.9は高い確率で正しい結果が得られているが、0.3は誤認識している可能性が高いと判断できる。このように定量化された数値に対し、例えば精度が一定値以上であればその結果をそのまま採用し、一定値以下であれば人の目で改めて確認する、というような処置及び判断の運用が可能となる。
<実施の形態6>
図31は、本実施の形態6に係る線番号読取装置1の処理の概要を示すフローチャートである。図31の処理は、実施の形態3の図23の処理においてステップS4の後にステップS6が追加されている。
ステップS6にて制御部13は、ステップS5で決定された複数のケーブル82の位置と、ステップS4でエリア番号ごとに決定された線番号83とに基づいて、撮影部11で撮影された複数の画像を結合して一つの画像を作成する。
例えば、制御部13は、ステップS4で線番号83を決定した際に、線番号83と、線間隔dに含まれる領域の画像PIMとを対応付けて記憶部12に記憶する。全てのケーブル82について線番号83が決定された時点で、制御部13は、ステップS4で記憶した線番号83と複数の画像とを読み込む。そして、図32に示すように、制御部13は、線番号83の並び順に従って縦方向に線間隔d1,d2,d3の間隔で複数の画像PIM,PIM,PIM,PIMを並べ、並べた複数の画像PIM〜PIMを結合することによって一つの画像CIMを作成する。制御部13は、作成した画像を記憶部12に適宜記憶したり、当該画像を映像表示部14に適宜表示させたりする。
以上のような本実施の形態6に係る線番号読取装置1によれば、盤筐体81全体の画像を作成することができるので、作業者は、決定された線番号83との画像との照合を効率的に行うことができる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
1 線番号読取装置、11 撮影部、11a レンズ、11b フード、11c 光源部、12 記憶部、13 制御部、14 映像表示部、82 ケーブル、83 線番号。

Claims (10)

  1. 1以上のケーブルに記された1以上の文字を含む画像を撮影する撮影部と、
    複数の地点にて前記撮影部で撮影された複数の画像に文字認識を行うことによって、複数の認識文字をそれぞれ取得し、前記複数の認識文字の一致数に基づいて前記複数の認識文字の中から前記文字を決定する制御部と
    を備える、文字認識装置。
  2. 請求項1に記載の文字認識装置であって、
    前記文字認識は、
    前記画像から前記文字を含む部分画像をトリミングすることと、
    前記部分画像を二値化して二値化画像を作成することと、
    前記二値化画像のうち面積が最も大きい領域を抽出してマスク画像を作成することと、
    前記二値化画像と前記マスク画像とに基づいて前記認識文字を取得すること
    を含む、文字認識装置。
  3. 請求項1または請求項2に記載の文字認識装置であって、
    前記撮影部で撮影された画像のうち、前記文字認識が行われる前記文字を識別可能に表示する映像表示部をさらに備える、文字認識装置。
  4. 請求項1から請求項3のうちのいずれか1項に記載の文字認識装置であって、
    前記1以上の文字は、左右方向に配列された文字列であり、
    前記撮影部は、
    レンズと、
    前記レンズの周囲を囲うフードと、
    前記フードの左右方向の内壁に配設された光源部と
    を含む、文字認識装置。
  5. 請求項1から請求項4のうちのいずれか1項に記載の文字認識装置であって、
    前記1以上のケーブルは、並列に配列された複数のケーブルであり、
    前記複数のケーブルに記された前記文字は、前記複数のケーブルの配列方向に配列され、
    前記複数の地点は、前記配列方向に沿った地点であり、
    前記制御部は、
    前記撮影部で撮影された複数の画像に基づいて、前記配列方向において隣接する画像同士間のシフト量と、前記文字認識によって前記認識文字が取得された前記ケーブルの位置とを取得し、当該シフト量と当該ケーブルの位置とに基づいて、前記複数のケーブルの位置を決定する、文字認識装置。
  6. 請求項5に記載の文字認識装置であって、
    前記制御部は、
    前記複数のケーブルについて取得された前記認識文字と、決定された前記複数のケーブルの位置とを対応付ける対応関係を作成する、文字認識装置。
  7. 請求項6に記載の文字認識装置であって、
    前記制御部は、
    決定された前記複数のケーブルの位置に基づいて一意に識別可能な複数のエリア番号を取得し、前記複数のエリア番号と前記対応関係とに基づいて、前記複数のエリア番号と、前記複数のケーブルについて取得された前記認識文字とを対応付ける、文字認識装置。
  8. 請求項7に記載の文字認識装置であって、
    前記制御部は、
    前記エリア番号ごとの前記複数の認識文字の一致数に基づいて、前記複数の認識文字中から前記文字を決定する、文字認識装置。
  9. 請求項8に記載の文字認識装置であって、
    前記制御部は、
    前記エリア番号ごとの前記複数の認識文字の一致数に基づいて、前記文字の決定結果の精度を定量化する、文字認識装置。
  10. 請求項8または請求項9に記載の文字認識装置であって、
    前記制御部は、
    決定された前記複数のケーブルの位置と、前記エリア番号ごとに決定された前記文字とに基づいて、前記撮影部で撮影された前記複数の画像を結合して一つの画像を作成する、文字認識装置。
JP2019056296A 2019-03-25 2019-03-25 文字認識装置 Pending JP2020160527A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019056296A JP2020160527A (ja) 2019-03-25 2019-03-25 文字認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019056296A JP2020160527A (ja) 2019-03-25 2019-03-25 文字認識装置

Publications (1)

Publication Number Publication Date
JP2020160527A true JP2020160527A (ja) 2020-10-01

Family

ID=72643278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019056296A Pending JP2020160527A (ja) 2019-03-25 2019-03-25 文字認識装置

Country Status (1)

Country Link
JP (1) JP2020160527A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021007706T5 (de) 2021-05-21 2024-03-14 Mitsubishi Electric Corporation Steuerleitungsetikett und zeichenerkennungsverfahren für steuerleitungsetikett
CN118172579A (zh) * 2024-05-13 2024-06-11 苏州荣视软件技术有限公司 基于机器视觉的电气柜装配检测方法、系统及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021007706T5 (de) 2021-05-21 2024-03-14 Mitsubishi Electric Corporation Steuerleitungsetikett und zeichenerkennungsverfahren für steuerleitungsetikett
CN118172579A (zh) * 2024-05-13 2024-06-11 苏州荣视软件技术有限公司 基于机器视觉的电气柜装配检测方法、系统及介质

Similar Documents

Publication Publication Date Title
US20200043157A1 (en) Inspection Apparatus, Inspection Method, And Program
US10373305B2 (en) Positioning method for searching a previously registered standard pattern out of an inspection target image
EP3848853A2 (en) Image detection method, apparatus, electronic device and storage medium
EP2228769A1 (en) Segmentation of a depth maps of printed circuit boards
US20130182942A1 (en) Method for registering inspection standard for soldering inspection and board inspection apparatus thereby
US9679386B2 (en) Image processing device capable of segmenting an image into plural areas
US20160321825A1 (en) Measuring apparatus, system, and program
EP2477468A2 (en) Substrate inspection system
CN108701346B (zh) 接线检查作业支援系统
WO2010131435A1 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
CN103852034B (zh) 一种电梯导轨垂直度检测方法
US8139862B2 (en) Character extracting apparatus, method, and program
JP2020160527A (ja) 文字認識装置
CN115908420A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
JP3906780B2 (ja) 部品コード変換テーブルに対するデータ登録方法、基板検査データの作成装置、登録処理用のプログラムおよびその記憶媒体
CN112581452B (zh) 工业配件表面缺陷检测方法、系统、智能设备和存储介质
JP6433810B2 (ja) ボンディングワイヤの検出方法及びボンディングワイヤの検出装置
JP2013528869A (ja) オブジェクトを認識する手続き
KR101511089B1 (ko) Aoi 장비의 티칭 데이터 자동 생성 방법
KR102501461B1 (ko) 신분증 위변조 판별 방법 및 신분증 위변조 판별 장치
US20180276458A1 (en) Information processing device, method and storage medium
US7330589B2 (en) Image partitioning apparatus and method
JP4459945B2 (ja) 抽出色範囲設定方法
JP4494424B2 (ja) プログラム及び検査装置
CN111226437A (zh) 一种对拍摄装置的拍摄质量评测方法、装置及终端设备