JP2020052903A - Imaging position correcting apparatus, and imaging position correcting method - Google Patents
Imaging position correcting apparatus, and imaging position correcting method Download PDFInfo
- Publication number
- JP2020052903A JP2020052903A JP2018183870A JP2018183870A JP2020052903A JP 2020052903 A JP2020052903 A JP 2020052903A JP 2018183870 A JP2018183870 A JP 2018183870A JP 2018183870 A JP2018183870 A JP 2018183870A JP 2020052903 A JP2020052903 A JP 2020052903A
- Authority
- JP
- Japan
- Prior art keywords
- meter
- photographing position
- correction
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、例えば制御盤などアナログメータをカメラで撮影してメータ表示情報（指示値やランプの点灯状態など）を読み取る際に撮影位置を補正する技術に関する。 The present invention relates to a technique for correcting an image capturing position when an analog meter such as a control panel is captured by a camera and meter display information (indicated value, lamp lighting state, etc.) is read.
周知のように電力や水処理などのインフラ設備において、回転機などの設備が正常に動作しているか否かを現場作業員が日々点検している。日々の点検作業の際は、制御盤などに設置されているアナログメータの指示値を記録し、また異常があればアナログメータの指示値を確認する。 As is well-known, in infrastructure facilities such as electric power and water treatment, field workers check daily whether or not facilities such as rotating machines are operating normally. During daily inspection work, record the indicated value of the analog meter installed on the control panel, etc., and check the indicated value of the analog meter if there is any abnormality.
このアナログメータについては、現在のところ監視制御システムに計装データとして収集する仕組みが無い場合が多い。そのため、現場の作業員が直接視認しなければならず、また新たに前記指示値を計装データとして収集するためには工事が必要となってしまう。 At present, in many cases, there is no mechanism for collecting the analog meter as instrumentation data in the monitoring control system. Therefore, a worker at the site must directly visually recognize the work, and construction is required to newly collect the indicated value as instrumentation data.
そこで、特許文献１〜４のようにアナログメータや表示ランプなどをカメラで撮影し、撮影画像の画像処理によってメータ表示情報を読み取る装置が提案されている。ここで読み取られた情報は、有線ＬＡＮや無線ＬＡＮなどの通信網を経由して監視制御システムやクラウドシステムなどで収集されている。
Therefore, as disclosed in
しかしながら、作業員が現場に設置したカメラに触れたことや、あるいはカメラの電源ＯＮ／ＯＦＦ時のキャリブレーションなどが原因でカメラの撮影位置がずれる場合が少なくない。 However, there are many cases where the photographing position of the camera shifts due to the operator touching the camera installed on the site or the calibration at the time of power ON / OFF of the camera.
この場合にはメータの撮影ができず、メータ表示情報の読み取りに異常が発生するため、カメラの撮影位置を補正する必要がある。ところが、特許文献１〜４の読取装置は、撮影対象の微小な誤差（ずれ）に対しては画像処理で補正可能なものの、メータの半分以上が見切れると補正できないおそれがある。
In this case, the meter cannot be photographed, and an error occurs in reading the meter display information. Therefore, it is necessary to correct the photographing position of the camera. However, the reading apparatuses disclosed in
本発明は、このような従来の問題を解決するためになされ、カメラの撮影位置が大きくずれてしまった場合に適切に補正し、メータ表示情報を確実に読み取ることを解決課題としている。 SUMMARY OF THE INVENTION The present invention has been made to solve such a conventional problem, and has an object to solve the problem in that when a photographing position of a camera is greatly deviated, an appropriate correction is made and meter display information is reliably read.
（１）本発明の一態様は、カメラで撮影されたメータ群の画像からメータ表示情報を読み取る際に前記カメラの撮影位置を補正する装置であって、
前記カメラで撮影された画像が入力される画像入力部と、
前記画像入力部から入力された撮影画像内に前記全メータが撮影されているか否かを確認する撮影位置確認部と、
前記撮影位置確認部にて前記全メータの撮影が確認されなければ、カメラの撮影位置を補正する撮影位置補正部と、を備え、
前記撮影位置確認部は、事前に用意された前記各メータのテンプレート画像と前記撮影画像とのパターンマッチングを実行し、メータ毎の相関値を撮影位置確認結果として出力し、
前記撮影位置補正部は、前記各相関値と事前設定の閾値とを比較し、すべての前記相関値が前記閾値より小さくなければ前記撮影画像を正常と判定する一方、
前記相関値が前記閾値よりも小さいメータがあれば前記撮影位置の異常を判定して前記撮影位置を補正することを特徴としている。
(1) One embodiment of the present invention is an apparatus for correcting a photographing position of a camera when reading meter display information from an image of a meter group photographed by the camera,
An image input unit into which an image captured by the camera is input,
A photographing position confirming unit that confirms whether or not all the meters have been photographed in the photographed image input from the image input unit;
If the imaging of all meters is not confirmed by the imaging position confirmation unit, an imaging position correction unit that corrects the imaging position of the camera,
The photographing position confirmation unit performs pattern matching between the template image of each meter and the photographed image prepared in advance, and outputs a correlation value for each meter as a photographing position confirmation result.
The photographing position correction unit compares the correlation value with a preset threshold, and determines that the photographed image is normal unless all the correlation values are smaller than the threshold.
When there is a meter whose correlation value is smaller than the threshold value, the abnormality of the photographing position is determined and the photographing position is corrected.
（２）本発明の他の態様は、カメラで撮影されたメータ群の画像からメータ表示情報を読み取るにあたって、コンピュータにより前記カメラの撮影位置を補正する方法であって、
前記カメラで撮影された画像を入力する画像入力ステップと、
前記画像入力ステップで入力された撮影画像内に前記全メータが撮影されているか否かを確認する撮影位置確認ステップと、
前記撮影位置確認ステップにて前記全メータの撮影が確認されなければ、カメラの撮影位置を補正する撮影位置補正ステップと、有し、
前記撮影位置確認ステップにおいて、事前に用意された前記各メータのテンプレート画像と前記撮影画像とのパターンマッチングを実行し、メータ毎の相関値を撮影位置確認結果として出力し、
前記撮影位置補正ステップにおいて、前記各相関値と事前設定の閾値とを比較し、すべての前記相関値が前記閾値より小さくなければ前記撮影画像を正常と判定する一方、
前記相関値が前記閾値よりも小さいメータがあれば前記撮影位置の異常を判定して前記撮影位置を補正することを特徴としている。
(2) Another aspect of the present invention is a method of correcting a shooting position of the camera by a computer when reading meter display information from an image of a meter group shot by the camera,
An image input step of inputting an image taken by the camera,
A photographing position confirming step of confirming whether or not all the meters have been photographed in the photographed image input in the image input step,
If photographing of all meters is not confirmed in the photographing position confirmation step, a photographing position correction step of correcting a photographing position of a camera,
In the photographing position confirmation step, pattern matching is performed between the template image of each meter and the photographed image prepared in advance, and a correlation value for each meter is output as a photographing position confirmation result,
In the photographing position correction step, comparing each of the correlation values and a preset threshold value, while determining that the photographed image is normal unless all the correlation values are smaller than the threshold value,
When there is a meter whose correlation value is smaller than the threshold value, the abnormality of the photographing position is determined and the photographing position is corrected.
本発明によれば、カメラの撮影位置が大きくずれてしまった場合であっても、適切に補正されるため、メータ表示情報を確実に読み取ることができる。 ADVANTAGE OF THE INVENTION According to this invention, even if the imaging | photography position of a camera deviates greatly, since it corrects appropriately, meter display information can be read reliably.
以下、本発明の実施形態に係る撮影位置の補正装置を説明する。この補正装置は、カメラの撮影画像からアナログメータのメータ表示情報（例えばメータの指示値やランプの点灯状態など）を読み取るメータ読取装置に内蔵され（組み込まれ）、該メータ読取装置にカメラの撮影位置を補正する機能を付加している。 Hereinafter, an image capturing position correction device according to an embodiment of the present invention will be described. This correction device is built in (built-in) a meter reading device that reads meter display information (for example, a meter reading value and a lamp lighting state) from an image captured by a camera. A function to correct the position is added.
図１中の１は、前記メータ読取装置を示している。このメータ読取装置１は、制御盤２の正面に配置されたアナログメータ群４に撮影させ、撮影された撮影画像データを収集してアナログメータ群４のメータ表示情報を読み取っている。ここではカメラ３は、画角を調整・制御できる機能を備える必要があり、例えば非特許文献１に記載されたネットワークカメラなどを使用することができる。
1 in FIG. 1 indicates the meter reading device. The
図２に基づきカメラ３の設置状況を説明する。まず、図２（ａ）に示すように、室内の天井５にボルトとナットを用いて固定し、矢印Ｘ方向から制御盤２のアナログメータ４群を撮影することができる。また、制御盤２に対向する制御盤７の平面７ａにマグネットなどでカメラ３を固定し、矢印Ｙ方向から撮影することもできる。
An installation state of the camera 3 will be described with reference to FIG. First, as shown in FIG. 2A, a group of
つぎに図２（ｂ）に示すように、制御盤２の天井２ａに可動アーム６の基部を設置する一方、可動アーム６の先端にカメラ３を取り付けることもできる。この場合には可動アーム６を回動させ、矢印Ｚ方向からアナログメータを撮影することができる。
Next, as shown in FIG. 2B, the base of the movable arm 6 is installed on the
なお、制御盤２などが設置される場所は蛍光灯などの照明が無い場合が多いことから、カメラ３の付近に照明を設置したり、対策や赤外線などを撮影できる機能を備えたカメラ３を設置してもよい。
Since the place where the
また、画角や画質の関係上、精度良く読み取るため、カメラ３は可能な限りアナログメータ群４と正対させ、かつアナログメータ群４と近い位置に設置することが好ましい。
Further, in order to accurately read the image, it is preferable that the camera 3 is positioned as close to the
≪構成例≫
図３に基づき前記読取装置１の構成例を説明する。ここでは前記読取装置１は、カメラ３と有線／無線によりデータ送受信が可能に接続されているものとする。
≪Configuration example≫
An example of the configuration of the
具体的には前記読取装置１は、コンピュータを主体に構成され、通常のコンピュータのハードウェアリソース（例えばＣＰＵ，ＲＡＭやＲＯＭなどの主記記憶装置，ＳＳＤやＳＤカードなどの補助記憶装置等）を備える。このハードウェアリソースとソフトウェアリソースとの協働の結果、前記読取装置１は、画像入力部１０，記憶部１１，処理設定部１２，撮影位置確認部１３，撮影位置補正部１４，メータ読取部１５，読取結果伝送部１６を実装する。
Specifically, the
ここでは記憶部１１は前記記憶装置に構築されている一方、前記読取装置１の補正機能は主に前記各部１２〜１４により実行され、カメラ３の撮影画像データが画像入力部１０に入力される。この入力により収集された撮影画像データが、前記記憶装置に構築された記憶部１１に保存される。
Here, while the
処理設定部１２は、記憶部１１に記憶された撮影画像データを入力とし、アナログメータ群４の個々のメータ位置を確認するために必要なメータ情報を設定し、設定されたメータ情報は記憶部１１に出力されて保存させる。
The
撮影位置確認部１３は、記憶部１１に記憶された撮影画像データおよびメータ情報を入力として画像処理を施し、アナログメータ群４のすべてのメータが撮影画像データ内に撮影されているか否かを確認する。この撮影位置の確認結果は、記憶部１１に出力されて保存される。
The photographing
撮影位置補正部１４は、記憶部１１に記憶された撮影画像データとメータ表示情報と撮影位置の確認結果とを入力とし、撮影位置の確認結果に応じてカメラの撮影位置を補正させる。この補正は、アナログメータ群４のすべてのメータが撮影画像データ内に撮影されてない場合に実行される一方、撮影されていれば実行されない。また、補正後の撮影位置補正画像データ（以下、補正データとする。）内にすべてのメータが撮影されていなければ再補正が実行される一方、撮影されていれば補正データが記憶部１１に出力され、該撮影画像に上書き保存される。
The photographing
メータ読取部１５は、記憶部１１に記憶された撮影画像データ（補正画像データを含む。）を入力とし、アナログメータ群４の各メータ表示情報（例えばメータの指示値やランプの点灯状態など）を読み取る。このメータ表示情報の読取結果データは、記憶部１１に出力されて保存される。
The
読取結果伝送部１６は、記憶部１１に記憶された読取結果データを入力とし、入力された読取結果データをネットワーク経由で監視制御システムやクラウドなどに伝送する。例えば読取結果伝送部１６は、有線／無線の通信デバイスで構成することができる。
The read
≪処理内容≫
図４に基づき前記読取装置１の処理内容（Ｓ０１〜Ｓ０５）を説明する。ここでは図５の制御盤２のアナログメータ群４を撮影し、各メータ４ａ〜４ｄのメータ表示情報を読み取る際の処理を説明する。
≪Processing content≫
The processing contents (S01 to S05) of the
Ｓ０１：処理が開始されると、画像入力部１０により制御盤２のアナログメータ群４の撮影画像データが収集される。ここではカメラ３から出力されたアナログメータ群４の撮影画像データが入力され、記憶部１１に保存される。以後、Ｓ０２〜Ｓ０４の処理は、記憶部１１に保存された撮影画像データに基づき実施される。
S01: When the process is started, the
Ｓ０２：処理設定部１２は、入力された撮影画像データに基づきメータ情報を設定し、設定されたメータ情報を記憶部１１に出力して保存させる。
S02: The
このメータ情報の設定に際しては、事前に用意された各メータ４ａ〜４ｄのテンプレート画像を選択する。すなわち、図５に示すように、一般的にメータなどには、何を出力しているのかを示す表示名（ネームプレート）Ｓが併せて設置されていることが多い。そこで、カメラ３の撮影位置を特定するため、各メータ４ａ〜４ｄと表示名Ｓを含んだ画像データをテンプレート画像データとする。
In setting the meter information, a template image of each of the
例えば図６（ａ）中のａ−１，ａ−２は、表示名Ｓを含んだテンプレート画像を示している。また、図６（ｂ）中のｂ−１，ｂ−２は、表示名Ｓとマーカ（異形状）Ｍを含んだテンプレート画像を示している。さらに図６（ｃ）中のｃ−１，ｃ−２は、表示名Ｓとマーカ（異色）Ｍを含んだテンプレート画像を示している。 For example, a-1 and a-2 in FIG. 6A indicate template images including the display name S. Further, b-1 and b-2 in FIG. 6B indicate template images including the display name S and the marker (irregular shape) M. Further, c-1 and c-2 in FIG. 6C indicate template images including a display name S and a marker (different color) M.
このようなテンプレート画像データは、あらかじめ制御盤４の製造番号などをＩＤに登録されている。ここではユーザ入力の前記製造番号などをキーにアナログメータ４群の各テンプレート画像データが選択され、制御盤２のアナログメータ群４の撮影位置の確認用に設定される。
In such template image data, the serial number of the
また、撮影した画像データ内にアナログメータ４群が含まれているか否かを判定するための閾値（テンプレート画像データと誤差の閾値など）や、テンプレート画像データ上のメータ位置などもメータ情報として設定する。なお、閾値は、メータ４ａ〜４ｄごとに設定でき、工場出荷時のデフォルト値のまま設定してもよく、ユーザ入力の値を設定してもよいものとする。
In addition, a threshold value for determining whether or not the group of
Ｓ０３：撮影位置確認部１３は、入力された撮影画像データおよびメータ情報に基づきアナログメータ群４のすべてのメータが撮影画像データ内に撮影されているか否かを確認する。
S03: The photographing
具体的には撮影画像データと各メータ４ａ〜４ｄのテンプレート画像とのパターンマッチングを実行し、パターンマッチングで算出された相関値を撮影位置確認結果として記憶部１１に出力して保存させる。このパターンマッチングは、アナログメータ群４の各メータ４ａ〜４ｄのそれぞれに対して実行し、各実行結果の集合を撮影位置確認結果とする。この撮影位置確認結果は、記憶部１１に出力されて保存される。
More specifically, pattern matching is performed between the captured image data and the template images of the
Ｓ０４，Ｓ０５：撮影位置補正部１４は、入力された撮影画像データとメータ情報と撮影位置確認結果とに基づきカメラ３の撮影位置が正常か否かを判定する（Ｓ０４）。
S04, S05: The photographing
具体的には撮影位置確認結果に示されたすべての相関値が前記閾値よりも小さくなければ、カメラ３の撮影位置が正常と判定され、Ｓ０６に進む。一方、撮影位置確認結果に示されたいずれかの相関値が、前記閾値よりも小さい場合にはカメラ３の撮影位置が異常（ずれている）と判定され、カメラ３に撮影位置の補正指令が出力される。 Specifically, if all the correlation values indicated in the photographing position confirmation result are not smaller than the threshold value, it is determined that the photographing position of the camera 3 is normal, and the process proceeds to S06. On the other hand, if any of the correlation values shown in the photographing position confirmation result is smaller than the threshold value, it is determined that the photographing position of the camera 3 is abnormal (deviation), and the camera 3 is instructed to correct the photographing position. Is output.
この補正指令が出力された場合には、例えば非特許文献１に記載されたパン（表示可能範囲：最大３６０度）・チルト（表示可能範囲：最大１６２度）・ズーム（１８倍光学ズーム，２倍ＥＸズーム）などの画角調整機能により撮影位置の補正処理が行われる（Ｓ０５）。
When this correction command is output, for example, pan (displayable range: maximum 360 degrees), tilt (displayable range: maximum 162 degrees), and zoom (18 × optical zoom, 2) described in
この補正処理後に撮影した補正データが、画像入力部１０により入力され（Ｓ０１）、Ｓ０２およびＳ０３の処理を経た後にＳ０４の再判定が行われる（ただし、Ｓ０４は前回の設定を用いることができる。）。 The correction data photographed after the correction processing is input by the image input unit 10 (S01), and after performing the processing of S02 and S03, the re-determination of S04 is performed (however, the previous setting can be used for S04. ).
その際、補正データが正常と判定されれば記録部１１に出力されてＳ０７に進む一方、異常と判定されれば補正指示が出力され、再補正を行う（Ｓ０５）。このＳ０１〜Ｓ０５の処理を正常と判定されるまで繰り返す。
At this time, if the correction data is determined to be normal, the correction data is output to the
Ｓ０６，Ｓ０７：メータ読取部１５は、Ｓ０４の判定が正常の撮影画像データ（補正データを含む。）に基づき各メータ４ａ〜４ｄのメータ表示情報の読み取りを実行する（Ｓ０６）。このメータ表示情報の読み取りには、例えば特許文献４の方法を用いることができる。
S06, S07: The
なお、読取結果伝送部１６は、Ｓ０６の読み取り結果を監視制御システムやクラウドなどに伝送するために、メータ読取結果の伝送処理を実行する（Ｓ０７）。
In addition, the reading
≪実施例≫
以下、実施例１〜４に基づき前記読取装置１による撮影画像データの補正処理を説明する。この実施例１，２は、アナログメータ群（横一列）４の一部が見切れている場合の補正処理を示している。また、実施例３は、同アナログメータ群４の全部が見切れている場合の補正処理を示している。さらに実施例４は、アナログメータ群（３行×３列）４の一部が見切れている場合の補正処理を示している。
<< Example >>
Hereinafter, the correction processing of the captured image data by the
（１）実施例１
図７（ａ）（ｂ）に基づき実施例１を説明する。この図７（ａ）は正常判定された撮影画像データと相関値の評価とを示し、図７（ｂ）は実施例１の撮影画像と相関値の評価とを示し、相関値表Ｅ中のメータ１〜４はアナログメータ群４のメータ４ａ〜４ｄを示している。
(1) Example 1
First Embodiment A first embodiment will be described with reference to FIGS. FIG. 7A shows the photographed image data determined to be normal and the evaluation of the correlation value, and FIG. 7B shows the photographed image of Example 1 and the evaluation of the correlation value.
この相関値表Ｅは、各メータ１〜４の相関値を二つの閾値１，２（閾値１＞閾値２≠０）を用いて比較した結果を示し、各メータ１〜４の相関値を三段階で評価している。この閾値１，２は、経験則に基づき定められた値が好ましく、例えば「閾値１＝０．７〜０．８」程度・「閾値２＝０．３〜０．５」程度を目安に値を定めることができる。
This correlation value table E shows the result of comparing the correlation values of each of the
具体的には前記相関値表Ｅは、「相関値≧閾値１」を「高」と評価し、「閾値１＞相関値≧閾値２」を「中」と評価し、「閾値２＞相関値≧０」を「低」と評価している（実施例２〜４も同じ評価とする。）。
Specifically, the correlation value table E evaluates “correlation value ≧
図７（ａ）の撮影画像データは、メータ１〜４のすべての相関値が「高」と評価されているため、Ｓ０４の処理時にカメラ３の撮影位置が正常と判定され（Ｓ０４）、補正処理が行われない。
In the photographed image data of FIG. 7A, since the correlation values of all the
一方、図７（ｂ）の撮影画像データは、メータ３，４の相関値が「高」と評価されているものの、メータ２の相関値が「中」と評価され、かつメータ１の相関値が「低」と評価されている。したがって、図７（ｂ）の撮影画像データは、Ｓ０４の処理時にカメラ３の撮影位置が異常（ずれている）と判定される。
7B, the correlation values of the
このとき図７（ｂ）の撮影画像データは、前記相関値の評価によればメータ１〜４群の一部が見切れた状態、即ちメータ１が完全に見切れ、メータ２の一部が見切れた状態と想定される。
At this time, in the captured image data of FIG. 7B, according to the evaluation of the correlation value, a part of the
したがって、カメラ３を相関値の評価が低い水平方向、即ち矢印Ｌ方向に補正する補正指令が出力され、該補正指令に応じた補正処理が行われる（Ｓ０５）。この場合の各メータ１〜４の位置はＳ０２で設定されたテンプレート画像上のメータ位置を参照すればよく、該メータ位置に応じた長さ分だけ矢印Ｌ方向に補正される。
Therefore, a correction command for correcting the camera 3 in the horizontal direction where the evaluation of the correlation value is low, that is, in the direction of the arrow L is output, and a correction process according to the correction command is performed (S05). In this case, the positions of the
その結果、実施例１の補正処理によれば、アナログメータ群４の水平方向の一部が見切れた状態、例えば水平方向の一方側のメータが完全に見切れた状態／一部のメータの水平方向の大半が見切れた状態であっても、カメラ３が適切な撮影位置に自動的に補正され、この点でメータ表示情報を確実に読み取ることが可能となる。
As a result, according to the correction processing of the first embodiment, a state in which a part of the
（２）実施例２
図７（ｃ）に基づき実施例２を説明する。この図７（ｃ）の撮影画像データは、メータ１〜２のすべての相関値が「中」と評価されているため、Ｓ０４の処理時にカメラ３の撮影位置が異常と判定される。
(2) Example 2
A second embodiment will be described with reference to FIG. In the captured image data of FIG. 7C, all the correlation values of the
また、前記相関値の評価によれば、図７（ｃ）の撮影画像データは、各メータ１〜４の垂直方向の上下の一方が見切れている状態と想定される。したがって、カメラ３の撮影位置を垂直方向に沿って上下に補正する補正指示が順に出力される。この上下方向の補正を実施する順番は、事前に定めておくものとする。
According to the evaluation of the correlation value, it is assumed that the photographed image data in FIG. 7C is in a state where one of the upper and lower sides in the vertical direction of each of the
ここでは最初にカメラ３の撮影位置を垂直方向に沿って矢印Ｕ方向（上方向）に補正する補正指示が出力されるものとする。この補正指令に応じて第１次補正が行われ（Ｓ０５）、第１次補正後の補正データが画像入力部１０により入力される。
Here, first, it is assumed that a correction instruction for correcting the shooting position of the camera 3 in the direction of the arrow U (upward) along the vertical direction is output. The primary correction is performed according to the correction command (S05), and the correction data after the primary correction is input by the
この補正データの再判定（Ｓ０４）は、異常（すべての相関値の評価＝中ｏｒ低）となるため、続いてカメラ３の撮影位置を垂直方向に沿って矢印Ｄ方向（下方向）に補正する補正指示が出力される。 Since the re-determination of the correction data (S04) is abnormal (evaluation of all correlation values = medium or low), the shooting position of the camera 3 is subsequently corrected in the direction of arrow D (downward) along the vertical direction. Is output.
この補正指令に応じて第２次補正が行われ（Ｓ０５）、該第２次補正後の補正データが画像入力部１０により入力される。この補正データの再判定（Ｓ０４）は正常（すべての相関値の評価＝「高」）となるため、その後にＳ０６の読み取り処理が実行される。なお、撮影位置を調整する際の補正量は、実施例１と同様にテンプレート画像上のメータ位置を参照すればよい。
Secondary correction is performed according to the correction command (S05), and the correction data after the secondary correction is input by the
このように実施例２の補正処理によれば、アナログメータ群４の垂直方向の一部が見切れた状態の場合、即ち全メータ４ａ〜４ｃの上下の一方がそれぞれ見切れた場合であっても、カメラ３を適切な撮影位置に自動的に補正することが可能となる。
As described above, according to the correction processing of the second embodiment, even when the vertical part of the
（３）実施例３
図８に基づき実施例３を説明する。この図８（ａ）は、撮影位置Ｆの撮影画像データおよび相関値の評価を示している。この撮影画像データは、メータ１〜４のすべての相関値が「低」と評価され、Ｓ０４の処理時にカメラ３の撮影位置が異常と判定される。また、メータ１〜４（４ａ〜４ｄ）のすべてが写っていないため、どの方向にずれているのか不明な状態となっている。
(3) Example 3
Embodiment 3 will be described with reference to FIG. FIG. 8A shows the evaluation of the photographed image data at the photographing position F and the correlation value. In the photographed image data, all the correlation values of the
そこで、撮影位置Ｆの周辺にメータ１〜４が存在するか否かを補正により探索する。ここでは撮影位置Ｆの四隅ｆ１〜ｆ４を特徴部分とし、各特徴部分ｆ１〜ｆ４を中心にする撮影位置に順に補正する。このとき評価の高くなる撮影位置を探索し、最終的には実施例１，２と同様な補正を実行することで撮影位置の補正を完了させる。以下、詳細を説明する。
Therefore, whether or not the
まず、図８（ｂ）に示すように、特徴部分ｆ１を中心とする撮影位置Ｆ１に補正する補正指令がカメラ３に出力される。この補正指令に基づき第１次補正が行われ（Ｓ０５）、撮影位置Ｆ１の補正データについて相関値が再計算される。この再結果１によれば、すべての相関値が「低」と評価され、撮影位置Ｆ１も異常と判定される（Ｓ０４）。
First, as shown in FIG. 8B, a correction command for correcting the photographing position F1 around the characteristic portion f1 is output to the camera 3. The primary correction is performed based on the correction command (S05), and the correlation value is recalculated for the correction data of the photographing position F1. According to the
つぎに図８（ｃ）に示すように、特徴部分ｆ２を中心とする撮影位置Ｆ２に補正する補正指令が出力される。この補正指令に基づき第２次補正が行われ（Ｓ０５）、撮影位置Ｆ２の補正データについて相関値が再計算される。この再計算結果２によれば、メータ１，２の相関値が「高」と評価されているものの、メータ３の相関値が「中」と評価され、かつメータ４の相関値が「低」と評価されていることから、撮影位置Ｆ２も異常と判定される（Ｓ０４）。
Next, as shown in FIG. 8C, a correction command for correcting the photographing position F2 around the characteristic portion f2 is output. Secondary correction is performed based on this correction command (S05), and the correlation value is recalculated for the correction data of the photographing position F2. According to the
もっとも、前述した再計算結果２の評価によれば、撮影位置Ｆ２の補正データは、メータ１〜４群の一部が見切れた状態、即ちメータ４が完全に見切れ、メータ３の一部が見切れた状態と想定される。
However, according to the evaluation of the
したがって、カメラ３を相関値の低い方向、即ち矢印Ｒ方向に補正する補正指令が出力され、該補正指令に基づき撮影位置Ｆ３への第３次補正が行われる（Ｓ０５）。この第３次補正後の補正データは、図８（ｄ）の再計算結果３によれば、すべての相関値が「高」と評価されるため、正常と判定され（Ｓ０４）、Ｓ０７の処理に移行する。 Therefore, a correction command for correcting the camera 3 in the direction of the low correlation value, that is, the direction of the arrow R is output, and the third correction to the photographing position F3 is performed based on the correction command (S05). According to the recalculation result 3 in FIG. 8D, the correction data after the third correction is evaluated as normal because all the correlation values are evaluated as “high” (S04), and the processing of S07 is performed. Move to
そうすると実施例３の補正処理によれば、アナログメータ群４の一部が見切れた場合だけでなく、その全部が見切れた場合であっても、カメラ３を適切な撮影位置に自動的に補正することが可能となる。
Then, according to the correction processing of the third embodiment, the camera 3 is automatically corrected to an appropriate photographing position not only when a part of the
（４）実施例４
図９に基づき実施例４を説明する。ここでは制御盤２の正面には、メータ４ａ〜４ｉを「３行×３列」に配列したアナログメータ群４が配置されている。また、相関値表Ｅのメータ１〜９は、アナログメータ群４のメータ４ａ〜４ｉを示している。
(4) Example 4
図９（ａ）は、撮影位置Ｆ１１の撮影画像データおよび相関値の評価を示している。この撮影画像データは、メータ７の相関値が「高」と評価されているものの、メータ４，５，８の相関値が「中」と評価され、かつメータ１〜３，６，９の相関値が「低」と評価されている。
FIG. 9A illustrates the evaluation of the captured image data and the correlation value at the capturing position F11. In the captured image data, the correlation value of the
したがって、撮影位置Ｆ１１の撮影画像データは、アナログメータ４群の一部が見切れた状態と想定され、Ｓ０４の処理時にカメラ３の撮影位置が異常と判定され、補正指令が出力される。
Therefore, the photographed image data at the photographing position F11 is assumed to be in a state where a part of the group of
この場合にはカメラ３を相関値の低い方向に補正すればよく、水平方向（矢印Ｒ方向）と垂直方向（矢印Ｕ方向）の二段階の補正が行われる。この水平方向の補正と垂直方向の補正の順番は事前に定めておくものとする。 In this case, it is only necessary to correct the camera 3 in the direction in which the correlation value is low, and two-stage correction in the horizontal direction (arrow R direction) and the vertical direction (arrow U direction) is performed. The order of the horizontal correction and the vertical correction is determined in advance.
ここでは最初に撮影位置Ｆ１１を矢印Ｒ方向に補正する補正指示が出力され、第１次補正が行われるものとする（Ｓ０５）。この第１次補正後は、図９（ｂ）に示すように、撮影位置Ｆ１２の補正データがカメラ３で撮影され、該補正データにＳ０４の判定が行われる。 Here, it is assumed that a correction instruction for correcting the photographing position F11 in the direction of the arrow R is output first, and the first correction is performed (S05). After the first correction, as shown in FIG. 9B, the correction data of the shooting position F12 is shot by the camera 3, and the determination of S04 is performed on the correction data.
このとき撮影位置Ｆ１２の補正データは、相関値表Ｅに示すように、メータ７〜９の相関値が「高」と評価され、メータ４〜６の相関値が「中」と評価され、メータ１〜３の相関値が「低」と評価されている。
At this time, as shown in the correlation value table E, the correction data of the photographing position F12 is evaluated such that the correlation values of the
この評価によれば、撮影位置Ｆ１２の補正データは、Ｓ０４の処理時に異常と判定されるものの、実施例２とは逆に上方向に移動させればよく、続いて撮影位置を矢印Ｕ方向（上方向）に補正する補正指示が出力され、第２次補正が行われる（Ｓ０５）。 According to this evaluation, although the correction data of the photographing position F12 is determined to be abnormal at the time of the processing of S04, the correction data may be moved upward, contrary to the second embodiment. A correction instruction to correct (upward) is output, and the second correction is performed (S05).
すなわち、図９（ｃ）に示すように、撮影位置Ｆ１３の補正データがカメラ３で撮影され、その後に該補正データについてＳ０４の判定が行われる。このとき撮影位置Ｆ１３の補正データは、相関値表Ｅに示すように、すべての相関値が「高」と評価されているため、正常と判定され（Ｓ０４）、Ｓ０７の処理に移行する。 That is, as shown in FIG. 9C, the correction data at the shooting position F13 is shot by the camera 3, and then the determination in S04 is performed on the correction data. At this time, as shown in the correlation value table E, the correction data at the photographing position F13 is determined to be normal (S04) because all the correlation values are evaluated as “high”, and the process proceeds to S07.
このように実施例４の補正処理によれば、アナログメータ群（横一列）４が見切れている場合だけでなく、アナログメータ群（３行×３列）が見切れている場合にも、カメラ３を適切な撮影位置に自動的に補正することが可能となる。 As described above, according to the correction processing of the fourth embodiment, not only when the analog meter group (one horizontal row) 4 is cut off, but also when the analog meter group (3 rows × 3 columns) is cut off, the camera 3 Can be automatically corrected to an appropriate shooting position.
なお、本発明は上記実施形態に限定されるものではなく、各請求項に記載された範囲内で変形して実施することができる。例えばカメラ３の設置状況は、図２（ａ）（ｂ）に限定されず、制御盤２，７間に配置された設置台上に一対のカメラ３を設置してもよい。この場合に一方のカメラ３は制御盤２のアナログメータ群４を撮影し、他方のカメラ３は制御盤７のアナログメータ群４を撮影することができる。
Note that the present invention is not limited to the above-described embodiment, and can be implemented with modification within the scope described in each claim. For example, the installation state of the camera 3 is not limited to FIGS. 2A and 2B, and a pair of cameras 3 may be installed on an installation table arranged between the
１…メータ読取装置（撮影位置の補正装置）
２，７…制御盤
２ａ，７ａ…平面
３…カメラ
４…アナログメータ群
４ａ〜４ｉ…メータ
５…天井
１０…画像入力部
１１…記憶部
１２…処理設定部
１３…撮影位置確認部
１４…撮影位置補正部
１５…メータ読取部
１６…読取結果伝送部
1. Meter reading device (imaging position correction device)
2, 7:
Claims (8)
前記カメラで撮影された画像が入力される画像入力部と、
前記画像入力部から入力された撮影画像内に前記全メータが撮影されているか否かを確認する撮影位置確認部と、
前記撮影位置確認部にて前記全メータの撮影が確認されなければ、カメラの撮影位置を補正する撮影位置補正部と、を備え、
前記撮影位置確認部は、事前に用意された前記各メータのテンプレート画像と前記撮影画像とのパターンマッチングを実行し、メータ毎の相関値を撮影位置確認結果として出力し、
前記撮影位置補正部は、前記各相関値と事前設定の閾値とを比較し、すべての前記相関値が前記閾値より小さくなければ前記撮影画像を正常と判定する一方、
前記相関値が前記閾値よりも小さいメータがあれば前記撮影位置の異常を判定して前記撮影位置を補正する
ことを特徴とする撮影位置の補正装置。 An apparatus for correcting a shooting position of the camera when reading meter display information from an image of a meter group shot by a camera,
An image input unit into which an image captured by the camera is input,
A photographing position confirming unit that confirms whether or not all the meters have been photographed in the photographed image input from the image input unit;
If the imaging of all meters is not confirmed by the imaging position confirmation unit, an imaging position correction unit that corrects the imaging position of the camera,
The photographing position confirmation unit performs pattern matching between the template image of each meter and the photographed image prepared in advance, and outputs a correlation value for each meter as a photographing position confirmation result,
The photographing position correction unit compares the correlation value with a preset threshold, and determines that the photographed image is normal unless all the correlation values are smaller than the threshold.
If there is a meter whose correlation value is smaller than the threshold value, an abnormality of the photographing position is determined and the photographing position is corrected, wherein the photographing position is corrected.
前記撮影位置確認部にて前記補正後の撮影画像内に前記全メータが撮影されているか否かを再確認し、
前記撮影位置補正部は、前記再確認の結果として前記全メータの撮影が確認されなければ、
前記補正後の撮影画像の撮影位置を再補正することを特徴とする請求項１に記載された撮影位置の補正装置。 The captured image after the correction is input from the image input unit,
In the photographing position confirmation unit, reconfirm whether or not all the meters are photographed in the photographed image after the correction,
The imaging position correction unit, if the imaging of all meters is not confirmed as a result of the reconfirmation,
The photographing position correcting apparatus according to claim 1, wherein the photographing position of the photographed image after the correction is corrected again.
前記撮影位置を前記一方側に補正することを特徴とする請求項１または２に記載された撮影位置の補正装置。 The photographing position correction unit, if the correlation value of the meter arranged on one side in the horizontal direction or one side in the vertical direction of the meter group is smaller than the threshold,
The apparatus according to claim 1, wherein the photographing position is corrected to the one side.
「相関値≧閾値１」を「高」と評価し、「閾値１＞相関値≧閾値２」を「中」と評価し、「閾値２＞相関値≧０」を「低」と評価し、
すべての前記相関値の評価が「低」であれば、前記撮影画像の四隅を特徴として、それぞれの特徴が中心となるように順に撮影位置を補正し、
前記撮影位置確認部で出力された前記補正後の撮影画像の相関値を、二つの前記閾値を用いて前記三段階で再評価し、
前記再評価の結果、前記メータ群の水平方向の一方側または垂直方向の一方側の前記評価が低ければ、
前記一方側に撮影位置を補正することを特徴とする請求項２記載された撮影位置の補正装置。 The imaging position correction unit evaluates the correlation value in three steps using two thresholds (threshold 1> threshold 2 ≠ 0),
“Correlation value ≧ threshold value 1” is evaluated as “high”, “threshold value 1> correlation value ≧ threshold value 2” is evaluated as “medium”, “threshold value 2> correlation value ≧ 0” is evaluated as “low”,
If the evaluation of all the correlation values is "low", the four corners of the captured image are features, and the shooting position is corrected in order so that each feature is the center,
The correlation value of the corrected captured image output by the capturing position confirmation unit, re-evaluated in the three stages using two thresholds,
As a result of the re-evaluation, if the evaluation of one side in the horizontal direction or one side in the vertical direction of the meter group is low,
The apparatus according to claim 2, wherein the camera position is corrected to the one side.
前記カメラで撮影された画像を入力する画像入力ステップと、
前記画像入力ステップで入力された撮影画像内に前記全メータが撮影されているか否かを確認する撮影位置確認ステップと、
前記撮影位置確認ステップにて前記全メータの撮影が確認されなければ、カメラの撮影位置を補正する撮影位置補正ステップと、有し、
前記撮影位置確認ステップにおいて、事前に用意された前記各メータのテンプレート画像と前記撮影画像とのパターンマッチングを実行し、メータ毎の相関値を撮影位置確認結果として出力し、
前記撮影位置補正ステップにおいて、前記各相関値と事前設定の閾値とを比較し、すべての前記相関値が前記閾値より小さくなければ前記撮影画像を正常と判定する一方、
前記相関値が前記閾値よりも小さいメータがあれば前記撮影位置の異常を判定して前記撮影位置を補正する
ことを特徴とする撮影位置の補正方法。 When reading the meter display information from the image of the meter group photographed by the camera, a method for correcting the photographing position of the camera by a computer,
An image input step of inputting an image taken by the camera,
A photographing position confirming step of confirming whether or not all the meters have been photographed in the photographed image input in the image input step,
If photographing of all meters is not confirmed in the photographing position confirmation step, a photographing position correction step of correcting a photographing position of a camera,
In the photographing position confirmation step, pattern matching is performed between the template image of each meter and the photographed image prepared in advance, and a correlation value for each meter is output as a photographing position confirmation result,
In the photographing position correction step, comparing each of the correlation values and a preset threshold value, while determining that the photographed image is normal unless all the correlation values are smaller than the threshold value,
If there is a meter whose correlation value is smaller than the threshold value, an abnormality of the photographing position is determined and the photographing position is corrected.
前記撮影位置確認ステップは、前記補正後の撮影画像内に前記全メータが撮影されているか否かを再確認するステップを有し、
前記撮影位置補正ステップは、前記再確認の結果として前記全メータの撮影が確認されなければ、前記補正後の撮影画像の撮影位置を再補正するステップを有する
ことを特徴とする請求項５に記載された撮影位置の補正方法。 The image input step has a step of re-inputting the captured image after the correction,
The photographing position confirming step has a step of reconfirming whether or not all the meters are photographed in the photographed image after the correction,
The photographing position correcting step includes a step of re-correcting a photographing position of the photographed image after the correction if photographing of all the meters is not confirmed as a result of the reconfirmation. Corrected shooting position.
前記メータ群の水平方向の一方側または垂直方向の一方側に配置された前記メータの前記相関値が前記閾値よりも小さければ、
前記撮影位置を前記一方側に補正することを特徴とする請求項５または６に記載された撮影位置の補正方法。 In the photographing position correction step,
If the correlation value of the meter arranged on one side in the horizontal direction or one side in the vertical direction of the meter group is smaller than the threshold,
7. The method according to claim 5, wherein the photographing position is corrected to the one side.
「相関値≧閾値１」を「高」と評価し、「閾値１＞相関値≧閾値２」を「中」と評価し、「閾値２＞相関値≧０」を「低」と評価し、
すべての前記相関値の評価が「低」であれば、前記撮影画像の四隅を特徴として、それぞれの特徴が中心となるように順に撮影位置を補正し、
前記撮影位置確認部で出力された前記補正後の撮影画像の相関値を、二つの前記閾値を用いて前記三段階で再評価し、
前記再評価の結果、前記メータ群の水平方向の一方側または垂直方向の一方側の前記評価が低ければ、
前記一方側に撮影位置を補正することを特徴とする請求項６に記載された撮影位置の補正方法。 In the photographing position correcting step, the correlation value is evaluated in three steps using two thresholds (threshold 1> threshold 2 ≠ 0),
“Correlation value ≧ threshold value 1” is evaluated as “high”, “threshold value 1> correlation value ≧ threshold value 2” is evaluated as “medium”, “threshold value 2> correlation value ≧ 0” is evaluated as “low”,
If the evaluation of all the correlation values is "low", the four corners of the captured image are features, and the shooting position is corrected in order so that each feature is the center,
The correlation value of the corrected captured image output by the capturing position confirmation unit, re-evaluated in the three stages using two thresholds,
As a result of the re-evaluation, if the evaluation of one side in the horizontal direction or one side in the vertical direction of the meter group is low,
7. The method according to claim 6, wherein the photographing position is corrected to the one side.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018183870A JP7103126B2 (en) | 2018-09-28 | 2018-09-28 | Shooting position correction device, shooting position correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018183870A JP7103126B2 (en) | 2018-09-28 | 2018-09-28 | Shooting position correction device, shooting position correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020052903A true JP2020052903A (en) | 2020-04-02 |
| JP7103126B2 JP7103126B2 (en) | 2022-07-20 |
Family
ID=69997373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018183870A Active JP7103126B2 (en) | 2018-09-28 | 2018-09-28 | Shooting position correction device, shooting position correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7103126B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5559894A (en) * | 1993-06-28 | 1996-09-24 | Lubliner; David J. | Automated meter inspection and reading |
-
2018
- 2018-09-28 JP JP2018183870A patent/JP7103126B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5559894A (en) * | 1993-06-28 | 1996-09-24 | Lubliner; David J. | Automated meter inspection and reading |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7103126B2 (en) | 2022-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10506151B2 (en) | Information acquisition apparatus | |
| CN105407342B (en) | The calibration method of image calibration system and stereo camera | |
| KR101874098B1 (en) | DlAGNOSTIC AND MANAGING METHOD OF NEW RENEWABLE ENERGY APPATUS USING MOBILE DEVICE AND THE SYSTEM THEREOF | |
| JP5879431B2 (en) | Rotor blade diagnosis | |
| CN102768816A (en) | Automatic LED (light-emitting diode) display screen correction method | |
| JP6765791B2 (en) | A method for creating a reference image set for pattern matching, a device for creating a reference image set for pattern matching, a work recognition method, a program, and a recording medium. | |
| CN113610788B (en) | Fault monitoring method and device for image acquisition device, electronic equipment and storage medium | |
| JP2017194946A (en) | Management device, management method, and management program | |
| US11499738B2 (en) | System for device addition or replacement that uses a code scan | |
| TW201907153A (en) | Image inspection device, production system, image inspection method, program and memory medium | |
| US9858692B2 (en) | Test support apparatus, test support method, and test support program for plant monitoring system | |
| KR101446324B1 (en) | Management system for pipe of the process of semiconductor and method thereof | |
| JP2020052903A (en) | Imaging position correcting apparatus, and imaging position correcting method | |
| US20210065468A1 (en) | Systems and methods for artificial intelligence in a vehicle service environment | |
| US20200260069A1 (en) | Method and system for monitoring equipment state | |
| KR20180037347A (en) | Board inspection apparatus and method of compensating board distortion using the same | |
| JP2017146866A (en) | Apparatus monitoring system | |
| WO2023113754A1 (en) | Calibration and management method of ptz cameras | |
| KR20190133373A (en) | Auto producting system and method for 3d interior space image based on the information of reflrction image cloud | |
| US20210400033A1 (en) | Configuration of devices for business management systems | |
| KR102217627B1 (en) | Dron waytpoint creating system and method for monitoring road slope using dron | |
| JP2005122378A (en) | Quality control system for housing construction | |
| JP6503248B2 (en) | Device confirmation system and method | |
| JP4397898B2 (en) | Digitized drawing photographing apparatus and method | |
| CN105225062A (en) | A kind of disposal route of transmission line of electricity defect elimination information and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7103126 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |