JP2023029227A - スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス - Google Patents

スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス Download PDF

Info

Publication number
JP2023029227A
JP2023029227A JP2022098256A JP2022098256A JP2023029227A JP 2023029227 A JP2023029227 A JP 2023029227A JP 2022098256 A JP2022098256 A JP 2022098256A JP 2022098256 A JP2022098256 A JP 2022098256A JP 2023029227 A JP2023029227 A JP 2023029227A
Authority
JP
Japan
Prior art keywords
image
server
measurement
aspects
meter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022098256A
Other languages
English (en)
Inventor
アパルナデヴィ・ミニサンカール
Minisankar Aparnadevi
サウラブ・バンダリ
BHANDARI Saurabh
ジア・シュアン・コー
Jia Xuan Koh
ゴクラ・クリシュナン・シヴァプラカサム
Krishnan Sivaprakasam Gokula
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Publication of JP2023029227A publication Critical patent/JP2023029227A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02Recognising information on displays, dials, clocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】メータの自動又は半自動読取りをサポートする改善された方法、システム、デバイス、及び装置を提供する。【解決手段】測定デバイスを含む環境の画像をキャプチャすることと、画像に含まれるターゲット領域を検出することであって、ターゲット領域は測定デバイスの少なくとも一部を含む、検出することと、ターゲット領域を検出することに基づいて、測定デバイスに関連する識別情報を決定することと、ターゲット領域を検出することに基づいて、測定デバイスに関連する測定情報を抽出することとを含む、工場又はプラント環境において読取りする機器用の方法、システム、及びデバイスが記載される。いくつかの態様では、ターゲット領域を検出することは、画像を機械学習ネットワークに提供することと、機械学習ネットワークが検出モデルに基づいて画像を処理することに応答して、機械学習ネットワークから出力を受信することであって、出力はターゲット領域を含む、受信することとを含み得る。【選択図】図1

Description

本発明は、メータ(たとえば、本明細書に記載のアナログメータ目盛り盤、アナログゲージ、デジタルメータ、デジタルゲージ、レベルメータなど)などの測定デバイスを含む環境に関し、より詳細には、測定デバイスの手動、自動、又は半自動の視覚的読取りに関する。
いくつかの処理施設(たとえば、処理プラント又は工場)では、処理施設内の機器をモニタリングするために、異なるタイプのメータがさまざまな位置に設置され得る。いくつかのケースでは、機器をモニタリングすることは、フィールドパトロールを含み得、オペレータがメータ上に示される(たとえば表示される)測定情報を記録する。
記載される手法は、メータ(たとえば、本明細書に記載のアナログメータ目盛り盤、アナログゲージ、デジタルメータ、デジタルゲージ、レベルメータなど)の自動又は半自動読取りをサポートする改善された方法、システム、デバイス、及び装置に関する。一般に、記載される手法はモニタリングされる環境内に設置されたメータの自動読取りを提供する。
測定デバイスを含む環境の画像をキャプチャすることと、画像に含まれるターゲット領域を検出することであって、ターゲット領域は測定デバイスの少なくとも一部を含む、検出することと、ターゲット領域を検出することに基づいて、測定デバイスに関連する識別情報を決定することと、ターゲット領域を検出することに基づいて、測定デバイスに関連する測定情報を抽出することとを含む方法が記載される。いくつかの態様では、ターゲット領域を検出することは、画像を機械学習ネットワークに提供することと、機械学習ネットワークが検出モデルに基づいて画像を処理することに応答して、機械学習ネットワークから出力を受信することであって、出力はターゲット領域を含む、受信することとを含み得る。
プロセッサと、プロセッサに連結されたメモリであって、メモリは、プロセッサによって実行されたときにプロセッサが、測定デバイスを含む環境の画像をキャプチャすること、画像に含まれるターゲット領域を検出し、ターゲット領域は測定デバイスの少なくとも一部を含むこと、ターゲット領域を検出することに基づいて、測定デバイスに関連する識別情報を決定すること、及びターゲット領域を検出することに基づいて、測定デバイスに関連する測定情報を抽出すること、ができるようにするデータを格納する、メモリとを含むデバイスが記載される。いくつかの態様では、ターゲット領域を検出することは、画像を機械学習ネットワークに提供することと、機械学習ネットワークが検出モデルに基づいて画像を処理することに応答して、機械学習ネットワークから出力を受信することであって、出力はターゲット領域を含む、受信することとを含み得る。
機械学習ネットワークと、プロセッサと、プロセッサに連結されたメモリであって、メモリは、プロセッサによって実行されたときにプロセッサが、測定デバイスを含む環境の画像をキャプチャすること、画像に含まれるターゲット領域を検出し、ターゲット領域は測定デバイスの少なくとも一部を含むこと、ターゲット領域を検出することに基づいて、測定デバイスに関連する識別情報を決定すること、及びターゲット領域を検出することに基づいて、測定デバイスに関連する測定情報を抽出すること、ができるようにするデータを格納する、メモリと、を含むシステムが記載される。いくつかの態様では、ターゲット領域を検出することは、画像を機械学習ネットワークに提供することと、機械学習ネットワークが検出モデルに基づいて画像を処理することに応答して、機械学習ネットワークから出力を受信することであって、出力はターゲット領域を含む、受信することとを含み得る。
本開示の態様に係る自動メータ読取りをサポートするシステムの一例を示す。 本開示の態様に係る自動メータ読取りをサポートする処理フローの一例を示す。 本開示の態様に係る自動メータ読取りをサポートする処理フローの一例を示す。 本開示の態様に係る自動メータ読取りをサポートする処理フローの一例を示す。 本開示の態様に係るメータの構成情報の一例を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係るメータ面のキャプチャ及び処理された画像を示す。 本開示の態様に係る線検出をサポートする例示的な略図を示す。 本開示の態様に係るメータの例を示す。 本開示の態様に係る自動メータ読取りをサポートする処理フローの一例を示す。
いくつかの環境(たとえば、処理施設、処理プラント、工場など)では、環境内の機器、製造条件、及び/又は他の処理条件をモニタリングするために、異なるタイプのメータがさまざまな位置に設置され得る。いくつかのケースでは、処理施設内の機器をモニタリングすることは、フィールドパトロールを含み得、フィールドパトロールは、フィールド全体に分散された測定ポイントに設置された異なるタイプのメータを読み取ることを含み得る。いくつかの処理施設は、自動化されたシステム(たとえば、監視・制御(supervisory control and data acquisition:SCADA)システム、分散制御システム(distributed control system:DCS)など)によってモニタリング又は制御されるメータと、そうした自動化されたシステムによってモニタリング又は制御されないメータとを含み得る。
いくつかのケースでは、自動化されたシステムによってモニタリング又は制御されていないメータ(本明細書では非自動化メータとも称される)は、オペレータ(たとえば、施設職員)によって手動で読取り及び記録され得る。たとえば、メータは、環境内の機器に関連する測定値を提供し得、オペレータは、機器の故障、機器の運転状態(たとえば、機器状態)、機器のメンテナンス、及び/又は機器のトラブルシューティングに関する検証及び分析のために測定値を手動で読取り及び記録し得る。いくつかのフィールドパトロール手法は、オペレータによるフィールドの手作業のパトロールを含み、オペレータは、紙ベースのチェックリストを携行し、フィールドのメータを手動で読取り/記録する。しかしながら、オペレータによる手動の読取り(たとえば、測定インジケータ、ゲージなどの)は、不十分な照明条件、メータのメータ面を見るときの視差エラー、メータに対する視認性/アクセスしやすさ、オペレータによる判断/記録エラーなどに起因してエラーを起こしやすい傾向があり得る。
本開示の態様は、とりわけ、画像認識及び/又は物体検出手法を使用して、フィールドパトロール中にメータから測定情報を抽出するための手法を提供する。いくつかの態様では、画像認識及び/又は物体検出手法は、フィールドパトロール中に収集された以前及び/又は現在の画像を使用して開発された機械学習モデル(たとえば、検出モデル)に基づき得る。
いくつかの態様では、本明細書に記載の手法は、メータのキャプチャされた画像を使用して、環境(たとえば、処理施設、処理プラント、工場など)で利用される異なるタイプのメータの構成を識別することを含み得る。キャプチャされた画像は、静止画像、ビデオ(及びそのビデオフレーム)、ビデオストリーム(及びそのビデオフレーム)、ビデオスキャンなどを含み得る。構成は、たとえば、各メータに関連する特徴(たとえば、物理的構成、識別タグの配置など)に基づき得る。いくつかの例示的な特徴は、メータのブランド名(たとえば、メータのメータ面に表示されたブランド名)、メータのメータ面上の文字に関連するフォントのタイプ及び/又はサイズ、メータのメータ面上の数値などを含み得る。いくつかの態様では、本明細書に記載の手法は、メータのキャプチャされた画像及びメータに関連する識別された構成に基づいてメータの自動読取りをサポートし得る。
本開示の態様は、処理施設、処理プラント、工場などの環境との関連で記載されている。しかしながら、本開示の実施形態は、これらのタイプの環境での展開に限定されないことが理解されるべきである。いくつかのケースでは、本明細書に記載の手法は、任意のタイプの環境における測定デバイスの自動メータ読取りをサポートする。各測定デバイスは、たとえば、パラメータを測定できるメータであり得る。いくつかのケースでは、測定デバイスは、測定値を示すためのアナログメータ目盛り盤を含むアナログメータであり得る。別の例では、測定デバイスは、測定値を示すためのデジタル文字を含むデジタルメータであり得る。いくつかの他のケースでは、測定デバイスは、測定デバイスにおける物質(たとえば、液体)の量を示すレベル指針及び/又はマーキングを含むレベルメータであり得る。
本明細書に記載の測定デバイスは、たとえば、都市環境(たとえば、パーキングメータ)、居住環境(たとえば、家庭に設置されたユーティリティメータ)、商業地(たとえば、オフィスビル又は企業に設置されたユーティリティメータ)、病院環境(たとえば、病室に設置されたアナログメータ、レベルメータなど)、実験室環境(たとえば、実験室、クリーンルームなどに設置されたアナログメータ、レベルメータなど)などの任意の環境に展開され得る。
次いで、自動メータ読取りをサポートする処理の例を記載する。本開示の態様は、自動メータ読取りに関わる装置略図、システム略図、及びフローチャートによってさらに示され、それらを参照しつつさらに記載される。
図1は、本開示の態様に係る自動メータ読取りをサポートするシステム100の一例を示している。いくつかの例では、システム100は、環境111のスマート・フィールド・パトロールのための自動メータ読取りをサポートし得る。
いくつかの態様では、システム100は、製造、変換、生産、システムモニタリング、機器モニタリング、他の処理などに関連する処理を実行及び制御できる分散型プロセス制御システムであり得る。いくつかの例では、システム100は、本明細書に記載の測定デバイス125によってモニタリングされる機器に接続されたコントローラ(たとえば、デバイス105及び/又はサーバ110によって実施される)を含む分散型プロセス制御システムであり得る。いくつかの他の例では、システム100は、測定デバイス125から測定情報を抽出するためにデバイス105を制御できるコントローラ(たとえば、デバイス105及び/又はサーバ110によって実施される)を含む分散制御システムであり得る。デバイス105は、測定デバイス125の画像をキャプチャ、処理、及び分析することを通じて測定情報を抽出するのをサポートし得る。
システム100は、デバイス105(又は複数のデバイス105)、サーバ110、データベース115、通信ネットワーク120、機器(図示せず)、及び測定デバイス125を含み得る。デバイス105は、無線通信デバイスであり得る。デバイス105の非限定的な例は、たとえば、パーソナル・コンピューティング・デバイス又はモバイル・コンピューティング・デバイス(たとえば、ラップトップコンピュータ、携帯電話、スマートフォン、スマートデバイス、ウェアラブルデバイス、タブレットなど)を含み得る。いくつかの例では、デバイス105は、人間のユーザによって操作可能か又は携行され得る。いくつかの態様では、デバイス105は、自律的に、又はユーザ、デバイス105、及び/又はサーバ110による入力と組み合わせて、1又は複数の動作を実行し得る。
いくつかの態様では、デバイス105は、環境111を動き回るように構成された輸送機器であり得る。デバイス105は、モータ駆動ロボット又はドローン(たとえば、デバイス105-b)、移動車両(たとえば、デバイス105-d)などであり得る。別の例では、デバイス105は、輸送機器に電子的及び/又は機械的に連結され得る。
一例では、デバイス105(又は輸送機器)の動きは、システム100によって(たとえば、デバイス105又はサーバ110によりコマンドを介して)制御され得る。いくつかの他の態様では、デバイス105(又は輸送機器)の動きは、自律的又は半自律的(たとえば、スケジュール又はプログラミングに基づいて)であり得る。たとえば、デバイス105(又は輸送機器)は、環境111又は環境111のターゲットエリアをパトロールするように命令され得る。
サーバ110は、たとえば、クラウドベースのサーバであり得る。いくつかの態様では、サーバ110は、デバイス105に関連する同じネットワーク(たとえば、LAN、WAN)に接続されたローカルサーバであり得る。データベース115は、たとえば、クラウドベースのデータベースであり得る。いくつかの態様では、データベース115は、デバイス105及び/又はサーバ110に関連する同じネットワーク(たとえば、LAN、WAN)に接続されたローカルデータベースであり得る。データベース115は、データ分析、機械学習、及びAI処理をサポートし得る。
通信ネットワーク120は、デバイス105(又は複数のデバイス105)、サーバ110、又は1又は複数のデータベース(たとえば、データベース115)のいずれかの間のマシン・ツー・マシン通信を容易にし得る。通信ネットワーク120は、任意のタイプの既知の通信媒体又は通信媒体の集合を含み得、エンドポイント間でメッセージを転送するために任意のタイプのプロトコルを使用し得る。通信ネットワーク120は、有線通信技術、無線通信技術、又はそれらの任意の組合せを含み得る。
インターネットは、複数の位置に配置された、複数のコンピュータ、コンピューティングネットワーク、及び他の通信デバイスからなる、インターネットプロトコル(IP)ネットワークを構成する通信ネットワーク120の一例であり、通信ネットワーク120内の構成要素(たとえば、コンピュータ、コンピューティングネットワーク、通信デバイス)は、1又は複数の電話システム及び他の手段を介して接続され得る。通信ネットワーク120の他の例は、限定はされないが、標準的な一般電話システム(Plain Old Telephone System:POTS)、サービス総合デジタル通信網(Integrated Services Digital Network:ISDN)、公衆交換電話網(Public Switched Telephone Network:PSTN)、ローカル・エリア・ネットワーク(Local Area Network:LAN)、ワイド・エリア・ネットワーク(Wide Area Network:WAN)、無線LAN(wireless LAN:WLAN)、セッション・イニシエーション・プロトコル(Session Initiation Protocol:SIP)ネットワーク、ボイス・オーバ・インターネット・プロトコル(Voice over Internet Protocol:VoIP)ネットワーク、セルラネットワーク、及び当技術分野で知られている任意の他のタイプのパケット交換網又は回路交換網を含み得る。いくつかのケースでは、通信ネットワーク120は、ネットワーク又はネットワークタイプの任意の組合せを含み得る。いくつかの態様では、通信ネットワーク120は、同軸ケーブル、銅ケーブル/ワイヤ、光ファイバケーブル、又はデータを通信する(たとえば、データを送信/受信する)ためのアンテナなどの、通信媒体の任意の組合せを含み得る。
システム100が処理施設(たとえば、処理プラント、工場)に関連する一例では、機器(図示せず)は、処理施設に関連する任意の機器を含み得る。たとえば、機器は、測定可能なパラメータを有する任意のタイプの機器を含み得る。いくつかの態様では、測定可能なパラメータは、機器の性能及び/又は機器のリソース(たとえば、電力、ガス、水など)使用量に関連し得る。例示的な測定可能なパラメータは、圧力、流体レベル、質量流量(たとえば、kg/H)、温度、電力使用量、ガス使用量などを含むが、これらに限定されない。いくつかの他の態様では、測定可能なパラメータは、機器における利用可能な又は残りの内容物(たとえば、利用可能な液体、利用可能なガスなど)に関連し得る。
測定デバイス125(たとえば、測定デバイス125-a~測定デバイス125-f)は、機器に関連するパラメータをモニタリング又は測定できるフィールドデバイスを含み得る。いくつかの態様では、測定デバイス125は、測定デバイス125によって測定可能なパラメータ値に対応するメータ(たとえば、アナログメータ目盛り盤、アナログゲージ、デジタルメータ、デジタルゲージ、レベルメータなど)を含み得る。メータは、たとえば、測定デバイス125のメータ面上に配置され得る。いくつかの他の態様では、測定デバイス125は、測定デバイス125によって測定可能なパラメータ値にそれぞれ対応する複数のメータ目盛り盤を含み得る。いくつかのケースでは、複数のメータ目盛り盤は、同じパラメータ値に対応し得るが、それぞれの機器が異なり得る。
いくつかの態様では、アナログメータ目盛り盤などのメータの場合、メータ目盛り盤は、測定デバイス125によって測定されたパラメータ値(たとえば、機器性能、リソース使用量、機器における利用可能な内容物などで)に基づいてメータ目盛り盤上の数字(又はマーキング)を指し示す測定インジケータ(たとえば、目盛り盤インジケータ)を含み得る。いくつかの他の態様では、デジタルディスプレイなどのメータの場合、デジタルディスプレイ上の1又は複数の数値インジケータは、測定デバイス125によって測定されたパラメータ値を反映し得る。
いくつかのケースでは、測定可能なパラメータは、測定デバイス125における利用可能な又は残りの内容物(たとえば、利用可能な液体、利用可能なガスなど)に関連し得る。たとえば、測定デバイス125は、利用可能な液体、利用可能なガス、利用可能な時間(たとえば、タイマ、パーキングメータなどの場合)など、測定デバイス125における利用可能なリソースを示すことができるスタンドアロンデバイスであり得る。
システム100が処理施設(たとえば、処理プラント、工場)、病院環境、実験室環境などに関連する一例では、環境111に含まれる測定デバイス125は、流量メータ、圧力ゲージ、レベルメータ、温度ゲージなどを含み得る。いくつかのケースでは、測定デバイス125は、機器に機械的に連結され得る。
システム100が都市環境に関連する一例では、環境111に含まれる測定デバイス125は、アナログ・パーキング・メータであり得る。アナログ・パーキング・メータの例は、通信ネットワーク120に接続されていないパーキングメータであり得る。いくつかのケースでは、そうしたパーキングメータは、アナログ測定インジケータ(たとえば、アナログメータ目盛り盤、指針)又はデジタル測定インジケータ(たとえば、デジタルディスプレイ)を有し得る。システム100が住宅又は商業環境に関連する一例では、環境111に含まれる測定デバイス125は、たとえば、ガスメータ、電気メータなどのアナログ・ユーティリティ・メータ(たとえば、通信ネットワーク120に接続されていないユーティリティメータ)であり得る。
一例では、測定デバイス125は、識別タグ126(本明細書ではメータタグとも称される)を含み得る。いくつかの例では、各測定デバイス125は識別タグ126を含み得る。識別タグ126は、対応する測定デバイス125に関連する識別情報(たとえば、文字、数字、及び/又は記号の組合せを含むタグID)及び/又は構成情報(たとえば、デバイスタイプ、デバイスパラメータ、デバイス特性、デバイス特徴)を含み得る。
いくつかの態様では、識別タグ126は、識別タグ126に含まれる識別情報が第1の色(たとえば、比較的暗い色、たとえば黒色)であり、識別タグ126の背景が第1の色を対比する第2の色(たとえば、黄色)である、色フォーマットを含み得る。いくつかの態様では、第1の色と第2の色との間の対比は、識別情報と背景とを区別するのをサポートし得る。たとえば、識別情報及び背景は、オペレータ、デバイス105、画像キャプチャデバイス127、サーバ110、データモデル142(たとえば、トレーニング済み物体検出モデル)などによって視覚的に検出可能又は視覚的に読取り可能であり得る。
いくつかのケースでは、環境111内のいくつかの測定デバイス125は識別タグ126を含み得、環境111内の他の測定デバイス125は識別タグ126を含まない場合がある。たとえば、識別タグ126のない測定デバイス125の場合(又は識別タグ126がデバイス105によって区別又は読み取られることができない場合)、システム100は、測定デバイス125に関連する位置情報に基づいて測定デバイス125を識別することをサポートし得、その態様は本明細書で後述する。
いくつかの態様では、測定デバイス125は、通信ネットワーク120に接続されていない場合がある。たとえば、いくつかのケースでは、測定デバイス125は、通信ネットワーク120を介して通信するためのネットワーク能力をサポートしていない場合がある。本開示の態様は、測定デバイス125のキャプチャされた画像に基づく測定デバイス125の(たとえば、測定デバイス125に含まれるメータの)自動メータ読取りを含み得、その例は本明細書に記載されている。
いくつかの他の態様では、測定デバイス125は、通信ネットワーク120を使用して(たとえば、通信ネットワーク120によってサポートされるプロトコルを介して)の他のデバイス(たとえば、デバイス105、サーバ110など)との通信のためのネットワーク能力をサポートし得る。たとえば、測定デバイス125は、通信ネットワーク120を介してデバイス105、サーバ110などに測定データを通信することをサポートし得る。いくつかの例では、測定デバイス125は、本明細書に記載のアナログメータ目盛り盤、デジタルメータ、及び/又はレベルメータを含むモノのインターネット(internet-of-things:IoT)デバイスを含み得る。本開示の態様は、たとえば、通信ネットワーク120の通信が中断された(たとえば、ネットワークの問題、ネットワーク通信の遮断、測定デバイス125におけるトランシーバの誤動作などに起因する)場合について、測定デバイス125のキャプチャされた画像を使用した測定デバイス125の(たとえば、測定デバイス125に含まれるメータの)自動メータ読取りを含み得る。
さまざまな態様において、デバイス105、サーバ110、データベース115、通信ネットワーク120、機器、及び測定デバイス125のいずれの設定も、システム100の任意のユーザ及び/又は管理者によって構成及び修正され得る。設定は、本明細書に記載の閾値又はパラメータ、並びにデータが管理される方法に関する設定を含み得る。設定は、1又は複数のデバイス105、デバイス105のユーザ、及び/又はエンティティの他のグループに対してパーソナライズされるように構成され得、本明細書ではプロファイル設定、ユーザ設定、又は組織設定と称され得る。いくつかの態様では、本明細書に記載のパラメータ又は閾値に加えて、又はその代わりに、ルール及び設定が使用され得る。いくつかの例では、ルール及び/又は設定は、ユーザ及び/又は管理者によって任意の変数、閾値、ユーザ(ユーザプロファイル)、デバイス105、エンティティ、又はそれらのグループに対してパーソナライズされ得る。
デバイス105及びサーバ110の態様が、本明細書にさらに記載される。デバイス105(たとえば、デバイス105-a)は、画像キャプチャデバイス127、プロセッサ130、ネットワークインタフェース135、メモリ140、及びユーザインタフェース145を含み得る。いくつかの例では、デバイス105の構成要素(たとえば、プロセッサ130、ネットワークインタフェース135、メモリ140、ユーザインタフェース145)は、デバイス105に含まれるシステムバス(たとえば、制御バス、アドレスバス、データバス)を介して通信し得る。いくつかのケースでは、デバイス105はコンピューティングリソースと称され得る。
画像キャプチャデバイス127は、スタンドアロンのカメラデバイス又はデバイス105と一体化されたカメラデバイスであり得る。画像キャプチャデバイス127は、静止画像及び/又はビデオをキャプチャすることをサポートし得る。たとえば、画像キャプチャデバイス127は、画像(たとえば、静止画像、ビデオ(及びそのビデオフレーム)、ビデオストリーム(及びそのビデオフレーム)、ビデオスキャンなど)の自律的なキャプチャをサポートし得る。いくつかの例では、画像キャプチャデバイス127は、固定位置に設置されたカメラであり得る(たとえば、CCTVカメラ)。
いくつかの態様では、画像キャプチャデバイス127は、単一の画像センサ又は画像センサのアレイ(図示せず)を含み得る。画像センサは、任意の周波数帯域の光に敏感な(たとえば、検出できる)フォトダイオードを含み得る。たとえば、画像センサは、フォトダイオード、フォトカソード、及び/又は光電子増倍管の、任意の組合せを含み得る。画像センサは、任意の定義された波長範囲(たとえば、可視スペクトル、紫外線スペクトルなど)内の光を検出するように構成され得る。
画像キャプチャデバイス127は、画像キャプチャデバイス127及び/又は画像センサの回転自由度を許容する方法で、デバイス105のハウジングに又はハウジング内に機械的に取り付けられ得る。別の例では、画像キャプチャデバイス127は、任意の表面又は任意の物体に取り付けられ得る。いくつかの態様では、カメラデバイスは、球面カメラデバイス(たとえば、球面視野を提供するため)であり得る。
画像キャプチャデバイス127(及び/又は画像センサ)は、画像キャプチャデバイス127(及び/又は画像センサ)と関連する位置情報を記録するように構成された位置センサを含み得る。一例では、画像キャプチャデバイス127は、座標、ポジショニング情報、向き情報、速度情報などを記録及び出力するように構成され得る。たとえば、画像キャプチャデバイス127は、加速度計、GPSトランスポンダ、RFトランシーバ、ジャイロセンサ、又はそれらの任意の組合せを含み得る。
システム100は、デバイス105、サーバ110、及び画像キャプチャデバイス127の、いずれかで実施される画像処理技法(たとえば、画像前処理)をサポートし得る。システム100によってサポートされる画像処理の例は、画像読取り、画像サイズ変更、画像変換(たとえば、グレーから赤、緑、青(RGB)、色相、彩度、明度(HSV)からRGB、青、緑、赤(BGR)からRGBなど)、画像強調(たとえば、形態素演算子によるフィルタリング)、ヒストグラム等化、ノイズ除去、線形コントラスト調整、メディアンフィルタリング、アンシャープ・マスク・フィルタリング、コントラストが制限された適応的ヒストグラム平滑化(contrast-limited adaptive histogram equalization:CLAHE)、アフィン変換(たとえば、幾何学的歪み補正)、画像変換(たとえば、フーリエ変換、ハフ変換、ウェーブレットなど)、色処理などを含み得る。
いくつかのケースでは、デバイス105は、ネットワークインタフェース135を使用して、通信ネットワーク120を介して、1又は複数の他のデバイス(たとえば、別のデバイス105、サーバ110、データベース115、機器(図示せず)、測定デバイス125(測定デバイス125がネットワーク通信をサポートする場合))にパケットを送信又は受信し得る。ネットワークインタフェース135は、たとえば、ネットワークインタフェースカード(NIC)、ネットワークポート、関連するドライバなどの、任意の組合せを含み得る。デバイス105の構成要素(たとえば、プロセッサ130、メモリ140)と通信ネットワーク120に接続された1又は複数の他のデバイス(たとえば、別のデバイス105、データベース115、機器、測定デバイス125(ネットワーク通信をサポートする場合))との間の通信は、たとえば、ネットワークインタフェース135を介して流れ得る。
プロセッサ130は、1又は多数のコンピュータ処理デバイスに対応し得る。たとえば、プロセッサ130は、FPGA、ASIC、任意の他のタイプのICチップ、ICチップの集合などの、シリコンチップを含み得る。いくつかの態様では、プロセッサは、対応するメモリ(たとえば、デバイス105のメモリ140)に格納された命令セットを実行するように構成されたマイクロプロセッサ、CPU、GPU、又は複数のマイクロプロセッサを含み得る。たとえば、メモリ140に格納された命令セットを実行すると、プロセッサ130は、デバイス105の1又は複数の機能を有効にするか又は実行し得る。
メモリ140は、1又は複数のコンピュータ・メモリ・デバイスを含み得る。メモリ140は、たとえば、ランダム・アクセス・メモリ(Random Access Memory:RAM)デバイス、読出し専用メモリ(Read Only Memory:ROM)デバイス、フラッシュ・メモリ・デバイス、磁気ディスク記憶媒体、光記憶媒体、ソリッドステート記憶デバイス、コアメモリ、バッファ・メモリ・デバイス、それらの組合せなどを含み得る。メモリ140は、いくつかの例では、コンピュータ可読記憶媒体に対応し得る。いくつかの態様では、メモリ140は、デバイス105に対して内部又は外部とし得る。
プロセッサ130は、メモリ140に格納されたデータをニューラルネットワーク(本明細書では機械学習ネットワークとも称される)として利用し得る。ニューラルネットワークは、機械学習アーキテクチャを含み得る。いくつかの態様では、ニューラルネットワークは、人工ニューラルネットワーク(ANN)であり得るか又はそれを含み得る。いくつかの他の態様では、ニューラルネットワークは、たとえば、深層学習ネットワーク、畳み込みニューラルネットワーク(CNN)、などの任意の機械学習ネットワークであり得るか又はそれらを含み得る。メモリ140に格納されたいくつかの要素は、命令又は命令セットとして記載又は参照され得、デバイス105のいくつかの機能は、機械学習技法を使用して実施され得る。いくつかの態様では、ニューラルネットワークは、region-based CNN(RCNN)、fast-RCNN、faster-RCNN、及び/又はmask-RCNNを含み得る。
メモリ140は、プロセッサ130がさまざまなタイプのルーチン又は機能を実行するためのデータを一時的に格納することに加えて、命令セット、ニューラルネットワーク、及び他のデータ構造(たとえば、本明細書に記載の)を格納するように構成され得る。たとえば、メモリ140は、プロセッサ130によって実行可能なプログラム命令(命令セット)を格納し、本明細書に記載の機械学習エンジン141の機能性を提供する、ように構成され得る。メモリ140はまた、メモリ140に格納された命令によって使用可能か又は呼び出されることができるデータ又は情報を格納するように構成され得る。それの構成要素による使用のためにメモリ140に格納され得るデータの一例は、データモデル142(たとえば、ニューラルネットワークモデル、物体検出モデル、又は本明細書に記載の他のモデル)及び/又はトレーニングデータ143(本明細書ではトレーニングデータ及びフィードバックとも称される)である。
機械学習エンジン141は、単一又は複数のエンジンを含み得る。デバイス105(たとえば、機械学習エンジン141)は、他のデバイス105、サーバ110、及びデータベース115から取得された情報を認識及び処理するために、1又は複数のデータモデル142を利用し得る。いくつかの態様では、デバイス105(たとえば、機械学習エンジン141)は、トレーニングデータ143に含まれる学習された情報に基づいて、1又は複数のデータモデル142を更新し得る。いくつかの態様では、機械学習エンジン141及びデータモデル142は、トレーニングデータ143に基づいて順方向学習をサポートし得る。機械学習エンジン141は、1又は複数のデータモデル142にアクセスし得、及びそれらを使用し得る。機械学習エンジン141は、データモデル142及び/又はトレーニングデータ143の、任意の組合せを使用して、画像注釈、画像拡張、モデル選択、モデルトレーニング、性能分析、及びファインチューニングをサポートし得る。
データモデル142は、トレーニングデータ143に基づいて機械学習エンジン141によって構築及び更新され得る。データモデル142は、任意の数のフォーマット又は形態で提供され得る。データモデル142の非限定的な例は、デシジョンツリー、サポート・ベクタ・マシン(Support Vector Machine:SVM)、ニアレストネイバ、及び/又はベイズ分類器を含む。データモデル142の生成(たとえば、構築、トレーニング)及び適用など、データモデル142の他の例示的な態様は、本明細書の図の記載を参照しつつ記載される。
本開示の態様によれば、データモデル142は、物体検出モデルを含み得、その例は、図3を参照しつつ本明細書に少なくとも記載される。いくつかの態様では、データモデル142は、環境111のキャプチャされた画像に含まれる測定デバイス125(たとえば、メータ)を検出するようにトレーニングされた単一の物体検出モデルであり得る。本開示の態様は、登録された測定デバイス125と比較して同様の視覚的特徴を有する測定デバイス125がシステム100によるモニタリングのために環境111に追加される(又はシステム100に登録される)ときであっても、データモデル142を1度トレーニングすることをサポートし得る。
データモデル142は、さまざまな円形面、さまざまなデザイン、及び/又はさまざまなサイズの、測定デバイス125の検出をサポートし得る。データモデル142は、画像をキャプチャすることに関連するキャプチャ角度及び/又は照明条件にかかわらず、キャプチャされた画像に含まれる測定デバイス125の検出をサポートし得る。いくつかの態様では、データモデル142は、測定デバイス125間の最も差異を有する特徴に基づいて、測定デバイス125の検出をサポートし得る。いくつかの態様では、データモデル142は、2次元(2D)及び3次元(3D)の物体認識、画像分類、画像セグメンテーション、動き検出(たとえば、一粒子追跡)、ビデオトラッキング、3D姿勢推定、などのような画像解析技法をサポートし得る。
いくつかの例では、トレーニングデータ143は、環境111の集約されたキャプチャされた画像(たとえば、フィールドパトロール画像)、測定デバイス125の登録された画像、及び測定デバイス125のフィールドパトロール画像(たとえば、本明細書に記載のスマート・フィールド・パトロール中にキャプチャされた画像)を含み得る。いくつかの態様では、トレーニングデータ143は、1又は複数の時間的期間に関して測定デバイス125と関連する集約された測定情報(たとえば、測定値)などの、集約された測定データを含み得る。いくつかの他の態様では、トレーニングデータ143は、環境111及び測定デバイス125をモニタリングする1又は複数のフィールドパトロール工程に関連する集約された測定情報を含み得る。いくつかの他の例では、トレーニングデータ143は、デバイス105、測定デバイス125のパラメータ及び/又は構成(たとえば、位置、構成など)及び/又はフィールドパトロールのパラメータ及び/又は構成(たとえば、スケジューリング情報、環境111をモニタリングするためのルート、モニタリングされるべき測定デバイス125など)を含み得る。
機械学習エンジン141は、測定デバイス125に関連するリアルタイム及び/又は集約された測定情報(たとえば、測定値)を分析するように構成され得る。いくつかのケースでは、機械学習エンジン141は、1又は複数の測定デバイス125における予測される測定情報(たとえば、測定値)の計算をサポートし得る。たとえば、機械学習エンジン141は、測定デバイス125に関連する履歴データ(たとえば、以前に記録された測定情報)に基づいて、測定デバイス125における測定情報を予測し得る。いくつかの態様では、機械学習エンジン141は、測定デバイス125によってモニタリングされる機器に関連する性能傾向(たとえば、予測される流量、予測される圧力レベル、予測されるユーティリティ使用量など)を予測し得る。いくつかのケースでは、システム100は、実際の測定情報及び/又は予測される測定情報に基づいて、環境111に含まれる機器に関連する動作パラメータを調整し得、及び/又は機器に関連する任意の障害をオペレータに通知し得る。
いくつかの他の態様では、機械学習エンジン141は、フィールドパトロール工程中にキャプチャされた画像に基づいてフィールドパトロールに関連するパラメータを分析及び調整するように構成され得る。たとえば、機械学習エンジン141は、フィールドパトロール工程中にキャプチャされた画像に関連する特性(たとえば、画質)に基づいて、スケジューリング情報、環境111をモニタリングするためのルート、監視されるべき測定デバイス125などを調整し得る。いくつかのケースでは、特性(たとえば、画質)に基づいて、サーバ110は、デバイス105を制御し得、輸送機器を制御し得、及び/又は環境111内の測定デバイス125のキャプチャされた画像に関連するキャプチャ設定(たとえば、キャプチャ角度、時刻など)を修正するためにオペレータに通知を出力し得る。いくつかの態様では、サーバ110は、デバイス105を制御し得、輸送機器を制御し得、及び/又は測定デバイス125の画像を再キャプチャするためにオペレータに通知を出力し得る。いくつかのケースでは、モニタリングされる測定デバイス125の正常範囲は、エンジニアリングコンフィグレーション中にキャプチャされ得、本開示の態様は、フィールドパトロール工程のチェックリストを決定するために正常範囲を使用することをサポートする。
機械学習エンジン141は、履歴的又はリアルタイムである本明細書に記載の任意の情報を分析し得る。機械学習エンジン141は、デバイス105、サーバ110、データベース115、機器、及び/又は測定デバイス125から(たとえば、画像キャプチャ及び画像解析によって)情報を受信又はアクセスするように構成され得る。機械学習エンジン141は、自動処理を使用して、人工知能を使用して、及び/又はデバイス105に関連する1又は複数のユーザからの入力を使用して、たとえば、システム100に関連するプロファイル(たとえば、処理施設及びスマート・フィールド・パトロールに関連するプロファイル)、機器に関連するプロファイル、測定デバイス125に関連するプロファイル(たとえば、本明細書に記載の構成情報を含む)などの任意の数のプロファイルを構築し得る。プロファイルは、たとえば、構成プロファイル、性能プロファイルなどであり得る。機械学習エンジン141は、構成プロファイルに関連性のある情報を決定、管理、及び/又は組み合わせるために、自動処理、人工知能、及び/又はデバイス105の1又は複数のユーザからの入力を使用し得る。
機械学習エンジン141は、ユーザの情報とのインタラクションに基づいて構成プロファイル情報を決定し得る。機械学習エンジン141は、関連性のある新しい情報に基づいて構成プロファイルを更新(たとえば、連続的に、定期的に)し得る。機械学習エンジン141は、任意のデバイス105、サーバ110、データベース115、機器、測定デバイス125(たとえば、画像キャプチャを介して、測定デバイス125がネットワーク通信をサポートする場合には通信ネットワーク120を介して)などから新しい情報を受信し得る。プロファイル情報は、さまざまな方式で整理及び分類され得る。いくつかの態様では、構成プロファイル情報の整理及び分類は、自動処理によって、人工知能によって、及び/又はデバイス105の1又は複数のユーザによって決定され得る。
機械学習エンジン141は、適切な処理決定を生成、選択、及び実行し得る。例示的な処理決定は、測定情報(たとえば、履歴、リアルタイムなど)、予測された測定情報、デバイス105の構成、機器の構成、及び/又は測定デバイス125の構成の、分析を含み得る。処理決定は、人間の入力と共に、又は人間の入力なしに、機械学習エンジン141によって自動的に処理され得る。
機械学習エンジン141は、メモリ140に(たとえば、メモリ140に含まれるデータベースに)履歴情報(たとえば、基準データ、測定データ、予測測定データ、構成など)を格納し得る。メモリ140のデータベース内のデータは、機械学習エンジン141によって更新、訂正、編集、又は削除され得る。いくつかの態様では、機械学習エンジン141は、データ(たとえば、機器、測定デバイス125(画像キャプチャ及び/又は通信ネットワーク120を介して)、中央コントローラ、デバイス105などから)の連続的、定期的、及び/又はバッチでのフェッチ並びにデータ集約をサポートし得る。
デバイス105は、アプリケーション144(たとえば、ブラウザアプリケーション144-a、アプリケーション144-b)の提示を表現(たとえば、視覚的に、聴覚的に、触覚フィードバックを使用してなど)し得る。アプリケーション144-bは、本明細書に記載のようなシステム100の機器、製造条件、及び/又は他の処理条件を、実行、制御、及び/又はモニタリングすることに関連するアプリケーションであり得る。たとえば、アプリケーション144-bは、本明細書に記載のデバイス105、機器、及び/又は測定デバイス125の制御を可能にし得る。いくつかの態様では、アプリケーション144-bは、環境111をモニタリングするためのフィールド・パトロール・アプリケーションであり得る。
一例では、デバイス105は、ユーザインタフェース145を介して提示を表現し得る。ユーザインタフェース145は、たとえば、ディスプレイ(たとえば、タッチスクリーンディスプレイ)、オーディオ出力デバイス(たとえば、スピーカ、ヘッドホンコネクタ)、又はそれらの任意の組合せを含み得る。いくつかの態様では、アプリケーション144は、メモリ140に格納され得る。いくつかのケースでは、アプリケーション144は、クラウドベースのアプリケーション又はサーバベースのアプリケーション(たとえば、データベース115又はサーバ110によってサポート及び/又はホストされる)を含み得る。ユーザインタフェース145の設定は、部分的又は全体的にカスタマイズ可能であり得、1又は複数のユーザによって、自動処理によって、及び/又は人工知能によって管理され得る。
一例では、アプリケーション144(たとえば、ブラウザアプリケーション144-a、アプリケーション144-b)のいずれも、電子フォーマットでデータを受信し、ユーザインタフェース145を介してデータの内容を提示する、ように構成され得る。たとえば、アプリケーション144は、通信ネットワーク120を介して別のデバイス105、サーバ110、データベース115、機器、及び/又は測定デバイス125(ネットワーク通信をサポートする場合)からデータを受信し得、デバイス105は、ユーザインタフェース145を介して内容を表示し得る。
データベース115は、リレーショナルデータベース、集中型データベース、分散型データベース、オペレーショナルデータベース、階層型データベース、ネットワークデータベース、オブジェクト指向型データベース、グラフデータベース、NoSQL(非リレーショナル)データベースなどを含み得る。いくつかの態様では、データベース115は、たとえば、本明細書に記載の格納されたデータのいずれかを格納し得、及びそれへのアクセスを提供し得る。
サーバ110は、プロセッサ150、ネットワークインタフェース155、データベースインタフェース命令160、及びメモリ165を含み得る。いくつかの例では、サーバ110の構成要素(たとえば、プロセッサ150、ネットワークインタフェース155、データベースインタフェース160、メモリ165)は、サーバ110に含まれるシステムバス(たとえば、制御バス、アドレスバス、データバス)を介して通信し得る。サーバ110のプロセッサ150、ネットワークインタフェース155、及びメモリ165は、本明細書に記載のデバイス105のプロセッサ130、ネットワークインタフェース135、及びメモリ140の態様の例を含み得る。
たとえば、プロセッサ150は、メモリ165に格納された命令セットを実行するように構成され得、その時点でプロセッサ150は、サーバ110の1又は複数の機能を可能にするか又は実行し得る。いくつかの例では、サーバ110は、ネットワークインタフェース155を使用して、通信ネットワーク120を介して、1又は複数の他のデバイス(たとえば、デバイス105、データベース115、別のサーバ110)にパケットを送信又は受信し得る。サーバ110の構成要素(たとえば、プロセッサ150、メモリ165)と通信ネットワーク120に接続された1又は複数の他のデバイス(たとえば、デバイス105、データベース115、機器、測定デバイス125など)との間の通信は、たとえば、ネットワークインタフェース155を介して流れ得る。
いくつかの例では、データベースインタフェース命令160(本明細書ではデータベースインタフェース160とも称される)は、プロセッサ150によって実行されたとき、サーバ110がデータベース115にデータを送信及びそこから受信できるようにし得る。たとえば、データベースインタフェース命令160は、プロセッサ150によって実行されたとき、サーバ110が、データベースクエリを生成すること、システム管理者がデータベースクエリを定義するために1又は複数のインタフェースを提供すること、データベースクエリを1又は複数のデータベース(たとえば、データベース115)に送信すること、データベースクエリに対する応答を受信すること、データベースクエリに関連するデータにアクセスすること、及びサーバ110の他の構成要素による処理のためにデータベースから受信した応答をフォーマットすること、ができるようにし得る。
メモリ165は、プロセッサ150がさまざまなタイプのルーチン又は機能を実行するためのデータを一時的に格納することに加えて、命令セット、ニューラルネットワーク、及び他のデータ構造(たとえば、本明細書に記載の)を格納するように構成され得る。たとえば、メモリ165は、プロセッサ150によって実行可能なプログラム命令(命令セット)を格納し、機械学習エンジン166の機能性を提供する、ように構成され得る。それの構成要素による使用のためにメモリ165に記憶され得るデータの一例は、データモデル167(たとえば、本明細書に記載の任意のデータモデル、物体検出モデル、ニューラルネットワークモデルなど)及び/又はトレーニングデータ168である。
データモデル167及びトレーニングデータ168は、デバイス105を参照しつつ記載されるデータモデル142及びトレーニングデータ143の態様の例を含み得る。機械学習エンジン166は、デバイス105を参照しつつ記載される機械学習エンジン141の態様の例を含み得る。たとえば、サーバ110(たとえば、機械学習エンジン166)は、デバイス105、別のサーバ110、データベース115、機器、及び/又は画像キャプチャデバイス127から取得された情報を認識及び処理するために、1又は複数のデータモデル167を利用し得る。いくつかの態様では、サーバ110(たとえば、機械学習エンジン166)は、トレーニングデータ168に含まれる学習された情報に基づいて、1又は複数のデータモデル167を更新し得る。
いくつかの態様では、機械学習エンジン166の構成要素は、サーバ110と通信する別個の機械学習エンジンに設けられ得る。
本明細書に記載の主題の態様は、1又は複数の利点を実現するために実施され得る。記載された技法は、環境111内の測定デバイス125の自動測定読取りの例示的な改善をサポートし得る。たとえば、本明細書に記載の機械学習ベースのROI検出の態様は、視覚的メータ読取りに関連する他の手法と比較してより高速であり、改善された精度を有し得、いくつかのケースでは、将来のタイプのメータデザイン、メータ構成などに適用可能であり得る。
図2は、本開示の態様に係る自動メータ読取りをサポートする処理フロー200を示している。いくつかの例では、処理フロー200は、システム100の態様を実施し得る。たとえば、処理フロー200は、図1を参照しつつ記載されるサーバ110及び/又はデバイス105によって実施され得る。
処理フロー200の以下の記載では、動作は示された順序とは異なる順序で実行されてもよく、又は動作は異なる順序で若しくは異なるタイミングで実行されてもよい。特定の動作はまた、処理フロー200から除外されてもよく、又は他の動作が処理フロー200に追加されてもよい。デバイス105が処理フロー200のいくつかの動作を実行するものとして記載されているが、デバイスの任意の組合せ(たとえば、サーバ110と組み合わせたデバイス105)が示されている動作を実行してもよいことが理解されるべきである。
処理フロー200は、自律的及び/又は半自律的な実施をサポートし得る。たとえば、システム100は(たとえば、デバイス105及び/又はサーバ110を介して)、オペレータからの部分的な入力で、又はオペレータからの入力なしで、処理フロー200の1又は複数の動作を実施し得る。
205において、処理フロー200は、環境111のサイトの準備を含み得る。一例では、205における環境111のサイトの準備は、測定デバイス125(たとえば、メータ)を画像キャプチャの準備が整った状態にすることを含み得る。たとえば、サイトの準備は、測定デバイス125の表面をクリーニングすること(たとえば、メータ面のクリーニング)と、各測定デバイス125のために識別タグ126(たとえば、それぞれがタグIDを含む)を設置することとを含み得る。
いくつかの態様では、サイトの準備は、環境111内の測定デバイス125の位置情報(たとえば、座標)を記録することを含み得る。一例では、サイトの準備は、環境111内の各測定デバイス125について、位置情報(たとえば、GPS座標)、ポジション情報(たとえば、測定デバイス125のメータ面の高さ)、及び対応するタグIDをデータベース115に格納することを含み得る。
210において、デバイス105は、システム100によってモニタリングされるべき測定デバイス125のフィールド画像をキャプチャし得る。一例では、デバイス105-b(たとえば、ロボット、ドローン、クローラなど)は、環境111の画像を自律的にキャプチャし得、キャプチャされた画像をデータベース115に格納し得、キャプチャされた画像を処理し得、及び/又は処理された画像をデータベース115に格納し得る。別の例では、オペレータによって使用されるデバイス105-c(たとえば、スマートフォン、ウェアラブルデバイスなど)は、環境111の画像をキャプチャし得、キャプチャされた画像をデータベース115に格納し得、キャプチャされた画像を処理し得、及び/又は処理された画像をデータベース115に格納し得る。
いくつかのケースでは、ハンドヘルドデバイス(たとえば、デバイス105-c)又はロボット/ドローン(たとえば、デバイス105-b)がない場合、ユーザは、スタンドアロンの画像キャプチャデバイス127を使用して環境111の画像をキャプチャし得、その画像をウェブアプリケーション(たとえば、サーバ110によってホストされる)にアップロードし得る。いくつかのケースでは、ウェブアプリケーションは、キャプチャされた画像の処理、処理された画像のデータベース115への格納などに関連する本明細書に記載の態様をサポートし得る。
いくつかの他の例では、環境111の測定された読取り値をモニタリングするオペレータのデバイス105-eは、環境111のキャプチャされた画像へアクセスすること又はそれを受信(たとえば、別のデバイス105から)すること、キャプチャされた画像を処理すること、及び/又は処理された画像をデータベース115に格納することをサポートし得る。デバイス105は、デバイス105、サーバ110、及び/又はデータベース115の間のデータ(たとえば、キャプチャされた画像、処理された画像など)の伝送をサポートし得る。いくつかの態様では、デバイス105、サーバ110、及び/又はデータベース115の間のデータ伝送及び/又は通信は、非同期(たとえば、画像ベースの実施の場合)及び/又は同期(たとえば、ビデオベースの実施の場合)であり得る。
一例では、210において、測定デバイス125は環境111に設置され/存在し得、デバイス105は、測定デバイス125の自動メータ読取りのために、本明細書に記載のアルゴリズムの展開230の前に測定デバイス125のフィールド画像をキャプチャし得る。
処理フロー200は、システム100によって読取り/モニタリングされるべき任意の新しい測定デバイス125を登録するためのワンタイムのエンジニアリングステップ215を含み得る。たとえば、220において、サーバ110は、システム100によって読取り/モニタリングされるべき任意の新しい測定デバイス125を登録し得る。225において、サーバ110は、測定デバイス125に対応する構成情報(たとえば、メータ構成)を記録し得る。
一例では、220において、サーバ110は、測定デバイス125の少なくとも1つの鮮明な(たとえば、閾値内で、測定デバイス125の視覚的障害物がないなど)正面画像を識別し得る。サーバ110は、トレーニング済みモデル(たとえば、トレーニング済み物体検出モデル、データモデル142)を使用して画像を処理し得る。一例では、220において、サーバ110は、処理前の画像(たとえば、元のキャプチャされた画像)及び/又は処理された画像(たとえば、本明細書に記載のトリミングされたROI画像、色/輝度/コントラスト修正された画像、1又は複数のインジケータ又はマーキングでオーバレイされた画像など)をデータベース115に格納し得る。
225において、サーバ110は、測定デバイス125の構成情報(たとえば、構成詳細、メータ構成)を格納し得る。一例では、サーバ110は、ユーザ入力に基づいて構成情報を格納し得る。たとえば、サーバ110は、測定デバイス125の構成情報を入力するための通知を出力(たとえば、デバイス105のユーザインタフェース145を介して)し得る。一例では、通知は、構成情報のユーザ入力のためのプロンプトを含み得る。
225の態様は、図5に示される例500を参照しつつ記載される。一例では、例500の構成情報は、測定デバイス125に関連し、タグ名(本明細書ではタグIDとも称される)(たとえば、識別タグ126に対応する)、最小測定値505、最大測定値510、最小角度(たとえば、画像キャプチャデバイス127による画像キャプチャのための)、最大角度(たとえば、画像キャプチャデバイス127による画像キャプチャのための)、及び測定単位、などのパラメータの第1のセットを含み得る。いくつかの例では、測定デバイス125に関連する構成情報は、測定デバイス125の最小測定単位値及び測定デバイス125の正常動作範囲515(たとえば、読取り値の正常範囲)、などのパラメータの第2のセットを含み得る。
システム100は、最小測定単位値を使用して読取りエラーを計算することをサポートし得る。正常動作範囲515は、測定デバイス125によってモニタリングされる機器のエラーのない動作に関連する最小及び最大測定値(たとえば、性能値、安全動作範囲など)を含み得る。システム100は、正常動作範囲515の外側(たとえば、より下、より上)にある測定デバイス125の任意の読取り値について警告(たとえば、260において)を生成することをサポートし得、システム100内のオペレータ応答時間の改善をサポートし得る。
いくつかの例では、パラメータの第1のセットは、各新しい測定デバイス125を登録するために必須であり得、パラメータの第2のセットは、登録のためのオプションであり得る。いくつかの他の例では、システム100は、必須及び/又はオプションとしてのパラメータの任意の組合せをサポートし得る。
いくつかの態様では、サーバ110は、構成情報がオペレータによって入力された時点、及び/又はサーバ110によって受信及び検証された時点で、測定デバイス125の登録を完了し得る。一例では、サーバ110は、構成情報をデータベース(たとえば、データベース115)、メモリ140、及び/又はメモリ165に格納し得る。たとえば、オペレータによって構成情報が入力された時点で、サーバ110は、スマート・フィールド・パトロールを使用する測定デバイス125の自動メータ読取りのための本明細書に記載のアルゴリズムを展開(たとえば、230において)し得る。
測定デバイス125のワンタイムのエンジニアリング215の完了後(たとえば、230での展開に続いて)、処理フロー200は、210に戻り得(図示せず)、デバイス105は、環境111の追加のフィールド画像をキャプチャし得る。たとえば、サーバ110は、環境111のフィールドパトロールを実施する(たとえば、画像をキャプチャする)ために、1又は複数のデバイス105を制御し得る。別の例では、サーバ110は、デバイス105を使用してフィールドパトロールを実施するために、1又は複数のオペレータに通知を出力(たとえば、デバイス105を介して)し得る。フィールドパトロールは、たとえば、デバイス105が(たとえば、画像キャプチャデバイス127を介して)環境111のフィールド画像をキャプチャする、環境111の単一のフィールドパトロール工程又は複数のフィールドパトロール工程を含み得る。
たとえば、230において、サーバ110は、環境111内の測定デバイス125の自動メータ読取り及び警報生成(たとえば、235~260)のための本明細書に記載のアルゴリズムを展開し得る。230における展開中に実施されるアルゴリズムの一例では、サーバ110は、フィールドパトロール中に測定デバイス125の新しい画像がキャプチャされたかどうかを識別し得る。いくつかの例では、デバイス105は、キャプチャされた画像をサーバ110及び/又はデータベース115に通信(たとえば、連続的に、周期的に、及び/又はバッチで)し得る。いくつかの他の例では、サーバ110は、データベース115から、キャプチャされた画像にアクセス(たとえば、連続的に、周期的に、及び/又はバッチで)し得る。
235において、サーバ110は、識別タグ126を検出(たとえば、キャプチャされた画像から)し得、識別タグ126に含まれる識別情報を読み取り得る。いくつかの態様では、識別タグ126を検出することは、識別タグ126について本明細書に記載の例示的な色フォーマット(たとえば、黄色の背景に対する黒色フォント)に基づき得る。色フォーマットは、システム100によって構成され得る。
いくつかの態様では、235において、サーバ110は、検出された識別タグ126をさらに位置特定(たとえば、ポジション情報及び/又は寸法情報を決定する)し得る。いくつかの態様では、検出された識別タグ126の位置を特定することは、識別タグ126の寸法が基準軸(たとえば、水平軸)と揃うまで、識別タグ126を含む画像を回転させるステップを含み得る。識別タグ126を位置特定する例については、図3、4及び6を参照しつつ後述される。
一例では、235において、測定デバイス125に対応する位置特定された識別タグ126(たとえば、本明細書で後述される画像/タグ回転後)に対して、サーバ110は、識別タグ126に含まれる識別情報(たとえば、タグID)に光学式文字認識(OCR)技法を適用し得る。いくつかの態様では、OCR技法を適用することは、識別タグ126に含まれる文字(たとえば、表音文字、数字)及び/又は記号を抽出することを含み得る。いくつかのケースでは、OCR技法は、識別タグ126を文字に変換することを含み得る。サーバ110は、たとえば、識別タグ126及び対応する測定デバイス125を検証するために、識別タグ126に関連する識別情報(たとえば、タグID)を、識別タグ126のセットに関連してデータベース115に格納された識別情報(たとえば、タグID)と比較し得る。
いくつかの態様では、235におけるタグ検出及び読取りは、いくつかのOCR技法が影響を受けやすい可能性があるエラーに基づいて潜在的なタグIDを追加することを含み得る。たとえば、表音文字「O」を含む識別タグ126について、サーバ110は、表音文字「O」の代わりに数字「0」を含む別の潜在的なタグIDを追加(たとえば、別のタグIDをさらに検索)し得る。別の例では、番号「8」を含む識別タグ126について、サーバ110は、番号「8」の代わりに表音文字「B」を含む別の潜在的なタグIDを追加(たとえば、追加的に検索)し得る。
代替的に、又は追加的に、システム100は、識別タグ126が測定デバイス125に貼り付けられていない場合及び/又は識別タグ126が読取り不可能(たとえば、識別タグ126上のかすれた/見づらい文字に起因して)であるケースについて、測定デバイス125の識別情報を決定することをサポートし得る。
一例では、240において、オペレータは、測定デバイス125のユーザインタフェース145を介して測定デバイス125に対応する識別情報(たとえば、タグID)を入力し得る。たとえば、システム100は、オペレータによる識別情報(たとえば、タグID)の手動入力をサポートし得る。一例では、オペレータは、測定デバイス125の構成情報を、登録された識別情報(たとえば、タグID)に関連付け得、測定デバイス125の画像をキャプチャするとき又はその後に、オペレータが手動で測定デバイスについてのタグIDを選択し得る(たとえば、デバイス105及び/又はサーバ110が測定デバイス125の自動読取りを実施している間又はその後に)。この場合、画像内に識別タグ126が存在しないため、サーバ110はOCRの実行を控え得る。
別の例(図示せず)では、システム100は、測定デバイス125の位置情報に基づいて識別情報(たとえば、タグID)を決定することをサポートし得、その例示的な態様は、図3を参照しつつ後述される。
245において、サーバ110は、識別情報(たとえば、タグID)に基づいて測定デバイス125の構成情報を抽出し得る。たとえば、サーバ110は、画像キャプチャデバイス127によってキャプチャされた識別タグ126、オペレータによって提供された識別情報(たとえば、タグID)、及び/又は測定デバイス125の位置情報から決定された識別情報(たとえば、タグID)に基づいて構成情報を引き出し得る。構成情報のさらなる例示的な態様は、図3の335を参照しつつ記載される。
250において、サーバ110は、測定デバイス125のメータを検出し得る。たとえば、データモデル142(たとえば、トレーニング済み物体検出モデル)を使用して、サーバ110は、キャプチャされた画像からROI(たとえば、測定デバイス125のメータ面)を検出し得る。一例では、ROI(たとえば、メータ面)に基づいて、サーバ110は、測定デバイス125に対応するメータタイプを識別し得る。
いくつかの態様では、250において、サーバ110は、データモデル142(たとえば、トレーニング済み物体検出モデル)によって決定されたインジケータを用いてROI画像をオーバレイし得る。たとえば、アナログメータを含むROI画像(たとえば、アナログメータに対応する円形領域を含むROI画像)について、サーバ110は、データモデル142によって検出された円でROI画像をオーバレイし得る。一例では、円は、アナログメータの円形領域の寸法(たとえば、半径、直径など)に対応し得る。
255において、サーバ110は、識別されたメータタイプに基づいて、測定デバイス125のメータ読取りを実行し得る。たとえば、サーバ110は、メータタイプ(たとえば、アナログメータ、デジタルメータ、レベルメータなど)に応じて、測定デバイス125に関連する測定情報を自動的に抽出し得る。
一例では、アナログメータ(たとえば、アナログメータ目盛り盤)の場合、サーバ110は、キャプチャされた画像(又はキャプチャされた画像に基づいて生成されたROI画像)内の測定デバイス125の測定指針(及びその対応する指針角度)を識別するために線検出技法を適用し得る。サーバ110は、245において決定されたような測定デバイス125の構成情報に基づいて、指針角度を測定値(たとえば、測定単位)に変換し得る。アナログメータ読取りの例示的な態様は、図3~図8を参照しつつ記載される。
別の例では、デジタルメータ(たとえば、デジタルの文字又は数字を含む)の場合、サーバ110は、デジタルメータを読み取るためにセグメンテーション及び文字認識技法を適用し得る。たとえば、複数の文字(又は文字位置)を含むデジタルメータについて、サーバ110は、各文字に対して文字認識技法を別々に適用し得る。一例では、サーバ110は、測定デバイス125の構成情報に基づいて、認識された文字を測定値(たとえば、読取り値)に変換し得る。一例では、構成情報は、測定単位(たとえば、単位及び小数)に関する変換情報を含み得る。
いくつかの他の例では、レベルメータの場合、サーバ110は、レベルメータを読み取るためにレベル検出及びレベル変換技法を適用し得る。たとえば、レベル検出及びレベル変換技法は、測定デバイス125(たとえば、メータ/ゲージ)を検出すること、流体を含む測定デバイス125のセグメントを識別すること、流体を含まない測定デバイス125のセグメントを識別すること、及びセグメントに基づく比を読取り値として使用することを含み得る。いくつかの他の態様では、流体(たとえば、水、油など)がレベルメータの透光性(又は半透光性)の容器に収容されているレベルメータの場合、サーバ110は、レベルメータを読み取るために流体レベル検出及び変換技法を適用し得る。たとえば、サーバ110は、測定デバイス125の構成情報に基づいて、レベルメータのセグメントに対応する測定値を決定し得る。一例では、セグメントに関連するレベル指針(又は流体)のポジション、及びセグメントに対応する測定値範囲に基づいて、サーバ110は、レベルメータの測定された読取り値を決定し得る。いくつかのケースでは、サーバ110は、セグメントの比(たとえば、セグメントの数、各セグメントに対応する測定値範囲など)に基づいて、測定された読取り値を決定し得る。レベルメータの一例が図9に示されている。
いくつかの態様では、サーバ110は、測定された読取り値(たとえば、アナログメータ、デジタルメータ、レベルメータについての)をデジタル値(たとえば、デジタル化された読取り値)として記録し得る。サーバ110は、測定された読取り値をデータベース115(たとえば、データベース115に格納されたデータセットに)に記録し得る。いくつかの例では、サーバ110は、環境111の将来のフィールドパトロール工程についてのチェックリストにデジタル値(たとえば、デジタル化された読取り値)を追加し得る(たとえば、測定デバイス125の将来の読取り値)。
260において、サーバ110は、測定デバイス125によって示された正常動作範囲(たとえば、図5を参照しつつ記載される正常動作範囲515)外(たとえば、より下、より上)である測定された読取り値について警告を生成し得る。
いくつかの態様では、サーバ110は、正常動作範囲外(たとえば、より下、より上)である測定された読取り値をオペレータに警告(たとえば、デバイス105を介して)し得る。たとえば、デバイス105は、デバイス105によってサーバ110から受信された警告に基づいて、オペレータに警告するための可聴(たとえば、スピーカを介して)、視覚(たとえば、ディスプレイ、発光ダイオード(LED))、又は触覚通知の、任意の組合せを生成及び出力し得る。
追加的に、又は代替的に、260において、サーバ110は、同じ位置(たとえば、同じ地理的位置、同じ機器)で測定された同じパラメータについて、同じサービスで使用されるゲージ(たとえば、測定デバイス125)とトランスミッタとの間の測定エラーをダブルチェックし得る。たとえば、測定デバイス125について、サーバ110は、255において決定された測定された読取り値(たとえば、圧力、流体レベル、質量流量、温度、電力使用量、ガス使用量などのパラメータについて)を、同じ測定デバイス125によって通信ネットワーク120を介して送信された読取り値(たとえば、同じパラメータについて)と比較し得る。一例では、サーバ110は、測定された読取り値と測定デバイス125によって送信された読取り値との間の差異値が閾値を超える場合に、本明細書に記載の警告を生成し得る。
いくつかの態様では、サーバ110は、複数のそれぞれのデバイス105を介して複数のオペレータに警告し得る。たとえば、環境111の画像を自律的にキャプチャするために使用されるデバイス105-b(たとえば、ドローン、ロボット)の場合、デバイス105-bは、デバイス105-bに近い(たとえば、閾値距離内の)オペレータに可聴及び/又は可視である通知を出力し得る。別の例では、環境111の画像をキャプチャするためにオペレータによって使用されるデバイス105-cの場合、デバイス105-cは、オペレータに警告するために可聴、可視、及び/又は触覚の通知の任意の組合せを出力し得る。いくつかの他の例では、環境111の測定された読取り値をモニタリングするオペレータのデバイス105-eの場合、デバイス105-eは、オペレータに警告するために可聴、可視、及び/又は触覚の通知の任意の組合せを出力し得る。
本開示の態様は、たとえば、タグ検出(たとえば、235において)及びメータ検出(たとえば、250において)などの処理フロー200に関連する追加の処理動作を含み得る。いくつかのケースでは、サーバ110は、環境111のキャプチャされた画像に関連する画質に基づいて追加の処理動作を実施し得る。いくつかの例では、追加の処理動作は、特徴マッチング技法(たとえば、画像キャプチャの角度の差を補正するため)及び/又は輝度補正(たとえば、暗い画像に対してタグ検出及び/又はメータ検出が失敗した場合)を含み得、その例示的な態様は本明細書でさらに記載される。
図3は、本開示の態様に係る自動メータ読取りをサポートする処理フロー300を示している。たとえば、処理フロー300は、識別タグ126を検出及び読み取る前にROI検出を実施することをサポートし得る。
いくつかの例では、処理フロー300は、システム100の態様を実施し得る。たとえば、処理フロー300は、図1を参照しつつ記載されるサーバ110及び/又はデバイス105によって実施され得る。一例では、処理フロー300は、図2を参照しつつ記載される処理フロー200の態様によって実施され得る。処理フロー300の例示的な動作は、処理フロー200を参照しつつ記載される同様の動作の態様を含み得る。
処理フロー300の以下の記載では、動作は示された順序とは異なる順序で実行されてもよく、又は動作は異なる順序で若しくは異なるタイミングで実行されてもよい。特定の動作はまた、処理フロー300から除外されてもよく、又は他の動作が処理フロー300に追加されてもよい。デバイス105及びサーバ110が処理フロー300のいくつかの動作を実行するものとして記載されているが、デバイスの任意の組合せ(たとえば、スタンドアロンのデバイス105、サーバ110と組み合わせた複数のデバイス105)が示されている動作を実行し得ることが理解されるべきである。
処理フロー300の例示的な態様は、図6~図8を参照しつつ本明細書に記載される。
305において、サーバ110は、測定デバイス125の自動メータ読取りのための本明細書に記載のアルゴリズムを展開し得る。一例では、305において、サーバ110は、測定デバイス125がシステム100に登録されていて、読取り/モニタリングされ得る、ということを示す信号をデバイス105(たとえば、デバイス105-a、デバイス105-c)に通信し得る。いくつかの例では、305において、サーバ110は、測定デバイス125及び/又は環境111の画像(たとえば、静止画像、ビデオフレーム、ビデオストリーム、ビデオ、ビデオスキャンなど)の自律的なキャプチャを開始するためにデバイス105(たとえば、デバイス105-b、デバイス105-d)に制御信号を送信し得る。
一例では、305において、デバイス105は、キャプチャされた画像をサーバ110にアップロードし得る。画像は、静止画像及び/又はビデオ画像(たとえば、ビデオ又はビデオストリームのビデオフレーム)を含み得る。いくつかのケースでは、デバイス105は、リアルタイムで、定期的に、及び/又はスケジュールに基づいて、キャプチャされた画像をアップロードし得る。いくつかの態様では、デバイス105は、ビデオ(又はビデオの画像フレーム)をリアルタイムでサーバ110にストリーミングし得る。
310において、サーバ110は、処理のために画像(たとえば、静止画像、ビデオ又はビデオストリームのビデオフレームnなど)を選択し得る。処理のために選択される画像の一例は、図6Aの画像601である。
315において、サーバ110は、画像(たとえば、静止画像、ビデオ又はビデオストリームのビデオフレームなど)に含まれる測定デバイス125を検出し得る。一例では、サーバ110は、トレーニング済みモデル325を使用して測定デバイス125を検出し得る。トレーニング済みモデル325は、物体検出モデルであり得る。たとえば、トレーニング済みモデル325は、図1を参照しつつ記載されるデータモデル142の態様を含み得る。
一例では、トレーニング済みモデル325は、環境111のキャプチャされた画像(たとえば、静止画像、ビデオフレームなど)内の測定デバイス125を認識でき得る。たとえば、トレーニング済みモデル325は、キャプチャされた画像に含まれる測定デバイス125の特徴(たとえば、メータ面)認識をサポートし得る。一例では、315において、サーバ110は(たとえば、トレーニング済みモデル325を使用して)、画像上で物体検出を実行し得る。たとえば、サーバ110は、画像内に任意の物体(たとえば、測定デバイス125)が存在するかどうかを識別し得る。
一例では、サーバ110は(たとえば、トレーニング済みモデル325を使用して)、キャプチャされた画像内の物体を登録された測定デバイス125のテンプレートと比較し得、それに基づいてサーバ110は、測定デバイス125がキャプチャされた画像に含まれるかどうかを識別し得る。いくつかの態様では、315における物体検出は、登録された測定デバイス125(たとえば、220において登録されたような)に関連する登録された画像を使用するテンプレートマッチングを含み得る。いくつかのケースでは、テンプレートマッチングは、適応的スレッショルディングを介して白黒色に変換されている登録された画像を使用することを含み得る。いくつかの態様では、適応的スレッショルディングは、さまざまな照明条件下での物体検出をサポートし得る。
いくつかの態様では、315における物体検出は、画像に含まれるROI(たとえば、測定デバイス125のメータ面を含む領域)を検出することを含み得る。ROIの一例は、図6Aに示される画像601のROI602である。
いくつかのケースでは、315において、サーバ110は、ROI画像を出力し得る。ROI画像の一例は、図6Bに示されるROI画像605である。
いくつかの非限定的な例では、トレーニング済みモデル325は、150ピクセル(幅)×150ピクセル(長さ)ほどの小さい物体(たとえば、メータ面)から3500ピクセル(幅)×3500ピクセル(長さ)ほどの大きい物体までのROI検出をサポートし得る。いくつかの態様では、トレーニング済みモデル325は、キャプチャされた画像の幅の5%~90%の範囲であり得るサイズを有する物体(たとえば、メータ面)のROI検出をサポートし得る。トレーニング済みモデル325は、さまざまなピクセルサイズのキャプチャされた画像に含まれる物体のROI検出をサポートし得る。いくつかのケースでは、トレーニング済みモデル325は、95%の物体検出精度をサポートし得る。
いくつかの態様では、サーバ110は、画像が異なる照明条件下及び異なる画像キャプチャ角度でキャプチャされた、異なる測定デバイス125の画像を含むトレーニングデータ(たとえば、トレーニングデータ143)に基づいて、トレーニング済みモデル325を生成及び/又はトレーニングし得る。
たとえば、320において、サーバ110(又はデバイス105若しくは画像キャプチャデバイス127)は、画像拡張技法を測定デバイス125のキャプチャされた画像に適用し得、トレーニングデータ143に含まれるトレーニング画像の数を増強し得る。いくつかの態様では、画像拡張技法は、自動画像操作、変更、及び/又は編集を含み得る。画像拡張のいくつかの例は、測定デバイス125の画像(たとえば、測定デバイス125の円形メータ)を異なる背景にオーバレイすること(たとえば、デジタル的に挿入すること)、画像効果を追加すること(たとえば、明るくすること/暗くすること、画像コントラストを調整することなど)、角度修正(たとえば、角度回転/傾斜)、サイズ修正などを含み得る。
本開示の態様は、より広い範囲の測定デバイス125のタイプ(たとえば、メータタイプ)がキャプチャされ、トレーニング済みモデル325をトレーニングすることに適用されるので、トレーニング済みモデル325の精度の向上をサポートし得る。たとえば、トレーニングデータ143内の測定デバイス125のタイプの数(たとえば、キャプチャされた異なるメータタイプの画像の数)を増やすことは、トレーニング済みモデル325の精度を高め得る。いくつかの他の態様では、トレーニング済みモデル325は、測定デバイス125のメータ面のものと同様の特徴(たとえば、指針、デザインなど)を有する時計の画像を使用してトレーニングされ得る。
330において、サーバ110は、1又は複数の測定デバイス125をシステム100に登録し得る(たとえば、システム100によって読取り/モニタリングされるべき任意の新しい測定デバイス125を登録する)。
たとえば、331において、サーバ110は、測定デバイス125の処理前の画像及び/又は測定デバイス125の処理された画像(たとえば、トリミングされた、輝度及び/又はコントラストについて調整された、円でオーバレイさたなど)をデータベース115に格納し得る。いくつかの態様では、331において、サーバ110は、データベース115から処理前の画像にアクセスし得る。
332において、サーバ110は、測定デバイス125の構成情報(たとえば、構成詳細)を格納し得る。いくつかの態様では、332において、サーバ110は、格納された構成情報にアクセスし得る。
330~332の態様は、図2を参照しつつ記載される220及び225の態様の例を含み得る。
315に戻って参照すると、サーバ110が画像内に測定デバイス125を一切検出しないか、又は画像内にROI(たとえば、測定デバイス125のメータ面を含む領域)を一切検出しない場合、サーバ110は(310において)処理のために別の画像(たとえば、別の静止画像、ビデオ又はビデオストリームのビデオフレームn+1など)を選択し得る。いくつかの態様では、サーバ110は、画像内に測定デバイス125又はROIを検出するまで、310及び315を繰り返し得る。
別の例では、315において、サーバ110は、画像内に測定デバイス125を検出し得、及び/又は画像内にROI(たとえば、測定デバイス125のメータ面を含む領域)を検出し得る。サーバ110は、測定デバイス125の位置情報を決定すること(たとえば、335及び336において)、及び/又は画像内に存在する識別タグ126を検出すること(たとえば、345及び350において)によって、測定デバイス125を識別することをサポートし得る。
たとえば、335において、サーバ110は、測定デバイス125及び/又は画像をキャプチャした画像キャプチャデバイス127の位置情報(たとえば、座標、ポジション)及び/又は向き(たとえば、角度、方向)を決定し得る。位置情報及び/又は向き情報は、軸のセット(たとえば、デバイス105、環境111、及び/又は画像キャプチャデバイス127に対応するX、Y、及び/又はZ軸)に関してであり得る。いくつかの態様では、サーバ110は、画像キャプチャデバイス127が画像をキャプチャしたときの時間インスタンスに対応する画像キャプチャデバイス127(又は画像キャプチャデバイス127に連結されたデバイス105)の速度情報を取得し得る。一例では、サーバ110は、デバイス105及び/又は画像キャプチャデバイス127に含まれる対応するセンサデバイスのGPSデータ、ジャイロセンサデータ、及び/又は加速度計データに基づいて、位置情報、向き情報、及び/又は速度情報を取得及び/又は計算し得る。
いくつかの態様では、335において、サーバ110は、画像キャプチャデバイス127(又はデバイス105)の位置情報、画像キャプチャデバイス127(又はデバイス105)の向き情報、及び/又はキャプチャされた画像に関連する画像データに基づいて、測定デバイス125の位置情報(たとえば、座標、ポジション、高さ)を計算し得る。たとえば、画像データは、キャプチャされた画像と相対的な測定デバイス125のサイズ、基準ポイントに対する測定デバイス125の見え方などを含み得る。いくつかのケースでは、サーバ110は、画像キャプチャデバイス127に対する測定デバイス125の向き情報(たとえば、角度、方向)を計算し得る。いくつかの態様では、サーバ110は、画像キャプチャデバイス127に対する測定デバイス125のROI(たとえば、メータ面)の向き情報(たとえば、角度、方向)を計算し得る。
336において、サーバ110は、測定デバイス125の位置情報(たとえば、座標)に基づいて、測定デバイス125に関連する識別情報(たとえば、タグID)を決定し得る。たとえば、サーバ110は、測定デバイス125の位置情報(たとえば、座標)と、330で登録されたような測定デバイス125の位置情報(たとえば、座標)との間の一致について比較及び識別し得る。
340において、サーバ110は、測定デバイス125に関連するタグID(たとえば、識別情報)がオペレータによって提供されているかどうかを検出し得る。タグIDが提供されているかどうかを検出することは、図2を参照しつつ記載される240の態様の例を含み得る。
345において、サーバ110は、315において検出されたROI内に識別タグ126を検出及び/又は位置特定し得る。345において識別タグ126を位置特定することは、図2を参照しつつ記載される235の態様の例を含み得る。
たとえば、345において、識別タグ126を位置特定することは、識別タグ126の寸法(たとえば、エッジ、境界)が基準軸(たとえば、水平軸)と揃うまで、識別タグ126を含むROI画像(たとえば、315において生成されたROI画像)を回転させることを含み得る。345において識別タグ126を検出すること及び/又は位置特定することは、図2を参照しつつ記載される235の態様の例を含み得る。
いくつかの態様では、345において、サーバ110が識別タグ126を検出及び/又は位置特定しなかった場合、サーバ110は、測定デバイス125の位置情報(たとえば、335及び336において)に基づいて、測定デバイス125に対応する識別情報(たとえば、タグID)を検索し得る。
識別タグ126の一例が図6Aに示されている。識別タグ126を位置特定する一例については、図4、図6C及び図6Dを参照しつつ後述される。
350において、サーバ110は、識別タグ126を読み取り得る。たとえば、サーバ110は、識別タグ126に含まれる識別情報(たとえば、タグID)を決定し得る。350において識別情報を読み取ることは、図2を参照しつつ記載される235の態様の例(たとえば、サーバ110は、識別タグ126を読み取るためにOCR技法を適用し得る)を含み得る。
いくつかのケースでは、ROI画像の輝度レベルが比較的低いために、サーバ110は、識別タグ126が存在するかどうかを検出すること(たとえば、345において)、識別タグ126を位置特定すること(たとえば、345において)、及び/又は識別タグ126を読み取ること(たとえば、350において)ができない場合がある。本開示の例示的な態様によれば、サーバ110は、345及び350のいずれかにおいて、輝度補正をROI画像に適用し得る。たとえば、345において、サーバ110は、ROI画像の輝度レベル(及び/又はコントラストレベル)を修正し得、そしてサーバ110は、修正されたROI画像内に識別タグ126が存在するかどうかを検出することを試み得る。
別の例では、345において、サーバ110は、ROI画像の輝度レベル(及び/又はコントラストレベル)を修正し得、そしてサーバ110は、修正されたROI画像内で識別タグ126を位置特定することを試み得る。別の例では、350において、サーバ110は、ROI画像の輝度レベル(及び/又はコントラストレベル)を修正し得、そしてサーバ110は、明るくなったROI画像内で識別タグ126を読み取ることを試み得る。いくつかのケースでは、サーバ110は、サーバ110が、成功裏に、識別タグ126を検出し、識別タグ126を位置特定し、及び/又は識別タグ126を読み取るまで、ROI画像の輝度レベル(及び/又はコントラストレベル)を調整し続け得る。それに応じて、たとえば、本開示の態様は、処理フロー300のさまざまな動作において可変の輝度レベル及び/又は可変のコントラストレベルを適用することをサポートし得る。
輝度が調整されていないROI画像の例は、図6EのROI画像620及び図6FのROI画像630である。輝度が調整されているROI画像の例は、図6EのROI画像621及び図6FのROI画像631である。
いくつかの態様では、識別タグ126を検出/位置特定(たとえば、345において)及び/又は識別タグ126を読取りする前にROI画像を明るくする例示的な技法は、それに関連する精度の向上(たとえば、約50%から90%へ)をサポートし得る。
たとえば、いくつかの画像では、キャプチャされた画像内の照明のばらつきはしばしば大きくなる可能性がある(たとえば、露出過大の背景対露出過小のメータ)。画像の輝度調整では、比較的明るい領域はより明るくなり、一方で比較的暗い領域はより暗くなり、コントラストが増加する。本開示の例示的な態様によれば、ROIを検出した後に画像の輝度を増加させること(たとえば、ROI画像の輝度を増加させること)によって、サーバ110は、メータ面と比較して比較的明るい領域として識別タグ126を検出し得る。それに応じて、たとえば、ROIを検出した後に画像の輝度を増加させること(たとえば、ROI画像の輝度を増加させること)は、識別タグ126を暗くするのではなく、識別タグ126を明るくする結果をもたらし得る。
図6Eの例示的なROI画像620及び図6Fの例示的なROI画像630を参照すると、それぞれの識別タグを検出するには照明が暗すぎる。ROI画像621及びROI画像631(たとえば、明るくされたROI画像)を参照すると、それぞれの識別タグが明るくされており、それに続く読取りの試みで検出されることができる。いくつかの態様では、ROI画像621及びROI画像630を明るくする際に、比較的暗い領域(たとえば、目盛り盤の数字、メータラベル、及びタグID)は暗いままである。
例示的な明るくする技法は、ROI画像に適用されるので、他の画像処理技法に勝る利点を提供し得る。たとえば、いくつかの他のメータ読取り技法は、最初にROIを決定することなく(たとえば、画像をトリミングせずに、ROI画像を生成せずに)、測定デバイス125を含む画像全体(たとえば、測定デバイス125を取り囲む環境の部分を含む)に画像を明るくすることを適用し得る。それに応じて、たとえば、そうした画像を明るくすることは、画像の背景の露出過大及び測定デバイス125のメータ面の露出過小の結果をもたらし得る。たとえば、そうした画像を明るくすることは、メータ面を暗くし得、画像の背景を明るくし得、メータ面に含まれる識別タグ126を検出すること及び/又は読み取ることに関連するエラーの結果をもたらし得る。
さらに、本明細書に記載のようにROI画像に画像を明るくすることを適用することは、誤検出の低減をサポートし得る。たとえば、本明細書に記載の識別タグ126の例は、黄色の背景を含み得る。例示的な画像を明るくする技法は、黄色領域(識別タグ126ではない)が識別タグ126として誤って識別される誤検出の低減をサポートし得る。
本開示の態様は、メータ面とは異なる測定デバイス125の位置に設置された識別タグ126に適用され得る。たとえば、メータ面に隣接するエリアに識別タグ126が設置されているケースについて、サーバ110は、メータ面と、メータ面に隣接するエリア(たとえば、識別タグ126を含む)とを含むROI画像を生成し得る。
355において、サーバ110は、ROI画像と登録された測定デバイス125の画像との間の特徴マッチングを実行し得る。たとえば、特徴マッチングは、ROI画像に含まれる測定デバイス125の特徴と、対応する登録された画像に含まれる同じ測定デバイス125の特徴との間の角度の差を補正するために、ROI画像(たとえば、315で生成されるような)を回転することを含み得る。
特徴マッチングの一例では、サーバ110は、登録された画像をテンプレートとして使用して、登録された画像とROI画像との間の特徴マッチングを実施し、ホモグラフィ行列を生成し得る。サーバ110は、一式の基準に基づいて、ROI画像内の物体(たとえば、メータ面)を登録された画像内と同じになる(たとえば、と揃えられる、と同じサイズである)ようにワープ/再オリエンテーションできない行列変換を除外し得る。たとえば、サーバ110は、一式の基準に基づいて、ROI画像内の物体(たとえば、メータ面)を登録された画像内と同じになる(たとえば、と揃えられる、と同じサイズである)ように成功裏にワープ/再オリエンテーションする行列変換を特定及び適用し得る。特徴マッチングの一例は、図4及び図7Aを参照しつつ後述される。
360において、アナログメータ目盛り盤(たとえば、ROIの少なくとも一部が円形形状を含む測定デバイス125)の一例では、サーバ110は、ROI画像をさらに処理し得、それは、ROIに含まれる円を検出することを含み得る。一例では、360において円を検出することは、図2を参照しつつ記載されるような、ROI画像を円でオーバレイする例示的な態様を含み得る。いくつかの態様では、円を検出することは、円を見つけるために円ハフ変換を適用することを含み得る。
いくつかのケースでは、360においてROI画像を処理することは、ROI画像から合成画像を生成することを含み得る。一例では、合成画像は、ROI画像の回転されたバージョンを含み得る。いくつかの態様では、合成画像は、白黒であり得る。
合成画像の生成前のROI画像の一例は、図6BのROI画像605である。ROI画像から生成された合成画像の一例は、図6Dの画像615である。
一例では、円形のメータ面について、サーバ110は、ROI画像から合成画像を生成し得る。いくつかのケースでは、サーバ110は、ROI画像に含まれる測定デバイス125に対応する登録された画像の寸法に基づいて合成画像を生成し得る。
サーバ110は、合成画像の中心を決定し得る。いくつかの態様では、サーバ110は、合成画像の中心に従ってROI画像をポジショニングし得る。いくつかの態様では、サーバ110は、合成画像の最小寸法を決定し得る。たとえば、サーバ110は、合成画像の最小幅及び最小高さ(たとえば、ピクセル単位)を決定し得る。たとえば、サーバ110は、データベース115に格納されたような、測定デバイス125の構成情報及び/又は測定デバイス125の登録された画像に基づいて、合成画像の最小寸法を決定し得る。
いくつかの態様では、サーバ110は、最小幅と最小高さとの比に基づいて合成画像の半径を決定し得る。一例では、サーバ110は、合成画像の中心からの半径及び合成画像の境界(たとえば、エッジ)を決定し得る。
一例では、合成画像の半径及び中心を使用して、サーバ110は、合成画像に含まれるようなメータ面を推定するための円を検出/生成し得る。たとえば、サーバ110は、メータ面に対応する円の中心(本明細書では指針重心とも称される)を識別し得、円のエリアを識別し得る。
たとえば、サーバ110は、合成画像を処理し得、それは合成画像に含まれる物体(たとえば、メータ面)に関連する中心ポイントを決定することを含み得る。いくつかのケースでは、合成画像を処理することは、物体に関連する半径を決定することを含み得る。一例では、360において、サーバ110は、合成画像の寸法(たとえば、幅、高さ)に基づいて物体の中心ポイント及び/又は半径を決定し得る。
365において、サーバ110は、合成画像内の候補の指針線を見つけ得る。370において、サーバ110は、360において検出/生成された円に基づいて候補の指針線を除外し得る(たとえば、円の外側の候補の指針線を除外又は排除する)。380において、サーバ110は、測定デバイス125に関連する構成情報に基づいて測定デバイス125の測定値を読み取り得る。候補の指針線を発見、候補の指針線を除外、及び測定値を読取りする態様は、図3の365~385を参照しつつ以下でさらに記載される。
365~380を参照しつつ記載される円形のメータ面に適用される合成画像の一例は、図6Gの合成画像640である。合成画像640は、合成画像640の中心641と、メータ面をオーバレイする円642と、メータ面/円642の中心ポイント643とを含む。
いくつかの態様では、本明細書に記載の技法は、形状(たとえば、円、多角形など)の任意の組合せを含むメータ面に適用され得る。一例では、多角形のメータ面(たとえば、四角形の面、六角形の面など)について、サーバ110は、キャプチャされた画像からROI画像を生成し得る。いくつかの態様では、ROI画像の少なくとも一部は、円形領域(たとえば、多角形のメータ面のアナログ目盛り盤に対応する領域)を含み得る。一例では、キャプチャされた画像内でROIを識別した後、サーバ110はROI画像を生成し得る。いくつかの態様では、サーバ110は、多角形のメータ面内の円形領域の中心を決定し得る(たとえば、データベース115に格納されたような測定デバイス125の構成情報及び/又は登録された画像に基づいて)。たとえば、サーバ110は、中心の位置(たとえば、画像位置)を、ROI画像の左の境界(たとえば、エッジ)から65%の距離、及びROI画像のトップの境界(たとえば、エッジ)から50%の距離であると推定し得る。
いくつかの態様では、サーバ110は、多角形のメータ面内の円形領域に対応する円を検出/生成し得、及び/又はその円のエリアを推定し得る(たとえば、データベース115に格納されたような測定デバイス125の構成情報及び/又は登録された画像に基づいて)。一例では、サーバ110は、円の位置を予測し得、及び/又は期待されるサイズ(たとえば、測定デバイス125の構成情報及び/又は登録された画像に従って)に基づいて円のエリアを推定し得る。たとえば、サーバ110は、期待されるサイズから、円の直径がROI画像の高さの約25%~30%であると決定し得る。それに応じて、たとえば、サーバ110は、円の予測される直径(及び円の対応するエリア)に基づいて円をオーバレイし得る。
多角形のメータ面のキャプチャされた画像645におけるROI646の一例が図6Hに示されている。365~380を参照しつつ記載される多角形のメータ面に適用される合成画像の一例は、図6Iの合成画像650である。合成画像650は、合成画像650の中心651と、多角形のメータ面の円形領域をオーバレイする円652と、メータ面(円652に対応する)の指針653とを含む。いくつかの態様では、合成画像650は、ROI画像であり得る。いくつかの代替的な態様では、合成画像650は、本明細書に記載のように特徴の任意の組合せを含むか又は除外し得る(たとえば、図6Gに示されるような黒色の背景)。
ここで、図3の365~385及び図8の805を参照しつつ、360において検出された円に基づいて測定情報を抽出する(たとえば、アナログメータ、アナログメータ目盛り盤などについて)例示的な態様が記載される。図8は、円810(たとえば、360において検出された円)を含む例805を示している。円810は、測定デバイス125のメータ面の円形部分に対応し得る。
たとえば、365~385において、サーバ110は、キャプチャされた画像(又はキャプチャされた画像に基づいて生成されたROI画像)内の測定デバイス125の測定指針(及びその対応する指針角度)を識別するために線検出技法を適用し得る。サーバ110は、(たとえば、332において決定されたような)測定デバイス125の構成情報に基づいて、指針角度θを測定値(たとえば、測定単位)に変換し得る。
365において、サーバ110は、円810内の線形特徴(たとえば、線)を検出し得る。たとえば、サーバ110は、測定デバイス125のメータ面内のすべての線形特徴(たとえば、線)を検出し得る。一例では、365において線形特徴を検出することは、円810内のすべての可能な線形特徴(たとえば、測定指針の後端、メータ面上の反射、傷、変色、又は色コントラストに基づく任意のマーキングを含む)を検出することを含み得る。
いくつかのケースでは、線形特徴815を検出することは、ハフ線変換を使用することを含み得る。いくつかの態様では、365において、サーバ110が単一の線形特徴815のみを検出した場合、サーバ110は、370及び375をバイパスし得る。
370において、サーバ110は、他の線形特徴の中から尤もらしくない指針(たとえば、線形特徴815)を除外し得る。たとえば、サーバ110は、円810の外側境界(たとえば、円の縁)に向けて円810の中心820から始まるのではない任意の線形特徴を識別及び除外し得る(たとえば、候補の測定指針として外す)。たとえば、370において、サーバ110は、候補の測定指針として線形特徴を外し得る。いくつかの態様では、サーバ110は、長さ閾値を満たさない線形特徴を識別及び除外し得る。
375において、サーバ110は、最終の指針線及び最終の指針線に関連する角度を識別し得る。一例として、サーバ110は、円810の境界付近(たとえば、距離閾値内)に位置するすべてのポイントの平均座標値を見つけ得る。一例では、サーバ110は、そのポイントに基づいて平均のポイント(及びその座標)を決定し得る。
サーバ110は、線形特徴を候補の測定指針として識別し得る。サーバ110は、円810の境界付近のポイントの平均座標、及び円810の中心820の近く(たとえば、閾値距離内)に位置するポイントの平均座標に基づいて、合成線を生成し得る。
例805を参照すると、サーバ110は、線815と最小角度との間の指針角度θを計算するために、最終的な2つの合成ポイント(たとえば、円810の境界に最も近いポイント及び円810の中心820に最も近いポイント)を使用し得る。
380において、サーバ110は、測定デバイス125の読取り値を取得し得る。
たとえば、サーバ110は、332において決定されたような測定デバイス125の構成情報に基づいて、指針角度θを測定値(たとえば、測定単位)に変換し得る。一例では、測定デバイス125のメータタイプに基づいて(たとえば、332において引き出された構成情報に従って)、サーバ110は、例805に示されるように、測定デバイス125に関連する最小値(及び対応する最小角度)及び最大値(及び対応する最大角度)を識別し得る。最小値及び最大値は、図5を参照しつつ記載される正常動作範囲515、最小値、及び最大値の例であり得る。
一例では、サーバ110は、均等目盛りを有する読取りメータに適用され得る以下の式に従って測定デバイス125の読取り値を取得(たとえば、メータ値を計算)し得る:メータ値=(角度θ-最小角度)/(最大角度-最小角度)*(最大値-最小値)。いくつかの態様では、サーバ110は、異なるタイプの目盛りを有する測定デバイス125の読取り値を取得し得る。たとえば、サーバ110は、測定デバイス125における目盛りのタイプに基づいて導出された式(たとえば、対数の、指数の、他の多項式など)に従って、測定デバイス125の読取り値を取得し得る。
385において、サーバ110は、読取り値をデータベース115にセーブし得る。たとえば、サーバ110は、環境111に関連するデータセットに読取り値をセーブし得る。いくつかの態様では、データセットは、環境111に含まれるすべての測定デバイス125に関連する測定読取り値を含み得る。いくつかの態様では、サーバ110は、読取り値をトレーニングデータ143にセーブし得る。
365において決定された円内で検出された線の一例は、図7の画像720である。尤もらしくない指針が除外(たとえば、370において決定されるように)された画像の一例は、図7の画像725である。最終的な指針線及び角度が識別され(たとえば、375において)、測定値が取得された(たとえば、380において)画像の一例は、図7の画像730である。
代替的に、又はアナログメータ目盛り盤に適用される図3の360~380に加えて、システム100は、レベルメータなどの測定デバイス125のための自動メータ読取りをサポートし得る。たとえば、レベルメータの場合、サーバ110は、レベルメータを読み取るために、本明細書に記載のレベル検出及びレベル変換技法を適用し得る。たとえば、サーバ110は、測定デバイス125の構成情報(たとえば、332において決定される)に基づいて、レベルメータのセグメントに対応する測定値を決定し得る。一例では、セグメントに対するレベル指針のポジション、及びセグメントに対応する測定値範囲に基づいて、サーバ110は、レベルメータの測定された読取り値を決定し得る。いくつかのケースでは、サーバ110は、セグメントの比(たとえば、セグメントの数、各セグメントに対応する測定値範囲など)に基づいて、測定された読取り値を決定し得る。レベルメータの一例が図9に示されている。
いくつかの態様では、代替的に、又は図3の360~380に加えて、システム100は、デジタルメータなどの測定デバイス125のための自動メータ読取りをサポートし得る。たとえば、デジタルメータ(たとえば、デジタルの文字又は数字を含む)の場合、サーバ110は、デジタルメータを読み取るためにセグメンテーション及び文字認識技法を適用し得る。たとえば、複数の文字を含むデジタルメータの場合、サーバ110は、各文字に文字認識技法を別々に適用し得る。一例では、サーバ110は、測定デバイス125の構成情報(たとえば、332において決定された)に基づいて、認識された文字を測定値(たとえば、読取り値)に変換し得る。一例では、構成情報は、測定単位(たとえば、単位及び小数)に関する変換情報を含み得る。
いくつかの例では、トレーニング済みモデル325は、315におけるROI検出及び355における特徴マッチングを単一のステップでサポートし得る。たとえば、アナログメータ(たとえば、円形形状を含むROIを有する)の場合、トレーニング済みモデル325は、315におけるROI検出及び360における円検出を単一のステップでサポートし得る。
処理フロー300は、自律的及び/又は半自律的な実施をサポートし得る。たとえば、システム100は(たとえば、デバイス105及び/又はサーバ110を介して)、オペレータからの部分的な入力で、又はオペレータからの入力なしで、処理フロー300の1又は複数の動作を実施し得る。
いくつかの態様では、サーバ110は、一式の基準(たとえば、読み取られるべきターゲット測定デバイス125、測定デバイス125のターゲット数、環境111内の測定デバイス125のターゲット割合など)に基づいて処理フロー300の動作を繰り返し得る。
本開示の態様は、いくつかの他の技法と比較して、線形特徴の検出に関して精度の向上をサポートし得る。たとえば、精度の向上をサポートする第1の態様では、サーバ110は、二値化技法(たとえば、カラー画像を白黒に変換する)を使用して、線形特徴を検出する前に画像前処理技法を画像に適用し得る。
別の例では、精度の向上をサポートする第2の態様では、システム100は、他のいくつかのシステムで実施される固定値ではなく、メータタイプ及び/又はメータタグごとに柔軟な構成をサポートし得る。たとえば、システム100は、いくつかのメータは検出されるべきより短い指針を有し、いくつかのメータは除外されるべき比較的長い(たとえば、閾値長さを超える)指針尾部を有する、構成をサポートし得る。
いくつかの他の例では、精度の向上をサポートする第3の態様では、375において指針線及び角度を識別する最初の試みが失敗した場合(たとえば、かすかなために指針線が検出されない)、サーバ110は、比較的かすかな線を識別するためのより低い閾値を使用して、365~375において線検出の追加の工程を実施し得る。
いくつかの例では、精度の向上をサポートする第4の態様では、異なるポイント(たとえば、異なるポイント825)の平均座標に基づいて合成線を生成することは、合成線を見つけるときに不安定な指針の動き/ぼやけた画像に対処することをサポートし得る。たとえば、本明細書に記載のように合成線を生成することは、複数の指針が見つかる(たとえば、370又は375において)、又はメータ面及び指針候補を含む画像がぼやけているという問題を回避し得る。
一例では、精度の向上をサポートする第5の態様では、システム100は、メータ面の測定読取りの失敗に応答して、本明細書に記載の画像を明るくする技法(たとえば、輝度レベルを調整する)を画像に適用し得る。たとえば、サーバ110が、365において線を検出することができず、375において最終的な指針線を識別することができず、又は380において測定デバイス読取り値を取得することができない場合、サーバ110は、既存の合成画像の輝度レベルに画像調整を適用(たとえば、ヒストグラム正規化を使用して)し、続いて、比較的不十分な照明条件又は不十分な画像キャプチャ条件下(たとえば、晴れ/雨の天候、露出が不十分なメータ面につながる明るい背景、不十分なカメラ品質、メータ面に対するデバイス105のポジションに起因してメータ面の画像を近くで取り込むことが困難であることなど)でキャプチャされたメータ面を読み取ることをサポートし得る上記の第1~第4の態様に関連する例示的な動作を繰り返す。
本明細書に記載のアルゴリズムは、環境111内の測定デバイス125(たとえば、測定デバイス125のメータ面)の自動測定読取りの改善をサポートし得る。たとえば、アルゴリズムは、画像キャプチャデバイス127と測定デバイス125(たとえば、メータ面)との間の距離の変動によって影響を受けない。たとえば、アルゴリズムは、そうでなければ遠隔の/アクセス不可能なメータの画像のキャプチャ及び対応する識別タグ126の読取りの成功をサポートする。本アルゴリズムは、狭い/限定された空間に位置する測定デバイス125(たとえば、メータ)にとって有益であり得る、光の状態の変動及び画像キャプチャ角度の変動をサポートする。アルゴリズムは、かすれた読取り、メータ面上の結露など、かすかに使い古されたメータに起因してメータ面上の測定指針、マーカ、ラベル、番号付けなどの視覚的検出が悪影響を受け得る、測定デバイス125(たとえば、メータ面)の識別及び測定読取りの成功をサポートする。たとえば、アルゴリズムは、キャプチャされた画像内の測定指針の明確な識別(検出)に基づいて、測定読取りの成功をサポートし得る。アルゴリズムは、ぼやけた画像及び/又は不安定な測定指針(たとえば、ジッタ)のケースにおいて測定指針を正確に見つけるために平均化方法をサポートする。メータ構成(たとえば、本明細書に記載の構成情報)は、本明細書に記載のアプリケーション(たとえば、フィールド・パトロール・アプリケーション)を介して登録されることができるタグIDに結び付けられている。メータ構成をタグIDに結び付ける態様は、異なるメータを識別及び区別すること、メータをチェックリストに関連付けること、並びにアプリケーションがオペレータのために必要なアラートを生成(たとえば、正常動作範囲外のメータ読取りに起因して)し得るようにメータに関連する他の情報(同様の単位、正常範囲など)を構成することをサポートし得る。
図4は、本開示の態様に係る、識別タグ126を読み取ること及び最終的な指針線を識別することに関連する、ROI画像を回転させることをサポートする処理フロー400を示している。いくつかの例では、処理フロー400は、システム100の態様を実施し得る。たとえば、処理フロー400は、図1を参照しつつ記載されるサーバ110及び/又はデバイス105によって実施され得る。一例では、処理フロー400は、図2を参照しつつ記載される処理フロー200の態様によって実施され得る。処理フロー400の例示的な動作は、処理フロー200及び処理フロー300を参照しつつ記載される同様の動作の態様を含み得る。
図4の処理フロー400は、図6及び図7に示される例を参照しつつ記載される。たとえば、図6及び図7は、本明細書に記載のような、識別タグ126を読み取り、識別タグ126に基づいて測定デバイス125を識別し、及び測定デバイス125の測定情報(たとえば、メータ面)を読み取る、態様の例示である。
405において、サーバ110は、測定デバイス125のキャプチャされた画像に関連するROIを検出し(たとえば、見つけ)得る。410において、サーバ110は、ROI画像を生成し得る。一例では、サーバ110は、キャプチャされた画像をトリミングする(たとえば、測定デバイス125を含まないキャプチャされた画像の部分を除去するために)ことによってROI画像を生成し得る。405においてROIを検出すること、及び410においてROI画像を生成することは、図3の315を参照しつつ記載されるような、物体検出及びROIを出力する態様を含み得る。
キャプチャされた画像601、ROI602、ROI画像605の例が図6Aに示されている。ROI画像700の一例が図7に示されている。
415において、サーバ110は、ROI画像に含まれる識別タグ126を検出し(たとえば、見つけ)得る。いくつかの態様では、415において、サーバ110は、ROI画像を含む合成画像を回転させ得る。合成画像を回転させることは、図3の345を参照しつつ記載されるような、合成画像内の識別タグ126の寸法が基準軸(たとえば、水平軸)と揃うまで合成画像を回転させる態様を含み得る。
一例では、415において、黄色の背景を有する識別タグ126の場合、サーバ110は、合成画像内の黄色の領域(たとえば、識別タグ126に対応する)を検出し得る。サーバ110は、黄色の領域の寸法(たとえば、エッジ)をプロットし得る。たとえば、サーバ110は、黄色の領域の寸法に対応するポイントを識別し得る。
サーバ110は、最長エッジを識別し、最長エッジと合成画像に関連する基準軸(たとえば、水平軸)との間の角度を計算し得る。サーバ110は、識別タグ126の最長エッジが基準軸と揃うまで、合成画像を回転させ得る(たとえば、計算された角度と反対の方向に、水平軸に向かう方向に)。
検出された黄色の領域611、黄色の領域611のプロットされた寸法(たとえば、最長エッジ612-dを含むエッジ612)、及び回転させられた合成画像615の例が図6C及び図6Dに示されている。回転させられていない合成画像705及び回転させられた合成画像710の例が図7Aに示されている。
420において、サーバ110は、識別タグ126を抽出及び読み取り得る(たとえば、測定デバイス125に関連する識別情報を決定する)。識別タグ126を抽出及び読み取ることは、図3の350を参照しつつ記載されるような、識別タグ126を読み取る(たとえば、OCRを使用して)態様を含み得る。たとえば、サーバ110は、識別タグ126を成功裏に検出及び読み取り得る(たとえば、識別タグ126上の識別情報/文字を成功裏に読み取る)。415及び420を参照しつつ記載されるように、サーバ110は、画像がある角度(たとえば、識別タグが基準軸と揃っていない)でキャプチャされたケースにおいてでも、画像に含まれる識別タグ126を成功裏に読み取り得る。
文字「PG-729」を含む識別タグ126の識別情報616の一例が図6Dに示されている。
425において、識別タグ126の読取りに成功すると、サーバ110は、測定デバイス125の構成情報を取得し得る。構成情報を取得することは、図3の332を参照しつつ記載される態様を含み得る。
430において、サーバ110は、測定デバイス125に対応する元の登録された画像に基づいて合成画像(たとえば、410において生成されたROI画像を含む)を回転させ得る。合成画像を回転させることは、図3の355を参照しつつ記載される特徴マッチングの態様を含み得、サーバ110は、合成画像に含まれる測定デバイス125(たとえば、測定デバイス125のメータ面)の特徴と、対応する登録された画像に含まれる同じ測定デバイス125の特徴との間の角度の差を補正するために、合成画像を回転させる。
435において、サーバ110は、トレーニング済みモデルによって検出された円で合成画像をオーバレイし得る。一例では、円は、アナログメータの円形領域の寸法(たとえば、半径、直径など)に対応し得る。いくつかの態様では、円(たとえば、円の直径)は、ROI画像の幅又は高さのうちの小さい方の75%であり得る。いくつかの他の態様では、円(たとえば、円の直径)は、合成画像の幅又は高さのうちの小さい方の85%であり得る。
いくつかのケースでは、例示的な態様は、アナログメータの円形領域と完全に一致しない円で合成画像をオーバレイすることをサポートし得る。たとえば、サーバ110は、尤もらしくない候補の指針線を考慮から除外するように円のサイズ(たとえば、エリア)を設定し得る。いくつかのケースでは、本開示の態様は、比較的不十分な照明条件下で、又は測定デバイス125の前面(メータ面の前面)に対してまっすぐでない角度でキャプチャされた画像であっても、本明細書に記載のトレーニング済みモデル325(たとえば、物体検出モデル)を使用して100%の円検出率をサポートし得る。
435において円で合成画像をオーバレイすることは、図2の250及び図3の360を参照しつつ記載される態様の例を含み得る。
一例では、435において、サーバ110は、ROI画像の中心(合成画像に含まれるような)を見つけ、円の中心がROI画像の中心と揃うように円をオーバレイし得る。いくつかの態様では、ROI画像を円でオーバレイすることは、メータ面の境界(たとえば、メータの縁)に一致する円を生成し得る。
440において、サーバ110は、メータ面の測定指針を検出し得る。測定指針を検出することは、図3の365~385を参照しつつ記載される態様の例を含み得る。たとえば、440において、サーバ110は、435において実施された円を使用して、合成画像に含まれる尤もらしくない指針(たとえば、線形特徴)を除外し得る。
合成画像640をオーバレイする(たとえば、合成画像640に含まれるROI画像内の円形の面をオーバレイする)円642の一例が図6Gに示されている。合成画像715をオーバレイする(たとえば、合成画像715に含まれるROI画像内の円形の面をオーバレイする)円716の一例が図7Bに示されている。それに基づいてサーバ110が、合成線731及び指針732に基づいて最終的な読取り値(たとえば、値:3.92、角度:150.77)を取得した画像730の一例が図7Cに示されている。
処理フロー400の以下の記載では、動作は示された順序とは異なる順序で実行されてもよく、又は動作は異なる順序で若しくは異なるタイミングで実行されてもよい。特定の動作はまた、処理フロー400から除外されてもよく、又は他の動作が処理フロー400に追加されてもよい。デバイス105及びサーバ110が処理フロー400のいくつかの動作を実行するものとして記載されているが、デバイスの任意の組合せ(たとえば、スタンドアロンのデバイス105、サーバ110と組み合わせた複数のデバイス105)が示されている動作を実行し得ることが理解されるべきである。
図5は、本開示の態様に係る測定デバイス125(たとえば、メータ面)の構成情報の一例500を示している。図5は、アナログメータ(たとえば、アナログ・ユーティリティ・メータ)の一例を示している。アナログメータは、時計回り又は反時計回りなどに回転する測定指針502(本明細書では、目盛り盤インジケータ、指針、指針線などとも称される)を有する目盛り盤501を含み得る。一例では、目盛り盤501は、アナログメータによってモニタリングされるような機器のユーティリティ使用量(たとえば、水、電気、ガス)又はパラメータ(たとえば、圧力、流量)に従って、目盛り盤501の軸ピン503によって駆動され得る。各目盛り盤インジケータ504は、消費されたユーティリティの量に相関し得、各目盛り盤インジケータ504は、それぞれの値に対応し得る。測定デバイス125は、識別タグ526を含み得る。識別タグ526は、本明細書に記載の識別タグ126の態様の例を含み得る。
いくつかの態様では、測定デバイス125は、測定デバイス125の正常動作範囲515(たとえば、読取り値の正常範囲)の視覚的表示を含み得る。
図6A~図6Iは、本開示の態様に係り、本明細書に記載されてきた、測定デバイス125のキャプチャ及び処理された画像(たとえば、ROI画像、合成画像)を示している。
図7A~図7Cは、本開示の態様に係り、本明細書に記載されてきた、測定デバイス125のキャプチャされ及び処理された画像(たとえば、ROI画像、合成画像)を示している。画像725及び画像730の例では、影726が誤って潜在的指針と見なされているが、画像730内の合成線731を見つけることは、測定デバイス125のメータ面に含まれる実際の指針732に平行なより良い線(たとえば、より良い候補指針)の識別をサポートし得る。
図8は、本開示の態様に係り、本明細書に記載されてきた、線検出をサポートする例示的な略図805を示している。
図9は、本開示の態様に係るメータ(たとえば、アナログメータ900、レベルメータ901)の例を示している。
図10は、本開示の態様に係る自動メータ読取りをサポートする処理フロー1000を示している。いくつかの例では、処理フロー1000は、システム100、処理フロー200、及び/又は処理フロー300の態様を実施し得る。たとえば、処理フロー1000は、図1を参照しつつ記載されるサーバ110及び/又はデバイス105によって実施され得る。
処理フロー1000の以下の記載では、動作は示された順序とは異なる順序で実行されてもよく、又は動作は異なる順序で若しくは異なるタイミングで実行されてもよい。特定の動作はまた、処理フロー1000から除外されてもよく、又は他の動作が処理フロー1000に追加されてもよい。デバイス105が処理フロー1000のいくつかの動作を実行するものとして記載されているが、任意のデバイス(たとえば、デバイス105と組み合わせたサーバ110)が示されている動作を実行し得ることが理解されるべきである。
処理フロー1000は、自律的及び/又は半自律的な実施をサポートし得る。たとえば、システム100(たとえば、デバイス105及び/又はサーバ110を介して)は、オペレータからの部分的な入力で、又はオペレータからの入力なしで、処理フロー1000の1又は複数の動作を実施し得る。
1005において、デバイス105は、測定デバイス125を含む環境111の画像をキャプチャし得る。
一例では、デバイス105は、画像キャプチャデバイス127を使用して画像をキャプチャし得る。いくつかの例では、画像は静止画像を含み得る。いくつかの他の例では、画像は、ビデオ又はビデオストリームの1又は複数の画像フレームを含み得る。
1010において、デバイス105は、画像に含まれるターゲット領域(たとえば、ROI)を検出し得、ターゲット領域は、測定デバイス125の少なくとも一部を含む。いくつかの態様では、ターゲット領域を検出することは、画像を機械学習ネットワーク(たとえば、機械学習エンジン141)に提供することを含み得る。いくつかの他の態様では、ターゲット領域を検出することは、機械学習ネットワークが検出モデルに基づいて画像を処理することに応答して、機械学習ネットワークから出力を受信することを含み得る。一例では、出力はターゲット領域を含み得る。
いくつかの態様では、検出モデルは、測定デバイス125のセットに関連する基準画像のセットに基づいてトレーニングされた物体検出モデルを含み得る。測定デバイス125のセットは、少なくとも測定デバイス125を含み得る。
いくつかの例示的な態様では、ターゲット領域は、測定デバイス125に関連する識別タグ126を含み得、識別タグ126は、測定デバイス125に関連する識別情報を含む。
いくつかの他の態様では、ターゲット領域は、測定デバイス125に関連する測定インジケータを含み得る。
いくつかの例では、ターゲット領域の少なくとも一部は円形形状を含み得る。別の例では、ターゲット領域の少なくとも一部は多角形形状を含み得る。
1015において、デバイス105は、機械学習ネットワークからの出力に基づいて第2の画像(たとえば、ROI画像)を生成し得る。一例では、第2の画像はターゲット領域を含み得る。
1020において、デバイス105は、画像キャプチャデバイス127に関連する位置情報、及び画像キャプチャデバイス127に関連する向き情報、のうちの少なくとも1つに基づいて、測定デバイス125に関連する位置情報を取得し得る。
1025において、デバイス105は、第2の画像を処理し得る。
いくつかの態様では、第2の画像を処理することは、第2の画像の1又は複数の寸法に基づいて第2の画像の中心ポイントを決定することを含み得る。
別の態様では、第2の画像を処理することは、第2の画像の1又は複数の寸法に基づいて、第2の画像の中心ポイントと第2の画像の境界とに関連する半径を決定することを含み得る。
一例では、第2の画像を処理することは、第2の画像の1又は複数の寸法に基づいて、第2の画像の中心ポイントと第2の画像の境界とに関連する半径を決定することを含み得る。
いくつかの例では、第2の画像を処理することは、第2の画像の1又は複数の寸法に基づいて、第2の画像に含まれる物体に関連する中心ポイント、物体に関連する半径、又はその両方を決定することを含み得る。
いくつかの他の例では、第2の画像を処理することは、輝度閾値に基づいて第2の画像の輝度レベルを修正すること、及びコントラスト閾値に基づいて第2の画像のコントラストレベルを修正すること、のうちの少なくとも1つを含み得る。
いくつかのケースでは、第2の画像を処理することは、物体の1又は複数のエッジに基づいて第2の画像に含まれる物体(たとえば、識別タグ126)の向きを識別することと、向きを識別することに基づいて、第2の画像の少なくとも一部を回転させることとを含み得る。
いくつかの他の態様では、第2の画像を処理することは、第2の画像に含まれる少なくとも1つの特徴を、測定デバイス125のセットの1又は複数の登録された画像に含まれる少なくとも1つの特徴と比較することであって、測定デバイス125のセットは、測定デバイス125を含む、比較することと、比較の結果を出力することと、を含み得る。
一例では、第2の画像を処理することは、ターゲット領域に含まれる線形特徴のセットを検出することであって、線形特徴のセットは同じタイプのものである、検出することを含み得る。第2の画像を処理することは、線形特徴のセットにそれぞれ関連する座標値を識別することと、座標値に基づいて、特徴のセットの少なくとも1つの線形特徴と第1の基準軸とに関連する第1の座標値、及び少なくとも1つの線形特徴と第2の基準軸とに関連する第2の座標値、のうちの少なくとも1つを決定することと、をさらに含み得る。
1030において、デバイス105は、ターゲット領域を検出することに基づいて測定デバイス125に関連する識別情報を決定し得る。たとえば、デバイス105は、第2の画像を処理することに基づいて識別情報を決定し得る。
いくつかの例では、1030において、デバイス105は、識別タグ126に基づいて測定デバイス125に関連する識別情報を決定し得る。たとえば、デバイス105は、1又は複数の光学式文字認識動作を使用して、識別タグ126に含まれるテキスト情報を処理し得る。一例では、測定デバイス125に関連する識別情報を決定することは、テキスト情報を処理することに基づき得る。
代替的に又は追加的に、1030において、デバイス105は、測定デバイス125に関連する位置情報及び測定デバイス125のセットに関連する位置情報に基づいて、測定デバイス125に関連する識別情報を決定し得る。たとえば、デバイス105は、測定デバイス125に関連する位置情報を、測定デバイス125のセットに関連する位置情報と比較し得る。デバイス105は、比較の結果に基づいて、測定デバイス125に関連する識別情報を決定し得る。
1035において、デバイス105は、ターゲット領域を検出することに基づいて、測定デバイス125に関連する測定情報を抽出し得る。一例では、デバイス105は、ターゲット領域に含まれる測定インジケータに基づいて、測定デバイス125に関連する測定情報を抽出し得る。
別の例では、デバイス105は、第2の画像を処理することに基づいて測定情報を抽出し得る。たとえば、デバイス105は、第2の画像を処理することから決定された第1の座標値及び/又は第2の座標値に基づいて、測定デバイス125に関連する測定情報を抽出し得る。
図示されていない一例では、デバイス105は、後続の処理工程に従って第2の画像を処理し得る。たとえば、デバイス105は、1030における測定デバイス125に関連する識別情報を決定することに対応する結果、1035における測定デバイス125に関連する測定情報を抽出することに対応する結果、又は両方、に基づいて、後続の処理工程に従って画像を処理し得る。
本明細書で論じられるステップ、機能、及び動作のいずれも、連続的かつ自動的に実行されることができる。
本開示の例示的なシステム及び方法は、サーバ110、デバイス105、機器(図示せず)、及び測定デバイス125の例に関連して記載されてきた。しかしながら、本開示を不必要に不明瞭にすることを避けるために、前述の記載は、いくつかの既知の構造及びデバイスを省略している。この省略は、特許請求される開示の範囲の限定として解釈されるべきではない。具体的な詳細が、本開示の理解を提供するために記載されている。しかしながら、本開示は、本明細書に記載の具体的な詳細の域を超えるさまざまな方法で実践され得ることが理解されるべきである。
さらに、本明細書に示される例示的な実施形態は、並置されるシステムのさまざまな構成要素を示しているが、システムの特定の構成要素は、通信ネットワーク及び/又はインターネットなどの分散ネットワークの遠隔部に、又は専用のセキュアな、アンセキュアな、及び/又は暗号化されたシステム内に、遠隔配置されることができる。したがって、システムの構成要素は、サーバ、通信デバイスなどの1又は複数のデバイスに組み合わされることができ、又はアナログ及び/又はデジタル電気通信ネットワーク、パケット交換網、若しくは回路交換網などの分散型ネットワークの特定のノード/要素に並置されることができることが理解されるべきである。前述の記載から、及び計算効率の理由から、システムの構成要素は、システムの動作に影響を与えることなく、構成要素の分散ネットワーク内の任意の位置に配置されることができることが理解されよう。
さらに、通信チャネルを含んで、要素を接続するさまざまな通信リンクは、有線又は無線リンク、又はそれらの任意の組合せ、又は接続された要素に若しくはそこからデータ及び/又は信号を供給及び/又は通信することができる任意の他の既知の若しくは後に開発される要素とすることができることが理解されるべきである。本明細書で使用される「モジュール」という用語は、その要素に関連する機能を実行することができる任意の既知の若しくは後に開発されるハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せを指すことができる。本明細書で使用される場合、「決定する(determine)」、「計算する(calculate)」及び「計算する(compute)」という用語、並びにそれらの変形語は、交換可能に使用され、任意のタイプの方法論、処理、数学的演算又は技法を含む。これらの有線又は無線リンクは、セキュアリンクともすることができ、暗号化された情報を通信することができ得る。たとえば、リンクとして使用される伝送媒体は、同軸ケーブル、銅線、及び光ファイバを含む電気信号用の任意の適切なキャリアとすることができ、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形態をとり得る。
フローチャートは、事象の特定のシーケンスに関連して論じられ及び示されてきたが、このシーケンスに対する変更、追加、及び省略は、実施形態の動作に実質的に影響を与えることなく生じることができることが理解されるべきである。さらに、開示された実施形態に記載されているような事象の正確なシーケンスが生じる必要はなく、むしろ、ステップは、システム内の一方又は他方のデバイスによって実行されることができる。さらに、本明細書に示されている例示的な技法は、具体的に示されている実施形態に限定されず、他の例示的な実施形態と共に利用されることもでき、記載されている各特徴は、個々に及び個別に特許請求可能(claimable)である。当業者によって理解されるように、本開示の態様は、システム、方法、及び/又はコンピュータプログラム製品として具現化され得る。したがって、本開示の態様は、完全にハードウェアで、完全にソフトウェア(ファームウェア、プログラムコード、常駐ソフトウェア、マイクロコードを含むが、これらに限定されない)で、又はハードウェアとソフトウェアとの組合せで具現化され得る。すべてのそうした実施形態は、本明細書では一般に、回路、モジュール、又はシステムと称され得る。さらに、本発明の態様は、それの上で具現化されたコンピュータ可読プログラムコードを有する1又は複数のコンピュータ可読媒体で具現化されたコンピュータプログラム製品の形態であり得る。
本明細書に記載のようなコンピュータ可読媒体は、コンピュータ可読記憶媒体であり得、その例は、電子、磁気、光学、電磁、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、又はそれらの任意の適切な組合せを含むが、これらに限定されない。本明細書で使用される場合、コンピュータ可読記憶媒体は、命令実行システム、装置、デバイス、コンピュータ、コンピューティングシステム、コンピュータシステム、又は命令、コマンド、若しくはデータを入力、処理、及び出力する任意のプログラム可能な機械若しくはデバイス、によるか若しくはそれらに関連しての使用のためのプログラムを含むか若しくは格納することができる、任意の非一時的な、有形媒体であり得る。コンピュータ可読記憶媒体の特定の例の非網羅的なリストは、1又は複数のワイヤを有する電気的接続、ポータブル・コンピュータ・ディスケット、フロッピディスク、ハードディスク、ランダム・アクセス・メモリ(random access memory:RAM)、読出し専用メモリ(read-only memory:ROM)、USBフラッシュドライブ、不揮発性RAM(non-volatile RAM:NVRAM又はNOVRAM)、消去可能プログラム可能読出し専用メモリ(erasable programmable read-only memory:EPROM又はフラッシュメモリ)、フラッシュ・メモリ・カード、電気的消去可能プログラム可能読出し専用メモリ(electrically erasable programmable read-only memory:EEPROM)、光ファイバ、ポータブル・コンパクト・ディスク読出し専用メモリ(compact disc read-only memory:CD-ROM)、DVD-ROM、光記憶装置、磁気記憶装置、又はそれらの任意の適切な組合せを含む。コンピュータ可読記憶媒体は、その中に具現化されたコンピュータ可読プログラムコードを有する伝搬データ信号などのコンピュータ可読信号媒体ではない任意のコンピュータ可読媒体とすることができる。
プログラムコードは、たとえば、ソースコード、オブジェクトコード、解釈コード、実行可能コード、又はそれらの組合せとして、コンピュータ可読記憶媒体上又はコンピュータ可読記憶媒体内に格納されたコンピュータ可読命令として具現化され得る。任意の標準的又は占有のプログラミング言語又は解釈言語がコンピュータ実行可能命令を生成するために使用されることができる。こうした言語の例は、C、C++、C#、Pascal、JAVA、JAVA Script、BASIC、Smalltalk、Visual Basic、及びVisual C++を含む。
コンピュータ可読媒体上に具現化されたプログラムコードの伝送は、無線、有線、光ファイバケーブル、無線周波数(RF)、又はそれらの任意の適切な組合せを含むがこれらに限定されない任意の適切な媒体を使用して生じることができる。
プログラムコードは、完全にユーザ/オペレータ/管理者のコンピュータ上で、部分的にそうしたコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、部分的にユーザ/オペレータ/管理者のコンピュータ上で及び部分的に遠隔コンピュータ上で、又は完全に遠隔コンピュータ若しくはサーバ上で実行し得る。任意のそうした遠隔コンピュータは、ローカル・エリア・ネットワーク(local area network:LAN)又はワイド・エリア・ネットワーク(wide area network:WAN)を含む任意のタイプのネットワークを介してユーザ/オペレータ/管理者のコンピュータに接続されてもよく、又は接続が外部コンピュータに対してなされてもよい(たとえば、インターネット・サービス・プロバイダを使用してインターネットを介して)。
本開示のいくつかの変形及び修正が使用されることができる。本開示のいくつかの特徴を、他を提供することなく、提供することが可能であろう。
さらに別の実施形態では、本明細書に記載のシステム、方法及びプロトコルは、専用コンピュータ、プログラムされたマイクロプロセッサ又はマイクロコントローラ及び周辺集積回路素子、ASIC又は他の集積回路、デジタル・シグナル・プロセッサ、個別素子回路などのハードワイヤード電子回路又は論理回路、PLD、PLA、FPGA、PALなどのプログラマブル論理デバイス又はゲートアレイ、専用コンピュータ、任意の匹敵する手段などと組み合わせて実施されることができる。一般に、本明細書に示された方法論を実施することができる任意のデバイス又は手段が、本開示の態様に係るさまざまな通信方法、プロトコル、及び技法を実施するために使用されることができる。本開示に使用されることができる例示的なハードウェアは、コンピュータ、ハンドヘルドデバイス、電話(たとえば、セルラ、インターネット対応、デジタル、アナログ、ハイブリッドなど)、及び当技術分野で知られている他のハードウェアを含む。これらのデバイスのいくつかは、プロセッサ(たとえば、単一又は複数のマイクロプロセッサ)、メモリ、不揮発性記憶、入力デバイス、及び出力デバイスを含む。さらに、分散処理若しくはコンポーネント/オブジェクト分散処理、並列処理、又は仮想マシン処理を含むがこれらに限定されない代替ソフトウェア実施態様も、本明細書に記載の方法を実施するように構築されることができる。
本明細書に記載のようなプロセッサの例は、Qualcomm(登録商標)Snapdragon(登録商標)800及び801、4G LTEインテグレーション及び64ビットコンピューティングを備えたQualcomm(登録商標)Snapdragon(登録商標)610及び615、64ビットアーキテクチャを備えたApple(登録商標)A7、A8、A8X、A9、A9X、又はA10プロセッサ、Apple(登録商標)M7、M8、M9、又はM10モーションコプロセッサ、Samsung(登録商標)Exynos(登録商標)シリーズ、Intel(登録商標)Core(商標)ファミリのプロセッサ、Intel(登録商標)Xeon(登録商標)ファミリのプロセッサ、Intel(登録商標)Atom(商標)ファミリのプロセッサ、Intel Itanium(登録商標)ファミリのプロセッサ、Intel(登録商標)Core(登録商標)i5-4670 K及びi7-4770K 22nm Haswell、Intel(登録商標)Core(登録商標)i5-3570K 22nm Ivy Bridge、AMD(登録商標)FX(商標)ファミリのプロセッサ、AMD(登録商標)FX-4300、FX-6300、及びFX-8350 32nm Vishera、AMD(登録商標)Kaveriプロセッサ、Texas Instruments(登録商標)Jacinto C6000(商標)オートモービル・インフォテインメント・プロセッサ、Texas Instruments(登録商標)OMAP(商標)オートモービル・グレード・モバイル・プロセッサ、ARM(登録商標)Cortex(商標)-Mプロセッサ、ARM(登録商標)Cortex-A及びARM926EJ-S(商標)プロセッサ、Broadcom(登録商標)AirForce BCM4704/BCM4703ワイヤレス・ネットワーキング・プロセッサ、AR7100ワイヤレス・ネットワーク・プロセッシング・ユニット、他の産業上等価のプロセッサのうちの、少なくとも1つを含むがこれらに限定されず、任意の既知又は将来開発される標準、命令セット、ライブラリ、及び/又はアーキテクチャを使用して計算機能を実行し得る。
さらに別の実施形態では、開示された方法は、さまざまなコンピュータ、ワークステーション、又はモバイル・デバイス・プラットフォーム上で使用されることができるポータブル・ソース・コードを提供するオブジェクト又はオブジェクト指向ソフトウェア開発環境を使用してソフトウェアと共に容易に実施され得る。代替的に、開示されたシステムは、標準論理回路又はVLSI設計を使用して、部分的又は完全にハードウェアで実施され得る。本開示に係るシステムを実施するためにソフトウェアが使用されるかハードウェアが使用されるかは、システムの速度及び/又は効率要件、特定の機能、及び特定のソフトウェア若しくはハードウェアシステム、又は利用されているマイクロプロセッサ若しくはマイクロコンピュータシステムに依存する。しかしながら、本明細書に示される方法は、本明細書で提供される機能的記載から、並びにコンピュータ及び画像処理技術の一般的な基礎知識をもって、適用し得る技術分野における当業者によって、任意の既知の又は後に開発されるシステム又は構造、デバイス及び/又はソフトウェアを使用して、ハードウェア及び/又はソフトウェアで容易に実施されることができる。
さらに別の実施形態では、開示された方法は、記憶媒体に格納されることができ、コントローラ及びメモリ、専用コンピュータ、モバイルデバイス、スマートフォン、マイクロプロセッサなどの協働により、プログラムされた汎用コンピュータ上で実行されることができる、ソフトウェアで部分的に実施され得る。これらの例では、本開示のシステム及び方法は、アプレット、JAVA(登録商標)又はCGIスクリプトなどのパーソナルコンピュータに組み込まれたプログラムとして、サーバ又はコンピュータワークステーションにあるリソースとして、専用の測定システムに組み込まれたルーチンとして、プラグイン、システムコンポーネントとしてなど、実施されることができる。システムはまた、システム及び/又は方法を、画像プロセッサのハードウェア及びソフトウェアシステムなど、ソフトウェア及び/又はハードウェアシステムに物理的に組み込むことによって実施されることができる。
本開示は、特定の規格及びプロトコルを参照しつつ実施形態で実施される構成要素及び機能を記載するが、本開示はそうした規格及びプロトコルに限定されない。本明細書で言及されていない他の同様の規格及びプロトコルが存在し、本開示に含まれると考えられる。さらに、本明細書で言及されている規格及びプロトコル、並びに本明細書で言及されていない他の同様の規格及びプロトコルは、本質的に同じ機能を有するより高速又はより効果的な等価物によって定期的に取って代わられる。同じ機能を有するそうした置換規格及びプロトコルは、本開示に含まれる等価物と考えられる。
本開示は、さまざまな実施形態、構成、及び態様において、実質的に本明細書に図示及び記載されているような構成要素、方法、処理、システム、及び/又は装置を含み、さまざまな実施形態、部分組合せ、及びそれらのサブセットを含む。当業者は、本開示を理解した後は、いかにして本明細書に開示されるシステム及び方法を作製及び使用するかを理解するであろう。本開示は、たとえば、性能を改善し、容易さを達成し、及び/又は実施コストを削減するために、以前のデバイス又は処理で使用されていた可能性があるような項目を欠いている場合を含んで、さまざまな実施形態、構成、及び態様において、本明細書に、又は本明細書のさまざま実施形態、構成、若しくは態様において図示及び/又は記載されていない項目を欠いたデバイス及び処理を提供することを含む。
本開示の上記の考察は、例示及び記載の目的で提示されている。上記は、本開示を本明細書に開示された形態に限定することを意図するものではない。たとえば、上記の[発明を実施するための形態]では、本開示のさまざまな特徴は、本開示を簡素化する目的で、1又は複数の実施形態、構成、又は態様にまとめられている。本開示の実施形態、構成、又は態様の特徴は、上述したもの以外の代替の実施形態、構成、又は態様で組み合わせられ得る。この開示方法は、特許請求される開示が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、以下の特許請求の範囲が反映するように、発明の態様は、単一の上記の開示された実施形態、構成、又は態様のすべての特徴よりも少ない特徴に在する。したがって、これにより以下の特許請求の範囲は、この[発明を実施するための形態]に組み込まれ、各請求項は、本開示の別個の好ましい実施形態として独立している。
さらに、本開示の記載は、1又は複数の実施形態、構成、又は態様、並びに特定の変形及び修正の記載を含んできたが、他の変形、組合せ、及び修正は、たとえば、本開示を理解した後は当業者の技能及び知識の範囲内であり得るように、本開示の範囲内である。特許請求されるものに対して代替的な、交換可能な、及び/又は等価な構造、機能、範囲、又はステップを含んで、そうした代替的な、交換可能な、及び/又は等価な構造、機能、範囲、又はステップが本明細書に開示されているか否かにかかわらず、また任意の特許可能な主題を公に捧げることを意図せず、許容される程度まで代替的な実施形態、構成、又は態様を含む権利を取得することが意図されている。
「少なくとも1つ(at least one)」、「1又は複数(one or more)」、「又は(or)」、及び「及び/又は(and/or)」という句は、作用において接続語及び離接語の両方であるオープンエンド型の表現である。たとえば、「A、B及びCのうちの少なくとも1つ」、「A、B、又はCのうちの少なくとも1つ」、「A、B、及びCのうちの1又は複数」、「A、B、又はCのうちの1又は複数」、「A、B、及び/又はC」、及び「A、B、又はC」という表現のそれぞれは、A単独、B単独、C単独、A及びBを一緒に、A及びCを一緒に、B及びCを一緒に、又は、A、B及びCを一緒に、を意味する。
「1つの(a)」又は「1つの(an)」エンティティという用語は、そのエンティティの1又は複数を指す。したがって、「1つの(a)」(「1つの(an)」)、「1又は複数(one or more)」、及び「少なくとも1つ(at least one)」という用語は、本明細書では互換的に使用されることができる。「含む(comprising)」、「含む(including)」、及び「有する(having)」という用語は互換的に使用されることができることも留意されるべきである。
本明細書で使用される場合、「自動(automatic)」という用語及びその変形語は、典型的には連続的又は半連続的であり、処理又は動作が実行されるときに本質的な人間の入力なしに行われる、任意の処理又は動作を指す。しかしながら、処理又は動作の実行の前に入力が受け取られる場合、たとえ処理又は動作の実行が本質的又は非本質的な人間の入力を使用しても、処理又は動作は自動的であるとすることができる。人間の入力は、そうした入力が処理又は動作がどのように実行されるかに影響を与える場合、本質的であると見なされる。処理又は動作の実行に同意する人間の入力は、「本質的」とは見なされない。
本開示の態様は、完全にハードウェアである実施形態、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)である実施形態、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と称され得るソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態をとり得る。1又は複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってもよい。
本明細書で使用される場合、「決定する(determine)」、「計算する(calculate)」、「計算する(compute)」という用語、並びにそれらの変形語は、交換可能に使用され、任意のタイプの方法論、処理、数学的演算又は技法を含む。
本技術は、いくつかの実施形態に関連して記載されてきたが、多くの代替、修正、及び変形が、適用し得る技術分野における当業者には明らかになるか又は明らかであることは明白である。それに応じて、本開示の趣旨及び範囲内にあるすべてのそうした代替、修正、等価物、及び変形を包含することが意図されている。
本明細書と共に提出される文書で言及されるすべての参考文献は、その全体が参照により本明細書に組み込まれる。
100 システム
105 デバイス
105-a デバイス
105-b デバイス
105-c デバイス
105-d デバイス
105-e デバイス
110 サーバ
111 環境
115 データベース
120 通信ネットワーク
125 測定デバイス
125-a~125-f 測定デバイス
126 識別タグ
127 画像キャプチャデバイス
130 プロセッサ
135 ネットワークインタフェース
140 メモリ
141 機械学習エンジン
142 データモデル
143 トレーニングデータ
144 アプリケーション
144-a ブラウザアプリケーション
144-b アプリケーション
145 ユーザインタフェース
150 プロセッサ
155 ネットワークインタフェース
160 データベースインタフェース命令
165 メモリ
166 機械学習エンジン
167 データモデル
168 トレーニングデータ
200 処理フロー
230 展開
300 処理フロー
325 トレーニング済みモデル
400 処理フロー
500 例
501 目盛り盤
502 測定指針
503 軸ピン
504 目盛り盤インジケータ
505 最小測定値
510 最大測定値
515 正常動作範囲
526 識別タグ
601 画像
602 ROI
605 ROI画像
611 黄色の領域
612 エッジ
612-d 最長エッジ
615 画像
616 識別情報
620 ROI画像
621 ROI画像
630 ROI画像
631 ROI画像
640 合成画像
641 中心
642 円
643 中心ポイント
645 キャプチャされた画像
646 ROI
650 合成画像
651 中心
652 円
653 指針
700 ROI画像
705 回転させられていない合成画像
710 回転させられた合成画像
715 合成画像
716 円
720 画像
725 画像
726 影
730 画像
731 合成線
732 指針
805 例
810 円
815 線形特徴
820 中心
825 異なるポイント
900 アナログメータ
901 レベルメータ
1000 処理フロー

Claims (20)

  1. 測定デバイスを含む環境の画像をキャプチャするステップと、
    前記画像に含まれるターゲット領域を検出するステップであって、前記ターゲット領域は前記測定デバイスの少なくとも一部を含み、前記ターゲット領域を検出するステップは、
    前記画像を機械学習ネットワークに提供するステップ、及び
    前記機械学習ネットワークが検出モデルに少なくとも部分的に基づいて前記画像を処理することに応答して、前記機械学習ネットワークから出力を受信するステップであって、前記出力は前記ターゲット領域を含む、ステップ
    を含む、ステップと、
    前記ターゲット領域を検出するステップに少なくとも部分的に基づいて、前記測定デバイスに関連する識別情報を決定するステップと、
    前記ターゲット領域を検出するステップに少なくとも部分的に基づいて、前記測定デバイスに関連する測定情報を抽出するステップと
    を含む方法。
  2. 前記機械学習ネットワークからの前記出力に少なくとも部分的に基づいて第2の画像を生成するステップであって、前記第2の画像は前記ターゲット領域を含む、ステップと、
    前記第2の画像を処理するステップと
    をさらに含み、
    前記識別情報を決定するステップ、前記測定情報を抽出するステップ、又はその両方が、前記第2の画像を処理するステップに少なくとも部分的に基づく、請求項1に記載の方法。
  3. 前記第2の画像を処理するステップは、
    前記第2の画像の1又は複数の寸法に少なくとも部分的に基づいて前記第2の画像の中心ポイントを決定するステップを含む、請求項2に記載の方法。
  4. 前記第2の画像を処理するステップは、
    前記第2の画像の1又は複数の寸法に少なくとも部分的に基づいて、前記第2の画像の中心ポイントと前記第2の画像の境界とに関連する半径を決定するステップを含む、請求項2に記載の方法。
  5. 前記第2の画像を処理するステップは、
    前記第2の画像の1又は複数の寸法に少なくとも部分的に基づいて、前記第2の画像に含まれる物体に関連する中心ポイント、前記物体に関連する半径、又は両方を決定するステップを含む、請求項2に記載の方法。
  6. 前記第2の画像を処理するステップは、
    輝度閾値に少なくとも部分的に基づいて前記第2の画像の輝度レベルを修正するステップ、及び
    コントラスト閾値に少なくとも部分的に基づいて前記第2の画像のコントラストレベルを修正するステップ、
    のうちの少なくとも1つを含む、請求項2に記載の方法。
  7. 前記第2の画像を処理するステップは、
    物体の1又は複数のエッジに少なくとも部分的に基づいて前記第2の画像に含まれる前記物体の向きを識別するステップと、
    前記向きを識別するステップに少なくとも部分的に基づいて、前記第2の画像の少なくとも一部を回転させるステップと
    を含む、請求項2に記載の方法。
  8. 前記第2の画像を処理するステップは、
    前記第2の画像に含まれる少なくとも1つの特徴を、測定デバイスのセットの1又は複数の登録された画像に含まれる少なくとも1つの特徴と比較するステップであって、測定デバイスの前記セットは、前記測定デバイスを含む、ステップと、
    前記比較の結果を出力するステップと
    を含む、請求項2に記載の方法。
  9. 前記第2の画像を処理するステップは、
    前記ターゲット領域に含まれる線形特徴のセットを検出するステップであって、線形特徴の前記セットは同じタイプのものである、ステップと、
    線形特徴の前記セットにそれぞれ関連する座標値を識別するステップと、
    前記座標値に少なくとも部分的に基づいて、
    特徴の前記セットの少なくとも1つの線形特徴と第1の基準軸とに関連する第1の座標値、及び
    前記少なくとも1つの線形特徴と第2の基準軸とに関連する第2の座標値、
    のうちの少なくとも1つを決定するステップと
    を含み、
    前記測定デバイスに関連する前記測定情報を抽出するステップは、前記第1の座標値、前記第2の座標値、又はその両方に少なくとも部分的に基づく、請求項2に記載の方法。
  10. 後続の処理工程に従って前記第2の画像を処理するステップであって、前記後続の処理工程は、
    前記測定デバイスに関連する前記識別情報を決定するステップに対応する結果、
    前記測定デバイスに関連する前記測定情報を抽出するステップに対応する結果、又は両方、
    に少なくとも部分的に基づく、ステップをさらに含む、請求項2に記載の方法。
  11. 前記検出モデルは、測定デバイスのセットに関連する基準画像のセットに少なくとも部分的に基づいてトレーニングされた物体検出モデルを含み、及び
    測定デバイスの前記セットは、少なくとも前記測定デバイスを含む、
    請求項1に記載の方法。
  12. 前記ターゲット領域は、前記測定デバイスに関連する識別タグを含み、前記識別タグは、前記測定デバイスに関連する前記識別情報を含み、及び
    前記測定デバイスに関連する前記識別情報を決定するステップは、前記識別タグに少なくとも部分的に基づく、
    請求項1に記載の方法。
  13. 1又は複数の光学式文字認識操作を使用して前記識別タグに含まれるテキスト情報を処理するステップをさらに含み、
    前記測定デバイスに関連する前記識別情報を決定するステップは、前記テキスト情報を処理するステップに少なくとも部分的に基づく、
    請求項12に記載の方法。
  14. 前記ターゲット領域は、前記測定デバイスに関連する測定インジケータを含み、及び
    前記測定デバイスに関連する前記測定情報を抽出するステップは、前記測定インジケータに少なくとも部分的に基づく、
    請求項1に記載の方法。
  15. 前記画像は画像キャプチャデバイスによってキャプチャされ、並びに
    前記方法は、
    前記画像キャプチャデバイスに関連する位置情報、及び
    前記画像キャプチャデバイスに関連する向き情報、
    のうちの少なくとも1つに少なくとも部分的に基づいて、前記測定デバイスに関連する位置情報を取得するステップ
    をさらに含む、請求項1に記載の方法。
  16. 前記測定デバイスに関連する位置情報を、測定デバイスのセットに関連する位置情報と比較するステップをさらに含み、
    前記測定デバイスに関連する前記識別情報を決定するステップは、前記比較の結果に少なくとも部分的に基づく、
    請求項1に記載の方法。
  17. 前記ターゲット領域の少なくとも一部は、
    円形形状、及び
    多角形形状、
    のうちの少なくとも1つを含む、請求項1に記載の方法。
  18. 前記画像は、
    静止画像、及び
    ビデオ又はビデオストリームの1又は複数の画像フレーム、
    のうちの少なくとも1つを含む、請求項1に記載の方法。
  19. プロセッサと、
    前記プロセッサに連結されたメモリであって、前記メモリは、前記プロセッサによって実行されたとき前記プロセッサが、
    測定デバイスを含む環境の画像をキャプチャすること、
    前記画像に含まれるターゲット領域を検出し、前記ターゲット領域は前記測定デバイスの少なくとも一部を含み、前記ターゲット領域を検出するステップは、
    前記画像を機械学習ネットワークに提供するステップ、及び
    前記機械学習ネットワークが検出モデルに少なくとも部分的に基づいて前記画像を処理することに応答して、前記機械学習ネットワークから出力を受信するステップであって、前記出力は前記ターゲット領域を含む、ステップ、
    を含む、こと、
    前記ターゲット領域を検出するステップに少なくとも部分的に基づいて、前記測定デバイスに関連する識別情報を決定すること、並びに
    前記ターゲット領域を検出するステップに少なくとも部分的に基づいて、前記デバイスに関連する測定情報を抽出すること、
    ができるようにするデータを格納する、メモリと
    を含むデバイス。
  20. 機械学習ネットワークと、
    プロセッサと、
    前記プロセッサに連結されたメモリであって、前記メモリは、前記プロセッサによって実行されたとき前記プロセッサが、
    測定デバイスを含む環境の画像をキャプチャすること、
    前記画像に含まれるターゲット領域を検出し、前記ターゲット領域は前記測定デバイスの少なくとも一部を含み、前記ターゲット領域を検出するステップは、
    前記画像を前記機械学習ネットワークに提供するステップ、及び
    前記機械学習ネットワークが検出モデルに少なくとも部分的に基づいて前記画像を処理することに応答して、前記機械学習ネットワークから出力を受信するステップであって、前記出力は前記ターゲット領域を含む、ステップ、
    を含む、こと、
    前記ターゲット領域を検出するステップに少なくとも部分的に基づいて、前記測定デバイスに関連する識別情報を決定すること、並びに
    前記ターゲット領域を検出するステップに少なくとも部分的に基づいて、前記デバイスに関連する測定情報を抽出すること、
    ができるようにするデータを格納する、メモリと
    を含むシステム。
JP2022098256A 2021-08-19 2022-06-17 スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス Pending JP2023029227A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/406,825 2021-08-19
US17/406,825 US20230057340A1 (en) 2021-08-19 2021-08-19 Systems, methods, and devices for automated meter reading for smart field patrol

Publications (1)

Publication Number Publication Date
JP2023029227A true JP2023029227A (ja) 2023-03-03

Family

ID=85132109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022098256A Pending JP2023029227A (ja) 2021-08-19 2022-06-17 スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス

Country Status (4)

Country Link
US (1) US20230057340A1 (ja)
JP (1) JP2023029227A (ja)
CN (1) CN115708133A (ja)
DE (1) DE102022116434A1 (ja)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080039979A1 (en) * 2006-08-10 2008-02-14 V2 Green Inc. Smart Islanding and Power Backup in a Power Aggregation System for Distributed Electric Resources
US8594365B2 (en) * 2008-01-30 2013-11-26 Cypress Envirosystems, Inc. Gauge monitoring methods, devices and systems
US20140347482A1 (en) * 2009-02-20 2014-11-27 Appareo Systems, Llc Optical image monitoring system and method for unmanned aerial vehicles
US8319665B2 (en) * 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
KR20110121866A (ko) * 2010-05-03 2011-11-09 삼성전자주식회사 휴대용 장치 및 그의 측정 데이터 처리 방법
US8786706B2 (en) * 2011-08-31 2014-07-22 Next Future, LLC Analog utility meter reading
US9135492B2 (en) * 2011-09-20 2015-09-15 Honeywell International Inc. Image based dial gauge reading
KR20140102465A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 수술 로봇 및 그 제어방법
US9104917B2 (en) * 2013-06-27 2015-08-11 Verizon Patent And Licensing Inc. Metering information collection
RU2641452C2 (ru) * 2013-12-18 2018-01-17 ООО "Аби Девелопмент" Неполные эталоны
GB2523359B (en) * 2014-02-21 2016-01-06 Risk Telematics Uk Ltd Determining the status of a vehicle
WO2016131005A1 (en) * 2015-02-13 2016-08-18 Unmanned Innovation, Inc. Unmanned aerial vehicle sensor activation and correlation
US20170089692A1 (en) * 2015-09-24 2017-03-30 Rita Chattopadhyay Monitoring of gauges
US10168192B2 (en) * 2015-12-22 2019-01-01 Intel Corporation Determining values of angular gauges
WO2019046598A1 (en) * 2017-08-30 2019-03-07 Alarm.Com Incorporated SYSTEM AND METHOD FOR PROPERTY MONITORING USING DRONES BEACONS
CN107590498B (zh) * 2017-09-27 2020-09-01 哈尔滨工业大学 一种基于字符分割级联二分类器的自适应汽车仪表检测方法
US11544916B2 (en) * 2019-11-13 2023-01-03 Battelle Energy Alliance, Llc Automated gauge reading and related systems, methods, and devices
US20210174086A1 (en) * 2019-12-05 2021-06-10 Saudi Arabian Oil Company Ar gauge scanner using a mobile device application
US11443133B2 (en) * 2019-12-10 2022-09-13 Ricoh Company, Ltd. Computer vision system for industrial equipment gauge digitization and alarms
US20230005115A1 (en) * 2019-12-31 2023-01-05 Quantified Energy Labs Pte. Ltd. Method, system, and image processing device for capturing and/or processing electroluminescence images, and an aerial vehicle

Also Published As

Publication number Publication date
US20230057340A1 (en) 2023-02-23
CN115708133A (zh) 2023-02-21
DE102022116434A1 (de) 2023-02-23

Similar Documents

Publication Publication Date Title
JP7099509B2 (ja) 産業機器ゲージのデジタル化及びアラームのためのコンピュータビジョンシステム
KR102022496B1 (ko) 비전 이미지 검출을 이용한 공정 관리 및 모니터링 시스템 및 그 방법
JP6121425B2 (ja) ラスタ画像のエッジ検出によるベルト摩耗の測定
WO2018219180A1 (zh) 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
US11704888B2 (en) Product onboarding machine
TW201931151A (zh) 圖像標註資訊處理方法、裝置、伺服器及系統
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
CN113096119B (zh) 晶圆缺陷分类的方法、装置、电子设备以及存储介质
CN105701476A (zh) 一种基于机器视觉的生产线产品自动化识别系统及方法
US9679354B2 (en) Duplicate check image resolution
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN109413411B (zh) 一种监控线路的黑屏识别方法、装置及服务器
JP6783894B2 (ja) メータ読取装置、メータ読取方法及びコンピュータプログラム
CN113780201B (zh) 手部图像的处理方法及装置、设备和介质
CN114697212A (zh) 设备参数处理方法、设备、系统及介质
CN111680704A (zh) 海洋红线新增人类活动斑块自动化快速提取方法和装置
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
JP6630341B2 (ja) シンボルの光学的検出方法
CN113439227A (zh) 放大图像的捕获和存储
JP2012252621A (ja) 画像特徴量抽出装置及びこれを用いた画像処理によるマーカ検出装置
JP2023029227A (ja) スマート・フィールド・パトロールのための自動メータ読取り用システム、方法及びデバイス
CN113108919B (zh) 人体温度检测方法、装置和存储介质
CN115027904A (zh) 基于实例分割的皮带撕裂检测方法
CN110765991B (zh) 一种基于视觉的高速旋转电机熔断器实时检测系统
CN114445751A (zh) 视频关键帧图像轮廓特征的提取方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816