JP2016212848A - 自動的に資産識別するための画像分析のシステム及び方法 - Google Patents

自動的に資産識別するための画像分析のシステム及び方法 Download PDF

Info

Publication number
JP2016212848A
JP2016212848A JP2016084110A JP2016084110A JP2016212848A JP 2016212848 A JP2016212848 A JP 2016212848A JP 2016084110 A JP2016084110 A JP 2016084110A JP 2016084110 A JP2016084110 A JP 2016084110A JP 2016212848 A JP2016212848 A JP 2016212848A
Authority
JP
Japan
Prior art keywords
asset
image
indicia
controller
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016084110A
Other languages
English (en)
Other versions
JP6727013B2 (ja
Inventor
アーロン・リチャード・ミッティ
Richard Mitti Aaron
ブライアン・ディヴィッド・ジェフェリー
david jeffrey Brian
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2016212848A publication Critical patent/JP2016212848A/ja
Application granted granted Critical
Publication of JP6727013B2 publication Critical patent/JP6727013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】自動的に資産識別するための画像分析のシステム及び方法を提供する。【解決手段】資産の画像を撮影し、撮影された画像を分析して資産に付された証印を識別するシステム及び方法が提供される。証印は、識別された後に、資産を識別するために使用される。システムは、資産のタイプを識別し、資産を追跡し、資産のグループに関する目録を確認し、又は資産の撮影画像を資産の過去に格納された画像と比較することに基づいて、資産への損傷を識別するようさらに構成され得る。【選択図】図1

Description

本明細書に開示される主題の実施形態は、資産を自動的に識別するための画像分析のシステム及び方法に関し、より具体的には、撮影された画像における、資産に付された証印に基づいて資産を識別するために撮影された画像を分析することに関する。
輸送を含む多くの分野において、様々な資産が営業活動に用いられ得る。これらの資産は、1以上の団体によって所有され得、リースされ得、また管理され得る。その際、各団体が、営業活動において複数の役割を果たしている可能性がある。移動資産に関しては、資産が移動し得る広大な距離と、資産を管理し、アクセスする可能性のある団体が多数であるため、資産の追跡及び/又は資産の状態監視は、これまで困難であり、時間がかかり、面倒で、頻繁には行われなかった。例えば、資産は、国をまたいで貨物を輸送するためにリースされ、使用されることがある。その際、出発位置と到達位置との間で、追跡は頻繁には行われない。また、資産は、1往復中に2以上の荷物を輸送するために使用される場合があり、所有者、責任を効率的に追跡する能力を複雑にし、したがって、資産の使用コストも複雑にし得る。
したがって、現在利用可能であるこれらのシステム及び方法と異なるシステム及び方法を有することが望まれ得る。
本明細書に開示されているのは、資産の少なくとも一部の画像及び資産に付された証印の画像を撮影するように構成された装置と、上記装置から画像を受信し、資産の資産タイプを判定し、判定された資産タイプに基づいて証印位置を判定し、資産に付されている証印を判定し、判定された証印位置に対応する画像の少なくとも一部分を分析することによって、資産を識別するように構成されたコントローラとを含むシステムである。
いくつかの実施形態では、コントローラは、資産の少なくとも一部分の画像を分析することによって、資産の資産タイプを決定するようにさらに構成されている。いくつかの実施形態では、コントローラは、電子的に通信された資産タイプ識別の受信に基づいて、資産の資産タイプを判定するように構成されている。いくつかの実施形態では、コントローラは、資産タイプに対する証印位置と資産タイプとの関連づけを含むデータベースにアクセスするように構成されている。
いくつかの実施形態では、コントローラは、画像を、識別された資産の識別情報と関連づけて、画像が撮影された位置又は画像が撮影された時刻の少なくとも一方と共に格納するようにさらに構成されている。
いくつかの実施形態では、コントローラは、複数の関連づけられた資産のための参照目録を受信するように構成されている。参照目録は、複数の関連づけられた資産を規定し、装置によって撮影された画像に基づいて各資産を識別することによって、複数の関連づけられた資産に関する画像ベースの目録を生成し、差異を特定するために参照目録と画像ベースの目録とを比較し、差異に関する通知を通信する。
いくつかの実施形態では、コントローラは、資産の過去画像をデータベースからから検索し、画像を検索された過去画像と比較し、画像と過去画像との比較に基づいて、資産の摩耗又は損傷の指標を判定し、資産の摩耗又は損傷の指標に関する通知を送信するように、さらに構成されている。いくつかの実施形態では、資産の摩耗又は損傷の指標は、資産のホイールにおける摩耗又は資産の窪みの一方である。いくつかの実施形態では、資産の摩耗又は損傷の指標は、資産の一部において封印が完全であるか否かである。
いくつかの実施形態では、コントローラは、画像を検索された過去画像と比較した際に、画像と検索された過去画像との間の環境変動を補償するように構成されている。環境変動は、時刻、明かりの変化、及び天候の状態のうち、少なくとも1つであり、天候の状態は、塵埃、木の葉、煙、雪、雨、霧の存在のうち、少なくとも1つである。
いくつかの実施形態では、資産は、移動資産であり、装置は静止しており、資産が移動する経路に近接して配置されている。いくつかの実施形態では、装置は、移動装置である。
いくつかの実施形態では、コントローラは、判定された証印位置を含む資産の第2画像を撮影するように装置を作動させ、資産に付されている証印を判定するために第2画像の少なくとも一部を分析することによって、資産を識別する。いくつかの実施形態では、コントローラは、装置に近接している資産に関連づけられた信号を受信したことに応答して画像を撮影するように装置を作動させるように構成されている。いくつかの実施形態では、信号は、装置に近接して資産を検出するレールシステムに結合されたスイッチ、又は資産の位置追跡構成要素のうち、少なくとも一方から送られている。
また、開示されているのは、証印、並びにタイムスタンプ及び地理的位置の一方又は両方を含む資産の画像を撮影するステップと、資産の資産タイプを識別するステップと、資産タイプの識別に少なくとも部分的に基づいて、資産において証印が配置されている位置を判定するステップと、証印位置に対応する画像の少なくとも一部を分析することによって証印を識別するステップと、識別された証印に基づいて、資産を識別するステップと、識別された資産に関連づけられ、かつタイムスタンプ及び地理的位置の一方又は両方に関連づけられた画像を格納するステップとを含む方法である。
いくつかの実施形態では、この方法は、資産の識別を確認するために、識別された資産を在庫リストと照会することをさらに含む。
いくつかの実施形態では、この方法は、画像を過去に撮影された資産の1以上の画像と比較することと、画像と過去に撮影された資産の1以上の画像との比較に基づいて、資産の摩耗又は損傷の指標を判定することとをさらに含む。
いくつかの実施形態では、この方法は、指定された地理的位置に関連づけられた、撮影された資産の画像のセット又はサブセットである一連の画像を含む問い合わせ結果を送信することによって、資産に関する問い合わせに応答することをさらに含む。
いくつかの実施形態では、この方法は、経路に沿って撮影された、資産の画像のセット又はサブセットである、一連の画像を含む問い合わせ結果を送信することによって、資産に関する問い合わせに応答することをさらに含む。
いくつかの実施形態では、この方法は、指定された時間期間中に撮影された、資産の画像のセット又はサブセットである、一連の画像を含む問い合わせ結果を送信することによって、資産に関する問い合わせに応答することをさらに含む。
いくつかの実施形態では、この方法は、判定された証印位置を含む資産の第2画像を撮影することと、第2画像の少なくとも一部を分析することによって、証印を識別することとをさらに含む。
いくつかの実施形態では、この方法は、第2画像を撮影する前に、第2画像内の証印の識別を容易にするために撮像装置のパラメータを変更することをさらに含む。
特定の実施形態が、以下の説明でより詳細に説明するように示されている添付図面を参照する。
撮影された証印の画像に基づいて資産、又は資産のタイプを検出するシステムの図である。 撮影された画像から識別された資産の証印に基づいて、資産に関連するデータを通信するシステムの一実施形態の図である。 1以上の態様に従った例示的かつ非限定的なコントローラのブロック図である。 1以上の証印を有する資産の側面図、及び証印によって表されるデータである。 図4の資産の端面図である。 証印を有するタンクカー資産の図である。 証印を有する有蓋車資産の図である。 証印を有するホッパカー資産の図である。 証印を有する長物車資産の図である。
開示された主題の実施形態は、自動的に資産識別するための画像分析のシステム及び方法に関する。実施形態において、開示されるシステム及び方法は、資産の画像を撮影し、撮影された画像を分析して、資産の証印を識別する。システムは、1以上の画像を用いることができる。例えば、第1画像は、資産の資産タイプを決定するために、撮影し、使用することができ、第2画像は、証印を識別するために使用することができる。一実施形態では、コントローラは、画像無しで資産タイプを判定し、その後、証印を含む資産の画像を撮影するために、又は撮影された画像の証印を含む部分を分析するために、資産タイプ判定を用いることができる。さらに他の実施形態では、証印に基づいて特定の資産を識別した後、システムは、資産の位置又はステータスを追跡し、資産のグループに関する目録を管理及び/もしくは点検するように構成されていてもよく、又は撮影された資産の画像を、過去に撮影された資産の画像もしくは当該資産や特定の資産タイプに関連づけられた基準画像と比較することに基づいて、資産に対する損傷を識別するように構成されていてもよい。様々な実施形態において、システムは、1以上の固定された位置に存在してもよいし、車両に設置された、又はハンドヘルドシステムとして動かされるような、移動式であってもよい。したがって、システムによって識別された資産は、固定資産もしくは移動資産、又は固定資産と移動資産の組み合わせであり得る。開示されたシステムは、出荷場、車両基地、港、倉庫、又は工場等の様々な物理的な位置で使用することができる。また、本システムは、様々な資産タイプと共に用いることができる。様々な資産タイプには、車両、コンテナ、出荷コンテナ、製品/材料、又は出荷されるか、もしくは配送される物品が含まれる。
図1は、システム100の一実施形態を示す。このシステムは、コントローラ102、及び資産110の画像を撮影するように構成された装置106を備えている。図示されるように、資産110は証印108を含み、撮影された画像も証印を含んでいてもよい。様々な実施形態において、コントローラは、コントローラの画像分析機能を実現するように構成された1以上のソフトウェアモジュール104及び/又は1以上のハードウェアコンポーネントを含むことができる。コントローラは、装置106から撮影された画像を受信する。画像は、資産の少なくとも一部であってもよく、証印を含んでいてもよい。画像を受信すると、コントローラは、資産の画像を分析する。実施形態では、コントローラは、資産の証印を識別するために、資産の資産タイプを判定するために、又は、証印を含み得る資産の位置を判定するために、資産の画像を分析する。1例において、コントローラは、撮影された画像を分析して資産タイプを判定し、その後、先に判定された資産タイプに基づいて当該資産に付された証印の予測される位置を判定する。コントローラは、その後、判定された証印位置に対応する画像の一部を分析して、資産に付された証印を判定することができる。本明細書で用いられる「資産タイプ」は、特定の資産のカテゴリー又は分類を意味する。
いくつかの実施形態では、システムは、また、撮影した画像に関連づけられた追加データを取得、または生成する。例えば、システムは、タイムスタンプを生成するか、または画像が撮影された時の地理上の位置を判定してもよい。一実施形態では、コントローラは、撮影された画像及び取り込まれた追加のデータ(例えば、タイムスタンプ、地理的位置)を含むデータパッケージを生成すること等によって、この追加データを撮影された画像と対応づける。データパッケージは、その後システムによって判定された、資産に付された証印によって参照することができる。他の実施形態では、システムは、資産の摩耗又は損傷の部分等の、資産の状態を識別してもよく、データパッケージに含まれる格納された追加データの一部として、状態の指標を含んでもよい。さらに他の実施形態では、追加情報は、資産のタイプ、画像を撮影するために使用される装置のタイプ、又は画像が取り込まれた時の資産の状態を再構成するのに有用な同様の情報を含んでいてもよい。
1例において、コントローラ102は、装置106から画像を受信し、この画像をデータベース又はメモリに格納されたデータと比較する。このデータは、資産のタイプ、資産において証印が配置されている位置、識別された証印に基づく資産を示す基準を定義するベースラインデータであってもよい。画像/証印の、資産、データパッケージ、又は証印もしくは資産として参照される他の対応するデータとの一致を識別するために用いられ得る基準を識別するために、例えば、ソフトウェア分析を用いることができる。
一実施形態では、システムは、1以上の資産の画像を収集し、その画像をデータ参照と共にデータベースに格納する。このデータ参照は、資産、証印、資産に対して定義された所有者、地理的位置、装置の位置、資産タイプ、画像が装置によって撮影された時刻、日、年、又はユーザ定義のタグであってもよい。
一実施形態において、システムは、撮影した画像を取得するために、静止画像又はビデオ画像を用いることができる。装置は、ハンドヘルド装置、車両もしくは資産に設置された装置、又は資産の画像を撮影するように構成された、経路の傍らに設置された装置を含むことができる。別の例では、装置は、スマートフォン、タブレット、又はデジタルカメラでもよい。適切な資産には、鉄道車両、高速トラックもしくは長距離輸送トラック、機関車、インターモダルコンテナ、採鉱機械、又は自動車の内の1以上が含まれ得る。これらの資産のいくつかは組み合わせることができる。例えば、鉄道車両に固定されたインターモダルコンテナである。また、これらの資産のいくつかは、機械的又は論理的に結合して合成物を形成してもよい。論理的に結合された複数の車両を含む資産合成物は、互いに対して移動する1以上の遠隔制御車両を含むことができるが、合成物内において機械的に連結された資産は、改めて説明するまでもない。画像撮影イベントは、人間(例えば、ユーザ入力)によってトリガされるか、又は撮像装置に近接している資産の存在に基づいて自動的に検出することができる。例えば、システムは、資産がシステムの近くにあるものとして識別する無線周波数識別(RFID)信号、又は全地球測位システム(GPS)信号に応答して画像を撮影するように構成されてもよい。レールシステム等の他の例では、システムは、資産と証印を撮像するために望ましい位置に資産が存在することを示す、軌道回路から受信した信号に応答して画像を撮影するように構成されてもよい。さらに他の例では、システムは、鉄道駅、車両基地、出荷場、港、待避線、倉庫、資産が集まる位置、又は資産を識別し、監視するのに望ましい類似の施設の入口及び/又は出口で使用することができる。様々な実施形態では、システムが、撮影された画像を分析して資産を識別した後、システムは、資産に関連づけられた移動情報を証明するために、資産がシステムに識別されたという事実を格納するか、又は通信することができる。本明細書では、「移動情報」は、資産の物理的移動の論理追跡を意味する。
いくつかの実施形態では、システムが、撮影画像から証印に基づいて資産を識別した後、証印は、マークが一致することを保証するために、データベースに照らして確認される。画像分析の正確度は、過去データ(例えば、過去の撮影画像)を用いて改善することができ、一致における偽陽性を低減することや、証印が部分的に隠れている場合に資産を識別することができる。
いくつかの実施形態では、システムは、資産の、1以上の画像又はビデオを撮影する。一実施形態において、撮影されるビデオは、HEVCコーデック方式、AVC規格、MPEG方式、H.264/MPEG−4AVC方式等であってもよい。方式は、用途特有の要件に基づいて選択することができる。
別の例では、システムは、資産において証印が配置されている位置の識別に基づいて撮像装置を制御することができる。例えば、システムは、撮影された画像又はビデオの品質を改良するために種々の設定(例えば、焦点距離、絞りサイズ)を調整することができる。他の実施形態では、撮像装置は、移動可能な基部に設けることができる。それによって、撮像装置を資産、又は証印を含む資産の部分に向けることが可能になる。このようにして、撮影された画像やビデオを向上させることができ、証印に基づく画像の分析及び資産の識別を容易にする。
いくつかの実施形態では、システムは、例えば、画像が撮影された一日のうちの時刻に関連し得る明かりの変化を考慮することによって画像を分析する。同様に、次の分析のために、撮影された画像又はビデオの品質を向上させるために、システムは、装置の照準角の差異を考慮することができる。さらに他の実施形態では、システムは、複数の画像を撮影し、この複数の画像から使用される(例えば、分析、格納等)1つの画像を選択することができる。
撮像装置が資産に組み込まれている、または資産に設置されている1つの例では、撮像装置は、資産の視野に入る他の資産をチェックするために使用され得る。例えば、撮像装置が機関車に設置された場合、システムは、機関車が通過する鉄道車両を見ることができ、したがってこれらの鉄道車両を識別し監視することができる。機関車は、経路上で車両を通過することができるので、従来のシステムで以前にはサポートされていない複数の位置における資産の監視が容易になる。このプロセス全体にわたり、システムは、識別された資産に関する最新のアップデートより後に生じた損傷のレポートを含む、当該資産のレポートを通信することができる。
別の例では、システムは、撮影された画像の外観を調整する1以上のフィルタや画像分析機能を採用している。例えば、フィルタや画像分析は、木の葉、気象条件(例えば、雨、みぞれ、雪、太陽、グレア、雲、霧)、泥、煙、及び塵等の状態を調整することができる。別の例では、システムは、熱シグネチャ又は他の波長をチェックすることができる(赤外線カメラ等の)熱検出要素を含むことができる。赤外線を監視することによって、資産所有者にメンテナンス又は修理の必要性について注意喚起しながら資産が移動している間に、過熱、過度の摩擦、又は他の潜在的な問題に関連する「ホットスポット」を識別することができる。
一実施形態において、システムは、資産の1以上の画像を取り込み、このような画像を画像が撮影されるのと同じタイミングで取得した性能データのスナップショットに関連づける。
システムは、証印、資産、画像を撮影した時刻、及び画像が撮影された位置の地理的位置を有して生成されたデータパッケージと共にデータを含むことができる。データは、資産によって輸送されている貨物、資産の画像が撮影された時の貨物、資産の所有者、画像が撮影された時の資産のリース契約、画像が撮影された時の資産の取引業者、画像が撮影された時の気象条件(例えば、天気、1日のうちの時刻、汚染レベル)等を含んでもよい。
ここで図2を参照すると、システム200の別の実施形態が示されている。システム200は、撮影された資産の画像及び証印の識別に基づいて資産を管理するコントローラ及びソフトウェアモジュールを含む。コントローラは、ソフトウェアモジュールからの命令等のコンピュータ実行可能命令を実行することができる1以上のプロセッサ202を備えている。このようなコンピュータ実行可能な命令は、コントローラのメモリ208等の非一時的なコンピュータ可読記憶媒体を含む1以上のコンピュータ可読媒体に格納することができる。
コントローラは、第1通信インタフェース204及び第2通信インタフェース206を含んでもよい。図2に示すように、第1通信インタフェースは、コントローラと撮像装置との間の電子通信を可能にし、処理する。第1通信インタフェースは、Wi−Fiインタフェース、イーサネット(登録商標)インタフェース、光ファイバインタフェース、セルラ無線インタフェース、衛星インタフェース、インターネット用インタフェース、LANケーブル、イーサネット(登録商標)ケーブル、USBインタフェース、シリアルインタフェース、短距離RFインタフェース(ブルートゥース(登録商標))、赤外線インタフェース、又は近距離通信(NFC)インタフェースを含む有線又は無線インタフェースであってもよいが、特に制限されない。第2通信インタフェース206は、コントローラと資産との間の電子通信を(適用可能であれば)可能にし、処理する。適切な第2通信インタフェースは、Wi−Fiインタフェース、イーサネット(登録商標)インタフェース、光ファイバインタフェース、セルラ無線インタフェース、衛星インタフェース、インターネット用インタフェース、LANケーブル、イーサネット(登録商標)ケーブル、USBインタフェース、シリアルインタフェース、短距離RFインタフェース(ブルートゥース(登録商標))、赤外線インタフェース、又は近距離通信(NFC)インタフェースであってもよい。図2に別個の構成要素として示されているが、第1通信インタフェースと第2通信インタフェースは、単一のインタフェースであってもよいし、複数の接続を介して同時に通信可能なインタフェースであってもよい。
いくつかの実施形態では、コントローラは、ユーザ入力を表すデータを取得するため、ユーザ出力を表すデータを伝送するため、ユーザから入力されたデータを取得するため、及び同様の入出力機能をユーザと実行する様々な要素を有するためのユーザインタフェース210をさらに備えている。実施形態では、ユーザインタフェースは、入力デバイス及び出力デバイスの両方として動作するウェブインタフェース又はウェブページを含む。ユーザインタフェースは、ユーザがコントローラ102に情報を入力することを可能にする各種のボタン、スイッチ、キー、ボタンもしくは入力の物理的又はデジタル表現、GUI、又はウェブベースのGUIを含み、かつその他の情報をユーザに出力することを可能にする、LEDインジケータ等のその他のディスプレイを含むことができる。また、ユーザインタフェースは、ユーザが装置又は資産に情報を入力することを可能にする各種のボタン、スイッチ、キー、ボタンもしくは入力の物理的又はデジタル表現、GUI、又はウェブベースのGUIを含み、かつその他の情報をユーザに出力することを可能にするLEDインジケータ等のその他のディスプレイを含むことができる。
本実施形態によれば、コントローラは、計算装置、ネットワーク、サーバ、ウェブサイト、又はその上で実行されるソフトウェアモジュールのうち、少なくとも1つである。他の実施形態では、コントローラは、ラップトップコンピュータ、コンバーチブルラップトップ、携帯電話、PDA、ポケットコンピューティングデバイス、又は腕時計型コンピューティングデバイス等の、携帯可能なその他のフォームファクタとすることができる。すなわち、ソフトウェアモジュールは、撮像装置、データベース、又は証印、資産、もしくは図1〜3に関して説明されたように撮影された画像に関するデータを格納するメモリ208と通信することができるコンピューティングデバイスにインストールされること、及びこれらにおいて実行されることが可能である。図2には、単一のコントローラが示されているが、1以上のコントローラをシステムで用いることができる。例えば、第1コントローラは、撮像装置との間の通信を処理するために使用することができ、第2コントローラは、第1コンピューティングデバイス及び第2コンピューティングデバイスが相互に通信する際に撮影した画像データを処理するために使用することができる。
コントローラ及び/又はソフトウェアモジュールは、ネットワーク又はネットワークの一部であって、当該ネットワークが、撮像装置、データストア、メモリ、資産、又はこれらの2種以上の組み合わせのうち、少なくとも1つとの間でデータを送受信することができるウェブサイト、サーバ、コンピュータ、クラウドサービス、プロセッサ及びメモリ、又は、インターネットに接続されたコンピューティングデバイスのうちの少なくとも1つであってもよい。ネットワークは、当該ネットワークが、第2ネットワーク、ネットワークのサブネットワーク、又はそれらの組み合わせのうち、少なくとも1つとの間でデータ通信をすることが可能な有線又は無線接続を介して、1以上の装置に接続され得る。複数のネットワークをシステムと共に使用することができ、ネットワーク上のデータ通信は、アプリケーション特有の基準に基づいて選択することができる。
図3は、資産の、1以上の撮影した画像のデータ分析を実行するように構成されたソフトウェアモジュール104を含むソフトウェアアプリケーション300を示している。ソフトウェアアプリケーションは、データストア302、画像分析モジュール304、クエリモジュール306、データパッケージモジュール308、在庫モジュール310、地理的位置モジュール312、及び損傷モジュール314(集合的に「モジュール」という)、並びにデータストアに格納されているサポートデータ320を含むことができる。モジュールは、ソフトウェアモジュールの様々な特徴、処理、動作等を実現するコンピュータ実行可能な命令を含む。
データストアは、例えば、揮発性メモリもしくは不揮発性メモリのいずれかでもよく、又は揮発性メモリ及び不揮発性メモリの両方を含むことができる。主題のシステム及び方法のデータストアは、これら及び他の適切なタイプのメモリを備えることが意図されるが、限定されない。また、データストアは、サーバ、データベース、ハードドライブ、フラッシュドライブ、外付けハードドライブ、携帯型ハードドライブ、クラウドベースのストレージ、ソリッドステートドライブ等とすることができる。
データストアは、ソフトウェアモジュールによって使用されるサポートデータであって、コントローラと撮像装置との間で通信され、コントローラと資産の間で通信され、コントローラと他の構成要素又は装置及び/又はそれらの任意の組み合わせとの間で通信されるサポートデータを格納することができる。また、ソフトウェアモジュールは、コントローラ上のスタンドアロンアプリケーションであってもよいし、撮像装置に統合されていてもよいし、資産に統合されていてもよいし、サーバによってホストされてもよいし、ネットワークによってホストされてもよいし、かつ/又はこれらの任意の組み合わせであってもよい。
画像分析モジュールは、撮影された画像に、1以上の画像分析機能を実行することができる。画像分析モジュールは、撮影された画像の外観を調節するために、フィルタを適用することができる。画像分析モジュールは、資産の、あるタイプを識別するために、撮影された画像に第1画像分析を行うことができる。さらに、画像分析モジュールは、資産の、ある位置にある証印を識別するために、撮影された画像に第2画像分析を行うことができる。この位置は、資産のタイプを識別した第1画像分析に基づいて識別される(例えば、各資産タイプは、証印の位置に関する規定された位置を有し得る)。証印及び/又は証印を表すデータを検出し、識別する際には、ソフトウェアモジュールは、データストアに格納されたデータを評価して、証印又は証印を表すデータと関連づけられたデータを識別することができる。
画像分析モジュールは、資産の変化を検出するために、資産の過去に格納された画像の比較と共に、撮影された資産の画像について、さらに画像分析を行うことができる。特に、この変化は、資産の摩耗の部分、資産の一部の摩耗の部分、又は資産もしくは資産の一部に対する損傷であり得る。このような変化に基づいて、コントローラ又はソフトウェアモジュールは、その変化を示す電子信号を通信することができる。この変化は、資産の表面にある文字や絵の量、ブレーキの摩耗部、封印が完全であるか否か、荷物又は資産に付されたタグは完全であるか否か、窪み、手摺りの欠落等であり得るが、これらに限定されない。
クエリモジュールは、データ問い合わせを受信し、データストアを分析し、問い合わせ結果をデータクエリに通信するように構成することができる。特に、クエリモジュールは、資産に関するデータ問い合わせ、日付/時刻、地理的位置、証印、損傷のタイプ、資産のタイプ、資産の所有者、資産のリース団体、証印によって資産に含まれるデータ(例えば、図4参照)等を受信することができる。データ問い合わせに基づいて、データ問い合わせを充足する問い合わせ結果を通信することができる。少なくとも資産の画像、及び画像が撮影された地理的位置を含むデータパッケージを格納することができる。このデータパッケージは、問い合わせ結果として提供することができ、画像及び地理的位置を通信することを可能にする。
データパッケージモジュールは、資産のデータパッケージを生成することができる。このデータパッケージは、資産のために撮影された1以上の画像、及び画像を撮影した時刻及び/又は日付を示すタイムスタンプを含むことができる。データパッケージはさらに、証印、資産のタイプ、資産と共に輸送される貨物、資産の取引業者、資産の所有者、画像を撮影した装置のタイプ、装置の位置、画像を撮影するトリガのタイプ、過去に撮影された資産の画像の日付、撮影された資産の画像の履歴等を含むことができる。
在庫モジュールは、資産のグループの目録を確認又は点検することができる。在庫モジュールは、資産のグループに対して、又はある期間内に撮影された、各資産の画像ベースの目録を生成するように構成することができる。さらに、グループに関する目録を受信することができる(例えば、コンピューティングデバイスから受信した、マスタ目録に基づいてユーザによって生成された)。在庫モジュールは、画像ベースの目録を当該目録と比較して、差異又は不整合を識別することができる。比較によって、差異又は不整合が識別された場合、在庫モジュールは、このことを示す電子信号を通信するように構成することができる。
地理位置モジュールは、資産の画像が撮影された時点の地理的位置を識別するために、装置からデータの一部を受信することができる。別の例では、地理的位置モジュールは、撮像装置のために、又は撮像装置によって画像が撮影された場所の地理的位置又は地理的位置を表すデータを生成することができる。地理的位置モジュールは、撮像装置によって画像が撮影された位置の地球上の物理的位置を表すデータを、例えばデータストアに格納することができる。地理的位置を表すデータは、GPS信号、GPS座標、メーリングアドレス、物理的位置の名称、車両基地名、港名、倉庫名、出荷場名、郵便番号、装置参照(例えば、地理的位置に相互参照され得る番号又はコード)であってもよいが、これらに限定されない。撮像装置の地理的位置又は画像が撮影された地理的位置を表すデータは、適切な工学的判定及び/又は当業者によって選択することができる。
損傷モジュールは、撮影した画像を過去に撮影された資産の画像と比較して、資産又は資産の一部における損傷又は摩耗部分の大きさを識別することができる。損傷モジュール314は、資産の変化や損傷の大きさを識別するために、画像分析モジュールと通信するように構成することができる。さらに、損傷モジュールは、損傷のタイプ、又は資産において損傷が検出された場所に基づいて、修理設備に電子信号を通信することができる。例えば、画像の比較に基づいて、資産の車輪が摩耗していることが検出された場合には、損傷モジュールは、車輪の修理を扱う修理工場又は修理担当者に電子信号を通信することができる。
図3に示すように、ソフトウェアモジュールは、様々なサポートデータ320を含んでいる。サポートデータは、資産データ(例えば、資産に関連するか、もしくは資産に関連づけられたデータ、資産のタイプ、資産の移動の履歴、資産の貨物、資産の重量、資産の容量、資産の所有者、リースの履歴、資産のコスト、資産の修理履歴等)、画像データ(例えば、画像を撮影した装置、装置の位置、画像を撮影した装置のオペレータ、画像を撮影した時刻、画像を撮影した日付、撮影された画像のフォーマット等)、地理的位置データ(例えば、メールアドレス、地球上の位置を表すデータ、位置のエントリタイプに関連する手動入力又は自動入力等のデータ、携帯電話三角測量等によって識別された位置のタイプ、GPS信号等)は、証印データ(例えば、証印のデータ、証印のタイプ、資産における証印の位置、証印に対する相互参照から特定されるデータ等)を含むことができる。ソフトウェアモジュールに組み込まれるものとして図示されているが、データストアは、独立型構成要素、サーバ、ネットワーク化された装置、クラウドベースのストレージ、それらの組み合わせ等とすることができる。選択は、用途特有の状況に基づいて行うことができる。
図4〜5を参照すると、側部400及び端部402に証印を有する車両が図示されている。説明のために、側部及び端部の証印は、共に識別子「UTLX00000」及び資産に関する他の情報を含んでいる。特定の資産タイプに応じて、証印は、報告記号、車両番号、重量制限、車の自重、プラカードホルダー、タンク試験情報、安全弁試験情報、車の仕様、商品名、許可情報、収容能力、及びその他の情報等の情報を含むことができる。いくつかの実施形態では、証印は1以上の数字や文字を含むことができる。他の実施形態では、証印は、画像、バーコード、クイックレスポンス(QR)コード、又は3次元バーコード等のグラフィック要素を含むことができる。
資産における証印の位置は、1以上の要因に基づいて決定することができる。これらの要因には、特定の車両タイプに可能な構造、規制要件、利用可能な画角、履歴の考慮等が含まれ得る。しかし、所与の資産タイプにおける、証印の位置は、その特定の資産タイプの特徴に基づいて標準化されることが多い。
図6〜9は、資産を識別する証印をそれぞれ有する例示的な資産を示す。図6は、タンク車500を示している。図7は、有蓋車600を示している。図8は、ホッパカー700を示している。図9は、長物車800を示している。各例では、資産における証印の位置は、資産タイプに関連づけられている。したがって、特定の資産の資産タイプを識別することによって、システムは、その特定の資産に対する証印を含む、撮影された画像又は撮影された画像の一部を分析することができる。
一実施形態において、システムは、撮像装置によって撮影された画像に基づいて特定された2以上の資産のリストである、画像ベースの目録を生成し、2以上の資産のグループに関する目録であって、グループ内の各資産及びグループ内の各資産のタイプを定義する目録を表すデータを受信し、かつ画像ベースの目録が、目録によって確認されたことを示す信号、又は画像ベースの目録が、目録によって確認されなかったことの警告を通信する。
一実施形態において、システムは、画像、関連する在庫リスト項目、位置情報、及び時刻情報を通信する。一実施形態において、システムは、データベースから資産の過去画像を検索し、画像を検索された過去画像と比較し、画像と、過去画像との間に、資産の摩耗や損傷を表す差異があるか否かを判定し、かつ任意選択的に、資産に摩耗もしくは損傷の存在もしくは不存在の一方又は両方に関する通知を送信する。
一実施形態では、システムは画像を検索された過去画像と比較し、資産のホイールの摩耗、又は資産の窪みを検出する。一実施形態において、システムは、画像を分析し、画像の撮影時に1以上の差異を補償する。補償され得るこのような差異には、画像が撮影された一日のうちの時刻や、画像が撮影された時の明かりの変化が含まれる。画像特性(例えば、輝度、コントラスト等)を調整することによって、関連する詳細が向上し、資産の摩耗又は損傷の識別を向上させることができる。別の実施形態において、システムは、撮影された画像を分析することによって、資産における封印が完全であるか否かを判定し、封印における裂け目、又は漏れの指標を識別する。別の実施形態では、システムは、ブレーキやホイールの摩耗等、資産の一部に対する変化を判定するために画像を分析する。さらに別の実施形態では、システムは、表面の塗料やさびに対する変化等、資産の表面に対する変更を識別するために、画像を分析する。
一実施形態では、過去に格納された画像は、レールシステム上、又はレールシステムの近傍に取り付けられている固定カメラから撮影され、データストアに格納される。この撮影は、トリガイベントに応答して自動的に行うこともできる。一実施形態では、過去に格納された画像は、ユーザによってモバイル装置から撮影され、データストアに格納される。一実施形態では、過去に格納された画像は、合成物又は合成物の一部の少なくとも1つに取り付けられているカメラから撮影される。一実施形態では、ソフトウェアモジュールは、合成物の、問い合わせられた部分に関するデータを求めて、プロセッサがデータストアに問い合わせることを可能にするために、プロセッサによって実行される。ここで、問い合わせ結果は、合成物の、問い合わせられた部分の一部の地理的位置、タイムスタンプ、及び証印を含む。
一実施形態では、画像は、デジタル画像、又はデジタルビデオの一部である。一実施形態では、ソフトウェアモジュールは、撮像装置に対して、画像を撮影してメモリに格納することを要求する電子信号をプロセッサが通信することを可能にするために、プロセッサによって実行される。一実施形態では、電子信号は、レールシステムに結合されたスイッチ、合成物の一部を検出するためにレールシステムの近くに配置されたスイッチ、合成物の一部の地理的位置を追跡する構成要素、又はユーザ入力のうち、少なくとも1つから送られる。
一実施形態では、ソフトウェアモジュールは、画像および過去に格納された画像に第2画像分析をプロセッサが行うことを可能にするために、プロセッサによって実行される。ここで、第2画像分析は、画像と、車両の一部の過去に格納された画像との比較であって、結果として、車両のある領域に対する物理的損傷を識別するものである。
開示されたシステムの実施形態は、様々な方法を容易にするが、これらの方法も開示される。一実施形態において、撮影された画像を処理して資産を識別するために、コントローラ及び/又はソフトウェアモジュールを含む開示されたシステムを用いた、ある方法が開示される。証印と、タイムスタンプ及び地理的位置の一方又は両方とを含む資産の画像が撮影される。その後、資産の資産タイプが識別され、資産に付された証印の位置が、資産タイプの識別に基づいて判定される。資産は、少なくとも証印に基づいて識別される。識別された資産が、識別されている資産のグループに入るべきものであるかを確認する等のために、在庫リストとの照会が行われてもよい。撮影画像、資産の識別、及び任意選択的に、タイムスタンプ、資産タイプ、及び地理的位置のうちの1以上を、レコードとして集めて格納することができる。いくつかの実施形態では、システムは、画像が撮影された時のシステムの位置における資産の位置を反映するように、論理的移動を生成してもよい。
別の実施形態では、資産および資産の画像を含む、資産に関する1以上のデータパッケージを処理するために、コントローラ及び/又はソフトウェアモジュールを含む開示されたシステムを用いた、ある方法が開示される。合成物の一部の画像が撮影されるが、この合成物の一部には証印が含まれる。システムは、画像を撮影するステップが発生した時のタイムスタンプ、及び画像撮影が生じた地理的位置を判定するか、又は受信する。証印を識別するために画像が分析され、証印は、資産を識別するために用いられる。少なくとも撮影画像、資産の識別情報、タイムスタンプ、及び地理的位置を含むデータパッケージが生成され格納される。複数の資産に対する複数のデータパッケージが、その後システムによって分析され得る。例えば、格納されたデータパッケージの問い合わせは、所与の資産に関連づけられたすべてのパッケージに対して行われる。撮影画像、タイムスタンプ、及び所与の資産の地理的位置を含む、所与の資産に関する複数のデータパッケージが返される。そして、時間にわたって資産の状態をレビューするために、資産の画像の時系列を分析することができる。このようにして、資産に対する、いかなる摩耗や損傷も識別することができ、そのような摩耗又は損傷が発生したおおよその時刻及び/又は位置を判定することができる。
一実施形態において、方法は、過去に撮影された、資産の1以上の画像と撮影画像とを比較することと、撮影画像と、過去に撮影された、資産の1以上の画像のとの間の領域における変化を検出することとを含み、この変化が資産の上記領域の物理的な差異を示す。
一実施形態において、方法は、問い合わせ結果を送信することによって資産に関する問い合わせに応答することを含む。問い合わせ結果は、地理的位置、又は、当該地理的位置において撮影された資産の画像の、一連のセット又はサブセット、タイムスタンプの時刻又はタイムスタンプの時刻に撮影された資産の画像の、一連のセット又はサブセット、2以上の資産に関する損傷通知、及びある経路に沿って、あるいは経時的に撮影された資産の画像のセットのうち1以上を含む。
一実施形態において、方法は、合成物の一部の位置を求める問い合わせであって、証印を表すデータを含む問い合わせを受信することと、当該問い合わせに対する問い合わせ結果であって、車両の一部についてのタイムスタンプの地理的位置を含む問い合わせ結果を送信することとを含み、地理的位置とタイムスタンプは、データパッケージに含まれる、時間的に最も新しいものである。
一実施形態では、以下に示す方法のステップ、すなわち証印と、タイムスタンプ及び地理位置の一方又は両方とを含む資産の画像を撮影するステップと、資産タイプを識別し、資産において証印が配置されている位置を、資産タイプの識別に基づいて判定するステップと、証印を識別するステップと、少なくとも在庫リストに合う証印及び資産タイプに基づいて資産を識別するステップと、少なくとも画像と、タイムスタンプ、資産タイプ、及び地理的位置のうち、1以上とを含むデータパッケージを生成するステップとは、1以上のプロセッサ及び/又はメモリによって行うことができる。
一実施形態では、以下に示す方法のステップ、すなわち、合成物の一部であって、証印を含む合成物の一部の画像を撮影するステップと、合成物の一部の画像、画像を撮影するステップが行われた時のタイムスタンプ、及び画像を撮影するステップが行われたタイムスタンプにおける、地理的位置を格納するステップと、証印を示すデータを検出するために、撮影された画像に対して画像分析を行うステップと、証印を示すデータを用いて問い合わせるステップと、証印を示すデータを用いて問い合わせるステップに応答した問い合わせ結果として、合成物の一部を示すデータパッケージを受信するステップと、画像、タイムスタンプ、地理的位置をデータパッケージに含めるステップとは、1以上のプロセッサ及び/又はメモリを用いて自動的に行うことができる。
一実施形態において、システムは、画像を撮影し、メモリ上に格納するように構成された装置を備え、画像は、レールシステムに結合する合成物の一部であり、合成物の各部分は、証印を含んでいる(例えば、各部分がそれぞれの証印を含んでいる)。システムは、メモリから画像を受信し、その画像に第1画像分析を実行するように(例えば、メモリに格納されたソフトウェアに基づいて)構成された1以上のプロセッサ/コントローラをさらに備え、第1画像分析は、結果として、画像から証印を識別する。1以上のプロセッサは、さらに、合成物の一部を表すデータである問い合わせ結果を受信するために、証印を用いてデータストアに問い合わせを行うように構成されている。ここで、合成物の部分を示すデータは、合成物の部分の過去に格納された画像を含んでいる。1以上のプロセッサはさらに、画像と過去に格納された画像に第2画像分析を行うように構成されている。ここで、第2画像分析は、合成物の部分の画像と過去に格納された画像との比較であり、その結果、合成物のある領域に対する変化を識別する。1以上のプロセッサはさらに、撮像装置が合成物の部分の画像を撮影した際に(例えば、撮影したことに応答して)、画像が撮影された時のタイムスタンプと、画像が撮影された地理的位置とをメモリに格納するように構成されている。1以上のプロセッサはさらに、タイムスタンプ及び地理的位置の評価に基づいて、車両基地に対する1以上の合成物の在庫を追跡するように構成されている。
本明細書で使用される用語「構成要素」、「モジュール」、及びこれらの形式は、コンピュータ関連のエンティティ、すなわちハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すものとする。例えば、構成要素は、プロセッサ上で実行中のプロセス、プロセッサ、オブジェクト、インスタンス、実行ファイル、実行スレッド、プログラム、及び/又はコンピュータであってもよいが、これらに限定されない。説明のために、コンピュータ上で実行中のアプリケーション、及びコンピュータの両方が構成要素をなり得る。1以上の構成要素がプロセス及び/又は実行スレッド内に常駐することができ、構成要素は、1つのコンピュータ上に局在してもよいし、かつ/又は2台以上のコンピュータ間に分散配置されてもよい。
「アプリケーション」又は「システム」は、プロセッサによって実行されるメモリに格納された命令を介して1以上の機能を実行する1以上の構成要素又はモジュールを含むことができる。さらに、いくつかの機能を1つのモジュールとして説明しているが、複数の機能を、1以上のモジュール間で割り当ててもよい。さらに、1以上のアプリケーションは、本明細書に記載の1以上のモジュールを含むように提供することができる。
「例示的」という語、又はその各種態様は、例、事例、又は実例を意味するために使用される。「例示的な」と記載される任意の態様又は設計は、必ずしも他の態様又は設計よりも好ましい、又は有利であると解釈されるべきではない。さらに、例は、明瞭さと理解のために提供されており、特許請求された主題又は本開示に関係する部分をいかなる方法でも限定することを意図していない。
さらに用語「含む」、「含有する」、「有する」、「有している」、又はその各種態様が、詳細な説明又は特許請求の範囲で用いられている範囲では、そのような用語は、「備える」が請求項において移行句として用いられた際に解釈されるように、用語「備える」と同様の方法で包括的であることを意図している。
明細書及び特許請求の範囲において、以下の意味を有するいくつかの用語を用いる。文脈が別途明確に指示しない限り、単数の表現は複数の指示対象を含む。本明細書及び特許請求の範囲を通して用いた近似的な文言は、量的表現が関与する基本機能に変化をもたらすことなく変動することができる程度に量的表現を修飾するために適用することができる。したがって、「約」のような用語で修飾された値は、指定された厳密な値に限定されるものではない。いくつかの例で、近似的な文言は、その値を測定する計器の精度に対応する場合がある。さらに、特に明記しない限り、用語「第1の」、「第2の」等は、順序又は重要性を示すものではなく、「第1の」、「第2の」等は、1つの要素を別の要素と区別するために使用される。
本明細書で使用される「してもよい」及び「することができる」(「may」及び「may be」)という用語は、以下のような一組の状況内で、発生の可能性があることを示す。すなわち、指定された性質、特性もしくは機能を有すること、及び/又は修飾される別の動詞と関連する能力、性能、もしくは可能性の1以上を表現することによって当該動詞を修飾する。「してもよい」及び「することができる」の使用は、状況によっては、修飾された用語が適当でなく、可能でなく、かつ適切でもない場合があることを考慮しつつ、修飾された用語が、示される能力、機能、又は使用に適当であり、可能であり、又は適切であることを表す。例えば、状況によっては事象又は能力が期待できるが、一方、別の状況では、事象又は能力が生じる可能性がなく、この区別は、用語「してもよい」及び「することができる」によって捉えられている。
本明細書は、最良の態様を含む本発明を開示するとともに、当業者であれば、装置又はシステムを製造すること、及び用いること、並びに組み込まれた方法を実行することを含む、本発明の実施ができるようにするために、例を使用する。本発明の特許可能な範囲は、特許請求の範囲によって定義され、当業者に想起され得る他の例も包含し得る。このような他の例は、特許請求の範囲の文字通りの文言と相違しない構造要素を有する場合、又は特許請求の範囲の文言と実質的に異ならない均等の構造要素を含む場合、特許請求の範囲内にあることが意図されている。
100 システム
102 コントローラ
104 ソフトウェアモジュール
106 装置
108 証印
110 資産
200 システム
202 プロセッサ
204 第1通信インタフェース
206 第2通信インタフェース
208 メモリ
210 ユーザインタフェース
300 システム
302 データストア
304 画像分析モジュール
306 クエリモジュール
308 データパッケージモジュール
310 在庫モジュール
312 地理的位置モジュール
314 損傷モジュール
316 サポートデータ
400 第1の図
402 第2の図
500 タンク車
600 有蓋車
700 ホッパカー
800 長物車

Claims (24)

  1. 資産(110)の少なくとも一部、及び資産(110)に付された証印(108)の少なくとも一部の画像を撮影するように構成された装置(106)と、
    コントローラ(102)とを備えるシステム(200)であって、
    前記コントローラ(102)が、
    前記装置(106)から画像を受信し、
    前記資産(110)の資産タイプを判定し、
    前記判定された資産タイプに基づいて、証印(108)の位置を判定し、
    前記資産(110)に付された前記証印(108)を判定するために、前記判定された証印(108)の位置に対応する前記画像の少なくとも一部を分析することによって前記資産(110)を識別するように構成されている、システム(100,200)。
  2. 前記コントローラ(102)が、前記資産(110)の少なくとも一部の前記画像を分析することによって、前記資産(110)の前記資産タイプを判定するようにさらに構成されている、請求項1に記載のシステム(100,200)。
  3. 前記コントローラ(102)が、電子的に通信された資産タイプ識別の受信に基づいて、前記資産の前記資産タイプを判定するようにさらに構成されている、請求項1に記載のシステム(100,200)。
  4. 前記コントローラ(102)が、前記資産タイプに対する証印(108)位置と前記資産タイプとの関連づけを含むデータベースにアクセスするようにさらに構成されている、請求項1に記載のシステム(200)。
  5. 前記コントローラ(102)が、
    前記画像を、前記識別された資産(110)の識別情報と関連づけて、前記画像が撮影された位置又は前記画像が撮影された時刻の少なくとも一方と共に格納するようにさらに構成されている、請求項1に記載のシステム(200)。
  6. 前記コントローラ(102)が、
    複数の関連づけられた資産(110)に関する参照目録であって、前記複数の関連づけられた資産(110)を規定している参照目録を受信し、
    前記装置(106)によって撮影された画像に基づいて各資産(110)を識別することによって、前記複数の関連づけられた資産(110)に関する画像ベースの目録を生成し、
    差異を特定するために、前記参照目録と前記画像ベースの目録とを比較し、
    前記差異に関する通知を通信するようにさらに構成されている、請求項1に記載のシステム(200)。
  7. 前記コントローラ(102)が、
    前記資産(110)の過去画像をデータベースから検索し、
    前記画像を前記検索された過去画像と比較し、
    前記画像と前記過去画像との比較に基づいて、前記資産(110)の摩耗又は損傷の少なくとも一方の指標を判定し、
    前記資産(110)の摩耗又は損傷の前記指標に関する通知を送信するようにさらに構成されている、請求項1に記載のシステム(200)。
  8. 前記資産(110)の摩耗又は損傷の前記指標が、前記資産(110)のホイールにおける摩耗又は前記資産(110)の窪みの一方である、請求項7に記載のシステム(200)。
  9. 前記資産(110)の摩耗又は損傷の指標が、資産(110)の一部における封印が完全であるか否かである、請求項7に記載のシステム(200)。
  10. 前記コントローラ(102)が、前記画像を前記検索された過去画像と比較した際に、前記画像と前記検索された過去画像との間の環境変動を補償するように構成されており、前記環境変動が、時刻、明かりの変化、又は天候の状態のうち、少なくとも1つであり、前記天候の状態が、塵埃、木の葉、煙、雪、雨、霧の存在のうち、少なくとも1つであることを特徴とする、請求項7に記載のシステム(200)。
  11. 前記資産(110)が移動資産であり、前記装置(106)が静止しており、前記資産(110)が移動する経路に近接して配置されている、請求項1に記載のシステム(100,200)。
  12. 前記装置(106)が移動装置である、請求項1に記載のシステム(100,200)。
  13. 前記コントローラ(102)が、
    前記判定された証印(108)位置を含む前記資産(110)の第2画像を撮影するように前記装置(106)を作動させ、
    前記資産(110)に付されている証印(108)を判定するために、前記第2画像の少なくとも一部を分析することによって、前記資産(110)を識別するように構成されている、請求項1に記載のシステム(100,200)。
  14. 前記コントローラ(102)が、
    前記装置(106)に近接している前記資産(110)に関連づけられた信号を受信したことに応答して前記画像を撮影するように前記装置(106)を作動させるように構成されている、請求項1に記載のシステム(100,200)。
  15. 前記信号が、前記装置(106)に近接している前記資産(110)を検出するレールシステムに結合されたスイッチ、又は前記装置(106)に近接している前記資産(110)を検出する、前記資産(110)の位置追跡構成要素のうち、少なくとも一方から送られている、請求項14に記載のシステム(100,200)。
  16. 証印(108)、及びタイムスタンプもしくは地理的位置の一方又は両方を含む資産(110)の画像を撮影することと、
    前記資産(110)の資産タイプを識別することと、
    前記資産タイプの識別に少なくとも部分的に基づいて、前記資産(110)において前記証印(108)が配置されている位置を判定することと、
    前記証印(108)位置に対応する画像の少なくとも一部を分析することによって前記証印(108)を識別することと、
    前記識別された前記証印(108)に基づいて、前記資産(110)を識別することと、
    前記識別された資産(110)に関連づけられ、かつ前記タイムスタンプ又は前記地理的位置の一方又は両方に関連づけられた前記画像を格納することとを含む方法。
  17. 前記資産(110)の前記識別を確認するために、前記識別された資産(110)を在庫リストと照会することをさらに含む請求項16に記載の方法。
  18. 前記画像を過去に撮影された前記資産(110)の1以上の画像と比較することと、
    前記画像と前記過去に撮影された前記資産(110)の前記1以上の画像との比較に基づいて、前記資産(110)の摩耗又は損傷のうち少なくとも一方の指標を判定することとをさらに含む請求項16に記載の方法。
  19. 指定された地理的位置に関連づけられた、撮影された前記資産(110)の前記画像のセット又はサブセットである一連の画像を含む問い合わせ結果を送信することによって、前記資産(110)に関する問い合わせに応答することをさらに含む請求項16に記載の方法。
  20. 経路に沿って撮影された、前記資産(110)の前記画像のセット又はサブセットである前記一連の画像を含む問い合わせ結果を送信することによって、前記資産(110)に関する問い合わせに応答することをさらに含む請求項16に記載の方法。
  21. 指定された時間期間中に撮影された、前記資産(110)の前記画像のセット又はサブセットである、一連の画像を含む問い合わせ結果を送信することによって、前記資産(110)に関する問い合わせに応答することをさらに含む請求項16に記載の方法。
  22. 前記判定された証印(108)位置を含む前記資産(110)の第2画像を撮影することと、
    前記第2画像の少なくとも一部を分析することによって、前記証印(108)を識別することとをさらに含む請求項16に記載の方法。
  23. 前記第2画像を撮影する前に、前記第2画像内の前記証印(108)の識別を容易にするために撮像装置(106)のパラメータを修正することをさらに含む請求項22に記載の方法。
  24. レールシステムに結合された合成物の一部であって、証印(108)を含む画像を撮影し、メモリに格納するように構成される装置(106)と、
    プロセッサが、前記メモリから前記画像を受信して、前記画像に第1画像分析であって、結果として前記画像から前記証印(108)が識別される第1画像分析を行うために、前記プロセッサによって実行されるように構成されたソフトウェアモジュールであって、前記プロセッサが、前記合成物の前記一部を表すデータであって、前記合成物の前記一部の過去に格納された画像を含むデータである問い合わせ結果を受信するために、前記証印(108)を用いてデータストアに問い合せをすることを可能にするようにさらに構成されたソフトウェアモジュール(104)と、
    前記プロセッサが、前記画像及び前記過去に格納された画像に第2画像分析を行うために、前記プロセッサによって実行されるように構成されている第2のソフトウェアモジュールであって、前記第2画像分析が、前記画像と、前記合成物の前記一部の前記過去に格納された画像の比較であって、結果として前記合成物のある領域の変化を識別することである、第2のソフトウェアモジュール(104)と、
    前記プロセッサによって、前記合成物の前記一部の前記画像を撮影した際に前記プロセッサが、前記画像が撮影された時のタイムスタンプ及び前記画像が撮影された地理的位置を含むデータを前記プロセッサが前記メモリに格納することを可能にするように構成された第3のソフトウェアモジュールであって、前記プロセッサが、前記タイムスタンプ及び前記地理的位置の評価に基づいて車両基地のための1以上の合成物の在庫を追跡することを可能にするようにさらに構成されている第3のソフトウェアモジュール(104)とを備えるシステム(200)。
JP2016084110A 2015-04-29 2016-04-20 自動的に資産識別するための画像分析のシステム及び方法 Active JP6727013B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/700,078 2015-04-29
US14/700,078 US9710720B2 (en) 2015-04-29 2015-04-29 System and method of image analysis for automated asset identification

Publications (2)

Publication Number Publication Date
JP2016212848A true JP2016212848A (ja) 2016-12-15
JP6727013B2 JP6727013B2 (ja) 2020-07-22

Family

ID=57136006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016084110A Active JP6727013B2 (ja) 2015-04-29 2016-04-20 自動的に資産識別するための画像分析のシステム及び方法

Country Status (5)

Country Link
US (1) US9710720B2 (ja)
JP (1) JP6727013B2 (ja)
CN (1) CN106203343B (ja)
AU (1) AU2016202566B2 (ja)
DE (1) DE102016107767A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194481A (ja) * 2019-05-30 2020-12-03 株式会社デンソー 車両の撮影方法、車両の点検支援方法、車両の貸出方法、車両撮影プログラムおよび車両管理サーバ
WO2023203762A1 (ja) * 2022-04-22 2023-10-26 日本電気株式会社 情報処理装置、システム、方法、及びコンピュータ可読媒体

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713503B2 (en) 2017-01-31 2020-07-14 General Electric Company Visual object detection system
US10349491B2 (en) 2015-01-19 2019-07-09 Tetra Tech, Inc. Light emission power control apparatus and method
US10362293B2 (en) 2015-02-20 2019-07-23 Tetra Tech, Inc. 3D track assessment system and method
EP3365789A1 (en) * 2015-10-19 2018-08-29 Leapwork A/S Method, apparatus and system for task automation of computer operations based on ui control and image/text recognition
US10435052B2 (en) 2017-02-22 2019-10-08 Tetra Tech, Inc. Broken wheel detection system
CN109040155B (zh) * 2017-06-08 2021-06-08 中国移动通信集团浙江有限公司 资产识别方法和计算机设备
WO2019029969A1 (de) * 2017-08-10 2019-02-14 Siemens Mobility GmbH Sensoriell gesteuertes anpassen von odometrischen messparametern an wetterbedingungen
US20190064119A1 (en) * 2017-08-28 2019-02-28 Siemens Energy, Inc. Laser ultrasonic thermography inspection
DE102017215505A1 (de) * 2017-09-05 2019-03-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Prognostizieren einer baustellenbedingten Fahrstreckenänderung einer Fahrstrecke für ein Fahrzeug
EP3682436A4 (en) 2017-09-11 2021-06-16 Trelleborg Sealing Solutions U.S., Inc. LEAK DETECTION SYSTEM AND METHOD
KR102100474B1 (ko) * 2018-04-30 2020-04-13 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
US10807623B2 (en) 2018-06-01 2020-10-20 Tetra Tech, Inc. Apparatus and method for gathering data from sensors oriented at an oblique angle relative to a railway track
US10730538B2 (en) 2018-06-01 2020-08-04 Tetra Tech, Inc. Apparatus and method for calculating plate cut and rail seat abrasion based on measurements only of rail head elevation and crosstie surface elevation
US10625760B2 (en) 2018-06-01 2020-04-21 Tetra Tech, Inc. Apparatus and method for calculating wooden crosstie plate cut measurements and rail seat abrasion measurements based on rail head height
US11377130B2 (en) 2018-06-01 2022-07-05 Tetra Tech, Inc. Autonomous track assessment system
CN108974043A (zh) * 2018-08-09 2018-12-11 铁路愿景欧洲有限公司 铁路轨道勘测系统
CN109325482B (zh) * 2018-09-29 2022-09-27 北京易盘点科技有限公司 基于图像识别的固定资产盘点方法及装置
CN109178040A (zh) * 2018-11-01 2019-01-11 同方威视技术股份有限公司 列车识别系统及其方法、列车安全检查系统及其方法
US11454509B2 (en) * 2019-03-05 2022-09-27 International Business Machines Corporation Alert system for environmental changes
US11755965B2 (en) 2019-04-30 2023-09-12 Transportation Ip Holdings, Llc Asset identification and tracking system
WO2020232443A1 (en) 2019-05-16 2020-11-19 Tetra Tech, Inc. Autonomous track assessment system
CN112487270A (zh) * 2019-09-12 2021-03-12 北京白帽汇科技有限公司 基于图片识别进行资产分类及准确度校验的方法和装置
RU2730112C1 (ru) * 2020-03-02 2020-08-17 ООО "Ай Ти Ви групп" Система и способ идентификации объектов в составном объекте
CN111814500A (zh) * 2020-05-19 2020-10-23 北京新意互动数字技术有限公司 一种固定资产盘点方法、客户端及服务器
EP4140858B1 (en) * 2020-07-03 2024-05-22 Volvo Truck Corporation A method for guiding a vehicle
EP4086139A1 (en) * 2020-07-07 2022-11-09 Amsted Rail Company, Inc. Systems and methods for railway asset management
US11755845B2 (en) 2021-06-18 2023-09-12 International Business Machines Corporation Automated process for generating natural language descriptions of raster-based weather visualizations for output in written and audible form
US20230009954A1 (en) * 2021-07-11 2023-01-12 Percepto Robotics Ltd System and method for detecting changes in an asset by image processing
CN113570341B (zh) * 2021-07-30 2024-01-16 国网数字科技控股有限公司 一种配网设备信息录入方法及装置
CN113760931B (zh) * 2021-08-20 2023-12-29 济南浪潮数据技术有限公司 一种资源信息的存取方法、装置、设备和介质
US11822562B2 (en) * 2022-03-31 2023-11-21 Capital One Services, Llc Unstructured text processing for geographical location determination system
CN118365107A (zh) * 2024-03-29 2024-07-19 三峡高科信息技术有限责任公司 一种检修工具装备管理系统、方法、计算设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05143714A (ja) * 1991-07-04 1993-06-11 Nishi Nippon Riyokaku Tetsudo Kk 画像処理を利用した走行車両の異常監視方法及び異常監視システム
JPH08249413A (ja) * 1991-06-10 1996-09-27 Nissan Altia Co Ltd 車検場に於ける被検査車輌のナンバー自動読み取り装置およびそのナンバー自動読み取り方法
JPH11306484A (ja) * 1998-04-16 1999-11-05 Eiko Seisakusho:Kk 無人駐車場の車種別管理システム
JP2009001419A (ja) * 2007-05-21 2009-01-08 Nippon Kankyo Project:Kk コンテナ管理システム
JP2012198790A (ja) * 2011-03-22 2012-10-18 Nifty Corp 移動体位置推定サーバ
US20150032580A1 (en) * 2013-07-25 2015-01-29 The Crawford Group, Inc. Method and Apparatus for Integrated Image Capture for Vehicles to Track Damage

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070139182A1 (en) * 2005-12-19 2007-06-21 O'connor Jay D Emergency communications for the mobile environment
US7826938B2 (en) * 2005-12-22 2010-11-02 Mitsubishi Electric Research Laboratories, Inc. System for tracking railcars in a railroad environment
CA2560800C (en) * 2006-01-20 2014-08-26 Geo 3D Inc. Automated asset detection, location measurement and recognition
EP2003599A1 (de) * 2007-06-14 2008-12-17 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Codes
US7698029B2 (en) * 2008-08-19 2010-04-13 The Boeing Company Autonomous asset transportation method, apparatus and computer program product
US8639384B2 (en) * 2008-09-30 2014-01-28 Amazon Technologies, Inc. Systems and methods for receiving shipment parcels
KR20100099564A (ko) * 2009-03-03 2010-09-13 삼성전자주식회사 디지털 영상 처리기에서 먼지 보정 장치 및 방법
HK1146453A2 (en) * 2010-02-19 2011-06-03 Tracker Asia Ltd A system and method for locating physical assets
US20120033850A1 (en) * 2010-08-05 2012-02-09 Owens Kenneth G Methods and systems for optical asset recognition and location tracking
EP2423063B1 (en) * 2010-08-23 2013-03-06 Harman Becker Automotive Systems GmbH Method of detecting the braking of a vehicle
US20120051643A1 (en) * 2010-08-25 2012-03-01 E. I. Systems, Inc. Method and system for capturing and inventoring railcar identification numbers
US8296000B2 (en) * 2010-09-08 2012-10-23 Railcomm, Llc Tracking rolling stock in a controlled area of a railway
US9253251B2 (en) * 2010-11-03 2016-02-02 Endeavoring, Llc System and method for determining a vehicle proximity to a selected address
US10469579B2 (en) * 2010-12-16 2019-11-05 General Electric Company Method and system for data processing in a vehicle group
US9171209B2 (en) * 2012-02-23 2015-10-27 Tyco Electronics Uk Infrastructure Limited Overlay-based asset location and identification system
US10289108B2 (en) * 2012-03-15 2019-05-14 General Electric Company Methods and apparatus for monitoring operation of a system asset
US9081914B2 (en) * 2012-05-03 2015-07-14 The Boeing Company Component configuration system and methods of operating same
TWI459332B (zh) * 2012-05-15 2014-11-01 Ind Tech Res Inst 整合多攝影機影像的車輛追蹤方法及系統
US8712873B2 (en) * 2012-07-17 2014-04-29 Zortag, Inc. System for and method of remotely auditing inventoried assets
US9595017B2 (en) * 2012-09-25 2017-03-14 International Business Machines Corporation Asset tracking and monitoring along a transport route
US9805529B2 (en) * 2012-10-12 2017-10-31 United Parcel Service Of America, Inc. Concepts for asset identification
US9218586B2 (en) * 2012-11-15 2015-12-22 At&T Intellectual Property I, L.P. Asset management service for distributed computing environments
US8913850B2 (en) * 2013-01-28 2014-12-16 International Business Machines Corporation Information technology asset location using visual detectors
US9607462B2 (en) * 2013-03-18 2017-03-28 Kenneth Gerald Blemel System for anti-tamper parcel packaging, shipment, receipt, and storage
US9098747B1 (en) * 2013-04-16 2015-08-04 Google Inc. Systems and methods for identifying locations of infrastructure assets using aerial imagery
US9100572B2 (en) * 2013-05-24 2015-08-04 Xerox Corporation Methods and systems for confidence-based image processing
US9175966B2 (en) * 2013-10-15 2015-11-03 Ford Global Technologies, Llc Remote vehicle monitoring
US9530310B2 (en) * 2013-11-01 2016-12-27 Xerox Corporation Method and system for detecting and tracking a vehicle of interest utilizing a network of traffic image-capturing units
US9796400B2 (en) * 2013-11-27 2017-10-24 Solfice Research, Inc. Real time machine vision and point-cloud analysis for remote sensing and vehicle control
CN103745296A (zh) * 2013-12-05 2014-04-23 国家电网公司 一种基于多种信息识别方式和4g通讯网的资产管理系统
US9346168B2 (en) * 2014-05-20 2016-05-24 International Business Machines Corporation Information technology asset type identification using a mobile vision-enabled robot
US20150356520A1 (en) * 2014-06-10 2015-12-10 General Electric Company System and method for providing an interactive asset management interface
US9669850B2 (en) * 2014-09-08 2017-06-06 Genscape Intangible Holding, Inc. Method and system for monitoring rail operations and transport of commodities via rail
US20160203591A1 (en) * 2015-01-09 2016-07-14 Umm Al-Qura University System and process for monitoring the quality of food in a refrigerator

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08249413A (ja) * 1991-06-10 1996-09-27 Nissan Altia Co Ltd 車検場に於ける被検査車輌のナンバー自動読み取り装置およびそのナンバー自動読み取り方法
JPH05143714A (ja) * 1991-07-04 1993-06-11 Nishi Nippon Riyokaku Tetsudo Kk 画像処理を利用した走行車両の異常監視方法及び異常監視システム
JPH11306484A (ja) * 1998-04-16 1999-11-05 Eiko Seisakusho:Kk 無人駐車場の車種別管理システム
JP2009001419A (ja) * 2007-05-21 2009-01-08 Nippon Kankyo Project:Kk コンテナ管理システム
JP2012198790A (ja) * 2011-03-22 2012-10-18 Nifty Corp 移動体位置推定サーバ
US20150032580A1 (en) * 2013-07-25 2015-01-29 The Crawford Group, Inc. Method and Apparatus for Integrated Image Capture for Vehicles to Track Damage

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020194481A (ja) * 2019-05-30 2020-12-03 株式会社デンソー 車両の撮影方法、車両の点検支援方法、車両の貸出方法、車両撮影プログラムおよび車両管理サーバ
JP7183950B2 (ja) 2019-05-30 2022-12-06 株式会社デンソー 車両の撮影方法、車両の点検支援方法、車両の貸出方法、車両撮影プログラムおよび車両管理サーバ
WO2023203762A1 (ja) * 2022-04-22 2023-10-26 日本電気株式会社 情報処理装置、システム、方法、及びコンピュータ可読媒体

Also Published As

Publication number Publication date
AU2016202566A1 (en) 2016-11-17
CN106203343B (zh) 2021-06-29
US20160321513A1 (en) 2016-11-03
JP6727013B2 (ja) 2020-07-22
AU2016202566B2 (en) 2020-05-07
DE102016107767A1 (de) 2016-11-03
CN106203343A (zh) 2016-12-07
US9710720B2 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
JP6727013B2 (ja) 自動的に資産識別するための画像分析のシステム及び方法
US10373116B2 (en) Intelligent inventory management and related systems and methods
US11748705B2 (en) Automotive asset location management systems and methods
US10673948B2 (en) Trailer identification, inspection, and verification using a vehicle gateway
US20090115609A1 (en) Transaction originating proximate position unattended tracking of asset movements with or without wireless communications coverage
WO2020023441A1 (en) Systems for supply chain event management
US11004030B2 (en) Systems and methods to process product return requests
US10854055B1 (en) Systems and methods for artificial intelligence (AI) theft prevention and recovery
US10810535B2 (en) Loss prevention tracking system and methods
CN106663238A (zh) 用于对设施的监控对象的存量进行检测的系统
DE112018005021T5 (de) Systeme und verfahren zur einrichtung einer digitalen chain-of-custody
US20230185942A1 (en) Systems for multi-party dashboards
US20140114718A1 (en) Methods, apparatuses and computer program products for automating arrivals and departures
US20220129843A1 (en) Carrier utilization tracking
WO2021026174A1 (en) Systems for supply chain event data capture
US20140354400A1 (en) System for managing entry and exit of vehicles
CN105635941B (zh) 控制指定域内无线设备之间关联的系统和方法
CN104732363A (zh) 一种仓储调度系统
US20190279153A1 (en) Multi-threat maritime detection system
Hoff-Hoffmeyer-Zlotnik et al. Automobile Logistics 4.0: Advances Through Digitalization
US11592567B1 (en) Real-time automated yard audit
JP7162723B2 (ja) 自動車資産位置管理システムおよび方法
JP2023011529A (ja) マテリアルハンドリング環境内の資産の場所を推定する方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190326

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190410

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190507

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20190618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6727013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250