JP2019197541A - 生産現場映像でデータを抽出して送信する装置及び方法、生産現場映像で抽出されたデータを受信する装置及び方法、生産現場映像で抽出されたデータを送受信するシステム - Google Patents

生産現場映像でデータを抽出して送信する装置及び方法、生産現場映像で抽出されたデータを受信する装置及び方法、生産現場映像で抽出されたデータを送受信するシステム Download PDF

Info

Publication number
JP2019197541A
JP2019197541A JP2019078592A JP2019078592A JP2019197541A JP 2019197541 A JP2019197541 A JP 2019197541A JP 2019078592 A JP2019078592 A JP 2019078592A JP 2019078592 A JP2019078592 A JP 2019078592A JP 2019197541 A JP2019197541 A JP 2019197541A
Authority
JP
Japan
Prior art keywords
data
video
streaming
extracted
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019078592A
Other languages
English (en)
Inventor
キム、デヒ
Dae Hee Kim
ソ、ドンミン
Dong Min Seo
オ、ヘヨン
Hye Yong Oh
ピ、グァンフン
Gwan Hun Pi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3 N3n Co ltd
N3n Co ltd
Original Assignee
3 N3n Co ltd
N3n Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3 N3n Co ltd, N3n Co ltd filed Critical 3 N3n Co ltd
Publication of JP2019197541A publication Critical patent/JP2019197541A/ja
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/24—Pc safety
    • G05B2219/24215—Scada supervisory control and data acquisition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】生産現場映像でデータを抽出して送信する装置を提供する。【解決手段】システムにおいて、データ送信装置１４０は、生産現場の設備運営システム１１０のモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングするエンコーダ（ｅｎｃｏｄｅｒ）、リアルタイムでエンコーディングされたストリーミング映像を受信して映像分析アルゴリズムを介してリアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出する映像分析部と、リアルタイムでエンコーディングされたストリーミング映像及び映像分析モジュールから抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信する通信部と、を含む。【選択図】図１ａ

Description

本発明は、データを抽出して送信する方法に関し、より詳しくは、生産現場における映像データからデータを効率的に抽出して伝達する方法に関する。
本出願は、大韓民国の韓国産業技術評価管理院と産業通商資源部が主管する先端技術研究センター事業（ＡＴＣ（Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ｃｅｎｔｅｒ Ａｓｓｏｃｉａｔｉｏｎ）事業）（課題番号：１００５２４６４（２０１７年６月〜２０１９年５月３１日）、課題名：ＩｏＴ大容量データ解析のためのＭｕｌｔｉ−Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ技術開発）の結果物のうち一つである。
一般的に、製造業で要求する核心業務機能を簡単に説明すると、下記の通りである。
製造業は、人（Ｐｅｏｐｌｅ）、プロセス（Ｐｒｏｃｅｓｓ）、技術（Ｔｅｃｈｎｏｌｏｇｙ）と情報（Ｉｎｆｏｒｍａｔｉｏｎ）などの各階層で構成されている。製造業の情報統合化観点における製造プロセスは、原資材入庫から出荷まで成果改善につながれる基盤要素で構成された内部製造プロセスと製品設計、資材ソーシング（ｓｏｕｒｃｉｎｇ）、製品納期、製品サービス、工場設計と維持補修などで構成された外部プロセスで構成される。
価値連鎖につながれる製造業間のプロセスは、大いに、協力業体と製品開発に対する協業である製品開発協業、購買調達のための企業間取引及び生産現場間のリアルタイム情報統合化を具現する生産現場管理と関連した生産情報化分野に分類できる。
生産情報化分野で製造業間の情報統合化具現のための基盤となることができる生産現場の生産資源デジタル化観点における生産資源は、４Ｍ、即ち、Ｍａｎ（作業者）、Ｍａｃｈｉｎｅ（生産設備）、Ｍａｔｅｒｉａｌ（資材）、Ｍｅｔｈｏｄ（生産手順）で構成される。
一般的に、生産製品を自動で生産している生産設備（Ｍａｃｈｉｎｅ）は、デジタル制御機器であるＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）、工作機械、ＦＭＳ（Ｆｌｅｘｉｂｌｅ Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｓｙｓｔｅｍ）などのような複合自動化設備などで制御される。主に、制御機器の自動化水準によって異なるが、リアルタイムベースの通信プロトコルの支援により制御機器から生産設備に関連情報が自動で収集される。
しかし、生産設備がどんなに自動化されても生産工程で使われる自動化装備である設備運営システムは、設備及び装備の保安と変数の統制のために、設備現場の同一ネットワーク内の物理的、論理的な保安政策下に統制運営するのが一般的であり、ＭＥＳ（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍｓ）やＥＲＰ（企業資源管理）のような全般的な生産計画及び／または経営管理システムとは分離して運営されるのが一般的であるため、二つのシステム間の情報を統合しにくいという問題点がある。
製造現場データと生産指示データを統合するためには別途のインターフェース開発プログラム（Ｉｎｔｅｒｆａｃｅ Ｐｒｏｇｒａｍ）が要求される。これは製造現場に存在する設備の数、設備運営システムの数及び開発言語の数と連結方式と同じ規模で構築されなければならないため、設計に難しさがある。
前述した問題点を解決するための本発明の一態様による目的は、設備及び装置を運営する同一ネットワーク内の設備運営システムのモニタディスプレイ画面のストリーミング映像情報をリアルタイムでエンコーディングし、エンコーディングされた映像でデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することで数値及び／またはテキストデータを抽出し、これをデータエンジンに送信してデータエンジンでデータを効率的に統合できるように支援する生産現場映像でデータを抽出して送信する装置及び方法を提供することにある。
また、本発明の他の態様による目的は、遠隔地でエンコーディングされた映像をデコーディングしてリアルタイムモニタリングと制御を実行することができる装置及び方法を提供することにある。
前記目的を達成するための本発明の一態様による生産現場映像でデータを抽出して送信する装置は、生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングするエンコーダ（ｅｎｃｏｄｅｒ）、前記リアルタイムでエンコーディングされたストリーミング映像を受信して映像分析アルゴリズムを介して前記リアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出する映像分析部、及び前記リアルタイムでエンコーディングされたストリーミング映像及び前記映像分析モジュールから抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信する通信部を含む。
前記設備運営システムは、生産自動化プロセス（ｐｒｏｃｅｓｓ）で、センシング／制御レベル、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）及びＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）のうち少なくとも一つに基づくシステムを含む。
前記映像分析部は、前記映像分析アルゴリズムを介してデータ表出位置を把握してタギングすることによって、前記リアルタイムでエンコーディングされたストリーミング映像内の数値データ及びテキストデータを抽出する。
前記抽出された数値データ及びテキストデータは、前記データエンジンで前記設備運営システムの管理対象設備の状態変化を示すテーブル（ｔａｂｌｅ）に加工可能である。
前記データ送信装置は、前記リアルタイムでエンコーディングされたストリーミング映像及び前記設備運営システムの第１の映像取得部から撮影された現場映像データを受信する映像分配部をさらに含む。
前記リアルタイムでエンコーディングされたストリーミング映像、前記抽出されたデータ及び前記現場映像データを時間情報に基づいて同期化してローカルストーレッジに格納し、または前記データエンジンにリアルタイム送信する。
前記映像分配部は、前記リアルタイムでエンコーディングされたストリーミング映像及び前記現場映像データと関連した映像出力条件情報を取得し、前記取得された映像出力条件情報に基づいて前記リアルタイムでエンコーディングされたストリーミング映像及び前記現場映像データの解像度を調節し、前記リアルタイムでエンコーディングされたストリーミング映像データ及び前記現場映像データを調節された解像度で前記データエンジンに送信する。
前記映像分配部は、前記リアルタイムでエンコーディングしたストリーミング映像の第１の基準解像度及び前記第１の映像取得部から取得される現場映像データの第２の基準解像度が前記映像出力条件上で維持されつつ、前記データエンジンへのデータ送信帯域幅が最小になるように前記リアルタイムでエンコーディングされたストリーミング映像及び前記現場映像データの解像度を決定する。
前記映像分析部及び前記映像分配部を制御するコントローラは、前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データの少なくとも一部は、キュー（ｑｕｅｕｅ）に記録されつつ、前記データエンジンに中継されるように制御し、前記コントローラは、前記データエンジンから周期的に受信される状態報告に基づいて、（ｉ）前記データエンジンに、前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データを中継する中継モード及び（ｉｉ）ローカルストーレッジに前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データを格納する記録モードのうち一つで動作モードをスイッチングするスイッチング部を含む。
前記スイッチング部は、前記データエンジンからの状態報告の無応答時点を基準にしてキューからバッファリングされた前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データが前記ローカルストーレッジに記録されるように動作モードをスイッチングする。
前記スイッチング部は、周期的に前記データエンジンから状態報告を受信しつつ、前記データエンジンからの報告時間を測定して平均報告受信時間を計算し、前記データエンジンからの前記状態報告の受信時間と臨界時間を比較して録画障害発生可否を判断し、前記判断結果によって前記中継モードまたは前記記録モードへのスイッチングを実行し、前記障害発生可否の判断は、前記測定された平均報告受信時間及び最大バッファリング可能時間のうち少なくとも一つを考慮して測定された報告遅延時間に基づいて判断する。
前記設備運営システムは、第１のネットワーク（ａ ｆｉｒｓｔ ｎｅｔｗｏｒｋ）ベースのシステムであり、前記データエンジンは、第２のネットワーク（ａ ｓｅｃｏｎｄ ｎｅｔｗｏｒｋ）ベースの装置である。
前記映像分析部は、リアルタイムでエンコーディングされる第１のストリーミング映像と前記第１のストリーミング映像に後続する第２のストリーミング映像との間のウィンドウ（ｗｉｎｄｏｗ）期間内の変化と関連した情報に基づいて映像送信フレームレート（ｆｒａｍｅ ｒａｔｅ）を決定することができる。
前記目的を達成するための本発明の一態様による生産現場映像でデータを抽出して送信する方法は、生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングするステップ、前記リアルタイムでエンコーディングされたストリーミング映像を受信して映像分析アルゴリズムを介して前記リアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出するステップ、及び前記リアルタイムでエンコーディングされたストリーミング映像及び前記映像分析モジュールから抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信するステップを含む。
前記目的を達成するための本発明の他の態様による生産現場映像で抽出されたデータを受信する装置は、第１の端末から、生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像をリアルタイムでエンコーディングしたストリーミング映像データ及び前記ストリーミング映像データから抽出されたデータを受信する受信部、前記受信されたストリーミング映像データをデコーディングするデコーダ（ｄｅｃｏｄｅｒ）、及び前記デコーディングされたストリーミング映像データと前記抽出されたデータを時間情報に基づいて同期化して格納するローカルストーレッジを含む。
前記ストリーミング映像データは、生産自動化プロセス（ｐｒｏｃｅｓｓ）で、センシング／制御レベル、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）及びＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）のうち少なくとも一つに基づく映像データである。
前記データ受信装置は、前記受信部が、通信ネットワークを介して第２の端末から生産自動化プロセスの製造実行ドメイン及び企業資源／計画と関連したビジネスドメインのうち少なくとも一つと関連した生産指示データを受信し、前記抽出されたデータと、前記生産指示データを比較するデータ比較部をさらに含む。
前記生産指示データは、ＭＥＳ（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍｓ）及びＥＲＰ（Ｅｎｔｅｒｐｒｉｓｅ Ｒｅｓｏｕｒｃｅ Ｐｌａｎｎｉｎｇ）のうち少なくとも一つを含む。
前記目的を達成するための本発明の他の態様による生産現場映像で抽出されたデータを受信する方法は、生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像をリアルタイムでエンコーディングしたストリーミング映像データ及び前記ストリーミング映像データから抽出されたデータを受信するステップ、前記受信されたストリーミング映像データをデコーディングするステップ、及び前記デコーディングされたストリーミング映像データと前記抽出されたデータを時間情報に基づいて同期化して格納するステップを含む。
前記目的を達成するための本発明の他の態様による生産現場映像で抽出されたデータを送受信するシステムは、生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングし、前記リアルタイムでエンコーディングされたストリーミング映像に対して映像分析アルゴリズムを介して前記リアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出し、前記リアルタイムでエンコーディングされたストリーミング映像及び前記抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信するデータ送信装置、及び前記リアルタイムでエンコーディングしたストリーミング映像データ及び前記抽出されたデータを受信し、前記受信されたストリーミング映像データをデコーディングし、前記デコーディングされたストリーミング映像データと前記抽出されたデータを時間情報に基づいて同期化して格納するデータエンジンを含む。
本発明の生産現場映像でデータを抽出して送信する装置及び方法によると、設備運営システムで管理する各設備の現在モニタリングされるデータと生産計画及び経営管理システムのデータを容易に統合できるようにする効果がある。
本発明の一実施例に係るデータ送信装置を含むシステムを概略的に示すブロック図である。 製造システムの階層構造を示す概念図である。 本発明の一実施例に係るデータ送信装置が時間情報に基づいて同期化して生産と関連したデータを格納する方法を説明するための概念図である。 本発明の一実施例に係るデータ送信装置を具体的に示す詳細ブロック図である。 本発明の一実施例に係るデータ送信装置のエンコーダ（ｅｎｃｏｄｅｒ）を具体的に示す詳細ブロック図である。 本発明の一実施例に係るデータ送信装置のエンコーディング部を具体的に示す詳細ブロック図である。 設備運営システムのモニタディスプレイ画面でデータ表出位置をタギング（ｔａｇｇｉｎｇ）する形状を示す例示図である。 本発明の一実施例に係るデータ送信装置の映像分配部が適用しているＰＯＤ（Ｐｉｘｅｌ Ｏｎ Ｄｅｍａｎｄ）方式を示す概念図である。 本発明の一実施例に係るデータ送信装置から受信されるデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）で活用する例示的な画面を示す。 本発明の一実施例に係るデータ送信装置からデータを受信して表示するデータエンジンを具体的に示す詳細ブロック図である。 本発明の他の実施例に係るデータ送信装置ベースの二重録画のためのシステムを概略的に示す概念図である。 本発明の他の実施例によって二重録画を実行するデータ送信装置の構成を具体的に示す詳細ブロック図である。 図１１のスイッチング部における障害判断方法を示す流れ図である。
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明する。
しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解しなければならない。
第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的としてのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。及び／またはという用語は、複数の関連記載項目の組み合わせまたは複数の関連記載項目のうちいずれか一つの項目を含む。
一構成要素が他の構成要素に“連結されている”または“接続されている”と言及された場合、該当他の構成要素に直接的に連結されており、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解しなければならない。それに対し、一構成要素が他の構成要素に“直接連結されている”または“直接接続されている”と言及された場合、中間に他の構成要素が存在しないと理解しなければならない。
本出願で使用した用語は、単に特定の実施例を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願において、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないと理解しなければならない。
技術的または科学的な用語を含めてここで使われる全ての用語は、他の意味で定義されない限り、本発明が属する技術分野において、通常の知識を有する者により一般的に理解される意味である。一般的に使われる辞書に定義されている用語は、関連技術の文脈上意味と一致すると解釈されなければならず、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。
以下、添付図面を参照し、本発明の好ましい実施例を詳細に説明する。本発明を説明するにあたって、全体的な理解を容易にするために、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
図１ａは、本発明の一実施例に係るデータ送信装置を含むシステムを概略的に示すブロック図である。図１ａに示すように、本発明の一実施例に係るデータ送信装置を含むシステムは、設備運営システム１１０、映像取得部１２０、第１のネットワーク１３０、データ送信装置１４０、及びデータエンジン１５０を含むことができる。
図１ａを参照すると、設備運営システム１１０は、生産製造現場のモニタリング及び設備状態把握及び実績集計のためのシステムを示す。生産設備は、生産工場に設置された生産設備を意味し、生産設備の状態は、温度、湿度、電力、電圧、電流、圧力、バルブ／スイッチ開閉可否などの物理的現象だけでなく、実績と関連した状態情報を含むことができる。設備運営システム１１０は、複数個のセンサに基づいて検知し、または設備自体の動作状態を直接認知する形態で、生産設備の作業状態を検知してこれを電気的信号に算出でき、算出された信号をデータ化して運営系画面映像を生成することができる。また、設備運営システム１１０は、図１ｂを参照して説明する。
図１ｂは、製造システムの階層構造を示す概念図である。
図１ｂを参照すると、レベル１ドメイン（Ｌｖ．１ Ｄｏｍａｉｎ）は、設備制御装置と関連したドメインであり、コンポーネントコントローラ、ロボット及びセンサベースのドメインである。ここには、ＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）及び／またはＰＣＳのような設備制御と関連したシステムが含まれる。また、工場内の無形の基本工程及びその工程を担当する物理的エンティティである設備サポートは、最も下位階層に存在する。
レベル２ドメイン（Ｌｖ．２ Ｄｏｍａｉｎ）は、生産制御システムと関連したドメインであり、生産ビッグデータ分析、サイバ物理（ＣＰＳ：Ｃｙｂｅｒ Ｐｈｙｓｉｃａｌ Ｓｙｓｔｅｍ）技術などが活用されることができる。ＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）及びＤＣＳ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ）が前記レベル２ドメインと関連したシステムである。生産自動化の最前方にあるレベル１ドメインの機器（センサ、アクチュエータ、電気モータ、コンソール、スイッチ、バルブ、コネクタなどのコンポーネント）と連動された物理仮想システムがこのレベルに属することができる。即ち、機械及びプロセスで一種のハードウェア−ソフトウェアインターフェースに該当し、ＰＬＣ（マスタ）−センサノード（スレーブ）の関係を形成する。場合によっては、下位ＰＬＣや産業用ＰＣ、機械の内蔵コントローラを担当する上位のマスタＰＬＣを備えて運営できる。
ＰＬＣは、上位レベル（主に、レベル３のＭＥＳ）で定義されたｐａｒｔ ｃｏｕｎｔ、ｓｃｒａｐ ｃｏｕｎｔ、Ｐｒｏｄｕｃｔ ＩＤ、Ｏｐｅｒａｔｏｒ ＩＤ、Ｐｒｏｄｕｃｔｉｏｎ Ｏｒｄｅｒ ＩＤ、Ｉｄｅａｌ Ｃｙｃｌｅ Ｔｉｍｅ、Ｓｈｉｆｔ、Ａｖａｉｌａｂｌｅ Ｉｎｄｉｃａｔｏｒ、Ｒｕｎｎｉｎｇ Ｉｎｄｉｃａｔｏｒ、Ｄｏｗｎｔｉｍｅ Ｉｎｄｉｃａｔｏｒなどの項目に対してセンサや機械の信号を利用して該当情報を収集及びその値によって対象エンティティを制御し、結果を再び上位レベルに伝達する。
レベル３ドメイン（Ｌｖ．３ Ｄｏｍａｉｎ）は、製造実行システムと関連したドメインであり、単位工場生産実績集計、計画基盤実行分析、工場在庫中心の加工費計算と関連した業務を実行するための階層である。ＭＥＳ（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍ）、ＷＭＳ（Ｗａｒｅｈｏｕｓｅ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）が前記レベル３ドメインと関連したシステムである。
レベル４ドメイン（Ｌｖ．４ Ｄｏｍａｉｎ）は、企業資源／計画と関連したビジネスドメインであり、財務／会計中心の企業資源管理（ＥＲＰ）、研究開発、需要予測及び生産計画管理、原資材、製品在庫中心管理などが行われる階層である。ＥＲＰ（Ｅｎｔｅｒｐｒｉｓｅ Ｒｅｓｏｕｒｃｅ Ｐｌａｎｎｉｎｇ）外に、ＣＲＭ（ｃｕｓｔｏｍｅｒ ｒｅｌａｔｉｏｎｓｈｉｐ ｍａｎａｇｅｍｅｎｔ）、ＳＣＭ（Ｓｕｐｐｌｙ Ｃｈａｉｎ Ｍａｎａｇｅｍｅｎｔ）、ＰＬＭ（Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ）などのシステムがボンドメインと関連づけられている。レベル３ドメインとレベル４ドメインのデータは、生産指示データとも呼ばれる。
レベル１ドメイン（センシング、制御）とレベル２ドメインは、主に、有線連結または、設備及び装備運営の保安と変数の統制のために、政策的に物理的な場所と保安ネットワーク運営政策により分離運営され、それに対し、レベル３以上のドメインは、一般的な事務室環境で動作する。そのため、二つのドメイン間の疎通及び／またはデータ収集が不完全するため、両者間の円滑な通信及びデータ送受信が要求されることができる。前記同一ネットワークは、ネットワーク保安政策による完全な疎通及びデータ収集が難しい場合がある。
これと関連して、本発明の実施例に係るデータ送信装置１４０と連動する設備運営システム１１０は、レベル１及び／またはレベル２ドメインと関連した運営系画面映像を取り扱い、第１のネットワーク１３０を介してデータ送信装置１４０と通信する。また、データ送信装置１４０は、有線及び／または無線ネットワークを介してレベル３及び／またはレベル４ドメインベースのデータエンジン１５０と通信できる。このような関係で、データ送信装置１４０は、レベル１／レベル２ベースのシステムと第１のネットワーク１３０を介して通信可能であり、会社ネットワークともつながれていてレベル３／レベル４ベースのシステムも全て取り扱うことができる。また、レベル１／レベル２と関連したデータをデータエンジン１５０に中継してデータエンジン１５０でレベル３／レベル４データとレベル１／レベル２データの比較分析が円滑に行われるようにする機能を遂行することができる。
再び、図１ａを参照すると、このような関係で、データ送信装置１４０は、第１のネットワーク１３０を介してレベル１及び／またはレベル２ドメインベースの設備運営システム１１０及び／または映像取得部１２０と通信する。設備運営システム１１０は、センサ／制御、ＰＬＣ及びＰＣＭベースのレベル１ドメインとＳＣＡＤＡベースのレベル２ドメインと関連したシステムであり、前記ドメインのプログラムにより生成される運営系画面を取り扱う。前記運営系画面は、設備運営システム１１０のモニタを介してディスプレイされる。このとき、設備運営システム１１０は、設備運営システム１１０のモニタディスプレイ画面の映像データをストリーミング（ｓｔｒｅａｍｉｎｇ）方式にデータ送信装置１４０のエンコーダに提供する。エンコーダは、リアルタイムで受信されるディスプレイ画面のストリーミング映像データをエンコーディングして映像分析部に提供し、映像分析部は、リアルタイムエンコーディングされたストリーミング映像で意味を有するデータを抽出してローカルストーレッジに直接格納し、または通信部を介してデータエンジン１５０にリアルタイムで送信できる。また、データ送信装置１４０は、映像分析部で抽出された有意味なデータ（例えば、数値及び／またはテキストデータ）をローカルストーレッジに格納し、またはデータエンジン１５０に送信できる。
また、映像取得部１２０は、設備運営システム１１０がモニタリングする設備と関連した映像としてＳＣＡＤＡシステムに含まれる構成要素である。映像取得部１２０は、カメラのような映像撮影手段で構成され、撮影された生産現場映像データは、第１のネットワーク１３０を介してリアルタイムでデータ送信装置１４０の映像分配部に提供される。映像分配部は、エンコーダでリアルタイムでエンコーディングされたストリーミング映像データ及び映像取得部で撮影した現場映像データを受信してデータエンジン１５０からの出力条件に合うように解像度を調節して映像をデータエンジン１５０に提供する。
データエンジン１６０は、会社ネットワークを介して外部装置と連動するサーバベースのデバイスである。即ち、会社ネットワークを介して外部装置からＭＥＳ及び／またはＥＲＰのようなレベル３／レベル４ベースのデータを受信することができる。また、データ送信装置１４０から受信されたストリーミング映像データ、抽出されたデータ及び現場映像データを分析及びモニタを介してひと目で見られるように表示でき、このとき、前記レベル３／レベル４ベースのデータを同時に表示及び比較分析することによって現在生産効率性期待実績などを確認することができる。
図２は、本発明の一実施例に係るデータ送信装置が時間情報に基づいて同期化して生産と関連したデータを格納する方法を説明するための概念図である。
図２を参照すると、データ送信装置のコントローラは、受信される生産現場の設備と関連したデータを時間情報に基づいて同期化し、ローカルストーレッジに格納する。このとき、同期化のために、設備の状態と関連した映像及び／または抽出された数値／テキストデータは、タイムスタンプ（ｔｉｍｅ ｓｔａｍｐ）のような時間情報を挿入してデータエンジンに提供されることができる。
このとき、時間情報と共に格納される情報は、エンコーダを介してリアルタイムでエンコーディングされた設備運営システムのモニタストリーミング映像データ、映像取得部から受信される少なくとも一つの現場データ（生産現場のＣＣＴＶ映像等）、設備の状態データ（温度、湿度、電力、電圧、電流、圧力、バルブ／スイッチ開閉可否だけでなく、実績関連データ等）を含むことができる。このような設備の状態関連データが時間情報と共に同期化されてローカルストーレッジに格納されることができる。このとき、物理的に格納されるファイル位置を同一または異なるようにすることができる。
また、このように同期化されて格納される情報は、格納と同時にデータエンジンに送信されることができる。または、前記同期化された情報は、ローカルストーレッジの格納無しでリアルタイム通信プロトコルを介してリアルタイムでデータエンジンに送信されることができる。このとき、タイムスタンプ情報と共に送信されてデータエンジンでも時間情報を含んでエンコーディングされたストリーミング映像データ、現場データ及び状態データを加工することができる。
図３は、本発明の一実施例に係るデータ送信装置を具体的に示す詳細ブロック図である。図３に示すように、データ送信装置３００は、エンコーダ３１０、コントローラ３２０、通信部３３０を含むことができる。このとき、エンコーダ３１０は、別途のコンピュータ装置で具現されることができる。また、エンコーダ３１０外にそれぞれの構成要素（例えば、映像分配部３２４）も個別コンピュータ装置で具現されることができ、多い場合は３個以上のコンピュータ装置の組合で具現されることができる。または、一つのコンピュータ装置内のコンポーネントで具現されることもできる。
図３を参照すると、設備運営システムのモニタディスプレイ画面のストリーミング映像データは、データ送信装置３００のエンコーダ３１０に提供される。エンコーダ３１０は、受信される設備運営システムのモニタディスプレイ画面データに基づいてリアルタイムでエンコーディングを実行することができる。受信されるディスプレイ画面データの毎フレームをキャプチャ（ｃａｐｔｕｒｅ）することでリアルタイムでエンコーディングできる。また、リアルタイムでエンコーディングされたデータをコントローラ３２０に提供する。
コントローラ３２０は、映像分析部３２２、及び映像分配部３２４を含むことができる。
映像分析部３２２は、リアルタイムでエンコーディングされたデータで数値及び／またはテキストで表示されるデータを抽出する。このとき、データ表出位置をタグするようにすることができる。これはユーザが直接タグ位置を設定することによって行われることもあり、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）のような数字／テキスト光学認識技術を使用して装置自体的にタギングが行われるようにすることができる。それによって、典型的なビッグデータ（Ｂｉｇ Ｄａｔａ）で有意味なデータを収集することができる。前記映像分析部３２２で抽出した数値／テキストデータは、各設備の状態を示すことができるように加工されて格納されることができる。
映像分配部３２４は、エンコーダ３１０で生成されたストリーミング映像データを受信し、外部の映像取得部から現場映像データを受信する。また、映像分配部３２３は、データエンジンから出力条件と関連した情報を受信する。また、データエンジンの出力条件に合うように各映像の解像度を決定する。その後、決定された解像度で映像を再エンコーディングして通信部３３０に提供する。その後、通信部３３０は、調節された解像度で再エンコーディングされた映像データをデータエンジンに送信できる。
通信部３３０は、データエンジンにデータを送信する構成要素であって、アンテナ及び／または通信プロセッサで具現されることができる。
図４は、本発明の一実施例に係るデータ送信装置のエンコーダ（ｅｎｃｏｄｅｒ）を具体的に示す詳細ブロック図である。図４に示すように、本発明の一実施例に係るエンコーダは、映像受信部４１０、第１の変換部４２０、第２の変換部４３０、エンコーディング部４４０、第２の変換部４５０、ミキサ４６０、命令受信部４７０及び命令提供部４８０を含むことができる。
図４を参照すると、映像受信部４１０は、設備運営システムからモニタディスプレイ画面映像をストリーミング形態で受信する。映像受信部４１０は、有線（例えば、デジタルインターフェース）または無線で連結された状態で設備運営システムのモニタディスプレイ画面に対するストリーミング映像データをリアルタイムで受信することができる。
映像受信部４１０は、ＨＤＭＩ／ＤＶＩのようなデジタルインターフェースを活用することができ、これを介して受信された設備運営システムのストリーミング映像データをＭＩＰＩ ＣＳＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）に変換できる。ＭＩＰＩ ＣＳＩは、設備運営システムとホストプロセッサとのインターフェースである。これはＣＳＩ−１、ＣＳＩ−２、ＣＳＩ−３及びＣＳＩ−４のような標準プロトコルにしたがう。
第１の変換部４２０は、映像受信部４１０からＭＩＰＩ ＣＳＩベースの設備運営システムのストリーミング映像データを受信してＹＵＶデータフォーマットに変換する。本発明の実施例によると、変換されたＹＵＶデータは、ＹＵＶ４２０データフォーマットを含むことができる。前記ＹＵＶ４２０データフォーマットは、既存システムとの互換性のためのレガシフォーマット（ｌｅｇａｃｙ ＹＵＶ ４２０）と低費用実行のためのノンレガシＹＵＶ４２０（ｎｏｎ−ｌｅｇａｃｙ ＹＵＶ ４２０）フォーマットとを含むことができる。第１の変換部４２０は、二つに分割されたチャネルを介して第２の変換部４３０、４５０に前記ＹＵＶフォーマットの設備運営システムストリーミング映像データを提供する。このとき、第２の変換部４３０を介したチャネルではエンコーディングを介してコントローラへの送信が行われ、第２の変換部４５０を介したチャネルではミキシングを介してバイパスモニタ４０５への画面データ提供が行われることができる。
第２の変換部４３０、４５０は、前記ＹＵＶデータをＲＧＢデータに変換する。ＹＵＶフォーマットは、高い圧縮率を有することができるため、これを赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）を有する低い圧縮率のＲＧＢフォーマットのデータに変換することが好ましい。第２の変換部４３０の変換方法は、４：２：０、４：２：２、及び４：４：４変換方式のうち少なくとも一つが使われることができる。ただし、必ずこれに限定されるものではない。
エンコーディング部４４０は、第２の変換部４３０で変換されたＲＧＢフォーマットの設備運営システムのストリーミング映像データをエンコーディングする。エンコーディング方式では、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（Ｈ．２６５）、Ｈ．２６４／ＡＶＣ、ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＤｉｖＸ、ＷＭＶ（Ｗｉｎｄｏｗ Ｍｅｄｉａ Ｖｉｄｅｏ）、ＶＰ８、ＶＰ９等、多様な方式が使われることができる。これはユーザ設定で選択可能であり、ユーザインターフェースを介して変更されることができる。また、エンコーディング部４４０は、ユーザ設定を介して、解像度、フレームレート（ｆｒａｍｅ ｒａｔｅ）及び／またはビットレート（ｂｉｔ ｒａｔｅ）を変更してデータをエンコーディングすることができる。エンコーディング部４４０は、一つのフレーム単位でデータをエンコーディングすることができ、または一つのフレームを分割した分割フレーム単位（例えば、１／４フレーム）でエンコーディングし、エンコーディングされたデータをコントローラに提供できる。
コントローラは、エンコーディング部４４０を介してエンコーディングされた設備運営システムのストリーミング映像データをデータエンジンに送信する。コントローラは、エンコーディング部４４０から一つの完成されたフレームを受信してパケット化した後、データエンジンに送信できる。または、分割フレーム単位のエンコーディングされたデータを受信してパケット化してデータエンジンに送信することもできる。ＲＴＰまたはＲＴＳＰのようなリアルタイム通信プロトコルを介してエンコーディングされたデータを第３の端末に送信する。
ミキサ４６０は、第２の変換部４５０を介して変換されたＲＧＢフォーマットの設備運営システムのストリーミング映像データをＨＤＭＩ／ＤＶＩのようなデジタルインターフェース及び／または無線ネットワークを介して出力可能な形態でミキシングする。ミキシングされたデータは、前記デジタルインターフェース及び／または無線ネットワークを介して連結されたバイパスモニタ４０５に提供される。
このようなミキシング過程を介したビデオストリーム出力によってバイパスモニタ４０５は、データ送信装置で処理されてデータエンジン側に送信される画面をデータ送信装置のユーザに表示でき、前記データ送信装置のユーザは、現在遠隔制御される可能性がある設備運営システムの画面を確認することができ、また、遠隔制御により変更される設備運営システムのモニタディスプレイ画面を確認することができる。例えば、遠隔地のデータエンジンのユーザが設備運営システムの特定アイコンをクリックしてアイコンを開けた場合、このような設備運営システムの画面内の変化がバイパスモニタ４０５に表示されてデータ送信装置のユーザが知覚できるようにする。
命令受信部４７０は、コントローラを媒介にしてデータエンジンからの制御命令を受信する。前記制御命令は、設備運営システムに対する遠隔地における制御命令であり、設備運営システムのモニタ画面を見つつ、データエンジンのユーザがデータエンジンと連結されたユーザインターフェース（図示せず）を利用して提供する命令語である。これはカーソル移動、カーソルクリック、文字／数字／符号入力、命令語入力などを含むことができる。
命令提供部４８０は、命令受信部４７０で受信した制御命令をパーシングして設備運営システムに提供する。設備運営システムは、これを受信してデータエンジンと関連したユーザの命令を実行する。
図５は、本発明の一実施例に係るデータ送信装置のエンコーディング部を具体的に示す詳細ブロック図である。図５に示すように、本発明の一実施例に係るエンコーディング部５００は、コーデック選択部５１０、解像度調節部５２０、フレームレート調節部５３０及びビットレート調節部５４０を含むことができる。
図５を参照すると、コーデック選択部５１０は、複数個のコーデック（コーデック１、コーデック２、．．．、コーデックＮ）のうち一つのコーデック方式を選択する。コーデック選択部５１０は、ユーザ設定によって複数のコーデックのうち一つを選択可能である。コーデック選択部５１０は、デフォルト（ｄｅｆａｕｌｔ）に設定されたコーデック１を介してエンコーディングを実行する中に、ユーザ設定によりコーデック変更がある場合、変更設定されたコーデック２を介してエンコーディングを実行することができるように制御する。
解像度調節部５２０は、エンコーディングと関連してフレームの解像度を調節する。即ち、エンコーディングされたデータの表現の繊細さの程度を調節することができる。これは水平画素及び垂直画素の数に定義されることができる。これもデフォルト値に設定される数値が存在でき、ユーザインターフェースを介してユーザが任意に値を変更することができる。または、複数個のモード（３８４０×２１６０、１９２０×１０８０、１２８０×７２０、１０２４×７６８、８００×６００、３２０×１８０等）を設定しておき、このうち一つを可変選択するようにすることができる。
フレームレート調節部５３０は、エンコーディングと関連してフレームレートを調節し、ビットレート調節部５４０は、ビットレートを調節する。フレームレート調節部５３０は、ｆｐｓ１５、３０、６０等、多様なフレームレートを用意し、解像度にかかわらず設定したｆｐｓを適用することができる。フレームレートとビットレートもデフォルト値として一定値が設定され、ユーザインターフェースを介してユーザが任意に該当値を変更することができる。フレームレートは秒当たり処理されるフレーム数に定義され、ビットレートは秒当たり処理される情報の量に定義されることができる。ユーザは、このようなフレームレート及び／またはビットレートを任意に調節することによって設備運営システムのストリーミング映像データの画質を効果的に調節できる。即ち、データ送信装置のユーザは、設備運営システムの特性によって高画質のデータを取り扱う場合、データ送信装置のエンコーディング関連パラメータを高画質に合わせてエンコーディングが実行されるようにして遠隔地のユーザも高画質の設備運営システムのストリーミング映像を視聴することができるようにし、それに対し、比較的低画質のデータを取り扱ってもかまわない場合、エンコーディング関連パラメータを低画質に適した値に合わせてエンコーディング効率を上げることができる。
図６は、設備運営システムのモニタディスプレイ画面でデータ表出位置をタギング（ｔａｇｇｉｎｇ）する形状を示す例示図である。
図６を参照すると、設備運営システムは、複数個の設備を担当する。ここで、設備は、センサ、アクチュエータ、電気モータ、コンソール、スイッチ、バルブ、コネクタなどのコンポーネントを含むことができる。また、設備運営システムの各設備と関連したセンサ、制御信号、及び／または自体的な実績管理装置を介して各設備の状態をモニタリングすることができ、モニタリングされた情報は、設備運営システムに収集される。前述したように、各設備の状態情報は、温度、湿度、電力、電圧、電流、圧力、バルブ／スイッチ開閉可否などの物理的現象だけでなく、実績と関連した状態情報（現在収率または実行率）のうち少なくとも一部を含むことができる。
図６におけるタグ（ｔａｇ）部分は、四角ブロックで表示されている。タグ部分は、各設備の状態と関連したデータ部分を示す。このようなタグ部分は、ユーザが各ページに合うように設定することができる。例えば、メイン設備全体画面では、モニタディスプレイ画面の第１の領域と第２の領域にタグ部分が位置するように設定し、アラーム（ａｌａｒｍ）と関連した画面では、モニタディスプレイ画面の第３の領域と第４の領域にタグ部分が位置するように設定し、各画面に対応されるタグ部分が互いに異なるように設定されるようにすることができる。また、設定されたタグ部分で数値及び／またはテキストデータを抽出してどの設備の状態値かをマッチングして記憶するようにすることができる。即ち、第１の設備のデータは、第１の領域に位置するようにタグし、その後、第１の領域のタグ位置の数値が変更されることをリアルタイムでモニタリングしつつ、第１の設備の状態をリアルタイムで確認することができる。このようなタグ部分の数値は、別途に抽出されてデータエンジンで各設備別状態を示すテーブルのような構造化データに加工されることができる。ただし、このようなタグ部分の設定によるデータ抽出が必ずユーザ設定によってのみ行われるものではない。別途のユーザ設定をしなくても、ＯＣＲのような光学文字認識技術を介してシステム自動で数値及び／またはテキストデータの抽出が行われる。ユーザ設定無しでＯＣＲ分析を介して抽出されたデータは、同一位置に抽出されたデータ同士位置とマッチングして格納され、以後、ユーザが特定位置で変化される抽出データに意味を付与して状態を示す形態で活用されることができる。ＯＣＲ分析により抽出されたデータは、設備名称と関連したデータのように、特定の状態を示さないデータも含まれている場合があるため、このような部分は除いて、時間によってデータ値が変わる部分だけを別途に認識して格納することができる。以後、変化された抽出データは、特定設備の特定状態値を示すと意味を付与して自動抽出されたデータも有用に活用されることができるようにする。また、数値／テキスト外に警告表示のような色相により区分されるデータもユーザ設定によるタギングまたはその他の映像分析ツールによるタギングにより抽出対象になることができ、このような部分も赤色は“警告”を示し、緑色は“正常”を示す等、色相によって意味を付与して設備状態を示すようにすることができる。
また、図６の右下段の日付表示部分６１０に日付及び時間を表示する部分がある。映像分析部は、エンコーディングされたストリーミング映像で日付部分の時間情報に基づいて抽出されたデータの時間情報を知ることができる。これは結局設備運営システムの時間であり、データ送信装置で管理する時間と別途に処理されることができる。即ち、ストリーミング映像内の時間とストリーミング映像の受信によってデータ送信装置が付与する時間は異なる場合があり、二つの両方ともを共に格納して管理できる。このとき、映像分析部は、ストリーミング映像の受信時間（ストリーミング映像の日付／時間部分と異なることがある）に基づいてタイムスタンプを直接挿入して時間情報を確保することもできる。挿入されたタイムスタンプを利用して特定時間帯の映像及び数値／テキストデータを確認することができる。
本発明の一実施例によると、抽出されたデータは、各サイロ（ｓｉｌｏ）のデータ及び各ロボットアーム（ＡＩ ＡＲＭＳ）のデータを含むことができる。抽出されたデータに基づいて各サイロの各ロボットアームの現在状態情報を確認することができる。即ち、設備運営システムのストリーミング映像の一つのフレームで、複数個の設備及び各設備の細部構成に対する数値／テキストデータを確保することができる。即ち、第１の設備の各サイロのロボットアーム、第２の設備の各サイロのロボットアームの状態情報（例えば、現在収率、進行度、温度情報、電力情報、バルブ／スイッチ状態等）がリアルタイムで生成されてストリーミング映像と共に格納されることができる。このようにリアルタイムで抽出されたデータと抽出時間情報に基づいてタイムスタンプと共に格納することができる。また、タイムスタンプに基づいてリアルタイムエンコーディングされた設備運営システムと関連したストリーミング映像、抽出されたデータ、及び／または現場映像データが共に記録及び外部データエンジンに送信されることができる。
図７は、本発明の一実施例に係るデータ送信装置の映像分配部が適用しているＰＯＤ（Ｐｉｘｅｌ Ｏｎ Ｄｅｍａｎｄ）方式を示す概念図である。
図７を参照すると、図７の（ａ）は、一般的な方式に複数個の映像をデータエンジンに提供する場合を示す概念図である。ここで、映像１ ７１０−１は、エンコーダでリアルタイムでエンコーディングされた設備運営システムのストリーミング映像データであり、映像２乃至映像４ ７１０−２〜７１０−４は、複数個の映像取得部から取得した現場映像である。それぞれの映像データ７１０−１〜７１０−４は、全て特定解像度を有し、１０Ｍｂｐｓ（ｂｉｔ ｐｅｒ ｓｅｃｏｎｄ）の帯域幅を使用して提供される時、適切な品質を有することができる。したがって、このような１０Ｍｂｐｓの帯域幅が各々必要な映像１乃至映像４ ７１０−１〜７１０−４をデータ送信装置がデータエンジンに送信するためには、１０Ｍｂｐｓ×４＝４０Ｍｂｐｓの帯域幅が必要である。
図７の（ｂ）は、本発明の一実施例に係るデータ送信装置の映像分配部が使用するＰＯＤ方式を説明するための概念図である。図７の（ｂ）でも図７の（ａ）の状況と同様に、エンコーダでエンコーディングされた設備運営システムのストリーミング映像、生産現場映像などが全て１０Ｍｂｐｓのビットレートの基準解像度を有していると仮定する。このような基準解像度は、送信の初期基準になる解像度であり、エンコーディングされたストリーミング映像データの場合にはエンコーディングされたデータのエンコーディング解像度を示すことができる。その他のエンコーダを経ずに映像分配部に直接受信された映像データであるため、受信される時の解像度が基準解像度になることができる。基準解像度は、ユーザ設定によって変更されることができる。また、映像でないデータは、本発明の一実施例に係るＰＯＤ方式の適用を受けないことが好ましい。
前記のような実施例において、映像分配部は、４０Ｍｂｐｓの帯域幅を使用して入力される映像１乃至映像４ ７１０−１〜７１０−４を全て受信し、受信された映像に対して適切な解像度調節を介して送信帯域幅の効率を極大化する。映像分配部は、データエンジンから映像出力条件情報を取得することができる。映像出力条件情報は、データエンジンで映像を出力する条件と関連した情報であり、出力される映像の個数及び映像識別情報、出力映像の大きさ、配置に対する情報を含む。例えば、映像１乃至映像４ ７１０−１〜７１０−４が全て出力され、このとき、４等分された大きさで映像１乃至映像４ ７１０−１〜７１０−４がデータエンジンと関連したディスプレイ手段（例えば、モニタ、ＴＶ等）で表示されると、出力映像の識別番号と該当識別番号に対応される映像の出力大きさ情報がデータエンジンから映像分配部に提供される。
映像分配部は、データエンジンから受信された映像出力条件情報のうち映像識別番号に基づいて送信すべき映像を特定し、映像の出力大きさ情報に基づいて特定された映像の対応される解像度を決定することができる。このとき、解像度は、映像の原（ｏｒｉｇｉｎａｌ）解像度（基準解像度）が前記データエンジンにおける映像出力条件上で維持されつつ、データエンジンへの映像送信のための帯域幅が最小になるようにする解像度値に決定されることができる。例えば、図７の（ｂ）の実施例では、１０Ｍｂｐｓの送信帯域幅を要求する解像度の映像４個が送信される状況で、データエンジンでは該当映像が１／４の大きさで出力されているため、全ての映像の解像度が１／４に減少してもデータエンジンの出力画面ではこれを区分しにくいと判断できる。したがって、解像度を１／４に調節することで、一映像当たり１０Ｍｂｐｓの帯域幅を要求したことを、２．５Ｍｂｐｓの帯域幅を介して送信することによって、全体的に４０Ｍｂｐｓでない、２．５Ｍｂｐｓ×４＝１０Ｍｂｐｓの帯域幅に４個映像を送信するようにすることが好ましい。これが本発明の映像分配部で使用するＰＯＤ方式である。
本発明の実施例によると、重なった形態でデータエンジンのディスプレイ手段で映像を表示することもできるため、１０Ｍｂｐｓの基準解像度を有する複数個の映像の組み合わせられた画面であるにもかかわらず、１０Ｍｂｐｓを超える帯域幅が要求されることもできる。また、データエンジンのディスプレイ手段の全体領域に映像が表出されていないこともあるため（テキスト、数字またはその他の形式のデータが表示されることができる）、１０Ｍｂｐｓ以下の帯域幅を使用する場合が発生することもできる。
図８は、本発明の一実施例に係るデータ送信装置から受信されるデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）で活用する例示的な画面を示す。
図８を参照すると、データ送信装置は、時間情報に基づいて同期化された複数個の映像、音声及び抽出されたデータをローカルストーレッジに直接格納し、以後、これを抽出して検討し、またはリアルタイムで外部のデータエンジンに送信してこれを活用することができる。
データ送信装置からデータエンジンに送信されたデータは、図８のように活用されることができる。即ち、データ送信装置またはデータエンジンのビューア（ｖｉｅｗｅｒ）では、映像選択アイコン８１０を介してどの映像を出力するかを決定することができる。出力映像の種類は、収集された映像の種類に対応される。即ち、設備運営システムのストリーミング映像、現場映像１〜Ｎ及び抽出された数値／テキストデータに基づいて生成されるテーブルデータなどを含むことができる。
図８の実施例では、設備運営システムストリーミング映像、現場映像１及び２と抽出された数値／テキストデータを４個の分割されたセル（ｃｅｌｌ）に表示することを仮定する。一つのモニタには複数個のセル８３０−１、８３０−２、８３０−３、８３０−４を含み、複数のセルで各々一つの意味のある画面を出力することができる。このとき、一つの物理的なモニタは、カンバス（ｃａｎｖａｓ）８２０という。即ち、カンバス８２０は複数個の正方形、または長方形セル８３０−１、８３０−２、８３０−３、８３０−４に分割されることができる。
図８の実施例によると、データエンジンは、連結されたモニタに、設備運営システムのストリーミング映像はセル８３０−１に表示し、現場映像１はセル８３０−２に表示し、現場映像２はセル８３０−３に表示し、また、数値／テキストデータに基づいて各設備の状態を示す形態で加工されたテーブルデータはセル８３０−４に表示している。このとき、各セルに入る画面の特定及び各セルの大きさは、データエンジンのユーザインターフェース（図示せず）を介して設定及び変更可能である。また、テーブルデータ画面に表示する状態データの選択及びテーブルでない他の形態（例えば、数値、テキスト、グラフ、チャート等）のデータ表示のための選択もユーザ任意に変更可能である。例えば、表示される状態データでは、各設備別データ（特定設備の現在状態を羅列した形態のデータ）、各状態別データ（例えば、スイッチＯＮ／ＯＦＦ可否、温度、電力など、特定状態を示す設備を羅列した形態のデータ）などが含まれることができる。
また、日付選択アイコン８４０で、データエンジンに送信された過去データを画面に表示するか、またはリアルタイムで送信される現在データを画面に表示するかを選択することができる。もし、現在リアルタイムで送信されるデータを画面に表示する時には、画面の表示設定と関連して、各セル８３０−１、８３０−２、８３０−３、８３０−４の大きさ、各セル８３０−１、８３０−２、８３０−３、８３０−４に表示される映像の特定と関連した情報をリアルタイムでデータ送信装置に送信することが好ましい。それによって、データ送信装置の映像分配部でＰＯＤ方式を使用して最適の解像度で調節された映像データを送信することができる。
もし、過去データを画面に表示しようとする時、全体セル８３０−１、８３０−２、８３０−３、８３０−４のデータ時点を特定することができる。例えば、過去３月の特定日付（例えば、１５日）にデータ再生時点を特定することができ、このとき、該当日付の時間バー（ｔｉｍｅ ｂａｒ）８５０が画面の下段に表示されることができる。このとき、時間バー８５０を利用して特定時点を設定すると、該当時点のデータがローディングされて各セル８３０−１、８３０−２、８３０−３、８３０−４に表示されるようになる。即ち、３月１５日０３：１５：０４の時点を再生すると、３月１５日０３：１５：０４の時点の設備運営システムのストリーミング映像がセル８３０−１に表示され、３月１５日０３：１５：０４の時点の現場映像１がセル８３０−２に表示され、３月１５日０３：１５：０４の時点の現場映像２がセル８３０−３に表示され、また、３月１５日０３：１５：０４の時点のテーブルデータがセル８３０−４に表示されることができる。即ち、データエンジンのユーザは、該当時点の多様な映像及び音声、構造化／非構造化データを画面を介してひと目で確認することによって、特定時点の状況を総合的に把握できる。このとき、データエンジンは、別途の映像分析モジュール（図示せず）を活用することができる。例えば、映像分析モジュールを介して多数の映像を時間の流れによって分析し、既格納された検出項目によって特定イベントを検出すると、検出されたイベントと関連した時点の他の映像を自動で共に検出及び分析するようにすることで、効率的な生産現場関連状況に対する分析が行われるようにすることができる。
また、各セル別にデータの時点を異なるように特定して表示すること（例えば、セル８３０−１は時点１の映像を表示、セル８３０−２は時点２の映像を表示）は、本技術分野の通常の技術者には自明である。
追加的に、各セルは、重なった形態で配置されることができる。例えば、一つのセルが他のセルより前方にある形態で存在できる。設備運営システムのストリーミング映像が立体的に見た時、突出されているように表示されるようにすることができ、その下位段に他の映像が配置されるようにすることによって重なった映像配置になるようにすることもできる。重なった映像の配置、重なったセルに入る映像の特定及び重複セルの大きさなどもユーザインターフェースを介して任意に調整可能である。
さらに、データエンジンは、会社ネットワークを介してレベル３及び／またはレベル４ドメインの情報を受信及び格納することができる。したがって、データエンジンは、生産運営システムのデータとレベル３及び／またはレベル４ドメインのＭＥＳ及び／またはＥＲＰデータを互いに異なるセルに配置して一つの画面で比較分析するように制御できる。即ち、現在時点と関連したＭＥＳ及びＥＲＰデータをセル２ ８３０−２及びセル４ ８３０−４に表示し、セル１ ８３０−１及びセル３ ８３０−３に現在時点の設備運営システムのストリーミング映像及び現場映像を表示し、ユーザが一画面に目標生産数量対比現在の生産状況を比較するようにすることができる。このとき、比較分析のためのモジュールを別途に設置して各データに対応される項目をマッチングすることで、目標実績対比現在実績に基づいて現在生産効率に対する算術的な計算が行われるようにすることができる。即ち、第１の設備に対して６００の実績をＭＥＳまたはＥＲＰで計画し、それに対し、現在設備運営システムで該当設備に対する実績が４５０まで進行された場合、現在生産効率は、４５０／６００＊１００（％）＝７５％の収率が自動計算されるようにすることができる。
図９は、本発明の一実施例に係るデータ送信装置からデータを受信して表示するデータエンジンを具体的に示す詳細ブロック図である。図９に示すように、本発明の一実施例に係るデータエンジン１０２０は、デコーダ９２２、コントローラ９２４、送信部９２６及びローカルストーレッジ９２８を含むことができる。各構成要素は、各構成要素の機能と関連した命令語を実行する一つのハードウェアプロセッサで具現され、または各機能によってまたは組み合わせた機能によって複数個のハードウェアプロセッサで具現されることができる。データエンジン９２０は、データ受信装置とも呼ばれる。
図９を参照すると、デコーダ９２２は、少なくとも一つのデータ送信装置９１０−１〜９１０−Ｎからエンコーディングされたビデオストリーム（設備運営システムのディスプレイ画面データ）、その他の現場映像データ及び／または数値／テキストデータを受信する。実質的にはデータを受信する受信部（図示せず）が別途に存在できる。受信部は、通信プロセッサを含むことができ、受信部は、前記少なくとも一つのデータ送信装置９１０−１〜９１０−Ｎだけでなく、通信ネットワークを介して外部の端末からレベル３及び／またはレベル４ドメインの生産指示データを受信することができる。
デコーダ９２２は、受信されたデータのうちエンコーディングされたビデオストリーム及び現場映像データをデコーディングする。デコーディングは、エンコーディングされた方式と対応される方式に行われる。デコーダ９２２は、エンコーディングされたビデオストリームをＹＵＶフォーマットのデータでデコーディングできる。このとき、前記ＹＵＶデータは、ＹＵＶ４２０データである。また、デコーディングされたＹＵＶデータをＲＧＢデータに変換する。デコーダ９２２は、変換されたＲＧＢデータをＨＤＭＩ／ＤＶＩのようなデジタルインターフェースを介して送信可能にミキシングする。ミキシングされたデータは、ディスプレイ部９３０に提供されてデータエンジン９２０のユーザがディスプレイ部９３０を介して遠隔地の設備運営システムの画面を見られるようにする。
このとき、データエンジン９２０のユーザは、ユーザインターフェース（図示せず）を介して制御命令を入力することができる。ユーザインターフェース（図示せず）は、タッチスクリーン、キーボード及び／またはマウスなどであり、制御命令は、タッチスクリーンのタッチ、キーボードのキーボード入力及び／またはマウスのホイール移動またはクリック入力などを介して行われる。前記制御命令は、送信部９２６を介してデータ送信装置９１０に提供され、データ送信装置９１０は、これを設備運営システムに提供できる。
コントローラ９２４は、デコーダ９２２でデコーディングされた映像データを受信する。また、デコーディングが要求されない数値／テキストデータ（データ送信装置の映像分析部で抽出されたデータを含む）も共に受信する。また、ユーザインターフェースを介してユーザから入力された出力関連信号に基づいて映像を配置してディスプレイ部９３０を介して表示する。コントローラ９２４は、受信された映像及びその他のデータの処理及び各構成要素（例えば、送信部９２６及びストーレッジ９２８）の制御を実行する。また、コントローラ９２４のデータ比較部は、受信された数値／テキストデータに基づいて各設備の状態を示す多様な構造化／非構造化データを生成することができる。このとき、各データ比較部は、設備の時間による状態変化を示すテーブル、グラフ及び／またはチャートを生成することができる。また、通信ネットワークを介して受信されるＭＥＳ及び／またはＥＲＰのようなドメイン３及びドメイン４のデータ（生産指示データ）に基づいて生成されたテーブルデータと比較分析する。テーブルデータとドメイン３及びドメイン４データで、同一項目または比較対象項目を抽出し、各項目に対応されるデータをマッチアップする。また、マッチアップされたデータに基づいて現在の生産効率、目標達成可能性などを分析して表示できる。また、閾値を設定して閾値より低い数値が検知され、生産効率に問題があると判断される設備に対しては警告発生と関連した信号を生成し、送信部９２６を介して警告信号を送信することができる。また、データ比較部における比較分析結果のうち少なくとも一部は、送信部９２６を介して各設備に対応されるデータ送信装置９１０−１〜９１０−Ｎに送信されることができる。
コントローラ９２４は、ディスプレイ部９３０における映像及びその他のデータの出力と関連して、出力条件と関連した信号を生成して送信部９２６を介してデータ送信装置９１０−１〜９１０−Ｎに送信する。また、データエンジン９２０は、複数個のデータ送信装置９１０−１〜９１０−Ｎの映像及びその他のデータを受信するため、表出されるデータがどのデータ送信装置９１０−１〜９１０−Ｎのデータかを識別し、識別されたデータ送信装置（例えば、装置（９１０−Ｎ））に出力条件情報を送信する。
また、コントローラ９２４は、現在出力されない映像及びデータに対してもデータを受信し次第ローカルストーレッジ９２８に時間情報と共に格納し、以後、過去特定時点の映像、数値／テキスト及び構造化／非構造化データのローディングが要求される時、該当時点の映像、数値／テキスト及び構造化／非構造化データを抽出して表示するようにすることができる。
図１０は、本発明の他の実施例に係るデータ送信装置ベースの二重録画のためのシステムを概略的に示す概念図である。図１０に示すように、本発明の一実施例に係るデータ送信装置ベースの二重録画のためのシステムは、設備運営システム１０１０−１、映像取得部１０１０−２、データ送信装置１０２０、及びデータエンジン１０３０を含むことができる。
図１０を参照すると、データ送信装置１０２０は、映像情報提供装置１０１０−１〜１０１０−２から受信されるデータをデータエンジン１０３０に中継し、データエンジン１０３０がリアルタイム記録または画面出力を実行するように構成されることができる。データ送信装置１０２０は、リアルタイムで動映像を受信することができ、受信された動映像をデータエンジン１０３０に提供でき、データエンジン１０３０から周期的に受信関連報告を受信して情報受信に異常があるかないかを確認することができる。また、受信不能状態になった時、受信不能地点を検出し、検出地点からデータを記録するようにして復旧遅延時間による録画または受信断絶をなくすことができる。
データ送信装置１０２０は、データエンジン１０３０からの遠隔動映像中継の要求を受けて中継動作を実行することができる。データ送信装置１０２０は、映像情報提供装置１０１０−１〜１０１０−２からの動映像を受信し、受信された動映像を一定時間（例えば、障害復旧時間のために最小１５秒内外）キュー（ｑｕｅｕｅ）にバッファリング（ｂｕｆｆｅｒｉｎｇ）できる。その後、データ送信装置１０２０は、バッファリングと共にデータエンジン１０３０に動映像ストリーム及び／またはその他のデータを中継することができる。
本発明の一実施例によると、データ送信装置１０２０は、録画機能及び通信／中継機能を備えた装置であって、ＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）、ＰＶＲ（Ｐｅｒｓｏｎａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）、またはＰＣ、個人携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、消費者電子機器（ＣＥ）、無線通信機能を有する再生家電製品、インターネット家電製品、セットトップボックスなどを含むことができる。
データエンジン１０３０は、データ送信装置１０２０から受信される動映像ストリームを記録することができる。データエンジン１０３０は、特定周期によって現在録画可能可否及び／または正常録画可否などに対する情報を含む状態報告メッセージを生成してデータ送信装置１０２０に送信できる。データエンジン１０３０が録画不能状態（例えば、ネットワーク障害または録画機能障害などにより）になった時、データ送信装置１０２０は、一定時間状態報告が無いことを介してこれを検知することができる。このとき、データ送信装置１０２０は、無応答時点を基準にしてキューから中断部分を探して録画を続けて実行することができる。
データエンジン１０３０は、データ送信装置１０２０と直接連結された録画機能を備えた装置である。データエンジン１０３０もデータ送信装置１０２０のように、ＶＣＲ、ＤＶＲ、ＰＶＲ、及び各種コンピュータ装置及び／または端末を含むことができる。データエンジン１０３０は、大容量データベース１０３５と連動しつつ、大容量データベース１０３５にデータ送信装置１０２０から受信したデータを格納することができる。
本発明の実施例によると、データ送信装置１０２０及びデータエンジン１０３０は、共同データベース１０３５に相互連係して動映像ストリームを記録することができる。このとき、データ送信装置１０２０は、共同データベース１０３５に既に記録された動映像ストリームに基づいてデータエンジン１０３０からの録画が中断された時点を探してキューのバッファリングされた動映像ストリームの該当地点から共同データベース１０３５に記録できる。それによって、共同データベースにはシームレス（ｓｅａｍｌｅｓｓ）録画映像が別途の作業なしに記録されるようにすることができる。
本発明の一実施例によると、データエンジン１０３０の録画障害発生時にもリームレス録画が可能であり、原本動映像変換がない録画記録の場合、低仕様（例えば、デスクトップ）機器だけでも具現が可能である。
図１１は、本発明の他の実施例によって二重録画を実行するデータ送信装置の構成を具体的に示す詳細ブロック図である。図１１に示すように、データ送信装置は、コントローラ１１１０、通信部１１２０及びローカルストーレッジ１１３０を含むことができる。また、コントローラ１１１０は、映像分配部を含み、その他、映像受信部１１１２、バッファリング部１１１４、スイッチング部１１１６を含むことができる。前記各構成要素は、一つのハードウェアプロセッサまたは複数個のハードウェアプロセッサで具現可能であり、複数個の構成要素が複数個のプロセッサに分散されて具現されることができる。また、プロセッサは、該当構成要素の機能を指示するための命令語を含むメモリ（図示せず）からの命令語に基づいて機能を遂行することができる。
図１１を参照すると、映像受信部１１１２は、映像提供装置から動映像ストリームを受信することができる。映像受信部１１１２は、エンコーダを介してリアルタイムでエンコーディングされた設備運営システムのストリーミング映像、その他の生産現場映像ストリームを受信する機能を遂行する。映像受信部１１１２は、アンテナ及び／または通信プロセッサを含むことができる。映像受信部１１１２は、リアルタイムで動映像ストリームを受信することができ、複数のチャネルを介して多重化された複数個の動映像ストリームを受信することができる。
バッファリング部１１１４は、映像受信部１１１２から受信された動映像ストリームを少なくとも一つのキューに一時的に格納することができる。前記バッファリング部１１１４は、最大バッファリング時間が設定されていることがある。これはデフォルト値に設定されることができ、またはユーザインターフェース（図示せず）を介してユーザが直接設定することもできる。これは録画または中継動作実行中にも可変されることができる。ただし、最大バッファリング時間は、データエンジン１１５０からの状態報告周期よりは長いことが好ましい。バッファリング部１１１４は、スイッチング部１１１６の制御信号によってキューにバッファリングされた動映像ストリームの特定部分（または、特定フレーム）からローカルストーレッジ１１３０に格納することができる。
スイッチング部１１１６は、バッファリング部１１１４及び／または映像受信部１１１２から動映像ストリームを受信して通信部１１２０またはローカルストーレッジ１１３０に提供できる。通信部１１２０に提供するモードを第１のモード（または、中継モードとも呼ばれる）に定義し、ローカルストーレッジ１１３０に提供するモードを第２のモード（または、記録モードとも呼ばれる）に定義することができる。場合によっては、中継と記録を同時に実行するようにすることができる。ただし、本発明の他の実施例では、一つのモードを選択適用することを仮定する。
スイッチング部１１１６は、基本的に第１のモードで動作するように設定されることができる。第１のモードによると、データエンジン１１５０の正常録画を仮定し、バッファリング部１１１４及び／または映像受信部１１１２を介して受信される動映像ストリームをデータエンジン１１５０に中継する。
スイッチング部１１１６は、通信部１１２０から伝達されるデータエンジン１１５０からの状態報告メッセージに基づいてデータエンジン１１５０の正常録画動作可否を判断し、現在正常録画が行われているかどうかに対する情報を取得することができる。例えば、正常録画が行われない録画障害状況が検出された場合、スイッチング部１１１６は、第１のモードから第２のモードに動作モードをスイッチングすることができる。録画障害状況の検出と関連して、スイッチング部１１１６は、データエンジン１１５０から受信される状態報告時間をあらかじめ設定された臨界時間と比較して臨界時間以上状態報告が受信されない場合、録画障害状況が発生されたと判断できる。このとき、臨界時間は、最大バッファリング時間に設定されることができる。または、スイッチング部１１１６は、臨界条件によって録画障害状況発生を判断することができる。臨界条件は、状態報告の平均受信時間値より状態報告の遅延時間（例えば、最も最近状態報告時点から状態報告が受信されていない現在時点までの時間）が大きい場合及び／または状態報告遅延時間が設定された最大バッファリング時間の半分の時間より大きい場合という条件を含むことができる。前記臨界条件が満たされると、データエンジン１１５０との連結が解除またはデータエンジン１１５０の録画不能と判断し、データ送信装置１１００が直接動映像ストリームを録画する第２のモードにスイッチングする。第２のモードによると、スイッチング部１１１６は、動映像ストリームが直接ローカルストーレッジ１１３０に格納されるようにする。スイッチング部１１１６は、バッファリング部１１１４でバッファリングされたストリームを受信してローカルストーレッジ１１３０に提供し、またはバッファリング部１１１４に指示してバッファリング部１１１４で直接ローカルストーレッジ１１３０に動映像ストリームを格納するようにすることができる。このとき、報告の無応答時点からデータエンジン１１５０が動映像ストリームを記録しなかったと仮定し、無応答時点を探して該当時点からバッファリング部１１１４のキューに格納された動映像をローカルストーレッジ１１３０に格納することができる。
また、スイッチング部１１１６は、データエンジン１１５０から報告が再開される場合、状態報告を再び受信した時点に第２のモードから第１のモードにスイッチングすることで、再びデータエンジン１１５０が動映像ストリームを録画するようにして、自分は中継器役割をするようにすることができる。
通信部１１２０は、データエンジン１１５０との連結を提供する。これは有線または無線ネットワークに連結されることができる。通信部１１２０は、モデム、アンテナ、通信用モデム及び／または通信プロセッサなどである。それによって、データエンジン１１５０と動映像ストリームをはじめとする各種情報を送受信することができる。通信部１１２０は、スイッチング部１１１６が第１のモードである場合、動映像ストリームをデータエンジン１１５０に伝達できる。通信部１１２０は、周期的にデータエンジン１１５０から状態報告を受信することができ、これをスイッチング部１１１６に提供できる。
ローカルストーレッジ１１３０は、第２のモードである場合、スイッチング部１１１６またはバッファリング部１１１４からバッファリングされた動映像ストリームの受信を受けて自体メモリ（図示せず）及び／またはデータベース（図示せず）に格納することができる。前記自体メモリは、データ送信装置１１００内に常住するハードディスク、フラッシュディスク、ＲＡＭ／ＲＯＭなどのメモリである。
図１２は、図１１のスイッチング部における障害判断方法を示す流れ図である。
図１２を参照すると、データ送信装置のスイッチング部は、通信部を介してデータエンジンから状態報告メッセージを受信してモニタリングできる（Ｓ１２１０）。
また、前記スイッチング部は、データエンジンから受信される状態報告メッセージの受信時間情報を一定容量記録することができる。また、これに基づいて報告の平均周期を計算することができる（Ｓ１２２０）。
スイッチング部は、状態報告メッセージモニタリング結果及び報告メッセージ平均周期情報に基づいて下記のスイッチング条件（または、臨界条件）により障害発生可否を判断することができる。
−スイッチング条件
Ｒｔ＝データエンジンから受信される状態報告受信時間
Ｂｍ＝設定された最大バッファリング時間
Ｖｔ＝Ｒｔの平均周期
Ｔｎ＝測定されたＲｔの遅延時間
Ｖｔ＜Ｔｎ＆＆（ｉｉ）Ｔｎ>（Ｂｍ／２）を満たす場合、スイッチング実行
前記スイッチング条件によると、スイッチング部は、状態報告受信時間を基準にして遅延時間（Ｔｎ）を測定し、測定された遅延時間が平均周期（Ｖｔ）より大きいかを判断する（Ｓ１２３０）。及び／または測定された遅延時間（Ｔｎ）が最大バッファリング時間（Ｂｍ）の半分より大きい場合、録画障害状態が発生したと判断できる（Ｓ１２４０）。このとき、遅延時間は、無応答時点を基準にして起算されることができる。また、スイッチング条件は、必ず最大バッファリング時間（Ｂｍ）の半分を基準にするものではなく、ユーザが任意に設定した時間条件、最大バッファリング時間（Ｂｍ）自体及び／または最大バッファリング時間（Ｂｍ）を基準にして一定時間を引いた新しい参照時間を基準にすることができる。これはユーザインターフェースを介してユーザが任意に設定できる。
このとき、スイッチング部は、障害発生を検知してモード変更を指示する制御信号を提供することができる（Ｓ１２５０）。また、同時に、無応答時点（例えば、最近状態報告信号受信時間）を検出して該当時点からのバッファリングされた動映像ストリームを格納することを指示する制御信号をバッファリング部に提供できる。
また、スイッチング部は、第２のモードにスイッチングされた状態、即ち、障害発生が進行している状況で再び状態報告が再開される時点を状態報告受信の基点として把握できる。このとき、スイッチング部は、第２のモードから第１のモードへの変更を指示する制御信号を生成することができる。
前述したように、第１のモードではバッファリングされた動映像ストリームを通信部を介してデータエンジンに送信する。それに対し、第２のモードではローカルストーレッジにバッファリングされた動映像ストリームを送信する。スイッチング指示制御信号を受信すると、第１のモードである場合、第２のモードに動作モードをスイッチングし、第２のモードである場合、第１のモードにスイッチングできる。
本発明の他の実施例によると、前記装置は、ＳＣＡＤＡ及びＨＭＩなどのようなレベル１及びレベル２の運営系システム画面データ(例えば、ストリーミング映像または現場映像)をデータエンジンに送信するにあたって、ネットワーク使用帯域幅を考慮することができる。例えば、送信対象画面に変化がない場合、画面送信フレームを最小化して送信する中に、アラーム（ａｌａｒｍ）が発生し、または収集対象画面にタギングされた情報が変化する場合、一時的にフレームを高めて送信する方式を使用することができる。本発明の実施例によると、タギングされた部分だけでなく、映像分析を介して画面内の特定領域の映像の変化を検知してフレームレートの変化をトリガリングすることができる。
そのために、本発明の実施例によると、装置は、既設定された時間(ウィンドウ期間)の間の変化をモニタリングし、変化が終了されると、再び最小フレームで送信する方式に転換できる。最小フレームは、３ｆｐｓ乃至５ｆｐｓが適切である。このような場合、アラーム状況を複数個設定し、設定された複数個の区分されたアラーム状態に合う政策に基づいてフレーム送信をさらに効率的に制御できる。例えば、数値変化が設定されたウィンドウ期間内に１０の値の変化がある場合、アラーム１状況に設定し、２０の値の変化がある場合、アラーム２状況に設定し、アラーム状況の発生をモニタリングする中に、アラーム１またはアラーム２状況に対応してフレームの変化を第１のフレーム速度または第２のフレーム速度に変換する方式が採用されることができる。このような動作は、映像分析部で実行されることができる。
追加的に、本発明の他の実施例によると、前記装置は、現場運営系画面で変化が発生する場合、発生データを格納するために画面をキャプチャしてイメージファイルでクラウドドライブ(例えば、ｇｏｏｇｌｅドライブ、ドロップボックス等)にアップロードできる。このとき、同時に変化された全てのイメージをアップロードする時のネットワーク帯域幅使用節減のために、初期１回キャプチャした映像は、フルイメージ（ｆｕｌｌ ｉｍａｇｅ）をアップロードし、以後変化が発生する場合、変化された部分のイメージのみを一定領域として選択して（Ｃｒｏｐ）最小化された容量のイメージを名称を変えてクラウドドライブにアップロードする方式を使用することができる。それによって、ネットワーク効率性を極大化することができる。
以上、図面及び実施例を参照して説明したが、本発明の保護範囲が前記図面または実施例により限定されることを意味するものではなく、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更することが可能であることを理解することができる。

Claims (20)

  1. 生産現場映像でデータを抽出して送信する装置において、
    生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングするエンコーダ（ｅｎｃｏｄｅｒ）；
    前記リアルタイムでエンコーディングされたストリーミング映像を受信して映像分析アルゴリズムを介して前記リアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出する映像分析部；及び、
    前記リアルタイムでエンコーディングされたストリーミング映像及び前記映像分析モジュールから抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信する通信部；を含む生産現場映像でデータを抽出して送信する装置。
  2. 前記設備運営システムは、生産自動化プロセス（ｐｒｏｃｅｓｓ）で、センシング／制御レベル、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）及びＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）のうち少なくとも一つに基づくシステムを含む請求項１に記載の生産現場映像でデータを抽出して送信する装置。
  3. 前記映像分析部は、前記映像分析アルゴリズムを介してデータ表出位置を把握してタギングすることによって、前記リアルタイムでエンコーディングされたストリーミング映像内の数値データ及びテキストデータを抽出する請求項１に記載の生産現場映像でデータを抽出して送信する装置。
  4. 前記抽出された数値データ及びテキストデータは、前記データエンジンで前記設備運営システムの管理対象設備の状態変化を示すテーブル（ｔａｂｌｅ）に加工可能である請求項３に記載の生産現場映像でデータを抽出して送信する装置。
  5. 前記リアルタイムでエンコーディングされたストリーミング映像及び前記設備運営システムの第１の映像取得部から撮影された現場映像データを受信する映像分配部をさらに含む請求項１に記載の生産現場映像でデータを抽出して送信する装置。
  6. 前記リアルタイムでエンコーディングされたストリーミング映像、前記抽出されたデータ及び前記現場映像データを時間情報に基づいて同期化してローカルストーレッジに格納し、または前記データエンジンにリアルタイム送信する請求項５に記載の生産現場映像でデータを抽出して送信する装置。
  7. 前記映像分配部は、
    前記リアルタイムでエンコーディングされたストリーミング映像及び前記現場映像データと関連した映像出力条件情報を取得し、前記取得された映像出力条件情報に基づいて前記リアルタイムでエンコーディングされたストリーミング映像及び前記現場映像データの解像度を調節し、前記リアルタイムでエンコーディングされたストリーミング映像データ及び前記現場映像データを調節された解像度で前記データエンジンに送信する請求項５に記載の生産現場映像でデータを抽出して送信する装置。
  8. 前記映像分配部は、前記リアルタイムでエンコーディングしたストリーミング映像の第１の基準解像度及び前記第１の映像取得部から取得される現場映像データの第２の基準解像度が前記映像出力条件上で維持されつつ、前記データエンジンへのデータ送信帯域幅が最小になるように前記リアルタイムでエンコーディングされたストリーミング映像及び前記現場映像データの解像度を決定する請求項７に記載の生産現場映像でデータを抽出して送信する装置。
  9. 前記映像分析部及び前記映像分配部を制御するコントローラは、前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データの少なくとも一部は、キュー（ｑｕｅｕｅ）に記録されつつ、前記データエンジンに中継されるように制御し、
    前記コントローラは、前記データエンジンから周期的に受信される状態報告に基づいて、（ｉ）前記データエンジンに、前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データを中継する中継モード及び（ｉｉ）ローカルストーレッジに前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データを格納する記録モードのうち一つで動作モードをスイッチングするスイッチング部を含む請求項３に記載の生産現場映像でデータを抽出して送信する装置。
  10. 前記スイッチング部は、
    前記データエンジンからの状態報告の無応答時点を基準にしてキューからバッファリングされた前記リアルタイムでエンコーディングされたストリーミング映像データ、前記抽出されたデータ及び前記現場映像データが前記ローカルストーレッジに記録されるように動作モードをスイッチングする請求項９に記載の生産現場映像でデータを抽出して送信する装置。
  11. 前記スイッチング部は、
    周期的に前記データエンジンから状態報告を受信しつつ、前記データエンジンからの報告時間を測定して平均報告受信時間を計算し、前記データエンジンからの前記状態報告の受信時間と臨界時間を比較して録画障害発生可否を判断し、前記判断結果によって前記中継モードまたは前記記録モードへのスイッチングを実行し、
    前記障害発生可否の判断は、前記測定された平均報告受信時間及び最大バッファリング可能時間のうち少なくとも一つを考慮して測定された報告遅延時間に基づいて判断する請求項１０に記載の生産現場映像でデータを抽出して送信する装置。
  12. 前記設備運営システムは、第１のネットワーク（ａ ｆｉｒｓｔ ｎｅｔｗｏｒｋ）ベースのシステムであり、
    前記データエンジンは、第２のネットワーク（ａ ｓｅｃｏｎｄ ｎｅｔｗｏｒｋ）ベースの装置である請求項１に記載の生産現場映像でデータを抽出して送信する装置。
  13. 前記映像分析部は、リアルタイムでエンコーディングされる第１のストリーミング映像と前記第１のストリーミング映像に後続する第２のストリーミング映像との間のウィンドウ（ｗｉｎｄｏｗ）期間内の変化と関連した情報に基づいて映像送信フレームレート（ｆｒａｍｅ ｒａｔｅ）を決定する請求項１に記載の生産現場映像でデータを抽出して送信する装置。
  14. 生産現場映像でデータを抽出して送信する方法において、
    生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングするステップ；
    前記リアルタイムでエンコーディングされたストリーミング映像を受信して映像分析アルゴリズムを介して前記リアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出するステップ；及び、
    前記リアルタイムでエンコーディングされたストリーミング映像及び前記映像分析モジュールから抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信するステップ；を含む生産現場映像でデータを抽出して送信する方法。
  15. 生産現場映像で抽出されたデータを受信する装置において、
    第１の端末から、生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像をリアルタイムでエンコーディングしたストリーミング映像データ及び前記ストリーミング映像データから抽出されたデータを受信する受信部；
    前記受信されたストリーミング映像データをデコーディングするデコーダ（ｄｅｃｏｄｅｒ）；及び、
    前記デコーディングされたストリーミング映像データと前記抽出されたデータを時間情報に基づいて同期化して格納するローカルストーレッジ；を含む生産現場映像で抽出されたデータを受信する装置。
  16. 前記ストリーミング映像データは、生産自動化プロセス（ｐｒｏｃｅｓｓ）で、センシング／制御レベル、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）及びＳＣＡＤＡ（Ｓｕｐｅｒｖｉｓｏｒｙ Ｃｏｎｔｒｏｌ ａｎｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ）のうち少なくとも一つに基づく映像データである請求項１５に記載の生産現場映像で抽出されたデータを受信する装置。
  17. 前記受信部は、通信ネットワークを介して第２の端末から生産自動化プロセスの製造実行ドメイン及び企業資源計画と関連したビジネスドメインのうち少なくとも一つと関連した生産指示データを受信し、
    前記抽出されたデータと、前記生産指示データを比較するデータ比較部をさらに含む請求項１６に記載の生産現場映像で抽出されたデータを受信する装置。
  18. 前記生産指示データは、ＭＥＳ（Ｍａｎｕｆａｃｔｕｒｉｎｇ Ｅｘｅｃｕｔｉｏｎ Ｓｙｓｔｅｍｓ）及びＥＲＰ（Ｅｎｔｅｒｐｒｉｓｅ Ｒｅｓｏｕｒｃｅ Ｐｌａｎｎｉｎｇ）のうち少なくとも一つを含む請求項１７に記載の生産現場映像で抽出されたデータを受信する装置。
  19. 生産現場映像で抽出されたデータを受信する方法において、
    生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像をリアルタイムでエンコーディングしたストリーミング映像データ及び前記ストリーミング映像データから抽出されたデータを受信するステップ；
    前記受信されたストリーミング映像データをデコーディングするステップ；及び、
    前記デコーディングされたストリーミング映像データと前記抽出されたデータを時間情報に基づいて同期化して格納するステップ；を含む生産現場映像で抽出されたデータを受信する方法。
  20. 生産現場映像で抽出されたデータを送受信するシステムにおいて、
    生産現場の設備運営システムのモニタディスプレイ画面のストリーミング（ｓｔｒｅａｍｉｎｇ）映像を前記設備運営システムから受信してリアルタイムでエンコーディングし、前記リアルタイムでエンコーディングされたストリーミング映像に対して映像分析アルゴリズムを介して前記リアルタイムでエンコーディングされたストリーミング映像内に存在するデータ表出位置を把握してタギング（ｔａｇｇｉｎｇ）することでデータを抽出し、前記リアルタイムでエンコーディングされたストリーミング映像及び前記抽出されたデータをデータエンジン（ｄａｔａ ｅｎｇｉｎｅ）に送信するデータ送信装置；及び、
    前記リアルタイムでエンコーディングしたストリーミング映像データ及び前記抽出されたデータを受信し、前記受信されたストリーミング映像データをデコーディングし、前記デコーディングされたストリーミング映像データと前記抽出されたデータを時間情報に基づいて同期化して格納するデータエンジン；を含む生産現場映像で抽出されたデータを送受信するシステム。
JP2019078592A 2018-04-18 2019-04-17 生産現場映像でデータを抽出して送信する装置及び方法、生産現場映像で抽出されたデータを受信する装置及び方法、生産現場映像で抽出されたデータを送受信するシステム Ceased JP2019197541A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0045135 2018-04-18
KR20180045135 2018-04-18
KR1020180128940A KR20190121680A (ko) 2018-04-18 2018-10-26 생산현장 영상에서 데이터를 추출하여 전송하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 수신하는 장치 및 방법, 생산현장 영상에서 추출된 데이터를 송수신하는 시스템
KR10-2018-0128940 2018-10-26

Publications (1)

Publication Number Publication Date
JP2019197541A true JP2019197541A (ja) 2019-11-14

Family

ID=68422074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019078592A Ceased JP2019197541A (ja) 2018-04-18 2019-04-17 生産現場映像でデータを抽出して送信する装置及び方法、生産現場映像で抽出されたデータを受信する装置及び方法、生産現場映像で抽出されたデータを送受信するシステム

Country Status (2)

Country Link
JP (1) JP2019197541A (ja)
KR (1) KR20190121680A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114730461A (zh) * 2019-11-11 2022-07-08 阿韦瓦软件有限责任公司 Scada系统中的视觉人工智能
KR20230146270A (ko) * 2022-04-12 2023-10-19 (주)심플랫폼 Rpa를 활용한 장비 및 시설 데이터 수집 시스템 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121315A (ja) * 1992-10-05 1994-04-28 Toshiba Corp 監視制御装置
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
JP2002182738A (ja) * 2000-12-14 2002-06-26 Yokogawa Electric Corp 監視システム
JP2004320513A (ja) * 2003-04-17 2004-11-11 Casio Comput Co Ltd 情報管理システムおよびプログラム
JP2007516521A (ja) * 2003-11-18 2007-06-21 インターグラフ ソフトウェアー テクノロジーズ カンパニー デジタル映像監視
JP2010271758A (ja) * 2009-05-19 2010-12-02 Toppan Printing Co Ltd データ集約型ｐｌｃ
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
JP2015133561A (ja) * 2014-01-10 2015-07-23 株式会社日立製作所 計算機システム
KR101655706B1 (ko) * 2015-11-24 2016-09-07 남규태 트랜스코딩 기법을 이용한 원격관리시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121315A (ja) * 1992-10-05 1994-04-28 Toshiba Corp 監視制御装置
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
JP2002182738A (ja) * 2000-12-14 2002-06-26 Yokogawa Electric Corp 監視システム
JP2004320513A (ja) * 2003-04-17 2004-11-11 Casio Comput Co Ltd 情報管理システムおよびプログラム
JP2007516521A (ja) * 2003-11-18 2007-06-21 インターグラフ ソフトウェアー テクノロジーズ カンパニー デジタル映像監視
JP2010271758A (ja) * 2009-05-19 2010-12-02 Toppan Printing Co Ltd データ集約型ｐｌｃ
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
JP2015133561A (ja) * 2014-01-10 2015-07-23 株式会社日立製作所 計算機システム
KR101655706B1 (ko) * 2015-11-24 2016-09-07 남규태 트랜스코딩 기법을 이용한 원격관리시스템

Also Published As

Publication number Publication date
KR20190121680A (ko) 2019-10-28

Similar Documents

Publication Publication Date Title
US11039104B2 (en) Apparatus and method to transmit data by extracting data in shop floor image, apparatus and method to receive data extracted in shop floor image, and system to transmit and receive data extracted in shop floor image
CN104333736B (zh) 无人变电站智能识别监控系统及方法
KR101570516B1 (ko) 산업용 비전통합 공정 관리 시스템
JP2014512768A (ja) ビデオ監視システム及び方法
US20200159195A1 (en) Selective data feedback for industrial edge system
US20160140771A1 (en) Visualizaion method and system, and integrated data file generating method and apparatus for 4d data
JP2019197541A (ja) 生産現場映像でデータを抽出して送信する装置及び方法、生産現場映像で抽出されたデータを受信する装置及び方法、生産現場映像で抽出されたデータを送受信するシステム
CN103369402B (zh) 一种进行多种机顶盒功能一致性比对的方法及系统
EP2869584B1 (en) Method and device for realizing distributed remote control, and television terminal and mobile terminal thereof
KR102117588B1 (ko) 차량 관련 데이터 수집 장치 및 방법
CN111614784B (zh) 用于工地的异构数据的边缘计算盒子
US10306173B2 (en) Imaging apparatus, imaging method, and program
CN102779539B (zh) 视频万能转码系统和方法
KR101611956B1 (ko) 다채널용 카메라 장치
KR101655706B1 (ko) 트랜스코딩 기법을 이용한 원격관리시스템
KR20190052580A (ko) 변전소 화상 감시 장치 및 방법
JP2006110765A (ja) 射出成形機の遠隔監視システム
CN104243932A (zh) 一种用于大屏镜像传输的视频镜像编码系统
JP2020087036A (ja) 監視装置、監視システム、監視方法、及びプログラム
CN101304516A (zh) 堆垛机ip网络视频监控管理系统
CN115562217A (zh) 数字孪生监控系统、方法及装置
CN203788047U (zh) 基于视频精确识别的变电站内设备状态巡视管理系统
US10785455B2 (en) Plant operating state analysis system
JP2006041770A (ja) 画像配信方法、画像表示方法及びそれらを用いた広域監視方法と画像配信装置、画像表示装置及びそれらを用いた広域監視システム
KR101887595B1 (ko) 원격 제어 지원을 위한 송신기, 수신기, 그의 동작 방법, 및 원격제어 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210611

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220414

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20220722