JP2012018541A - 表示装置 - Google Patents

Abstract

【課題】外部機器の種類や接続に関係なく、外部機器のデータを容易に収集することが可能な表示装置を提供すること。
【解決手段】機器を制御し所定のデータを表示する表示部を有する制御装置のＨＭＩ機器として機能する表示装置であって、前記表示部を含んだ前記制御装置または前記表示部を撮像する撮像手段と、前記撮像手段によって撮像された画像を画面上に表示する表示手段と、前記表示手段に表示されている前記画像の前記データの画像を含む任意の領域を指定するための領域指定手段と、前記領域指定手段によって指定された領域内の前記データの画像を文字認識して前記表示部が表示した前記データに変換する文字認識手段と、前記文字認識手段によって変換された前記データを内部記憶手段または外部記憶手段に転送するデータ転送手段とを備える。
【選択図】図１

Description

本発明は、機器制御を行う制御装置のＨＭＩ（Human Machine Interface：ヒューマンマシンインターフェース）機器としての機能を有する表示装置に関する。

従来、工場等において制御対象であるアクチュエータ、インバータ又は温調計などのシーケンス制御を行うＰＬＣ（Programmable Logic Controller：プログラマブル（ロジック）コントローラ）は、ＰＬＣの動作状態を表示する表示装置に接続されている。

そして、この表示装置は、グラフィック表示が可能なディスプレイ画面と、このディスプレイ画面に重ね合わされたタッチパネルとを備え、各ＰＬＣによる制御対象のシーケンス制御を実行中に、各ＰＬＣから読み取ったデータ内容を表示するとともに、各ＰＬＣに書き込むべきデータの設定入力を受け付ける。

このディスプレイ画面の表示内容とタッチパネルにおける操作位置とはあらかじめプログラム（作画プログラム）によって対応付けられており、ディスプレイ画面により表示されるスイッチ、ボタン等の表示位置でタッチパネルに触れることによって、プログラムにより設定されている操作内容に応じた指示データを各ＰＬＣへ送信する。それゆえ、このような表示装置をプログラマブル表示装置ということもある。

このような表示装置のディスプレイ画面は、例えばパソコン等の汎用コンピュータ上でオペレータ等により作成されて、その作成された画面データが表示装置に転送される。画面データとしては、例えばスイッチ、各種部品、ランプ、メータ、グラフ等の様々なアイテム（オブジェクト）が、任意の位置に配置されることで１つの画面として作成される。

また、このような表示装置は、ＰＬＣ等の外部機器にアクセスする場合、その外部機器とシリアル／イーサネット（登録商標）で通信しており、上述のようにして外部機器を監視および制御している。例えば、ＰＬＣ等の外部機器のデータを取得する場合、外部機器に直接、または、間接的に接続（シリアル通信など）してデータを読み取っていた。

図８は、従来の表示装置における外部機器の表示データの取り扱いを説明するための図である。
図８において、表示装置１は、データを表示するための表示部１１０を有する表示部付ＰＬＣ１００、および特に表示画面を有しないＰＬＣ２００の双方と、それぞれ独立した通信プロトコルを使用した通信プログラムおよび専用の通信ケーブルを用いてシリアル／イーサネット（登録商標）通信している。

そして、表示装置１が、表示部付ＰＬＣ１００が表示するデータをＰＬＣ２００へ転送する場合も、それぞれの通信プログラムおよび通信ケーブルを用いている。
また、外部機器の表示装置に表示されるデータをキャプチャして取り込み、その取り込んだ表示データを画像解析して文字データに変換し、ネットワーク経由でセンタシステムに転送する技術が開示されている（例えば、特許文献１参照。）。

特開２００９−１７５９６７号公報

しかしながら、上述のような表示装置は、ＰＬＣ等の外部機器が有するデータを取得するだけの場合であっても、そのデータ取得のために当該外部機器と接続する必要があり、さらには、当該外部機器が有する通信プロトコルを使用した通信プログラムおよび専用の通信ケーブルを用いる必要がある、という課題があった。すなわち、表示装置が複数の外部機器からデータを取得する場合には、その数だけの通信プログラムおよび通信ケーブルを用いて接続しなければならない、という課題があった。

本発明は、上述のような実状に鑑みたものであり、外部機器の種類や接続に関係なく、外部機器のデータを容易に収集することが可能な表示装置を提供することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の表示装置は、機器を制御し所定のデータを表示する表示部を有する制御装置のＨＭＩ機器として機能する表示装置であって、前記表示部を含んだ前記制御装置または前記表示部を撮像する撮像手段と、前記撮像手段によって撮像された画像を画面上に表示する表示手段と、前記表示手段に表示されている前記画像の前記データの画像を含む任意の領域を指定するための領域指定手段と、前記領域指定手段によって指定された領域内の前記データの画像を文字認識して前記表示部が表示した前記データに変換する文字認識手段と、前記文字認識手段によって変換された前記データを内部記憶手段または外部記憶手段に転送するデータ転送手段とを備えることを特徴とする。

また、本発明の表示装置は、前記領域指定手段が、前記画面上に配置されたタッチパネルに対する操作に応じて前記領域を一意に決定することが望ましい。
また、本発明の表示装置は、前記制御装置が、前記表示装置の設置場所との空気域が隔離された場所に設置されることが望ましい。

また、本発明の表示装置は、前記データが、所定の計測機器が計測した計測値であることが望ましい。
また、本発明の表示装置は、前記外部記憶手段が、前記表示装置に接続される前記制御装置とは別の制御装置またはコンピュータに備えられることが望ましい。

また、本発明の表示装置は、前記撮像手段は、前記表示装置とバスパワーを備える通信手段にて接続され、前記バスパワーにて駆動されることが望ましい。
また、本発明の表示装置は、前記撮像手段が、被写体を拡大または縮小して撮像する拡大縮小手段を備え、前記表示装置が、前記拡大縮小手段に拡大率または縮小率を与える指示手段をさらに備えることが望ましい。

また、本発明の表示装置は、前記表示装置が、前記内部記憶手段または前記外部記憶手段の何れの格納先に転送するかを決定する格納先設定手段をさらに備えることが望ましい。

本発明は、外部機器の種類や接続に関係なく、外部機器のデータを容易に収集することができる、という効果を奏する。

本発明を適用した表示装置の構成例を示す図である。 本発明を適用した表示装置において実行される外部表示装置画像の取得を説明するための図である。 本発明を適用した表示装置においてデータ取得処理を実行させるための操作を説明するための図である。 本発明を適用した表示装置において実行されるデータの取得を説明するための図である。 予めメモリに格納される文字認識情報の例を示す図である。 文字認識をマクロで実行する場合のプログラム記述例を示す図である。 データ取得処理を実行する数の表を作画プログラムで作成する場合のイメージ例を示す図である。 従来の表示装置における外部機器の表示データの取り扱いを説明するための図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１は、本発明を適用した表示装置の構成例を示す図である。
図１において、表示装置１は、制御装置の監視や制御などを実行するための表示装置であって、機器を制御し所定のデータを表示する表示部を有する制御装置のＨＭＩ機器として機能する。表示装置１は、表示制御回路１０、タッチパネル２、およびディスプレイ３を備える。表示制御回路１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、通信コントローラ１４、タッチパネルコントローラ１５、グラフィックコントローラ１６、ビデオＲＡＭ１７、およびカメラコントローラ１９を備え、これらがバス１８に接続されている。

ＣＰＵ１１は、表示制御回路１０の全体を制御する中央処理装置（演算プロセッサ）である。ＣＰＵ１１は、ＲＯＭ１２に格納されているシステムプログラムに従って所定の演算動作を行う。各種の演算結果はＲＡＭ１３に適宜格納される。グラフィックコントローラ１６は、前記ＲＡＭ１３に格納された演算結果をビデオＲＡＭ１７上に展開し、このビデオＲＡＭ１７内への書き込み内容に対応した表示をディスプレイ３にて行う。

タッチパネル２に対する押圧操作による指示は、タッチパネルコントローラ１５を介して取り込まれて解析される。これによりタッチパネル２を用いたユーザによる各種手動操作が実現される。また、通信コントローラ１４は、不図示のＰＬＣ等の外部機器とのデータ送受信を制御する。カメラコントローラ１９は、カメラ４による撮像を制御する。

カメラ４は、バスパワーを備える通信手段を介して表示装置１と接続され、前記バスパワーにて駆動される。なお、データとは、制御対象であるアクチュエータ、インバータ又は温調計などで計測された計測値である。カメラ４は、被写体を拡大または縮小して撮像する機能を有しており、表示装置１から与えられた拡大率または縮小率の指示に基づいて、被写体を拡大して撮像したり縮小して撮像したりする。

本発明を実現するためのデータ取得プログラムは、ＲＯＭ１２に格納されており、ＣＰＵ１１によって読み出されることによりデータ取得処理が実行され、カメラ４で撮像した画像からデータを取得する。

なおデータ取得プログラムを格納するメモリは、ＲＯＭ１２に限らず、例えばフラッシュメモリ等を用いても良い。
図２は、本発明を適用した表示装置において実行される外部表示装置画像の取得を説明するための図である。

図２において、表示装置１は、カメラ４と接続され、データを表示するための表示部１１０を有する表示部付ＰＬＣ１００または表示部１１０のみを撮像する。そして、表示装置１は、ディスプレイ３に撮像した表示部付ＰＬＣ１００または表示部１１０の画像を表示する。なお、表示部付ＰＬＣ１００は、表示装置１の設置場所との空気域が隔離された場所に設置されることがある。

また、表示装置１は、シリアル回線、又は、イーサネット（登録商標）回線などを介して、他の表示部付ＰＬＣ２５０または他のＰＬＣ１５０に接続している。そして、表示装置１は、表示部付ＰＬＣ１００の表示部１１０に表示されているデータを、表示装置１の内部メモリや表示部付ＰＬＣ１００以外の他の表示部付ＰＬＣ１５０や他のＰＬＣ２５０、又は、上位サーバＰＣであるサーバ３００へ送信することでサンプリングを行う。

次に、データ取得プログラムによって実行されるデータ取得処理について説明する。なお、以下の説明では、表示部１１０を有する表示部付ＰＬＣ１００をカメラ４が撮像する例で説明するが、表示部１１０のみの撮像の場合でも同様である。

図３は、本発明を適用した表示装置においてデータ取得処理を実行させるための操作を説明するための図であり、図４は、本発明を適用した表示装置において実行されるデータの取得を説明するための図である。

表示装置１は、カメラ４で撮像した表示部付ＰＬＣ１００の画像を前記ディスプレイ３の画面上に表示する。
ここで、ユーザは、図３（Ａ）に示すように、ディスプレイ３に表示された認識指示ボタン３０を、ユーザの指等の指示手段２０で指示する。この指示は、ディスプレイ３上に配置されたタッチパネル２に対する押圧指示として、タッチパネルコントローラ１５を介して取り込まれて解析される。

次に、ユーザは、ディスプレイ３に表示されている画面のうち保存したい領域を指定する。例えば、次のようにして領域を指定する。
本実施の形態では、図３中に示されている文字「１００」を含む領域を、保存したい領域の例として説明する。

ユーザは、まず、図３（Ｂ）に示すように、表示装置１のディスプレイ３に表示されている文字「１００」の左上の座標を、始点として指示手段（ユーザの指）２０で押圧することにより指示する。この指示も、タッチパネルコントローラ１５を介して取り込まれて解析される。

次に、ユーザは、指である指示手段２０をディスプレイ３に押圧したまま、図３（Ｃ）に示すように、表示装置１のディスプレイ３に表示されている文字「１００」の右下まで移動させる。

そして、図３（Ｄ）に示すように、文字「１００」の右下の位置で指示手段２０を離すことにより、その座標を終点として指示する。この指示も、タッチパネルコントローラ１５を介して取り込まれて解析される。

このようにして指示された始点と終点に基づいて、これらを対向頂点として形成される矩形を生成し、これを保存したい領域である指定領域２５として切り出す。
そして、表示装置１は、指定領域２５に対して文字認識処理を実行し、図４に示すように、文字認識された認識データ「１００」を取得する。

以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明は、上述の実施の形態に係らずその要旨を逸脱しない範囲で種々変形して実施することができる。
例えば、表示装置１が上述したようなプログラマブル表示装置である場合、文字認識を行う認識範囲や認識結果を格納する情報の指定方法は、タッチパネル付きの表示装置１、又は、それに接続する制御機器装置上のメモリで指定可能である。

図５は、予めメモリに格納される文字認識情報の例を示す図である。
図５において、「認識開始位置：横座標」と「認識開始位置：縦座標」とによって定まる座標が、図３（Ｂ）に例示した、指示手段２０で押圧することにより指示した始点に相当する。また、図５の「認識開始位置：横座標」及び「認識範囲長さ：横方向」並びに「認識開始位置：縦座標」及び「認識範囲長さ：縦方向」によって定まる座標が、図３（Ｄ）に例示した、指示手段２０を離すことにより指示した終点に相当する。そして、図５の「認識結果格納先情報」としては、文字認識したデータを表示装置１の「内部メモリ」に格納するのか、表示部付ＰＬＣ１００とは別のＰＬＣである外部機器が備える「ＰＬＣメモリ」に格納するのかを示す情報、その認識データの「データサイズ」や「データタイプ」、格納先の「メモリアドレス」を予め定めておく。

格納されたデータは、表示装置１の内部メモリに解析データ（ロギングデータ）として時系列に保存されたり、他の表示部付ＰＬＣ１５０や他のＰＬＣ２５０にシーケンス制御させるためのＩ／Ｏデータとして転送されたりする。また、データが上位のサーバ３００に転送されることで、例えば生産現場の管理データとして扱うことができる。

そして、このように文字認識情報として始点及び終点等を予め定めておくことにより、文字認識処理を、タッチパネル付きの表示装置１で実行可能なマクロ（プログラム）で行うことが可能となる。

図６は、文字認識をマクロで実行する場合のプログラム記述例を示す図である。
図６に示したプログラム記述例は、表示装置１の画面上の座標（１００，５０）から横方向に「８０」ドット、縦方向に「２０」ドットの範囲で認識した「１ＷＯＲＤ」のデータを「数値」データとして、表示装置１の「内部メモリ」の「アドレス１０００番地」に格納する例である。

また、作画プログラムにより、上述のデータ取得処理を行う数の分だけ予め表を作成しておくことも可能である。作画プログラムは、ディスプレイ３の画面の表示内容とタッチパネル２における操作位置とをあらかじめ対応付けたプログラムであり、ディスプレイ３の画面により表示されるスイッチ、ボタン等の表示位置でタッチパネル２に触れることによって、プログラムにより設定されている操作内容を実行する。

図７は、データ取得処理を実行する数の表を作画プログラムで作成する場合のイメージ例を示す図である。
図７に示した作画画面７０において、作成した４×４の表内の個々のセルに、文字認識を行った結果を格納する設定を行う。なお、表の作成時には、各セルにデフォルトの値が設定されている。

認識結果格納先情報設定画面７３では、認識データの「データタイプ」や「データサイズ」、格納先のメモリが「内部メモリ」であるのか、他の表示部付ＰＬＣ１５０や他のＰＬＣ２５０が備える「ＰＬＣメモリ」であるのか、および格納先の「メモリアドレス」を設定する。

また、スイッチ情報設定画面７２では、認識結果格納先情報設定画面７３で設置したセルのＩＤ（文字認識表ＩＤ）に対応させて「データ格納」のスイッチを設定する。すなわち、「データ格納」のスイッチなど、画面上に配置したアイテムに上記作成した表と文字認識をリンクすることで、スイッチが押された場合に、表内の文字認識を実行して認識したデータを格納する。この格納されたデータは、上述同様、表示装置１の内部メモリに解析データ（ロギングデータ）として時系列に保存されたり、他の表示部付ＰＬＣ１５０や他のＰＬＣ２５０にシーケンス制御させるためのＩ／Ｏデータとして転送されたりする。また、データが上位のサーバ３００に転送されることで、例えば生産現場の管理データとして扱うことができる。

なお、このような表は、上述したマクロプログラムでも作成可能である。
以上、説明してきた本発明の実施の形態は、表示装置の一機能としてハードウェアまたはＤＳＰ（Digital Signal Processor）ボードやＣＰＵボードでのファームウェアもしくはソフトウェアにより実現することができる。

また、本発明が適用される表示装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記録媒体を、表示装置に供給し、その表示装置のコンピュータがプログラムを読み出し実行することによっても、達成されることは言うまでもない。

この場合、可搬記録媒体等から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した可搬記録媒体等は本発明を構成することになる。

プログラムを供給するための可搬記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。

また、コンピュータ（情報処理装置）がメモリ上に読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。

さらに、可搬型記録媒体から読み出されたプログラムやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。

すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
以上説明したように、本発明によって外部機器の種類や接続に関係なく、外部機器のデータを容易に収集することが可能な表示装置が提供される。

例えば、従来はシステム増設のための配線が困難であったクリーンルームや有毒ガスを含む危険区域（すなわち、空気域が隔離された場所）などに設置された機器の計測値を、例えば透明な窓越もしくは穴越にスポット的に撮像することで安全でかつ容易にシステムを構築／増設することができる。

また、対象の機器までの距離が長く、ケーブルコストが高額になるような場所に設置された機器の計測値を拡大（光学的拡大、もしくはデジタル的に拡大する）して撮像し文字認識すれば、ケーブルコストの削減に繋がるとともに上述の如くシステムの構築／増設が極めて容易になる。

また、例えば、所定の解析を行ためにシステムをデバッグするとき、デバッグ環境を簡単に構築して機器データのログを残すことができるので、貧雑なデバッグ環境の構築作業を軽減できる。

１ 表示装置
２ タッチパネル
３ ディスプレイ
４ カメラ
１０ 表示制御回路
１１ ＣＰＵ（Central Processing Unit）
１２ ＲＯＭ（Read Only Memory）
１３ ＲＡＭ（Random Access Memory）
１４ 通信コントローラ
１５ タッチパネルコントローラ
１６ グラフィックコントローラ
１７ ビデオＲＡＭ
１８ バス
１９ カメラコントローラ
２０ 指示手段（ユーザの指）
２５ 指定領域
３０ 認識指示ボタン
４０ 撮像画像
５０ 認識データ
７０ 作画画面
７１ 文字認識表
７２ スイッチ情報設定画面
７３ 認識結果格納先情報設定画面
１００ 表示部付ＰＬＣ
１１０ 表示部
１５０ 他の表示部付ＰＬＣ
２００ ＰＬＣ
２５０ 他のＰＬＣ
３００ サーバ

Claims (8)

1. 機器を制御し所定のデータを表示する表示部を有する制御装置のＨＭＩ機器として機能する表示装置であって、
   前記表示部を含んだ前記制御装置または前記表示部を撮像する撮像手段と、
   前記撮像手段によって撮像された画像を画面上に表示する表示手段と、
   前記表示手段に表示されている前記画像の前記データの画像を含む任意の領域を指定するための領域指定手段と、
   前記領域指定手段によって指定された領域内の前記データの画像を文字認識して前記表示部が表示した前記データに変換する文字認識手段と、
   前記文字認識手段によって変換された前記データを内部記憶手段または外部記憶手段に転送するデータ転送手段と、
   を備えることを特徴とする表示装置。
2. 前記領域指定手段は、前記画面上に配置されたタッチパネルに対する操作に応じて前記領域を一意に決定することを特徴とする請求項１に記載の表示装置。
3. 前記制御装置は、前記表示装置の設置場所との空気域が隔離された場所に設置されることを特徴とする請求項１に記載の表示装置。
4. 前記データは、所定の計測機器が計測した計測値であることを特徴とする請求項１に記載の表示装置。
5. 前記外部の記憶手段は、前記表示装置に接続される前記制御装置とは別の制御装置またはコンピュータに備えられること特徴とする請求項１に記載の表示装置。
6. 前記撮像手段は、前記表示装置とバスパワーを備える通信手段にて接続され、前記バスパワーにて駆動されることを特徴とする請求項１に記載の表示装置。
7. 前記撮像手段は、被写体を拡大または縮小して撮像する拡大縮小手段を備え、
   前記表示装置は、前記拡大縮小手段に拡大率または縮小率を与える指示手段をさらに備えること特徴とする請求項１に記載の表示装置。
8. 前記表示装置は、前記内部記憶手段または前記外部記憶手段の何れの格納先に転送するかを決定する格納先設定手段をさらに備えることを特徴とする請求項１に記載の表示装置。